1564年,父親時忠背叛里見氏從屬於北條氏康的時候,作為人質被送往小田原城。因為哥哥正木時通1575年突然死去,翌年父親也死去遂繼承家督,本處在勝浦城。此後,擁立里見義賴,成功擊滅正木憲時掌握了里見家的實權。可是,1590年後北條氏滅亡德川家康被移封關東,里見氏丟失上總國領地,賴忠跟隨前往安房國。
在賴忠的4個孩子裡,女兒的於萬成為德川家康的側室生了德川賴宣和德川賴房。依靠兒子正木為春成為賴宣的家老的緣故,賴忠移到紀伊渡過了餘生。同時,另一個兒子乳名菊松,成為糟谷的養子名糟屋軍次郎。剛去父親的勝浦城就被卷進梅王丸的叛亂,憲時攻擊勝浦城的時候,賴忠讓菊松逃出,跑到河津的母親處,自名正木織部,迎娶了清水小太郎的女人。豐臣秀吉進攻小田原城的時候,蔭山氏廣與母親帶萬逃跑承繼北條屋敷回鄉務農。還有一個兒子成為旗本。