從政時期
平帝時，王莽專政，朝多猜忌，遂隔絕帝外家馮、衛二族，不得交宦，剛常疾之。及舉賢良方正，因對策曰：
臣聞王事失則神祇怨怨，奸邪亂正，故陰陽謬錯，此天所以譴告王者，欲令失道之君，曠然覺悟，懷邪之臣，懼然自刻者也。今朝廷不考功校德，而虛納毀譽，數下詔書，張設重法，抑斷誹謗，禁割論議，罪之重者，乃至腰斬。傷忠臣之情，挫直士之銳，殆乖建進善之旌，縣敢諫之鼓，辟四門之路，明四目之義也。
臣聞成王幼少，周公攝政，聽言不賢，均權市寵，無舊無新，唯仁是親，動順天地，舉措不失。然近則召公不悅，遠則四國流言。夫子母之性，天道至親。今聖主幼少，始免襁褓，即位以來，至親分離，外戚杜隔，恩不得通。且漢家之制，雖任英賢，猶援姻戚。親疏相錯，杜塞間隙，誠所以安宗廟，重社稷也。今馮、衛無罪，久廢不錄，或處窮僻，不若民庶，誠非慈愛忠孝承上之意。夫為人後者，自有正義，至尊至卑，其勢不嫌，是以人無賢愚，莫不為怨，奸臣賊子，以之為便，不諱之變，誠難其慮。今之保傅，非古之周公。周公至聖，猶尚有累，何況事失其衷，不合天心者哉！
昔周公先遣伯禽守封於魯，以義寒恩，寵不加後，故配天郊祀，三十餘世。霍光秉政，輔翼少主，修善進士，名為忠直，而尊崇其宗黨，摧抑外戚，結貴據權，至堅至固，終沒之後，受禍滅門。方今師傅皆以伊、周之位，據賢保之任，以此思化，則功何不至？不思其危，則禍何不到？損益之際，孔父攸嘆，持滿之戒，老氏所慎。蓋功冠天下者不安，威震人主者不全。今承衰亂之後，繼重敝之世，公家屈竭，賦斂重數，苛吏奪其時，貪夫侵其財，百姓睏乏，疾疫夭命。盜賊群輩，且以萬數，軍行眾止，竊號自立，攻犯京師，燔燒縣邑，至乃訛言積弩入宮，宿衛驚懼。自漢興以來，誠未有也。國家微弱，奸謀不禁，六極之效，危於累卵。王者承天順地，典爵主刑，不敢以天官私其宗，不敢以天罰輕其親。陛下宜遂聖明之德，昭然覺悟，遠述帝王之跡，近遵孝文之業，差五品之屬，納至親之序，亟遣使者征中山太后，置之別官，令時朝見。又召馮、衛二族，裁與冗職，使得執戟，親奉宿衛，以防未然之符，以抑患禍之端，上安社稷，下全保傅，內和親戚，外絕邪謀。
書奏，莽令元後下詔曰：“剛聽言僻經妄說，違背大義。其罷歸田裡。”
後莽篡位，剛遂避地河西，轉入巴、蜀，往來二十許年。及隗囂據隴右，欲背漢而附公孫述。剛說之曰：“愚聞人所歸者天所與，人所畔者天所去也。伏念本朝躬聖德，舉義兵，龔行天罰，所當必摧，誠天之所福，非人力也。將軍本無尺土，孤立一隅，宜推誠奉順，與朝併力，上應天心，下酬人望，為國立功，可以永年。嫌疑之事，聖人所絕。以將軍之威重，遠在千里，動作舉措，可不慎與？今璽書數到，委國歸信，欲與將軍共同吉凶。布衣相與，尚有沒身不負然諾之信，況於萬乘者哉！今何畏何利，久疑如是？卒有非常之變，上負忠孝，下愧當世。夫未至豫言，固常為虛，及其已至，又無所及，是以忠言至諫，希得為用。誠願反覆愚老之言。”囂不納，遂畔從述。
建武七年，詔書征剛。剛將歸，與囂書曰：“愚聞專己者孤，拒諫者塞，孤塞之政，亡國之風也。雖有明聖之姿，猶屈己從眾，故慮無遺策，舉無過事。夫聖人不以獨見為明，而以萬物為心。順人者昌，逆人者亡，此古今之所共也。將軍以布衣為鄉里所推，廊廟之計，既不豫定，動軍發眾，又不深料。今東方政教日睦，百姓平安，而西州發兵，人人憂憂，騷動惶懼，莫敢正言，民眾疑惑，人懷顧望。非徒無精銳之心，其患無所不至。夫物窮則變生，事急則計易，其勢然也。夫離道德，逆人情，而能有國有家者，古今未有也。將軍素以忠孝顯聞，是以士大夫不遠千里，慕樂德義。今苟欲決意徼幸，此何如哉？夫天所佑者順，人所助者信。如未蒙佑助，令小人受塗地之禍，毀壞終身之德，敗亂君臣之節，污傷父子之恩，眾賢破膽，可不慎哉！”囂不納。剛到，拜侍御史，遷尚書令。
光武嘗欲出遊，剛以隴蜀未平，不宜宴安逸豫。諫不見聽，遂以頭軔乘輿輪，帝遂為止。
人生末年
時內外群官，多帝自選舉，加以法理嚴察，職事過苦，尚書近臣，乃至捶撲牽曳於前，群臣莫敢正言。剛每輒極諫，又數言皇太子宜時就東宮，簡任賢保，以成其德，帝並不納。以數切諫失旨，數年，出為平陰令。復征拜太中大夫，以病去官，卒於家。
