成剛於1903年出生在湖南寧鄉道林。早年畢業於長沙第一甲種工業學校化學科。1924年，進入黃埔軍校第2期攻讀工兵、炮兵專業。1925年春，隨廣東革命政府軍參加第一次東征，討伐陳炯明叛亂。1926年參加北伐戰爭，隨後輾轉湖南、江西、上海等地作戰， 歷任國民革命軍第二師排長、連指導員，第八十七師二三五旅營長、團附，新編第五軍榮譽二師團長、副旅長，軍令部第四處處長。
1941年12月，國民黨軍政部在重慶以第二補訓總處所屬部隊改編成第六十六軍，張軫任軍長，成剛任副軍長，隸屬宋希濂的11集團軍。1942年春，中國遠征軍第一次入緬甸作戰，先後投入兵力10萬餘人。4月，11集團軍在總司令宋希濂的率領下，奉調入滇抗擊日軍，成剛擔任參謀長，在雲南怒江一線抗擊進犯日軍。第一次遠徵結果，日軍傷亡約45000人，英軍傷亡1.3萬餘人，中國遠征軍傷亡5萬餘人，絕大部分犧牲在胡康河谷野人山。雖然第一次入緬作戰失利，但中國遠征軍新38師在孫立人領導下，集合新22師近三千人退入英屬印度，成為中國駐印軍的基本力量。同時，國民政府鑒於緬甸的重要性，在滇西重新組編並整訓第二批遠征軍，並於1943年2月設立中國遠征軍司令長官部，陳誠、衛立煌相繼擔任總司令，隨時準備與中國駐印軍和英美軍隊協同反攻緬甸。
1944年，中國遠征軍進行第二次入緬甸作戰，與中國駐印軍及在緬甸的英美軍隊一道，對日寇進行大規模反攻，投入總兵力達40萬人，其中滇西遠征軍約16萬人。這年6月，第11集團軍渡過怒江，展開了滇西抗日的慘烈戰鬥。成剛在滇西抗戰中，擔任11集團軍參謀長，先協助宋希濂，後襄助黃杰，前後參與領導和策劃了松山戰役、龍陵戰役、芒市戰役、畹町黑山門戰役和緬境的九穀戰役。1945年初，滇西失地全部光復。同年3月30日，中國遠征軍與英軍勝利會師，隨後中國駐印軍凱旋。在第二次入緬作戰中，中國駐印軍殲滅日軍4.8萬餘人，自身傷亡1.8萬餘人，解放了緬甸土地約13萬平方公里。滇西中國遠征軍殲滅日軍21057人，自身傷亡67403人，解放了滇西全部土地約3.8萬平方公里。滇西光復和抗戰勝利後，成剛因戰功卓著而獲四等雲麾勳章和美國總統杜魯門頒發的自由勳章，被譽為滇西抗戰6位戰略家之一。而在中國遠征軍的抗戰中，成剛的幾位親人均奔赴前線作戰，表現出了英勇無畏的戰鬥精神。他的侄子成其事曾在孫立人部下任少校營長，1945年初攻打密支那時，被炮彈擊中陣亡。另一個侄子成其人效力於戴安瀾將軍的200師麾下，在松山戰役中負傷後繼續參加戰鬥，一直堅持到抗戰勝利。
成剛在戰火硝煙中，表現出一種儒將風采。1944年夏，在滇西大反攻前夕，他寫下了一首明志詩：“天塹怒江我半倚，兩軍對峙決雌雄。倭寇哪得越雷池，誓雪深仇今發令。” 而攻占松山後，他又以詩記下了當時的實況：“任務分明不曲私，渡江殺敵顯神威。親臨前線笑談麾，寸土必爭誠壯烈。三軍以令以驅馳，任他工事足憑恃。據險松山不保持，最後勝方我何疑。”
1945年3月，成剛被國民政府授予少將軍銜。10月，擔任中央訓練團辦公廳少將主任，參謀本部國防要塞處武漢要塞籌備主任等職。1948年9月被授陸軍中將，升任第102軍軍長。
1949年7月，程潛、陳明仁醞釀湖南和平起義。為確保起義成功，陳明仁將下轄14軍軍長傅正模升為第一兵團副司令，協助其出謀劃策。然後，把14軍和102軍並編，任命102軍軍長成剛接任14軍軍長。陳明仁認為，成剛是較為可靠的部屬，把部隊交給他，是一個比較妥當的辦法。但是，陳明仁錯了，就在他發出起義通電後不久，成剛卻叛離了他，率部隨黃杰經由越南撤至台灣。而湖南和平起義成功之後，起義部隊先後改編為人民解放軍第一兵團和第二十一兵團，陳明仁任司令員，傅正模任副司令員，均成為中國人民解放軍的高級指揮員。1964年，成剛病逝於台北，享年71歲。
