創建
1927年2月2日，唐生智將該軍第二師擴編成第35軍，何健任軍長，轄戴斗垣1師，劉建緒2師，陶廣三師，王東原教導師。1928年5月，李宗仁將程潛扣押，何健趁機將程潛第6軍一部分拉攏過來，編為周希武獨立17師和張其雄獨立19師。1928年10月8日，原35軍和獨立17師獨立19師合編第四集團軍第6師，隨後該番號序列為19師，師長何健，轄戴斗垣55旅，劉建緒56旅，陶廣57旅。1930年5月，以劉建緒56旅和吳尚第25師閻仲儒旅改編為獨立第5旅，和盤踞在洪江陳漢章餘部陳渥獨立第8旅合併為新編31師，師長陶廣，該師隸屬於何健第四路軍。1927年10月，瀘陽巨匪陳漢章接受湖南省政府收編，其部編為暫編第6師，陳漢章任師長，率兵將竊據洪江的黔軍猶國才部驅逐出境，駐進洪江，陳部轄4團和4個直屬連隊。1930年3月，陳漢章被部下團長李國均派人刺死，其弟陳渥率兵攻打李國均部，李國均部被困芷江40餘日。後經何健親信謝龍調停。陳渥部改編為獨立第8旅。李國均敗走長沙，投靠湖南保全4區司令李覺。
1931年9月。新編31師改稱國民革命軍62師，陶廣為師長，陳渥任副師長，轄3旅。旅長為鍾光仁、李國均、王育瑛。1933年，以陳渥不接受調遣為由。派李國均攻打陳渥，李國均率兵4團，馬不停蹄前往芷江攻打陳渥，經2個月的激戰，陳渥彈盡糧絕，帶少數親信突圍逃往貴州。李國均部於1930年陳李戰役後。率兵3團（李車軍、李國鴻、姚鳳庭，黃士信團留芷江，）開赴常德、平江、華容、石門、瀏陽等地圍剿紅軍，1931年9月李部編入15師。後又編入62師。1937年4月編程獨立12旅，開赴溫州準備抗日，後因貪污兵餉入獄。1933年5月，62師編入粵贛湘鄂剿匪西路軍。從1931年起。62師參與圍剿紅軍的所有戰鬥。1934年11月，62師開往全州。參加湘江戰役。之後，開赴常德、沅陵等等，圍剿賀龍紅二、六方面軍。
1937年4月，62師在常德整編為2旅6團，師長陶廣、副師長鍾光仁、185旅謝龍（367團張空逸、368團朱再生、369團譚有恩）、186旅劉建文（370團鍾滌松、371團馬驥、372團袁亞初 。
淞滬會戰
1937年7月，62師8000餘湖湘官兵開赴武漢。在經水路至江陰，赴浙江抗日前線，編入右翼兵團第10 集團軍28軍，駐守杭州灣，駐防金山衛。
1937年11月初，62師奉命增援滬松主戰場，主力部隊調往川沙、閔行戰場。留守一個連在金山衛準備換防。11月5日，數百倍於己的日軍在金山衛登入，62師留守一個連與日軍激戰2小時，全部戰死。6日，367團與日軍激戰閔行，團長張空逸陣亡，該團遭重創。6日，371團與日軍激戰闕里，激戰一小時，取得重大戰果。後368團增援闕里，與日軍激戰兩日。8日，186旅向亭林和葉榭兩鎮日軍發起攻擊，185旅激戰蘇州河南岸。11日，撤退下來的370團在沿蘇州方向撤退的國軍散兵收集3000餘人，組成370團，開赴嘉興，增援128師嘉善阻擊戰，血戰嘉興數日。後370團隨128師網杭州方向撤退，鍾部經收容撤退官兵，整編為28軍杭湖嘉直屬抗日游擊總隊，鍾滌松任司令。11月13日，國軍撤退滬松戰場。62師待獨立45旅撤過蘇州河後，集結於閔行，繼續在鳳凰山、天馬山一帶攻擊日軍，後向杭州方向撤退。
1938年3月1日，62師師部和謝明強團、瞿彪團、湯家楫團北渡錢塘江，經日杭湖嘉地區，開展敵後游擊抗日後動，建立了海北抗日游擊區。1938年5月1日，62師發起對海鹽縣城的攻擊，與日軍激戰15日，收復海鹽縣城，在以後的一年多時間裡，62師和日軍在海鹽跌戰4次。1938年7月，日軍調集14000餘人，30架飛機、100艘汽艇，從12個方向向海鹽、嘉興等地掃蕩，62師在海寧、嘉興等地頑強阻擊日軍，後向桐鄉、崇德方向撤退，並建立包括桐鄉、崇德在內的廣大區域抗日游擊區。1939年秋，62師撤孝封修整。1939年冬季攻勢中，62師向杭州方向攻擊，打擊富陽方面日軍。1941年第二次長沙會戰，62師向北攻擊，切斷日軍長江水路。1942年，浙贛會戰，62師駐守蘭溪。建德，與日軍作戰。1943年，南昌戰役，62師赴上饒與日軍作戰。1942年8月，陶柳升28軍軍長，劉塤浩接任師長，龍淑韜任副師長。1945年5月，劉塤浩因圍剿新四軍不力，被撤。戴朴任師長，湯家楫副師長。
1945年10月，62師開赴蕪湖，監視日俘修建四方公路。1946年8月，開赴徐州，遣送日俘。1946年，62師主力整編為整編88師整編62旅，轄185團、186團。師長方先覺，旅長戴朴，副旅長湯家楫。餘部編入整編28師。部分軍官編餘，進入第17、12軍官教導總隊。第17軍官教導總隊部分人員後編入國防部湖南洞庭屯墾局。
解放戰爭時期
1946年11月，整編62旅在山東金鄉、魚台地區，遭華北野戰軍三縱、六縱、七縱一個旅攻擊，經一天一夜激戰。186團重創，退兵單縣，與185團會合後回徐州。1947年10月10日，整編62旅追擊劉鄧大軍於安徽六安張家店地區，遭劉鄧大軍三縱7、8、9旅合圍，戰鬥一夜，死800餘人。副旅長湯家楫率全旅4000餘官兵投降。至此，62師基本隊伍不存。1947年，在張家店遭圍殲的僅2個團，當時旅部旅直屬部並沒有出動，所以62旅並沒有被全殲，後又改編為62師，師長夏日長。1949年編入14軍，參加湖南起義，後與10師、63師共同造反，在湘西寶衡戰役被打敗，在南逃廣西途中被殲，至此62師不復存在。
