該軍前身是膠東直魯軍殘部一部。1928年9月，國民革命軍出師北伐到山東境內時，將膠東直魯軍殘部改編為新編第2軍。朱泮藻任軍長。下轄第1、第2兩個旅，王恩發、杜錫鑒分任旅長。其後不久，王、杜二旅合編為獨立第4旅，該軍番號撤消。
二、馬步芳部暫編1師組成的新編第2軍該軍前身是青海馬步芳所屬暫編第1師。1931年9月，馬步芳在西寧將其所屬暫編第1師改編為新編第9師。1934年初，新編第9師改編為第100師。同年3月26日，馬步芳以第100師擴編為新編第2軍，下轄：第100師和騎兵第1師，馬步芳自任軍長兼第100師師長。1935年9月，新編第2軍被編為西北“剿匪”軍第1路第4縱隊。1936年8月至1937年5月，該軍先後參加了阻止紅軍三大主力會師的作戰和“圍剿”紅軍西路軍的作戰。1937年10月，全國抗日戰爭爆發後，該軍改編為第82軍。
三、第86、第165師組成的新編第2軍該軍前身是甘肅地方武裝一部。1935年冬，萬耀煌所屬的第25軍追擊紅軍到達甘肅後，將甘肅地方部隊收編為第165師，隸屬該軍建制。1937年9月，該師奉命調往上海參戰，脫離該軍建制。1938年9月，國民政府為加強後備力量，將第165師和第21軍團第86師合編組成新編第2軍，隸屬西安行營公署，魯大昌任軍長。下轄：第86師，高雙城任師長；第165師，王治歧任師長。1939年處，第86 師直屬該軍團建制、第165 師調歸第80 軍後，新編第2軍僅保留軍的番號。1940年處，該軍番號撤消。
四、第91、第193師等部組成的新編第2軍該軍前身是第85軍第91師、第13軍第193師和第30集團軍直屬暫編第16師。第91師的前身是東北一部。1931年冬，東北軍馮占海部在東北作戰失利後退到熱河，加入察哈爾抗日同盟軍。不久，馮部被何應欽收編為第63軍。西安事變後，該軍縮編為第91師，隸屬第53軍。1938年6月又改隸第85軍；另一部為第98軍第193師。1939年初，第98軍被裁減後，第193師改歸第13軍所轄。1940年2月，國民政府為加強後方守備力量，以第85 軍第91 師、第13軍第193師、第30集團軍直屬暫編第16師，合編組建新編第2軍，隸屬第8戰區。陳大慶任軍長。下轄：第91師，王毓文任師長；第193師，賴汝雄任師長；暫編第16師，李強任師長。同年12月，國民黨軍隊進行部分編制調整，該軍改番號為第29軍。
五、新編第45、第46師組成的新編第2軍該軍前身是新疆地區的部分地方武裝。1944年2月，國民黨軍為加強對新疆地區的軍事統治，將新疆烏蘇、呼圖壁、奇台等地區的地方武裝，統一編成新編第45師、新編第46師。不久，將新編第45師、新編第46師合編組成新編第2軍，由第29集團軍總司令李鐵軍兼任軍長，葉成任副軍長。下轄：新編第45師，謝義峰任師長；新編第46師，徐汝誠任師長。該軍編成後，即在新疆烏蘇、呼圖壁、奇台等地區擔任守備任務。1945年8月，抗日戰爭勝利後，李鐵軍調任西安行營河西警備總司令部總司令，葉成接任軍長。不久葉成調任迪化警備司令，謝義峰任軍長。此時，該軍隸屬新疆警備總司令部，下轄：新編第45師、新編第46師不變。1947年春，新編第2軍改編為整編第78師，隸屬西北軍政長官公署，謝義峰任師長。原轄新編第45師改為整編第178旅，徐達任旅長；新編第46師改為整編第179旅，崔穎春任旅長。1948年8月，謝義峰調任整編第13師師長後，葉成任該整編師師長。同時將暫編第58師改為第227旅調歸該師建制，顧葆裕任師長。此時，該軍轄整編第178旅、整編第179旅整編第227旅。1949年9月25日，整編第78師隨新疆警備總司令陶峙岳起義，接受人民解放軍的改編。
