北伐時期
由馮系軍隊發展演變而成。1926年9月，馮玉祥在五原誓師回響北伐時，廣州國民政府將所部由國民軍改編為國民聯軍，任馮玉祥為總司令。1927年5月，武漢國民政府為適應北伐戰爭需要，又將所部改編為國民革命軍第二集團軍，任馮玉祥為總司令。5月1日，馮玉祥在西安宣誓就任，同時任命石敬亭為總參謀長，何其鞏為秘書長，劉伯堅為政治部長。同年6月，馮玉祥附蔣後，南京國民政府任馮為西北國民軍總司令。1928年2月16日，蔣馮在開封會商，同意將西北國民軍改編為國民革命軍第二集團軍。
抗日時期
抗日戰爭是世界反法西斯戰爭的重要組成部分，中國抗日戰場是同盟國在亞洲地面作戰的主要戰場，中國抗日軍隊在八年對日作戰中，殲滅、消耗及牽制了日本法西斯的絕大部分陸軍，為第二次世界大戰及反法西斯戰爭的最後勝利作出了巨大的貢獻。在整個抗日戰爭中，中國陸軍先後編成40個番號的集團軍參加對日作戰。
1937年8月上旬由原西北軍一部組成的第二十六路軍為主編組而成，集團軍總司令劉峙、副總司令孫連仲，第二十七師、第三十師、第三十一師是該集團軍的基本部隊，屬第一戰區指揮管轄，第五十二軍、第三十二軍、第三軍都曾加入過該集團軍的戰鬥序列。該集團軍是七七事變後最早進軍華北增援第二十九軍的中國軍隊，曾在琉璃河、良鄉等地區抗擊日軍。後奉令調歸第二戰區指揮，參加扼守冀晉要隘娘子關的戰役。1938年初，該集團軍調歸第五戰區指揮管轄，孫連仲繼任集團軍總司令，其基本部隊編組為第三十軍和第四十二軍，該集團軍在台兒莊戰役中是擔任堅守任務的主力作戰部隊，為台兒莊戰役的勝利作出了巨大貢獻。後韓復榘舊部曹福林的第五十五軍、宋哲元舊部劉汝明的國民革命軍第六十八軍也加入該集團軍的戰鬥序列。1938年11月3日，該集團軍第四十二軍軍長馮安邦在大別山戰役結束後轉進襄樊途中遭敵機轟炸而犧牲。1939年初，該集團軍調歸第一戰區指揮。1940年又劃回第五戰區，長期駐守豫西南鄂北地區，曾參加過第二、第三次長沙會戰的策應作戰。1943年孫連仲調任第六戰區司令長官，其基本部隊隨其調至第六戰區，第二集團軍總司令由劉汝明代理，下轄第六十八軍、第五十五軍及石友三舊部米文和的第六十九軍，參加過常德會戰及豫西鄂北會戰。
