建立
1938年春，根據國共兩黨關於編組新四軍的協定，原活動在鄂豫皖邊的紅軍第28軍和鄂豫邊紅軍游擊隊，改編為新四軍第4支隊。高敬亭任司令員，林維先任參謀長，蕭望東任政治部主任（後戴季英）。下轄第7、第8、第9團和手槍團。全支隊共3100餘人。
發展
1938年3月，第4支隊各部在皖西霍山縣流波疃會合。4月，展開於皖中舒城、桐城、廬江、無為地區，開展抗日鬥爭。5月12日，取得在巢縣（今巢湖）東南蔣家河口伏擊日軍的勝利。接著，連續取得大小關、范家崗、棋盤嶺等戰鬥的勝利。10月，進行廬江、無為戰鬥，打開了廬無地區的抗戰局面。
1939年5月，新四軍江北指揮部成立，第4支隊歸其指揮。6月，高敬亭被錯殺，第4支隊隨即進行整編，江北指揮部副指揮徐海東兼任支隊司令員（後張雲逸兼），戴季英任政治委員（後鄭位三），下轄第7、第9、第14團，後開創了以定遠東南藕塘為中心的津浦路（津浦鐵路）西抗日根據地。同時，以第8團為基礎，組建新四軍第五支隊。12月，第4支隊挫敗了日偽軍2000餘人對周家崗、古河等地的“掃蕩”。
1940年1月，第4支隊歸中共中央中原局領導。3月，第4支隊與第5支隊協同作戰，在新四軍蘇皖支隊和新四軍挺進縱隊的支援下反擊國民黨頑軍的進攻，取得定遠戰鬥的勝利，旋又取得來安半塔集保衛戰的勝利。8月，第4支隊一部協同第5支隊開闢了淮安、寶應新區，打通了與南下的八路軍第五縱隊的聯繫。
1941年1月“皖南事變”後，第4支隊改編為新四軍第二師第4旅，第5支隊改編為該師第5旅。
1945年10月，由新四軍第2師第4、第5旅和新四軍第四師第9旅，在山東嶧縣組成新四軍第2縱隊，羅炳輝任司令員兼政治委員，韋國清任副司令員，趙啟民任副政治委員，詹化雨任參謀長、王集成任政治部主任。轄第4、第5、第9旅，共2.4萬餘人。縱隊成立後，歸津浦前線指揮部領導，開赴津浦前線作戰，參加界河、臨城、棗莊等戰鬥，殲敵2萬餘人。1946年1月，改稱為山東野戰軍第2縱隊。6月，該縱隊第5旅調歸淮南軍區建制。
1945年11月，以新四軍第4師第11、第12旅為基礎，在淮北組成華中野戰軍第九縱隊，張震任司令員兼政治委員，饒子健任副司令員，姚運良任參謀長，王學武任政治部主任，轄6個團，共1萬餘人。縱隊成立後，參加津浦路（津浦鐵路）和隴海路（隴海鐵路）東段破擊作戰，攻克趙墩、碾莊、八義集等車站，徹底破壞了大許家到白塔埠的鐵路，給拒絕投降的日偽軍以嚴重打擊，從而使我山東、華中兩大解放區連成一片。
1946年7月，在朝陽集戰役中，第2縱隊主攻，第9縱隊阻援，全殲國民黨軍第92旅。8月，第2、第9縱隊參加泗縣戰役，給國民黨國民革命軍第七軍第172師以重創；10月至11月，參加淮陰、漣水保衛戰；12月參加宿北戰役，協同兄弟部隊全殲國民黨軍第69師；1947年1月參加魯南戰役，在蘇北方向完成阻擊國民黨軍第7軍及第11、第74、第28師北進的任務。
1947年2月，第2、第9縱隊在山東省郯城合編為華東野戰軍第2縱隊，韋國清任司令員兼政治委員，張震任副司令員，康志強任副政治委員，詹化雨任參謀長，鄧逸凡任政治部主任。第2縱隊第4旅編為第4師，朱紹清任師長，高志榮任師政治委員；第9縱隊除一部改編為淮北支隊外，其餘編為第5師，姚運良任師長，秦賢安任師政治委員。第2縱隊第9旅編為第6師，滕海清任師長兼師政治委員。全軍共2.9萬餘人。合編後舉行白塔埠戰役，殲國民黨軍第42集團軍兩個師5000人。2月中旬，在臨沂附近阻援，保障萊蕪戰役順利進行。4月，參加泰蒙戰役，擔任阻援。5月，參加孟良崮戰役，在沂水西南阻擊敵第7軍及第83師西援。7月參加南麻戰役、臨朐戰役，擔任攻堅，殲國民黨軍第9、第11、第25、第64師和第8軍各一部，共1.6萬餘人。8月後，轉戰膠東地區，在膠河戰役、高密攻堅、萊陽戰役等戰役戰鬥中取得重大勝利。
1948年2月，第2縱隊奉命南下華中，與第11、第12縱隊組成蘇北兵團，開闢威脅敵京滬心臟地區之蘇北戰場。3月，滕海清接任2縱司令員，同月，攻克益林，全殲國民黨軍第113旅。6月，策應豫東戰役，對隴海路東段新安鎮、海州發起攻擊，解放新安鎮、海州、沭陽、灌雲等地，對改變蘇北戰局起了重要作用。9月，參加濟南戰役，擔任打援任務。11月，參加淮海戰役，在圍殲黃百韜兵團、固鎮阻擊戰和總攻杜聿明集團的作戰中，共殲滅國民黨軍3.6萬餘人。
1949年2月，根據中央軍委關於統一全軍編制及部隊番號的命令，第2縱隊在徐州以北韓莊，改稱中國人民解放軍第21軍，屬第三野戰軍第7兵團建制。滕海清任軍長，康志強任政治委員，高志榮任副軍長，吳詠湘任參謀長，鄧逸凡任政治部主任。原第4師改稱第61師，胡煒任師長，王靜敏任師政治委員；第5師改稱第62師，周純麟任師長，周世忠任師政治委員；第6師改稱第63師，吳華奪任師長，謝錫玉任師政治委員。全軍共3.6萬餘人。
4月，該軍參加渡江戰役，在樅陽以東渡江，占領貴池、青陽等地。5月，解放杭州，爾後進軍溫州、寧波、奉化、象山等地。8月，赴臨海剿匪。其間，第63師奉命入閩作戰，9月歸建。10月，發起溫州灣戰役，攻占洞頭、鹿棲、大嵛山等島嶼。11月，攻擊六橫、桃花等島嶼。1950年3月至5月，參加舟山戰役，爾後擔負浙東、浙南和閩北地區的海防任務。
1953年3月，第21軍參加中國人民志願軍入朝作戰，參加金城戰役等作戰，在戰鬥中，湧現出王雲閣、馬天明、曹光景、葛英東等許多戰鬥英雄和英雄集體。朝鮮停戰後，參加支援朝鮮人民的重建家園。1958年8月回國。
該部隊還參加了金門炮戰和邊境自衛還擊作戰，湧現出“鋼鐵戰士”胡德安等英模人物。
第21軍起初隸屬北京軍區，駐山西大同。“文革”開始後，第21軍於1967年調入關中，改屬中國人民解放軍蘭州軍區。
1985年改編為中國人民解放軍第21集團軍。
另有部分部隊轉入第二炮兵戰鬥序列，目前為更名後的火箭軍某飛彈旅。
