1947年9月21日,在陝西省栒邑縣(今旬邑縣),以陝甘寧晉綏聯防軍之警備第1旅、第3旅和騎兵第6師,組成第4縱隊, 隸屬西北野戰軍建制。王世泰任司令員,張仲良任政治委員, 閻揆要任副司令員兼參謀長,李宗貴任政治部主任,全縱隊 1.1萬餘人。縱隊成立後,即會同第2縱隊進擊黃龍山區,攻克白水、韓城、邰陽、宣川繳獲大批彈藥、物資。11月,進至橫山縣邊家河一帶時,奉命轉向西攻擊前進,收復寧梁、安邊等地。12月,轉至安塞縣華子坪、侯家河一帶開展以訴苦為主要內容的新式整軍運動。1948年2月,參加宜川戰役,配合野戰軍主力圍殲馳援宜川之國民黨軍接編第29軍,斃傷俘敵2000餘人。4月中旬至5月中旬,參加西府隴東戰役,先在扶鳳至青化鎮一線抗擊西援寶雞之國民黨軍裴昌會兵團,後在鎮原縣以東屯子鎮接應第6縱隊教導旅突圍,爾後擔負掩護西北野戰軍主力向東轉移的任務。5月下旬,第4縱隊轉至栒邑縣土橋螺地區進行整訓。8月至11月,先後參加澄部、荔北和冬季戰役,殲國民黨軍4500餘人。
、 1949年1月,警備第4旅撥歸第4縱隊建制。2月1日,根據中央軍委關於統一全軍編制及部隊番號的命令,第4縱隊改稱中國人民解放軍第4軍,隸屬第一野戰軍建制。王世泰任軍長,張仲良任政治委員,孫超群任副軍長,朱輝照任副政治委員我政治部主任,張文舟任參謀長,警備第1旅與騎兵第6師1個寫合編成第10師,高錦純任師長,左愛任政治委員;警備第3旅攻稱第11師,郭炳坤任師長,高維嵩任政治委員;警備第4旅與騎兵第6師(缺1個團)合編組成第12師,郭寶珊任師長,李宗責任政治委員。全軍約1.9萬餘人。2月下旬至3月中旬,參加春季戰役,殲滅國民黨軍第20師、第248師共2700餘人,斃俘師長各1人。5月中旬,參加陝中戰役,在鳳翔東北之姚家溝一帶,會同第1軍全殲國民黨軍第57軍及第30師,俘4200餘人。6月中旬,編入第2兵團,在關頭、儀井、臨平及涇陽以北地區抗擊國民黨軍向西安的反撲。7月中旬,參加扶眉戰役,擔任截斷國民黨軍退路的任務,保障野戰軍主力聚殲國民黨軍3個軍。接著,乘勝西進,攻克蔡家坡、岐山、寶雞等城鎮。下旬由寶雞地區出發,向蘭州挺進。8月25日拂曉參加蘭州戰役,總攻,經過反覆衝擊,占領沈家嶺及狗娃山，26日拂曉攻入蘭州城西關,共殲國民黨軍1萬餘人,對取得蘭州戰役的勝利起了重大作用。9月初二進軍河西走廊(第12師留駐蘭州,擔負警備任務),19日進駐武威。10月,奉命調往臨洮、臨夏地區,執行剿匪任務，並抽調部隊參加修築天(水)蘭(州)鐵路。1952年9月,撤銷第4軍番號。軍部改編為中央軍委城防高射炮兵學校;第10師師部改編為炮兵第10師師部.其部隊編入第1L師;第12師改編為鐵路公安部隊。
第4軍在解放戰爭中,轉戰於陝西、甘肅廣大地區,參加主要戰役戰鬥28次,湧現出丁興發、張保英、馬宜生、武德仁、田占德等英雄模範人物。
