1947年初，為適應解放戰爭戰略反攻的需要，豫皖蘇區黨委指示其所屬第二地委開闢沙河以南地區。8月，劉鄧大軍躍進大別山，路經沙南，留下部分武裝，開闢沙南新區。9月，陳粟大軍挺進豫皖蘇地區，橫掃頑敵。在解放區擴大的形勢下，區黨委決定淮河以北、沙河以南、阜潁以西、平漢鐵路以東的廣大地域內建立第四地委、第四軍分區。10月20日，四分區在沈丘蓮池正式成立。隸屬豫皖蘇軍區，機關設司令部、政治部、後勤部，下轄3團、7團、騎兵團、特務營、偵察連、騎兵連和沈丘、臨泉、臨泉市、新蔡、泉陽、泉南、阜南、潁阜等8個縣(市)大隊，共8000餘人。分區機關開始活動在汝南、項城以北地區，以後逐漸向南，向東轉移，在臨泉的呂寨、阜南的地里城都駐過一段時間，淮海戰役後移駐臨泉城。
四分區主要領導人如下：
司 令 員：程躍德(程道榮1947年10月任七八天后叛逃)
黃 霖(程叛逃後兼任，1948年3月)
宋文(1948年3月—1949年2月)
副司令員：鍾國琴(1948年2月—1949年2月)
政 委：黃 霖(兼1947年10月—1948年3月)
杜潤生(兼1948年3月—6月)
李 廣(兼1948年10月—1949年2月)
副 政 委：李一非(兼1947年10月—1949年2月)
參 謀 長：孫靖宇(1948年3月—1949年2月)
政治部主任：黎釗(1947年底任副主任，後改主任)
後勤部長：黃志和
