1938年7月1日，中共蘇魯豫皖邊區省委(簡稱邊區省委)書記郭洪濤率八路軍山東抗日游擊第四支隊第二、三團的3個連南下，到達費縣。中旬，邊區省委率第四支隊一部到達滕縣，支援蘇魯人民抗日義勇隊第一總隊，同時探索開闢抱犢崮山區抗日根據地的道路。8月，郭洪濤率第四支隊返回沂蒙山區，第一總隊轉移到抱犢崮山區東部地區。第一總隊進入抱犢崮山區後，活動於大爐(今屬蒼山縣)周圍山區。此期間，臨沂、郯城等地黨組織建立的由丁夢孫、劉劍率領的臨郯青年抗日義勇隊編入第一總隊，原在大爐一帶活動的開明士紳萬春圃領導的武裝，編為第一總隊第二大隊。9月，由於大爐地處貧瘠山區，民眾生活艱苦，部隊供給困難，邊區省委決定，同意國民黨山東省第三區專員兼保全司令張里元為擴大自己勢力提出的要求，在不改變部隊建制、不干涉部隊人事、保持部隊獨立的前提下，將第一總隊改稱為山東省第三區保全司令部直轄第四團(簡稱直轄四團)。9月上旬，直轄四團聯合張里元部進行了胭脂山伏擊戰，斃傷日軍六七十人。12月，直轄四團又對日軍新設的車輞據點進行40多天的圍困戰，迫敵撤退，穩定了魯南山區抗日根據地。邊區省委堅持抗日民族統一戰線政策，先後3次派黨員幹部到張里元部工作，形成了較好的國共合作抗日的局面。12月間，國民黨蘇魯戰區總司令于學忠奉命率部陸續入魯，先後布防於甲子山、沂蒙山、抱犢崮山區。
1939年1月，中共魯南特委成立。在魯南特委領導下，山東縱隊及魯南人民抗日武裝初步開闢了抱犢崮山區東部及東南部活動基地。6月21日，毛澤東致電八路軍總部，指出：乘魯南局面混亂，將一一五師師部、六八六團及蕭華縱隊一部開赴魯南，以鞏固魯南根據地，並應大放縣長、區長，以爭取政權。9月初，六八六團抵達抱犢崮山區，王秉璋、黃勵率一一五師師部機關抵大爐。隨後，羅榮桓、郭洪濤、張經武、陳光也來到大爐，一一五師師首長、機關、隨營學校、六八六團及特務團12月全都進入抱犢崮地區。
為鞏固擴大以抱犢崮為中心的根據地，羅榮桓提出了“以抱犢崮為中心，向北向西北連線大塊山區，向南向東南發展大塊平原”的戰略構想。11月18日，一一五師一部在地方武裝配合下，攻占了馬頭。一一五師和地方黨組織分別組成工作團，分赴鄒、滕、嶧、費和泗水縣，協助各縣委開展抗日鬥爭。與此同時，一一五師後方司令部消滅了離大爐10餘公里的孔莊反動地主杜若堂部。12月下旬，一一五師於滕(縣)費(縣)公路的兌頭溝伏擊日軍運輸隊，全殲日偽軍90多人，並繳獲大批軍用物資和彈藥。
1940年1月，抱犢崮抗日根據地已擴展到東南至郯(城)馬(頭)，東至蒼山，西至滕、鄒邊，北至梁邱一帶的大片地區。1月底，郯城縣抗日民主政府成立。接著，建立了郯東北抗日民主政權--郯東北辦事處。2月14日，一一五師六八六團和特務團、蘇魯支隊、蘇魯豫支隊第一大隊發起白彥戰鬥。經兩天兩夜激戰，摧毀白彥及周圍據點，消滅孫鶴齡部1000多人，解放了白彥地區。日軍為奪回白彥，3次攻打白彥，均被一一五師擊退。在3次白彥爭奪戰中，一一五師各部共殲日偽軍800餘人。白彥爭奪戰的勝利，解放了費縣西部廣大地區，為八路軍向天寶山區發展掃清了道路，為魯南抗日根據地的發展和鞏固創造了有利條件。2月16日，費縣抗日民主政府成立。3月14日，臨沂縣抗日民主政府成立。
4月中旬，日軍調集8000餘人，向抱犢崮山區進行歷時1個月的大“掃蕩”。在反“掃蕩”中，一一五師和地方武裝共作戰30餘次，斃傷日偽軍1000多人，保衛了以抱犢崮為中心的魯南抗日根據地。6月，中共魯南區黨委在天寶山區的油簍村正式成立，下轄第一、三兩個地委。一地委轄泗水、鄒縣、泰寧、曲阜縣委或工委；三地委轄臨沂、邳縣縣委和蒼馬、郯馬、東海3個工委；臨郯費嶧四縣邊聯縣、費縣工委和滕東、嶧縣縣委由區黨委直接領導。6月11日，魯南參議會、魯南專署宣告成立。9月，魯南軍政委員會和魯南軍區成立。至年底，魯南抗日根據地和游擊區面積達到2762平方公里，占全區總面積的21.7%；人口有75萬，占總人口的21.18%。
1941年1月，國民黨反動派製造了“皖南事變”，掀起了新的反共高潮。從3月起，日本侵略軍連續5次推行“治安強化運動” ， 對根據地實行大規模的“清剿”、“掃蕩”和燒光、殺光、搶光的“三光政策”。魯南抗日根據地處於敵、偽、頑夾攻之中。加上連年自然災害嚴重，魯南軍民生活極其艱難。1941年，敵據點由1940年的365處增加到441處，平均每隔6公里就有一處；國民黨頑固派及地方土頑對抗日根據地騷擾、進攻日益頻繁，先後在臨郯費嶧四縣邊聯縣製造了“四·二五”、“七·二五”、“十·二七”三大事變。僅1942年上半年至次年下半年的一年中，敵偽對魯南根據地的“掃蕩”就有7次，兵力最多時達6000餘人。到1943年春，國民黨第二十八集團軍(九十二軍)進入魯南後，魯南日、偽、頑軍總數達到4.4萬人，而八路軍主力部隊和地方武裝不足4000人，魯南根據地僅剩鄒東、費南、滕嶧邊和臨郯費嶧四縣邊聯互不相聯的幾小塊根據地。在這幾小塊地區中，鄒東、費南以及四縣邊聯的東部和西部，也被敵偽頑分別封鎖，基本區人口只有12.5萬，村莊不足500個。魯南抗戰進入最艱苦的時期。
中 共魯南區黨委為了動員、團結全黨、全體軍民克服嚴重困難，鞏固抗日根據地，堅持抗戰，爭取勝利，遵照中共中央和山東分局的指示，認真總結經驗教訓，實行黨 的“一元化”領導，貫徹執行“敵進我進”的方針，採取靈活機動的戰略戰術，對日偽軍開展反“掃蕩”、反“蠶食”、反“封鎖”鬥爭，對頑軍進行了有力地回 擊。與此同時，進行鞏固黨的工作和整風學習，實行了精兵簡政，開展了減租減息運動，使敵強我弱的形勢逐漸轉化。1943年秋，魯南部隊在廣大人民支援下，打退了國民黨二十八集團軍一四二師的進攻，消滅了慣匪劉桂堂(劉黑七)，渡過了最困難、最艱苦的歲月，魯南抗日根據地得到了恢復和發展。 到1943年底， 抗日根據地面積達到3183平方公里， 占全區總面積的24.94%；人口達到414620人，占總人口的13.61%。游擊區面積達到300.3平方公里，占總面積的23.6%；人口達到452340人，占總人口的14.28%。從1944年起，魯南敵、頑、我力量對比發生根本變化，八路軍由弱變強，轉入對敵攻勢階段。3月，消滅盤踞坊前的土頑李子瀛部700多人。4月，臨沂偽警備隊第十二大隊楊廷芸部起義，臨郯原有的根據地得到了恢復，並新解放100多個村莊。5月上旬，魯南軍區發起討伐駐在崮口的偽第十軍榮子恆部戰役，解放了崮口山區。至此，魯南各主要山區全部連成一片，日偽大部退縮到滋臨、臨棗公路兩側及鐵路沿線。在5月至7月的夏季攻勢中，魯南部隊共作戰65次，攻克據點51處，殲敵343 7人，收復國土3500多平方公里。
隨著根據地的恢復和擴大，魯南軍民積極開展了鞏固和建設根據地的各項工作。在老區，進行了租減息。在新區，進行了反奸反霸鬥爭和發展生產。據1944年8月統計：全區已有黨員的村莊占全部村莊的48%； 民眾組織發展到50萬人；改造村政權1320個；民兵發展到43748人。在參軍運動中，有11064名青年加入主力部隊和地方武裝。到同年底，魯南根據地面積達到6072.75平方公里，游擊區達到4907.5平方公里。
1945年2月起，魯南部隊進行了討伐王洪九、榮子恆、張里元、鞏振寰、梁鍾亭和臨費邊戰役。9月11日，魯南重鎮臨沂解放。此後，臨沂成為山東解放區首府。10月間，魯南區黨委轄3個地委：一地委轄費縣、平邑、泗水、曲阜、鄒縣、滋陽(兗州)、雙山縣委；二地委轄滕縣、臨城、鳧山縣委；三地委轄趙?、蒼山、邳縣、嶧縣、銅山縣委(臨沂、郯城劃歸濱海區)。到年底，解放區和游擊區面積為14560.3平方公里，占總面積的9 0.5%。
1946年1月10日國共雙方簽署停戰協定後，魯南區普遍開展了反奸訴苦、減租減息民眾運動，並進行改造舊政權，恢復城鎮社會秩序等工作。中央“五·四”指示頒布後，土地改革運動逐步開展。6月26日，國民黨以22萬兵力圍攻中原解放區，全面內戰爆發。7月中旬，國民黨軍隊分四路向蘇北、魯南進攻。8月1日，魯南區黨委舉行反內戰誓師大會。為了保衛家鄉和勝利果實，各地都掀起了“反蔣保田”、參軍參戰熱潮。在支援蘇中、淮北反擊國民党進攻作戰中，魯南人民出動民工擔架隊有10萬人。
在人民軍隊阻擊下，進攻魯南之敵進展緩慢。10月中旬，敵整編第二十六師才逼近棗莊，並向臨沂進犯。在伏山口作戰中，敵被殲2500餘人，退至台兒莊、棗莊一線。11月上旬，敵開始新的進攻，華東部隊發起台棗路反擊戰，取得殲敵3000多 人的勝利。在上述作戰中，魯南人民大力支前，平邑縣一區擔架隊被魯南前線總兵站授予“模範擔架隊”獎旗；魯南專署通令嘉獎趙?縣五區、平邑縣一區擔架隊， 趙?縣七區婦救會、姊妹團，泗水縣婦女支前運輸隊為支前模範單位。接著，魯南人民又積極支援宿北戰役，使此次戰役取得全殲國民黨整編第六十九師師部及3個半旅共2萬多人的重大勝利。
1947年1月魯南戰役後，華東野戰軍向北轉移。2月15日，臨沂城被國民黨軍隊占領。3月，國民黨成立了陸軍總部徐州指揮部，由陸軍總司令顧祝同統一指揮24個整編師、60個旅的兵力，組成3個機動兵團，對山東根據地實施重點進攻，先後侵占了棗莊、曲阜、泗水、費縣等地。抗戰勝利後逃跑的偽軍政人員、地主、惡霸等組成“還鄉團”，返回魯南，瘋狂進行反攻倒算，殘殺革命幹部和積極分子。出任國民黨山東第三區專員公署專員、保全司令的王洪九，揚言不殺3000名共產黨誓不為人。鬥爭形勢極端殘酷。5月初，魯南地區被國民黨軍隊侵占。魯南區黨委遵照華東局的指示，各地、縣、區委在留下主要領導幹部和精幹武裝堅持鬥爭的同時，將機關黨政軍工家屬等2萬餘人，組成魯南後方司令部，分期分批撤離到渤海地區。6月6日，國民黨三十三軍、整編八十三師會同臨沂、費縣、郯城、嶧縣、邳縣等地保全武裝共10萬餘人，從四面向抱犢崮山區合圍。魯南黨政軍機關、部隊以及趙?、蒼山、費縣、嶧縣、鄒縣、平邑、泗水、邳縣、棗莊等縣、區幹部、民兵、軍工家屬5萬多人，被圍困在雲澗峪一帶。7日晚，陸續向東突圍，於9日凌晨到達濱海區的泉源頭、店頭一帶。在突圍和就地堅持鬥爭中，臨沂縣委副書記劉繼忠、麓水縣委副書記張考三和組織部長齊民新等許多幹部犧牲。在“還鄉團”的反攻倒算中，平邑和費縣被殺害的幹部民眾達2000多人，蒼山縣達2300餘人，臨沂縣達7000多人，出現“村村停屍體，莊莊聞哭聲”的悲慘景象。
魯南區黨委等領導機關突圍到濱海地區後，經過短暫的休整，於7月底返回魯南。此後，以開展游擊戰爭，恢復被敵人摧殘的黨政組織為中心工作。當時，魯南地區處在極端困難之中，據1948年春統計，農村支部比1946年減少了82%，黨員減少了76%。
1948年1月10日， 魯南區黨委在平邑縣王崮山村召開縣委委員以上幹部會議。會議傳達了大魯南土地會議精神，確定今後的總任務是：開展游擊戰爭，堅持魯南戰略區，壓縮敵占區， 鞏固收復區，配合主力部隊進行反攻。會後，大力開展了生產救災運動，基本達到了“不荒掉一畝地，不餓死一個人”的要求。7月17日，中共華東中央局決定將魯中、魯南和濱海等地區合併為魯中南區。原魯南區第一、三專署改為魯中南區第四、五專署。第四專署(又稱尼山專署)轄平邑、泗水、曲阜、滋陽、鄒縣、滕縣。第五專署(又稱台棗專署)轄費縣、蒼山、蘭陵、嶧縣、邳縣、臨城縣和棗莊行政區。
魯中南區成立後，魯南地區相繼開展了支援解放軍大規模戰略決戰；動員參軍參戰、抽調幹部南下支援新區；剿匪反特、鞏固後方，保衛人民生命財產安全；廣泛開展生產救災；老區結束土改，恢復區完成土改，新區開展減租減息運動。至1948年11月，魯南除隴海鐵路沿線和徐州外，敵軍均被清除，和魯中、冀魯豫連成了一片。1949年1月10日淮海戰役勝利結束後，魯南全境解放。
在整個解放戰爭期間，魯南是國民黨軍隊進攻的主戰場，鬥爭尖銳複雜。在中共中央、山東分局、華東局的領導下，魯南地區黨政軍民經歷了艱苦卓絕的鬥爭，為新中國的建立作出不可磨滅的貢獻。
