建立
1938年1月，建立了第三軍軍政委員會。與此同時，膠東黨組織在掖縣、蓬萊、黃縣等地發動民眾，建立了4000餘人的革命武裝和抗日民主政府。
快速發展
山東縱隊成立後，抗日救國軍第三軍改編為山東縱隊第五支隊。1939年，第五支隊粉碎了日偽軍對以文登縣大澤山區為中心的“掃蕩”，開闢和鞏固了以平度、招遠、萊陽、掖縣為中心的膠東抗日根據地，鞏固了西海區。與此同時，第五支隊還挺進北海區，開闢和堅持了蓬萊、黃縣沿海地區。是年底，成立了膠東軍區，許世友任司令員，林浩任政治委員。1940年，第五支隊和膠東軍區部隊繼續向東海區的海陽、牟平以東發展，而且堅持了西海區、北海區的抗日武裝鬥爭;打擊了日軍，粉碎了國民黨頑固派和偽軍的進攻，開闢和堅持了東海區根據地的抗日武裝鬥爭。是年8月，膠東軍區和地方武裝相互配合，從文登縣大澤山向南發展，開闢了平度、萊陽南部的抗日根據地。同時，在開闢的新區建立抗日民主政權，鞏固了南海區抗日根據地，膠東抗日根據地得到了進一步的發展。
反擊日偽軍
1941年4月，山東分局決定成立中共膠東區黨委，林浩任書記。1944年，膠東軍民發起對日偽軍的攻勢作戰，先後向平度以東、大澤山東部、牟平以南、黃縣以西之敵進攻，將東海、西海、南海、北海四個區連成一片，解放國土5000餘平方公里。
1945年春，膠東軍民發起討伐偽軍吳化文戰役，殲吳部9300多人，進一步擴大了根據地。
