1929年春，他被派到東北工作，任台安特支書記，後任吉林縣委書記。1932年，他被任命為盤石工農反日游擊隊總隊長。
1933年初，中共滿洲省委派張進山任中共哈爾濱東區區委書記，張進山為了便於工作掩護，在道外祥泰鐵工廠當了管帳先生。他通過反日會的活動，培養黨的積極分子，發展黨的組織。在敵人的白色恐怖下，黨的活動處於低潮。好友、反日會員柴好建議在哈爾濱火車站偽滿洲國建國紀念碑上書寫一條反日標語，一定會引起震動，張進山覺得這個建議很好。4月30日下半夜兩點多鐘，張進山、柴好、共青團員楊兆順用油漆在紀念碑上書寫了“打倒日本帝國主義”幾個鮮紅的大字。日偽當局十分恐慌，立即在車站實行戒嚴，一面驅趕民眾，一面用水洗刷標語。標語是用油漆寫的，敵人用水怎么也刷不掉，只好用白布把紀念碑圍起來，用鏟子刻，才把標語鏟掉，“紀念碑事件”在全市引起轟動，極大的鼓舞了廣大民眾的抗日熱情。當時，進行反日宣傳的工作，除了寫標語，撒傳單外，還經常舉行飛行集會。這種活動危險性很大，但張進山堅決執行上級的決定，從不把個人危險放在心上。一次，在道外北市場舉行飛行集會上，張進山站在市場中央的板凳上，高聲宣講抗日救國的道理。張進山的話一停，紅紅綠綠的傳單撒遍市場，敵人要進市場抓人，被民眾隔住，張進山在同志們的掩護下，脫離危險。1934年他到抗日游擊區工作，任東北人民革命軍第三軍政治部主任。1935年8月2日，他與珠河縣委書記鮑巨魁、宣傳部長馮仲雲以及韓光、朱新陽等轉移到婁家窩棚時，被敵人包圍。在突圍時，張進山中彈犧牲。
