1916年,考入山東省立濟南第一師範學校。與本班同學延伯真等9人組建了一個進步團體——青年互助社,以研究新文化、發展鄉村教育為宗旨,走教育救國的道路。1922年,他因肺病輟學回家休養,仍帶病從事鄉村教育工作並宣傳新思想,學習新文化。
1924年4月,張玉山經鄧恩銘、延伯真介紹,加入了社會主義青年團,同年8月轉黨。1925年受黨的指示,他到崔家莊雙鳳學校任教,宣傳黨的主張。
建立濰坊第一個黨支部
1924年8月,中共壽廣小組在張家莊成立,張玉山任組長,王雲生和廣饒縣的延安吉任委員。1924年9月,在中共壽廣小組的基礎上,建立中共壽廣支部幹事會(即壽廣支部),張玉山任書記。中共壽廣支部是濰坊大地的第一個黨支部,也是山東省最早的農村黨支部。1925年3月,中共壽光支部在張家莊國小建立,張玉山任書記,王雲生、李鐵梅任委員。1926年8月,中共壽光支部在省地執委的領導和直接幫助下,在張家莊正式建立了中共壽光縣地方執行委員會(後改稱中共壽光縣委),張玉山任縣地執委書記。
帶病領導壽光革命活動
1927年,張玉山病情越來越嚴重,但是仍頑強工作,帶病先後去濟南、益都等地參加會議,並領導全縣人民勝利地進行了一次空前規模的抗糧抗捐鬥爭。大革命失敗後,他根據壽光的鬥爭形勢,進行了艱苦卓絕的工作,使壽光國共合作的局面,在全國徹底破裂後又維持了一年半之久,為壽光革命形勢的發展贏得了時間。繁重的革命工作,艱苦的鬥爭環境,使張玉山病情不斷惡化。1927年12月18日,張玉山病逝,時年29歲。張玉山逝世後,壽光黨組織為他召開了隆重的追悼大會。解放後,中共壽光縣委在烈士陵園為張玉山建立了紀念碑。
