參加革命後，分別在陝西省延安後方醫院、延安縣中央黨校教育科、陝西省龍東分區慶陽縣龍東幹部團、龍東分區合水縣聯防司令部合水兵站、陝西興縣晉綏軍區劇院、甘肅省蘭州市西北軍區後勤部勤政文工團、劇務組工作。革命戰爭期間先後在西北戰場參加過甘肅合水戰鬥，陝西榆林戰鬥、清澗戰鬥、延安戰鬥及蘭州戰役等。為中國人民的解放事業做出了貢獻。新中國成立後，他長期從事部隊後勤工作，為人民軍隊後勤事業做出積極貢獻。離休後始終保持發揚優良作風和革命傳統，關心國家形勢和軍隊建設，大力支持干休所工作，嚴格要求子女，保持了革命晚年。於2003年3月24日凌晨在蘭州軍區總醫院病逝，享年81歲。蘭州軍區為他舉行追悼會，其詞曰：“張玉山同志的一生，是光輝的一生，戰鬥的一生，艱苦樸素的一生，廉潔奉公的一生，他的崇高精神和優秀品質將永世長存！”
