樂山幼年在肖家莊王氏私塾讀書，繼轉河州鳳林書院。光緒十九年(1893)年中秀才，同年去寧夏鎮總兵府供職，辛亥革命爆發，隨父卸職還鄉，在家博覽群書。
民國10年，馬福祥升任綏遠都統，委任樂山為吐默特總管。在任期間，妥善解決積存多年的幾起草原地界糾紛，贏得牧民信賴。民國13年回歸故里。
樂山多才，為人正直，深得馬鴻賓器重，民國18年應馬鴻賓之聘，攜眷赴寧夏供職。當時地方各派勢力紛爭，百姓置身水火，樂山雖憂慮，但無回天之術，遂辭官回家。民國19年青海省主席馬麒任命樂山為省府秘書長。任職期間目睹官場腐敗，捐稅日重，民不聊生，欲整飭，但因各方掣肘，宏願難以實現，供職三年，忿然辭職。民國24年，樂山任臨夏縣政府公產公款管理委員會主任。時聞臨夏聯立中學20名畢業生赴省會考，因多為貧苦子弟，路費無著，在他的帶動下，各方人士解囊相助，考生路費得以解決。民國27年與他人倡議並積極支持“私立興華國小”的創辦籌備工作。民國34年，被推選為臨夏縣臨時參議會議長，後因故退出。
民國38年，韓起功到臨夏抓兵，派人請樂山商議抓兵事宜，樂山正色對來人說：“又將發生一場災難，議什麼事”。第二天韓起功帶厚禮登門，樂山謝絕，次日，退回禮品。韓惱羞成怒，欲抓樂山15歲的孫子當兵，樂山致書馬鴻賓出面，始得倖免。1949年8月22日與拜學忠、張質生等，前往大夏河橋頭迎接中國人民解放軍入城。
1949提8月25日，臨夏軍管會成立，張樂山被任命軍管會副主任。11月又奉陝甘寧邊區政府令，出任臨夏專員公署第一副專員。後又任土地改革委員會副主任、第一屆省政協委員，並當選為第一屆省人民代表大會代表，致力於民族團結事業。1951年，樂山以西北少數民族參觀團副團長身份，赴北京、天津等地參觀，在北京受到毛主席等中央首長的接見，回臨夏後，投身家長建設，倡導在八坊設立臨夏女子中學，經省政府批准，於1953年9月，成立臨夏女子初級中學(現臨夏回中前身)，被任命為臨夏女子中學校長。
1956年，臨夏回族自治州籌備委員會成立，樂山任籌委會副主任，不久因病逝世。中央甘肅省委、省人民委員會打電報弔唁，稱讚“張樂山副專員在民族團結方面做了很多有益的工作”。
