張憲自幼喜愛讀書，“能鼓琴飲酒”，其文辭一向得到唐末強藩李克用之子李存勖的賞識。李存勖做晉王時任張憲為天雄軍節度使掌書記。李存勖滅梁建後唐，義委張憲為工部侍郎、租庸使。張憲後又任刑部侍郎、判吏部銓、東都副留守等職，“精於吏事，甚有能政”。
同光三年(925年）九月，莊宗重臣郭崇韜討伐西川(今四川)時．推薦張憲為相頂替自己。但宮中宦官，伶人怕張憲在朝中礙事，從中作梗，勸莊宗說：“宰相在天子面前，事有非是，尚可改作，一才之任。苟非其人，則為患不絀。”最終以“憲材誠可用，不如任以一方”為由，委以太原尹，北京留守。
後唐天成元年（926年)三月，趙在禮在魏州(今河北大名東北）發動兵變，對在魏州的張憲親屬以“善待”，並寫信派人勸降張憲。而張憲“斬其使，不發其書而上之，”以表明其忠君心跡。四月，莊宗被叛兵亂箭射死，李嗣源率軍入京稱帝，是為後唐明宗。莊宗弟永王李存霸被李嗣源擊敗逃到太原依附張憲，這時張憲左右鼓動，將李存霸拘押起來以待形勢的發展，再做處理。張憲說，我本一個書生，無尺寸之功，莊宗對我恩情甚厚，我怎么能扣押其弟以觀事變呢。同僚張昭遠勸張憲“奉表明宗以勸進”，張憲“涕泣拒之。”在這種情況下亂兵殺李存霸，張憲也被殺。
李存勖稱帝後，寵信宦官和伶官，迷戀女色，搜刮民脂，殘暴荒淫，必然短命。張憲以後才盡忠這樣一個昏君，自是可悲。
少喜儒學，精《左傳》。石州刺史楊守業喜聚書，他盡讀楊守業藏書後，聞見日博。唐莊宗時，召為朝官，官至御史中丞，授尚書工部侍郎，改刑部侍郎。同光三年（925）授銀青光祿大夫。後被符彥朝所殺。藏書富於一時。龍得、同光中，遇張昭攜文教10軸謁，張昭亦喜藏書，每與昭交談，講論經史要事。家有藏書5 000卷，視事之餘，皆手自勘校。
