少時就讀私塾,後又在大王鎮以鞝鞋為業。年近三十又發奮讀書,明永樂三年(1405)中舉,選授吏部司務,遷驗封郎中。
他在吏部期間,廉潔奉公,權貴不避,饋贈不受,同事稱他為“板張”。少子張剛步行至京探望,賢斥責其說:“農忙時節,你來何乾?京城官場有何利益?”剛住數日,賢即令回家,井告誡: “勿再來。”
嗣後遇戰事,朝廷派往山西督催軍餉的人受賄,任務過期未能完成。有嫉妒張賢的人,出使山西。賢既至,威惠並舉,執法如山,按期完成了軍餉,遂拜山西右布政使。這時,長子紀又徒步去太原見賢。路過曲沃時,知縣送給—頭毛驢坐騎。賢問紀驢從何而得,紀具以實告。賢怒而斥責,並命把驢送還。
由於張賢出任山西有政績,吏部內定升任都察御史,表疏未上,賢呈請辭職。歸鄉後,布衣素食。病中,他囑咐兩個兒子: “我死後不要收人送錢,傷我節操,不要撰墓志銘,表失我真:不要做石羊石馬,侵我墳。”卒後,二子遵命,葬賢於祖塋。