1923年8月，張俊傑考入開封省立第一師範學校。1925年10月加入中國共產黨。因積極參加革命活動，1926年暑期，校方藉故將他開除。8月，中共河南黨組織決定，派張俊傑到廣東黃埔軍校學習。學習期間，他參加了學校的“倒蔣”運動。後因中共河南地下組織遭到嚴重破壞，張俊傑與黨組織失去聯繫。
1933年3月，張俊傑應邀到靈寶縣第三國小教書。8月，到靈寶師範學校任國文教員和教務主任。1937年8月，他結識了路過靈寶的中共北方局聯絡員劉貫一，在劉的積極幫助下，中共豫西特委恢復了張俊傑的組織關係。同時，指示張俊傑在靈寶發展黨員，籌建中共靈寶縣委。12月下旬，中共靈寶縣委正式建立，張俊傑任縣委書記。
縣委成立後，張俊傑積極帶領縣委成員在靈寶開展抗日救亡活動，宣傳共產黨的抗日主張，在靈師學生中舉行時事座談會，學習革命理論，廣泛推銷進步書籍，使靈寶的抗日救亡運動出現了一個新的高潮。與此同時，積極發展黨的組織，在靈寶的學校、工廠、駐軍中發展了多名黨員。由於黨員人數的增加和活動範圍的擴大，1938年8月，中共豫西特委將靈寶縣委改為中共靈寶中心縣委，負責靈寶、陝縣、盧氏、閿鄉四縣黨的工作，張俊傑任中心縣委書記。
在從事黨的工作的同時，張俊傑還擔任著教學工作，其住室成了進步學生來往和馬克思主義傳播之處。張俊傑的活動逐漸引起國民黨靈寶當局的注意，靈寶縣黨部派密探蒐集他的言論和材料，欲將其逮捕治罪。中共豫西特委為避免張俊傑被害，派苗樹棠接替他的縣委書記工作。張俊傑於1940年2月離開靈寶，到達豫皖蘇根據地新四軍總部，曾多次參加對侵華日軍的作戰，並參加了三年解放戰爭。
新中國成立後，張俊傑仍在部隊工作，曾任軍區司令部秘書、科長、副主任、團政委等職，1958年轉業到教育戰線，曾任安徽省教育學院黨委書記、院長，安徽師大副校長等職。
