1927年離家充軍，所在的部隊是韓復榘的第三路軍（第三集團軍）騎兵旅，抗戰前期跟隨孫桐萱在兗州駐紮（一直跟孫桐萱個人關係較好），抗戰初期，曾與吳化文、劉本功在黃河以北、泰安、德縣、小清河一帶阻擊日軍，韓部放棄濟南撤退到魯西南後，張舒同帶領一個騎兵團駐守濟寧一帶，1938年1月韓復榘被處決後，第三集團軍由孫桐萱擔任繼續抗戰，張舒同與當地的共產黨員張季升組織的一些武裝力量共同抵抗日軍，台兒莊大戰之前，為了配合西北軍曾夜襲日軍大汶口機場，反攻濟寧。徐州會戰結束後，第三集團軍基本被解散，孫桐萱的第十二軍隨部隊南下，張舒同和剩下的一些武裝在敵後進行游擊戰爭，1939年後劉本功 吳化文等部先後投靠日本人，他和一些共產黨人仍然堅持敵後戰爭。
1943年初敵後戰爭日益艱難，張舒同帶部投奔鄆城劉本功，駐守濟寧，1943年5月 帶部進駐鄆城，竟戲劇般的與共產黨的隊伍成了死對頭，曾數次在鄆城、鄄城一帶與冀魯豫軍區第一縱隊周鏇。1945年日本侵略軍投降後，劉本功部已經發展到15000餘人，被蔣介石改編為山東先遣暫編保全第二師，旗下分三個旅，四個警衛團，兩個特務隊，劉本功任師長，張舒同被任少將副師長第二旅旅長，曾子南任第三旅旅長，分別駐守濟寧、巨野、鄆城。1945年12月31日，冀魯豫軍區第七縱隊在司令員楊勇的指揮下進攻鄆城和巨野，張舒同和曾子南兵敗，鄆城被攻取後張舒同帶殘部逃亡濟寧，巨野被攻取後曾子南被俘虜。 1946年1月第七縱隊進攻濟寧，劉本功四面受敵，在參謀長閻冠英的建議下放棄濟寧，為保存實力，劉本功分散了部隊，分批隱藏軍火，張舒同帶領第二旅殘部秘密駐紮到汶上蜀山湖畔。1946年10月去往濟南被王耀武任為某（不詳）師部參謀。1948年在濟南戰役中被俘。
