青年時期就讀於臨朐縣師範講習所。畢業後從事教育工作。1938年秋加入中國共產黨,以教員的合法身份從事黨的地下活動。其長子高存林(原名高傳典),16歲即加入中國共產黨,在家鄉組織讀書會,宣傳抗日救國的道理。1939年春,高俊之支持高存林參加革命隊伍。存林入伍後,進山東軍政幹部學校學習。結業後分配到八路軍山東縱隊直屬青年營任文化教員,1941年在抗日戰爭中犧牲。1939年秋末,高俊之參加中共臨朐縣委在朱家坡村舉辦的黨員訓練班,受訓結束後毅然棄教從戎,先後在中共魯中二地委抗敵報社、二地委敵工部和二軍分區政治部工作。
1943年被評為模範工作者。1945年下半年調魯中軍區第九師政治部任聯絡幹事;翌年,又調至華東野戰軍第八縱隊二十三師兵站任政治協理員。在任職期間,組織上曾批准他享受保健待遇,但他堅持與幹部戰士一樣生活。
1947年秋,他隨軍開赴河南。次年初,為加強地方武裝力量,組織將他由野戰部隊派至西華縣大隊,任副政委。1948年春,他奉命率領縣大隊二連去商水徵集軍糧,返回途中同國民黨便衣偵察營遭遇。他臨危不懼,指揮部隊與敵搏鬥,終因寡不敵眾,激戰中壯烈犧牲,時年47歲。