早年經歷
11歲給地主放豬、幹活，14歲被抓去安東（今丹東市）做勞工。1945年9月莊河解放，他不滿16歲報名參軍。
參軍經歷
參軍後，趙連玉參加的第一次戰鬥是解放安東的戰鬥。安東解放後，他又參加了解放本溪、桓仁、遼陽、營口等地的幾十次大小戰役、戰鬥。塔山阻擊戰、錦州戰役等著名戰役，都有他留下的光榮記錄，受到多次嘉獎。遼西戰役後，他帶著滿身硝煙隨四縱隊進關，投入平津戰役，戰天津，進北平，還在進北平的入城儀式上受到毛澤東的檢閱。
1962年，趙連玉進南京高級步校學習，接受了正規的軍事科學教育，提高了指揮藝術水平。學習期間，他想到自己從放豬娃到高級軍官，完全是共產黨的教育和人民解放軍培養的結果。再環顧全球，還存在著億萬人民企盼著解放，他暗下決心以優異的成績掌握學習的知識，做一個名副其實的軍事指揮員，把一生獻給革命事業。1964年他畢業後，分配在廣東汕頭地區普寧縣擔任“四清”隊長。一年後，回部隊擔任副師長職務，他一心撲在部隊現代化建設上。
1971年，趙連玉經上級選送到北京軍事科學院，接受現代化高級指揮員的深造教育。1971年畢業回原部隊。1979年2月17日，為懲罰越南的侵略挑釁，他奉調前線任53214部隊副師長。他親率一個團執行穿插任務，發揮了指揮才能，攻高平、克涼山，身經大小戰鬥10餘次，都出色地完成了戰鬥任務。
1979年3月，趙連玉在返回祖國途中，不幸被敵人的子彈擊中，壯烈犧牲，時年49歲。
趙連玉的遺體葬於廣西龍州香水鄉蕉坎村，他生平戰績陳列在湖南耒縣53214部隊博物館。
