1936年，趙玉山原先的鄰居毛羅扎木蘇得知黨中央在定邊設立蒙古工作委員會，便前去尋找探討抗日民族統一戰線的問題。在那裡，他受到熱烈歡迎和盛情款待。回來後，毛羅扎木蘇給趙玉山講解定邊之行的見聞和共產黨的政治主張，分析當時的形勢。這使趙玉山逐漸認識到，要解放貧苦的牧民民眾，就必須接受中國共產黨的領導，推翻國民黨反動派的殘酷統治。
1937年2月16日，由毛羅扎木蘇組織的烏審旗第一個蒙古族各界人士代表團赴延安觀光。代表團一行30餘人，以賽畢勒格和趙玉山為正、副團長。
2月21日到延安後，受到延安黨、政、軍、民各界的熱烈歡迎。毛主席、朱德等中央首長几次接見代表團的全體成員，和他們進行了誠摯友好的談話。這次代表團赴延安參觀學習，在烏審旗蒙民中產生了很大的影響，有力地推動了全旗的革命活動，喚起了蒙古族人民抗日救亡的熱情。
1943年4月6日，奇金山在西烏審率部起義，趙玉山積極參加了組織工作。該部起義後，趙玉山被委任為軍需副官，並受奇金山委派，同石玉山、阿日並巴雅爾到河南(現屬烏審旗)地區與八路軍負責人曹動之、曹布誠等會面，匯報起義情況。
1945年3月，西烏部隊擴編為西烏保全司，趙玉山被任命為秘書長。接著被派往延安學習。通過學習，使他了解了當時國內外的基本形勢，掌握了一些軍事知識，並參加了延安邊區民族事務委員會、蒙古族同學會及在延安的蒙古族為奇金山舉行的追悼大會，受到很大鼓舞和鼓勵。歸隊後，他把從延安帶來的槍枝全部分給戰士們，並向戰士們傳授了在延安學到的軍事知識和所見所聞。從此，他主要協助領導制定部隊作戰計畫，使學到的軍事理論和實踐結合起來，提高部隊的實戰能力和政治素質。
1947年3月12日，西烏部隊第一大隊大隊長鐵木爾叛變投敵。由於內外形勢所逼，西烏審部隊隨即撤到靖邊。4月1日，烏審旗工委在靖邊縣王家汗溝召開了工委擴大會議，決定保留西烏部隊，繼續開展游擊戰爭，並決定部隊軍事行動由參謀長奇福緣(布音依布格)和秘書長趙玉山全權負責。
1947年5月5日，伊盟工委決定將各旗的革命武裝統一編成伊盟蒙漢支隊。西烏部隊被編為蒙漢支隊第二大隊，但仍保留西烏部隊建制。趙玉山仍任秘書長。
1947年後半年，趙玉山又不顧病魔纏身隨部隊在河南一帶打游擊戰。後來，他的病情逐漸惡化，組織上派兩名衛兵護送他回家療養。經過一個多月的治療，病情剛剛好轉，他就帶著衛兵，經過千辛萬苦在陝北吳旗找到了部隊，參加了冬季三查整風整訓運動。
1949年2月10日，東烏審和平起義。原烏審旗警備司和保全司共八個連，經過整頓，統一編入伊盟蒙漢支隊第二大隊，趙玉山提任為支隊長。他率領這支部隊，在蒙漢支隊的統一指揮下，在郡王旗通格朗一帶多次作戰，沉重地打擊了國民黨反動武裝，為人民解放事業做出了貢獻。8月10日，烏審旗人民政府成立，趙玉山被選為委員。
8月13日，曾被我軍俘虜的國民黨伊克昭盟警二區少將司令奇玉山從延安回到旗里。9月21日夜晚，奇玉山經過秘謀策劃，糾集舊部發動了武裝叛變。旗委副書記兼第二支隊副政委石玉山在激戰中壯烈犧牲，伊盟第二支隊隊長趙玉山身負重傷，並被人毒死。
趙玉山犧牲後，伊盟軍區領導對趙玉山的一生作出了高度的評價：“從西烏部隊到蒙漢支隊，從伊盟支隊到伊盟軍區，趙玉山和石玉山經歷了伊盟解放戰爭的全過程……他們把自己的一切都無私地獻給了伊盟人民，獻給了中國革命”。“他們是蒙古人民的好兒子，也是伊盟人民解放軍中為數不多的從伊西打到伊東為建立人民政權，解放整個鄂爾多斯立下不朽功勳的人民英雄”。
