組建背景
1938年6月，第120師遵照中共中央軍委關於在平綏鐵路（今北京－包頭）以北，沿大青山山脈建立游擊根據地的指示，以第358旅第715團、獨立第4支隊和師騎兵營一部共2300餘人，組成大青山支隊，358旅政治委員李井泉任支隊長兼政治委員，執行開闢大青山地區的任務。
開闢根據地
大青山支隊繳獲的戰利品1938年7月，大青山支隊由山西省五寨縣出發進至平魯、左雲、右玉地區，進行向大青山挺進的準備工作。8月，從殺虎口越過長城，進入涼城縣境內，經廠漢營沿岱海灘北上，於28日進占蠻汗山地帶的太平寨。為了保障晉西北與大青山的聯繫，支隊決定留第715團第1營開闢以蠻汗山為中心的綏南根據地，主力繼續北進。9月1日夜，支隊主力在旗下營與三道營之間，衝破日偽軍的攔阻，跨過平綏鐵路，進入大青山腹地甘溝子、大灘、八墩地區，與中共地方組織領導的蒙漢人民抗日游擊隊會合。
9月3日，襲擊陶林城（今察哈爾右翼中旗），殲日偽軍一部。爾後，回師大灘地區，並組建了綏蒙戰地總動員委員會，發動與組織民眾，展開創建綏中根據地的活動。10日夜，支隊以第715團兩個營的兵力，進攻四子王旗地區的貿易中心烏蘭花鎮（今四子王旗），經3個多小時的激戰，殲滅偽蒙軍一部，俘70餘人，繳槍70餘支、軍馬80餘匹。攻占該鎮後，廣泛宣傳中共的抗日救國十大綱領和民族政策，得到各階層人民的熱烈擁護，打開了大青山地區的抗日局面。支隊決定一部兵力留綏中，主力插進綏西。
9月20日，支隊主力在武川以東的後窯子地區擊退數百名日偽軍的阻攔，斃傷其80餘人，進入歸綏（今呼和浩特）至武川公路以西地區，展開創建綏西根據地的鬥爭。10月1日，奔襲包頭東北石拐子據點，殲敵一部。中旬，又襲擊了平綏鐵路歸綏至包頭間的蘇安蓋、陶思浩、察素齊、畢克齊等日偽軍據點，並破壞鐵路一段，毀汽車4輛，殲日偽軍一部，進而威脅包頭、歸綏之敵。至此，大青山支隊在綏南、綏中、綏西的廣大地區展開了游擊戰爭。
反掃蕩鬥爭
後排左起楊文江孫丕榮田恩民。日偽軍為了鞏固統治區，消滅迅猛發展的大青山支隊，先後於11月上旬和12月中旬，分別以3000餘人的兵力對綏中，以2000餘人的兵力對綏西發動圍攻。大青山支隊在蒙漢兩族人民民眾的支援下，採取堅壁清野、組織游擊小組廣泛出擊和內線外線作戰相結合的戰術，展開反圍攻。在綏中地區，11月3日，支隊一部在馬家店大廟設伏，斃傷日偽軍20餘人，擊毀汽車3輛。6日，在大灘誘使陶林和旗下營出動的日偽軍自相誤戰4個小時，傷亡百餘人。在綏西地區，游擊隊不斷襲擊武川、薩拉齊、百靈廟日偽軍據點；主力部隊在馬廠梁、大溝、德勝溝等地給予日偽軍打擊，殲其200餘人，日偽軍被迫撤回原據點。
在此期間，支隊留在綏南的部隊，以蠻汗山為中心開展游擊戰爭，挫敗了日偽軍的多次圍攻，保障了晉西北與大青山的聯繫。大青山支隊經過4個多月的轉戰，初步開闢了歸綏至武川公路以西之綏西、歸綏至武川公路以東的綏中，及平綏鐵路南以蠻汗山為中心的綏南等3個游擊根據地，使綏遠和山西的抗日游擊戰爭緊密配合。
支隊改編
12月下旬，大青山支隊第715團主力奉命隨第120師師部開赴冀中抗日根據地後，按賀龍同志的部署，留下4個連的兵力和獨立第4支隊共500餘人，堅持大青山地區的鬥爭。至1939年上半年，部隊發展到1700餘人，擴編為3個營，改編為大青山騎兵支隊。1940年夏，支隊擴編為3個團。7月，李井泉調回晉西北後，姚喆接任司令員。
得勝溝村大青山支隊司令部舊址由於中央總部部署，主力被調走，大青山根據地遭到日軍和國民黨頑固派的多次圍攻，根據地面積縮小，1942年，綏中區喪失，八路軍僅能在綏西、綏南一帶堅持游擊戰爭。10月，中共晉綏分局將綏遠和雁北合併成立塞北軍分區，綏遠區黨委改為中共塞北工作委員會。與此同時，大青山黨政軍機關組織武裝工作隊、騎兵分隊和兩個工作組，進入綏中區開展工作。
1944年8月，大青山根據地軍民配合晉西北八路軍的秋季攻勢，擴大了解放區。到1944年底，大青山根據地基本恢復。1945年6月，國民黨頑固軍進攻大青山地區。8月中旬，頑軍被逐回河套。八路軍隨即發起戰略大反攻，以騎兵旅、第二十七團一部會同教導第二隊等武裝，由偏關向托克托、和林格爾挺進，掃清了平綏路沿線敵軍據點，奪取了抗戰的最後勝利。
