1937年8月，國民黨政府委員會命令青海調派1個騎兵師參加抗戰。青海省政府主席馬步芳即調配人馬，組成抗日騎兵師。騎兵1師（後番號改為騎兵第八師）以原青海海南警備司令部所屬第1旅為基礎，合併駐防河西走廊的馬步青部的部分官兵，並徵調大通、互助、湟源三縣的民團，以回、漢，東鄉、撒拉、保全、藏等族人員組成，共9000多人。數月後騎8師兵鋒東漸。騎1師抵陝後，即歸第8戰區西安行營指揮，各旅分駐興平、扶風、醴泉、永壽和鹹陽等縣待命。次年二月，騎8師分駐西安以東、河南陝州以西的隴海鐵路沿線，擔負防守鐵路、保衛公路安全的任務，同時又不時派出小分隊，北渡黃河到晉南芮城一帶以輕騎襲擊運城日軍，確保潼關安全。1938年4月間，騎8師奉命進剿西荊公路龍駒寨一帶由日本浪人操縱指揮、漢*參加的反動武裝。當時，這股武裝千餘人盤踞華山南麓，不時出沒於西荊公路，肆意攔截車輛，搶奪物資，致使西荊公路無法暢通，嚴重影響華中戰備物資的運輸與供應。騎8師殲滅了這股武裝，受到西安行營的傳令嘉獎。不久，騎8師奉命調赴許昌，繼而進駐黃泛區的扶溝、鄢陵、西華等縣，擔負這一線的河防任務，受第一戰區孫桐檀集團軍的指揮。
1939年春，騎8師第3旅馬祿（回）部自鄭州調赴陝西耀縣，與從駐防甘肅武威的騎五軍中調來的兩個旅，組成暫編騎兵第二師，馬祿任師長，駐防北同官（今銅川）等地。騎8師所駐河防，地處平漢線中段，為華東、華中戰略要地。日軍不惜調集各種兵力，多次出擊騎8師，8師各旅則先後輪流渡過黃河，以輕騎游擊形式不時襲擊淮陽一帶日軍，並不斷給敵以打擊。
同年八九月間，騎8師乘淮陽日軍空虛之機，二旅旅長馬秉忠率部渡河進駐寶塔、孔莊一帶，進而圍攻淮陽城，攻占淮陽城西關。城內日軍固守待援，對峙激戰中，日軍從開封調來100輛卡車的援兵，與淮陽城日軍，配合步、炮、坦克各兵種，向騎8師陣地瘋狂進攻。激戰中，雙方展開衝鋒，形成了白刃戰，直殺得天昏地暗。血戰的腥味和死馬的屍臭，像雨水一般飄落下來。二旅官兵奮勇迎敵，旅長馬秉忠在戰鬥中中彈身亡。四團團長馬成翰（回）接替指揮繼續浴血奮戰。此役最後以日軍潰退而告終。不久，騎8師又在一次突襲圍殲敵軍的戰鬥中，全殲敵騎兵500餘人，繳獲戰馬數十匹。騎兵師英勇頑強善戰，使日軍惱羞成怒。時間不長，日軍抽調重兵，配備重炮、坦克，向騎8師寶塔一線強攻。騎8師立即組織反攻，官兵戰馬馳騁，迂迴衝殺，以血肉之軀與敵拼搏。終因敵我力量懸殊，騎8師主力迅速撤退，留下200餘名官兵阻擊。在主力安全撤退後，留下阻擊的官兵背水作戰，直至彈盡糧絕，便紛紛折斷馬刀，或用斷刀自刎，或投水自溺，全體壯烈殉國。
經過多次與日軍作戰，騎8師損失較大，1940年5月，奉命調赴豫西葉縣、舞陽一帶，7月又調至豫皖邊界的臨泉、沈丘兩縣。為了便於指揮，部隊經整訓後取消了舊的旅建設制，改為師、團、大連編制（也有資料說該師此時才將番號改為騎兵第八師，馬彪仍任師長）屬第一戰區戰鬥序列。同年8月，騎八師奉命駐守在渦河以南、淮河以北的三角地帶，以牽制津浦鐵路蚌埠沿線的日軍。部隊經整訓後，補充了豫皖等省的子弟，不時出其不意地襲擊並破壞敵占區鐵路、公路、橋樑等，斷敵交通要道，阻滯其物資運輸。9月，騎八師工兵連和一個步兵大連，進駐渦河北岸的重鎮————龍崗鎮，並構築了兩道防禦工事，用機槍掃射尾隨坦克衝鋒的敵步兵，並派出兩個騎兵大連，疾速渡渦河迂迴突襲來犯之敵。此役，日軍傷亡慘重。經過這次戰鬥，騎八師的聲威傳遍附近敵占區，使敵軍不敢再輕舉妄動。
1942年，馬彪離職，馬步康（回）接任，不久騎八師歸第五戰區指揮。1943至1944年之交，日軍為了打通平漢縣，先是攻占洛陽，不久又攻打漯河外圍的阜陽重鎮。在保衛阜陽的戰鬥中，騎八師作為側翼掩護，參加了戰鬥。官兵們以高梁青紗帳為掩護，多次奇襲敵軍，破壞敵軍輜重車輛不計其數。
在國軍“四月攻勢”中，盧廣偉-陸軍少將，騎兵8師副師長在安徽穎上陣亡。第8師騎兵團團長劉建藩手刃5 名日軍後捐軀。不久，騎８師與新四軍發生衝突。新四軍以前碰到的國民黨軍的騎兵部隊大都乏善可陳。但青海馬步芳所屬的騎兵卻不同，他們不善槍炮火力之戰，卻精於馬上白刃格鬥，所用的馬刀環柄寬刃，形同西北步兵使用的大刀片。
１９４１年，新四軍第４師與由湯恩伯節制的青海騎８師激戰於津浦路西，新四軍第４師５０００多名官兵死於馬刀之下，著名的老３２團幾乎被打光，最令人痛惜的是抗大四分校的５０多名學員，在此戰中全部犧牲。白刃格鬥，馬上的敵人占有很大的優勢，他們疾馳如風，鋒利的馬刀或劈或刺，數十米內都是騎兵的控制範圍。而我步兵，騰挪不過兩三步，出槍不過四五米，一個個鐵塔般的戰士，與敵騎兵一照面，便被馬刀劈倒在地。這是皖南事變之後新四軍最大一次失利。此戰之後，新四軍第４師師長彭雪楓憤而組建騎兵團，稱之為“紅色哥薩克”。騎兵團戰術、技術由從新疆調來的團長周純麟負責教授，師從蘇聯紅軍騎兵。但自幼習武、精通刀術的彭雪楓沒有採用蘇軍高加索式馬刀，而是博採眾長親自設計了一種馬刀，刀身修長，刀背輕薄，用精鋼打造，刀刃十分鋒利，戰士們愛不釋手，稱之為“雪楓刀”，連睡覺都壓在枕頭下面。１９４２年，為保衛洪澤湖地區夏收，消滅在沙山集搶糧的日軍，彭雪楓指示騎兵團“一定要等敵人出村遠點再打，這不僅可以發揮我長馬刀的作用，還可以避免誤傷人民民眾”。結果僅９分鐘，３００余名日軍即被騎兵團馬刀砍倒大半，８０余名當了俘虜。１９４４年１０月２０日，在河南水城和安徽渦陽交界處，新四軍第４師騎兵團與敵騎８師再次展開殊死的白刃拼殺。俗話說“一寸長，一寸強”，我軍馬刀長於騎八師環柄寬刃馬刀一寸，而且刀身細約一指寬，因而輕捷靈便，常常是敵人馬刀還未到，我軍的馬刀已劈中敵人。此戰雙方都拼了，傷亡慘重，最終新四軍騎兵團戰勝了騎８師，一雪３年前的舊恨。後來彭總從新四軍那裡聽說了青馬厲害，剛開始不服氣還想碰碰青馬，結果勝少負多，在馬頭坡還差點全軍覆沒，到後來對青馬能躲則躲。十萬雄師過長江後彭總得到華北兵團的強大支援才開始對青馬占優的。馬繼援也太狂傲了，在三大戰役國軍潰敗後，不看大盤還敢在鹹陽追著共軍打，這也反映出其的確有一定實力。
