自強軍計畫上奏清廷，很快得到了批准，正式組建。自強軍仿德國營制，設步隊八營、馬隊兩營、炮隊兩營、工程隊一營。步隊每營250人分為3哨，馬隊每營180騎分為3哨，炮隊每營200人分為4哨，工程隊1營100人，醫官、獸醫、槍匠、伙夫、馬夫等另備。全軍兵士額2860名，士兵挑選十六歲以上，二十歲以下，身體健壯且無劣跡者，皆從江蘇、安徽兩省農村招募，年餉40餘萬兩。共聘德國軍官32人，不僅擔任訓練教官，且掌營、哨兩級指揮實權。全軍設統帶一人，營管帶11人，哨官20人。1896年2月劉坤一回兩江總督本任，張之洞調湖廣總督本任，自強軍由劉坤一接辦。
自強軍軍官自強軍在吳淞安頓以後，開始了正規的軍事操練。為了督操方便，將步隊8營分為左右兩翼，每翼4營，士兵們開始了緊張的訓練，每天幾乎“無一刻之偷閒”。步隊使用的武器是1888年新式小口徑雙筒毛瑟槍，炮隊2營使用武器分別是克虜卜八生的後膛鋼炮及英國麥克信七生的半後膛鋼炮各6尊。馬隊操練器具主要是長矛，炮隊馬隊士兵則都備有新式小口徑雙筒馬槍。1897年5月1日，自強軍在吳淞舉行閱操，邀請了駐滬各國領事、水陸團練各將弁共170餘人觀看。閱畢，上海的西文報刊評論說：“此軍人人體氣強壯，槍械整潔”，步隊“聽其扳機作勢之聲則千人一律，及裝藥放響則初次不齊，二、三次較佳”；炮隊鋼炮“皆精利之器，光潔絕倫，……炮手之技洵稱敏捷”；馬隊“操亦甚精，進退徐疾，皆如人意”。連當時江蘇巡撫趙舒翹視察自強軍時，對其“行軍陣法”，也發出“江南諸軍無如自強軍”的感嘆。國內輿論更對自強軍“士軀之精壯，戎衣之整潔，槍械之新煉，手足之靈捷，步伐之敏肅，紀律之嚴謹”，讚嘆不已。大閱操的成功，使自強軍名聲大振，令中外人士有耳目一新之感。
1898年5月，新任自強軍統帶江南提督李占椿帶軍移駐江陰，以便與鎮江上游諸軍相互聯絡，自強軍加入了江防行列。這時期，自強軍遣散了洋將，全歸華將自統。軍隊營制上增加了江南提督親兵一哨。全軍在靠近江陰沿江炮台附近，擇地駐紮，以備有警時與炮台互相策應。1898年9月，劉坤一諭：三十七營防軍練洋操，每哨由自強軍酌撥排長一名充任教習，一切操法都按自強軍的章程。自強軍調出排長的缺額，由統帶另行募補，又將自強軍新纂之《西法類編》一書分發江南防軍各營旗，責成營哨官誦習。
1901年9月清廷下旨命自強軍“將親兵一哨仍留下”外，“所有馬步炮各營借原領軍械等項”調往山東，“交袁世凱酌量分布和訓練”，併入袁世凱的武衛右軍。1905年春與武衛右軍合編入北洋常備軍第四鎮（統制為吳鳳嶺）。
