組建
這支部隊由當時麻薩諸塞州州長約翰·A·安德魯 （John A. Andrew）在1863年3月提議建立，並任命羅伯特·古爾德·肖上校（Robert Gould Shaw）為指揮官。當時的陸軍部長斯坦頓決定所有的部隊無 論膚色都應由白人軍官來指揮，而肖上校正是安德魯州長一手提拔的，他還選了哈羅威爾中校（Norwood Penrose "Pen" Hallowell)為副指揮。正如所有的黑人部隊的指揮官，肖和哈羅威爾都被提拔了好幾級（之前兩人都只是上尉）。部隊里其他的軍官也多半是廢奴主義者或直接由州長提拔，哈羅威爾的兄弟 Edward Needles Hallowell最終也成為了少校並在肖戰死後接替了他的位置。29名軍官中的24人都有過作戰經驗，但在之前只有6人仍還在部隊中服役。
士兵由白人廢奴主義者負責招募，第一個應招的名叫J. Appleton，後來成為了部隊中的一名中尉，招募廣告在波士頓當地報紙上刊登出來。
該團最初由自由人組成，有一部分士兵也來自其他的州，很多賓州的入伍者就是通過 Edward Needles Hallowell被介紹進來的，還有兩個人正是知名廢奴主義人士弗雷德里克·道格拉斯的兒子 。很快，第二支黑人部隊第五十五步兵團也開始籌建。
參戰
該團在波士頓附近的梅格斯營地（Camp Meigs)開始訓練，他們得到了很多廢奴主義人士（包括大名鼎鼎的Ralph Waldo Emerson）的自行資助，比如禦寒衣物、各式戰旗等。士兵們還接受了來自麻薩諸塞醫生的全面體檢，士兵們形容體檢是嚴格與徹底的，而醫生們則說他們在北方很少見過像這樣那么強壯、健康與充滿活力的士兵，當然還是有一小部分士兵難以避免地在離開梅格斯營地之前就死於疾病。
儘管在1862年12月23日 傑斐遜·戴維斯宣布將對反對邦聯政府的黑人軍隊內部組成一視同仁，大多數54團的白人軍官與黑人士兵還是帶著高昂的士氣離開波士頓開赴了前線。12月23日法令於次年一月實行，實際上就是把整隻部隊視作了一支全由奴隸組成的暴亂部隊。
1863年5月28日，該團正式開拔，開始的時候，他們只是從事後方的體力勞動，後來在喬治亞州的Darien,他們參與了一場由詹姆斯·蒙哥馬利上校（James Montgomery）發起的對整座村鎮的洗劫活動，這個舉動使他們備受爭議，雖然他們是接到命令後很不情願加入的。肖上校之前就拒絕參加，但軍令不可違，事後他稱之為“撒旦的行徑”。
華格納要塞
該團第一次真正意義上的軍事行動出現在1863年7月16日南卡羅來納的詹姆斯島，他們以損失42人的代價打退了一次聯盟軍的進攻。軍隊在1863年7月18日重新集結來作為進攻華格納要塞（Fort Wagner）的先頭部隊。
這場戰鬥中，肖上校戰死，部隊損失116員，另有156人負傷或被俘，272人的損失記錄也是該團歷史上最慘烈的一次，聯邦軍最終沒能在占領要塞（儘管第一次進攻時他們已經將第一道也是最重要的防線突破了一個缺口），但該團還是因為他們的英勇事跡得到了各界的讚賞與宣傳，從而激發了更多的黑人應徵入伍，而這正是林肯想要看到的。
因為這場戰鬥，中士William Harvey Carney被嘉獎了一枚榮譽勳章，他在戰鬥時一直手持美國國旗，跟隨部隊突破了防線，又順利撤了出來並在大家慌退之際高喊"Boys, the old flag never touched the ground!"
Carney也從而成為美國歷史上第一位獲得榮譽勳章的黑人。
後期
諷刺的是，就在該團的英烈們血灑疆場之時，卻發生了紐約徵兵暴動事件，黑人位於紐約河濱區與東城區的聚集點都遭到了白人的襲擊，因為有些白人無法接受黑人也能參軍入伍享受同等待遇的現實，有些白人還將戰爭爆發的起因歸咎於這些黑人的存在，當然，該團的表現一定程度上可以緩和那些人的情緒。
之後在新指揮官Alfred S. Hartwell上校的率領下，同年，在奧拉斯蒂之戰Battle of Olustee中該團完成了掩護聯邦軍撤退的工作，1864年11月30日，作為由 Hartwell上校率領了一整支黑人旅的一部分，在 Battle of Honey Hill 發起了一次不成功的突襲。在1865年4月最後的戰爭歲月中，他們參加了 Battle of Boykin's Mill
