1798年（寬政十年），齋藤彌九郎出生在越中國冰見郡佛生寺村一個貧窮的鄉士之家，是家中的長男。十三歲時以丁稚奉公到高岡的油作坊幫工，可是進展很不順利，只好返鄉。十五歲時，不知怎么的，突然起了個念頭：“我要成為偉大的學者！”為此，彌九郎離家出走，一路幫人搬運行李掙飯吃，經過長途跋涉，好不容易到了江戶。
彌九郎到幕臣能勢佑之丞家裡作侍從，白天一心一意努力工作，晚上則廢寢忘食，拚命讀書。能勢被他的熱誠所感動，便資助他去學習劍術和學問。於是，彌九郎的人生發生了戲劇性的轉折。雖然他一心以學者為目標，卻坐擁常人無法企及的劍術天份。進入神道無念流岡田十松主持的擊劍館之後，很快就嶄露頭角，二十三歲時，便當上了師範代（代理師父）。在彌九郎任師範代的六年間，擊劍館門人不斷增加，欣欣向榮地發展壯大。有不少名劍客只是劍術足以稱雄一方，其他方面則才能平平、不聞不問；彌九郎則完全不同，他勤勞肯乾，在經營方面手腕也非常高明。
一八二六年（文政九年），由弟子江川太郎左衛門出資，齋藤彌九郎在飯田橋開設了自己的道場----練兵館。然而，到了安政年間，彌九郎認識到：“當今世界，需要的不再是刀劍，而是大炮。”於是他毫不猶豫地將練兵館交給長男新太郎，自己則另外在代代木買了三千坪的土地，和門人們一起練習建造炮台，興致勃勃地開拓新事業。後來，幕府在品川御台場建造江戶灣防衛用的炮台時，彌九郎更名為齋藤主馬之助，擔當了測量和監督的任務。與其說他是劍士，倒不如說更象一位精力充沛的實業家。以桂小五郎為首的長州藩土們，大多習練無念流，但當齋藤彌九郎在江戶開館後，流中水戶藩士卻日益增多，如芹澤鴨等。正因為如此，彌九郎深受水戶藩主德川齊昭的賞識，戊辰戰爭中請他出任上野彰義隊隊長。彌九郎深知天時人和，沒有答應，戰後出仕新政府。
齋藤彌九郎的長男新太郎和三男歡之助也都是著名的劍士。齋藤歡之助少年成名，被稱為天才，更有“鬼歡”之異名，據說實力甚至在繼承道場的哥哥新太郎之上；但似乎經不起大場面的考驗，和千葉道場對抗時也慘敗於千葉榮太郎的竹劍之下。二十四歲時不幸中風，在半身不遂的狀態下渡過了後半生。
齋藤新太郎作為練兵館的第二代當主，劍法得自齋藤彌九郎和岡田十松的真傳，還跟名師學習儒學、書法、繪畫，也是個興趣廣泛、文武全才的人。此派雖為格鬥劍術，但同時也相當注重修身養性，講究“自戒、自律”，道德色彩非常濃厚。新太郎任練兵館當主時，遊歷西南，曾與長州藩屬道場明倫館進行數十次比武，一直保持全勝。新太郎嘲笑明倫館是“黃金鳥籠養麻雀”，激怒了不少長州藩士。他們來練兵館尋釁，卻全都敗在新太郎手下。於是，桂小五郎、高杉晉作、品川彌二郎等長州藩士為新太郎的劍技折服，投入練兵館。後來這些人物在維新中起到了相當關鍵的作用。維新後，齋藤新太郎棄劍從商，可惜沒能象他父親那樣獲得成功。
