南部麒次郎生於肥前國（佐賀縣）鍋島藩的武士家族，是炮術家南部春雍的次子。10歲喪母，因家境困難被迫在商店做童工，歷經苦難後考入日本士官學校2期炮兵科。20歲那年進入日本軍隊服役，23歲晉升為炮兵中尉。1897年(明治30年)，28歲的南部麒次郎被調往東京小倉兵工廠，在所長有坂成章的帶領下對三十年式歩兵銃進行研製。 後來他在那裡他晉升為少佐並奉命為日本軍隊開發一種半自動手槍，以替代性能不佳的二十六年式軍用轉輪手槍。1902年，南部麒次郎完成了手槍的設計工作，1922年，南部麒次郎晉升為中將，成為東京火炮製造廠的主管。1924年，他退出了現役。1925年，他對手槍進行了重新設計。南部是一個多產的槍械設計師，他還曾設計和參與設計了諸多日軍步兵武器，除了南部手槍，還有三式重機槍、九二式重機槍和十一式輕機槍，此外還有九六式、九七式和九九式輕機槍。1935年他完成了最後一個重要作品。南部100式衝鋒鎗。 日本人甚至稱其為“日本的勃郎寧”。他為槍械開發獻出一生，因為長期暴露在射擊槍炮的的爆炸聲中，晚年幾乎丟失了聽力。日本戰敗後，被禁止研製一切槍械，他的南部手槍從此成為日本警察的制式裝備。
