伏龍芝1904年在彼得堡工學院上學時參加俄國社會民主黨，逐漸地他成為一名出色的工人運動組織者，在說到他的志願時，1905年參加彼得堡10萬工人請願遊行受傷後給他媽媽的信中，就說得很清楚，他“已把自己的一切獻給革命”，革命的需要，就是他可選擇的一條不平坦的道路。在他生命中，有一件永遠使他無法忘懷的事，那就是他第一次和列寧交談。
1906年4月，他作為伊萬諾夫——沃茲涅先斯克布爾什維克的代表，出席了俄國社會民主工黨第四次代表大會。在會議休息時間，列寧很有興趣地和他談起了關於軍事鬥爭問題。列寧當時曾對他說，莫斯科起義說明革命需要自己的軍事家、布爾什維克要比沙皇軍官更好地懂得軍事。列寧的這次談話給了他極大的鼓舞，使他開始了對軍事的研究，並在革命鬥爭中開始注意了對工農民眾的武裝訓練。1917年彼得格勒武裝起義爆發時，他正在舒雅縣任蘇維埃主席，當聽到武裝起義勝利的訊息後，他就立即率領一支由2000多名工人和士兵組成的武裝隊伍趕到莫斯科支援。伏龍芝在早期的武裝鬥爭已經充分地表明他的軍事才能，這也就決定了他在蘇維埃政權遭到帝國主義武裝干涉後，真正地走上軍事的崗位。
自此以後，伏龍芝歷任軍職。1924年3月被任命為蘇聯革命軍事委員會副主席，陸海軍副人民委員，併兼工農紅軍總參謀長，軍事學院院長（後該軍事學院以他名字命名，即伏龍芝軍事學院）。1925年1月，任蘇聯革命軍事委員會主席、陸軍、海軍人民委員。
伏龍芝患有胃潰瘍，經過食療後在1925年秋天基本沒有復發過，但是醫生的兩次會診都認為他應該手術。他認為不用手術，但是史達林堅持讓他去做手術，說這可以“一勞永逸”地擺脫胃潰瘍。手術開始後醫生果然發現沒有必要手術，因為沒有發現任何潰瘍。但是由於伏龍芝的心臟承受不了因麻醉效果不好而增加一倍的氯仿的劑量（當時已有更好的藥乙醚但沒有給他使用），他在手術30個小時後死於心臟麻痹。當時史達林正進行反托洛茨基反對派的鬥爭，而伏龍芝接替了托洛茨基的軍隊職務。伏龍芝死後，接替他被任命為陸海軍人民委員的是忠於史達林的人伏羅希洛夫。
