早年生活
百武源吾佐賀藩的足輕百武庭藏的第五子。三哥天皇侍從長、海軍大將百武三郎，六弟陸軍中將，第17軍司令百武晴吉。少年時代的志向是當個農場主，不過他在海軍學校學習的四哥百武幸治病死後，他繼承幸治的遺志當了海軍。經過佐賀國中，海軍補習學校，1902年12月江田島海軍兵學校30期首席畢業。是30期唯一後來晉升的大將的人物。
結束遠洋航海實習後，1903年自9月到「三笠」乘組，擔任主炮觀測員。翌年3月加藤寬治少佐擔任三笠炮術長，1904年8月10日的黃海海戰中，三笠主炮的一發炮彈陰差陽錯的炸死了俄國太平洋艦隊的司令維佐弗特少將，決定了這場海戰的勝敗，百武源吾對加藤精準的炮術大為讚嘆。兩人從此成為好朋友。
10月改乘韓崎丸號，12月改乘富士級戰列艦 ，參加了對馬海戰。戰後擔任千代田號、香取號、富士號分隊長，磐城號航海長提高了本領。1907年炮術學校特修，1908年海軍大學乙種學習，1911年時海軍大學甲種，大尉時代一邊工作一邊在學校接受教育。
親美軍官
1913年時兼任了軍令部參謀、教育本部第2成員。1915年起留學美國兩年。詳細研究了美國的國情，發現海軍以美國為假想敵是個魯莽的主張，堅定了推進對美協調線路的決心。回國擔任海軍大學教官的時候，對學生講述了對美協調的重要性，不過，血氣方鋼的學生不願接受，反而說：百武教官是個恐美主義者。
1921年第一次擔任艦長工作，擔任多摩號輕巡洋艦大佐艦長。在英國的愛德華王太子的訪日的時候，擔任天皇的座艦，在下關停泊中，和運炭船劇烈碰撞，導致運煤船沉沒，經過軍事法庭審查無罪，「多摩」艦長時代對百武來說是個動盪的時期。他在任期中生的第七個女兒命名為「多摩子」。他的親哥哥百武三郎少將是他的直屬的上司的第3戰隊司令官。從那以後，兄弟不在同一個部隊就成為日本海軍的新規定。
以後歷任春日號艦長、教育局第1科長、軍令部參謀，1925年擔任國際聯盟裁軍會議海軍代表，主張對外協調線路。回國後擔任海軍大學教導主任，向學生們宣揚裁軍和和平共處。可是另一方面，軍令部上層和陸軍，常常對協調外交進行排斥。
1927年時就任軍令部第1班長，百武這時出現乖僻的個性，毀掉了他的前程。他本來和加藤寬治是朋友，但是再次相見了的時候卻怨恨加藤沒有提他是中彈觀測員的事，喝了酒以後在部下面前辱罵加藤薄情。本來打算讓他當軍令部次長的，因為這個事就泡湯了。濟南事變時他出頭要求陸軍立即從濟南撤兵，和當時參謀本部作戰部長荒木貞夫吵了起來。滿洲事變時源吉是軍令部次長，又衝到關東軍那兒去，結果被關東軍司令官本庄繁拒絕見面，吃了碗閉門羹。
1929年作為第5戰隊司令官離開軍令部，1931年10月因為侵犯統帥權問題，末次信正被免職，百武就任了軍令部次長。當時的軍令部長也由加藤寬治換成谷口尚真大將,不過，谷口與百武在軍令內部評價不好。作為條約派軍官他們兩人在第二年2月一起被解職。艦隊派的總後台伏見宮博恭王元帥成了海軍軍令部總長。
趕出中央
以後的百武，在1932年2月任海軍大學校長，10月練習艦隊司令官，1933年9月舞鶴要港部司令官，1934年11月成為第3艦隊司令長官，1935年12月佐世保鎮守府司令長官，1936年3月艦政本部長，盡當些與海軍省和軍令部無關的工作。作為練習艦隊司令官訪問美國的時候作為親美派的提督在各地接受了歡迎。一方作為長官他有許多史無前例的舉動，讓幕僚很困惑。
1936年2月擔任橫須賀鎮守府司令長官，1937年4月晉升大將，轉任軍事參議官，在1941年的陸海軍軍參議官中只有他一人反對開戰，堅持對美協調。從序位來看他擔任軍令部總長的可能性很高，為了阻止他專門把身體不好的永野修身抬出來壓制他，第二年7月就把他編入預備役，從海軍放逐出去。
隱居生活
被趕出海軍的百武在信濃河邊的魚村隱居，過著悠閒自得的生活，1945年4月九州帝國大學工程係為逃避徵兵，當算外聘一名有影響力軍人當校長，他被野村吉三郎說服，擔當了這個職務，和西部軍區談判，把被徵兵的大學生都弄回學校搞軍訓，避免了這些學生上戰場送死，日本投降後他才辭去這個職務。1976年死去，是海兵學校30屆生186名最後死去的。
