出生於福岡縣小倉。
1900年起，先後畢業於日本陸軍士官學校和陸軍大學。參加過日俄戰爭。1918年12月，杉山元被任命為第2航空大隊隊長。1921年6月，晉升為大佐。1922年4月，任陸軍省軍務局航空課長。1923年8月，改任軍事課長。1922年5月，杉山元晉升為少將，調往航空本部任職。1928年8月，調任陸軍省軍務局長。1930年8月。晉升為中將，被任命為陸軍次官。
1930年8月，出任陸軍省次官。作為次官，曾在陸軍省大肆鼓吹以武力入侵中國東北地區，解決“滿蒙”問題。1931年7月，他主持制定了《解決滿蒙問題方策大綱》，明確規定日本侵略中國東北的原則、步驟和措施。
9月18日清晨，九一八事變發生的訊息傳到東京後，杉山元緊急約見陸軍省軍務局長小礬國昭和參謀本部次長二宮重治，共同決定利用這一時機擴大事態，一舉實現獨霸中國東北的夢想。由於杉山元等軍部首腦人物的慫恿、唆使，關東軍加緊擴大侵略戰爭。不久，中國東北全境即全部陷入關東軍的控制之下。
1931年12月13日，犬養毅政友會內閣成立，荒木中將任陸軍大臣，杉山元中將依然擔任陸軍次官。
1933—1936年，杉山元先後擔任航空兵本部部長、參謀本部次長兼陸軍大學校長、軍事教育總監等職。1937年2月，他被任命為林銑十郎內閣的陸軍大臣，多次在內閣會議上強烈要求把發動全面侵華戰爭納入日本的“基本國策”。同年6月，第一次近衛內閣接替林內閣，杉山元留任陸軍大臣。不久，盧溝橋爆發，杉山元認為發動全面侵華戰爭的時機已經成熟，遂於7月11日責成陸軍省和參謀本部有關部門共同制定了《關於華北作戰的協定》，向內閣提出增兵華北方案，把戰火一步一步地從平津地區燃向華北乃至全中國。
1938年12月至1939年9月，調任華北方面軍司令，直接指揮日軍進行侵華戰爭。他在侵華作戰期間，指揮日軍開展了3次以武力為中心的“治安肅正”作戰，妄圖摧毀華北敵後抗日民主根據地。但是，他的“治安肅正”作戰，最後都以失敗告終。由於杉山元在中國指揮日軍作戰時常吃敗仗，因而在國內落了個“笨蛋元帥”的綽號。1940年1O月，杉山元調任參謀本部參謀總長後，夥同陸軍大臣東條英機和海軍軍令部總長永野修身等人，極力鼓吹日軍“南進”。1941年9月3日，近衛首相舉行大本營聯席會議，討論對美國是談還是打的問題。在杉山元等人的一再堅持下，會議決定，以10月上旬為談判初步截止時間，在此之前作好戰爭準備；到時如有必要，就決心與美英荷開戰。會後，他與近衛、永野3人向天皇稟報會議決定，採取陽奉陰違手段，表面向天皇允諾軍部執行“先外交後戰爭”的方針，但暗中與東條、永野等人勾結一起，迫使內閣終止日美談判，立即同美國開戰，終於導致了1941年12月8日太平洋戰爭的爆發。戰爭爆發後，杉山元作為參謀總長協助首相東條英機指揮日軍入侵東南亞各國，取得了初戰的勝利。
1943年6月，杉山元獲元帥稱號。但是，日本的南進作戰，從1942—1943年起，很快就節節失敗，形成無法挽救的敗局。1944年2月以後，東條英機為了集中軍權，要求杉山元辭去了參謀總長的職務。7月，東條內閣垮台，杉山元又得以復出，擔任陸軍教育總監和陸軍大臣。1945年4月，他出任駐日本本土的第一總軍司令。日本投降後，他自知作為日本發動全面侵華戰爭時的陸軍大臣和發動太平洋戰爭時的參謀總長，罪責難逃，為逃避懲罰，於9月12日在第一總軍司令部開槍自殺，以此宣告了侵略者的可恥下場
杉山元