家族
赫爾貝格作為工人的兒子，出生在德國西南部城市曼海姆的郊區瓦爾德霍夫，並且成長於一個叫魯岑貝格的居民區。完成學業後的赫爾貝格在1911年-1916年間首先成為一名建築幫工，隨後又轉至一家金屬冶煉公司就職。1916年後被捲入第一次世界大戰。1921年4月30日，赫爾貝格與一位來自韋恩海姆的女人伊娃·穆勒完婚。他的堂兄約翰·赫爾貝格也是一名足球運動員，並在1930年代末期入選由塞普·赫爾貝格執教的德國國家隊。1977年塞普·赫爾貝格因肺炎醫治無效逝世，享年80歲。
足球生涯
球員赫爾貝格在他14歲的時候加盟了家鄉球隊曼海姆瓦爾德霍夫（SV Waldhof Mannheim)，在那裡他成長為一名前鋒，並在17歲時進入一線隊。一戰結束後他仍然在那裡踢球。直到1921年10月，赫爾貝格轉會至VfR曼海姆（VfR Mannheim）。
塞普·赫爾貝格赫爾貝格在柏林普魯士網球隊（Tennis Borussia）效力期間（1926年-1930年）也同樣在柏林的銀行工作，此外他還在德國體育學院攻讀鍛鍊課程。1930年他以工讀的形式高分獲得了足球專業文憑，成為一名合格的運動講師。
教練
軌跡赫爾貝格的教練生涯開始於柏林普魯士網球隊。1932年在杜伊斯堡他又成為西部德國運動協會的主教練。1933年赫爾貝格加入納粹黨。1936年，由於德國隊在當年的柏林奧運會上表現不佳，原德國隊主教練奧托·內爾茨遭解職，赫爾貝格被時任德國足協主席的菲利克斯·林內曼任命為新一屆的德國隊主教練。在1938年世界盃足球賽中，在赫爾貝格的極力反對下，納粹德國政府仍要求已淪為附屬國的奧地利與德國共同組建德意志帝國隊參賽。結果德國隊在首輪即遭淘汰（以2：4負於瑞士隊）。儘管如此，赫爾貝格仍一直負責國家隊的工作，直到1942年由於第二次世界大戰而終結。
戰後在1945年12月至1946年1月赫爾貝格曾短暫出任法蘭克福隊的臨時教練。在1946年的去納粹化運動中，赫爾貝格被韋恩海姆仲裁法庭判定為納粹“從眾”。1947年他就受聘於科隆體育學院，作為足球專業的教授，他負責足球教練的培訓工作。從1949年-1964年，赫爾貝格再次擔任國家隊教練的職務。
1954年，赫爾貝格組建的西德隊在隊長弗里茨·瓦爾特的帶領下於瑞士令人驚訝地首次奪得了1954年世界盃冠軍。由於曾在小組賽以3：8的懸殊比分負於匈牙利隊，以至於西德隊在決賽中以3：2戰勝這支奪冠熱門球隊後至今仍被德國人稱為“伯爾尼的奇蹟”。而球員們、被尊為“老闆（Die Chef）”的赫爾貝格以及球隊的教練組成員則被德國人稱為“伯爾尼的英雄”。此後，赫爾貝格又帶領西德隊在1958年的瑞典世界盃獲得第4和在1962年的智利世界盃進入四分之一決賽。赫爾貝格在1964年正式從國家隊退休，繼任者是赫爾穆特·舍恩。事實上由於在1964年5月12日的赫爾貝格告別賽上德國隊僅與蘇格蘭隊2：2戰平，他又將告別賽多加了一場。結果在1964年6月7日，西德隊在赫爾貝格的再一次告別演出中於赫爾辛基以4：1戰勝芬蘭隊。
赫爾貝格在1936年11月15日至1942年11月22日執教納粹德國隊期間共參加了65場國際比賽，取得40勝，12平和13負的成績；在1950年11月22日至1964年6月7日執教西德隊期間共參加了97場國際比賽，取得52勝，14平和31負的成績。
赫爾貝格總計率隊參加國際比賽162次，成績為92勝，26平和44負。
赫爾貝格在教練生涯中除了運動上的成功，他的語錄亦甚為經典，為眾人所樂道。諸如“球是圓的”、“下一場比賽永遠艱難”、“足球是90分鐘的比賽”、“一場比賽後便是一場比賽前”和“足球總是處於最好的情況”等。這些語錄在德國除了字面的意思外，還能在生活的其它方面引申出各種含義。
“他們是十一個肯定是朋友。”這句話常被誤認為是赫爾貝格所說，其實這句話源自早在1920年理察·吉路拉迪斯（Richard Girulatis）所著的書籍《Theorie, Technik, Taktik》。而“如果想贏得勝利，十一個人必須團結。”這句話事實上也早在1903年就刻在當時德國聯賽的冠軍獎盃維多利亞杯的底部，作者或許是獎盃的製造者。
榮譽
德國發行的紀念赫爾貝格誕辰100周年郵票德國足協金質勳章（1957）
聯邦十字勳章中的一級大十字勳章（1962）
聯邦十字勳章中的大十字勳章（1967）
德國郵政發行赫爾貝格紀念郵戳（1977）
德國足協成立塞普-赫爾貝格基金會（1977）
德國鐵路的一列ICE列車在韋恩海姆火車站被命名為“赫爾貝格號”（1997）
德國郵政發行面值100芬尼的帶有赫爾貝格肖像的紀念郵票（1997）
入選德國體育名人堂（2008）
包括曼海姆-瓦爾德霍夫地區的塞普-赫爾貝格體育設施，韋恩海姆的體育場和中國小等不少地方建築都以塞普·赫爾貝格命名
其他
赫爾貝格曾加入奧格斯堡的慈善足球隊“達希伯格踢球者隊”（Datschiburger Kickers），為慈善籌款作宣傳。
赫爾貝格在他的生活中不僅是一名著名的足球教練，他同時還是一名熱衷於郵票研究的收藏家。
