到19世紀初，由沙恩霍斯特和格奈澤瑙等人領導的“軍事改革委員會”，在改善總參謀部的職能和確立其地位的鬥爭中，作出了巨大貢獻。“軍事改革委員會”的成員馬森巴赫上校，於1801年和1802年先後起草了一份軍需總監部勤務規定和兩份有關條陳，闡述了對總參謀部的組織、職能和任務的構想，因此被稱為組建普魯士總參謀部的思想先驅。在條陳中，馬森巴赫要求在和平時期就組建一個常設的總參謀部作為計畫中心。他要求在和平時期應將總參謀部的工作按叄個作戰區域即奧地利、俄國和法國，劃分為叄個工作單位，分別擬制各自的作戰計畫。他還要求，平時參謀人員應進行經常性的旅行訓練，藉此勘察預想戰場的地形；駐外武官提供有關情報和預測；總參謀部與部隊之間進行人員交流。最後他要求，將來的總參謀長有權直接向最高當局呈送報告，並將此視為總參謀長的最重要的權力。當時的普魯士國王弗里德里希·威廉叄世曾給馬森巴赫的建議以支持，並著手進行軍需總監部的改組工作。沙恩霍斯特提出的構想更接近於現代總參謀部。他建議組建一個“軍隊總參謀部”，下設4個處。分別負責戰略戰術、軍隊內部事務、補給、炮兵和彈藥事務。1817年，普魯士正式使用“總參謀部”這一稱謂。但它的地位和職能還遠遠不是現代意義上的總參謀部。
總參謀長馮·米夫林元帥在其任職期間（Friedrich Karl Von Muffling，1775-1851，1821-1829年任總參謀長），注重對總參謀部軍官進行系統訓練，尤其在測繪方面；重視旅行訓練，並建立了相應的機構；發展了沙盤作業；強調戰史研究；加強了對鄰國軍隊的觀察。米夫林的繼任者威廉·馮·克勞澤內克將軍（Wilhelm Johann Von Krauseneck，1775-1850，1829-1848年任總參謀長）除了繼承其前任的工作外，還曾在1834-1835年考慮過鐵路的作用，但沒有對其進行深入和持續的研究。毛奇的前任卡爾·馮·賴赫爾將軍（Karl Von Reyher，1786-1857，1848~1857年任總參謀長）尤其注重對總參謀部軍官的培養和選拔。他規定，從事總參謀部勤務的軍官必須在普通軍事學校學習叄年，在測繪局工作叄年，夏季從事野外測繪勤務，冬季從事軍事科學工作。
賴赫爾十分注重新技術在軍事中的運用。1848年，即在他任總參謀長的第一年，便將後膛槍引入普軍。1855年，他起草了一份關於國內外鐵路運輸能力的報告，將鐵路納入展開和作戰計畫之中。在賴赫爾與戰爭部長博因的合作下，總參謀部的特殊地位逐漸顯露出來：總參謀部軍官可以在總參謀部內晉升；自1843年總參謀部軍官的軍服有了有別於其他軍兵種的特殊標誌。
毛奇任總參謀長期間，在其前幾任成就的基礎上，對總參謀部進行了改造，並以他個人的超凡才能贏得國王的高度信任，從而使總參謀部獲得軍隊的指揮大權，將普魯士總參謀部推向其全盛，成為當時歐洲乃至世界所效仿的樣板。
毛奇指出，在歷史上有些統帥不需要別人出主意，而是自己思考問題，自己定下決心，周圍的人只是執行他的意志而已。但這種巨星一百年也難得湧現出一個。他說：“在大多數情況下，軍隊指導者需要顧問”，“一支軍隊組建一個司令部是十分重要的”。
毛奇對於提高總參謀部的地位和擴大其職能做了不懈的努力和奮爭。當時他已認識到由於軍事技術的進步和複雜化，以及作戰人員的急劇增加和作戰地域的擴大，軍隊有一個統一的計畫、指揮機構對於取得戰爭的勝利具有重大意義。在對丹麥的戰爭中，由於毛奇的參與，使戰爭迅速取得勝利。這一勝利，使總參謀長第一次成為新聞人物，也引起國王的注意。1866年6月2日，國王頒布命令，授予毛奇以指揮軍隊的全權，宣布總參謀長與戰爭部長保持平行的指導關係，從而使總參謀部第一次成了全軍最高的、具有實權的指揮、協調機構，成了國家首腦的名副其實的軍事顧問。這開創了普魯士軍事史上第一次正式由總參謀長指揮作戰行動的先例。在此之前，總參謀部這一組織雖然以各種不同名稱和組織形式存在60餘年，但一直處於輔助位置，無權對軍隊實施指揮，這種狀況不僅在德國如此，在歐洲其他各國亦然，只是自對丹麥戰爭勝利之後，普魯士總參謀部才獲得作戰計畫制定權
和戰時軍隊指揮權，只是從這個時候開始，總參謀部這一組織才可以說是具有今天意義上的總參謀部。
毛奇在總參謀部建設和運用，以及總參謀部軍官的訓練上付出的巨大心血，使總參謀部在戰爭中發揮了軍隊大腦的職能。毛奇任總參謀長期間，普魯士進行的叄次戰爭基本上是在與對手勢均力敵、甚至在某些方面處於劣勢的情況下進行的。普魯士的勝利主要應歸功於指揮，歸功於有一個由出色的總參謀長領導的出色的總參謀部。早在1868年2月，法國駐柏林的武官就向國內報告說，“假如戰爭爆發，在普魯士所具有的一切優勢因素之中，最重大和最難以否認的，就是其總參軍官團組織……我們的無法與之相比……在下一次戰爭中，普魯士的參謀組織，將在有利於普魯士軍隊的優勢因素中成為一個最難對付的因素。”在統一戰爭中和戰爭後．普魯士總參謀部已成為歐洲、乃至世界各國軍隊紛紛效法的樣板，其總參謀部的組成、編制、任務等已成為基本模式延續至今。
在任總參謀長期間，毛奇根據戰爭的需要，對總參謀部進行了重大改組。他將總參謀部編為3個處，分別負責3個戰場。第1處負責土耳其、希臘、奧地利、俄國、瑞典、挪威、丹麥、和亞洲。第2處負責普魯士──德國、瑞士和義大利。第3處負責法國、英國、比利時、荷蘭、西班牙、葡萄牙和美國。特別重要的是，賦予第2處負責組織、訓練、動員和展開工作的職能。1858年，毛奇建議在總參謀部增設一個軍事科學處，4年後即1862年，軍事科學處正式建立。毛奇將全軍最優秀的歷史學家和測量、統計、地形測繪專家集中到該處，使總參謀部、同時也使戰爭這個一直為貴族所壟斷的領域，被科學家所占領。此外，為適應新技術和新形勢的需要，增設了一個鐵道處，1869年正式編為第4處，該處在作戰中發揮了巨大作用。1875年，毛奇將野外測繪勤務交由一名直屬於總長的“野外測繪主任”統管，使總參謀長得以集中全力于軍隊的動員和展開工作。隨著總參謀部地位的提高和職能的增加，總參謀都的人員也不斷增加。1857年，只有64人；翌年，毛奇正式接任總參謀長職位之後，將人員增加到109人；1871年為135人；到1888年，總參謀部人員達155人。
隨著總參謀部機構的建設，毛奇認識到大批訓練有素的參謀人員對軍隊的指揮具有重大意義，因此對參謀的選擇和培養非常重視。他說：“選擇參謀，不是看其軍銜”，而是對其能力和品質的絕對信任。有了好的參謀，還要善於組織和使用。“如果一個統帥周圍有一大群各自為戰、互無聯繫的人，那么這種人越多，越是聰明，越是自以為是，事情就越是糟糕。”戰後，毛奇致力於將總參謀都建設成為一個培養軍隊精英和研究戰爭經驗的學校。他不但為總參謀部軍官講解戰略、戰術問題，而且還親自參加總參謀部進行的圖上作業和旅行訓練。
總之，毛奇是普魯士──德國總參謀部權力和職能變革中的關鍵性人物。在他之後的無論施利芬或小毛奇，都因襲著他的成果。而希特勒上台後，德軍總參謀部的職能漸漸發生了變化，1938年2月4日，希特勒就國防軍的領導發布一項公告。在公告中，希特勒除宣布將獨攬軍政大權之外，還就領率機構的分工和職權做了規定：原國防部下屬的國防軍局改為國防軍統帥部，並作為希特勒的軍事參謀部直接隸屬於希特勒。原國防軍局局長就任國防軍最高統帥部參謀長，是最高統帥部的首長，與國防部長同級。最高統帥部接管國防部的業務，最高統帥部參謀長行使原國防部長的職權。平時，最高統帥部根據希特勒的指令全面負責德國的防禦準備工作。這樣，德國軍隊的傳統的陸軍總參謀部的地位和職權處於一個微妙和尷尬的位置。二戰爆發後，希特勒和陸軍總部以及陸軍總參謀部的矛盾逐漸顯露出來。進攻法國時，在敦刻爾克戰役問題上，希特勒首次迫使陸軍總部接受其軍事觀點，
在關鍵時刻將十分重要的決定權交給與他意見相同的下屬司令部（倫斯特），這是導致德國傳統軍事軍事指揮體系逐漸解體的第一步。而到了莫斯科戰役期間，隨著勃勞希契的辭職，希特勒對陸軍總參謀部的不信任日趨明朗，此後的陸軍總部漸漸淪為希特勒“不折不扣的傳令兵”。
