他的兒子小阿爾波特·斯佩爾（Albert Speer Jr.）也是著名的城市規劃設計師，是著名的城市規劃設計所“斯佩爾設計所”的擁有者和主設計師，主持設計規劃了諸如上海安亭新城等大型城規項目。
1943年9月，希特勒把義大利地區內的一切軍備和生產問題的管理權交給施佩爾。在他的組織下，德國的軍備生產一直呈上升趨勢。這年秋天，盟國對德國進行的大規模轟炸，給軍備和民用生產造成了困難。於是，施佩爾提出並實施讓法國、比利時、荷蘭等國大批生產衣服、鞋、紡織品和家具等民用商品，而把德國的同類工廠轉為軍用。這樣就避免了因強迫徵調外國工人到德國，引起工人逃離所在工廠而影響生產的弊病，使德國軍備生產的潛力得到最大的發揮。 由於德國城市被炸，重建工作被提上議事日程。施佩爾設法使希特勒授權他負責被炸城市未來的建築計畫。他利用這一職權，阻止了各大區區長要拆除被炸後的歷代宮殿和教堂的企圖，因為他們認為這些建築是反動派的堡壘。他還提供材料和工人，保護遭破壞的歷史性建築。 1944年1月，施佩爾因病住院。這樣他就離開了希特勒的權力中心，使他感到自己被希特勒一筆勾銷了。此後，他也不再把自己當作希特勒寵愛的部長及有可能的繼承人了。住院期間，戈林、鮑爾曼、希姆萊等人都乘虛而入，動搖了他的部長地位。兩個半月後，施佩爾病癒，第一次感到希特勒面目可憎，說明他在思想上已經同希特勒有了距離。 此後，施佩爾不再屈從於希特勒的個人影響，於是在受過希特勒多年青眼有加、特別恩寵之後，開始受到辱罵和譴責。他反對希特勒集中一切力量搞地下大型設施，以便把軍備工業轉移到山洞或地下生產的決定，並且表示不接受意見，就請求辭職。最後雙方達成妥協，延長病假，留在部長任上。施佩爾開始從顛峰滑向波谷。經過一番波折之後，他還是擺脫不了醉心掌權而獲得的刺激，最終又回到希特勒的小圈子中。 1944年中期，美國空軍連續轟炸了德國的許多燃料工廠和羅馬尼亞普洛耶什蒂油田的主要煉油廠，使德國飛機燃料的生產減少了一半，迫使希特勒命令戈林將空軍軍備生產也移交給施佩爾。7月，98%的飛機燃料生產都停止了。施佩爾立即組織35萬熟練工人進行搶修，到11月，日產量就上升到原產量的28%。因此盟國輿論認為，對於德國作戰實力來說，他比希特勒本人更重要。 7月20日暗殺希特勒事件失敗後，施佩爾受到審查，因為政變的組織者在未來政府的名單中，給他留下了軍備部長的位置。 盟軍諾曼第登入，施佩爾認為局勢已經毫無希望了。1945年初，德國國內工業生產已基本停頓。1月30日是希特勒掌權12周年，他向希特勒提交了一份備忘錄，宣稱在重工業和軍備方面的戰爭已經結束，應把糧食、電力、生活放在優先於坦克、飛機的地位予以考慮。他提出，盟國在物質方面的優勢已不可能再用德國士兵的勇敢去彌補了。 2月中旬，第三帝國敗局已定，希特勒下達“焦土命令”。施佩爾曾計畫用毒氣除掉希特勒，後因希特勒下令修改了地下室的通風管道，而未能實現。但施佩爾仍決心阻止命令的執行。他說服大區區長們把徹底破壞工廠的命令改成使工廠臨時癱瘓的命令。他還設法說服了莫德爾元帥，使他下令不準破壞工廠，儘可能在工業區以外戰鬥。他認為，他這樣做的目的是儘可能維持戰後德國人民民眾生存的基礎。 希特勒自殺前幾天，施佩爾冒著蘇軍的炮火，飛抵被圍困的柏林，和希特勒做了最後告別。 5月13日，施佩爾在英占區被捕。紐倫堡審判中，施佩爾因違反人道罪和戰爭罪被判處20年監禁。他放棄了抗訴的權利。他認為與他們曾給世界帶來的苦難相比，任何懲罰都是微不足道的。服刑期間，他給自己規定的任務是思考為什麼費了這么長的時間，才明白他選擇了錯誤的道路的原因。在獄中，他寫了一本回憶錄，提供了不少有關希特勒和他的親信鮮為人知的內幕材料。 1966年10月1日，施佩爾被從施潘道監獄釋放。1981年在倫敦因中風而死，享年76歲。
百度有個斯佩爾貼吧。
