歷史
德日兩國的外交關係始於19世紀後期。1860年7月，普魯士王國派出了一個外交使節團東赴亞洲，艾林波伯爵出任團長，率隊從品川登入日本。普國使團與德川幕府進行了一番交涉後，於同年12月締結了友好通商條約，並核准了駐日公使館的設定。
第一代的普魯士公使館建於橫濱的外國人居留地，但後來就遷到東京的麻布。1871年普魯士主導全德統一、建立德意志帝國後，便將日本的普魯士公使館改為德國公使館，並於1872年在東京市中心的永田町闢建新館舍。1894年，永田町的德國公使館在明治東京地震當時遭到震毀，替日本政府擔任外籍顧問的英國建築師約西亞·康德幫德方設計了新的兩層式磚造公使館新樓，該樓於1897年時開始作為使館辦事處使用。
1906年，德國將駐日代表處的級別從公使館升為大使館，館院與陸軍省的後門僅隔有一條名為“梨木坂”的小街，1936年完工的國會議事堂也座落於南邊的大路對面。這令德國大使館所處的地段緊臨著日本的國家軍政中樞，離首相辦公室和行政部門雲集的霞關也不遠，因此，該地成了德國人在戰前的日本進行情報活動的據點，20世紀著名間諜——俄裔德國人理查·佐爾格即曾於德國駐日大使館替蘇聯進行秘密活動。
1945年5月25日，美軍發動第二次東京大空襲，德國駐日大使館在B-29轟炸機投下的爆彈烈雨之中嚴重焚毀。二戰結束後，同盟國占領日本，大使館用地和日本境內的其他德國地產均被盟軍司令部（GHQ）列為接收對象。
重新開館
隨著西德在1949年時建國、以及日本在1952年時藉由舊金山和約恢復主權，兩國已經具備了重新建立邦交的條件。由於永田町的德國大使館舊址已經被劃定為國立國會圖書館的預定地，因此西德駐日使館自1952年起改設於麻布東鳥居坂町（今六本木五丁目）。與此同時，日本政府決定替德方另覓使館新址，而於1954年取得了南麻布一帶的土地。1956年，使館辦公樓和大使官邸的工程在14,500平方米的用地上正式展開，由波恩的聯邦建築局（BBD）規劃、日本的松田平田設計事務所承建，官邸和使館大樓分別於1957年和1960年投入使用。1973年東德與日本建交後，亦於赤坂設有東德駐日大使館。
1990年兩德統一，東京的兩座德國駐日使館也減為一座。1995年阪神大地震的發生，使日德雙方均認為原有的大使館館舍已經不能符合更新穎、更嚴格的防震要求，而決定實施重建工程。最後由德國建築師馬勒·福克斯（Mahler Günster Fuchs）的方案在競圖比賽中脫穎而出，他將新的使館辦公大樓設計成一座黑色的玻璃鋼骨立方體，內部采白色漆面和自然採光，占地720平方米，樓板總面積1,600平方米，共有65個辦公空間，於2005年竣工。使館院區內除了這棟大樓與大使官邸外，尚有一座日式庭園，園裡有明治時代流傳下來的雕塑和藝術品。
2011年3月的福島第一核電廠事故爆發後，德國外交部曾通告旅日德僑遠離首都圈，並於3月18日至4月29日之間，將德國駐日大使館全體館員從東京撤到大阪，使館業務也暫時交由德國駐阪神總領事館辦理。
使館部門
•政治處（Politische Abteilung）：下轄政務課（Politischen Referat）、勞動保健課（Arbeit und Gesundheit）、領事課（Konsularreferat）。
•文化公關處（Abteilung für Kultur und Öffentlichkeitsarbeit）
•經濟處（Wirtschaftsabteilung）：工作範疇包含財務、農林、環境、科學等領域。
•武官處（Militärattachéstab）
位置
德國大使館位於南麻布地區的一座斜坡上，北邊緊鄰著有栖川宮紀念公園，最近的捷運站是日比谷線的廣尾站。周邊尚分布有中華人民共和國大使館、法國大使館、阿根廷大使館、瑞士大使館、芬蘭大使館、巴基斯坦大使館等。
領事轄區
東京的德國駐日大使館負責日本東部、北部的領事業務，轄區包含了關東地方諸縣、東北地方諸縣、北海道及中部地方東部縣份（山梨、長野、靜岡、新潟）。德國駐阪神總領館的轄區則為中部地方其餘各縣、關西地方諸縣、中國地方諸縣、四國、九州及沖繩縣。
