紅樓：日本建築師平野勇造設計，協盛營造廠承建，1911年落成。建築面積2705平方米，磚混結構四層，坐北朝南，古典主義風格。立面分段對稱。南立面底層為弧拱門窗，二、三層為連續的券柱式拱廊。中部屋頂作長方形雙尖拱。主入口上楣有精美的石雕山牆花，檐口、柱頭、勒腳、欄桿等細部均有精緻的石雕裝飾，清水紅磚牆。
灰樓：位於紅樓北面，中間隔著一個小天井。現稱黃浦大樓。1941重建。建築面積4092平方米，磚混結構四層，坐南朝北，早期現代派風格。北立面中部飾六根有凹槽的巨柱式壁柱。細面花崗岩飾面，窗洞口較小，外觀厚實。
同治十年（1871年）六月，日本領事館始建於揚子江路。宣統三年（1911年），遷入現址。1937年“八一三”事變後，日本領事館成為控制侵占地區的最高行政機構。1945年日本投降後，該處由國民黨政府接管。1947年3月28日，亞洲和遠東經濟委員會（後改名聯合國亞洲和太平洋經濟社會委員會）秘書處設於此。
1994年2月15日，上海市人民政府公布日本駐滬領事館舊址為上海市優秀歷史建築。
