譚宅主人譚廣雄稱,這座洋樓由其祖父傳下來,是其祖父親自設計督造的。譚宅包括主樓和兩幢側樓,左面的側樓出租給人用作商鋪;
右面側樓的一樓,過去是大門,二樓是門衛居住用的。第一進(兩棟側樓中間的地方)過去是一片段預告園,現為一片空地,向里的二層樓過去是書房,裡面擺放了很多書籍和名人字畫等,有李濟深、胡漢民等人作品,不過這些書都已遺失。第二進就是主樓了,大廳當時是用來會客的,二樓是擺放祖宗牌位,三樓是全樓保護最完整的地方,與1919年建成時幾乎保持完整,當時鋪設的柚木地板仍然保持原色,牆壁、門窗基本和過去一致;第三進是儲物間和一個小後院。
譚宅經過譚家人的修繕和保護,恢復了許多被破壞的建築。遵循保護優先原則,堅持保護性改造,維持原有風格,減少不協調的外裝修,儘量保持建築風貌的統一。