壽山堂因其美麗富有而俗稱為“花台門”，花台門因其屢遭“回祿”而屢毀屢建，也因此籠罩神秘傳奇的色彩。“回祿”舊時指火災，清順治年間，南山樓的財富化為灰土，南山人說那是老天爺收回了人間多餘的財富。後來，王懷玉（述松公）在南山樓的遺址上重建了新居，不料新居在康熙丁巳年又遭回祿之厄，王懷玉再一次“庀工鳩材，自堂及廳先後告竣，其規模之宏敞、棟宇之巍峨，視昔有加，因其間多黃髮壽耆、年膺多福者，額其堂曰‘壽山’”。《壽山堂記》也講述了防禦“回祿”對於第宅的重要。
康熙五十四年，壽山堂復遭延燒，兩廊盡成灰燼，這一次在《紹興府志》中有記載：“親柩在堂，居民失火延燎，璣扶柩號慟拜禱。”王璣是王懷玉的兒子，災後，他又重建高閎大廈，有三進四廂，屋百數間，往來長官至此多贈匾額，後軒高掛知縣李之果題的“醇德克昌”，大廳高掛有督撫程元章給的“樂修天爵”，台階上懸掛知縣徐志定題的“孝友流芳”，門廳有儒學周夢仁題的“士林模範”——這些美麗的詞語還留在人們的記憶中，而雕鏤這些詞語的匾額，隨壽山堂在鹹豐辛酉年（1861）遭遇太平天國軍焚燒而灰飛煙滅。
天災人禍不會摧毀人們對安居樂業的嚮往，在堆積層層“回祿”之厄的廢墟上，後來的人們又重建了壽山堂，仍然有一個天井接一個廳堂。壽山堂屢建屢毀，該凝聚了南山人多少的人力和財力？同時又承載多少大悲和大喜的故事？其間，有一個壽山堂與楊都堂畫像的故事常常被人們談起。
花台門與楊都堂畫像的故事，寄託南山人對以楊都堂為名望人物的彩煙楊氏的感恩之情，壽山堂與“回祿”之厄的故事，則寄託人們對美好生活的嚮往，
