基本構造
話桑樓是由院牆、台門、主樓組成的庭院式建築，總占地面積一畝五分七厘(約1047平方米)，主樓占地面積約200平方米(含台基)。台門位於主樓的中軸線上，平面呈“一”字形，磚結構，兩柱平頂式，兩柱面設楹框，內嵌青石質，集宋鄉哲許右丞句，“江山昭尊俎；薲荇依地藩”，黃紹箕篆書聯。門上有“豐湖別墅”楷書青石匾額，亦黃紹箕題書。
話桑樓為木結構二層廊檐樓房，面闊5間，進深7架，通面闊14.71米，通進深11.50米。穿斗抬梁混合結構。圍廊式，四面明窗，普通台基，陰陽合瓦，瓦口施勾頭滴水，歇山頂。
後期的話桑樓由於不合理使用和不科學修繕，導致樓閣破損嚴重，建築原貌改變較大。現就話桑樓在拆除時發現的原構築痕跡，對話桑樓的結構略作介紹。
話桑樓平面呈矩形，柱網布置採用帶圍廊柱網布局，接近於唐宋間“身內金箱斗底槽”的做法。從其結構可看出，建築中心用四柱形成一個近於方形柱列的斗底槽，斗底槽外有內槽柱形成一組有規律的大小矩形柱列，外槽柱包圍在其外部也形成一個柱列。兩側牆體和前後隔扇位於由外數第二圈柱間，柱網的最外圈柱圈成了建築外圍的一圈迴廊，這就是“身內金箱斗底槽”做法的一大特徵。
按柱網分布來看，話桑樓的內外三組柱列之間並不完全相對，外槽柱採用6排6列，內槽柱5排4列，斗底槽採用減柱2排2列，這樣導致外槽山面檐柱的其中二柱上的梁的一端將與內槽柱上的枋連線。除此外，三組柱列之間相對的柱間用梁或枋連線，形成一個內外三圈柱列及其間聯繫構件所組成的空間結構體。話桑樓採用這種柱網布置形式，獲得較大且寬敞的內部空間，可以更好地作為士人活動場所。
話桑樓正身部分的木構架採用廊檐歇山圍廊排架，這是一種對稱布局的木排架，前後廊步架相等。前後廊步架用琴面挑尖梁，作為檐步承重構件，分別傳遞到檐柱和金柱上。廊頂做成板狀船篷軒。山面廊步比前後廊步深度約長1米多，廊步空間擴大了，軒梁的承重構件也作了相應處理，在挑尖梁下增設一條穿插枋，梁枋之間用短柱支撐，將挑尖樑上的部分承重傳遞到穿插枋上，以減輕挑尖梁的荷載。
前後廊和山面廊的上檐出長度也不一致，因此在如何均勻傳布檐口荷載的設定上作了不同處理。前後的檐口伸出明顯比山面檐口寬，因此在前後檐口置二條撩檐枋，柱頭施五踩二翹外拽斗拱。山面檐口置一條撩檐枋，柱頭施三踩一翹外拽斗拱。這樣處理即可將檐口荷載進行均勻傳布，增加屋檐寬度，延長滴水距離，並豐富檐口造型，使整座建築顯得生動活潑，增添建築的美觀感。話桑樓採用圍廊構架增加了建築的氣勢和附屬空間，是改善建築使用空間的一種措施。
山面構架採用穿斗式，設中柱，每條柱直接承受檁的重量，用“穿”(較短的枋)貫通各柱，組成山面構架。這種構架特點是用較小的柱和“穿”，做成較大的構架，在浙南一帶地區普遍被採用。明間採用減柱法，不設中柱，做成三架梁對前後一步梁的構架。這種做法可使明間獲得一個比較闊暢的空間。
兩層的金柱前各設定一條懸挑式檐柱，檐柱的下部不落地，而是豎立在軒桁上，並與坐檻相連，上部用斗拱的尾部經檐柱插入金柱，起到懸挑作用，將檐口的重量分布到金柱和軒樑上。
樓閣正中頂部設定藻井，藻井是天花向上凹進如穹隆的木製結構，一般都是居於室內屋頂中心，用在建築內頂棚上最尊貴，最突出部位。話桑樓藻井由四柱托起，四層檁條，中心對稱，十二組三級斜置斗拱層層堆疊，向井心出跳，井心做成平棋天花式，形成覆斗式方型藻井。
屋面鋪瓦採用小青瓦，瓦口施勾頭滴水，正脊兩端略翹。山面的三角形山花用磚砌築，不設排山豎帶及其他裝飾，也不設博脊。翼角用老角梁發戧，不配設子角梁，翼角起翹舒緩，使整座建築顯得莊重而古樸。
話桑樓既傳承傳統建築的做法，也融入許多地方建築的元素，內外槽之間和前後廊、山面廊之間的柱網變化。前後廊與山面廊不等長的上檐出，面二翹側一翹的轉角斗拱的做法，上檐柱懸挑做法，老角梁發戧法，歇山山面啞巴椽做法，老戧通過將後尾插入金桁下部，以解決翼角結構的可靠性的做法等，說明話桑樓的施工在很大程度上結合當地建築的做法，顯示話桑樓在實際施工中不拘一格，揮灑自如的特點。
修繕歷史
100多年間話桑樓曾修繕3次
話桑樓自創建到被拆歷時100多年，據已知資料表明，期間有過3次大小修繕，主要集中在清末民國期間。
光緒二十七年(1901)夏，話桑樓遭遇一場強颱風，大風摧毀院內的大部花木，台門和部分圍牆坍壞，院內一片狼藉。當年8月，邑人葉壽如捐資重為修整，話桑樓得以恢復原貌。不久，王岳崧奉詩人神主入祠，瑞安各界人士皆肅衣冠詣拜，肆筵設席，頗形歡樂。隨之而來的人士祀拜先達之餘雅集暢敘，吟詩誦賦不絕於樓，不減初建之盛而莫不過之。
民國二年(1913)秋，黃紹弟先生出資發起重修，將話桑樓修繕一新。院內增植各種花木，終年鬱鬱蔥蔥，四季花木溢香。林向藜在《寄鶴巢記》中寫道：“元月，飛雲閣已植梅、桂花、梧桐、丹楓約有二十七株，惟梅花居多，明年此處，大可賞花矣”。
民國二十九年(1940)春，張揚(宋廎)發起募集重修。話桑樓初建至此已歷40多年，池源瀚在《重修飛雲閣記》中描述當時飛雲閣的現狀“屆今四十年矣，當時耆舊風流無復存在，而頹垣破瓦，閣圮殆盡，府仰之間，遽成陳跡，深可慨也。”宋慈抱在《重修飛雲閣記》中亦云：“新說波波譎雲翻，詩事殆絕……棟折柱崩，牆傾瓦漏，僅飛雲一額掩映斜陽而已，識者傷之。”可見，當時的話桑樓已破損不堪，岌岌可危。
不過，當時的話桑樓因破損嚴重，其維修工程量和所需費用都相當大。此次重修由於得到邑人項微塵、項慎初、項蔭軒、曹春輝等人的解囊資助，修繕工程得以順利進行，在當年夏修葺垂成。
此時正值抗戰期間，“方今烽火漫天，四郊多壘，詩書煨燼，風雅淪之”(池《重修記》)張揚竟慨然糾資重修話桑樓，時人有所不解，故“皆謂之曰，軍興以還，生計日迫，子何為此不急之務耶”……“宋廎日，此閣固黃漱蘭先生曳杖行吟地也。先生官江蘇時，建南菁書院，訪黃淳耀後裔，遍搜江表名著呈國史館，其政績卓然人口……閣雖數楹，非今日銳志修葺，更數十年將鞠為茂草。斷絕興廢，聊申景仰，非有他也”(宋《重修記》)。
池源瀚和宋慈抱的《重修記》給張揚重修話桑樓的舉措作了最好註腳“此閣地雖數弓，有徵文考獻之思焉，有登高望遠之宜焉，有世變人事今昔之感焉，宋廎能繼此而更好事焉，為《瑞安詩文征》梓而存之閣，無文字湮淪之恨則尤善矣。”“宋廎乃獨能望古遙集，為此扶衰振靡之舉，其識見可謂超軼萬萬矣。”
建國後變遷
新中國成立後，瑞安一些具有深厚歷史文化內涵和較高歷史文物價值的建築，如利濟堂、文昌閣、關帝廟、許松年故居等都成為工廠生產場所，話桑樓也不例外。新中國成立初，話桑樓被農械社(即工具機廠前身)作為生產場所。1951年，由水產加工廠向當時農械社以舊幣500萬元買下作水產加工場使用；60年代話桑樓為水產加工廠膠丸生產車間；1971年，水產加工廠轉型為瑞安製藥廠後，逐漸成為該廠主要生產車間。
1982年，經有關部門鑒征，話桑樓為中共瑞安特支成立舊址，並確定為我市重點保護文物。
1991年，市人大、市政協、市委辦、組織部、宣傳部等有關部門對話桑樓保護進行實地考察。市委為騰退、修繕話桑樓等問題專門發了檔案，撥出專款，並發動全市黨員和各界人士集資100多萬元，由於當時製藥廠尚未搬遷，故無法實施。
1993年9月，瑞安市人大常委會第四次會議通過決定，要求市府儘快作出決策，使話桑樓通過修繕，恢復原貌。最後還是因製藥廠搬遷問題而擱淺。
但在製藥廠完成搬遷工作後的2001年，話桑樓卻被拆除(據說是異地保護)建了南門變電所。拆除時，社會各界議論紛紛，在民間影響很大，民眾素稱話桑樓為瑞安共產黨“祠堂”，這是大水沖了龍王廟。拆除後，人大代表、政協委員、社會各界，要求重建話桑樓的呼聲日漸強烈，政協提案，人大議案多次提到重建話桑樓事宜。近年來，一些離退休幹部、老同志也多次口頭和書面報告提出要求重建話桑樓。
人們為話桑樓的失去而感到惋惜，而從這些要求重建話桑樓的呼聲中又讓人們獲得寬慰，讓我們看到話桑樓重現的希望。只要每一個人都有一顆愛護歷史留給我們珍貴的文物，愛護先人留給我們的寶貴文化遺產的愛心，去珍惜她，去呵護她，然則，話桑樓的再度輝煌，不會只是一個美麗的夢。
