歷史
該祠堂位於後塘河村，當地人稱“大祠堂”，始建於明正德年間，由謝遷倡議、謝丕承建。謝丕是謝遷仲子，弘治十八年（1505）中殿試一甲第三名（探花），官至吏部左侍郎兼翰林學士掌院事。大祠堂正門陽額上“四門謝氏始祖祠堂”八個大字，為明代謝正所書。謝正是謝遷長子，以父蔭授中書舍人，後入文淵閣辦事，預修皇史，升禮部員外郎，敕封遼主副使。謝正精四體書法，《東山志》說他“真草出入顏趙間，篆隸尤有秦漢人風致，西涯李公雅敬服之。”
外觀
進正門，裡面三大進十五間。第一進中間奉遷姚始祖長二公神主像，東西分奉十八昭穆神主像。第二進中間奉三太傅主像，即晉太傅謝安、宋太傅謝深甫、明太傅謝遷，東西分奉於賢公（即謝選）、汝湖公（即謝丕）神主像。一、二兩進都是高大的宮殿式平房，非常開闊氣派。第三進為樓房，奉晉朝時遷江南始祖伯登公神主像，東西分奉繩武公、道淵公神主像。第三進建築風格與前二進絕然不同，木件雕刻極為細緻，有鮮明的徽派建築風格。東側樓下牆壁上嵌著一塊石碑，字型圓潤飽滿，沒有書寫者落款，據考證是前清舉人謝家山十歲時所書。祠堂東側有八間平房，解放前為管祠人所住。再東首房子為停燈棚，泗門元宵燈會曾是餘姚境內規模最大的燈會，起源於元代，已有600多的歷史。祠堂西首有五間平房，為謝氏積穀倉。整個祠堂占地2200平方米，規模之大、保存之完整，為浙東地區所罕見。
祠堂內外，本來還有內紫禁城、外紫禁城，形制仿親王級規格。傳說宋末，有個叫“謝緒南”的義士，聞元兵攻陷臨安，就投水自盡。後多次顯靈助朱元璋部抗元，被明廷封王。大祠堂在規格上沾了他的光。祠堂前大通路上，原有二座牌坊，東為“太傅流芳”，西為“東山並秀”，坊額為明代餘姚三閣老之一的呂本所書，都毀於解放後的政治運動中。
祠堂前河泊中還有“文房四寶”，自北向南依次為“墨、硯、筆架山、白紙”，都是人工堆積而成。如三個小土包堆成山丘狀，稱“筆架山”，山上植樹意為“毛筆”。河泊象徵白紙。“硯”是一個深水漕，通年不會幹涸。“墨”則是一個形似圓墨的小島。1950年，中國人民解放軍某部在解放舟山群島前夕，曾在這“文房四寶”里多次作過渡水登入的軍事演習。
泗門的老房子
泗門謝氏三太傅祠泗門謝氏三太傅祠（俗稱大祠堂]，為泗門謝氏祖祠，三太傅是指晉太傅謝安、宋太傅謝深甫、明太傅謝遷，謝遷為謝安第三十八代嗣孫。三太傅祀原為謝氏家廟，在明正德年間由謝丕所建，在清嘉慶辛未年重建前廟，增建後廟。同治壬戌年遭太平天國亂軍洗劫焚毀，光緒三年由宗長謝盈松主持重建，唯外牆正門石結構仍為明正德年初建時原物，牆門上橫額“四門謝氏始祖祀堂”為謝遷長子謝正所書。祠門對出原有大石埠，對河還有筆架山，祠前原有大型石牌坊二座，均毀於天災人禍，一為“東山並秀”坊，毀於1956年大颱風；一為“太傅流芳”坊，毀於1965年“除四舊”。現由泗門鎮政府重修保護，已對外開放。
