自古以來,村民善於勤耕苦讀,村內有始祖所建“四香書屋”,二廣總督遊子太、辛亥革命先驅譚人鳳、民主革命戰士羅澍蒼都曾在四香書屋求學;名人羅永超系清道光舉人;羅儀陸留學日本,系國會議員。解放後,這裡學風日進,現在外有博士後1人、博士6名、碩士研究生5人,其中5人出國留學。村內現有保存完好的老屋院、庠地院、月形院、五房院、香花凼上院和下院、南林公院等54棟古建築,大多系明清建築。村裡的一棵千年古樟有“神樹”之稱,吸引方圓數十公里的信士前來祭拜。
2007年初,省委統戰部建設扶貧工作組進駐樓下村。在工作組的大力扶持下,村里基礎建設日益完善,公路通組到戶,建有學校、敬老院和“愛心書屋”,村黨支部組建的“樟樹神演藝團”成了活躍村民文化生活的主力軍。目前,鎮村幹部和村民一起學習國務院關於“歷史文化名城名鎮名村保護管理條例”,共同保護和開發這個歷史文化名村。