鄉賢祠分三進：前進牌坊，中進門廊，後進為寬敞的廳堂，前、中、後各進的兩旁均有院子、花廳、圍牆等相連，整座祠顯得高大寬敞，莊嚴肅穆。前進牌坊，是由八根石柱，承托三層雙肩式木質雕蓮花托拱和黃綠相間的琉璃瓦面所組成的玲瓏奇巧的牌樓，結構嚴密，造型美觀，渾然一體，巧奪天工。祠的脊樑均如鳥翼向四面翹起，並刻有花鳥魚蟲浮雕，工藝十分精細，畫面栩栩如生。牌坊立柱上刻有兩副對聯，內側為“鄉非阿好覃恩賜，賢有真修世澤垂”，黃批：“光前裕後”；外側為“鳶喜天飛揚翊清芬榮綽楔，魚欣淵躍昭彰雅化耀靈祠”，橫批：“鳶飛魚躍”。其上面還有卸賜“鄉賢”和“聖旨“兩牌匾”，十分之真珍貴。
侯應遴，是領南狀元之一王時進的老師（出身書香門第，曾任湖廣氓藩府教授）侯建田的侄子。他為官清正謙明，體察民情，憎惡貪枉，勵精圖治，並築壩開渠，拓荒墾地，為發展當地的農業生產作出了很大的貢獻。所以，除世後，當地鄉民把他的政績顫奏皇上，皇上念及其愛民如子，為政清謙，即批撥銀兩為他建祠，並賜一諡號“鄉賢”和“聖旨”兩牌匾掛於鄉賢祠的牌坊上。
鄉賢祠，是我們封開現存的具有歷史意義且又保存完好的宗祠之一，是研究和觀賞具有領南特色的古宗祠的好地方。
