隱溪村祠宇建築後,至今有900餘年的歷史,屢有修葺,1991年投資7000元進行修繕,1999年又投資萬元修復一新,保存完好。祠堂屬磚木建築結構,坐北向南,兩進一披三間,二進,硬山頂,青瓦蓋,四角鰲檐。祠宇內堂中,有四方天井,樑柱均為粗大楠木構成,有雙石砥柱,圍經1.3米,堂中正棟嵌刻燙金對聯,讚揚徐孺子光輝的一生。祠門前八級麻石階梯,建築占地面積750平方米,為民間建築風格。祠宇後堂上額,懸掛徐孺子畫像,每年新春大年初,村人前來此拜竭,紀念先祖。祠房旁原有《旌御亭》,碑懸“一榻千古”四字匾額(現毀),山南有磐石如台,相傳孺子少讀書於此。
《宋詩鑑賞辭典》註:“徐孺子祠堂,亦即徐稚故居”,這裡的徐孺子祠堂指的南昌市青山湖畔的徐孺子祠,北宋文學家曾鞏曾作《徐孺子祠堂記》。