相傳東漢末年徐庶曾隱居於此。徐庶與諸葛亮、司馬徽、黃承彥等友善,常共論天下大事,劉備馬躍檀溪後至南漳,與庶相識,遂請徐庶至軍中查佐。徐庶對劉備說:諸葛孔明當代之奇才,可恭請不可屈致,備從其言。
清嘉慶元年(1976年)清軍翼長富廉建徐公祠。嘉慶十七年南漳守備任海立漢徐庶故里碑。
原祠堂是兩進院落,共有房屋12間。大門橫額牆上彩繪八仙過海、二龍戲珠;兩扇黃檀木大門,左書龍吟,右書虎嘯;門凳石刻精細。前廳3間,四壁留有遊客詩畫。正殿有徐庶先生塑像。東西兩側各有廂房3間,中為大院。環境幽靜、典雅。徐公祠碑早毀,祠失修。1981年縣人民政府重立漢徐庶故里碑。1986年修復徐公祠。