該祠建於清朝康熙五十八年(公元1719年),是為紀念明洪武年間遷居鄒邑潘氏始祖潘伯祥及其後裔明朝歷史名人潘榛而建,距今近300年,整體建築保存完整。該祠坐北向南,單進院落,紅牆、青磚、青瓦,磚木結構,建築古典。由門樓、照壁、大殿組成,占地面積529.69平方米(0.81畝),布局緊湊,相彰輝映,莊嚴肅穆,古樸典雅,古色古香。門樓上方,橫楣額鐫刻著“潘氏家祠”四個鎦金大字,由其木雕垂珠、花欞烘托,內橫楣額“春露秋霜”由其花辨葉片簇擁;照壁磚雕花卉鑲嵌;大殿為翹檐單山、抬梁穿斗結構,堂門楣額掛匾以“浙水家風”示教後人,神龕楣額掛匾以“滎陽世家”明其根源。所有屋面(頂)以翹檐單山花卉、鳥獸雕飾,栩栩如生。
2005年初,族間自發公議,毅然共舉,擬集族眾合力,整體修復。報經唐村鎮政府、鄒城市文物局考查同意,本著原址原貌、修舊如舊的原則。成立以前、中、後三唐為主的12人修繕小組,發動唐籍族人,量力自願捐款,集得資金7萬多元。擇日農曆“二月二”動工,三月底順利竣工,歷時五十二天,用工650個。
2006年6月6日,鄒城市人民政府公布為“鄒城市文物保護單位”,2006年7月勒石以記。