修建歷史
專祠由當時長江水師協鎮謝浚畲督工建造，歷時五個月而成，東西長20丈，南北寬50丈，整座建築耗費白銀1.5萬兩。
內部建築
據採石舊志載，彭公祠屋宇宏偉，氣象軒昂。大門外有石獅一對，高約2米，莊嚴威武。大門兩側各設一小門，門楣題額為“江濤涌雪”、“山勢凌雲”。入內即見“東南砥柱”四字匾額，為兩講總督曾國荃題。兩廊下匾額甚多，如“軍民感戴”、“天鑒孤忠”等等，大多為彭氏門生所題。登上數十級石階，步入殿堂，中供一座祭壇，壇上設有木龕，龕中立有彭玉麟牌位，高約三四尺，上書“太子太保兵部尚書一等輕車都尉謚剛直彭公諱玉麟之神位”。牌位前是大理石香爐，爐徑一尺余，高約七八寸，色澤艷麗。殿堂內橫匾眾多，大都是歌功頌德之作。兩壁懸有“忠、孝、節、義”四個木框。由殿後拾階而上，有平房三間，為儲放祭器之所。再後有滴翠樓、凝青閣、琴舫、粹然亭、吟香館、萃芳園、迓曦廬、仙侶齋、紅杏軒等古建築。祠內林木蒼翠挺拔，假山玲瓏剔透，有月牙池，清澈見底，游魚可數。
現今情況
彭公祠落成後，又購置鄰近荒熟田計1635畝（耗銀4853兩）作彭公祠田產，以供香火和歲修之資。清時，地方官吏每年春秋兩季均前往舉行祀典。至民國初期，因年久失修，已破敗不堪，加上屢次為軍隊所占駐，其中建築物及陳設被劫掠毀壞。後以其址改建剛直中學。建國後，改作市第一中學校辦工廠及教工宿舍。1982年，一中另遷新址，市有關部門撥專款進行修復，舊貌得到部分恢復，今為李白紀念館。
