潘莊所在地原有一個小村莊,名青厄根,住戶10餘家。因歷遭火患,各自搬遷他處,成為一片旱地作物地。當時那裡有兩片水田,上片田為棋樹村李德發的18擔稅谷田,約18畝;下片田是穿岩村唐朱氏的26擔稅谷養老田。潘宜之當年買下後,在唐朱氏的養老田處建莊。據當時為潘莊監督施工的吳家世(縣圖書館管理員)、梁榮階(龍巖門村富戶)說,潘原欲收買潘莊對面水田1000餘畝,以開闢私人農莊,藉以擴充其政治、經濟資本。但賤價收得三四十畝後,遭各業主竭力反對,只好作罷。
潘莊所坐落的青厄根,東至石山腳下,南至桂荔公路,西至遇龍河邊,連同荒山面積約100餘畝。潘莊建成後,相繼種了沙田柚、甜橙、枇杷、柿子、桃、李等果木約200多株,魚塘中還種有一株名貴的檀香樹。解放後,這裡開闢作農場,後是農科所所在地。農場、農科所相繼種了不少竹木果樹。這裡鬱鬱蔥蔥,果香四溢。
潘莊主樓為青磚石料結構之西式兩層樓房,建築面積601.8平方米。室內有會客室、寫字間、餐廳、臥室等30餘間。除主樓處,尚有廚房、工人住房、倉庫,面積117.39平方米。室內陳設,中西合璧,極為講究。大廳有長短式彈簧沙發,也有紫雲木鑲大理石太師椅;其金石、古董、字畫琳琅滿目,僅十八羅漢古瓷就耗資2000銀元。臥室家具為楠木、樟木製成,樣式新穎豪華。
1944年日軍鐵蹄蹂躪陽朔時,潘莊成了駐陽朔日軍的大本營。由於有山作屏,國民黨飛機多次對此轟炸,都未炸到她,反而被打落兩架飛機,一架落在普益鄉的古樂寨,一架落在荔浦。但日軍對潘莊文物、物資的破壞不得而知。解放後,農場接收潘莊時,據說裡面只有兩張棕床、一輛破舊外國腳踏車。1960年前後,上級撥7000元對潘莊主樓作了維修。