古時候攻城奪屋，一般是找大門為突破口（門戶越少受敵也少），通常是採用木頭撞門或火攻門和屋頂，兩者以火攻危害最大，也最難防備。而萬石樓建築的最大特點，是針對大門和屋頂容易被攻破的薄弱環節，著重對大門的結構作多重防撞功能的網路系統和消防系統的創新措施，力求以巧制勝。同時，還以堅實的城牆和外牆上的河卵石作防禦，木撞、槍打不進，刀砍、鐵撬不入。另外，屋頂有防火牆、茶壺耳和四面貫通的水槽等設施。一旦被火攻，火勢不會漫延，四個角樓的水槽和屋頂水槽就會交叉灑水，將火撲滅。而大門著火時，只要在更樓上的水鬥倒水入大門的水孔，整個門框就會四處噴水，很快將火撲滅。城堡前還辟有一口６０多畝的水塘，屋後和兩側辟有護城河，環城有跑馬道迂 。東南面留有小路與陸路相接。
該城堡的結構為九天十八井式（實為八天十井），共有６廳７２房，每房二層，角樓三層。縱深分四進，每進１３米，寬不等，以一廳一天井連線左右廂房，其中第四進則一天容三井，均居中軸線上。兩側縱向以２米寬巷道分別連線２４房，一廳二天井。另外，第一、四進均與兩邊角樓相接，各設１２房。第一進廳二樓設更樓，樓上的２個水斗與大門水孔構成消防系統。在第一進後的地堂兩側各闢有一個水井，深３米，水滿不溢。供城堡７２房人日常用水和消防用水，且可以足不出門取水，並應戰時用水之急。第二、三進合為祠堂，設中、後門與前屋門對開通第四進。正堂設第三進後廳，廳背懸掛有牌位和對聯，碑刻"劉門歷代曾祖妣考"。聯雲"一脈傳微昭穆序，五房衍慶桂圓馨。"
萬石樓始建於乾隆十四年（１７４９年），取舊時計量單位"石"而名，意為囤糧萬石。據澳頭岩前劉氏宗族族譜和劉氏第九代傳人劉冠毓老人回憶，清順治初年，劉氏先祖劉心賢從外地遷來岩前開基，直至第四代，劉氏後人除劉文高留住於此外，其他人已外出謀生。而劉文高早卒，其妻氏含辛茹苦養育五個兒子成才，其中老二是朝庭官員（捐官）。１７４９年，當地遭遇強颱風襲擊，從海面吹來許多杉木排堆集於今堡址。黃氏母子見後，起了用這些木材在原地建屋的念頭，並用老二朝庭官員的名義建屋，請外地工匠建成這座城堡，成為劉氏一脈祖屋。該城堡既能住人又能防禦，只要把大門一關，就可以高枕無憂了。這種構造在當地十鄉八里獨樹一幟，在當時兵荒馬亂時猶為令人傾慕，很多人見後都想自己也仿建一座。幾年後，附近有村民來萬石樓取樣，想按照這座城堡規格仿建一座。因屋主不是朝庭官員，只建了１０００多平方米，且構造上稍為遜色。
據史籍記載，清乾嘉年間，粵海巨盜張保在沿海一帶活動猖獗，兩廣總督百齡令沿海置械設防，並鑄造靖字炮分派各府。而作為一方民用防禦工事的萬石樓，也配備有鐵火炮４尊，長槍數十支（１９５９年上交政府）。每當海盜入侵時，村民便攜婦孺匿藏堡內，青壯年環城堡抵禦。海盜槍打城牆不入，火攻屋頂和大門都被消防系統撲滅。經幾番攻打後，海盜仍不能靠近大門，只好心灰地離去。
第一次國內革命戰爭時期，民國粵軍在附近交戰，大隊潰軍流竄到村中掠奪，村民４００餘人藏身城堡嚴陣以待。粵軍和村民幾番開戰後，攻城不入。後來他們將城堡圍困數天，仍欲攻不下。
２００多年來，該堡一直未加修葺，現除第一進天井兩側巷道、屋面已毀外，其他地方損壞較小。萬石樓的劉氏族人除有些外出謀生外，留居堡內有３０多戶，共２００餘人，一直延續了１０代。１９７８年後，堡內的劉氏後人已搬出附近另建新居。到了每年祭祖時，劉氏後人也從各地回來萬石樓祠堂舉行儀式，參拜祖先。如有族人逝世後，也要回來祠堂立牌位。
萬石樓以其古老的歷史和獨特的建築工藝，為研究惠州市古建築文化提供了原始的實物資料。類似該城堡的造型和規模在嶺南地區極為罕見，有較高的文物欣賞價值。隨著大亞灣經濟技術開發區的建設和發展，怎樣保存下萬石樓這座歷史物質文化遺產，望有關單位予以重視。
