石船旁邊修有一無人小廟。叫石船廟，也有人叫仙亭。傳說，西晉末，在今高州一帶有位道士潘茂名，他學易明詩，治病救人，後得道成仙，駕石船飛升仙遊而去，此廟是為記念潘仙人而建。潘茂名年青時不治家業，一心想外出旅行。潘茂名來到浙江新都郡。新都後山石室，看見兩位道士在下棋，潘茂名站在一旁靜觀棋局。道士對他說：“子亦識此乎？”潘答道：“入猶蛇竇，出似雁行。”道士笑著點了點頭，接著又對潘茂名說：“子頂骨貫於生門，命輪齊於日月，若能修煉，可以輕舉。”潘茂名聽了，連忙下拜，表示願意求師學道。道士看到潘茂名的確誠心學道，即時收其為徒，悉心教授服食之法。潘茂名得到道士的秘傳後，便在後山隱居下來並專心致志地研習丹旨，後又雲遊訪道長達二十多年。
東晉鹹和六年（331年），潘茂名回到故鄉高州根子浮山嶺。稍住一段日子後，又告別父老鄉親，外出尋找藥源，決心繼續研究丹旨製作之術，為民除病。
永和三年（347年）夏，高涼連日大雨，山洪暴發，河水猛漲，鑒江兩岸，一片汪洋。潘茂名用數十根大木頭，製作成兩張大船。他施法用船挨家挨戶將受淹民眾安全轉移到崗地，不想由於日勞累，潘茂名竟把一大船誤送到雲霧大山上。
南越過去稱為蠻荒之地，自然環境惡劣，災害連年不斷，疾病、旱災、澇災等不斷交替出現。潘茂名在這種環境裡，運用自己的特殊本領，對廣大民眾施以援手，減輕了各種災害造成的損失，深受民眾擁戴，使其遠近揚名。
昇平五年（361年）九月初九日夜，一場暴風雨過後，山崩地裂，據說潘茂名施法乘著剩下的一條木船，想到雲霧大山尋找另一條大木船，去拯救黎民，他的行動感動了天帝，天帝渡他木舟化石船升仙而去，而誤落到雲霧大山上的那條大木船也變成了石船。這是石船頂石船來由的傳說。
石船頂山體高大，遠眺四方，儘是峰巒起伏，山幾抵雲，不由感嘆自然的偉大。山靠北屬信宜，山靠南則是永寧雙底地面，山上的草坡看得到有許多牛隻，當地的居民都把牛放在這裡，十幾天才來看一次，有點天然牧場的樣子。
