名字由來
近年來，村民自發修通了上山公路，在山上建起 500多平方米樓房，修建了兩個共500多平方米的停車場，還修通水泥硬底化的上山公路，把白石山建設成一個供人們休閒、度假的聖地。每年白石仙人的紀念活動，從三月初一的前一天傍晚開始，持續三天左右，三月初一前夜，白石山上已是燈火通明，山上停車場停滿車子，人們通宵載歌載舞，十分熱鬧，遠遠看去，白石山有如一顆閃閃發亮的“夜明珠”。據懷集縣誌記載：“白石山，城東六十里，山多白石而得名，上有先翁檀俯臨桃花，一水灣抱如帶，四望鄉村歷歷在目，景甚幽致，相傳古有仙人修煉至此，三月朔羽化，鄉人因登山祈禱多有應者。山前有白鶴岩，山麓有人仔石。
據山上村民修復的“仙壇”碑文記載，在公元一世紀中，有一位叫廖亞楊的濟世名醫，他離家出走來到鳳崗鎮，曾經很長時間在白石山上採藥煉丹，治病救人，廖亞楊精湛的醫術和扶貧濟困的良好醫德在當地民間廣為傳頌。廖亞楊於農曆三月初一仙逝歸天，後人為了紀念他治病濟世的公德，追念他為“白石仙人”，在山上設定了白石仙人神位，每年的三月初一，不分遠近的男女老幼，成群結隊湧上山上祈禱，使這座山的自然景觀和人文景觀有機地融合在一起。
白石仙人
說起白石仙人，還有個悽美的愛情故事。據民間傳說，廖亞楊出生在珠三角一帶的名醫世家，其祖父曾官拜御醫頭銜，祖宗數代行醫濟世，聲名遠播。廖亞楊自幼勤奮好學，聰明過人，得到了祖上的醫學真傳，常年來採藥行醫，治病救人。廖亞楊成年後，其父母為他私定當地柳家的女子為妻，廖亞楊不滿父母為其私定終身，便瞞著家人，離家出走，一路上採藥行醫。一天，他來到白石山採藥，被白石山這個奇妙的人間仙境所迷，便在離山頂數十米的一個石岩前（人稱白鶴岩）搭棚築舍，住了下來。
又說，其妻柳氏有沉魚落雁之容，閉花羞月之貌，人品端莊賢淑。廖亞楊數年離家未歸，她心懷憂慮，立下了外出尋夫的決心，把自己的想法告訴家人後，攜帶2名婢女逆鳳崗河千里迢迢尋夫而去，歷經數十年，來到鳳崗鎮四村村委會雞腳莨村對面的一座山上坐下休息，一坐下便昏然入睡，一夢登仙（身疲力歇而逝），後人便在此山上立殿敬奉，取名叫“盪夫崗”（意思是：柳氏尋夫盪失的山崗）。上天為了表奉柳氏的忠心，在距離白石山的白鶴岩300米處降下一蹲珍石（人稱人仔石，又叫抱仔石），以示柳氏就近相愛之心。
據傳，這蹲珍石過去正如一個女人懷抱小孩的樣子，可惜，隨著時光的流逝，石頭風化比較嚴重，目前已失原貌。在白石山頂看去，盪夫崗前的洽水河與白石山前的桃花水交匯於鳳崗圩鎮，都有著相近的距離，兩山遙遙相對。為了紀念他們，歷代以來，當地的村民分別在兩地立碑設壇紀念。
