在南海神廟西側，有一座小山丘，古時叫做章丘。這大約10多米高的山上有一座小亭。唐宋時這裡是三面環水，“前臨大海，茫然無際”，人立亭中，當然是觀賞海景、對大海抒懷的最佳位置。
據有關史書記載，古代這山崗的階梯共108級，但如今僅餘72級崗階了。這裡東連獅子洋，煙波浩渺，夜幕漸退，紅霞初現，萬頃碧波頓時染上一層金光，一輪紅日從海上冉冉升起之際，有一半仍沉在大海之中，吞吞吐吐，此景象壯觀極了——這就是歷史上宋元羊城八景之一的“扶胥浴日”。難怪當時有眾多的文人墨客游完南海神廟，喜歡黃昏泛舟於此，第二天拂曉時分才登上古亭觀日出呢！
北宋紹聖初年（1094年），大文豪蘇東坡被貶至嶺南途中，在廣州停留，慕名拜祭南海神。他登上浴日亭，驚嘆這大海的壯闊，太陽的輝煌，天地的浩茫，廟宇的古樸，便感懷身世地寫下了“南海浴日亭”一詩：“劍氣崢嶸夜插天，瑞光明滅到黃灣。坐看谷浮金暈，遙想錢塘涌雪山。正覺蒼涼蘇病骨，更煩沆瀣洗衰顏。忽驚鳥動行人起，飛上千峰紫翠間。”
詩因亭作，亭也因詩威。有好事者將蘇東坡所吟之詩刻到石碑上以作留念。碑立亭中，亭也因而叫做浴日亭。後名聲漸漸遠播，更有許多文人墨客慕名而來觀賞“海中浴日（因神廟古時叫波羅廟，故又叫為“波羅浴日”），亦留下不少與蘇東坡應和的詩句。其中最著名的是明人陳獻章的《浴日亭和蘇東坡韻》一詩。詩是這樣寫的：“殘月無光水拍天，漁舟數點到灣前。赤騰空洞昨霄日，翠展蒼茫何處山。顧影末須悲鶴髮，負暄可以獻龍顏。誰能手抱陽和去，散入千岩萬壑間。”
