寺的前身叫永庵，始建於宋朝乾道初年（1165年）。廣海奇石彭城，自幼出家，僧號應璣，作有《靈湖山水之記》記道：“予之師永公，乾道之初，始辟路於龍祠之側，樹以松筠，築庵居之。”寺原是一座三進的建築，前座正中是觀音蓮座，兩廂分供十八羅漢佛像，中腰是一小庭院，植有一樹菩提（後來枯萎）；庭院兩邊，是僧徒門的住處。后座是大雄寶殿，供奉三寶大佛。寺後有果園。宋朝開禧三年（1207年）改建後易名為“靈湖寺”。關於靈湖寺的建成和得名，有不少美麗的傳說。相傳過去有幾個和尚在海邊散步，一天他們忽然見到海上浮來了一個棺材，幾位僧人將棺材撈起，拆開一看，只見棺內裝的是金銀財寶。僧人並沒有貪財，決定建一座寺廟，就是後來的靈湖寺。靈湖寺之名取宋代劉禹錫的名句“水不在深，有龍則靈”的詩意。加上當時寺前是寬闊的灘涂，積水如湖，故稱“靈湖寺”。
據清康熙《新寧縣誌》載：“南北朝梁天監元年（502年）有印僧智藥三藏在新會郡地廣海登入，在烏洞手植菩提樹一株，其地後建靈湖寺。”此後，智藥三藏留弟子守住該處，他前往肇慶鼎湖，因此廣海一直有“先有靈湖，再有鼎湖”的傳說。然而，據廣州光孝寺的史料記載，智藥三藏大師在靈湖寺植下菩提樹後，把另一棵帶來的菩提樹植在光孝寺。康熙年間《新寧縣誌》記載，其時，這棵菩提樹已長到“大可數圍，高六七丈”。然而，如今廣州光孝寺的菩提樹已不再是當年智藥三藏大師手植的菩提樹，廣海靈湖寺的菩提樹後來也不知什麼時候沒有了。宋初（1165年）嘉定年間，鄉人在智藥三藏手植菩提處建起靈湖寺。
靈湖寺建成後，文人墨客常在些聚會，賞海吟詩，鄰近的農民、漁夫也常來休息、避雨，因此僧人和村夫百姓交上了朋友。加上僧人行醫濟世，行俠仗義，抱打不平，鄰近的村民有難都求助於僧人，因此靈湖寺數十年來香火鼎盛。但由於後來海盜猖獗，騷擾寺門，寺中和尚逐漸移居到肇慶鼎湖慶雲寺，至使靈湖寺漸漸荒廢。以後歷朝曾幾度修葺、重建，一直保持完好。但從清鹹豐六年（1856年）至同治二年（1863年），由於不斷的土客紛爭，致使寺宇禪堂都被焚毀，僅剩下一堆焦土。光緒十年（1884年）開始重要，重建的發起據說是廣海奇石村人彭鳳桐。彭鳳桐父親彭華是個官宦，父傳子業，彭華的好幾個兒子都做官去了，只有彭鳳桐不願為官。分家之後，彭鳳桐將自己所得的家產獻了出來，發起捐款並主持重建靈湖寺，竣工後定名為“靈湖古寺”。現在保下來的古寺建築形式，就是當年重建的。正是這次重建，也使靈湖寺揚名海外。重建後的靈湖寺，大體上保持原來的風貌，門額上橫書“靈湖古寺”的金字匾，兩旁有彭鳳桐撰寫的對聯，曰：
靈異訪前朝說彼岸見渡江蘆葦；
湖山留勝跡問幾人悟無樹菩提。
重建後的靈湖寺只一層，分為兩進，為磚木混合結構，兩進間有行廊和天井，後進前有月門，左側有附寺和廚房。寺外右邊為萬安祠。房前隔一小天井。後有果園，兩旁植有白玉蘭樹。與萬安祠相間處有通巷，直通寺後果園，果園築有石基，為防雨水沖御寺基而設，近萬安祠處有石階數級，是進寺之通道。寺中第一進正中供有觀音菩薩，兩廂分別供有十八羅漢。寺中第二進是大雄寶殿，供奉三寶大佛、土地公等。寺內金碧輝煌，特別是神樓上的紅日圖案，金光有如陽光直射，使人目眩。寺中的十八羅漢陶像，為石灣名雕塑家文如壁所精心雕造而成，全部飾真金。民國期間，由於沒有修葺，后座的上蓋已經倒塌，陶像亦不存在。在抗日戰爭時期，歹徒、盜賊洗劫靈湖古寺，寺內神像的珠鏈、金泊、玉石等被劫走，寺牆多處被毀，古寺一度又沉淪於黑暗。抗日戰爭勝利後，為保存靈湖寺，1947年廣海奇石建築商余沛捐資略加維修，但此時只有最後的一個和尚獨居寺中了。新中國成立後，一位名叫繼慈的法師仍在寺內。由於靈湖古寺地處海濱、環境幽雅，1958年被改建為“工人療養院”。後來療養院遷走，而寺中繼慈法師只靠養雞、種菜，行醫濟世自給，過著平淡的生活。
據有關資料記載，靈湖寺和尚繼慈法師，原籍番禺，俗姓陳，18歲在廣州海幢寺落髮為僧，兩年後到鼎湖山慶雲寺受戒。在20世紀30年代初，他受慶雲寺長老派遣來到廣海靈湖寺料理寺務。由於他遵規行善，法旨不違，受到各界人士讚揚，在靈湖古寺孤寂地度過了大半生。中華人民共和國建立後，繼慈法師已經年到花甲，幾乎喪失勞動力了。當地政府將他編列為鄰近村的生產隊社員，並定為“五保老人”來贍養，由校懷石生產隊集體提供糧食和生活費。1959年繼慈法師搬出寺外小屋居住。1968年12月25日，這位靈湖寺最後的僧人繼慈法師壽終正寢，享年85歲。
靈湖古寺最後一個和尚去世後，寺內更加荒涼，成了鼠雀居所，雜草叢生。原來寺中的一切都已不可見，進寺的第一進裡面只有散落的石塊、稻草、牛糞，供奉的十八羅漢和土地公已不見蹤影，第二進的大雄寶殿、月門、天井、神台及殿上供奉的觀音菩薩、三寶佛神像以及神樓的龍鳳、奇花珍禽的浮雕也已不可見，如今只有斷牆頹壁，雜草叢生，只見天上白雲悠悠，在聲聲蟬鳴中訴說著歲月匆匆。
2006年9月20日，廣海鎮第十四屆人民代表大會第一次會議政府工作報告中提到在“十一五”期間完成修復靈湖古寺工程。
2007年2月，靈湖古寺的修復第一期工程已經告竣。它包括：修復靈湖古的前進；在前進中建有長3米、寬1.2米、高1.4米的須彌座；正中端坐2.17米高釋迦牟尼大佛，兩側為阿難尊者和迦闍尊者（三寶佛均為漢白玉塑造）；殿的東北角供奉藥師如來佛、月光菩薩和日光菩薩，西北角供奉地藏王菩薩。日前，靈湖古寺正準備向遊客。開放後繼續修復後進大雄寶殿，並將耗4000萬元人民幣按規劃逐步擴建其他殿堂。
現在，常住仁偉法師主持寺內一切事務。
據說，靈湖古寺左邊還立有皇帝牌，是為紀念明朝率眾與海上倭寇搏鬥有功的貢生張節齋而立。
