光塔原名呼禮塔，波斯語音讀作“邦克塔”，據說因“邦”與“光”在粵語中音近，遂誤稱為“光塔”。一說因塔呈圓筒形，聳立珠江邊，古時每晚塔頂高豎導航明燈而得名。一說塔表圓形灰飾，望之如光潔銀筆，故名。寺院始建年代已不可考，相傳由唐初來華的阿拉伯著名傳教士阿布·宛葛素主持，為當時僑居廣州的阿拉伯穆斯林商人捐資所建。有關該寺的記載，最早見於9世紀中葉阿拉伯旅行家蘇萊曼的《東遊記》，記述了廣州“蕃訪”穆斯林的生活及建有寺院1所。該塔建築年代說法不一，南宋岳珂在《{木呈}史》中記載有此塔，南宋方信孺在《南海百詠》中“詠蕃塔”詩後記曰：“蕃塔始於唐時，曰懷聖寺塔。”
光塔塔高36.6米，用磚石砌成，建築平面為圓形，中為實柱體，塔頂有“邦克樓”，塔內有石階梯道可供登臨，沿螺旋形梯及而上可登塔頂露天平台。在平台正中又有一段圓形小塔，塔頂原有金雞一具，可隨風旋轉以測風向，明洪武和清康熙八年（1669）兩次為颶風所墜，後遂改為今狀的葫蘆形寶頂。
光塔是中國伊斯蘭教最大的邦克樓之一，與新疆吐魯番的蘇公塔大小相仿佛。光塔形體獨特，為我國塔林所罕見。雖屢經修建，仍具阿拉伯伊斯蘭的建築風格。
根據現存碑刻記載，光塔寺在元至正十年（1350）、明成化三年（1467）、清康熙三十四年（1695）及1935年皆經重修。現該寺由寺門、望月樓、水房、長廊、碑亭、客室、禮拜殿和光塔組成。禮拜殿為寺的主體建築，置於庭院的正面，造形為中國宮殿式。為3間帶周圍廊、歇山重檐綠琉璃、帶斗拱的磚砌水泥建築，聳立在帶雕石欄桿的大平台上，莊嚴肅穆。石欄桿欄板上雕刻各異，有葫蘆、扇子、傘蓋、花卉等圖案。大殿內潔白明亮、鋪有木地板，三面有拉門。殿內可容1000多人做禮拜。大殿梁下題字為“唐貞觀元年歲次丁亥鼎建，民國二十四年歲次乙亥三月二十一日辛未第三次重建”。在大殿左側碑亭內有元至正十年（1350）八月郭嘉重建懷聖寺碑，保存尚好，但石質有所風化。還有清康熙及同治時重修寺的碑記。在大殿右側，原有清真寺經堂國小2層樓房建築，後另闢新校址，遷離古寺。
光塔寺對研究中國海外交通史、建築史、伊斯蘭教史以及中國同伊斯蘭國家人民的經濟文化交流，都有重要意義。中華人民共和國成立後，人民政府曾撥款進行過兩次較大修繕，已煥然一新，並被列為全國重點文物保護單位。現為中國穆斯林和伊斯蘭教國家來華友人進行宗教活動的場所，廣州市伊斯蘭教協會設在寺內。
