傳說清涼寺始建於漢朝末期 。有史可考的是,公元821年,唐中宗赴泰山朝聖后攜皇后南下蔡莊,農曆二月十九日於清涼寺降香後喜得太子,故龍顏大悅,下詔冊封清涼寺為“百子廟”。時至今日,到蔡莊清涼寺“扣百子”的習俗一直廣為流傳。特別是每年的農曆二月十九日蔡莊“百子”廟會,許多地方的善男信女和商賈遊客雲集於此,人山人海,熱鬧非凡。
據說,康熙年間,皇帝微服私訪路經蔡莊清涼寺,見唐皇冊封,感懷古寺千年香火不能湮滅,於是再拔皇銀,修廟宇,建大殿。由此,清涼寺迎來了唐、清兩個極盛的歷史時期。為記述這一歷史,該寺眾僧立碑鐫石,永傳後世,至今位於大殿兩旁的兩塊廟碑上鐫刻有清朝大學士陳廷敬(陳廷敬乃《康熙字典》主編)手跡。其一文曰:唐熙二十二年菊月(1684年),重修大殿記,陳廷敬撰詞;另一文曰:勝福莊清涼社院置常住齋僧福田記。碑文歷經滄桑,但至今清晰可見,具有很高的歷史價值,也是清涼寺歷經千年的見證。
現寺院西北有一古井,名曰“龍泉井”。建於明朝末年,傳說乾隆皇帝每次下江南,都要來蔡莊駐足,讓自己的白龍馬在此暢飲一番。井上有一八角亭,乾隆手書楹聯一幅:一井有泉通東海,四時無雨露天漿。故此井又稱“飲馬井”。該井水質甘醇,入口清爽,村人極喜飲之,數百年來,每年都有外地人來此取水,作釀酒之用。文革過後,村民重修龍泉井時,工匠在井底發現一條斗粗蟒蛇,盤曲時直徑兩米有餘,村人大駭,不敢施工,四鄉聞之,紛紛觀奇。次日,寺中主持於井前立一香案,大作法事,頃刻間,蟒蛇循去,從此不見蹤影。
蔡莊清涼寺歷經滄桑,殘存無幾,但令人欣慰的是,1995年以來,經過地方的大力支持和現清涼寺主持釋開通大師的四處雲遊,清涼寺的五間後殿已經建成使用,前山門殿正在重建之中,不久清涼寺將重現昔日風采。