民間傳說
相傳，西漢景帝時，此地（安樂鎮）有一樂善好施的傅氏夫婦，年屆五十，膝下只生四女，皆姿色出眾，聰慧過人。因父母無男兒，四姊妹為侍奉雙親，改著男裝，矢志不嫁，共祝二老長壽，同時為表心愿，各植一槐，對天盟誓：“槐枯則嫁，槐茂則留”。為爭養雙親，四姊妹各暗中用熱水澆她人之槐，以期燙死，免得貽誤其他姊妹青春。殊不知，熱水澆槐槐俞繁茂，結果四女同室事親，朝夕焚修，日夜誦經，卷不釋手，以祝父母長壽，遂修道成仙，舉家超升。人去跡存，四棵槐樹依然亭亭玉立，於是世人遂改安樂鎮為四女樹，後人為紀念四女，使其德世代相傳，便為其建祠塑像、樹碑立傳，後又將四女樹更名為四女寺，一直沿傳至今。
傳說故事
漢朝景帝年間(前189年-前141年)，今之四女寺村古稱安樂鎮。鎮上有一傅姓夫婦，生了四個女兒，個個姿色超群，聰慧過人，知書達理，孝敬父母。再加上家道殷實，夫妻二人樂善好施，街坊鄰居無不稱道。
轉眼間女兒相繼成人，傅氏夫婦已年近半百，膝下無子，想想日後無人繼承家業，女兒嫁人後無人養老送終，心中不免黯然神傷，倍感淒涼。
大女兒年長几歲，體諒到了父母的苦衷，便和三個妹妹商量說：“父母年紀大了，咱沒有幼弟長兄，以後姐妹四人各自嫁人，父母就無人照料。我有個兩全其美的主意，我留在家中侍奉父母終生，一來可以使父母安度晚年，二來你們出嫁後也就不用時刻掛心父母了。”三人一聽，異口同聲地反對：“都是一母所生，姐姐不嫁人，我們怎好撇下父母各尋安樂？願和姐姐一道奉養雙親！”大姐看她們態度堅決就說：“既是這樣，那就看天意吧。依我之見，咱姐妹四人各栽一棵槐樹，槐枯者嫁，槐茂則留，不知你們意下如何？”三人聽了，齊聲說好。
於是姐妹四人各自在大門口栽了一棵槐樹，日夜留心，都祈盼自已留在家中。誰知數月後，四棵槐樹全都枝繁葉茂，亭亭玉立。大姐不忍心貽誤妹妹青春，便偷偷地用熱水澆三人的槐樹。不料這一舉動，被時刻在意的三個妹發覺了，於是都暗暗地效仿大姐，用熱水澆別人的槐樹。這樣過了一段時間，槐樹不但沒死，反而更加茁壯。四姐妹疑心是天意昭示，越發堅定了留家侍親的決心。
傅家豐衣足食，又有四個如花似玉的女兒，自然說媒提親者絡繹不絕。傅老夫人便向四個女兒轉告各方求親之意。四女矢志不嫁，並將所議之事及植槐經過告知父母。二老聞言大驚，極力勸阻。四女為表心意，便卸下女兒裝束，換上男子衣冠，學著儒生的樣子習學詩詞書畫。平日說話如同兄弟，談詩論字又似朋友，絕口不提婚嫁之事。二老見狀，又驚又喜，視女如子，不再勸婚。媒人見四女心堅如鐵，也不再登門說親。從此，四女專心侍奉父母，閒暇之時則博覽詩書。
光陰如梭，四女二十年如一日奉親至孝，傅氏夫婦雖年近古稀，仍目明耳聰，那四棵槐樹也日見粗壯、郁蔥成蔭。四女又在庭院裡建一梵宮，朝夕焚香，日夜通經，祈禱雙親平安長壽。
一天，有一個相貌非凡的人來到安樂鎮，遠遠望見四棵槐樹亭亭如旗羅傘蓋，便尋蹤而至，在莊院前足凝視良久，口中言道：“草木屬陰，鬼木為槐。觀此槐之狀，必有奇女居此。”於是整衣冠躬身而入。十日後，左鄰右右舍忽然發現傅氏一家不知何時已經人去屋空。於是眾說紛紜，有人說傅家積德行善感動神靈已修道成仙，也有人稱他們超升了。此事很快傳遍十里八鄉，為安樂鎮平添了神秘色彩，過往行人客商爭相目睹傅家遺蹟。天久日長，競使得安樂鎮店鋪林立，商賈雲集，買賣興隆，富足一方。世人念及四女施恩故里，就把安樂鎮改為四女樹。因後人建寺塑像，四槐又亭亭玉立，又改村名為四女寺，並立碑銘記以贊。村名沿用至今。還有一種說法，在後面的人物與故事裡還會講到。，“四女鎮”只有這一塊碑，只有四女仙姑與傅公傅母這一種傳說
“四女寺的傳說”正源
《中國地名大辭典》的記載，所依據的就是上文所列清代黃靜御的這篇文章。茲照錄於後：
山東四女祠記 黃始【靜御】
丙辰十月，出都門，畏陸行之勞悴也，舍而之舟。舟行六七日，將至黃河崖。過一村，風急不得行，遂泊舟。人曰：“此四女鎮也。”初未詳四女何以名。泊少間，風息。臥舟中，悶甚。起行崖岸間，一望荒沙，市人皆閉戶，無憩立所。迄市尾一古祠，若無人焉者。入門， 冂如也。庭一碑，藤蘚網布。碑前古樹，半無枝葉，禿而龍身。右轉得一徑，進則老屋三楹而已。中座像二，一老翁，龐眉而古衣冠，一老媼，白髮高髻，鹹非近世飾。獨兩旁侍坐者四人，雖儒衣儒冠，而修眉皓齒，皎若好女子。心頗疑之，無從詢其說。乃捫藤剝蘚，拭其文讀之，蓋明成化碑也。碑載漢景帝時，地有傅姓長者，好善，年五十，無子，生四女，皆明慧知禮。壽日觴父，父曰：“吾五十無子，奚壽為？”四女愀然曰：“父期於子者，為終養計也。兒即女，亦可代子職養父母，父母其勿憂。”明日，俱改男子裝，四女共矢不嫁，以侍其親。時佛未入中國，唯讀五經百家周秦以上書，博覽奧義如大儒。間則行善事，德化洽於鄉里。庭前古柏樹，葉生龍爪，樹身生鱗，金色燦然。鄉里鹹駭異，以為孝感所致。如是者三十年。一日，天神鼓樂降於庭，樹化為龍，載翁媼及女上升而去。里人感之，遂建為祠，今所樹址，遺蹟也。
嗚呼！自漢景帝至今，不知千幾百年，及遍考東國輿圖紀載，都無所謂“四女祠”者，而孝感之報，徒得之於荒煙蔓草中。乃知古人軼事，其湮沒不傳者概不乏雲。
以上所錄，是康熙年間成書的《虞初新志》所載。據這本書的主編人張潮“自敘”所署，為康熙癸亥，這一年，是康熙二十二年，亦即公元一六八三年。田雯的出生年份是一六三五年，這本書成書、出版的時候，田雯是一位四十八歲的中年人了。
這篇文章傳達出的信息是：
1、至少在明朝成化年間，四女寺已經建祠、樹碑、塑像祭奠四女仙姑與傅公傅母。而且成為一方名勝，影響了一方民俗。因為“立碑”是一樁牽動地方政要和聞人的盛事明典，如果不是在當地很有影響並大得人心，就絕不會發生立碑問題！這比田雯的出生年月早出了近二百年！而這種風氣始於何時？現有資料不能確定。應該說，從漢景帝以後到明成化年間的一千六百二十一年中漸次形成，四女祠的初創時間，可以是這其中的任何一年。
2、這個時候，“四女鎮”只有這一塊碑，只有四女仙姑與傅公傅母這一種傳說！
其他說法
四女寺的傳說還很多，例如乾隆下江南到此處將時光佛寺改名為佛光寺等傳說，歷史遺蹟如：佛光寺、六合寶光聖塔、娘娘廟、山西會館都有詳細的記載。
