善緣寺曾用名小東廟,“善緣”佛家主張“廣結善緣”,如修習佛法、結交善友、利益眾生等,以為將來得度的因緣。“廣結善緣”亦簡稱結緣、有緣。“寺”為男眾僧人居住場所。“小東廟”相傳北宋鹹平元年(公元988年),在現在的無為縣嚴橋鎮居住十來戶人家。明末清初就是巢無兩地的重要商埠。二十世紀初,名曰小東廟。後當地信眾為祈求;國泰民安,風調雨順。自發籌措資金在此地建設寺廟命名為“小東廟”。
據無為縣誌記載,小東廟原來是嚴橋的舊地方名,後來在當地方信眾努力下建設道場,當時以道場的地方命名為小東廟,2014年6月20日更名善緣寺,沿用至今。