始建於唐，其址在玉甑下雙石崖。宋大中祥符元年(1008)僧雲林居峰頂。治平元年(1064)賜額。
靖康元年(1126)僧道生遷於淨居院北普賢台下重建。元初詩人陳岩《淨居院》詩原註：“舊在雙石（崖）側，今遷於上。”詩云：“繚白縈青照眼波，芙蓉出沒在天河。不因雲影閒來去，安得春山態度多。”淨居寺重建後，僧眾增多，遂為叢林。明景泰年間朝廷賜號寺僧圓慧為“大度禪師”。
清道光二十六年(1846)寺遭火災，二十八年附貢柏輔、庠生王貢倡捐重建。
1940年日軍侵山時燒毀。
1945年有僧人重建茅蓬，後易為民宅。淨居寺前、普賢台西、雙石舊寺基上有座疊石塔，方形，5級，高約7米。塔身由長方形花崗岩石塊砌成，每級4塊條石豎立，中嵌兩塊巨大石條。四方有飛角，雕飾四門。今存《九華淨居寺塔偈銘》碑1方，碑長90厘米，寬55厘米，厚8厘米，刻有“道生說偈語，刻石流千世。皇宋靖康初，改元丙午歲”等字，說明石塔建於宋靖康元年(1126)。
元初詩人陳岩在《疊石塔》詩注中誤為“唐時置，高丈許，欹而不仆。”詩云：“無復晨鐘暮鼓聲，慧雲猶護法燈明。佛乘大有支持力，舊塔雖欹不解傾。”淨居寺雙石崖南有五老峰，峭壁摩天，飛泉吼石。周圍有菖蒲澗、漱玉灘、東陽澗等勝景。
