《太平寰宇記》載：靈谷峰坐落於臨川之東南三十里，山中有石靈像，是以為名。南北朝時，臨川內史、我國著名山水詩人謝靈運，見靈谷峰自然景色優美，便加以人工修葺，開闢了十大勝景：洗墨池、瀑布泉、棋坪石、漉酒泉、南北井、文印峰、退心石、駐雲亭、石門關、古牛石。靈谷峰因石靈而得名，逢靈運而生輝。北宋政治家、文學家王安石為其三舅吳藩的《靈谷詩集》作序云：“吾州之東南有靈谷者，江南之名山也”。
靈谷峰寺原為道觀，名隱真觀，始建於東晉末年。為當時金溪、臨川、東鄉三縣香火最盛之地。尤其是每年農曆七月初七“點影日”，人們或“點影”求子，或祈求平安，或登臨覽勝，從四面八方接踵上山，鼓樂相伴，燈火連綿，通宵達旦，十分壯觀。唐宋以來不少名家詩人如王羲之、戴叔倫、顏真卿、晏殊、晏幾道、曾鞏、王安石、陸九淵、陸游、湯顯祖等都曾遊覽過並留下了千古遺墨。宋仁宗明道二年（公元1032年），13歲的王安石因祖父王用之病故，隨父王益回鄉守孝，曾寄讀觀中三年，為隱真觀內的“斗姥宮”題寫了門匾。
歷盡滄桑的隱真觀，曾幾度興廢。至民國初年，殿宇傾頹，景象淒涼。民國二十年（公元1931年），謝發源、車林祥、聶晴谷等善男捐資將其修葺一新，並請來峨嵋高僧慧空住持，致使道佛相融，香火空前。僅觀內寄宿善男信女，多時竟達百人。民國三十一年（公元1942年）六月，日寇縱火焚觀，使隱真觀僅存後殿。抗戰勝利後，隱真觀再度修復。“文化大革命”中，隱真觀被徹底拆毀，上個世紀九十年代初，臨川籍台胞鄭其庭為首倡議重建隱真觀並主持重建重任，在當地政府的大力支持下，總建築面積達1100平方米的重建工程於1997年秋竣工。重建後的隱真觀改名為靈谷峰寺，並將王安石手跡“靈谷峰”三字刻成石匾，鑲嵌在前殿山門正中。竣工典禮之日，眾多信徒、遊客上山慶賀，盛況空前。
新寺為鋼筋水泥結構，琉璃瓦頂，造型雄渾，氣勢恢宏。前殿為道堂，中間塑有元始天尊、靈寶天尊、道德天尊三座神像，上面懸掛“靈谷大仙”大匾。東西兩側塑有炎帝、玉皇大帝、黃帝、關公、包公、岳飛六尊神像。後殿為佛堂，帷帳低垂，肅穆莊嚴。釋迦牟尼、阿彌陀、藥王三尊大佛居中，十八羅漢分立兩旁。前後殿中間為儒教堂，塑有孔子、孟子、文天祥三位大儒像。寺中還有一座兩層建築，上層為觀音堂，下層為斗姥宮，均保持了古蹟原貌。寺中十數幅楹聯，多為臨川詩社成員所撰，內涵豐富，意識深遠。這些楹聯以字型論，行、草、隸、篆、楷，五體齊全。其書法多出自名家之手，或飄逸俊秀，或凝重端莊，或氣勢雄渾，展現出多姿多彩的書法藝術，有較高的觀賞價值。來此觀光、朝拜者終年不絕。
為適應遊客和信徒需要，新寺兩側還新建了膳房、齋堂、客室等生活用房，增設了小賣部，架設了高壓電線。新的工程正在籌劃中。其工程主要是在主峰山凹處建一水庫，設遊艇，建空中索道，供遊人遊玩，還要在半坡建一飯店或避暑山莊，同時還要修復南北朝時的十大勝景，使旅遊設施日臻完善，成為江南名勝。
