建築
此寺自唐創建以來，歷代重修，原建規模甚大，現今寺院分前院、中院、後院，另外還有中庵和西庵等處。此寺在宗教特別受到重視，舊時游台者必來此寺參觀。
前院有天王殿、鐘鼓樓、南北兩廂配殿及大雄寶殿。
中院以文殊殿為主，內供三大士。
後院有重建的藏經閣，1996年殿內仍空空如也。
中庵位於寺北里許，包括三聖庵、觀音洞、金佛樓三處。原三聖庵供釋迦牟尼佛、老子、孔子。觀音洞在三聖庵東，系三層九間的樓房，原有三大士、彌勒佛和關公等石雕，摩崖造像十五尊，高一二米不等。金佛樓三層八間在觀音洞東，原有石雕貼金接引佛一尊，高五米。西庵位於寺西北，距中庵半里，有平頂禪房三間，原有一佛二菩薩：毗盧佛、文殊和普賢。
中庵東北行二公里，經七佛灣至龍洞。
七佛灣有摩崖造像十四尊：石崖上層摩崖造像七尊，高約尺余；石崖下層摩崖造像七尊，高約五尺。
寺前山坡有墓塔三座：
祖師磚墓塔，四層六角形，頂為圓形，高約三丈。相傳為唐代祖師木叉和尚墓塔。
五代建玄覺大師磚墓塔，六角三層。塔背嵌碑刊刻：“巨唐五台山秘密寺主玄覺大師塔記…天會七年（963）歲次癸亥十一月二十日建立”等語。按五代時北漢天會七年（963），距今已有一千多年。
明萬年間建的普同塔（藏亡僧之骨於一處的塔，叫做普同塔），八角四層，高約十米。塔下建有一圓形空室，從塔旁可以出入，室壁上許多小翕，為存放僧人骨灰的地方。
這三座磚墓塔反映了秘密寺的悠久歷史及其在五台山所處的重要地位，為當今人們研究五台山的歷史提供了重要資料。
傳說故事
相傳很久以前，秘磨岩荒無人煙，每天都有狂風大作，飛沙走石。《據清涼山志》記載：“五百里內，樹木茂密，虎豹縱橫，五峰五路，人蹤罕通”。後來慢慢地終於有人居住了，可是又出現了五百條毒龍，傷害人畜，使居民難以生存。再後來文殊菩薩把這些毒龍引到維屏山的一個山澗里，命它們好好修行。寺內，康熙三十三年（1694年）夏五月重修秘魔岩禪林碑有記載說：“秘魔岩相傳文殊大士受記五百神龍潛修之所。馬祖下永泰禪師法嗣居此，不知何許人，時人稱秘磨和尚，手持木叉…”故此澗叫做龍澗。民間還有另一種說法：東海龍王的五個兒子到五台山索取歇龍石，被文殊菩薩依靠法力擒拿在這裡。
