徘徊寺是供奉佛教尊主毗盧遮那（即中央摩訶毗盧遮那佛或稱大日如來佛）的寺廟（印度語，意為光明普照的意思），故稱為毗盧寺。毗盧寺在各地區分布很多，陽曲縣泥屯鎮的毗盧寺（又名徘徊寺），據說建於明代，距今已有700年的歷史，經歷代修葺，寺廟基本保存完好。
寺院坐北朝南，建造在高約10米的土台上，占地面積1350平方米，現有殿堂總計30餘間，均保存基本完好。外有護牆，可緩坡而上，山門為懸山式小式建築，旁有鐘鼓二樓，系磚砌樓閣式，下為券門，三面開窗，上建小式十字歇山頂木結構樓閣。
三進院落布局，中軸線上依次建有戲台、山門、聖母殿、正殿，兩側為鐘鼓樓、東西配殿、耳房。寺記憶體明重修碑一通，清重修及功德碑8通。聖母殿為清代建築。磚砌台基，面寬三間，進深六椽，單檐硬山筒瓦頂，七檁前廊式構架，前檐明、次間均設四扇六抹?扇門，覆盆式柱礎，殿內兩山及後檐牆繪水墨山水壁畫15平方米。正殿為明代建築。磚砌台基，面寬三間，進深六椽，單檐懸山筒瓦頂，七檁前廊式構架，斗五踩單翹單昂。
過去由於學校占用，門窗多有改變。
