該廟由額爾欽巴圖建於1928年,坐北朝南,占地面積2130畝,鼎盛時期有喇嘛300多人,2009年時有喇嘛8人。最初該廟以蒙醫為主,治病救人。文化大革命期間,該廟幾乎被全部毀滅。如今的大殿是過去阿爾山廟裡的藥品庫房,該藥品庫房是文化大革命之後該廟僅存的老建築。文化大革命後,將該藥品庫房向前擴建了一部分,作為如今阿爾山廟的大殿。距離阿爾山廟不遠便是甘珠爾廟。2003年以前,信眾都到阿爾山廟燒香拜佛。自從2003年甘珠爾廟重建並開放後,阿爾山廟便少有信眾來祭拜。
2009年時,阿爾山廟除了兩側的幾座喇嘛住所之外,四周基本是空地。寺院很小,大殿有左、右兩座配殿。寺院自南到北建在一座逐漸升高的緩坡上。大殿(即原藥品庫房)建於1928年,1985年進行了修繕,為漢藏式建築,磚木造,屋頂由歇山頂和平頂組成。歇山頂為鐵皮鋪成,坡式很緩。大殿面闊三間、進深四間,殿內供奉有藥師佛、金剛手。