初名“仙人廬”,史雲“始於崑崙,源自泗流,奇峰異顛,逶迤曲折,地連吳頭楚尾,曠無人煙,為古揚州地界……”始建於晉永熙年間,因當時除真武殿為木石結構的建築外其餘皆是茅廬。唐時因受李唐皇族尊崇而全盛。當時殿宇林立,道侶雲集。一時成為鄂東南道教界影響最大的宮觀。及至殘唐五代時有名道劉五劉六兄弟在次修煉得道而改命仙人台至今。劉五劉六時為後晉主石重貴之部將,因石重貴不願象父王石敬塘一樣對契丹人耶律德光(時為遼太宗)稱兒臣引起耶不滿而大舉揮兵進犯,石委派二劉領兵抗擊,由於兵力懸殊、國力空虛而大敗。後晉隨之易主,二劉看破紅塵遂遍尋名山修道,先奔武當山後赴仙人台並在此苦修終成正道。宋時在對面香爐峰附近又陸續建起幾處佛教寺廟,形成佛道並存的格局,有“三千和尚八百道”之稱。時有鄉人劉某不詳生卒年代,傳其曾於君山遇得八仙之一的呂組純陽(呂洞賓),並隨其習靈龜吞吐之法而勤修不輟也位列仙班。劉及弟子們感激涕淋,在仙人台興建呂祖觀一座(史稱新觀,現不存。該觀址現為仙人台茶場辦公室),使仙人台白雲觀在鄂東南宗教領域內的主要地位更加鞏固。
南宋鹹淳三年(1267年)蒙古人四犯蘄州,南宋太學生段朝立(湖北羅田東河人,今屬英山。)即聚眾前往地形險要、山勢高峻的仙人台,在此屯兵甲、立柵堡,抗擊蒙古人。白雲觀成了義軍的據點。段朝立在跑馬崗操演兵馬,故此地也有軍山之說.受戰爭影響,仙人台白雲觀損壞慘重。宗教活動幾乎停止。元代由於民族矛盾極其尖銳,仙人台白雲觀其名己鮮見於史料,僅從傳世的白雲觀志稍有記載。大明朝建立後,朱氏崇道日盛,明正統十年(1445)荊王朱瞻堈(明仁宗朱高熾第六子,朱元璋曾孫)置真武行宮於仙人台,使仙人台的香火日盛,名播九州。時有高道汪守真(陝西人)於仙人台白雲觀側之道人溝的道人洞得道白日飛升.汪致力於仙人台白雲觀的建設與發展,開壇演教,弘揚道法,收集散佚的道教經籍,為仙人台乃至蘄春道教界作出了無量功德。滿清王朝時受崇佛抑道的宗教政策影響,仙人台白雲觀復又出現佛道並存的格局。康熙四十年,仙人台白雲觀經過一次大規模的改擴建,現存真武石殿即為當時改建項目之一,石殿北面也建起三清殿等數處殿宇。乾隆四十八年又經過一次重修。光緒年間武當山太子坡十八大弟子下山弘道時,大弟子陳復來上北京白雲觀,胡復慶來到仙人台白雲觀開壇,精心建設這一十方宮觀使仙人台再度名聲鵲起……