清朝初期,來貴陽經商、工作、避難的人逐漸增多,他們大都會自發成立“同鄉組織”,一般叫某某會館。那時,從大西門到紫林庵都是良田、土地,這一大片全是湖南人成立的“湖南會館”的資產,不僅如此,他們還在現在省計委會的側後面,修建了一個“多功能建築”,一是供文人遊玩,二是供奉觀音菩薩,三是祭祀屈原,旁邊還有一個花神祠,一個法雲寺,總命名為“紫林(靈)庵”。這裡是湖南人的世外桃源,也是他們的文化宮、俱樂部、殯儀館,諸如遊藝活動、公共祭祀、家庭喪事等都會在這裡舉行。百年風雨滄桑,直至20世紀初,湖南會館開始走向衰落。辛亥革命後,貴陽進入長達23年軍閥割據的時代,由於政權的不斷更迭,而每屆政府的政策又不具有連貫性,今天會館要交這個費,明天又要上那個稅,並有大量的田產和房屋被軍閥霸占,財力日漸空虛,會館的衰敗也直接在影響著紫林庵。但紫林庵的致命打擊是在民國十五年(1926年),貴州省主席(初期稱省長)周西成修環城馬路,湖南會館自大西門至紫林庵田產全被占用,損失慘重。紫林庵一代的田園風光,從此不復存在。湖南會館受此打擊,境況大不如前,加之此時本身會館管理鬆懈,會館的負責人官商勾結,中飽私囊,別墅紫林庵也就無心再經營下去,紫林庵沒落了。取而代之的是周邊日漸繁榮,紫林庵以東的周西成公館,世傑花園,不僅白天人來人往,晚上也燈火閃爍。紫林庵以南的寅興里(今貴陽八中所在地),20世紀30年代成了長途汽車站,附近旅店、飯館、貨棧不斷地冒出來,喇叭聲聲,人聲鼎沸。紫林庵以北威清門外的李子園,民國28年(1939年)辦起了豫章學校,莘莘學子弦歌不輟。
解放後,湖南會館由人民政府進行改造,而此時的紫林庵已蕩然無存,淹沒在日漸增多的房屋之中,就只有地名流傳至今。