第七軍舊址百色城，不但風景秀麗，而且地勢險要，交通便利，是通往雲南、貴州的咽喉。由於右江水量大，四季可通航，客輪貨輪可直通廣州、香港。因此，雲南、貴州乃至全國各地，特別是廣東商賈雲集百色。因為粵商的日益增多，粵語也就自然而然地成為百色的城市語言。隨著商業的發展，城內相繼建起一批專為各地商人提供服務的會館，諸如粵東會館、靈州會館、雲南會館、貴州會館、江西會館等，其中粵東會館規模最大、最豪華氣派。遺憾的是，由於人為的破壞，現在除粵東會館、靈州會館外，其餘會館已不復存在。粵東會館，由廣東商人集資興建，始建於清朝康熙59年（1721年），後多次重修。凡粵商來到百色，都喜歡到粵東會館投宿、聚會、洽談生意等。
粵東會館，是一座磚木結構的古建築，具有南方古建築的藝術傳統和風格。位於百色市解放步行街，整個建築占地面積2331平方米，建築面積2661平方米。會館座西向東，以前、中、後三大殿宇為主軸，兩側配以相對稱的四進廂房和廡（音：wu）廊，構成“日”字形封閉式獨立建築群。殿宇廡廊，布局嚴謹，庭院通道，鋪設紅色階磚和長方形條石，殿堂廊下，全為是實木大圓柱或花崗岩方形石柱支撐。中間主體建築三大殿宇的內山牆上現今還完整保存著十分精美的水墨壁畫。可以說，整個建築就是一件文化教育藝術精品。
1929年12月11日，鄧小平同志成功發動發百色起義，同時，中國工農紅軍第七軍在百色成立。軍部設司令部和政治部，司令部就設在粵東會館，司令部所屬的參謀處、經理處、副官處、軍醫處等就在這裡辦公。鄧小平、張雲逸的辦公室和住室擺設十分儉樸，每人一張辦公桌和一張床鋪，坐著床鋪辦公。他們的床鋪也是由松木板和長條凳搭建而成的，他們和其他指站員穿一樣的衣服，蓋一樣的鋪蓋，吃一樣的飯菜，為全軍樹立了艱苦奮鬥的良好風範。
黨中央、國務院和廣西壯族自治區黨委、人民政府對紅七軍軍部舊址的保護極為重視。1961年3月26日，自治區人民政府把紅七軍軍部舊址列為自治區重點文物保護單位，同時又在舊址里建立了“右江革命文物館”。1977年8月17日鄧小平同志揮毫為紅七軍舊址題名：中國工農紅軍第七軍軍部舊址。1988年1月13日，國務院又把紅七軍軍部舊址列為“全國重點文物保護單位”“全國思想教育基地”。
