第二次國共合作形成後，抗日救亡運動興起，中共西江黨組織得到全面的恢復和發展。1939年1月，根據中共廣東省委的指示，西江臨時工作委員會正式成立，書記李守純，組織部長梁嘉，宣傳部長朱榮。工委機關設在新興。1939年3月，中共西江臨工委召開了西江各縣組織幹事聯席會議。此時，中共廣東省委派王均予來西江主持工作，原臨工委書記李守純調出，西江特委正式成立，王均予任西江特委書記，梁嘉任組織部長，朱榮任宣傳部長，特委機關設在新興。6月初，西江特委第一次擴大會議在新興召開。隨後特委機關從新興遷至民眾基礎較好的廣寧縣。9月，王均予調任省委秘書長之職，劉田夫繼任西江特委書記。10月，特委機關遷至肇慶鎮，先後在塔腳、福肇社26號和麒麟街54號等地設機關駐地。塔腳、福肇社26號舊址現已無存，只有麒麟街54號保存還算完整。同時，麒麟街54號又是特委的一個重要交通站。
西江特委遷到肇慶後，為更好地掩護機關工作，黨組織安排年輕的女中共黨員周敏玲來住機關，與劉田夫假扮夫妻，從事秘密工作。由於他們機智勇敢，應付了國民黨反動派的多次盤查審問，使機關工作得以正常開展。劉田夫與周敏玲也在患難之中加深了認識和理解，產生了感情。1940年3月，經上級批准，劉田夫與周敏玲結為夫妻。這是他們留在肇慶的一段革命佳話。
西江特委駐在肇慶，處在國民黨頑固派的包圍中，特委領導和機關工作人員隨時都有被捕、殺頭的危險。雖然身處險境，但劉田夫等臨危不懼，領導西江各地黨組織與國民黨頑固派進行了有理、有利、有節的鬥爭。當國民黨頑固派宣布解散西江青年抗日組織時，劉田夫即根據省委的指示，委託李超寫文章加以抨擊，在政治上反對國民黨頑固派，進一步擴大黨的政治影響。接著，劉田夫以“鐵夫”為筆名，在特委機關刊物《大眾》上撰寫《與嚴重的時局搏鬥》一文，揭露頑固派投降賣國的事實和陰謀，號召不願做亡國奴的中國人民和抗日將士，進行頑強的鬥爭。
1940年8月，劉田夫被調到中區工作，這時，中共西江特委由書記馮燊，宣傳部長梁威林、組織部長楊甫、委員龍世雄、唐章5人組成。因形勢惡化，逆流開始洶湧，特委機關由肇慶遷至德慶，後來又遷到三水和四會。
中共西江特委的建立，有力地推動西江各縣黨組織的恢復和發展，領導了西江各縣的抗日救亡運動。
2007年6月，該建築被肇慶市人民政府公布為市級文物保護單位。
