秦末，南海郡龍川縣尉趙佗兼併桂林、南海和象郡三郡，建立南越國。那時，四會縣隸屬南越國。漢景帝時，南越國歸附西漢。
西漢元鼎六年（前111年），武帝劉徹滅南越國，在嶺南地復置南海、蒼悟、鬱林等九郡。四會縣改屬南海郡。南海郡初領番禺、龍川、博羅、四會四縣。
三國時期，四會縣為吳國屬地，隸屬廣州南海郡。黃武五年（226年）劃出四會縣東南部置平夷縣。
南朝宋改置新會郡。隋朝改置新會縣。據新會史料記載，其縣名取“新的四會”之意。南朝宋元嘉十三年（436年），在剩餘的地域設定綏建郡（曾稱綏安郡），郡治在新招村（今廣寧縣妙村一帶）。郡屬下設四會、新招、化蒙、懷集、樂成、化成、綏南等七縣。又置樂昌郡，領東昌、始昌、宋元、樂山、義立六縣，隸廣州，郡治在始昌縣（今廣寧石澗一帶），撤郡後併入四會。
隋唐時期，綏建郡曾改為南綏州、湞州，隸屬廣州總管府、廣州都督府；五代十國時隸屬南漢興王府。宋、元、明時代，四會縣隸屬廣州中都督府、廣南東路端州、肇慶府。明朝嘉靖三十八年（1559年）王鍅及巡按御使徐楫採納了肇慶知府盧璘的建議，割四會縣的太平、橄欖、大圃、永義四都地帶設定廣寧縣。清朝期間，四會縣隸屬肇慶府；民國時期，隸屬粵海道、西北綏靖區、第三專員公署。
1952年5月，廣寧縣與四會縣合併，成為廣四縣。至1954年6月，兩縣分開時，把原屬廣寧縣管轄的黃田、石狗、江谷、江林等鄉劃歸四會縣管轄。1958年10月，廣寧、四會兩縣再次合併，仍稱廣四縣。至1961年4月，兩縣再次分開，四會縣境至今不變。
1993年11月25日，經國務院批准四會撤縣設市，一直延續至今
