秦始皇平定六国之后，南征岭南，并于秦始皇三十三年（前214年）平定岭南，设置桂林、南海、象郡。同时期，置四会、番禺、博罗、龙川县，其中四会隶属桂林郡。据考证，当时四会县境包括今之四会、高要、广宁、怀集，以及三水、台山、新会、斗门等地的部分或全部。据此考证，四会历史已有2223年。

秦末，南海郡龙川县尉赵佗兼并桂林、南海和象郡三郡，建立南越国。那时，四会县隶属南越国。汉景帝时，南越国归附西汉。

西汉元鼎六年（前111年），武帝刘彻灭南越国，在岭南地复置南海、苍悟、郁林等九郡。四会县改属南海郡。南海郡初领番禺、龙川、博罗、四会四县。

三国时期，四会县为吴国属地，隶属广州南海郡。黄武五年（226年）划出四会县东南部置平夷县。

南朝宋改置新会郡。隋朝改置新会县。据新会史料记载，其县名取“新的四会”之意。南朝宋元嘉十三年（436年），在剩余的地域设置绥建郡（曾称绥安郡），郡治在新招村（今广宁县妙村一带）。郡属下设四会、新招、化蒙、怀集、乐成、化成、绥南等七县。又置乐昌郡，领东昌、始昌、宋元、乐山、义立六县，隶广州，郡治在始昌县（今广宁石涧一带），撤郡后并入四会。

隋唐时期，绥建郡曾改为南绥州、浈州，隶属广州总管府、广州都督府；五代十国时隶属南汉兴王府。宋、元、明时代，四会县隶属广州中都督府、广南东路端州、肇庆府。明朝嘉靖三十八年（1559年）王钫及巡按御使徐楫采纳了肇庆知府卢璘的建议，割四会县的太平、橄榄、大圃、永义四都地带设置广宁县。清朝期间，四会县隶属肇庆府；民国时期，隶属粤海道、西北绥靖区、第三专员公署。

1952年5月，广宁县与四会县合并，成为广四县。至1954年6月，两县分开时，把原属广宁县管辖的黄田、石狗、江谷、江林等乡划归四会县管辖。1958年10月，广宁、四会两县再次合并，仍称广四县。至1961年4月，两县再次分开，四会县境至今不变。

1993年11月25日，经国务院批准四会撤县设市，一直延续至今