县城建于北宋绍圣年间(10940—1098）。明代曾有增筑，城垣周长2673米，高10米，厚5米。外濠绕城东、南、北长3533米，阔8.3米， 深2—3.5米不等。西段以江为护城河。城垣周围有5个城门，各门都有宏大的城楼。除小南门外，4个城门外都筑有月城，月城又各有门。

另有山口永安所城及营盘白龙城，均为明代建筑，城周则分别为1536米和1100米，高6米，两城至清末渐废。