隋开皇十八年(公元598年)改新昌县置。治所在今河北徐水县西遂城。元初废入遂州。宋为广信军治所；金为遂州治所。宋景德元年(1004 年)宋将杨延昭守此，辽军攻围百战不能下，因有“铁遂城”之称。