居于北川河边，有小泉小水，故名。北齐天保三年（552）设置，隋大业三年（607）改名方山县，故治初在今山西方山县北17公里处的方山村。隋移治今方山县南17.5公里处的峪口镇。《元和郡县志》石州：方山县，“本汉离石县地，高齐文宣帝于此县北六十八里置良泉县，属离石郡。隋大业三年移就今县南三十五里方山置，故名方山。”《太平寰宇记》石州：方山县，“本汉离石县地，北齐天保三年于离石县北六十八里置良泉县，唐武德二年移就隋废方山县城。”