西汉置卞县(江苏泗水县），属徐州鲁国。东汉沿用西汉旧制。三国属魏。西晋属鲁郡。西晋末全境沦于石勒，366年（东晋太和元年）陷于燕。373年（宁康元年）陷于秦。南朝宋初，卞县废。466年（明帝泰始二年）复置，属鲁郡。因兖州刺史毕敬众降魏，其后，所属忽宋忽魏。至宋末梁初常属北魏。

隋，591年（开皇十一年）因泗河发源于境内而更名为泗水县，隶属鲁郡。