秦王政二十三年(前224年)，攻灭魏后设立泗水郡。《水经注》说郡名以古泗水流经郡境而得。治相(今淮北市相山区），辖区相当于今淮河以北的皖东北、苏西北、山东西南地区。）,领16县：相县、肖县、彭城、留县、沛县、傅阳、铚县、竹县、符离、蕲县、取虑、僮县、徐县、下相、城父、戚县。

汉王元年（前206）正月，属项羽西楚国。汉高祖六年(前201年)，废泗水郡，分北部为楚国，南部为沛郡。