秦始皇二十六年（前221年），置砀郡及砀县，治所均在今今永城县城芒山西麓山城集。《水经注》：“获水又东迳砀县故城北，秦立砀郡，盖取山之名。”训诂学家颜师古注：“以有砀山故名砀郡，砀，文石也，其山出焉，故以县名。”汉高祖五年（前202年），建梁国，革砀郡，砀县为梁国都。 新莽时（9年），改砀县为节砀县。汉光武帝时复称砀县。东汉章帝建初四年（79年），迁梁国都于下邑（治所在今安徽砀城东3里毛李庄处），砀县属梁国。三国（魏）革梁国，砀县属梁郡。晋武帝泰始元年（265年），复梁国，砀县并入下邑县。南北朝宋时，复置砀县，南齐（479年）废。

北魏孝昌元年（525年）下邑县移治今河南夏邑；二年（526年），置砀郡、砀县。砀郡治年在原下邑城（今毛李庄处），砀县治所鲁城（其址查无考）。北齐（555年）废砀郡、砀县，置安阳县。