秦始皇二十六年（前221年），置砀郡。《水经注》：“获水又东迳砀县故城北，秦立砀郡，盖取山之名。”训诂学家颜师古注：“以有砀山故名砀郡，砀，文石也，其山出焉，故以县名。”芒砀山在今永城县城芒山西麓山城集，而真正的砀郡首府在今商丘附近，汉高祖五年（前202年），建梁国，废砀郡，砀县为梁国都。新莽时（9年），改梁国为陈定郡,东汉复为梁国，章帝建初四年（79年），迁梁国于下邑（治所在今砀城东3里毛李庄处）。三国延康元年(220年)十月，曹魏代汉，改国为郡。晋武帝泰始元年（265年），复梁国。北魏二年（526年），复置砀郡。北齐天保五年（555年）废砀郡。