西晋泰始二年(266)，设汲郡，郡治汲县（今河南卫辉市孙杏村镇汲城村。）。辖汲县、朝歌（今河南淇县）、共县（今河南辉县市东五里固围村东二里）、获嘉（今新乡市卫滨区张固城村）、林虑县。

北魏道武帝登国元年(386)，迁郡治于枋头(今河南浚县枋城)，孝文帝太和二年(488)，郡治复迁汲县。北周武帝宣政元年(578)，废汲郡。

炀帝大业三年(607)，改卫州为汲郡，郡治卫县(今河南浚县卫贤)，唐高祖武德元年(618)，废，地属为义州、卫州分领。殷末，王子比干，为纣王的兄长，因劝谏纣王被杀，葬于汲郡，其子孙居其地以守陵墓。