隋开皇十八年(598)改成皋县置，在今荥阳市西北汜水镇。因汜水河由巩义东南北流经此地注入黄河，故名。属郑州。

唐垂拱四年 (688)更名为广武县，神龙元年(705)复名汜水县，五代改属河南府。

宋熙宁五年(1072)废入河阴县。元丰二年 (1079)复置，属孟州，金复属郑州。

明、清仍之。

1913年属豫东道(豫东道次年改称开封道)，1932年属第一行政督察区。

1948年与广武县合并为成皋县。