始建于1929年3月，当时校名为河南省建设厅水利工程学校，创办人为时任河南省建设厅厅长的著名人士张钫，首任校长为毕业于国立北洋大学土木工程系的陈泮岭。1931年6月更名为河南省立水利工程专科学校。1942年5月改建为国立黄河流域水利工程专科学校，与国立河海水利专科学校齐名（现更名河海大学，校长严恺院士原在黄河水专）。1946年7月并入河南大学，组建为河南大学水利系。1947年，河南社会名流与原国立黄河流域水利工程专科学校部分抵制并校的师生在原校址创建私立中原工学院，张钫为董事长，刘德润为院长。1951年3月8日重建黄河水利专科学校，1952年全国院系调整时改名为黄河水利学校，同时调入郑州高级工业学校水利科师生和河南大学水利系部分教师及仪器设备，河南大学水利系其余大部分教师和器材都调入武汉大学水利系合并成水利学院。1958年升格为黄河水利学院，1961年经济困难时停办本科，恢复黄河水利学校。1980年9月依托黄河水利学校成立黄河职工大学。1998年3月，经原国家教委批准，黄河水利学校、黄河职工大学与黄河水利技工学校三校合并，改建为黄河水利职业技术学院，为当时河南省乃至全国水利行业唯一一所高等职业技术学院。

学院原建制隶属水利部，2000年3月划归地方，现为中央与河南省共建、全额预算拨款的公办普通高等院校。1999年被教育部、财政部列入“面向21世纪教育振兴行动计划”支持建设院校，2000年被教育部确定为全国首批建设的15所示范性高等职业技术学院之一。2009年11月通过国家示范性高职院校验收。此外，学院还是全国水利水电职业技术教育协会的理事长单位、中国水利教育协会的副理事长单位。