1947年，河南社會名流與原國立黃河流域水利工程專科學校部分抵制並校的師生在原校址創建私立中原工學院，張鍅為董事長，劉德潤為院長。1951年3月8日重建黃河水利專科學校，1952年全國院系調整時改名為黃河水利學校，同時調入鄭州高級工業學校水利科師生和河南大學水利系部分教師及儀器設備，河南大學水利系其餘大部分教師和器材都調入武漢大學水利系合併成水利學院。1958年升格為黃河水利學院，1961年經濟困難時停辦本科，恢復黃河水利學校。1980年9月依託黃河水利學校成立黃河職工大學。1998年3月，經原國家教委批准，黃河水利學校、黃河職工大學與黃河水利技工學校三校合併，改建為黃河水利職業技術學院，為當時河南省乃至全國水利行業唯一一所高等職業技術學院。
學院原建制隸屬水利部，2000年3月劃歸地方，現為中央與河南省共建、全額預算撥款的公辦普通高等院校。1999年被教育部、財政部列入“面向21世紀教育振興行動計畫”支持建設院校，2000年被教育部確定為全國首批建設的15所示範性高等職業技術學院之一。2009年11月通過國家示範性高職院校驗收。此外，學院還是全國水利水電職業技術教育協會的理事長單位、中國水利教育協會的副理事長單位。
