國立河南大學校門追隨著京師大學堂現代大學濫觴的腳步，１９０２年河南大學堂在省會開封誕生，但這個大學並沒有發展起來。十年後的１９１２年，一批河南志士仿效清華留美預備學校，建立了河南留學歐美預備學校，這種學校在全國少見，還有交通大學的前身南洋公學。在積貧積弱的內陸中原，河南留學歐美預備學校眼界高遠、氣魄宏大、教學先進，培養出了趙九章（中國衛星之父）、楊廷寶（建築大師）、閻振興（水利泰斗）、張伯聲（地學巨子）等人，送走了很多學子去歐美深造，這批人後來大都成為棟樑。暗淡的近代河南閃現了一道亮色。
接下來大學興起，清華也成立大學部。河南需要大學，河南留學歐美預備學校改為中州大學，時間是1923年。洋博馮友蘭任文科主任，海歸曹理卿任理科主任。但同為洋博士的前校長李敬齋一直以來主張將留學歐美預備學校改為工業學校，並以辭任以明志。兩條道路涇渭分明，哲學家馮友蘭著眼於長遠，傾向通識教育以提高國民素質，而李敬齋是權變的思路，當時的階段應發展工科以促進工業化。孰是孰非？難以判斷。但如果按李敬齋的想法實施學校主攻工科，那么在１９５２年院系調整中，河南大學就會像浙大、湖大一樣改成工學院，而不是和山西大學一起變為了師範學院。
河大很強的又一個證據是，在三四十年代河大擁有幾十位海歸博士，這在六十年後的今天仍是會很有競爭力的。生物學博士王鳴岐解放後做了復旦生物系主任，水利系的嚴愷做了河海大學校長，化學博士李俊甫與英國人李約瑟的交流激發了後者《中國古代科學技術史》的寫作。河大的很多任校長如田培林、鄧萃英、劉季洪、姚從吾、許心武、黃際遇等都是洋博士，這些經受過歐風美雨現代文明滋養的學者使河大境界很高。
河大得以雄起，一是靠延攬人才，像張仲魯、劉季洪、張靜吾等都是到處請人。另一是善於經營，河大從教育部和省里爭到了很多政策和經費。工學院院長閻振興後來做了教育部長，校長田培林做了教育部常務次長，鄧萃英也做了教育部次長，劉季洪做了考試院院長，姚從吾做了中央研究院院長.... 再一是不拘一格,26歲的人能當教授,沒有學歷的人也能當教授,河大有很多歪才怪才偏才。
解放前開封的運河還通暢，河大有很多來自省外的師生。在這個不安定的時代，河大的科研、教學都取得了不小的成績，培養出了很多的人才。從二十年代投身殷墟發掘開始，河大師生一直是殷墟和甲骨文研究的重要力量，湧現出了董作賓、石璋如、尹達、孫海波、郭寶鈞、朱芳圃等著名學者。經濟系學生鄧拓在校寫成《中國救荒史》，填補了空白。化學系學生馬可床頭作曲，終成一代大家。醫學院投入到台兒莊抗戰醫護貢獻巨大，文學院出現了作家群星河燦爛。很多後來的名人如袁寶華、白壽彝、侯鏡如、王實味、姚雪垠等都曾在河大就讀。
河大平靜的校園生活總是暗潮湧動，派系之爭屢屢交鋒，抗日抗暴轟轟烈烈，地下黨活動頻繁，很多人走上了革命道路，諸如王國權、趙毅敏、羅章龍、王雨田、鄧拓、彭雲等。1948年，河南大學左翼數百師生在范文瀾、嵇文甫、王毅齋的領導下，投奔中原解放區，陳毅以其為基礎成立了中原大學，范文瀾任校長。中原大學1949年隨中共中原局遷往武漢，後發展為中南財經大學等校。河南大學本部受國民黨的指令往台灣南遷，先到了蘇州停留，很多人拒絕去台。這次遷校造成大量人才沿途流失。由於河大的歐美色彩，不少師生最終還是去了台灣。剩餘部分於解放後重回開封。
建國後高等教育採用蘇聯模式，強調分科、專業化，壓縮大學，加強工學院、師範學院。這與民國時按英美模式注重綜合性是不同的。於是河南大學醫學院、農學院分別獨立建校，財經系構建中南財經學院，水利系構建武漢水利學院，土木系併入湖南大學，植物病蟲害系併入華中農學院，畜牧獸醫系併入江西農學院。河南大學僅剩文、理科，但隨後沒有像山東大學那樣保留綜合性大學身份，而是變成了師範學院，全國後來僅有北師、華東、東北三所師範院校是重點。
河大的衰落關鍵點在省內的兩次決策失誤，一是1955年將河大理科遷往新鄉，在開封集中力量辦文科。很有積累的河南大學理學院只換來新建的平原師範學院文科三專業，同樣擁有南京、蘇州兩所師範學院的江蘇就沒有互調專業集中建文理。以河南之大，本應分別建設河南師範學院、平原師範學院兩所學校，而不是只建河南師範學院開封文科、新鄉理科兩個分部。接著兩個分部又各自一條腿走路。省里的小氣使僅剩文科的開封河大後來不能入選歷次的全國重點大學，由此出現了大省河南長期無全國重點院校的局面。
二是省會遷鄭後一直沒帶走原河大文理科。但是帶走了原河大醫學院、農學院，後來又拿走河大化學系成立河南化工學院（鄭州工業大學前身之一）。而安徽、廣西遷省會時都帶走了最高學府。因此當六大區撤消、各省興起綜合性大學之際，山西師範學院、安徽師範學院（原安徽大學）很快與新成立的山西大學、安徽大學合併，恢復了老的山西大學、安徽大學。而河南師範學院卻因留在了開封，無法與新成立的鄭州大學合併，以恢復老的河南大學。由於一省一所綜合性大學的政策限制，河大一直拖到二十多年後的1984年才得以復名，但仍作為師範院校。長期以來不以科研為主，學生就業多限於中學教師，嚴重影響了河大的發展。我們可以看到遷到省會的山東大學與沒遷省會的河南大學今天的巨大差距。河南大學不在省會又是師範院校，省里理所當然的要重視鄭州大學。
值得一提的是，由河南大學堂演變而來的開封師專於六十年代併入僅剩文科四系的開封師範學院（河南大學），使河大再次成為文理科院校，並開始了艱難的理科復興歷程。新鄉師院也逐漸建起了文科，新鄉的理科已不可能重回開封。就這樣，左翼河大的三大領導人范文瀾、嵇文甫、李俊甫分別去了武漢中原大學、鄭州大學、新鄉師範學院，都做了校長。
在省主馮玉祥的支持下，中州大學發展很快，與農業學校、法政學校合併組建成為綜合性大學，得到了國立第五中山大學的帽子，也許這個第五中山與第二中山武大、第三中山浙江大學、第四中山南京大學還有差距，但它也並非平庸之輩濫竽充數。像浙大一樣，河大也是雄起於抗戰時期。
1927年中州大學與河南公立農業專門學校，河南公立政法專門學校合併組建國立河南大學，因為老的河南大學堂變成了中等學校。１９２８年，河南大學成立了醫學院，與已有的文、理、法、農並為五院。河南大學開始深耕，學校的建築至今還昭示著當時的氣魄和檔次。這些建築是比肩於中央大學（今東南大學校園）、金陵大學（今南京大學校園）的，位居國內前列。規模宏大的大禮堂耗資二十萬大洋，從德國進口屋架，可容納三千人，而當時河大僅有五百師生。齋樓、六號樓、七號樓別具匠心，令人讚嘆！這些建築中西合壁，科學美觀，至今仍是河大的驕傲。當時校園東邊是明城牆，西邊是河，北邊是鐵塔，南邊是大湖，一派寧靜優雅的氣氛。遺憾如今已變化很多。解放前河大有２０００多畝校區，號稱華北第一大校（當時清華還沒有東擴），分散於開封城的多個地方。解放後隨著農、工、醫學院獨立，只剩下八百畝校園。
三十年代的河南大學就已經很有實力，人才濟濟，但直到1942年才得到機會升格為國立。1944年，在教育部高校評估中，河大獲得全國國立大學第六名，這個地位在今天很令人懷疑，可能嗎？又有人說，河南大學躋身聯合國教科文組織在冊的幾所中國高校之列是由於科學史家李約瑟抗戰時曾到訪過河大。2003年，央視“世界著名大學”中國內地十所高校中選擇了河南大學，引起了全國的嘲笑。河南大學官方並沒有公開很多過去的資料，我覺得河大至少可以進入民國大學二十強。它的農學院、醫學院辦得很好，醫學院曾是全國五強之一，在解放後首批獲得博士點。文學院更是名家雲集，有范文瀾、郭紹虞、姜亮夫、董作賓、蕭一山、蒙文通、楚圖南、高亨等。教育系入圍全國前六，並培養出了研究生李秉德。從法學院當年開設的眾多課程也可以看出河大的實力。
為什麼竟沒進入教育部直屬？同樣河南醫學院當時並不比山東醫學院、西安醫學院差，卻也沒像後二者那樣進衛生部直屬。原因不得而知，大概是改革開放初的河南並沒有大力的向中央爭取，反正當時是計畫經濟、包分配，人才總是會被分來的，管他在哪培養。如果爭取，中央應該會考慮大省河南的需要。更何況耀邦同志對河南還是很關心的。
另一個問題是當時實力在全國很靠前的河大中文、歷史、地理竟沒設博士點，一種解釋是教育部有保有壓，博士點向重點大學集中，當時是不會讓一個地方師範學院成為博士單位的，即使你很強。偏居開封的河大經過建國幾十年歲月的淘洗，已經淡出了人們的視野。當河大一再的退讓之後，它已經沒有話語權去爭待遇了，它曾經的優秀也飽受質疑。
從八十年代後期開始，人才紛紛向發達地區匯集，文理基礎學科地位沉淪，地方院校遭遇到政策和經費瓶頸，內陸的傳統觀念和做法也跟不上時代的發展，於是河南大學隨著開封的衰落而難以前進，相對地位大幅下降。
面對重重困境，河大苦苦的掙扎，儘管自身不乏痼疾，但曾經滄海、不甘沉淪的貴族骨血依然生生不息。
經過幾代人的努力，河大的數理化已經發展起來，生物、土木也先後重建，經濟、法律有所起色，醫學、藥學從無到有。河南大學又開始了它新的崛起征程。
2008年10月17日，河南大學正式成為省部共建高校，開啟了河南大學在新的平台上建設高水平大學的序幕。
嵩岳蒼蒼 河水泱泱 中原文化悠且長 濟濟多士 風雨一堂 繼往開來揚輝光四郊多壘 國讎難忘 民主是式 科學允張 猗歟吾校 永無疆
