早年生涯
阮文祥出生在越南中部的廣治省召峰縣的貧窮農家中。他的父親曾參與反抗阮朝統治的起義，因此阮朝曾禁止他參加科舉考試。
步入仕途
1848年10月29日，嗣德帝繼位。阮朝的官方史料並沒有記載阮文祥最初是如何同嗣德帝搭上關係的，但可以證明的是，阮文祥在嗣德帝的保護下成功通過了科舉考試，並成為了高級官員。1852年，阮文祥被任命為刑部尚書。1862年，阮文祥的父親逝世。根據儒家傳統觀念，阮文祥退隱還鄉，為父親守了五年的孝，此後又官復原職。
從1858年起，越南成為法國的保護國。1873年，嗣德帝將與法國談判的重任交給了阮文祥。雖然他成功同法國簽訂了條約，但法國人將他當作一個騙子。在同霍道生簽訂了條約和收復了被安鄴大尉占領的河內之後，阮文祥被任命掌管國家的內政和外交事務。1881年，成為內閣首領。
嗣德帝死後，遺命阮文祥、陳踐誠、尊室說三人共掌朝政。但事實上，阮文祥和尊室說在朝中的權力遠遠大於陳踐誠。而執掌朝政的不僅包括三人，還包括了嗣德帝的母親范氏姮，即慈裕太后、莊懿、學妃三位女性，也就是所謂的“三宮”。為了鞏固自己的權力，阮文祥同學妃發生曖昧關係。
嗣德帝沒有兒子，但他收養了三位侄兒為養子。嗣德帝在31歲時收養了弟弟堅太王阮福洪依的兩個兒子正蒙堂（後來成為同慶帝）、養善堂（後來成為建福帝），育為己子，當時他們分別為19歲和14歲。
根據越南歷史學家範文山的說法，嗣德帝曾希望由養善堂繼承皇位，但受到了“三宮”的壓力。嗣德帝曾經通過批評育德堂（嗣德最年長的養子）的道德行為證明其立養善堂為儲君的正確性，但三宮最初不為育德的行為所動，直到後來決定殺死他。由於阮文祥與學妃的曖昧關係，一些歷史學家推測他們通過治療謀殺了育德帝。隨後阮文祥等人擁立了37歲的協和帝即位。然而新皇帝意識到他們的威脅，試圖疏遠他們。阮文祥等人得知後，計畫廢黜協和帝。協和帝通過聯合法國勢力的方法來對抗可怕的輔政大臣們。然而但法國人不在的時候，阮文祥等人殺死了協和帝，另立建福帝。然而建福帝抓住了阮文祥與學妃通姦一事，聲稱將依法處置他們。在阮文祥將要被殺之前，學妃在建福帝的藥里下毒，使建福帝在第二天就死去了。
反法勤王運動
最終，阮文祥和尊室說擁立了鹹宜帝。尊室說決定發動反對法國的勤王運動。尊室說戰敗，挾持鹹宜帝出奔廣治省，據守山區對抗法軍，後兵敗出奔清朝。同時法國人擁立同慶帝即位，阮文祥繼續充當輔政大臣的角色。
法國人給阮文祥兩個月的時間，要求他將鹹宜帝俘虜並帶回，而當時鹹宜帝仍在山區里反抗。但阮文祥沒有完成法國人的任務。於是在1885年9月6日，法國人罷去他一切職務，將他和尊室說的父親尊室訂一起關押在了崑山島。阮文祥在監獄裡圖謀東山再起，向士紳發出檄文討伐法國人，但被發現。法國人沒收了他的財產，發現了1450萬法屬印度支那元。
去世
1885年11月23日，阮文祥被法國人流放到了太平洋上的塔希提島，並於1886年2月死在了那裡。同年7月，他的遺體被尊室訂帶回順化安葬。
