頂峰
葉若夫的軍服（國家安全總委員軍服）如日中天的葉若夫終於在1937年10月27日達到了他的高峰。當日在bolshoi大劇院，為了慶祝NKVD成立二十周年，他的肖像畫和史達林的巨幅肖像並行排列掛在無數紅色帷幕之上，被無數鮮花包圍著，主持人米高揚身著黑色高加索襯衫，高度讚揚了“葉若夫同志不知疲倦的工作”："我們應該學習葉若夫同志不斷向史達林同志看齊的精神，所有的蘇聯公民都應成為秘密警察的代理。”發言後，葉若夫受到了非同一般的熱烈歡迎。“他站在那裡“一名旁觀者說道‘很不好意思的樣子，好像他不確定這是否是他應得的東西’”，當天的情況史達林的助手也向史達林本人進行了匯報。
失勢
1938年4月8日，當他又被任命為水運人民委員部人民委員時，葉若夫終於開始走下坡路。1938年8月22日，拉夫連季.貝利亞成為了他的助手並在短時間內取代了他；當史達林在1938年11月11日抨擊NKVD（蘇聯內務人民委員部）的記錄檔案和工作方式後，在1938年11月25日，他被迫辭職，貝利亞鏇即接替了他。1939年3月3日，葉若夫被解除了一切在蘇共中央的職位，隨後在1939年4月10日，他被逮捕並被關押在位於蘇漢諾夫卡的監獄中。1940年2月3日，蘇聯法官瓦西里.尤立科在貝利亞的辦公室里審訊了他。葉若夫拒絕了貝利亞的建議，要求他承認試圖暗殺史達林“讓一位偉人從地球上消失也許更好”。葉若夫被判有罪並立刻執行了死刑。1940年2月4日在他被行刑前，他被勒令脫光了衣服並被看守毆打。他的遺體被埋在了位於地莫什科耶的一個相當普通的墳墓中。
官方史料
尼古拉.葉若夫在蘇聯官方檔案中，葉若夫出生在俄羅斯聖彼得堡，然而他本人卻宣稱自己生在立陶宛的名為馬里連堡的城市。他的教育程度僅僅達到了國小水平，這也在某個方面為他後來血腥殘暴的工作方式找到了一個合理的解釋。從1915年至1917年，葉若夫在沙俄軍隊中服役。並於1917年5月（十月革命數月前）加入布爾什維克，並以紅軍的身份參與了針對波蘭白軍的戰鬥。1922年以後葉若夫開始在蘇聯政治機關中工作。大多數情況下身份為某某地方共產黨委員會的書記。1927年，葉若夫被任命為蘇共收支委員會的首腦。1929年他被任命為蘇聯人民農業政治委員會代表。從1930年開始，他被同時任命為蘇聯及各部門機關的領導，包括人事部門，工業局以及特別委員會。1934年，葉若夫當選為蘇共中央委員會委員，1935年至1939年，他在當選秘密警察最高指揮的同時又是蘇共黨政控制機關的委員。
外人的評論
1936年，一份名為“一個老共產黨員的信”中，有一段對葉若夫的個人描述：“在我的一生中，我從來沒有看見過有比葉若夫更冷酷無情的人，我還記得他小時候喜愛用一條沾滿煤油的紙條綁住貓的尾巴並將其點燃，看著貓嚎叫的樣子直到被火焰撕裂。我個人認為他（葉若夫）直到現在仍然在用和孩童時同樣的心理折磨其他的人。”綜上所述，加之葉若夫的身體上的缺陷（比史達林還要矮整整一頭），他的外號是“有毒的侏儒“或“血腥的侏儒”葉若夫同樣因無條件效忠史達林而聞名。這從他1935年撰寫的一片演講稿中可以清晰地看出，在那篇被認為“是大清洗的導火索“中，他闡述了將異己的思想劃歸為“極其危險的暴力恐怖主義”的觀點，在1936年9月26日，他被選舉為蘇聯內務人民委員部人民委員，代替了前任亞戈達。同時又成為了中央裁決委員會（鋤奸團）的委員。在他的統治下，大清洗活動達到了高峰，將近半數的政治人員和軍事指揮人員因“不忠”或“叛逃”的名義被草草逮捕並處死。甚然，連監察部門葉若夫也不放過，NKVD和GRU都遭到了審查。許多雅各達任命的官員或被槍斃，或被送入古拉格，相對應的是他親自任命的人都“倖免遇難”。
葉若夫因出色表現，獲得了“蘇聯人民最喜愛的人”的稱號，有座小城改用他的名字命名。米高揚同志開始這樣祝酒：“要向葉若夫同志學習史達林式的工作作風，就像他過去和現在向史達林同志學習那樣……”
1938年1月9日，黨中央作出《關於錯誤地解僱因反革命罪被捕者的家屬這一事實的決定》，接著，全會一致呼籲“不要無充分理由就控告人，要把犯錯誤的人與破壞分子區分開”。
大搜捕轉到了內務部系統，葉若夫剛換上的人被統統清洗。
4月，葉若夫兼任水運人民委員，貝利亞協助其內務部的工作。11月，葉若夫向史達林寫了長長的懺悔信，半年後，葉若夫招供了自己的罪行：德國間諜、托洛茨基陰謀集團成員、謀殺史達林。1940年2月4日，槍斃葉若夫。
