宋太宗時期，時任宰相的是呂蒙正，而呂瑞擔任參政知事。當時在中書省任職的趙普對人說過：“我觀察，呂瑞向皇上奏事的時候，受到皇上誇獎也不喜悅，遇到挫折也不恐懼，喜怒不形於色，不流於言，真是做宰相的好材料。”
在呂瑞擔任參政知事一年後，左諫議大夫寇準也被任命為參政知事。呂瑞比寇準年長26歲，但他向太宗請求位列在寇準之下。太宗隨即任命呂瑞為左諫議大夫，但位列在寇準之上。
太宗每次單獨在便殿召見呂瑞，都要與他交談很長時間。後來，又提拔呂瑞為戶部侍郎、平章事。太宗想讓呂瑞取代呂蒙正為宰相，有人對太宗說：“呂瑞為人糊塗。”太宗回答說：“呂瑞為人小事糊塗，大事不糊塗。”
不久，太宗在後苑舉行宴會。太宗做了一首《釣魚詩》，講的是周文王遇到姜太公的事，表明他從內心深處對呂瑞非常欣賞。數日後，太宗下令免去呂蒙正宰相之職務，任命呂瑞為宰相。
