盛京賢王祠在外攘門（小北門）外街北。《盛京通志》記載：“賢王祠，初名怡賢親王祠，雍正十二年建。正宇五楹，配廡各三楹，大門三楹，耳房四楹，儀門一楹，碑亭一座，左右門各一楹，皆為琉璃瓦頂。”怡賢親王為康熙第十三子允祥，世宗即位，封為怡親王。受命總管戶部，“敬謹廉潔，家計空泛”，皇帝賜之錢糧二十三萬兩，辭之不受；宣諭再四，僅受十三萬兩。雍正三年（1725年）八月，京畿大洪水，受命總理京畿水利，多有建樹。雍正四年七月，世宗賜御書“忠敬誠直勤慎廉明”榜，諭曰：“怡親王事朕，克殫忠誠，職掌有九，而公爾忘私；視國如家，朕深知王德，覺此八字，無一毫過量之詞。在朝諸臣，於忠勤慎明尚多有之，若敬直誠廉則未能輕許。期鹹砥礪，以副朕望。”雍正七年（1729年）六月，奉命辦理西北兩路軍機，十一月有疾，皇帝親臨探視。病逝後，為之輟朝三日，素服三月。配享太廟，謚曰“賢”。雍正十二年（1734年）在盛京建怡賢親王祠。
乾隆十九年（1754年）高宗第二次東巡，由吉林至盛京，一路周覽山川形勝，考察清初史跡，仰見列祖締造艱難，宗室諸王忠勇百戰，開國功勳彪炳史冊。想到盛京為龍興重地，應建祠以紀念諸王功勳。為此，九月十八日親下諭旨，令將配享太廟的通達郡王（雅爾哈齊）、武功郡王（禮敦）、慧哲郡王（額爾袞）、宣獻郡王（齋堪）、禮烈親王（代善）、饒余親王（阿巴泰）、鄭獻親王（濟爾哈朗）、穎毅親王（薩哈廉）與怡賢親王一併祠祀。同時改怡賢親王祠為賢王祠，並將祠內碑亭移於正中，將皇帝的諭旨鐫刻其上。乾隆四十三年（1778年），又奉旨將睿忠親王（多爾袞）、豫宣親王（多鐸）、克勤郡王（岳托）俱祀祠中。
