後徙王棣,領太原牧、太原以北諸軍節度大使。天寶初,為武威郡都督,經略節度河西、隴右。會妃韋以過置別室,而二孺人爭寵不平,求巫者密置符琰履中以求媚。仇人告琰厭魅上,帝伺其朝,使人取履視之,信。帝怒責琰,琰頓首謝曰:“臣罪宜死,然臣與婦不相見二年,有二孺人爭長,臣恐此三人為之。”及推,果驗。然帝猶疑琰,怒未置,太子以下皆為請,乃囚於鷹狗坊,以憂薨,妃,縚之女,無子,還本宗。
琰凡五十五子,得王者四人,僎王汝南郡,僑宜都,俊濟南,侒順化;僚太僕卿,俠國子祭酒,仁殿中監,僾秘書監。寶應元年,詔復琰王爵。