二年正月十九日,唐代宗命太子賓客薛景仙為南山五溪谷防禦使(一說五穀使),率兵招撫征討義軍。高玉利用山林險要與其周旋,同時“西與犬戎連線,北與逆黨交通”(《文苑英華》卷637)協同作戰,致使薛景仙出兵數月未果。十一月,唐代宗又詔令兵部尚書李抱玉兼任鳳翔節度使,率重兵討伐義軍。李抱玉派人.探得義軍領袖高玉的行蹤後,先分兵把守南山諸山谷,再派牙將(一說兵馬使)李崇客率400名精銳騎兵,從洋州(治西鄉,今陝西西鄉,一說自桃林、虢州)進行突然襲擊。當時高玉正與義軍將領在桃虢川聚會,猝不及防。高玉妻和子女二人被俘,4500名義軍被殺,8000頭匹牛馬和3000餘器械被掠,義軍潰散。高玉突圍至南梁州城固縣(今屬陝西)。廣德二年十一月二十七日,被山南西道觀察使張獻誠擒獲,十二月初二就義於長安。
《新唐書·刑法志》記載:“劇賊高玉啖人數千,後擒獲,會赦,代宗將貸其死,公卿議請為菹醢,帝不從,卒杖殺之“,吃人數千的高玉最終只是被“杖殺之。