沖帝(東漢第八位皇帝,144年八月—145年正月在位,在位僅半年)時,太尉李固推薦為尚書,後太傅陳蕃又表為河東(在今山西運城、臨汾一帶)守,不久再次入朝為尚書令。
桓帝即位(146),拜河南尹(京都三輔之地的地方長官),再遷司隸校尉,最後徙任將作大匠。
楊淮為官忠直,很有政聲。時有由陽太守曹麻、潁川太守曹騰、濟南太守孫訓等人子弟常依仗權勢,驕橫淫縱,為非作夕。楊淮書奏朝廷,征廷尉依律進行了懲治。
東漢自順帝以後,沖帝、質帝都是年幼登基,而且早夭。桓帝即位也只有15歲,時國舅、大將軍梁冀專權,一切朝政均取決於他,人稱“跋扈將軍”。梁冀叔父梁忠任執金吾(掌皇宮禁衛),也仗勢驕橫,竟擅自不朝正初(朝廷慣例,正月初一舉行群臣大會,朝駕皇帝,以稱“正旦”)。楊淮不畏權勢,上奏彈劾,滿朝士臣,無不敬佩其正直不阿。