漢武帝於太初元年(前104年)設定 建章營騎,後來更名為羽林騎,開始時主要是漢武帝為了便於自己騎馬出獵,從漢陽、隴西、安定、北地、上郡、西河等六郡選拔良家子弟。羽林主要負責護送保衛,當時地位次於設立更早的期門(西漢末年改名虎賁)。
漢宣帝設羽林中郎將,與騎都尉共監羽林騎,秩比二千石。東漢下設羽林左監、羽林右監(六百石)及羽林郎(比三百石)。
同時漢朝又收因戰事陣亡將士的後代入羽林,教授他們各項軍事技能,稱 羽林孤兒。羽林也由此成為一種延續軍事傳統與家族榮譽的象徵,地位得到進一步提高和認可,成為很多後世君王效仿的榜樣。其中諸如唐初的左右羽林軍,首領北衙禁軍,也是高宗、則天等朝的重要軍事力量。直至明朝仍有羽林衛,羽林也成為中國歷史上持續時間最長、最為知名的軍隊名稱之一。