原為匈奴昆邪王地，漢武帝元鼎六年（前111年）分酒泉郡東部置張掖郡。取“張國臂掖，以通西域”之意。張掖郡治觻得縣（在張掖市甘州區西北），領十縣：觻得、昭武（今甘肅臨澤縣鴨暖鄉大鴨村南板灘）、刪丹（甘肅山丹縣城關鎮）、氐池（甘肅民樂縣洪水鎮）、屋蘭（張掖市甘州區鹼灘鎮古城村）、日勒（甘肅山丹縣繡花廟）、驪靬（甘肅永昌縣焦家莊鄉杏樹莊村）、番和（甘肅永昌縣焦家莊鄉水磨關南1公里）、居延（內蒙額濟納旗東南約17公里處）、顯美（今甘肅永昌縣城東的四十里舖，六壩鄉的古城）。屬涼州刺史部。其轄境大致相當於今甘肅省永昌縣以西、高台縣以東，以及內蒙古額濟納旗。漢平帝元始二年有24352戶，88731人。
新莽始建國元年（9年），張掖郡改名為設屏郡，領8縣：官武（觻得）、洰武（昭武）、否武（氐池）、傳武（屋蘭）、貫虜（刪丹）、勒治（日勒）、揭虜（驪靬）、羅虜（番和）。官武為郡治。東漢光武帝建武三年（27年），劉秀令郡、縣恢復舊名。張掖郡及所領8縣復原名。獻帝興平元年（194年），屬雍州。
三國魏國仍治觻得，領觻得、昭武、刪丹、氐池、屋蘭、驪靬、番和七縣。
西晉張掖郡領4縣：永平（觻得改名）、屋蘭、臨澤（昭武改名）、氐池。郡治為水平。北涼永安元年（401年），北涼沮渠蒙遜殺段業，自稱涼州牧、張掖公、張掖為國都並為涼州治。不久為秦州治。北魏太延五年（439年）拓跋燾攻滅北涼，拓跋氏實行軍事管制，建立軍鎮，改郡為軍，改縣為戍。張掖郡改為張掖軍。孝明帝正光五年（524年），復為郡，屬西涼州並為州治。
西魏廢帝三年（554年），改西涼州為甘州。張掖郡屬之並為郡治。隋文帝開皇三年（583年），罷張掖郡入甘州。大業三年（607年），罷甘州，置張掖郡，領3項：張掖、刪丹、福祿。張掖（永平改。今在張掖市甘州區西北）為郡治。
唐武德元年（618年），張掖郡改稱甘州，張掖縣為治州。天寶元年（742年）又改甘州為張掖郡。領2縣：張掖、山丹。德宗建中二年（781年）又改張掖郡為甘州。此後不復置。
