西漢置。
西漢高帝元年(前206),置谷陽縣(治今安徽固鎮谷陽城。屬沛郡(治今淮北市相山)。
東漢谷陽縣隸屬豫州(治今亳縣)沛國(由沛郡改)。
三國魏 廢谷陽縣入洨縣和蘄縣(治今安徽宿縣蘄縣集)。
南朝宋僑置陽平縣(治今谷陽城),隸屬豫州(治今壽縣)陽平郡(治今谷陽城)。
北朝北魏天安元年(466),北魏入據淮北,太和四年(480)廢陽平縣,不久復置陽平縣。隸屬睢州(治今靈璧縣潼郡)陽平郡(治今谷陽)。
南朝梁普通五~七年(524~526)梁取北魏之陽平郡隸潼州(由睢州改),置仁州(治赤坎城,今安徽固鎮仁和集)。陽平縣屬之。
東魏武定六年(548)取梁之陽平郡,更名谷陽郡,隸睢州(由潼州改);改陽平縣名高昌縣(治今谷陽城)。
隋開皇六年(586)廢高昌縣,降谷陽郡為谷陽縣。屬仁州。
大業年(605~617)初,廢仁州為(治今江蘇徐州)。谷陽縣屬之。
唐武德四年(621),改屬仁州。貞觀八年,改屬北譙州。貞觀十七年(643)北譙州廢,谷陽縣改隸徐州(由彭城郡改)。
顯慶元年(656),省谷陽縣入蘄縣,隸徐州。