東漢置
東漢興平元年（194年），袁術改九江郡為淮南郡。建安四年（199年），術亡改稱九江郡，仍兼揚州治（五年，改治合肥）。黃初二年，封文帝子曹邕為淮南公，改九江郡為淮南國。三年，進爵淮南王。四年，改為淮南郡。太和六年(232年)，改封曹操子白馬王曹彪為楚王，改淮南郡為楚國。嘉平元年(249年)，國除為淮南郡。淮南郡治壽春縣（今安徽壽縣城關鎮），領7個縣：合肥、成德、壽春、下蔡、西曲陽、平阿、義成。
晉太康十年十一月甲申，改封司馬允為淮南王。永泰元年(300年)八月，國除為郡。永興元年(304年)，分淮南郡的歷陽、烏江縣置歷陽郡，淮南郡領14個縣：義城、平阿、當塗、下蔡、壽春、鍾離、陰陵、東城、西曲陽、成德、合肥、逡遒、全椒。
東晉鹹和三年(328年)，石勒控制淮南郡。常設4個縣：壽春、阜陵、合肥、逡遒。七年，復歸東晉。後趙建武十一年(345年)，淮南郡又入後趙。石虎太寧元年(349年)，入晉。
太和四年十月，入前燕，淮南郡僅設1個縣，即壽春縣。
晉太元八年(383年)十月，苻堅親率傾國之兵攻陷壽春。十一月，復歸東晉。前秦淮南郡設2個縣，壽春、下蔡。
北魏淮南郡，仍治壽春縣，領3個縣：壽春、汝陰、西宋。
北周復建淮南郡，治領壽春縣。隋開皇二年（582年），廢郡。大業三年四月，改壽州為淮南郡，治壽春，領4個縣：壽春、安豐、霍丘、長平。
唐武德三年，改隋淮南郡為壽州。
東晉置
永嘉亂後，淮南流民南渡江南，加上蘇峻、祖約亂，淮南流民大批渡江，東晉鹹和四年(329年)，僑置淮南郡于于湖縣（在今安徽當塗縣南三十八里），屬僑置的豫州。太元初(約376年)，改屬豫州，領6個縣：於湖、繁昌、當塗、逡遒、定陵、襄垣。晉末土斷，割於湖為境，改屬揚州。
劉宋永初二年(421年)，分江淮淮南立南豫州。五年，改屬南豫州。次年三月乙巳，撤銷淮南郡，併入宣城郡。八年六月戊寅，恢復淮南郡，仍治於湖縣，屬南豫州。泰始三年(467年)，回屬揚州。七年，以淮西(北)沒入北魏，復分淮南為二豫州，淮南郡改屬南豫州，領6個縣：於湖、繁昌、當塗、逡道、定陵、襄垣。
齊建元二年(480年)，罷南豫州，淮南郡改屬揚州。永明二年（484），復屬南豫州。陳淮南郡領4個縣：於湖、當塗、襄垣、西鄉。太建八年（576年），立陳叔彪為淮南王。
隋開皇九年（589年）平陳，廢郡。
