東晉南兗州
“永嘉之亂”時期，北方人大批南下。晉明帝太寧三年（325)，僑置兗州於廣陵（揚州市區）。晉成帝時，兗州改稱南兗州，治所還於京口（鎮江市區）。
南朝宋武帝永初元年(420)，撤南青州併入南兗州，僑置在廣陵郡的原青州各僑郡僑縣改屬南兗州。
文帝元嘉八年(431)，改南兗為實州，分江而治，南兗州割江淮為境，治廣陵（揚州市區），南兗州領廣陵、海陵、山陽、盱眙(治所今盱眙縣東北)、秦(治所今六合縣北)、南沛(治所今安徽省天長市石樑鎮)、新平(治所今海安縣)、北淮陽(治所今宿遷縣東南)、北濟陰(治所當在今揚州境內)、北下邳(治所當在今江蘇省境內)、東莞(治所當在今江蘇省境內)11郡。
齊高帝建元四年(482)，南兗州領廣陵、海陵、山陽、盱眙、南沛五郡。
北齊文宣帝天保三年(552)，南兗州歸屬北齊，並改名為東廣州，下置廣陵、江陽2郡。
陳宣帝太建六年(574)，東廣州入南朝，復稱南兗州。十一年，南兗州又入北朝，並改名吳州，置總管刺史。仍治廣陵。
隋文帝開皇三年九年（589），改吳州為揚州，置揚州總管府。仍治廣陵。
大業三年(607)，改揚州為江都郡，治江陽縣（開皇十八年廣陵縣改稱邗江，煬帝大業元年稱江陽）。
北魏南兗州
北魏正始四年（507 年），僑置南兗州於渦陽(今安徽蒙城縣東北)，正光年間(520一525)移治小黃(今安徽亳州)。太清元年（547 年）入梁。侯景亂後，入東魏。武定八年五月，入北齊。北周建德七年二月，置南兗州總管府，州及總管府均治小黃。北周大象元年（579年），因南兗州地處古“南亳”近畿，故“遙取古南亳之名以名，改稱兗州為亳州。
