秦代其地屬泗水郡。漢高帝六年（前201年），封劉交為楚王，以東海郡、薛郡、彭城郡三十六縣置 楚國。彭城郡為漢代楚國的核心部分。景帝三年（前154年），楚王劉戊聯合吳、趙、濟南、菑川、膠東、膠西國諸王發動七國之亂。亂平後，楚國本應置郡，但因景帝“尊寵元王”，不忍絕其祀，故立劉禮為楚王，奉祀楚元王劉交。於是彭城郡北部數縣仍為楚國，析彭城郡南部置沛郡，以楚國之薛郡置魯國。宣帝地節元年，楚王劉延壽謀反，楚國除為彭城郡。黃龍元年，徙皇子定陶王劉囂為楚王，復置楚國。成帝元延四年（前8年），楚國領七縣：彭城、留、梧、傅陽、呂、武原、甾丘。屬徐州刺史部。其轄境大致相當於今江蘇省徐州市中部、安徽省淮北市東部一帶。
王莽改彭城為 和樂。漢光武帝建武十五年，封皇子劉英為楚公，十七年進為楚王，楚郡復為國。明帝永平十三年，楚王英謀反，國除為楚郡。章和二年，和帝以楚郡置彭城國，徙六安王劉恭為彭城王。順帝永和五年（140年），彭城國領八縣：彭城、武原、傅陽、呂、留、梧、甾丘、廣戚，至漢末不改。
魏、晉置彭城國。北魏置彭城郡，為徐州州治。隋大業三年（607年）廢徐州為彭城郡，治彭城縣，領十一縣：彭城、蘄、谷陽、沛、留、豐、蕭、滕、蘭陵、符離、方與。唐武德四年（621年），平王世充，置徐州。天寶元年（742年），廢徐州，復置彭城郡。乾元元年復為徐州。
