西漢置
漢武帝元狩六年（前117）置臨淮郡，郡治徐縣(今蘇北泗洪縣南)，下轄徐縣、贅其縣、高山縣、鹽瀆縣、取慮縣、猶縣、開陽縣、射陽縣、淮浦縣、東陽縣、僮縣、海陵縣、淮陰縣、淮陵縣、下相縣、富陵縣、播旌縣、西平縣、睢陵縣、盱眙縣、輿縣、堂邑縣等29個縣。新朝始建國元年（9）改名淮平郡。東漢初，併入東海郡。
東漢建武十五年四月丁巳，劉秀封其子劉衡為臨淮公，改臨淮國。十七年六月癸巳，未及封王，無子，國除為臨淮郡。東漢臨淮郡仍治徐縣，領下邳縣、徐縣、高山縣、取慮縣、淮浦縣、淮陰縣、淮陵縣、下相縣、潘旌縣、睢陵縣、盱台縣、夏成縣、夏丘縣等縣。
東漢明帝永平十五年(公元72年)，取消臨淮郡，置下邳國。改治下邳縣(今江蘇邳州市之下邳故城)。
西晉置
太康元年(280年)，分下邳國在淮河南岸的縣置臨淮郡，治盱眙(今江蘇盱眙市區北)，領高山縣、贅其縣、淮陵縣、司吾縣、徐縣、盱眙縣、潘旌縣、高郵縣、下相縣、東陽縣等10個縣，永寧元年(301年)，臨淮郡更名為臨淮國，義熙七年(411年)，改設盱眙郡。
南朝宋置
劉宋初復置臨淮郡，治海西縣（江蘇灌南縣境內），領海西縣、射陽縣、凌縣、淮浦縣、東陽縣、長樂縣六縣。南齊建武二年（493）省。
東魏置
北朝東魏武定六年（548）取粱之仁州，置臨淮郡（治今安徽固鎮仁和集）。臨淮郡領已吾縣（治今安徽固鎮仁和集）、義城縣（治今安徽懷遠縣拖城）。
北朝北齊廢臨淮郡及其屬縣，置臨淮縣（治今安徽固鎮仁和集）。
大業年（605～617）初，並臨淮縣入谷陽縣。
