西漢置山桑縣
漢王六年十一月，置山桑縣（治今安徽蒙城縣檀城鎮山下）。屬沛郡（治相，今淮北市相山區）。
王莽篡政，改沛郡為吾符郡，山桑縣屬之。
東漢初，山桑縣屬汝南郡（治平輿，今臨泉縣西古城子）。建武二年（２6年)夏，改山桑縣為橫野大將軍王常侯國（仍都今檀城鎮）。三十年，山桑侯國除（歷２世，因子王廣徙封石城侯）為縣。
延康元年（２２0年)十月，曹魏代漢，山桑縣屬沛郡（治相故城）。曹魏景初二年（２３8年)，山桑縣改屬汝陰郡（治汝陰，今阜陽市區）。嘉平五年（２５3年)，山桑縣改屬譙郡（治譙，今亳州市區）。
西晉永嘉五年（３１1年)，入後趙，山桑縣屬沛郡。東晉初年，祖逖北伐，收復山桑縣。永昌元年（３２2年)，復入後趙譙郡。鹹和八年（３３3年)，山桑縣入東晉，旋入後趙、前秦。永和九年（３５3年)，東晉五州都督殷浩伐前秦，收復山桑，旋因姚襄反叛，復入前秦。光壽元年（３５7年)，入前燕。建熙十年（３６9年)，回屬東晉。七月，入前秦。太元八年底，回歸東晉。後曾短時間屬後秦（３８４～４１７年）譙郡。義熙十二年（４１6年)八月後，山桑縣屬東晉譙郡。
劉宋永初三年（４２2年)，北魏攻占山桑縣（仍治今檀城鎮）。元嘉八年（４３1年)，收復山桑縣。宋山桑縣屬譙郡。泰始二年（４６6年)，失淮北，廢山桑縣。
南朝宋名將檀道濟“以沙代糧退敵兵”的史事就發生在這裡。
隋置山桑縣
隋大業二年（６０6年)，改肥水縣為山桑縣（治故渦陽城，今安徽蒙城縣香山劉寨村）。屬亳州（治譙，今亳州市區）。三年四月，改州為郡，山桑縣改屬譙郡（仍治譙）。
大業十四年五月，唐代隋，改郡為州。山桑縣改屬譙州（治臨渙，今濉溪縣臨渙鎮）。唐貞觀十七年，山桑縣改屬亳州（今亳州市區）。天寶元年（７４2年)，改山桑縣為蒙城縣（改治今蒙城縣城區），譙郡（由亳州改）。
1996年1月1日，蒙城縣改屬安徽省轄阜陽市，至今未變。
