商湯滅夏後，封虞舜之後於遂，建立遂國。遂國國君勵精圖治，社會安定，百姓豐衣足實，安居樂業。春秋初期，齊國對它虎視眈眈，總想藉機吞併。魯莊公十年（前684年），齊國滅掉譚國後，便把矛頭對準了遂國。遂國國君幾次派使者講和，都沒有奏效。魯莊公十三年（前681年），宋國內亂，齊桓公以協助平亂為名，想藉機控制宋國。於是召集魯、宋、陳、蔡等國家的國君會盟，商量出兵宋國，十遂國國君因事沒有到場，給齊國找到了藉口。齊桓公以對自己不尊為由，公然出兵討伐遂國。沒幾戰，國君被捉，遂國被滅。
遂國被亡後，齊國派兵鎮守，官兵們欺男霸女，花天酒地。原遂國貴族不甘心受齊國統治，時刻圖謀復國。他們精心密謀，以慰勞齊人為名，挑選了100位美女，把鎮守遂國的齊人全部灌醉殺死，並宣布復國。
齊國聞訊遂地造反，齊桓公立即下旨攻打遂國。遂國新國君有勇有謀，已料定齊國報復，動員全國百姓積極備戰。齊國認為，遂是區區小國，不足掛齒，只派幾千人馬前來征伐。在離城二十里的地方，一聲牛角聲，齊軍前隊人馬陷入土坑，亂了陣腳。遂國將士揮弋上陣，齊國全軍覆沒。
第二年春天，齊桓公親自率領十幾萬軍隊，再一次開進遂地。終因國力懸殊過大，遂國無法抗衡。國君被殺，族人被捉，一半百姓戰死，一半被沒為奴隸，分散到齊國各地。遂國徹底消亡。
現存遂城遺址位於上遂城村南250米處，遺址呈台狀，東西300米，南北280米，高出地面3米左右，北臨一條東西土路，南有一條水溝。地表層20厘米黃土以下是文化層。文化層堆積厚約0.6米，土呈褐色。從遺址北部、南部、西部斷面上都能看到一些灰色器物陶片，主要有罐口、豆盤、豆把、鬲口沿器物陶片，以及飾繩紋的灰黑色較薄形小陶磚等。據揀選的標本看，遺址是春秋戰國時代城址。
