原因
為什麼需要我們刪除資料庫的重複數據呢?多數是因為資料庫設計者在設計資料庫時的疏漏,沒有對不該重複的實體或欄位加以限制。
分類
數據重複一般可分為二類,根據不同的重複類型有不同的解決方法。
第一類重複
實體重複,完全重複:即所有欄位完全重複。
第二類重複
欄位重複:某一個或多個不該重複的欄位重複了,比如Name欄位重複。
目的
刪除重複數據是為了保護數據的安全性,完整性,可維護性等等。
解決方法
方法一
對於完全重複的記錄,比較容易解決,使用 select distinct * from tableName 就可以得到無重複記錄的結果集。
如果該表需要刪除重複的記錄(重複記錄保留1條),可以按以下方法刪除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
發生這種重複的原因是表設計不周產生的,增加唯一索引列即可解決。
方法二
欄位重複,這類重複問題通常要求保留重複記錄中的第一條記錄,操作方法如下:
假設有重複的欄位為Name要求得到這個欄位唯一的結果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name
select * from #Tmp where autoID in(select autoID from #tmp2)
最後一個select即得到了Name不重複的結果集(但多了一個autoID欄位,實際寫時可以寫在select子句中省去此列,如果要刪除庫里的重複數據,只要將對應的delectable或drop掉就可以了)。
方法三
欄位重複,刪除表中多餘的重複記錄,要保證(rowname)欄位不重複,只留有rowid(標識列)最小的記錄
delete from tableName
where rowname in (select rowname from tableName group by rowname
having count(rowname ) > 1)
and rowid not in (select min(rowid) from tableName group by rowname having count(rowname )>1)