mysql刪除重覆記錄語句的方法

来源:http://www.cnblogs.com/renjiaqi/archive/2016/12/20/6203396.html
-Advertisement-
Play Games

例如： id name value 1 a pp 2 a pp 3 b iii 4 b pp 5 b pp 6 c pp 7 c pp 8 c iii id是主鍵 要求得到這樣的結果 id name value 1 a pp 3 b iii 4 b pp 6 c pp 8 c iii 方法1 del ...


例如：
id name value
1 a pp
2 a pp
3 b iii
4 b pp
5 b pp
6 c pp
7 c pp
8 c iii
id是主鍵
要求得到這樣的結果
id name value
1 a pp
3 b iii
4 b pp
6 c pp
8 c iii
方法1
delete YourTable
where [id] not in (
select max([id]) from YourTable
group by (name + value))
方法2
delete a
from 表 a left join(
select (id) from 表 group by name,value
)b on a.id=b.id
where b.id is null
查詢及刪除重覆記錄的SQL語句
查詢及刪除重覆記錄的SQL語句
1、查找表中多餘的重覆記錄，重覆記錄是根據單個欄位（peopleId）來判斷
select * from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
2、刪除表中多餘的重覆記錄，重覆記錄是根據單個欄位（peopleId）來判斷，只留有rowid最小的記錄
delete from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)
3、查找表中多餘的重覆記錄（多個欄位）
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
4、刪除表中多餘的重覆記錄（多個欄位），只留有rowid最小的記錄
delete from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
5、查找表中多餘的重覆記錄（多個欄位），不包含rowid最小的記錄
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
(二)
比方說
在A表中存在一個欄位“name”，
而且不同記錄之間的“name”值有可能會相同，
現在就是需要查詢出在該表中的各記錄之間，“name”值存在重覆的項；
Select Name,Count(*) From A Group By Name Having Count(*) > 1
如果還查性別也相同大則如下:
Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1
(三)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主欄位,count(*) from 表名 group by 主欄位 having count(*) >； 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主欄位 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0 方法二
＂重覆記錄＂有兩個意義上的重覆記錄，一是完全重覆的記錄，也即所有欄位均重覆的記錄，二是部分關鍵欄位重覆的記錄，比如Name欄位重覆，而其他欄位不一定重覆或都重覆可以忽略。
　　1、對於第一種重覆，比較容易解決，使用
select distinct * from tableName
　　就可以得到無重覆記錄的結果集。
　　如果該表需要刪除重覆的記錄（重覆記錄保留1條），可以按以下方法刪除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
　　發生這種重覆的原因是表設計不周產生的，增加唯一索引列即可解決。
　　2、這類重覆問題通常要求保留重覆記錄中的第一條記錄，操作方法如下
　　假設有重覆的欄位為Name,Address，要求得到這兩個欄位唯一的結果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
　　最後一個select即得到了Name，Address不重覆的結果集（但多了一個autoID欄位，實際寫時可以寫在select子句中省去此列）
(四)
查詢重覆
select * from tablename where id in (
select id from tablename
group by id
having count(id) > 1
)
學習sql有一段時間了，發現在我建了一個用來測試的表（沒有建索引）中出現了許多的重覆記錄。後來總結了一些刪除重覆記錄的方法，在Oracle中，可以通過唯一rowid實現刪除重覆記錄；還可以建臨時表來實現...這個只提到其中的幾種簡單實用的方法，希望可以和大家分享（以表employee為例）。
SQL> desc employee
Name Null? Type
----------------------------------------- -------- ------------------
emp_id NUMBER(10)
emp_name VARCHAR2(20)
salary NUMBER(10,2)
可以通過下麵的語句查詢重覆的記錄：
SQL> select * from employee;
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
1 sunshine 10000
2 semon 20000
2 semon 20000
3 xyz 30000
2 semon 20000
SQL> select distinct * from employee;
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
2 semon 20000
3 xyz 30000
SQL> select * from employee group by emp_id,emp_name,salary having count (*)>1
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
2 semon 20000
SQL> select * from employee e1
where rowid in (select max(rowid) from employe e2
where e1.emp_id=e2.emp_id and
e1.emp_name=e2.emp_name and e1.salary=e2.salary);
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
3 xyz 30000
2 semon 20000
2. 刪除的幾種方法：
（1）通過建立臨時表來實現
SQL>create table temp_emp as (select distinct * from employee)
SQL> truncate table employee; (清空employee表的數據）
SQL> insert into employee select * from temp_emp; (再將臨時表裡的內容插回來）
( 2）通過唯一rowid實現刪除重覆記錄.在Oracle中，每一條記錄都有一個rowid，rowid在整個資料庫中是唯一的，rowid確定了每條記錄是在Oracle中的哪一個數據文件、塊、行上。在重覆的記錄中，可能所有列的內容都相同，但rowid不會相同，所以只要確定出重覆記錄中那些具有最大或最小rowid的就可以了，其餘全部刪除。
SQL>delete from employee e2 where rowid not in (
select max(e1.rowid) from employee e1 where
e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--這裡用min(rowid)也可以。
SQL>delete from employee e2 where rowid <(
select max(e1.rowid) from employee e1 where
e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and
e1.salary=e2.salary);
（3）也是通過rowid，但效率更高。
SQL>delete from employee where rowid not in (
select max(t1.rowid) from employee t1 group by
t1.emp_id,t1.emp_name,t1.salary);--這裡用min(rowid)也可以。
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
3 xyz 30000
2 semon 20000
SQL> desc employee
Name Null? Type
----------------------------------------- -------- ------------------
emp_id NUMBER(10)
emp_name VARCHAR2(20)
salary NUMBER(10,2)
可以通過下麵的語句查詢重覆的記錄：
SQL> select * from employee;
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
1 sunshine 10000
2 semon 20000
2 semon 20000
3 xyz 30000
2 semon 20000
SQL> select distinct * from employee;
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
2 semon 20000
3 xyz 30000
SQL> select * from employee group by emp_id,emp_name,salary having count (*)>1
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
2 semon 20000
SQL> select * from employee e1
where rowid in (select max(rowid) from employe e2
where e1.emp_id=e2.emp_id and
e1.emp_name=e2.emp_name and e1.salary=e2.salary);
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
3 xyz 30000
2 semon 20000
2. 刪除的幾種方法：
（1）通過建立臨時表來實現
SQL>create table temp_emp as (select distinct * from employee)
SQL> truncate table employee; (清空employee表的數據）
SQL> insert into employee select * from temp_emp; (再將臨時表裡的內容插回來）
( 2）通過唯一rowid實現刪除重覆記錄.在Oracle中，每一條記錄都有一個rowid，rowid在整個資料庫中是唯一的，rowid確定了每條記錄是在Oracle中的哪一個數據文件、塊、行上。在重覆的記錄中，可能所有列的內容都相同，但rowid不會相同，所以只要確定出重覆記錄中那些具有最大或最小rowid的就可以了，其餘全部刪除。
SQL>delete from employee e2 where rowid not in (
select max(e1.rowid) from employee e1 where
e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and e1.salary=e2.salary);--這裡用min(rowid)也可以。
SQL>delete from employee e2 where rowid <(
select max(e1.rowid) from employee e1 where
e1.emp_id=e2.emp_id and e1.emp_name=e2.emp_name and
e1.salary=e2.salary);
（3）也是通過rowid，但效率更高。
SQL>delete from employee where rowid not in (
select max(t1.rowid) from employee t1 group by
t1.emp_id,t1.emp_name,t1.salary);--這裡用min(rowid)也可以。
EMP_ID EMP_NAME SALARY
---------- ---------------------------------------- ----------
1 sunshine 10000
3 xyz 30000
2 semon 20000


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 利用PowerShell複製SQLServer賬戶的所有許可權
    問題 對於DBA或者其他運維人員來說授權一個賬戶的相同許可權給另一個賬戶是一個很普通的任務。但是隨著伺服器、資料庫、應用、使用人員地增加就變得很枯燥乏味又耗時費力的工作。那麼有什麼容易的辦法來實現這個任務嗎？ 當然，作為非DBA在測試甚至開發環境也會遇到這種問題，要求授予所有伺服器資料庫的某個許可權給一 ...
  • Windows下MySQL無法啟動
    問題描述： 從網上下了5.7 的MySQL，在bin目錄下執行 start mysqld ，彈出個cmd視窗一閃就沒了，也看不清是什麼報錯。mysqld --install安裝了服務，也啟動不了。 處理步驟： 1、打開事件查看器檢查報錯信息 2、網上查了，都說如果是 linux 需要執行 mysql ...
  • 什麼是存儲過程、觸發器的解釋
    最簡單的意思就是在sql server中定義了一系列操作的的一個過程,只要調用他就可以完成相應的操作. 存儲過程定義： 將常用的或很複雜的工作，預先用SQL語句寫好並用一個指定的名稱存儲起來, 那麼以後要叫資料庫提供與已定義好的存儲過程的功能相同的服務時,只需調用execute,即可自動完成命令。 ...
  • 如何用PL/SQL Developer連接Oracle資料庫
    之前因為項目的原因需要使用Oracle資料庫，由於時間有限沒辦法從基礎開始學習，而且oracle操作的命令界面又太不友好，於是就找到了PL/SQL Developer這個很好用的軟體來間接使用資料庫。 下麵簡單介紹一下如何用這個軟體連接Oracle資料庫。 第一步 安裝Oracle Database ...
  • 在Ubuntu下搭建Spark群集
    在前一篇文章中，我們已經搭建好了Hadoop的群集，接下來，我們就是需要基於這個Hadoop群集，搭建Spark的群集。由於前面已經做了大量的工作，所以接下來搭建Spark會簡單很多。 首先打開三個虛擬機，現在我們需要安裝Scala，因為Spark是基於Scala開發的，所以需要安裝Scala。在U ...
  • mysql 行級鎖的使用以及死鎖的預防
    一、前言 mysql的InnoDB,支持事務和行級鎖，可以使用行鎖來處理用戶提現等業務。使用mysql鎖的時候有時候會出現死鎖，要做好死鎖的預防。 二、MySQL行級鎖 行級鎖又分共用鎖和排他鎖。 共用鎖： 名詞解釋：共用鎖又叫做讀鎖，所有的事務只能對其進行讀操作不能寫操作，加上共用鎖後其他事務不能 ...
  • MySQL常見面試題
    1. 主鍵 超鍵 候選鍵 外鍵 主 鍵： 資料庫表中對儲存數據對象予以唯一和完整標識的數據列或屬性的組合。一個數據列只能有一個主鍵，且主鍵的取值不能缺失，即不能為空值（Null）。 超 鍵： 在關係中能唯一標識元組的屬性集稱為關係模式的超鍵。一個屬性可以為作為一個超鍵，多個屬性組合在一起也可以作為一 ...
  • 超詳細mysql left join,right join,inner join用法分析
    下麵是例子分析表A記錄如下： aID aNum 1 a20050111 2 a20050112 3 a20050113 4 a20050114 5 a20050115 表B記錄如下: bID bName 1 2006032401 2 2006032402 3 2006032403 4 2006032 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類