MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。
网站建设哪家好，找创新互联建站！专注于网页设计、网站建设、微信开发、小程序制作、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了景洪免费建站欢迎大家使用！
第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表
1 create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步：创建新表RES
1234 CREATE TABLE `res` (`id` int(11),`sfz` char(20)) ENGINE=MyISAM;
第三步：把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
1 INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。
一张user表 中的name字段，里面有10个张三。我要只查询出一个张三。
SQL： select distinct name from user
如果还要查询出id
SQL: select distinct name,id from user
SQL ：select name from user group by name
group by理解：表里的某一个字段（比如：name） 当出现相同的数据时，group by就将这2条数据合二为一。name就显示一条 数据了。 但是name达到合二为一了，这2条数据的其他数据怎么办呢？ 这时候需要配合聚合函数的使用。
where条件：分组前的条件，配合任何关键字使用
Having 条件：分组后的条件 （事后条件） ,只配合group by使用。having条件通常使用聚合函数
SQL ：select deptno,sum(sal) from emp group by deptno having sum(sal) 9000;
SQL： select deptno,count(*) from emp where sal 1000 group by deptno haing sum(sal) 8000
拓展：
聚合函数定义：聚合函数对一组值进行计算并返回单一的值。（以下都属于聚合函数）
count(*) : 不包括空值。返回对行数目的计数。计算出有多少行，多少条数据。
count() : 包含空值。返回对数目的计数。计算表里有多少行，相当于多少条数据。
sum() : 求和运算
max(); 最大值
min(): 最小值
avg(): 平均值
b. 方法：
☆根据dname分组，查找出deptno最小的。然后再查找deptno不包含刚才查出来的。这样就查询出了所有的重复数据（除了deptno最小的那行）
方法2
删除重复的行
单个字段的如果会了，多个字段也非常简单。就是将group by 的字段增加为你想要的即可。
此处只写一个，其他方法请仿照一个字段的写即可。
查询结果不含指定字段重复
2.表需要删除重复的记录（重复记录保留1条），
3.查询重复
4.1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断
4.2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录
4.3、查找表中多余的重复记录（多个字段）
4.4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录
4.5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录
4.6.消除一个字段的左边的第一位：
4.7.消除一个字段的右边的第一位：
4.8.假删除表中多余的重复记录（多个字段），不包含rowid最小的记录
查询重复
MySQL 删除重复数据
有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。
删除重复数据
如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：
from 树懒学堂 - 一站式数据知识平台
当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：
mysql数据表中有多条重复数据记录，现在想删除删除部分重复数据，保留最后一条更新或者插入的数据。
以学生表为例，我们创建一个简单的数据表来做实验：
往表里面插入一些实验数据：
我们可以根据分组查询先将重复数据查询出来，同时也可以获取到最后的更新时间，然后再与原表联表查询小于最大时间的数据，将查询出来的数据删除。
------先来慢慢消化-------
在做删除前，我们可以先看看有哪些数据是有重复的：
可以看到张三，李四，王五的数据是有重复的，赵六没有重复，下面我们查找最后更新的记录。
可以看到，最后更新的数据为15:57:46的记录没有在结果中。
可以看到重复记录已经被清理掉。
假如有两行记录是完全一样的，这个方法就不可行了，往表里面在跑一次数据插入：
执行删除计划：
创建一个临时表存放最后插入的一条数据（包含重复与没有重复的），然后清空原表，再将临时表的数据复制到原表中，最后把临时表删除。
这个很好理解，相当于ctrl+c，ctrl+v的操作，数据表如下：
这样数据去重就完成了，需要注意的是， 如果表数据量很大，注意在group by 里面的字段建立索引，同时，生产环境注意好先进行数据备份操作 。