MySQL 过滤重复数据
成都创新互联2013年开创至今，先为可克达拉等服务建站，可克达拉等地企业，进行企业商务咨询服务。为可克达拉企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
from 树懒学堂- 一站式数据知识学习平台
你也可以使用 GROUP BY 来读取数据表中不重复的数据：
MySQL 删除重复数据
有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。
删除重复数据
如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：
from 树懒学堂 - 一站式数据知识平台
当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：
在用select语句查询mysql数据库的时候，你可以加上distinct修饰符，这样就可以去掉好多重复的，比如
SELECT
distinct(`lcontent`)
FROM
`caiji_ym_liuyan`
当然实际情况中的重复问题还有很多，需要自己的实际情况，构造相应的select语句。
一张user表 中的name字段，里面有10个张三。我要只查询出一个张三。
SQL： select distinct name from user
如果还要查询出id
SQL: select distinct name,id from user
SQL ：select name from user group by name
group by理解：表里的某一个字段（比如：name） 当出现相同的数据时，group by就将这2条数据合二为一。name就显示一条 数据了。 但是name达到合二为一了，这2条数据的其他数据怎么办呢？ 这时候需要配合聚合函数的使用。
where条件：分组前的条件，配合任何关键字使用
Having 条件：分组后的条件 （事后条件） ,只配合group by使用。having条件通常使用聚合函数
SQL ：select deptno,sum(sal) from emp group by deptno having sum(sal) 9000;
SQL： select deptno,count(*) from emp where sal 1000 group by deptno haing sum(sal) 8000
拓展：
聚合函数定义：聚合函数对一组值进行计算并返回单一的值。（以下都属于聚合函数）
count(*) : 不包括空值。返回对行数目的计数。计算出有多少行，多少条数据。
count() : 包含空值。返回对数目的计数。计算表里有多少行，相当于多少条数据。
sum() : 求和运算
max(); 最大值
min(): 最小值
avg(): 平均值
通常情况下，一个我们在做一个产品的时候，一开始可能由于设计考虑不周或者程序写的不够严谨，某个字段上的值产生重复了，但是又必须去掉，这个时候就稍微麻烦了一点，直接加一个 UNIQUE KEY 肯定是不行了，因为会报错。
现在，我们来采用一种变通的办法，不过可能会丢失一些数据 :)
在这里，我们设定一个表，其结构如下：
mysql desc `user`;
+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| name | char(10) | NO | | | |
| extra | char(10) | NO | | | |
+-------+------------------+------+-----+---------+----------------+
原来表中的数据假定有以下几条：
mysql SELECT * FROM `user`;
+----+-------+--------+
| id | name | extra |
+----+-------+--------+
| 1 | user1 | user1 |
| 2 | user2 | user2 |
| 3 | user3 | user3 |
| 4 | user4 | user4 |
| 5 | user5 | user5 |
| 6 | user3 | user6 |
| 7 | user6 | user7 |
| 8 | user2 | user8 |
| 9 | USER2 | user9 |
| 10 | USER6 | user10 |
+----+-------+--------+
1、将原来的数据导出
mysqlSELECT * INTO OUTFILE '/tmp/user.txt' FROM `user`;
2、清空数据表
mysqlTRUNCATE TABLE `user`;
3、创建唯一索引，并且修改 `name` 字段的类型为 BINARY CHAR 区分大小写
mysql ALTER TABLE `user` MODIFY `name` CHAR(10) BINARY NOT NULL DEFAULT '';
mysql ALTER TABLE `user` ADD UNIQUE KEY ( `name` );
现在来看看新的表结构：
mysql desc user;
+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| name | char(10) | NO | UNI | | |
| extra | char(10) | NO | | | |
+-------+------------------+------+-----+---------+----------------+
4、把数据导回去，在这里，有两种选择：新的重复记录替换旧的记录，只保留最新的记录 或者是 新的记录略过，只保留最旧的记录
mysql LOAD DATA INFILE '/tmp/user.txt' REPLACE INTO TABLE `user`;
Query OK, 10 rows affected (0.00 sec)
Records: 8 Deleted: 2 Skipped: 0 Warnings: 0
mysql SELECT * FROM USER;
+----+-------+--------+
| id | name | extra |
+----+-------+--------+
| 1 | user1 | user1 |
| 8 | user2 | user8 |
| 6 | user3 | user6 |
| 4 | user4 | user4 |
| 5 | user5 | user5 |
| 7 | user6 | user7 |
| 9 | USER2 | user9 |
| 10 | USER6 | user10 |
+----+-------+--------+
上面是采用 REPLACE 的方式，可以看到，导入过程中删掉了两条数据，结果验证确实是 新的重复记录替换旧的记录，只保留最新的记录。
现在，来看看用 IGNORE 的方式：
mysql LOAD DATA INFILE '/tmp/user.txt' IGNORE INTO TABLE `user`;
Query OK, 6 rows affected (0.01 sec)
Records: 8 Deleted: 0 Skipped: 2 Warnings: 0
mysql SELECT * FROM USER;
+----+-------+--------+
| id | name | extra |
+----+-------+--------+
| 1 | user1 | user1 |
| 2 | user2 | user2 |
| 3 | user3 | user3 |
| 4 | user4 | user4 |
| 5 | user5 | user5 |
| 7 | user6 | user7 |
| 9 | USER2 | user9 |
| 10 | USER6 | user10 |
+----+-------+--------+
看到了吧，确实是 新的记录略过，只保留最旧的记录。
mysql数据表中有多条重复数据记录，现在想删除删除部分重复数据，保留最后一条更新或者插入的数据。
以学生表为例，我们创建一个简单的数据表来做实验：
往表里面插入一些实验数据：
我们可以根据分组查询先将重复数据查询出来，同时也可以获取到最后的更新时间，然后再与原表联表查询小于最大时间的数据，将查询出来的数据删除。
------先来慢慢消化-------
在做删除前，我们可以先看看有哪些数据是有重复的：
可以看到张三，李四，王五的数据是有重复的，赵六没有重复，下面我们查找最后更新的记录。
可以看到，最后更新的数据为15:57:46的记录没有在结果中。
可以看到重复记录已经被清理掉。
假如有两行记录是完全一样的，这个方法就不可行了，往表里面在跑一次数据插入：
执行删除计划：
创建一个临时表存放最后插入的一条数据（包含重复与没有重复的），然后清空原表，再将临时表的数据复制到原表中，最后把临时表删除。
这个很好理解，相当于ctrl+c，ctrl+v的操作，数据表如下：
这样数据去重就完成了，需要注意的是， 如果表数据量很大，注意在group by 里面的字段建立索引，同时，生产环境注意好先进行数据备份操作 。