bitsCN点抗 朋友问： 5000万数据的一张表，怎么去重快，根据两个字段判断是否重复。回复之：把2个字段以及主键id select 出来建立一张临时表t1，t1建立好主键索引以及2个对比的字段联合索引。
创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都网站建设、网站设计、海口网络推广、小程序定制开发、海口网络营销、海口企业策划、海口品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联为所有大学生创业者提供海口建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.com
过滤重复数据有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
mysql多个字段如何去重复的数据 MySQL查询重复字段，及删除重复记录的方法 数据库中有个大表，需要查找其中的名字有重复的记录id，以便比较。
在代码中先用hashset装载数据，这样就自动去重了因为set是不允许重复的，然后在批量插入到数据库中就行了。
`SELECT`语句允许通过在`SELECT`子句中指定逗号分隔列的列表来查询表的部分数据 建议显式获取数据的列，原因如下： 使用星号(*)可能会返回不使用的列的数据。
DELAYED 做为快速插入，并不是很关心失效性，提高插入性能。
回到正题，之前提到一般情况下MySQL的InnoDB引擎在可重复读的情况下是没法保证不出现幻读的，但实际情况是MySQL可以通过加锁来防止幻读的出现，这种锁定通过Next-key机制来实现，是属于记录锁和间隙锁(Gap锁)的结合。
错误检查”。然后在新弹出的界面窗口中选择“硬盘扫面”。之后就会弹出是否有报错的对话框，如果没有错误选择右下角的”close“即可。
这就是自己实现一个ID自增的东西。比如的你有个公用类专门用来生成后面的数字，所有需要用到的方法都调用这个类的一个方法我们就叫它nextId吧，只要这个方法是线程安全的就可以了。
数据库服务器执行的单位是“事务”，你应该把上述动作包装成一个事务，在事务的开头用lock table把表加锁，最后在解锁。
1、-- SQL语句如下：INSERT INTO B(字段1，字段2，字段3) SELECT 字段1，字段2，字段3 FROM A；/* 需要注意的是： 字段必须相同。 B表的主键字段必须是自增。
2、在数据库提供的GUI环境中建立（以SQL7为例）。输入表信息后按Ctrl键同时选中多行，然后点上面的主键按钮就行了。通过SQL语句执行建立。又分两种，一是在建表语句中直接写，二是建表之后更改表结构。
3、复制表结构及数据到新表CREATE TABLE 新表SELECT * FROM 旧表这种方法会将oldtable中所有的内容都拷贝过来，当然我们可以用delete from newtable；来删除。
4、update tablename set value=5 where name=abc ；根据表里面name=abc字段，先更新表里面的value字段的值。select * from tablename where name=abc oder by id；然后再查询表，根据id排序。
5、现在我们这条 SQL 语句只操作了一张表，如果要操作多张表呢？每个表都有一个对应的 Table_map event、都会 map 到一个单独的数字，用于区分对不同表的操作。
你设置了主键，就应该是唯一的，要插入重复项，就要删除主键约束，这个时候就要自己创造主键。
使用唯一性约束，不过如果是在事务中批量提交时，一个失败将导致整个事务rollback。先用select查询数据是否重复，再决定是否要插入此条数据，实现起来比较麻烦，特别是字段较多时，效率方面未对比测试。
解决方案：将主键设置为自动增长。可以在数据库手动将相关表设置ID为自增长 手动将表设置为自增长有弊端，建议在annotation里边的POJO类使用注解方式设置自增长。mysql的数据库如图所示设置。
你可以 try{ }catch(exception ex){ ex.printstacktrace()；} 捕获异常之后，会在控制台打印你所捕获异常的信息。如果你只想捕获主键异常的话，可以把打印出来的主键异常名称来替换exception.其实效果是一样的。。
主键是唯一的，不能重复。可以更改主键，或者建立组合主键。
在“数据库”窗口中，单击“对象”下的“表”单击要删除重复记录的表名称。单击工具栏上的“复制” 单击工具栏上的“粘贴”。
1、先建立2个测试表，在id列上创建unique约束。
2、解决方案：将主键设置为自动增长。可以在数据库手动将相关表设置ID为自增长 手动将表设置为自增长有弊端，建议在annotation里边的POJO类使用注解方式设置自增长。mysql的数据库如图所示设置。
3、删除重复数据 如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：from 树懒学堂 - 一站式数据知识平台 当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。
4、给你一个思路，能解决你的问题：写一个触发器，插入之前先判断主键是否存在，存在则删除，然后再插入数据。
5、字段1，字段2，字段3 FROM A；/* 需要注意的是： 字段必须相同。 B表的主键字段必须是自增。 缺点： 目前有重复数据也会插入到B表，如另有需求，请自行查询。
6、你好很高兴回答你的问题。看图中报错信息是告诉你主键重复了。如果可以找到这条数据就修改一下主键值。如果无法进行修改，则在菜单或工具栏里找到类似回滚按钮，执行回滚操作。如果有帮助到你，请点击采纳。