这篇文章将为大家详细讲解有关如何合并去重MySQL数据表，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。

场景：

爬取的数据生成数据表，结构与另一个主表相同，需要进行合并+去重

解决：（直接举例）

首先创建两个表pep，pep2，其中pep是主表

CREATETABLEIFNOTEXISTS`pep/pep2`(`id`INTUNSIGNEDAUTO_INCREMENT,`no`VARCHAR(100)NOTNULL,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8;

然后向pep中插入两条数据，pep2中插入一条与pep中相同的一条数据

insertintopep(no)values('abc');insertintopep(no)values('caa');insertintopep2(no)values('abc');

将pep2的数据插入pep中

insertintopep(no)selectnofrompep2;

分组去重创建新的临时表tmp

createtabletmpselectid,nofrompepgroupbyno;

注意：创建完这个表的id字段类型已经不是主键自增

可能也会报错```Syntaxerrororaccessviolation:1055Expression#1ofSELECTlistisnotinGROUPBYclauseandcontainsnonaggregatedcolumn'XXX.Y.ZZZZ'whichisnotfunctionallydependentoncolumnsinGROUPBYclause;thisisincompatiblewithsql_mode=only_full_group_by```解决：执行以下两个命令：```mysql>setglobalsql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';mysql>setsessionsql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';```

删除pep表，并将tmp表重命名为pep

droptablepep;altertabletmprenametopep;

查看desc结构和select * from pep发现id的字段类型变了，这里需要改回原来的类型；

altertablepepaddprimarykey(id);altertablepepmodifyidintauto_increment;

还有可以使用join来做去重，更快的还可以添加一个字段（可以是几个字段+起来的的md5值），给这个字段创建一个唯一索引unique，以后插入数据的时候，自动回过滤掉重复的数据。

关于如何合并去重MySQL数据表就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。