MySQL 有load data infile 语法可以直接把文件中的数据导入数据库。
去重的话你是跨文件去重？还是单个文件内去重？
跨文件去重的话，又要高效又要去重，做不到。
单个文件去重的话，不知道load data infile 语法能否支持，我没试过。
可以先入库在去重，效率应该会高些。
2>.设置innodb_buffer_pool_size较大的值，且设置脏数据:innodb_max_dirty_pages_pct=95；
4>.设置sort_buffer_pool_size的值稍微大一点；
7>.多个mysql客户端同时导入数据库备份文件，后台执行就是；
mysql 有load data infile 语法可以直接把文件中的数据导入数据库。
去重的话你是跨文件去重？还是单个文件内去重？
跨文件去重的话，又要高效又要去重，做不到。
单个文件去重的话，不知道load data infile 语法能否支持，我没试过。
可以先入库在去重，效率应该会高些。