大批量数据下如何做一个高效的重复数据检测 如题 求解 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 什么样子的数据,大部分用exists有最好的效率 (不要高估你的汉语表达能力或者我的汉语理解能力) 建议你列出你的表结构,并提供测试数据以及基于这些测试数据的所对应正确结果。 参考一下这个贴子的提问方式http://topic.csdn.net/u/20091130/20/8343ee6a-417c-4c2d-9415-fa46604a00cf.html 1. 你的 create table xxx .. 语句 2. 你的 insert into xxx ... 语句 3. 结果是什么样,(并给以简单的算法描述) 4. 你用的数据库名称和版本(经常有人在MS SQL server版问 MySQL) 这样想帮你的人可以直接搭建和你相同的环境,并在给出方案前进行测试,避免文字描述理解上的误差。 group by , distinct均能检测判断有还是没有重复,至少表中得有主键,否则,肯定很慢。 distinct是匹配所有字段吧 我可能根据某一字段进行分组统计再根据重复数展现所有数据 left join 和not in效率问题? 在命令窗口下查询的中文数据显示出乱码,怎么纠正? 请教:我的MySQL表出错不能访问 my.cnf用什么打开? 求救:在把Access数据导入mysql时,出现问题了 2万行的.txt文档中数据导入到Mysql大概要多少时间? 请问mysql字段名,若是系统关键字,比如MOD,如何转义,象sqlserver一样加[],但是mysql加[]好象不行 急,求教MYSQL的JDBC 无法连接MYSQL服务 连接不了mysql,怎么回事??? 帮看一下怎么不好使呢? 关于绑定变量的问题
建议你列出你的表结构,并提供测试数据以及基于这些测试数据的所对应正确结果。
参考一下这个贴子的提问方式http://topic.csdn.net/u/20091130/20/8343ee6a-417c-4c2d-9415-fa46604a00cf.html
1. 你的 create table xxx .. 语句
2. 你的 insert into xxx ... 语句
3. 结果是什么样,(并给以简单的算法描述)
4. 你用的数据库名称和版本(经常有人在MS SQL server版问 MySQL)
这样想帮你的人可以直接搭建和你相同的环境,并在给出方案前进行测试,避免文字描述理解上的误差。
distinct
均能检测
判断有还是没有重复,至少表中得有主键,否则,肯定很慢。