【问下大家实现相似度去重的方法】

文章插图
先问大家如何实现相似性去重？先给大家简单介绍一下如何实现相似性去重:有1W/天的数据 ， 每个数据串平均长度在150个汉字左右 ， 视觉上有1/10的重复 ， 但是重复不完善 ， 需要去重 。请给我们出个主意 。php有similar_text()和levenshtein()

• 苹果手机的卖点到底是什么呢？为什么大家那么喜欢它呢？
• php页面实现局部刷新
• windows phone 8 怎么实现tabBar 用什么控件？
• 为什么iPhone卖得比较贵呢？大家觉得值吗？
• 对于内网上的共享信息，有没有什么好的保护方法，可以避免大家任意更改？
• 世界上有丧尸吗（中国第一个僵尸)
• JFinal怎么实现弹出层的页面内容加载
• 有做游戏开发的，我想问下像网游的掉宝率真的是随机的吗？热
• 床上用品哪个品牌比较好 十大家纺床上品牌排行榜
• JFreeChart如何实现柱状图 一个柱子有多段数据