背景介绍
在论坛类型的数据中,特别是涉及到可能有大量营销号的时候,有个要面对的情况就是,要如何对数据进行"去重".这个去重并非真正的去重,而是说去掉人眼认为大量"相同的"数据.营销号们将一条内容反复发布数次,就会造成在召回结果中的某一页(可能是几页)充斥着大量看过去就一模一样的内容,这些内容在数据的意义上是不同的,但是在用户体验上,他们就属于应该被折叠的内容.
思路方案
首先最重要的一点还是要定义什么样的数据算重复这个问题.借助优秀的团队分工,有算法组的同事通过响应算法对数据进行打标,将算法判定为重复的数据打上相同的id,也就是说,余下的问题可以简化为,我们如何在做数据召回的时候,做到相同重复id的数据只召回一条.
这里有两种方案
- top_hits + 聚合统计agg
- es5以后的新特性collapse
这里主要介绍方案2,方案1测试完就不考虑了,性能慢的令人发指.
实施过程
首先还是我们准备好数据,索引库的数据类似以下的结构
{
"_id": xxxx,
......
"dumplicate_id"
}
_id是数据的主键,而dumplicate_id则是我们的重复组id.接下来的工作就是,在召回过程中屏折叠重复数据.接下来放上召回es语句的demo
{
"from": 0,
"size": 12,
"query": {
"bool": {
"should": [{
"match": {
"field1": {
"query": "aaa",
"operator": "OR",
"prefix_length": 0,
"max_expansions": 50,
"fuzzy_transpositions": true,
"lenient": false,
"zero_terms_query": "NONE",
"auto_generate_synonyms_phrase_query": true,
"boost": 1.0
}
}
}, {
"match": {
"field2": {
"query": "aaa",
"operator": "OR",
"prefix_length": 0,
"max_expansions": 50,
"fuzzy_transpositions": true,
"lenient": false,
"zero_terms_query": "NONE",
"auto_generate_synonyms_phrase_query": true,
"boost": 0.1
}
}
}],
"adjust_pure_negative": true,
"minimum_should_match": "1",
"boost": 1.0
}
},
"collapse": {
"field": "duplicate_id", //要进行折叠的字段
"inner_hits": { //折叠的参数集
"name": "test", //折叠的name,目前没有发现哪里有用到的地方,可能在多个折叠情况下有用
"ignore_unmapped": true, //默认为false,如果存在一些数据没有折叠字段的会报错,设置为true可以避免类似的报错
"from": 0,
"size": 0, //from和size用来控制想要返回的折叠列表,这里我的需求是重复id相同仅返回头条,所以两个参数均设置为0,如果有需求折叠列表的可以通过这里控制
"version": false,
"explain": false,
"track_scores": true,
"sort": [{ //折叠列表的排序,折叠列表中要把谁显示在第一个的排序,比如这样做是将该折叠列表的数据按字段level倒序排列.
"level": {
"order": "desc"
}
}]
}
}
}
collapse是和from,size,query等结构是同级并列的情况,耗时上也非常可观,它并不是在整个索引库里面进行折叠,而是在召回结果拿到以后再进行的折叠,效率上肯定比方案1的top_hits+agg来的高效,而且这个也是es5专门为这个场景设计的功能.
最后放上java代码如何使用api的demo
CollapseBuilder collapseBuilder = new CollapseBuilder("duplicate_id");
InnerHitBuilder innerHitBuilder = new InnerHitBuilder();
innerHitBuilder.setName("test");
innerHitBuilder.setSize(0);
innerHitBuilder.setTrackScores(true);
innerHitBuilder.setIgnoreUnmapped(true);
innerHitBuilder.addSort(SortBuilders.fieldSort("level").order(SortOrder.DESC));
collapseBuilder.setInnerHits(innerHitBuilder);
......
srb = client.prepareSearch(indexName)
.setTypes(typeName)
.setQuery(bqb)
.setFrom(params.getFrom())
.setSize(params.getSize())
.setCollapse(collapseBuilder)
.setPreference("_primary_first");