Spring Data Elasticsearch
Elasticsearch提供的Java客户端有一些不太方便的地方：
很多地方需要拼接Json字符串，在java中拼接字符串有多恐怖你应该懂的
需要自己把对象序列化为json存储
查询到结果也需要自己反序列化为对象
因此，我们这里就不讲解原生的Elasticsearch客户端API了。
而是学习Spring提供的套件：Spring Data Elasticsearch。
1.简介
Spring Data Elasticsearch是Spring Data项目下的一个子模块。
查看 Spring Data的官网：http://projects.spring.io/spring-data/
- Spring Data 的使命是给各种数据访问提供统一的编程接口，不管是关系型数据库（如MySQL），还是非关系数据库（如Redis），或者类似Elasticsearch这样的索引数据库。从而简化开发人员的代码，提高开发效率。
- 包含很多不同数据操作的模块：
Spring Data Elasticsearch的页面：https://projects.spring.io/spring-data-elasticsearch/
特征：
1.支持Spring的基于@Configuration的java配置方式，或者XML配置方式
2.提供了用于操作ES的便捷工具类ElasticsearchTemplate。包括实现文档到POJO之间的自动智能映射。
3.利用Spring的数据转换服务实现的功能丰富的对象映射
4.基于注解的元数据映射方式，而且可扩展以支持更多不同的数据格式
5.根据持久层接口自动生成对应实现方法，无需人工编写基本操作代码（类似mybatis，根据接口自动得到实现）。当然，也支持人工定制查询
2.创建Demo工程
我们使用spring新建一个demo，学习Elasticsearch
3.配置pom.xml和application.yml
org.springframework.boot
spring-boot-starter-parent
2.0.6.RELEASE
UTF-8
UTF-8
1.8
org.springframework.boot
spring-boot-starter-data-elasticsearch
org.springframework.boot
spring-boot-starter-test
test
org.springframework.boot
spring-boot-maven-plugin
spring:
data:
elasticsearch:
cluster-name: elasticsearch
cluster-nodes: 127.0.0.1:9300
4.定义实体类及注解
package com.bianyiit.pojo;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
@Document(indexName = "item",type = "docs", shards = 1, replicas = 0)
public class Item {
@Id
private Long id;
@Field(type = FieldType.Text, analyzer = "ik_max_word")
private String title; //标题
@Field(type = FieldType.Keyword)
private String category;// 分类
@Field(type = FieldType.Keyword)
private String brand; // 品牌
@Field(type = FieldType.Double)
private Double price; // 价格
@Field(index = false, type = FieldType.Keyword)
private String images; // 图片地址
public Item(){}
public Item(Long id, String title, String category, String brand, Double price, String images) {
this.id = id;
this.title = title;
this.category = category;
this.brand = brand;
this.price = price;
this.images = images;
}
public Long getId() {
return id;
}
public void setId(Long id) {
this.id = id;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
public String getCategory() {
return category;
}
public void setCategory(String category) {
this.category = category;
}
public String getBrand() {
return brand;
}
public void setBrand(String brand) {
this.brand = brand;
}
public Double getPrice() {
return price;
}
public void setPrice(Double price) {
this.price = price;
}
public String getImages() {
return images;
}
public void setImages(String images) {
this.images = images;
}
@Override
public String toString() {
return "Item{" +
"id=" + id +
", title='" + title + '\'' +
", category='" + category + '\'' +
", brand='" + brand + '\'' +
", price=" + price +
", images='" + images + '\'' +
'}';
}
}
5.使用ElasticsearchTemplate执行索引创建的操作
5.1 创建springboot启动类
package com.bianyiit;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
public class LeyouElasticsearchApplication {
public static void main(String[] args) {
SpringApplication.run(LeyouElasticsearchApplication.class);
}
}
5.2 创建索引
package com.bianyiit.test;
import com.bianyiit.LeyouElasticsearchApplication;
import com.bianyiit.pojo.Item;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
import org.springframework.test.context.junit4.SpringRunner;
@RunWith(SpringRunner.class)
@SpringBootTest(classes = LeyouElasticsearchApplication.class)
public class IndexTest {
@Autowired
ElasticsearchTemplate elasticsearchTemplate;
@Test
public void testCreated(){
// 创建索引，会根据Item类的@Document注解信息来创建
elasticsearchTemplate.createIndex(Item.class);
// 配置映射，会根据Item类中的id、Field等字段来自动完成映射
elasticsearchTemplate.putMapping(Item.class);
}
}
工程结构目录如下:
最后在postman中查询创建的索引是否存在
http://127.0.0.1:9200/item/_mapping
5.3 删除索引
@Test
public void testCreated1(){
elasticsearchTemplate.deleteIndex("product");
}
6.Repository文档操作
- Spring Data 的强大之处，就在于你不用写任何DAO处理，自动根据方法名或类的信息进行CRUD操作。只要你定义一个接口，然后继承Repository提供的一些子接口，就能具备各种基本的CRUD功能。
- 我们只需要定义接口，然后继承它就OK了。
package com.bianyiit.repository;
import com.bianyiit.pojo.Item;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
public interface ItemRepository extends ElasticsearchRepository {
}
为了方便测试，在item类中添加带参数的构造方法
public Item(){}
public Item(Long id, String title, String category, String brand, Double price, String images) {
this.id = id;
this.title = title;
this.category = category;
this.brand = brand;
this.price = price;
this.images = images;
}
执行添加的操作
package com.bianyiit.test;
import com.bianyiit.LeyouElasticsearchApplication;
import com.bianyiit.pojo.Item;
import com.bianyiit.repository.ItemRepository;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
import org.springframework.test.context.junit4.SpringRunner;
@RunWith(SpringRunner.class)
@SpringBootTest(classes = LeyouElasticsearchApplication.class)
public class IndexTest {
@Autowired
ElasticsearchTemplate elasticsearchTemplate;
@Autowired
ItemRepository itemRepository;
@Test
public void testCreated(){
// 创建索引，会根据Item类的@Document注解信息来创建
elasticsearchTemplate.createIndex(Item.class);
// 配置映射，会根据Item类中的id、Field等字段来自动完成映射
elasticsearchTemplate.putMapping(Item.class);
}
@Test
public void testCreated1(){
elasticsearchTemplate.deleteIndex("product");
}
@Test
public void addDocument(){
Item item = new Item(1L, "小米手机7", " 手机",
"小米", 3499.00, "http://image.leyou.com/13123.jpg");
itemRepository.save(item);
}
}
批量新增的操作
@Test
public void testCreate(){
/*Item item = new Item(1L, "小米手机6", "手机",
"小米", 3800.00, "http://image.bianyi.com/pic1.jpg");
itemRepository.save(item);*/
/**
* 批量新增
*/
List- list = new ArrayList<>();
list.add(new Item(2L, "坚果手机R1", "手机", "锤子", 3699.00, "http://image.leyou.com/123.jpg"));
list.add(new Item(3L, "华为META10", "手机", "华为", 4499.00, "http://image.leyou.com/3.jpg"));
this.itemRepository.saveAll(list);
}
7.基本查询
ElasticsearchRepository提供了一些基本的查询方法：
@Test
public void testSelect(){
Optional- optional=this.itemRepository.findById(1l);
System.out.println(optional.get());
}
@Test
public void testFind(){
Iterable- items=this.itemRepository.findAll(Sort.by(Sort.Direction.DESC,"price"));
items.forEach(item -> {
Logger.getGlobal().info(item.toString());
});
}
8.自定义方法
Spring Data 的另一个强大功能，是根据方法名称自动实现功能。
比如：你的方法名叫做：findByTitle，那么它就知道你是根据title查询，然后自动帮你完成，无需写实现类。
当然，方法名称要符合一定的约定：
例如，我们来按照价格区间查询，定义这样的一个方法：
package com.bianyiit.repository;
import com.bianyiit.pojo.Item;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
import java.util.List;
public interface ItemRepository extends ElasticsearchRepository {
/**
* 根据价格区间查询
* @param price1
* @param price2
* @return
*/
List- findByPriceBetween(double price1, double price2);
}
为了方便测试，我们添加一些数据:
@Test
public void testCreate(){
/**
* 批量新增
*/
List- list = new ArrayList<>();
list.add(new Item(1L, "小米手机7", "手机", "小米", 3299.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(2L, "坚果手机R1", "手机", "锤子", 3699.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(3L, "华为META10", "手机", "华为", 4499.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(4L, "小米Mix2S", "手机", "小米", 4299.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(5L, "荣耀V10", "手机", "华为", 2799.00, "http://image.leyou.com/13123.jpg"));
this.itemRepository.saveAll(list);
}
不需要写实现类，然后我们直接去运行：
@Test
public void queryByPriceBetween(){
List- list = this.itemRepository.findByPriceBetween(2000.00, 3500.00);
for (Item item : list) {
System.out.println("item = " + item);
}
}
9.高级查询
9.1 基本查询
先看基本操作:
@Test
public void testQuery(){
// 词条查询
MatchQueryBuilder queryBuilder = QueryBuilders.matchQuery("title", "小米");
// 执行查询
Iterable- items = this.itemRepository.search(queryBuilder);
items.forEach(System.out::println);
}
Repository的search方法需要QueryBuilder参数，elasticSearch为我们提供了一个对象QueryBuilders：
elasticsearch提供很多可用的查询方式，但是不够灵活。如果想玩过滤或者聚合查询等就很难了。
9.2 自定义查询
先来看最基本的match query：
@Test
public void testNativeQuery(){
// 构建查询条件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 添加基本的分词查询
queryBuilder.withQuery(QueryBuilders.matchQuery("title", "小米"));
// 执行搜索，获取结果
Page- items = this.itemRepository.search(queryBuilder.build());
// 打印总条数
System.out.println(items.getTotalElements());
// 打印总页数
System.out.println(items.getTotalPages());
items.forEach(System.out::println);
}
NativeSearchQueryBuilder：Spring提供的一个查询条件构建器，帮助构建json格式的请求体
Page：默认是分页查询，因此返回的是一个分页的结果对象，包含属性：
totalElements：总条数
totalPages：总页数
Iterator：迭代器，本身实现了Iterator接口，因此可直接迭代得到当前页的数据
9.3 分页查询
@Test
public void queryByPage(){
//创建分页查询的构建器
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
//定义查询的规则
TermQueryBuilder termQuery = QueryBuilders.termQuery("category", "手机");
//将定义的查询规则传入到分页查询构建器中
queryBuilder.withQuery(termQuery);
//设置分页的参数
int page = 1;//当前页码 es中默认的第一页页码为0
int size = 2;//默认的页面容量
//在分页构建器中传入分页的参数
queryBuilder.withPageable(PageRequest.of(page, size));
//开始执行分页的查询
Page- pageInfo = this.itemRepository.search(queryBuilder.build());
System.out.println("总记录数:"+pageInfo.getTotalElements());
System.out.println("总页数:"+pageInfo.getTotalPages());
System.out.println("页面容量"+pageInfo.getSize());
pageInfo.forEach(System.out::println);
}
9.4 排序
排序也通用通过NativeSearchQueryBuilder完成：
@Test
public void testSort(){
// 构建查询条件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 添加基本的分词查询
queryBuilder.withQuery(QueryBuilders.termQuery("category", "手机"));
// 排序
queryBuilder.withSort(SortBuilders.fieldSort("price").order(SortOrder.DESC));
// 执行搜索，获取结果
Page- items = this.itemRepository.search(queryBuilder.build());
// 打印总条数
System.out.println(items.getTotalElements());
items.forEach(System.out::println);
}
10.聚合
10.1 聚合为桶
桶就是分组，比如这里我们按照品牌brand进行分组：
@Test
public void testAgg(){
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 不查询任何结果
queryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
// 1、添加一个新的聚合，聚合类型为terms，聚合名称为brands，聚合字段为brand
queryBuilder.addAggregation(
AggregationBuilders.terms("brandAgg").field("brand"));
// 2、查询,需要把结果强转为AggregatedPage类型
AggregatedPage- aggPage = (AggregatedPage
- ) this.itemRepository.search(queryBuilder.build());
// 3、解析
// 3.1、从结果中取出名为brands的那个聚合，
// 因为是利用String类型字段来进行的term聚合，所以结果要强转为StringTerm类型
StringTerms agg = (StringTerms) aggPage.getAggregation("brandAgg");
// 3.2、获取桶
List
buckets = agg.getBuckets();
// 3.3、遍历
for (StringTerms.Bucket bucket : buckets) {
// 3.4、获取桶中的key，即品牌名称
System.out.println(bucket.getKeyAsString());
// 3.5、获取桶中的文档数量
System.out.println(bucket.getDocCount());
}
}
10.2 嵌套度量，求平均值
@Test
public void testSubAgg(){
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 不查询任何结果
queryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
// 1、添加一个新的聚合，聚合类型为terms，聚合名称为brands，聚合字段为brand
queryBuilder.addAggregation(
AggregationBuilders.terms("brands").field("brand")
.subAggregation(AggregationBuilders.avg("priceAvg").field("price")) // 在品牌聚合桶内进行嵌套聚合，求平均值
);
// 2、查询,需要把结果强转为AggregatedPage类型
AggregatedPage- aggPage = (AggregatedPage
- ) this.itemRepository.search(queryBuilder.build());
// 3、解析
// 3.1、从结果中取出名为brands的那个聚合，
// 因为是利用String类型字段来进行的term聚合，所以结果要强转为StringTerm类型
StringTerms agg = (StringTerms) aggPage.getAggregation("brands");
// 3.2、获取桶
List
buckets = agg.getBuckets();
// 3.3、遍历
for (StringTerms.Bucket bucket : buckets) {
// 3.4、获取桶中的key，即品牌名称 3.5、获取桶中的文档数量
System.out.println(bucket.getKeyAsString() + "，共" + bucket.getDocCount() + "台");
// 3.6.获取子聚合结果：
InternalAvg avg = (InternalAvg) bucket.getAggregations().asMap().get("priceAvg");
System.out.println("平均售价：" + avg.getValue());
}
}