elasticsearch-数据同步

目录

方案一:同步调用

方案二:异步调用

 方案三:监听binlog

 利用MQ实现mysql与elasticsearch数据同步

Hotel-Admin发送消息 

Hotel-Demo接收消息,完成对应操作


在微服务情况下,负责酒店管理(对数据CRUD,操作mysql)的与负责酒店搜索(elasticsearch)的业务可能在两个不同的服务上,如何实现数据同步?

方案一:同步调用

elasticsearch-数据同步_第1张图片

缺点: 耦合较高,导致耗时较长,因为你酒店管理的服务除了数据库的操作,还有调用酒店搜索服务,然后酒店搜索服务还对elasticsearch作出操作,导致耗时较长,原本我只需要对数据库操作的,耗时一下变成了三个步骤之和;


elasticsearch-数据同步_第2张图片

方案二:异步调用

这里我们是通过mq进行解耦,酒店管理服务只需要管好自己的内容:写好数据库就行,写完之后服务再发一条消息给到MQ,其余操作就跟自己没有关系了,该干嘛干嘛,然后酒店搜索服务进行监听消息,更新elasticsearch,从而达到解耦效果

(21条消息) 初识MQ-01_Fairy要carry的博客-CSDN博客_mq全称

缺点:依赖于MQ的稳定性


elasticsearch-数据同步_第3张图片

 方案三:监听binlog

这里我们利用mysql的中间件canal,当我们酒店管理服务对数据库进行CRUD时,会将变化的消息传给canal(相当于是一个监听的效果),然后我们的canal会通知给酒店搜索服务,然后搜索服务进行对应的更新;

特点:完全解除了服务之间的耦合,但是增加了数据库的压力,复杂较高


elasticsearch-数据同步_第4张图片


 利用MQ实现mysql与elasticsearch数据同步

elasticsearch-数据同步_第5张图片

酒店数据修改和增加是一个消息,当hotel-admin服务完成这个操作时,会将消息传给消息队列,然后hotel-demo服务收到消息后完成对应的操作;删除也一样,只是在一个不同的消息队列中 

elasticsearch-数据同步_第6张图片 

Hotel-Admin发送消息 

1.先导入mq依赖

  
        
            org.springframework.boot
            spring-boot-starter-amqp
        

2.配置yaml中mq信息

 rabbitmq:
    host: 192.168.184.129
    port: 5672
    username: itcast
    password: 123321
    virtual-host: /

3.将消息通过交换机路由给对应的消息队列进行缓存



@RestController
@RequestMapping("hotel")
public class HotelController {

    @Autowired
    private IHotelService hotelService;
    @Autowired
    private RabbitTemplate rabbitTemplate;

    /**
     * 新增酒店数据
     * @param hotel
     */
    @PostMapping
    public void saveHotel(@RequestBody Hotel hotel) {
        hotelService.save(hotel);
//        这里我们将数据通过交换机传给对应的消息队列,数据的话给个id就行,另外一个服务可以通过id获取数据
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE, MqConstants.HOTEL_INSERT_KEY, hotel.getId());
    }


    @GetMapping("/{id}")
    public Hotel queryById(@PathVariable("id") Long id) {
        return hotelService.getById(id);
    }

    @GetMapping("/list")
    public PageResult hotelList(
            @RequestParam(value = "page", defaultValue = "1") Integer page,
            @RequestParam(value = "size", defaultValue = "1") Integer size
    ) {
        Page result = hotelService.page(new Page<>(page, size));

        return new PageResult(result.getTotal(), result.getRecords());
    }

//    @PostMapping
//    public void saveHotel(@RequestBody Hotel hotel) {
//        hotelService.save(hotel);
//    }

    /**
     * 更新酒店数据
     * @param hotel
     */
    @PutMapping()
    public void updateById(@RequestBody Hotel hotel) {
        if (hotel.getId() == null) {
            throw new InvalidParameterException("id不能为空");
        }
        hotelService.updateById(hotel);

        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE,MqConstants.HOTEL_INSERT_KEY,hotel.getId());
    }

    /**
     * 删除酒店数据
     * @param id
     */
    @DeleteMapping("/{id}")
    public void deleteById(@PathVariable("id") Long id) {
        hotelService.removeById(id);

        //将消息通过交换机给到消息队列,然后另一个服务得到消息进行处理
        rabbitTemplate.convertAndSend(MqConstants.HOTEL_EXCHANGE,MqConstants.HOTEL_DELETE_KEY,id);
    }
}

4.交换机,消息队列,以及连接的声明

public class MqConstants {
    //交换机
    public final static String HOTEL_EXCHANGE="hotel.topic";

//    监听新增和修改的消息队列
    public final static String HOTEL_INSERT_QUEUE="hotel.insert.queue";

    //    监听删除队列
    public final static String HOTEL_DELETE_QUEUE="hotel.delete.queue";

    //    RoutingKey:作为消息队列与交换机绑定的一个表示码
    public final static String HOTEL_INSERT_KEY="hotel.insert";

    public final static String HOTEL_DELETE_KEY="hotel.delete";
    
}

Hotel-Demo接收消息,完成对应操作

1.首先也是导入依赖,并且完成yaml中的配置,连接到mq

2.定义交换机以及消息队列,完成两者之间的绑定



/**
 * @author diao 2022/5/26
 */
@Configuration
public class MqConfig {
    /**
     * 得到一个交换机定义
     */
    @Bean
    public TopicExchange topicExchange() {
        //第二个是保证交换机持久化
        return new TopicExchange(MqConstants.HOTEL_EXCHANGE, true, false);
    }

    /**
     * 定义两个消息队列
     */
    @Bean
    public Queue insertQueue() {
        return new Queue(MqConstants.HOTEL_INSERT_QUEUE, true);
    }

    @Bean
    public Queue deleteQueue() {
        return new Queue(MqConstants.HOTEL_DELETE_QUEUE, true);
    }

    /**
     * 将交换机与消息队列进行绑定
     */
    @Bean
    public Binding insertQueueBinding() {
        return BindingBuilder.bind(insertQueue()).to(topicExchange()).with(MqConstants.HOTEL_INSERT_QUEUE);
    }

    @Bean
    public Binding deleteQueueBinding() {
        return BindingBuilder.bind(deleteQueue()).to(topicExchange()).with(MqConstants.HOTEL_DELETE_QUEUE);
    }
}
package cn.itcast.hotel.constants;

/**
 * @author diao 2022/5/26
 */
public class MqConstants {
    //交换机
    public final static String HOTEL_EXCHANGE="hotel.topic";

//    监听新增和修改的消息队列
    public final static String HOTEL_INSERT_QUEUE="hotel.insert.queue";

    //    监听删除队列
    public final static String HOTEL_DELETE_QUEUE="hotel.delete.queue";

    //    RoutingKey:作为消息队列与交换机绑定的一个表示码
    public final static String HOTEL_INSERT_KEY="hotel.insert";

    public final static String HOTEL_DELETE_KEY="hotel.delete";
    
}

3.对消息队列进行监听,并且完成对应操作



/**
 * @author diao 2022/5/26
 */
//监听hotel-admin酒店服务端给的消息
@Component
public class HotelListener {

    @Autowired
    private IHotelService hotelService;

    /**
     * 监听insertQueue,得到消息中的id进行es中的操作
     * @param id
     */
    @RabbitListener(queues = MqConstants.HOTEL_INSERT_QUEUE)
    public void listenHotelInsertOrUpdate(Long id) throws IOException {
        hotelService.insertById(id);
    }

    @RabbitListener(queues = MqConstants.HOTEL_DELETE_QUEUE)
    public void listenHotelDelete(Long id) throws IOException {
        hotelService.deleteById(id);
    }

}

4.业务中对数据插入以及数据删除的编写

  /**
     * 完成插入数据操作(服务监听消息队列,然后服务完成操作)
     *
     * @param id:消息中的id
     */
    @Override
    public void insertById(Long id) throws IOException {
        //0.根据id查询酒店数据
        Hotel hotel = getById(id);
        HotelDoc hotelDoc = new HotelDoc(hotel);

        //1.准备Request
        IndexRequest request = new IndexRequest("hotel").id(hotel.getId().toString());

        //2.准备DSL插入文档数据,将查询到的数据转为json
        request.source(JSON.toJSONString(hotelDoc), XContentType.JSON);

        //3.发送请求
        client.index(request,RequestOptions.DEFAULT);
    }

    @Override
    public void deleteById(Long id) throws IOException {
        //1.准备Request
        DeleteRequest request = new DeleteRequest("hotel", id.toString());

        //2.发送请求
        client.delete(request,RequestOptions.DEFAULT);
    }

你可能感兴趣的:(elasticsearch,RabbitMQ,elasticsearch,大数据,big,data)