mysql冷热数据分离_数据库表数据量大读写缓慢如何优化(1)【冷热分离】

mysql冷热数据分离_数据库表数据量大读写缓慢如何优化(1)【冷热分离】_第1张图片

mysql冷热数据分离_数据库表数据量大读写缓慢如何优化(1)【冷热分离】_第2张图片
今天讨论的内容是冷热分离,也许概念并不陌生,对其使用场景也比较熟悉,但涉及锁的内容时仍然需要认真思考,这部分内容在我们实际开发中的“坑”还是不少的。

业务场景一

曾经经历过供应链相关的架构优化,当时平台上有一个订单功能,里面的主表有几千万数据量,加上关联表,数据量达到上亿。

这么庞大的数据量,让平台的查询订单变得格外迟缓,查询一次都要二三十秒,而且多点击几次就会出现宕机。比如业务员多次查询时,数据库的 CPU 会立马狂飙,服务器线程也降不下来。

当时,我们尝试了优化表结构、业务代码、索引、SQL 语句等办法来提高响应速度,但这些方法治标不治本,查询速度还是很慢。

考虑到我们手头上还有其他优先级高的需求需要处理,为此,我们跟业务方反馈:“这功能以后你们能不用就不用,暂时先忍受一下。”可经过一段时间后,业务方实在受不了了,直接跟我们放狠话,无奈之下我们屈服了。

最终,我们决定采用一个性价比高的解决方案,简单方便地解决了这个问题。在处理数据时,我们将数据库分成了冷库和热库 2 个库,不常用数据放冷库,常用数据放热库。

通过这样的方法处理后,因为业务员查询的基本是近期常用的数据,常用的数据量大大减少了,就再也不会出现宕机的情况了,也大大提升了数据库响应速度。

其实上面这个方法,就是“冷热分离”。

一、什么是冷热分离

冷热分离就是在处理数据时将数据库分成冷库和热库 2 个库,冷库指存放那些走到了终态的数据的数据库,热库指存放还需要修改的数据的数据库。

二、什么情况下使用冷热分离?

假设业务需求出现了如下情况,就可以考虑使用冷热分离的解决方案:

  • 数据走到终态后,只有读没有写的需求,比如订单完结状态;
  • 用户能接受新旧数据分开查询,比如有些电商网站默认只让查询3个月内的订单,如果你要查询3个月前的订单,还需要访问另外的单独页面。

三、冷热分离实现思路

在实际操作过程中,冷热分离整

你可能感兴趣的:(mysql冷热数据分离)