GaussDB技术解读系列:5分钟带您了解DRS录制回放

一、什么是DRS录制回放?

DRS录制回放是将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。录制回放主要分为录制、回放两个阶段,录制过程是从源数据库上将所需时间段内的全部SQL原语句(包括增、删、改、查)通过审计日志下载、录制代理等进行采集;回放是将采集到的全部SQL语句在目标数据库上进行执行(目标数据库需有源数据库的初始数据)。

GaussDB技术解读系列:5分钟带您了解DRS录制回放_第1张图片

 二、DRS录制回放与DRS、UGO的关系

数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效,用于数据库实时迁移和数据库实时同步的云服务,着重于数据库毫秒级数据同步,支持同构异构数据库之间的数据传输/搬迁,降低数据库之间数据流通的复杂性,减少数据传输成本。

数据库和应用迁移 UGO(Database and Application Migration UGO,简称UGO)是专注于异构数据库结构迁移的云服务,可将源数据库中的DDL、DML和DCL一键自动转换为华为云GaussDB的SQL语法,最大化降低用户数据库的迁移成本。

录制回放是DRS提供的业务仿真特性,结合DRS+UGO,以及DRS提供的数据一致性对比能力,形成了华为云数据库迁移整体解决方案,以保障客户割接过程的平滑性以及割接后数据库的稳定可靠运行。

GaussDB技术解读系列:5分钟带您了解DRS录制回放_第2张图片

 三、技术原理 

 1.初始数据生成

 在录制回放开始前,需要为目标数据库创建初始数据,初始数据的来源是源数据库某一时刻的快照数据。一致性模式场景下需要构建两个目标数据库,以某商业数据库(以下简称X数据库)到GaussDB为例,一个是X数据库回放数据库,一个是GaussDB回放数据库,两个回放数据库的初始数据必须完全一致。X数据库回放数据库的初始数据可以通过X数据库的备份恢复机制生成,GaussDB回放库的初始数据可以通过DRS数据同步能力,把X数据库回放数据库的初始数据全量同步过来。两个回放数据库的初始数据生成之后,建议做一次数据对比,确保数据一致。

 

2.流量录制

 公有云场景主要支持自建或其他云上的MySQL生态数据库到华为云RDS for MySQL、GaussDB(for MySQL)的录制回放,流量录制以源数据库提供的全量SQL、审计日志等技术为主。

GaussDB技术解读系列:5分钟带您了解DRS录制回放_第3张图片

 具体流程如下:

1) 在源数据库上开启审计日志或者全量SQL,等待业务执行一段时间。

2) 将业务执行期间生成的审计日志或者全量SQL上传到华为云OBS。

3) 在DRS上创建录制回放任务,选择上传到OBS的审计日志或全量SQL文件,DRS录制回放任务会读取审计日志或全量SQL文件,根据任务配置的源数据库类型解析出数据文件中的SQL信息,包含SQL语句、SQL类型、SQL执行时间、Schema名称、Session ID、客户端IP等,根据SQL语句的执行时间进行分片存储在元数据库中,在目标数据库上进行回放。

HCS场景主要支持常用自建数据库到GaussDB等几条链路的录制回放能力,流量录制均基于网络旁路抓包与协议解析技术,通过部署抓包Agent,在服务器上对数据库端口进行TCP/IP网络数据包抓取,分析推测出业务执行的SQL信息,该技术对源数据库影响极小且SQL抓取率极高。具体流程如下:

GaussDB技术解读系列:5分钟带您了解DRS录制回放_第4张图片

1) 在源数据库上部署流量采集Agent包。

2) Agent采集服务器上对应数据库端口的TCP/IP网络包,通过UDP协议发给流量采集器,生成流量数据文件。

3) 流量解析模块读取流量数据文件,分析推测出业务执行的SQL信息,包含连接ID、客户端类型、SQL类型、SQL语句、绑定变量值、执行开始时间、执行结束时间、执行是否成功、存储过程参数等信息,根据SQL语句的执行时间进行分片存储在元数据库中,在目标数据库上进行回放。

3.流量回放

 将流量录制的SQL语句在目标上根据配置的回放模式进行回放,实现业务SQL的兼容性验证、执行性能评估、结果一致性验证等。具体原理如下:

GaussDB技术解读系列:5分钟带您了解DRS录制回放_第5张图片

1) 异构场景下,会对流量录制的SQL语句进行语法转换,转换成目标数据库支持的语法,避免因为SQL语法的差异导致在目标数据库回放时出现语法错误。

2) 语法转换成功后,通过流量控制器将待回放的SQL语句根据不同的回放模式进行调度控制,以便验证不同场景的回放结果。流量控制器支持三种回放模式:

仿真模式:完全模拟源数据库的流量和并发进行回放,以便验证相同压力下目标数据库的运行情况。

摸高模式:把源数据库流量等比例成倍增加压力,以便验证目标数据库可以承受的最大压力情况。

一致性模式:以单并发的方式在两个目标数据库回放,确保回放的顺序完全一致,以达到回放后的数据也是一致的目的。回放完成后可通过数据对比工具对比两个目标库的数据,在排除了幂等SQL的前提下,验证所有SQL是否在两个目标库上语义完全一致。

3) SQL回放器往目标数据库中并发回放SQL,场景不同,回放方式也不同。仿真和摸高模式,采用多并发回放,两个目标数据库是独立的,互不干扰。一致性模式,采用单并发回放,两个目标数据库回放是同步,即对于一条SQL,先回放同构目标数据库,成功之后再回放异构目标数据库,如果同构目标数据库回放失败,则该SQL就不再异构目标数据库上回放了。

4) 回放完成的SQL会经过回放分析器进行分析,将回放异常的结果以及根据配置的慢SQL标准分析得出的慢SQL结果存入回放记录表中。

四、应用场景

1. 数据库兼容性和性能验证

互联网客户将云数据库搬迁到华为云数据库RDS for MySQL或GaussDB(for MySQL),以及金融客户使用华为云GaussDB数据库替代传统数据库,可以采用录制回放验证华为云数据库的稳定性和性能。

2. 数据库重大问题复现定位

针对异构数据库搬迁,如某商业数据库搬迁到GaussDB,如内核做了该商业数据库类型的兼容性或者使用UGO进行对象迁移,可以采用录制回放验证存储过程、触发器等对象的执行成功率和结果的正确性。

3. 数据库大版本间升级验证

RDS for MySQL、GaussDB(for MySQL)及GaussDB从各自的低版本升级到高版本,可以采用录制回放验证版本升级后是否存在功能变化或性能劣化。

DRS录制回放,通过业务仿真提前感知业务稳定性和性能,保障客户割接后数据库的稳定可靠运行。

今天的分享就到这里了,欢迎小伙伴们讨论交流~

你可能感兴趣的:(GaussDB经验总结,数据库,gaussdb,oracle,华为云,GaussDB,云原生)