Doris故障恢复

故障日志

data/fe/doris-meta/bdb recoveryTracker should overlap or follow on disk last VLSN 
of 81,809,450 recoveryFirst= 81,809,452 UNEXPECTED_STATE_FATAL: Unexpected internal
state, unable to continue. Environment is invalid and must be closed.

背景

某台实例的fe重启起不来，日志显示是上边的情况。
此节点为OBOBSERVER
错误中的两个数值相差2。导致 FE 启动失败，只能恢复元数据了。

故障恢复操作

1.停止fe， ./bin/stop_fe.sh。备份故障那台 FE的meta_dir目录

2.确定FE的元数据最新节点
查看meta_dir/image 目录，image.xxxx 数字越大，数据越新，一般Master FE 的元数据是最新的。

3.查看集群情况
mysql -h127.0.0.1  -uroot -p"xxxx"   -P 9030
>show frontends;
#显示情况查看图1，查看Alive的状态。

4.操作OBSERVER
OBSERVER的元数据目录meta_dir已经备份，重新创建meta_dir目录

5.OBSERVER节点操作
./bin/start_fe.sh  --helper IP:9010  --daemon

6.Master节点操作
mysql -h127.0.0.1  -uroot -p"xxxx"  -P 9030
>show frontends;  #查看是否恢复正常。

7.其他
./bin/stop_fe.sh
su -
systemctl start doris-fe

图1