HBase 搭建过程中常见问题
文章目录
- 进程问题
-
- HQuorumPeer 和 QuorumPeerMain 区别
- HRegionServer
- HMaster 自动关闭
- 启动顺序
- 停止顺序
- 无法关闭一直等待
- 运行报错
- 日志中报错问题
-
- 无法调用方法
- 启动 HBase 无法找到 Hadoop 本机库
进程问题
HQuorumPeer 和 QuorumPeerMain 区别
HQuorumPeer 进程是一个 ZooKeeper 实例，由 HBase 控制和启动。如果没有使用自己的 Zookeeper，而是使用 Hbase 托管的， 那么每个集群节点只能使用一个实例，并且仅适用于测试。
QuorumPeerMain 进程是 Zookeeper 独立的进程， ZooKeeper 在 HBase 之外运行。
HRegionServer
stop-hbase.sh 可能没有关闭 HRegionServer 进程，需要自己关闭
/opt/hbase-2.4.16/bin/hbase-daemon.sh stop regionserver
# 或者 jps 查看进程号，使用 kill -9 杀死进程
HMaster 自动关闭
- 检查 HDFS 的端口
hbase-site.xml中的hbase.rootdir的主机和端口号必须和core-site.xml中的fs.defaultFS的保持一致，即主机相同且端口统一使用8020或者9000。
- 检查 ZooKeeper：
ZooKeeper集群不稳定或者不可用：HMaster依赖于ZooKeeper进行状态管理和协调，如果ZooKeeper出现问题，可能会影响到HMaster的运行。
- 检查网络和防火墙设置：
- 确保
HBase Master能够通过网络与其他节点（包括ZooKeeper）通信。检查网络连接和防火墙设置，确保必要的端口是开放的。
- 确保
- 检查网络：
- 网络中断或不稳定：
HMaster需要与ZooKeeper、RegionServers和其他服务保持稳定的网络连接。网络问题可能导致HMaster无法正常工作并自动关闭。
- 网络中断或不稳定：
启动顺序
zookeepeer➡hadoop➡hbase
./zk.sh start
./myhadoop.sh start
start-hbase.sh
停止顺序
hbase➡hadoop➡zookeepeer
stop-hbase.sh
./myhadoop.sh stop
./zk.sh stop
无法关闭一直等待
单点关闭，去日志里查找问题，日志里会提供关于问题的更多详细信息和上下文。
$HBASE_HOME/bin/hbase-daemon.sh stop master
$HBASE_HOME/bin/hbase-daemon.sh stop regionserver
运行报错
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
at org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2815)
at org.apache.hadoop.hbase.master.MasterRpcServices.isMasterRunning(MasterRpcServices.java:1163)
at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java)
at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:387)
at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:132)
at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:369)
at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:349)
- 等待 Master 启动完成：
HBase Master启动可能需要一些时间。如果你刚刚启动了Master，可能需要等待一段时间让它完全启动并注册到ZooKeeper中。
- 检查 HBase Master 状态：
- 确认
HBase Master进程是否在运行。你可以通过查看系统进程（例如使用jps命令）或者检查HBase的日志文件来确定Master的状态。
- 确认
- 检查 HBase 和 ZooKeeper 配置：
- 确保
HBase和ZooKeeper的配置文件中的地址、端口和其他设置都是正确的。任何错误的配置都可能导致Master无法启动或者无法与ZooKeeper正确通信。
- 确保
- 检查网络和防火墙设置：
- 确保
HBase Master能够通过网络与其他节点（包括ZooKeeper）通信。检查网络连接和防火墙设置，确保必要的端口是开放的。
- 确保
- 查看日志文件：
- 查看
HBase和ZooKeeper的日志文件，它们可能会提供关于问题的更多详细信息和上下文。
- 查看
日志中报错问题
无法调用方法
报错信息如下：
WARN [RS-EventLoopGroup-1-1] concurrent.DefaultPromise: An exception was thrown by org.apache.hadoop.hbase.io.asyncfs.FanOutOneBlockAsyncDFSOutputHelper$4.operationComplete()
java.lang.IllegalArgumentException: object is not an instance of declaring class
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.hbase.io.asyncfs.ProtobufDecoder.<init>(ProtobufDecoder.java:64)
......
解决方案：
1）使用 Hadoop 的 jar 包替换 hbase 的 jar 包，并将 hbase 的 jar 包备份
cp $HADOOP_HOME/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-log4j12-1.7.30.jar
cp $HADOOP_HOME/share/hadoop/common/lib/slf4j-api-1.7.30.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-api-1.7.30.jar
mv $HBASE_HOME/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak
mv $HBASE_HOME/lib/client-facing-thirdparty/slf4j-api-1.7.33.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-api-1.7.33.jar.bak
2）修改 hbase-env.sh
vim $HBASE_HOME/conf/hbase-env.sh
禁用 Hadoop 的类路径查找功能，类路径的查找可能会引发问题或冲突。
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true
3）重新启动 hbase 集群
stop-hbase.sh
start-hbase.sh
启动 HBase 无法找到 Hadoop 本机库
报错信息如下：
WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
官方解决方案：Apache HBase ™ Reference Guide