StarRocks 日常运维及优化命令

-- StarRocks 常用命令 -------------------------------------

SHOW PROC '/frontends'\G;
SHOW PROC '/backends'\G;
SHOW PROC '/statistic'\G;

--
show broker;
show proc '/brokers';
sh ./bin/start_broker.sh --daemon

systemctl start starrocks_broker.service
systemctl stop  starrocks_broker.service

-- 查看当前集群的作业信息
SHOW PROC '/jobs'\G;
-- 查看当前集群各种任务类型的总数和失败总数
SHOW PROC '/tasks'\G;

sh ./bin/start_fe.sh --daemon
sh ./bin/stop_fe.sh  --daemon

sh ./bin/start_be.sh --daemon
sh ./bin/stop_be.sh  --daemon

-----------------------------------------------

1. show proc '/';         -- 查看当前集群中的特定指标;
   例如： show proc '/auth';
2. show processlist;  -- 用户查看正在运行的线程

-- 查看表大小 --
show data from ods.table_name_order;
-- 显示指定 db 的下指定表所有 tablet 信息 --
show tablet from ods.table_name_order;

-- 查看后端运行进程
1. show processlist;
2. show full processlist;
-- kill 后端进程
kill 20;

------------------------------------------------
-- java udf 内存控制设置
cd /opt/StarRocks-2.3/be/conf/
vim  hadoop_env.sh

# java udf 内存设置12G
export LIBHDFS_OPTS="-Xmx12288m -Xloggc:$STARROCKS_HOME/log/be.gc.log -server"

ps aux | grep starrocks_be
sh bin/start_be.sh --daemon

ods.java_dept

-- 查看UDF 函数
use sys;
show functions;
+---------------+
| Function Name |
+---------------+
| java_dept     |
| java_enpt     |
| mysql_dept    |

------------------------------------------------
-- 查看表信息
SHOW TABLET table_id;

--  load 数据异常查看
curl --location-trusted -u {user}:{passwd} \
  http://{hostname}:{port}/api/{database}/_load_info?label={labelname}

curl --location-trusted -u root:{passwd} \
  http://IP.50:7040/api/qcwy_traffic_ods/_load_info?label=7e92c004-b620-47b8-bf86-40dd4ab64a05
 
以下示例通过 curl 命令查看 Label 为 insert_load_wikipedia 的导入作业状态。

curl --location-trusted -u root: \
  http://x.x.x.x:8030/api/load_test/_load_info?label=insert_load_wikipedia
 
-- 查看日志问题
curl http://IP.50:7040/api/_load_error_log?file=error_log_2720f220b9ab11ed_b83d00163e2098ca  

您可以通过 curl "url" 命令直接查看错误数据行的信息。也可以通过 wget "url" 命令导出错误数据行的信息，如下所示：
wget "url" 命令导出错误数据行的信息;
wget http://IP.50：7040/api/_load_error_log?file=error_log_2720f220b9ab11ed_b83d00163e2098ca;  

------------------------------------------------
-- shell -> vim 单个字母变色
-- 按下Esc键输入:nohl或:set nohlsearch然后回车

---------------------  副本管理 ---------------------------
BE 节点负载
StarRocks 使用 ClusterLoadStatistics（CLS）表示一个集群中各个 BE 的负载均衡情况;
  1. StarRocks 当前通过 磁盘使用率 和 副本数量 两个指标,为每个 BE 计算得出一个 loadScore,作为 BE 的负载分数;
  2. 分数越高,表示该 BE 的负载越重. TabletScheduler 会每隔 1 分钟更新一次 CLS;
磁盘使用率和副本数量各有一个权重系数
  1. 分别为 capacityCoefficient 和 replicaNumCoefficient,其和衡为 1;
  2. 其中 capac