Apache Doris 2.0.2 安装步骤 Centos8
Linux 操作系统版本需求
| Linux 系统 | 版本 | 当前系统版本 |
|---|---|---|
| CentOS | 7.1 及以上 | CentOS8 |
| Ubuntu | 16.04 及以上 | - |
软件需求
| 软件 | 版本 | 当前版本 |
|---|---|---|
| Java | 1.8 | 1.8.0_391 |
| GCC | 4.8.2 及以上 | gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-4) |
1、查看操作系统版本
方法 1：使用命令行
- 打开终端或命令行窗口。
- 运行以下命令来查看 CentOS 版本信息：
cat /etc/centos-release
如果你看到输出中含有 CentOS 7 或 CentOS 8 的版本号，则可以确定当前系统的 CentOS 版本。
方法 2：使用运行版本命令
- 同样需要打开终端或命令行窗口。
- 运行以下命令来检查 CentOS 系统中
/etc/os-release文件的内容：
cat /etc/os-release
这个命令会显示包含 CentOS 版本信息的输出。在 VERSION_ID 一行中，你将能够看到版本号，从而确定是 CentOS 7 还是 CentOS 8。
无论使用哪种方法，你都将能够确定当前系统运行的是 CentOS 7 还是 CentOS 8。
2、查看GCC版本
要查看 CentOS 8 上安装的 GCC 版本，你可以按照以下方法进行操作：
- 打开终端或命令行窗口。
- 运行以下命令来查看 GCC 版本信息：
gcc --version
该命令将输出 GCC 的版本信息，包括主版本号、次版本号等详细信息。
注意：如果你的系统中未安装 GCC，需要先通过以下命令安装：
sudo dnf install gcc
使用上述步骤，你将能够在 CentOS 8 上查看到安装的 GCC 版本。
3、集群做时钟同步
在 CentOS 8 上，你可以使用 chronyd 服务来进行时钟同步。以下是设置时钟同步的步骤：
-
确保
chronyd服务已安装：sudo dnf install chrony如果你已安装了
chrony，则会显示已安装的版本号。 -
编辑
/etc/chrony.conf文件：sudo vim /etc/chrony.conf打开文件后，你可以根据需要进行配置更改。
-
添加或更改时间服务器： 在
/etc/chrony.conf文件中，你可以找到一些种类为server的行。你可以编辑这些行来添加或更改时间服务器。通常，你可以在互联网上找到公共的时间服务器。例如，你可以在chrony.conf文件中添加以下行：## 注释掉这个一行 # pool 2.centos.pool.ntp.org iburst # FE 同步授时中心cn.ntp.org.cn server cn.ntp.org.cn iburst # BE 同步FE的时间 # server 10.10.8.156 iburst请将
time.example.com替换为你选择的时间服务器。例如：cn.ntp.org.cn -
启动并启用
chronyd服务：sudo systemctl start chronyd sudo systemctl enable chronyd -
检查时钟同步状态：
chronyc sources这将显示与
chronyd同步的时间服务器列表以及同步状态。
通过按照上述步骤设置 chronyd 服务，你将在 CentOS 8 上实现时钟同步。如果你修改了 chrony.conf 配置文件，请确保重新启动 chronyd 服务以使更改生效。
4、设置系统最大打开文件句柄数
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
# 重启服务器生效 reboot
# 通过ulimit 查看是否生效
ulimit -n
5、安装Java环境
# Oracle官网下载，上传JDK jdk-8u391-linux-x64.tar.gz
[root@localhost ~]# cd /u01/
[root@localhost u01]# tar -zxf jdk-8u391-linux-x64.tar.gz
[root@localhost u01]# vim /etc/profile
export JAVA_HOME=/u01/jdk1.8.0_391
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
# 重新加载资源
[root@localhost u01]# source /etc/profile
[root@localhost u01]# java -version
java version "1.8.0_391"
Java(TM) SE Runtime Environment (build 1.8.0_391-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.391-b13, mixed mode)
6、Doris 配置 FE
6.1、查看操作系统是否支持avx2指令集，没有则下载noavx2的安装包。
要检查你的 CentOS 8 系统是否支持 AVX2 指令集，可以使用以下命令来检查 CPU 的功能：
grep avx2 /proc/cpuinfo
如果你看到类似下面的输出，说明你的 CPU 支持 AVX2 指令集：
flags : ... avx2 ...
其中 flags 列表中包含了支持的 CPU 功能标记。如果你在其中找到了 avx2，则表示你的系统 CPU 支持 AVX2 指令集。
如果你的 CPU 不支持 AVX2 指令集，那么在上述输出中将找不到 avx2 标记。
请注意，要确保你的 CPU 支持 AVX2 指令集，你的 CPU 和主板必须支持该功能。虽然 CentOS 8 是一个 64 位操作系统，但该操作系统本身并不影响 CPU 功能。因此，支持 AVX2 指令集取决于你的 CPU 硬件。
6.2 解压缩，修改配置
# 这里没有avx2指令集 下载apache-doris-2.0.2-bin-x64-noavx2.tar.gz
# 上传到服务器 /u01目录下
# 1、解压缩包
[root@localhost u01]# tar -zxf apache-doris-2.0.2-bin-x64-noavx2.tar.gz
# 2、这里把FE的文件夹，单独拿到/u01 方便后面出问题后，删除重新复制一份
[root@localhost u01]# cp -r apache-doris-2.0.2-bin-x64-noavx2/fe/ /u01/
修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 FE 参数配置说明，进行调整。
-
添加 priority_networks 参数
[root@localhost u01]# vim fe/conf/fe.conf # 修改内容如下 priority_networks=x.x.x.0/24注意：
这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。
这里假设你的节点 IP 是
172.23.16.32，那么我们可以通过掩码的方式配置为172.23.16.0/24。 -
添加元数据目录
# 单独配置元数据目录，需要你提前创建好你指定的目录 meta_dir=/u01/fe/doris-meta # 注意：生产环境强烈建议单独指定目录不要放在Doris安装目录下，最好是单独的磁盘（如果有SSD最好），测试开发环境可以使用默认配置(默认是在你的Doris FE 安装目录下的 doris-meta)
6.3 后台启动FE
在 FE 安装目录下执行下面的命令，来完成 FE 的启动。
[root@localhost fe]# ./bin/start_fe.sh --daemon
6.4查看 FE 运行状态
你可以通过下面的命令来检查 Doris 是否启动成功
root@narada:/u01/apache-doris-2.0.2-bin-x64/fe# curl http://127.0.0.1:8030/api/bootstrap
{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"version":""},"count":0}
这里 IP 和 端口分别是 FE 的 IP 和 http_port（默认8030），如果是你在 FE 节点执行，直接运行上面的命令即可。
如果返回结果中带有 "msg":"success" 字样，则说明启动成功。
你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址
http:// fe_ip:8030 即：http://x.x.x.x:8030/
可以看到下面的界面，说明 FE 启动成功
注意：
- 这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
- 这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。
6.5连接 FE
我们下面通过 MySQL 客户端来连接 Doris FE，下载免安装的 MySQL 客户端
解压刚才下载的 MySQL 客户端，在 bin/ 目录下可以找到 mysql 命令行工具。然后执行下面的命令连接 Doris。
[root@localhost bin]# pwd
/u01/mysql-5.7.22/bin
[root@localhost bin]# ./mysql -uroot -P9030 -h127.0.0.1
# 设置登录密码
SET PASSWORD FOR 'root' = PASSWORD('narada2023');
注意：
- 这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理
- -P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的
query_port- -h ： 这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。
- mysql 无法运行的话，要先解决对应报错。
执行下面的命令查看 FE 运行状态
show frontends\G;
然后你可以看到类似下面的结果：
mysql> show frontends\G
*************************** 1. row ***************************
Name: fe_cd86c1da_3c70_4ebe_add6_70c7e39b3827
Host: x.x.x.x
EditLogPort: 9010
HttpPort: 8030
QueryPort: 9030
RpcPort: 9020
Role: FOLLOWER
IsMaster: true
ClusterId: 1027578203
Join: true
Alive: true
ReplayedJournalId: 3379
LastHeartbeat: 2023-12-06 14:29:20
IsHelper: true
ErrMsg:
Version: doris-2.0.2-rc05-ae923f7
CurrentConnected: Yes
1 row in set (0.04 sec)
- 如果 IsMaster、Join 和 Alive 三列均为true，则表示节点正常。
7 Doris配置 BE
7.1 同样解压缩，复制be到/u01
[root@localhost u01]# tar -zxf apache-doris-2.0.2-bin-x64-noavx2.tar.gz
[root@localhost u01]# cp -r apache-doris-2.0.2-bin-x64-noavx2/be/ /u01
我们进入到 be 目录
修改 BE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。
-
添加 priority_networks 参数
[root@localhost u01]# cd be/conf/ [root@localhost conf]# vim be.conf priority_networks=x.x.x.0/24注意：
这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址。
-
配置 BE 数据存储目录
修改 be/conf/be.conf。主要是配置
storage_root_path：数据存放目录。默认在be/storage下，若需要指定目录的话，需要预创建目录。多个路径之间使用英文状态的分号;分隔。
可以通过路径区别节点内的冷热数据存储目录，HDD（冷数据目录）或 SSD（热数据目录）。如果不需要 BE 节点内的冷热机制，那么只需要配置路径即可，无需指定 medium 类型；也不需要修改FE的默认存储介质配置注意：
- 如果未指定存储路径的存储类型，则默认全部为 HDD（冷数据目录）。
- 这里的 HDD 和 SSD 与物理存储介质无关，只为了区分存储路径的存储类型，即可以在 HDD 介质的盘上标记某个目录为 SSD（热数据目录）。
示例1如下：
storage_root_path=/home/disk1/doris;/home/disk2/doris;/home/disk2/doris示例2如下：
使用 storage_root_path 参数里指定 medium
storage_root_path=/home/disk1/doris,medium:HDD;/home/disk2/doris,medium:SSD说明
- /home/disk1/doris,medium:HDD： 表示该目录存储冷数据;
- /home/disk2/doris,medium:SSD： 表示该目录存储热数据;
实际操作： centos这边先不动了，直接用默认目录
# 这里是测试环境没有多余的磁盘 用disk1 disk2 区分，生产环境：挂不同的地址可以用 u01 u02区分 # 预创建目录：/u01/disk1/doris /u01/disk2/doris storage_root_path=/u01/disk1/doris,medium:HDD;/u01/disk2/doris,medium:SSD -
配置 JAVA_HOME 环境变量
由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。所以要预先配置
JAVA_HOME环境变量，也可以在start_be.sh启动脚本第一行添加export JAVA_HOME=your_java_home_path来添加环境变量。**注意：**最开始安装JDK的时候，已经把环境变量配置好了，所有这里不用管
-
安装 Java UDF 函数
安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。
**注意：**发现lib下面已经有 java_extensions/java-udf 。这里把他复制到lib下面
[root@localhost lib]# pwd /u01/be/lib [root@localhost lib]# cp java_extensions/java-udf/java-udf-jar-with-dependencies.jar .7.2 启动 BE
在 BE 安装目录下执行下面的命令，来完成 BE 的启动。
[root@localhost bin]# pwd /u01/be/bin [root@localhost bin]# ./start_be.sh --daemon提示报错1：
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.解决方案：
# 临时修改：使用sysctl命令临时修改参数的值 sysctl -w vm.max_map_count=2000000 # 永久修改:编辑/etc/sysctl.conf文件，并增加或修改以下行： root@narada:/u01/apache-doris-2.0.2-bin-x64/be# vim /etc/sysctl.conf vm.max_map_count=2000000 # 保持文件后，使用一下命令更改生效 root@narada:/u01/apache-doris-2.0.2-bin-x64/be# sysctl -p vm.max_map_count = 2000000提示报错2：
Please disable swap memory before installation.解决方案：
# 关闭交换分区（swap） # 使用swapoff -a命令可以关闭所有已启用的交换分区。在执行此命令之前，应仔细检查已启用的交换分区，并确保关闭它们不会对系统产生不利影响。 swapoff -a7.3添加 BE 节点到集群
通过MySQL 客户端连接到 FE 之后执行下面的 SQL，将 BE 添加到集群中
-- 实例：ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port"; ALTER SYSTEM ADD BACKEND "be1_ip:9050"; ALTER SYSTEM ADD BACKEND "be2_ip:9050"; ALTER SYSTEM ADD BACKEND "be3_ip:9050";- be_host_ip：这里是你 BE 的 IP 地址，和你在
be.conf里的priority_networks匹配 - heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在
be.conf里的heartbeat_service_port匹配，默认是9050。
查看 BE 运行状态
你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。
SHOW BACKENDS\G- Alive : true表示节点运行正常
- be_host_ip：这里是你 BE 的 IP 地址，和你在
常见问题
1、MySQL连接报错
./mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file: No such file or directory
解决方案:
这个错误通常是由于缺少 libncurses.so.5 库文件引起的。要解决这个问题，你可以尝试以下方法：
-
安装 libncurses.so.5 库文件：
sudo dnf install ncurses-compat-libs这个命令将安装 ncurses-compat-libs 软件包，它提供了 libncurses.so.5 库文件。
-
创建软链接： 如果安装了 ncurses-compat-libs 软件包但问题仍存在，可以尝试创建一个软链接来解决：
# 安装以后没有，就再建一个软连接。如果已经有了 就不用管了 sudo ln -s /usr/lib64/libncurses.so.6 /usr/lib64/libncurses.so.5这个命令将在
/usr/lib64目录下创建一个 libncurses.so.5 的软链接指向 libncurses.so.6。
尝试以上解决方法后，再次运行 ./mysql 命令，应该可以成功加载 libncurses.so.5 库文件并启动 MySQL 服务器。
2、导入数据时 max_allowed_packet 值过小
com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large (1,347,330 > 1,048,576). You can change this value on the server by setting the 'max_allowed_packet' variable.
# 查询原来的大小是多少,默认是1G
select @@max_allowed_packet; -- 1048576
# 重新设置大小20*1024*1024; 20代表：20G
set global max_allowed_packet = 20*1024*1024;
3、centos8 查看CPU使用情况
在CentOS中，你可以使用 top 命令来查看 CPU 的使用情况。请按照以下步骤进行操作：
-
打开终端或 SSH 连接到 CentOS 服务器。
-
在终端中输入以下命令并按下回车运行：
top -
在顶部的信息栏中，你将看到类似下面的 CPU 使用情况：
top - 08:45:23 up 1 day, 3:25, 1 user, load average: 0.00, 0.01, 0.05 Tasks: 176 total, 1 running, 175 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem : 2047812 total, 196180 free, 1192144 used, 653488 buff/cache KiB Swap: 0 total, 0 free, 0 used. 659280 avail Mem%Cpu(s)行列出了 CPU 的使用情况。其中，us代表用户进程占用 CPU 的百分比，sy代表系统进程占用 CPU 的百分比，ni代表改变过优先级的进程占用 CPU 的百分比，id代表空闲 CPU 的百分比，wa代表等待 I/O 的进程占用 CPU 的百分比，hi代表硬件中断占用 CPU 的百分比，si代表软件中断占用 CPU 的百分比，st代表虚拟机被强制获取 CPU 时间的百分比。在该信息栏中，你还可以看到系统的负载情况和内存使用情况等。你可以使用箭头键来上下滚动查看更多进程和信息。
除了 top 命令之外，你还可以使用其他一些命令来查看 CPU 使用情况，例如 htop 和 mpstat。这些工具提供了更详细和交互式的 CPU 监控信息。你可以使用 yum 或 dnf 命令安装这些工具。
4、centos8 查看IO使用情况
4.1 使用 iotop ,安装命令 sudo dnf install iotop
在 CentOS 8 中，你可以使用 iotop 命令来查看磁盘 I/O 使用情况。请按照以下步骤进行操作：
-
打开终端或通过 SSH 连接到 CentOS 8 服务器。
-
在终端中输入以下命令并按下回车运行：
iotop -
当命令运行后，你将看到类似下面的实时磁盘 I/O 使用情况的统计信息：
该输出显示了每个活动的进程以及它们的磁盘 I/O 使用情况，包括磁盘读取速度（DISK READ）、磁盘写入速度（DISK WRITE）以及进程的资源占用情况。你可以根据需要来查看特定进程的 I/O 使用情况和排名。
iotop 命令提供了实时的磁盘 I/O 统计信息，可以帮助你监控磁盘活动，找到可能引起性能问题的进程。请注意，你可能需要以 root 用户身份运行 iotop 命令或具有相应权限的用户。如果系统中没有安装 iotop，你可以使用 yum 或 dnf 命令来安装它。
4.2 使用 iostat ，安装命令 sudo dnf install sysstat
iostat 命令可以提供关于磁盘 I/O 统计信息的详细报告。请按照以下步骤进行操作：
-
打开终端或通过 SSH 连接到 CentOS 8 服务器。
-
在终端中输入以下命令并按下回车运行：
iostat -
你将看到类似下面的输出，其中包含了磁盘 I/O 使用情况的统计信息：
Linux 4.18.0-80.11.2.el8_0.x86_64 (centos) 08/25/20 _x86_64_ (1 CPU) avg-cpu: %user %nice %system %iowait %steal %idle 0.10 0.00 0.48 1.13 0.00 98.29 Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 0.83 2.36 2.82 161343 198840 sdb 0.00 0.00 0.00 10 20在输出中，
kB_read/s表示每秒的读取速度（单位为 kB），kB_wrtn/s表示每秒的写入速度（单位为 kB），tps表示每秒的 I/O 操作次数。
4.3 使用 dstat ，安装命令 sudo dnf install dstat
dstat 命令可以提供实时的系统资源监视器，其中包括磁盘 I/O 使用情况。请按照以下步骤进行操作：
-
打开终端或通过 SSH 连接到 CentOS 8 服务器。
-
在终端中输入以下命令并按下回车运行：
dstat -d -
你将看到类似下面的输出，其中包含了磁盘 I/O 使用情况及其他资源的统计信息：
----total-cpu-usage---- --dsk/total- --dsk/sda-- --dsk/sdb-- --net/total- --paging-- ---system-- usr sys idl wai hiq siq| read writ | read writ | read writ | recv send | in out | int csw ...输出中的
read和writ列分别表示读取和写入的数据量。
0.00 10 20
在输出中，`kB_read/s` 表示每秒的读取速度（单位为 kB），`kB_wrtn/s` 表示每秒的写入速度（单位为 kB），`tps` 表示每秒的 I/O 操作次数。
### 4.3 使用 `dstat ` ，安装命令 `sudo dnf install dstat`
`dstat` 命令可以提供实时的系统资源监视器，其中包括磁盘 I/O 使用情况。请按照以下步骤进行操作：
1. 打开终端或通过 SSH 连接到 CentOS 8 服务器。
2. 在终端中输入以下命令并按下回车运行：
dstat -d
3. 你将看到类似下面的输出，其中包含了磁盘 I/O 使用情况及其他资源的统计信息：
----total-cpu-usage---- --dsk/total- --dsk/sda-- --dsk/sdb-- --net/total- --paging-- —system–
usr sys idl wai hiq siq| read writ | read writ | read writ | recv send | in out | int csw
…
输出中的`read`和`writ`列分别表示读取和写入的数据量。
这些工具可以帮助你监控磁盘 I/O 使用情况，以便了解系统的性能和负载情况。你可以根据需要来选择使用其中的一个工具。如果系统中没有安装这些工具，你可以使用 `yum` 或 `dnf` 命令来安装它们。