linux搭建大数据环境
前期准备工作
友情提醒提前安装好vmware软件,准备好连接虚拟机的客户端
一. 基础环境
1.配置ip地址
修改ip配置文件
[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" # 1.把dhcp修改成static BOOTPROTO="static" DEFROUTE="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_FAILURE_FATAL="no" IPV6_ADDR_GEN_MODE="stable-privacy" NAME="ens33" UUID="dfd8991d-799e-46b2-aaf0-ed2c95098d58" DEVICE="ens33" ONBOOT="yes" # 2.添加以下内容到文件末尾 IPADDR="192.168.88.101" PREFIX="24" GATEWAY="192.168.88.2" NETMASK="255.255.255.0" DNS1="8.8.8.8" DNS2="114.114.114.114" IPV6_PRIVACY="no"
网络服务(关闭启动重启)
[root@node1 ~]# service network stop
[root@node1 ~]# service network start
[root@node1 ~]# service network restart查看ip地址
[root@node1 /]# ifconfig2.配置主机名
[root@node1 ~]# vim /etc/hostname # 文件内容如下: node1
3.禁用防火墙
友情提醒先关闭再禁用防火墙
[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# systemctl disable firewalld.service查看防火墙状态
[root@node1 ~]# systemctl status firewalld.service默认状态是 Active: active (running) , 关闭后查看状态是Active: inactive (dead)
4.关闭Selinux
SELinux(Security-Enhanced Linux) 是美国国家安全局制造的新安全子系统(它限制了进程只能在允许的范围内操作资源)
如果开启了SELinux, 需要做非常复杂的配置, 才能正常使用系统, 在学习阶段, 在非生产环境, 一般不使用SELinux
SELinux的工作模式：enforcing: 强制模式 permissive:宽容模式 disabled:关闭禁用
[root@node1 ~]# vim /etc/selinux/config# 默认是强制模式SELINUX=enforcing,进入文件修改为关闭即可 SELINUX=disabled
5.时钟同步
[root@node1 ~]# yum -y install ntpdate
[root@node1 ~]# ntpdate ntp4.aliyun.com
[root@node1 ~]# crontab -e# crontab -e命令直接在/var/spool/cron目录中编辑并生成root用户的定时任务 # 分时 日月周 定时每分钟连接阿里云时间同步服务器，进行时钟同步 */1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com
6.创建软件安装目录
[root@node1 ~]# mkdir /export
[root@node1 ~]# cd /export
[root@node1 export]# mkdir data logs server software7.配置域名映射
[root@node1 ~]# vim /etc/hosts# 文件内容如下: 192.168.88.101 node1.itcast.cn node1 192.168.88.102 node2.itcast.cn node2 192.168.88.103 node3.itcast.cn node3
8.重启系统
[root@node1 ~]# reboot
或者
[root@node1 ~]# init 6init 进程是 Linux 内核引导运行的用户级进程 .共有7个等级:
0停机或者关机, 1单用户模式, 2多用户模式, 3完全多用户模式, 4安全模式, 5图形界面模式, 6重启
二. 安装jdk软件
1.上传软件
友情提醒使用CRT等客户端远程上传jdk-8u65-linux-x64.tar.gz文件到/export/software目录下
2.解压软件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/server/3.添加环境变量
[root@node1 software]# vim /etc/profile# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq # 小技巧 : 按G + o快速到文件末尾 export JAVA_HOME=/export/server/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
4.重新加载文件(配置生效)
[root@node1 software]# source /etc/profile5.检查jdk版本
[root@node1 software]# java -version三. 安装mysql软件
0.卸载mariadb-libs
友情提醒centos7内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb
[root@node1 software]# rpm -e --nodeps mariadb-libs1.上传软件
友情提醒使用CRT等客户端远程上传mysql文件文件到/export/software目录下
2.解压软件
[root@node1 software]# mkdir /export/server/mysql5.7
[root@node1 software]# cd /export/software/mysql\ 5.7.29/
[root@node1 mysql 5.7.29]# tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar -C /export/server/mysql5.73.安装mysql
[root@node1 mysql 5.7.29]# cd /export/server/mysql5.7/
[root@node1 mysql5.7]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm4.初始化服务
[root@node1 mysql5.7]# mysqld --initialize5.修改文件用户和组
[root@node1 mysql5.7]# chown mysql:mysql /var/lib/mysql -R6.启动mysql服务
[root@node1 mysql5.7]# systemctl start mysqld.service7.设置开启自动启动
[root@node1 mysql5.7]# systemctl enable mysqld.service8.查看mysql状态
[root@node1 mysql5.7]# systemctl status mysqld9.登录mysql
[root@node1 mysql5.7]# Pass=$(grep 'A temporary password' /var/log/mysqld.log |awk '{print $NF}')
[root@node1 mysql5.7]# mysql -uroot -p"$Pass"10.修改root密码且授权远程访问
mysql> alter user user() identified by "123456";
mysql> use mysql;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;
mysql> exit;[了解]卸载mysql软件
#关闭mysql服务
[root@binzi ~]# systemctl stop mysqld.service
#查找安装mysql的rpm包
[root@binzi ~]# rpm -qa | grep -i mysql
#卸载
[root@binzi ~]# yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64 mysql-community-client-5.7.29-1.el7.x86_64 mysql-community-server-5.7.29-1.el7.x86_64
#查看是否卸载干净
[root@binzi ~]# rpm -qa | grep -i mysql
#查找mysql相关目录 删除
[root@binzi ~]# find / -name mysql
[root@binzi ~]# rm -rf /var/lib/mysql
[root@binzi ~]# rm -rf /var/lib/mysql/mysql
[root@binzi ~]# rm -rf /usr/share/mysql
#删除默认配置和日志
[root@binzi ~]# rm -rf /etc/my.cnf
[root@binzi ~]# rm -rf /var/log/mysqld.log四. 集群设置免密登录
** 友情提醒克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态**
1.克隆出node2虚拟机
1.node1虚拟机: 右键 -> "管理" -> "克隆"
2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写: "node2" 并且选择对应位置"再点击"完成"
3.node2虚拟机: 右键 -> "设置" -> "NAT模式" -> "高级" -> "生成"Mac地址再'确定' -> 最后点击"确定"
node2基础配置
-
修改ip地址
[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33# 注意此操作是在node2中修改ip地址 IPADDR="192.168.88.102"
-
修改主机名
[root@node1 ~]# vim /etc/hostname # 注意此操作是在node2中修改主机名 node2
-
重启虚拟机
[root@node1 ~]# reboot-
查看配置是否生效
[root@node2 ~]# ifconfig2.克隆出node3虚拟机
node3基础配置
-
修改ip地址
[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33# 注意此操作是在node3中修改ip地址 IPADDR="192.168.88.103"
-
修改主机名
[root@node1 ~]# vim /etc/hostname # 注意此操作是在node3中修改主机名 node3
-
重启虚拟机
[root@node1 ~]# reboot-
查看配置是否生效
[root@node3 ~]# ifconfig3.CRT操作所有会话
SecureCRT软件: "查看 "- > 选择"交互窗口" -> 右键选择"发送交互到所有会话"
4.设置免密登录
-
三台虚拟机都生成公钥和私钥
输入命令(注意需要三次回车操作): ssh-keygen
友情提醒三台虚拟机都执行完命令后,在 /root/.ssh 中会自动生成两个文件: id_rsa 和 id_rsa.pub
-
分别拷贝公钥给其他虚拟机
输入命令(注意需要输入yes和密码): ssh-copy-id node1 输入命令(注意需要输入yes和密码): ssh-copy-id node2 输入命令(注意需要输入yes和密码): ssh-copy-id node3
-
测试免密登录
输入命令(注意此时会直接登录成功): ssh node1 输入命令(注意此时会直接登录成功): ssh node2 输入命令(注意此时会直接登录成功): ssh node3
五. 安装hadoop软件
1.上传软件
友情提醒使用CRT等客户端远程上传 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz文件到/export/software目录下
2.解压软件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/3.添加环境变量
[root@node1 software]# vim /etc/profile# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq # 小技巧 : 按G + o快速到文件末尾 export HADOOP_HOME=/export/server/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
-
修改完后重启生效
[root@node1 server]# source /etc/profile4.1修改配置文件[自动方式]
上传文件
友情提醒使用CRT等客户端远程上传 配置好的文件压缩包
hadoop-config.tar文件到/export/software目录下
解压文件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -xvf hadoop-config.tar -C /export/server/覆盖原有文件
[root@node1 software]# mv -f /export/server/hadoop-config/* /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 software]# rm -rf /export/server/hadoop-config* 4.2配置文件详解[手动方式]
①hadoop-env.sh文件
[root@node1 hadoop]# vim hadoop-env.sh# 在55行添加JAVA_HOME,因为Hadoop把当前的执行环境当成远程服务器,所以需要重新配置下 export JAVA_HOME=/export/server/jdk1.8.0_65 # 在440行文件末尾添加以下内容 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root
② core-site.xml文件
[root@node1 hadoop]# vim core-site.xml fs.defaultFS hdfs://node1:8020 hadoop.tmp.dir /export/data/hadoop-3.3.0 hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * fs.trash.interval 1440
③ hdfs-site.xml文件
[root@node1 hadoop]# vim hdfs-site.xml
dfs.namenode.secondary.http-address
node2:9868
④ mapred-site.xml文件
[root@node1 hadoop]# vim mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
node1:10020
mapreduce.jobhistory.webapp.address
node1:19888
yarn.app.mapreduce.am.env
HADOOP_MAPRED_HOME=${HADOOP_HOME}
mapreduce.map.env
HADOOP_MAPRED_HOME=${HADOOP_HOME}
mapreduce.reduce.env
HADOOP_MAPRED_HOME=${HADOOP_HOME}
⑤ yarn-site.xml文件
[root@node1 hadoop]# vim yarn-site.xml
yarn.resourcemanager.hostname
node1
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.pmem-check-enabled
false
yarn.nodemanager.vmem-check-enabled
false
yarn.log-aggregation-enable
true
yarn.log.server.url
http://node1:19888/jobhistory/logs
yarn.log-aggregation.retain-seconds
604800
⑥ workers文件
[root@node1 hadoop]# vim workers# 用以下内容把之前内容覆盖 node1 node2 node3
5.拷贝软件到其他机器
-
友情提醒nod1主机上拷贝到node2和node3中各一份
[root@node1 server]# scp -r /export/server/hadoop-3.3.0 root@node2:/export/server/
[root@node1 server]# scp -r /export/server/hadoop-3.3.0 root@node3:/export/server/-
node2主机配置环境变量
[root@node2 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node2 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node2 server]# source /etc/profile-
node3主机配置环境变量
[root@node3 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node3 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node3 server]# source /etc/profile6.hadoop集群启动[重点]
要启动Hadoop集群，其实就是启动HDFS和YARN两个集群
① 数据初始化
友情提醒首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的
注意： 初始化操作必须在node1中执行
[root@node1 ~]# hdfs namenode -format②单节点逐个启动[了解]
启动HDFS集群
-
在主节点上使用以下命令启动HDFS NameNode
[root@node1 ~]# hdfs --daemon start namenode -
在每个从节点上使用以下命令启动HDFS DataNode
[root@node2 ~]# hdfs --daemon start datanode [root@node3 ~]# hdfs --daemon start datanode -
node2上使用以下命令启动HDFS SecondaryNameNode
[root@node2 ~]# hdfs --daemon start secondarynamenode
启动YARN集群
-
在主节点上使用以下命令启动YARN ResourceManager
[root@node1 ~]# yarn --daemon start resourcemanager -
在每个从节点上使用以下命令启动YARN nodemanager
[root@node2 ~]# yarn --daemon start nodemanager [root@node3 ~]# yarn --daemon start nodemanager
注意: 如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可
③单个集群启动和关闭[了解]
[root@node1 ~]# stop-dfs.sh
[root@node1 ~]# stop-yarn.sh
[root@node1 ~]# start-dfs.sh
[root@node1 ~]# start-yarn.sh④jps查看进程
jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool
[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps⑤一键启动和关闭[重点]
如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行
[root@node1 ~]# stop-all.sh
[root@node1 ~]# start-all.sh⑥启动jobHistory服务[重点]
JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中
[root@node1 ~]# mapred --daemon start historyserver[了解]hadoop shell
[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs -mkdir /binzi
[root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt
[root@node1 ~]# hdfs dfs -ls /binzi
[root@node1 ~]# hdfs dfs -mv /binzi /binzi2
[root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3
[root@node1 ~]# echo hello binzi > a.txt
[root@node1 ~]# hdfs dfs -put /root/a.txt /binzi
[root@node1 ~]# hdfs dfs -cat /binzi/a.txt
[root@node1 ~]# hdfs dfs -get /binzi/a.txt /
[root@node1 ~]# hdfs dfs -rm /binzi/2.txt
[root@node1 ~]# hdfs dfs -rm -r /binzi
[root@node1 ~]# hdfs dfs -ls /
[root@node1 ~]# hdfs dfs 回车六. 集群web-ui[重点]
一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：
访问HDFS的NameNode主机 : http://192.168.88.101:9870/
访问YARN的ResourceManager主机 : http://192.168.88.101:8088/
注意: 想要上传文件夹需要配置本地域名映射
本地配置域名映射
如果在windows下，去访问 node1 或者是访问 node1.itcast.cn 的时候是被不到。
可以进入 C:\Windows\System32\drivers\etc 目录打开hosts文件,添加以下内容:
192.168.88.101 node1.itcast.cn node1 192.168.88.102 node2.itcast.cn node2 192.168.88.103 node3.itcast.cn node3
配置完成后,可以直接通过node1访问
HDFS: http://node1:9870/
YARN: http://node1:8088/
查看计算任务jobhistory
jobhistory: http://node1:19888/jobhistory
七. 安装hive软件
课程中采用远程模式部署hive的metastore服务。在node1机器上安装。
注意：以下两件事在启动hive之前必须确保正常完成。
1、提前安装mysql,确保具有远程访问的权限
2、启动hadoop集群,确保集群正常能够访问
1.上传软件
友情提醒使用CRT等客户端远程上传 apache-hive-3.1.2-bin.tar.gz 文件到/export/software目录下
2.解压软件
[root@node1 software]# cd /export/software/
[root@node1 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server/3.解决Hive与Hadoop之间guava版本差异
[root@node1 software]# rm -rf /export/server/apache-hive-3.1.2-bin/lib/guava-19.0.jar
[root@node1 software]# cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/4.添加环境变量
[root@node1 software]# vim /etc/profile# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq # 友情提醒小技巧 : 按G + o快速到文件末尾 export HIVE_HOME=/export/server/apache-hive-3.1.2-bin export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/sbin
-
修改完后重启生效
[root@node1 server]# source /etc/profile5.修改配置文件
①hive-env.sh
-
修改文件名称
[root@node1 software]# cd /export/server/apache-hive-3.1.2-bin/conf [root@node1 conf]# mv hive-env.sh.template hive-env.sh -
打开文件写入数据
[root@node1 conf]# vim hive-env.sh# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq # 小技巧 : 按G + o快速到文件末尾 export HADOOP_HOME=/export/server/hadoop-3.3.0 export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib
②hive-site.xml
友情提醒该文件默认是没有的，需要我们自己创建
-
打开文件写入数据
[root@node1 conf]# vim hive-site.xmljavax.jdo.option.ConnectionURL jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 hive.server2.thrift.bind.host node1 hive.metastore.uris thrift://node1:9083 hive.metastore.event.db.notification.api.auth false
6.上传mysql驱动
-
上传驱动
上传mysql-connector-java-5.1.32.jar到 /export/software/mysql 5.7.29/ 下
-
移动驱动
[root@node1 conf]# cd /export/software/mysql\ 5.7.29/ [root@node1 mysql 5.7.29]# cp mysql-connector-java-5.1.32.jar /export/server/apache-hive-3.1.2-bin/lib/
7.初始化元数据
友情提醒按如下操作初始化成功后会在mysql中创建74张表
[root@node1 mysql 5.7.29]# cd /export/server/apache-hive-3.1.2-bin/
[root@node1 apache-hive-3.1.2-bin]# schematool -initSchema -dbType mysql -verbos注意: 初始化成功会在 mysql中创建 74张表
[root@node1 apache-hive-3.1.2-bin]# mysql -uroot -p123456 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hive3 | | mysql | | performance_schema | | sys | +--------------------+ 5 rows in set (0.00 sec)
8.在hdfs创建hive存储目录
友情提醒前提: 启动hdfs服务
[root@node1 apache-hive-3.1.2-bin]# hdfs dfs -mkdir /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -mkdir -p /user/hive/warehouse
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /tmp
[root@node1 apache-hive-3.1.2-bin]# hadoop fs -chmod g+w /user/hive/warehouse9.启动hive服务[重点]
-
启动metastore服务
一代客户端 : 启动metastore服务
输入 命令: hive 可以直接进行数据库操作
# 前台启动(一般不用) # ctrl+c关闭
[root@node1 apache-hive-3.1.2-bin]# hive --service metastore [root@node1 apache-hive-3.1.2-bin]# hive --service metastore --hiveconf hive.root.logger=DEBUG,console#后台启动 回车后进程挂起 关闭使用jps+ kill -9
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore & [root@node1 apache-hive-3.1.2-bin]# hive# 直接输入show databases;查看表
hive> show databases;# 结果OK default...说明成功
-
启动hiveserver2服务
二代客户端 : 启动metastore和hiveserver2服务
输入命令: beeline 两次验证
注意: 启动hiveserver2需要一定的时间 不要启动之后立即beeline连接 可能连接不上
[root@node1 apache-hive-3.1.2-bin]# nohup hive --service metastore & [root@node1 apache-hive-3.1.2-bin]# nohup hive --service hiveserver2 & [root@node1 apache-hive-3.1.2-bin]# lsof -i:10000 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 18804 root 520u IPv6 266172 0t0 TCP *:ndmp (LISTEN) [root@node1 apache-hive-3.1.2-bin]# beeline# 先输入!connect jdbc:hive2://node1:10000连接
beeline> !connect jdbc:hive2://node1:10000# 再输入用户名root,密码不用输入直接回车即可
Enter username for jdbc:hive2://node1:10000: root Enter password for jdbc:hive2://node1:10000:# 输入show databases;查看表
0: jdbc:hive2://node1:10000> show databases;# 结果OK default...说明成功
八. 安装zookeeper软件
1.上传软件
友情提醒使用CRT等客户端远程上传 zookeeper-3.4.6.tar.gz 文件到/export/software目录下
2.解压软件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf zookeeper-3.4.6.tar.gz -C /export/server/
[root@node1 software]# cd /export/server/
[root@node1 server]# mv zookeeper-3.4.6 zookeeper3.添加环境变量
[root@node1 server]# vim /etc/profile# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq # 小技巧 : 按G + o快速到文件末尾
export ZOOKEEPER_HOME=/export/server/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin-
修改完后重启生效
[root@node1 server]# source /etc/profile4.创建数据目录添加myid值为1
[root@node1 server]# mkdir -p /export/server/zookeeper/zkdatas/
[root@node1 server]# echo 1 > /export/server/zookeeper/zkdatas/myid5.修改配置文件
[root@node1 server]# cd /export/server/zookeeper/conf/
[root@node1 conf]# cp zoo_sample.cfg zoo.cfg
[root@node1 conf]# vim zoo.cfg# 修改数据存放目录 dataDir=/export/server/zookeeper/zkdatas # 添加集群中服务地址 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888
6.拷贝到软件到其他机器
-
nod1主机上拷贝到node2和node3中各一份
[root@node1 conf]# cd /export/server/
[root@node1 server]# scp -r /export/server/zookeeper/ node2:/export/server/
[root@node1 server]# scp -r /export/server/zookeeper/ node3:/export/server/-
node2上修改myid值并且添加环境变量
[root@node2 ~]# echo 2 > /export/server/zookeeper/zkdatas/myid
# 配置环境变量
[root@node2 ~]# echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
[root@node2 ~]# echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
[root@node2 ~]# source /etc/profile-
node3上修改myid值并且添加环境变量
[root@node3 ~]# echo 3 > /export/server/zookeeper/zkdatas/myid
# 配置环境变量
[root@node3 ~]# echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
[root@node3 ~]# echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
[root@node3 ~]# source /etc/profile7.zookeeper服务启动[重点]
如下命令三台服务器均可操作: stop:停止 start:开启 status:状态
友情提醒可以使用crt发送交互到所有会话
# 启动服务
[root@node123 bin]# zkServer.sh start
# 查看状态(leader或者follower或者observer)
[root@node123 bin]# zkServer.sh status
# 如果想关闭可以使用stop
[root@node123 bin]# zkServer.sh stop8.命令jps查看进程
jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool
[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps[了解]zookeeper shell
-
进入命令行工具: zkCli.sh -server 主机地址
# 方式1:直接连接本地 [root@node1 ~]# zkCli.sh # 方式2:连接其他节点 [root@node1 ~]# zkCli.sh -server node2 -
查看zk shell命令: help
[zk: node1(CONNECTED) 0] help -
创建节点: create [-e] [-s] path data acl 解释:默认持久节点,-e表示临时节点，-s表示序列化节点, acl用来进行权限控制
# 创建节点 [zk: node1(CONNECTED) 1] create /a 111111 [zk: node1(CONNECTED) 2] create -e /b 222222 [zk: node1(CONNECTED) 3] create -s /aa 333333 [zk: node1(CONNECTED) 4] create -e -s /bb 444444 # 查看节点 [zk: node1(CONNECTED) 5] ls / [a, b, bb0000000004, aa0000000003, zookeeper] [zk: node1(CONNECTED) 6] quit # 再次登录后查看节点 [zk: node1(CONNECTED) 0] ls / [a, aa0000000003, zookeeper] # 删除节点 [zk: node1(CONNECTED) 1] rmr /a [zk: node1(CONNECTED) 2] rmr /aa0000000003 # 历史命令 [zk: node1(CONNECTED) 3] history
九. Hadoop高可用环境搭建
友情提醒确定提前安装好了hadoop和zookeeper
1.删除原有数据文件
三台机器都要进行删除
可以使用CRT发送交互到所有会话
rm -rf /export/data/hadoop2.安装软件
三台机器都要进行安装
注意: 如果网络较慢安装失败,那就重复安装即可
# 实现多个服务的通讯
yum install psmisc -y 如果yum不能使用请配置yum源 ( 能下载安装请忽略 )
1.修改原有的yum仓库文件. 进入操作目录: cd /etc/yum.repos.d
mv CentOS-Base.repo CentOS-Base.repo.bak2.下载阿里云的镜像文件
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo3.情况缓存
yum clean all4.建立新的缓存
yum makecache3.修改配置文件
先只修改node1,最后拷贝给其他机器
进入hadoop目录
[root@node1 /]# cd /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 hadoop]# ls修改hadoop-env.sh
在文件最后添加下面两行
export HDFS_JOURNALNODE_USER=root export HDFS_ZKFC_USER=root
修改core-site.xml
注意： 将之前 configuration 里面的内容全部替换掉
fs.defaultFS hdfs://cluster1 hadoop.tmp.dir /export/data/ha-hadoop ha.zookeeper.quorum node1:2181,node2:2181,node3:2181 hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
修改hdfs-site.xml
友情提醒： 将之前 configuration 里面的内容全部替换掉
dfs.nameservices cluster1 dfs.ha.namenodes.cluster1 nn1,nn2 dfs.namenode.rpc-address.cluster1.nn1 node1:8020 dfs.namenode.http-address.cluster1.nn1 node1:50070 dfs.namenode.rpc-address.cluster1.nn2 node2:8020 dfs.namenode.http-address.cluster1.nn2 node2:50070 dfs.namenode.shared.edits.dir qjournal://node1:8485;node2:8485;node3:8485/cluster1 dfs.journalnode.edits.dir /export/data/journaldata dfs.ha.automatic-failover.enabled true dfs.client.failover.proxy.provider.cluster1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.ha.fencing.ssh.connect-timeout 30000
修改yarn-site.xml
友情提醒： 将之前 configuration 里面的内容全部替换掉
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id yrc yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 node1 yarn.resourcemanager.hostname.rm2 node2 yarn.resourcemanager.zk-address node1:2181,node2:2181,node3:2181 yarn.nodemanager.aux-services mapreduce_shuffle
拷贝给node2
[root@node1 ~]# scp -r /export/server/hadoop-3.3.0/ node2:/export/server/拷贝给node3
[root@node1 ~]# scp -r /export/server/hadoop-3.3.0/ node3:/export/server/4.启动高可用服务
注意：一定要按照以下的顺序进行启动
启动Zookeeper服务
三台机器都启动
zkServer.sh start启动journalnode服务
三台机器都要启动
hadoop-daemon.sh start journalnodecd /export/data : 进入目录查看journaldata目录是否生成
初始化 namenode
先在node1上执行初始化
[root@node1 data]# hdfs namenode -format
# 查看ha-hadoop目录是否生成
[root@node1 data]# ls
ha-hadoop journaldata将初始化生成的目录，复制到 node2 下
[root@node1 data]# scp -r /export/data/ha-hadoop/ node2:/export/data/格式化zkfc服务
注意： 要在 node1 上进行启动
[root@node1 data]# hdfs zkfc -formatZK启动hadoop服务
注意: 要在node1 上进行启动
DFSZKFailoverController服务真正是hadoop启动起来的
[root@node1 data]# start-all.sh查看所有服务
jps5.web页面查看
hdfs服务: 192.168.88.161:50070 192.168.88.162:50070 yarn服务: 192.168.88.161:8088 192.168.88.162:8088
-- 关闭主hdfs 观察备用是否切换.
hdfs --daemon stop namenode