基于ambari的大数据平台搭建-01环境初始化

基于ambari的大数据平台搭建-01环境初始化

0. 服务器准备

个人搭建学习用,所以用VMware建5台虚拟机作为服务器集群

  1. 安装VMware(略)。
  2. 新建5台虚拟机(略),建议先装一台,配置后克隆节省时间。

1.主机名及ip规划

  1. 在本地通过cmd输入ipconfig查看主机默认网关与子网掩码
ipconfig
#得到网关及子网掩码信息
以太网适配器 以太网:

   连接特定的 DNS 后缀 . . . . . . . :
   本地链接 IPv6 地址. . . . . . . . :XXX
   IPv4 地址 . . . . . . . . . . . . : XXX
   子网掩码  . . . . . . . . . . . . : 255.255.255.0
   默认网关. . . . . . . . . . . . . : 192.168.31.1
  1. ip规划
主机名 ip
ambari1 192.168.31.101
ambari2 192.168.31.102
ambari3 192.168.31.103

3.进入安装好的虚拟机,修改虚拟器IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=d91763a4-c870-4ee7-bdd1-0a16f78660ea
DEVICE=ens33
# 将ONBOOT改为yes,添加ip地址、网关以及子网掩码配置
ONBOOT=yes
IPADDR=192.168.31.101
GATEWAY=192.168.31.1
NETMASK=255.255.255.0
# 重启network
systemctl restart network

5.修改hostname

vi /etc/hostname
# 将主机名改为ambari1

6.配置hosts主机名识别

vi /etc/hosts
# 添加主机名与ip
192.168.31.101 ambari1
192.168.31.102 ambari2
192.168.31.103 ambari3
192.168.31.104 ambari4
192.168.31.105 ambari5

7.编辑网络配置文件

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=

3.关闭防火墙及seliunx

#查看防火墙状态
firewall-cmd --state
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service

#进入到/etc/selinux/config文件将SELINUX=enforcing改为SELINUX=disabled
vi /etc/selinux/config

4.重启

sync
reboot

5.验证

#查看主机名
hostname
#查看ip
ip addr
#查看是否能ping通外网
ping 192.168.132.2

基于ambari的大数据平台搭建-01环境初始化_第1张图片

6.软硬件要求

1.需要yum和rpm(RHEL/CentOS/Oracle Linux)

2.需要zypper 和 php_curl (SLES)

3.需要apt (Debian/Ubuntu)

4.需要scp, curl, unzip, tar, and wget

5.需要OpenSSL (v1.01, build 16 or later)

6.需要Python 2.7.X(以上软件没有的需要提前安装)

7.Ambari主机应具有至少1 GB内存,500M可用内存。20g磁盘空间。

# 查看内存
free -m

8.建议的最大打开文件描述符数为10000或更多。要检查为最大打开文件描述符数设置的当前值,请在每个主机上执行以下shell命令:

ulimit -Sn

ulimit -Hn
# 如果输出没有10000 可以设置为10000
ulimit -n 10000

8.启用ntp

yum install -y ntp
systemctl enable ntpd
  1. 检测umask值
umask
#如果不是0022
echo umask 0022 >> /ect/profile

6.配置JDK

1.安装前检查是否有Jdk

rpm -qa | grep java

#卸载
rpm -e | grep java

2.下载jdk

#查看版本配套jdk
https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions

# 准备安装HDP3.1.4 只支持java8
# 在JAVA官网下载即可

3.将下载好的JDK文件上传到Linux系统/opt/software

#创建文件夹用于
mkdir -p /opt/software
mkdir -p /opt/module

5.解压jdk到/opt/module

tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/module/

6.配置java环境变量=/opt/module/jdk1.8.0_241

#修改配置文件
vi /etc/profile
#在文件最后加入
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

#使配置生效
source /etc/profile

7. 克隆其他机器

克隆完成后需修改主机名及ip地址

8.附录-其他相关命令

    #查看ip及uuid等信息
    ip addr
    #查看网卡物理地址
    nmcli con show
    #如果uuid与网卡不匹配 可用命令查看网卡对应的uuid
    uuidgen ens33
    #重启网络配置
    systemctl restart network
    
    #如遇错误可查看日志
    cat /var/log/meesage | grep network
dbus-send --system --print-reply --dest=com.redhat.ifcfgrh1 /com/redhat/ifcfgrh1 com.redhat.ifcfgrh1.GetIfcfgDetails string:"/etc/sysconfig/network-scripts/ifcfg-ens33" 2>/dev/null

你可能感兴趣的:(环境搭建)