大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记

大数据Hadoop组件常用端口

9000端口是与NameNode进行RPC通信的端口

[root@Hadoop284 hadoop] vi core-site.xml

<property>
	<name>fs.defaultFSname>
    <value>hdfs://CentOS7Hadoop284-111:9000value>
property>

50070端口 Active NameNode Web页面

(active)：http://10.10.10.111:50070

50090端口 Secondary NameNode HDFS Web页面

Secondary NameNode：http://10.10.10.112:50090

50010 50075端口 DataNode Web页面

http://10.10.10.112:50075
http://10.10.10.113:50075/

8088 8042 YARN （Yet Another Resource Negotiator）的Web页面

http://10.10.10.111:8088
http://10.10.10.112:8042
http://10.10.10.113:8042/

ZooKeeper端口

1、2181：对cline端提供服务

2、3888：选举leader使用

3、2888：集群内机器通讯使用（Leader监听此端口）

[root@Hadoop284-111 conf]# vi zoo.cfg

# The number of milliseconds of each tick
# 指定ZooKeeper中的基本时间单元（以毫秒为单位），心跳间隔时间；
tickTime=2000

# The number of ticks that the initial 
# synchronization phase can take
# LF初始通信时限
initLimit=10

# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
# LF同步通信时限
syncLimit=5

# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# dataDir属性设置zookeeper存储持久数据的本地文件系统位置
dataDir=/opt/zookeeper-3.4.10/zpdata
#dataDir=/tmp/zookeeper

# the port at which the clients will connect
# 指定监听客户端连接的端口
clientPort=2181

# server后面的数字id在整体中必须是唯一的，并且应该具有1到255之间的值，所以一个zookeeper集群最多可以有255个机器。
server.1= CentOS7Hadoop284-111:2888:3888
server.2= CentOS7Hadoop284-112:2888:3888
server.3= CentOS7Hadoop284-113:2888:3888

# the maximum number of client connections.
# increase this if you need to handle more clients
# 最大客户端连接数
maxClientCnxns=100

Flume监听端口

# Describe/configure the source 描述source角色，进行内容定制
# 此配置属于TCP source，必须是netcat类型
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

Azkaban端口

[root@Hadoop284-111 conf]# vi azkaban.properties

#Azkaban 执行器 配置
# 时区
#default.timezone.id=America/Los_Angeles
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins插件配置
# 插件位置
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

# 数据库 连接配置
# 数据库连接类型 (目前只支持 mysql)
database.type=mysql
# mysql端口号
mysql.port=3306
# mysql数据库 主机名和IP
mysql.host=localhost
# 数据库 库名 实例名
mysql.database=azkaban
# mysql用户名
mysql.user=root
# mysql密码
mysql.password=
# mysql最大的连接数
mysql.numconnections=100

# Azkaban Executor settings
# 执行器 最大线程数
executor.maxThreads=50
# 执行器 端口 (如修改,请与 web 服务中一致)
executor.port=12321
# 执行器 流 线程数
executor.flow.threads=30

Azkaban Web 服务器8443

https://10.10.10.111:8443

HBase16000

hbase.master.port
[root@Hadoop284-111 conf]# vi hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

    <property>
        <!-- 设置namenode所在位置 通过rootdir设置 也就是设置hdfs中存放的路径 -->
        <name>hbase.rootdir</name>
        <value>hdfs://CentOS7Hadoop284-111:9000/hbase
    </property>     
    
    <property>
        <!-- 是否开启集群 -->
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>     
    
    <property>
        <!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000 -->
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>     
    
    <property>
        <!-- zookeeper集群的位置 -->
        <name>hbase.zookeeper.quorum</name>
        <value>CentOS7Hadoop284-111:2181,CentOS7Hadoop284-112:2181,CentOS7Hadoop284-113:2181</value>
    </property>     
    
    <property>
        <!-- hbase的元数据信息存储在zookeeper的位置 -->
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/zookeeper-3.4.10/hbasezkdata</value>
    </property>

HBase Web UI界面16010

http://10.10.10.111:16010/master-status

Storm端口

[root@Hadoop284-111 conf]# vi storm.yaml
注意：配置中，凡是有冒号的地方，冒号后都要有个空格。

########### These MUST be filled in for a storm configuration
# 配置ZooKeeper节点集群，设置ZooKeeper的主机名称
storm.zookeeper.servers:
- "CentOS7Hadoop284-111"
- "CentOS7Hadoop284-112"
- "CentOS7Hadoop284-113"

# 配置主节点Nimbus进程所在的主机名称
# nimbus.seeds: ["host1", "host2", "host3"]
nimbus.seeds: ["CentOS7Hadoop284-111"]

# 配置Storm的数据存储路径
storm.local.dir: "/optstorm/data"

# 配置Worker的端口号
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

Flink端口8081

http://10.10.10.111:8081

大数据Spark组件常用端口

SPARK_MASTER_PORT 7077

集群运行spark-shell：

spark-shell --master spark://10.10.10.111:7077

要监听的服务端口（默认值：7077用于主服务器，随机用于工作服务）

SPARK_MASTER_WEBUI_PORT

Web UI端口（默认值：8080为master，8081为worker）

Spark Master Web UI 8080

http://10.10.10.111:8080/

SPARK_WORKER_WEBUI_PORT 8081

http://10.10.10.112:8081/
http://10.10.10.113:8081/

Spark context Web UI 4040

http://10.10.10.111:4040