大数据之 Spark 常用的端口号

Spark 常用的端口号包括:

  1. Driver Web UI 端口:4040,这是 Spark 应用程序(Driver)运行时绑定的端口,用于展示任务运行状态、执行进度、任务细节等监控信息。

  2. Spark Master 服务端口:7077,这是 Spark 在 Standalone 模式下的主节点(Master)与 Worker 节点通信的服务端口,客户端提交应用时也会连接此端口。

  3. Spark Master Web UI 端口:默认为 8080,但这个端口可能会根据实际情况自动调整或手动配置,用户可以通过该端口查看集群的总体状态和各个应用程序的信息。

  4. Spark Worker Web UI 端口:默认情况下,Worker 的 Web UI 端口可能不是固定的,通常会是 8081 或者在 808x 范围内,具体取决于启动时的配置或者系统分配的端口。

  5. Spark History Server 端口:18080,历史服务器提供已完成作业的持久化存储和查询功能,用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。

需要注意的是,这些端口号都可以在 Spark 配置文件中进行自定义设置以满足不同的环境需求。

你可能感兴趣的:(大数据,spark,分布式)