Hadoop运行模式介绍

Hadoop运行模式主要有三种：

1. 本地运行模式（Local/Stand-alone Mode）

   • 在单机上模拟分布式环境，所有程序都在一个JVM进程中执行。
   • 该模式下，HDFS和MapReduce的守护进程不会启动，而是直接在本地文件系统中处理数据。
   • 主要用于开发和测试阶段，无需设置复杂的集群环境。

2. 伪分布式模式（Pseudo-Distributed Mode）

   • 单节点上的分布模式，在一台服务器上运行所有Hadoop守护进程，包括NameNode、DataNode、ResourceManager、NodeManager等。
   • 在这种模式下，所有的Hadoop服务都以分离的Java进程形式运行，并且使用的是真正的HDFS作为存储，而不是本地文件系统。
   • 数据存储在本机的HDFS目录下，每个守护进程都在同一台机器上运行，但是它们之间通过网络通信协议进行交互，模拟了分布式环境。

3. 完全分布式模式（Fully-Distributed Mode）

   • 多节点集群模式，由多台服务器组成，每台服务器上可能运行不同的Hadoop守护进程。
   • 在此模式下，NameNode运行在一个独立的服务器上，负责管理元数据；DataNodes分布在多个服务器上，提供实际的数据存储；ResourceManager和NodeManagers也各自部署在不同的物理或虚拟机上，共同协作完成计算任务调度与执行。
   • 完全分布式模式下，Hadoop可以处理大规模的数据集，并能利用整个集群的计算资源进行并行处理。这是生产环境中常见的部署方式。

在搭建不同模式的Hadoop环境时，需要对相关配置文件如core-site.xml、hdfs-site.xml、yarn-site.xml等进行相应的修改以适应不同的运行模式需求。