Hadoop-HDFS架构

HDFS(hadoop distribute file system)包含如下3个模块:NameNode、DataNode、SecondaryNameNode

1.NameNode

namenode是整个文件系统的管理节点,它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表,接收用户的操作请求。

文件包括：

1. fsimage:元数据镜像文件,存储某一时段NameNode内存元数据信息。
2. edits:操作日志文件。
3. fstime:保存最近一次checkpoint的时间

以上这些文件是保存在linux的文件系统中,namenode始终在内存中保存metedata，用于处理“读请求”到有“写请求”到来时，namenode会首先写editlog到磁盘，即向edits文件中写日志，成功返回后，才会修改内存，并且向客户端返回Hadoop会维护一个fsimage文件，也就是namenode中metedata的镜像，但是fsimage不会随时与namenode内存中的metedata保持一致，而是每隔一段时间通过合并edits文件来更新内容。Secondary namenode就是用来合并fsimage和edits文件来更新NameNode的metedata的。

2.SecondaryNameNode

SecondaryNameNode从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，替换旧的fsimage.

3.DataNode

DataNode提供真实文件数据的存储服务。文件块（block）：最基本的存储单位。

对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。

HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block.不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间Replication,起默认副本是三个。