【大数据学习】第十篇-DataNode工作机制

DataNode工作机制

1. DataNode启动后，首先向NameNode节点注册信息
2. 成功后，开始定时执行数据校验和同步，将自身的数据块列表信息同步到nameNode的映射表上。

3. 同时开启心跳，namenode超时不能收到心跳，datanode将会被移除集群。一些namenode对datanode的操作，也会伴随心跳的返回进行传输。
   具体如下图

   
   
   

   DataNode工作机制

---

数据完整性检查

1. Datanode读取数据时会利用md5校验和比对
2. 当校验和错误，说明block损坏，将从其他datanode上读取数据
3. datanode在创建文件后，会周期性对文件校验和

---

心跳超时设置

    
    dfs.namenode.heartbeat.recheck-interval
    300000


    
     dfs.heartbeat.interval 
    3

---

多目录配置

DataNode和NameNode一样，支持本地多目录。即，将数据存放到不同的目录中。
在hdfs-site.xml中配置

     dfs.datanode.data.dir
     file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2