HDFS详解二之读写流程

1.读流程

1.1 、Client通过FileSystem.open(filePath)方法,与NN节点进行【rpc】协议通信，校验是否有权限是否存在，假如都ok，返回该文件的部分或全部的block的列表(包含各个block块的分布在DN地址的列表)，也就是返回【FSDataInputStream】对象；
1.2、Clinet调用FSDataInputStream.read方法。
a.与第一个块的最近的DN进行read，读取完成后，会check,假如ok，会关闭与当前的DN的通信；假如失败会记录块的这个副本+DN信息，向NN汇报这个块副本损坏，下次就不会从这读取。那么就去该块的第二个DN的地址读取
b.然后读取第二个块，步骤和a一样
c.假如block列表读取完成后，文件还未结束，那么FileSystem会从NN获取下一批次的block的列表。
1.3、Client调用FSDataInputStream.close()方法，关闭输入流。
2、写流程

2.1 、Client调用FileSystem.create(filePath)方法,与NN进行【rpc】通信，检验该路径是否有权限创建是否文件存在，假如ok，就创建一个新的文件，但不关联任何的block，返回一个【FSDataOutputStream】（假如不ok，直接返回错误)

2.2、 Client调用FSDataOutputStream.write方法
a.将第一个块的第一个副本写入DN1,第一个副本写完传输给第二个DN2,第二个副本写完就传输给第三个DN3，当第DN3写完，就返回一个ack packet给DN2，DN2就返回ack packet给DN1，DN1就返回ack packet的FSDataOutputStream对象，标识第一个块的三个副本都写完了
b.余下的块依次这样
2.3、 当向文件写入数据完成后，Client调用FSDataOutputStream.close()方法
关闭输出流
2.4、 再调用FileSystem.complete()方法，告诉NN节点写入成功。

思考题:

1个DN,1个副本,DN挂了能不能读/写?
3DN,3副本,其中一个DN挂了，能不能读内容+写？
10DN,3副本,其中一个DN挂了，能不能读内容+写？

1个DN,1个副本,DN挂了,肯定没法写了,读文件目录等信息,还是ok的,但是读文件内容是没法的
3个DN,3个副本,1个DN挂了,没法写,因为无法满足副本数=3,内容是可以读的,因为还有其他两个DN有每个block的副本
10个DN,3个副本,1个DN挂了,可以读写,资源富足
总结:
只要存活的DN>=副本数,可以写,否则不能写,读是需要看是读目录还是读内容,读能容只需要至少存在一个DN就行了,目录都能读