Kafka之零拷贝技术

       零拷贝技术(zero-copy)是指将数据直接才从磁盘文件复制到网卡设备中,不需要经过应用程序,减少了内核态和用户态的切换和数据复制。java语言的FileChannal.transferTo()方法会调用linux底层的senfFile()方法,来实现该技术。

       一般的文件传输,数据会经历四次复制。

第一次,程序调用read(),将数据从磁盘拷贝到内核模式的ReadBuffer中,

第二次,CPU控制将ReadBuffer中的数据拷贝到用户模式的Application Cache中,

第三次,程序调用write(),将Application Cache下的内容复制到内核模式下的Socket Buffer中,

第四次,Cpu控制将Socket Buffer中的数据拷贝到网卡设备中传输。

 

        相应的用户态和内核态的切换也发生了四次,第一次从用户态切换到内核态,调用Read()。第二次从内核态切换回用户态,将数据拷贝到Application Cache。第三次,从用户态切换到内核态,数据从Application Cache 中拷贝到SocketBuffer。第四次,数据全程拷贝完毕,从内核态又切换会用户态。

        即数据全程发生了四次复制,四次用户态和内核态的切换。

Kafka之零拷贝技术_第1张图片

        可以看见,数据本来就是要从本地磁盘传输到NIC网卡中的,但是现在平白无故从内核态到用户态来回

你可能感兴趣的:(大数据,kafka,大数据)