网络协议汇总

1.HTTP协议

 1.认识URL

  平时我们俗称的 "网址" 其实就是说的 URL

URL中的字符只能是ASCII字符，但是ASCII字符比较少，而URL则常常包含ASCII字符集以外的字符，如非英语字符、汉字、特殊符号等等，所以要对URL进行转换。这个过程就叫做URL编码，或者叫URL转义，实质上就是将包含非ASCII字符的URL转换为有效的ASCII字符格式。

转义的规则如下 :

将需要转码的字符转为 16 进制，然后从右到左，取 4 位 ( 不足 4 位直接处理 ) ，每 2 位做一位，前面加上 % ，编码成 %XY格式，它对应于该字符在ISO-8859-1字符集里的编码值。

2.HTTP协议

 超文本传输协议（Hypertext Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出；而 消息内容则具有一个类似MIME的格式。

HTTP是基于客户/服务器模式，且面向连接的。典型的HTTP事务处理有如下的过程：

（1）客户与服务器建立连接；

（2）客户向服务器提出请求；

（3）服务器接受请求，并根据请求返回相应的文件作为应答；

（4）客户与服务器关闭连接。

HTTP报文格式

HTTP报文由从客户机到服务器的请求和从服务器到客户机的响应构成。

请求报文格式如下： 请求行 － 通用信息头 － 请求头 － 实体头 － 报文主体

应答报文格式如下：

状态行 － 通用信息头 － 响应头 － 实体头 － 报文主体

状态码元由3位数字组成，表示请求是否被理解或被满足。

HTTP请求

首行 : [ 方法 ] + [url] + [ 版本 ]

Header: 请求的属性 , 冒号分割的键值对 ; 每组属性之间使用 \n 分隔 ; 遇到空行表示 Header 部分结束

Body: 空行后面的内容都是 Body. Body 允许为空字符串 . 如果 Body 存在 , 则在 Header 中会有一个Content-Length属性来标识 Body 的长度 ;

HTTP响应

首行 : [ 版本号 ] + [ 状态码 ] + [ 状态码解释 ]

Header: 请求的属性 , 冒号分割的键值对 ; 每组属性之间使用 \n 分隔 ; 遇到空行表示 Header 部分结束

Body: 空行后面的内容都是 Body. Body 允许为空字符串 . 如果 Body 存在 , 则在 Header 中会有一个Content-Length属性来标识 Body 的长度 ; 如果服务器返回了一个 html 页面 , 那么 html 页面内容就是在body中 .

HTTP的方法

HTTP的状态码

1XX:信息提示

2XX:成功

3XX:重定向

4XX:客户端错误

5XX:服务器错误

HTTP常见Header

Content-Type: 数据类型 (text/html 等 )

Content-Length: Body 的长度

Host: 客户端告知服务器 , 所请求的资源是在哪个主机的哪个端口上 ;

User-Agent: 声明用户的操作系统和浏览器版本信息 ;

referer: 当前页面是从哪个页面跳转过来的 ;

location: 搭配 3xx 状态码使用 , 告诉客户端接下来要去哪里访问 ;

Cookie: 用于在客户端存储少量信息 . 通常用于实现会话 (session) 的功能 ;

HTTP1.0和HTTP1.1的区别：

1.长连接：HTTP1.0只支持浏览器与服务器的短连接，即每次请求都要重新建立连接，服务器无法记录每个历史请求，HTTP1.1支持长连接即在一次连接下，浏览器可以向服务器发送多次请求
2.增加Host字段：HTTP1.0中认为每个服务器都绑定这唯一一个IP，所有发送的请求头URL中没有host信息，而HTTP1.1在请求和响应中都支持了host头域，且请求消息中如果没有Host头域会报告一个错误(400 Bad Request)
3.缓存：HTTP1.1在1.0的基础上加入了一些cache的新特性，当缓存对象的Age超过Expire时变为stale对象，cache不需要直接抛弃stale对象，而是与源服务器进行重新激活（revalidation）。
4.错误提示：HTTP1.0中定义了16个状态码，对错误或警告的提示不够具体。HTTP1.1引入了一个Warning头域，增加对错误或警告信息的描述，并且还新增了24个状态响应码，如409(Conflict)表示请求的资源与资源的当前状态发生冲突；410(Gone)表示服务器上的某个资源被永久性的删除。

HTTP1.X和HTTP2.0的区别

 1.增加二进制格式解析：HTTP1.X解析基于文本，而文本格式本身就具有多样性，很多场景下不方便，而引入二进制后，只有0和1组合，使解析更加方便也增强了健壮性
2.多路复用：即每个request都是是用作连接共享机制的，每个request都对应一个id，使一个连接可以有多个请求，再根据id将request归属到不同的服务端请求里
3.header压缩：HTTP1.X中，每次传输都要写点header头，占用了大量数据，因此HTTP2.0在客户端和服务端各保存了一份header fields表，每次传输时只需传输header的更新信息，将header fields表更新即可实现header传输
4.服务端推送：HTTP2.0也添加了server push功能

2.HTTPS协议

HTTPS （全称：Hypertext Transfer Protocol Secure ），是以安全为目标的 HTTP 通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性 。HTTPS 在HTTP 的基础下加入SSL，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL。 HTTPS 存在不同于 HTTP 的默认端口及一个加密/身份验证层（在 HTTP与 TCP 之间）。这个系统提供了身份验证与加密通讯方法。 

其保证安全性的做法是通过证书验证和对信息混合加密的方式。

对称加密

采⽤单钥 密码系统 的加密⽅法，同⼀个 密钥 可以同时⽤作信息的加密和解密，这种加密⽅法称为对称加密，也称为单密钥加密，特征：加密和解密所⽤的密钥是相同的

• 常⻅对称加密算法(了解)： DES 、 3DES 、AES、TDEA、 Blowfish 、RC2等

• 特点：算法公开、计算量⼩、加密速度快、加密效率⾼

对称加密其实就是通过同⼀个 "密钥" , 把明⽂加密成密⽂, 并且也能把密⽂解密成明⽂. 

非对称加密 

需要两个 密钥 来进⾏加密和解密，这两个密钥是 公开密钥 （public key，简称公钥）和私有密钥

（private key，简称私钥）。

• 常⻅⾮对称加密算法(了解)：RSA，DSA，ECDSA

• 特点：算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂，⽽使得加密解密速度没有对称加密解密的速度快。

⾮对称加密要⽤到两个密钥, ⼀个叫做 "公钥", ⼀个叫做 "私钥".

公钥和私钥是配对的. 最⼤的缺点就是运算速度⾮常慢，⽐对称加密要慢很多.

• 通过公钥对明⽂加密, 变成密⽂

• 通过私钥对密⽂解密, 变成明⽂

也可以反着⽤

• 通过私钥对明⽂加密, 变成密⽂

• 通过公钥对密⽂解密, 变成明⽂

数据摘要&&数据指纹

• 数字指纹(数据摘要),其基本原理是利⽤单向散列函数(Hash函数)对信息进⾏运算,⽣成⼀串固定⻓度的数字摘要。数字指纹并不是⼀种加密机制,但可以⽤来判断数据有没有被窜改。

• 摘要常⻅算法：有 MD5 、SHA1、SHA256、SHA512等，算法把⽆限的映射成有限，因此可能会有碰撞（两个不同的信息，算出的摘要相同，但是概率⾮常低）

• 摘要特征：和 加密算法 的区别是，摘要严格意义不是加密，因为没有解密，只不过从摘要很难反推原信息，通常⽤来进⾏数据对⽐

数据签名

摘要经过加密，就得到数字签名，签名的形成是基于⾮对称加密算法的。

混合加密技术：

混合加密技术：结合对称加密与非对称加密
服务端生成私钥，再通过私钥生成公钥，然后将公钥放在证书中颁发给客户端
使用公钥和私钥以非对称方式加密生成密钥
客户端接下来的传输数据中，都会用密钥以对称方式对信息加密，再传输给服务端 

引入证书 

CA认证

服务端在使⽤HTTPS前，需要向CA机构申领⼀份数字证书，数字证书⾥含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书⾥获取公钥就⾏了，证书就如⾝份证，证明服务端公钥的权威性

 

3.UDP协议

UDP协议端格式

16 位 UDP 长度 , 表示整个数据报 (UDP 首部 +UDP 数据 ) 的最大长度 ;

如果校验和出错 , 就会直接丢弃 ;

UDP的特点

无连接 : 知道对端的 IP 和端口号就直接进行传输 , 不需要建立连接 ;

不可靠 : 没有确认机制 , 没有重传机制 ; 如果因为网络故障该段无法发到对方 , UDP 协议层也不会给应用层返回任何错误信息;

面向数据报 : 不能够灵活的控制读写数据的次数和数量

面向数据报

应用层交给 UDP 多长的报文 , UDP 原样发送 , 既不会拆分 , 也不会合并 ;

用 UDP 传输 100 个字节的数据

如果发送端调用一次 sendto, 发送 100 个字节 , 那么接收端也必须调用对应的一次 recvfrom, 接收 100 个字节; 而不能循环调用 10 次 recvfrom, 每次接收 10 个字节

UDP的缓冲区

UDP 没有真正意义上的 发送缓冲区 . 调用 sendto 会直接交给内核 , 由内核将数据传给网络层协议进行后续的传输动作;

UDP 具有接收缓冲区 . 但是这个接收缓冲区不能保证收到的 UDP 报的顺序和发送 UDP 报的顺序一致 ; 如果缓冲区满了, 再到达的 UDP 数据就会被丢弃

UDP的socket既能读, 也能写, 这个概念叫做 全双工。 

UDP使用注意事项

我们注意到 , UDP 协议首部中有一个 16 位的最大长度 . 也就是说一个 UDP 能传输的数据最大长度是 64K( 包含 UDP 首部).

然而 64K 在当今的互联网环境下 , 是一个非常小的数字 .

如果我们需要传输的数据超过 64K, 就需要在应用层手动的分包 , 多次发送 , 并在接收端手动拼装 ;

基于UDP的应用层协议

NFS: 网络文件系统

TFTP: 简单文件传输协议

DHCP: 动态主机配置协议

BOOTP: 启动协议 ( 用于无盘设备启动 )

DNS: 域名解析协议

当然, 也包括你自己写UDP程序时自定义的应用层协议; 

4.TCP协议

传输控制协议（TCP，Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的传输层通信协议 。

TCP协议段格式

源 / 目的端口号 : 表示数据是从哪个进程来 , 到哪个进程去 ;

4 位 TCP 报头长度 : 表示该 TCP 头部有多少个 32 位 bit( 有多少个 4 字节 ); 所以 TCP头部最大长度是15 * 4 = 60

6 位标志位 :

        URG: 紧急指针是否有效

        ACK: 确认号是否有效

        PSH: 提示接收端应用程序立刻从 TCP 缓冲区把数据读走

        RST: 对方要求重新建立连接 ; 我们把携带 RST 标识的称为 复位报文段

        SYN: 请求建立连接 ; 我们把携带 SYN 标识的称为 同步报文段

        FIN: 通知对方 , 本端要关闭了 , 我们称携带 FIN 标识的为 结束报文段

16 位校验和 : 发送端填充 , CRC 校验 . 接收端校验不通过 , 则认为数据有问题 . 此处的检验和不光包含 TCP 首部 , 也包含TCP 数据部分 .

16 位紧急指针 : 标识哪部分数据是紧急数据 ;

40 字节头部选项 : 暂时忽略 ;

确认应答机制（ACK）

TCP 将每个字节的数据都进行了编号 . 即为序列号 .

每一个ACK都带有对应的确认序列号, 意思是告诉发送者, 我已经收到了哪些数据; 下一次你从哪里开始发.

超时重传机制

主机 A 发送数据给 B 之后 , 可能因为网络拥堵等原因 , 数据无法到达主机 B;

如果主机 A 在一个特定时间间隔内没有收到 B 发来的确认应答 , 就会进行重发

但是, 主机A未收到B发来的确认应答, 也可能是因为ACK丢失了

因此主机 B 会收到很多重复数据 . 那么 TCP 协议需要能够识别出那些包是重复的包 , 并且把重复的丢弃掉 .这时候我们可以利用前面提到的序列号, 就可以很容易做到去重的效果 .

那么 , 如果超时的时间如何确定 ?

最理想的情况下, 找到一个最小的时间, 保证 "确认应答一定能在这个时间内返回".

但是这个时间的长短 , 随着网络环境的不同 , 是有差异的 .

如果超时时间设的太长 , 会影响整体的重传效率 ;

如果超时时间设的太短 , 有可能会频繁发送重复的包 ;

TCP为了保证无论在任何环境下都能比较高性能的通信, 因此会动态计算这个最大超时时间。

Linux 中 (BSD Unix 和 Windows 也是如此 ), 超时以 500ms 为一个单位进行控制 , 每次判定超时重发的超时时间都是500ms 的整数倍 .

如果重发一次之后 , 仍然得不到应答 , 等待 2*500ms 后再进行重传 .

如果仍然得不到应答 , 等待 4*500ms 进行重传 . 依次类推 , 以指数形式递增 .

累计到一定的重传次数 , TCP 认为网络或者对端主机出现异常 , 强制关闭连接

连接管理机制

在正常情况下, TCP要经过三次握手建立连接, 四次挥手断开连接。

服务端状态转化

[CLOSED -> LISTEN] 服务器端调用 listen 后进入 LISTEN 状态 , 等待客户端连接 ;

[LISTEN -> SYN_RCVD] 一旦监听到连接请求 ( 同步报文段 ), 就将该连接放入内核等待队列中 , 并向客户端发送SYN 确认报文 .

[SYN_RCVD -> ESTABLISHED] 服务端一旦收到客户端的确认报文 , 就进入 ESTABLISHED 状态 , 可以进行读写数据了.

[ESTABLISHED -> CLOSE_WAIT] 当客户端主动关闭连接 ( 调用 close), 服务器会收到结束报文段 , 服务器返回确认报文段并进入CLOSE_WAIT;

[CLOSE_WAIT -> LAST_ACK] 进入 CLOSE_WAIT 后说明服务器准备关闭连接 ( 需要处理完之前的数据 ); 当服务器真正调用close 关闭连接时 , 会向客户端发送 FIN, 此时服务器进入 LAST_ACK 状态 , 等待最后一个ACK到来 ( 这个 ACK 是客户端确认收到了 FIN)

[LAST_ACK -> CLOSED] 服务器收到了对 FIN 的 ACK, 彻底关闭连接

客户端状态转化

[CLOSED -> SYN_SENT] 客户端调用 connect, 发送同步报文段 ;

[SYN_SENT -> ESTABLISHED] connect 调用成功 , 则进入 ESTABLISHED 状态 , 开始读写数据 ;

[ESTABLISHED -> FIN_WAIT_1] 客户端主动调用 close 时 , 向服务器发送结束报文段 , 同时进入FIN_WAIT_1;

[FIN_WAIT_1 -> FIN_WAIT_2] 客户端收到服务器对结束报文段的确认 , 则进入 FIN_WAIT_2, 开始等待服务器的结束报文段;

[FIN_WAIT_2 -> TIME_WAIT] 客户端收到服务器发来的结束报文段 , 进入 TIME_WAIT, 并发出 LAST_ACK;

[TIME_WAIT -> CLOSED] 客户端要等待一个 2MSL(Max Segment Life, 报文最大生存时间 ) 的时间 , 才会进入CLOSED 状态 .

滑动窗口

刚才我们讨论了确认应答策略 , 对每一个发送的数据段 , 都要给一个 ACK 确认应答 . 收到 ACK 后再发送下一个数据段 . 这样做有一个比较大的缺点, 就是性能较差 . 尤其是数据往返的时间较长的时候 .

既然这样一发一收的方式性能较低 , 那么我们一次发送多条数据 , 就可以大大的提高性能 ( 其实是将多个段的等待时间重叠在一起了).

 

窗口大小指的是无需等待确认应答而可以继续发送数据的最大值 . 上图的窗口大小就是 4000 个字节 ( 四个段).

发送前四个段的时候 , 不需要等待任何 ACK, 直接发送 ;

收到第一个 ACK 后 , 滑动窗口向后移动 , 继续发送第五个段的数据 ; 依次类推 ;

操作系统内核为了维护这个滑动窗口 , 需要开辟 发送缓冲区 来记录当前还有哪些数据没有应答 ; 只有确认应答过的数据, 才能从缓冲区删掉 ;

窗口越大 , 则网络的吞吐率就越高 ;

那么如果出现了丢包 , 如何进行重传 ? 这里分两种情况讨论 .

情况一 : 数据包已经抵达 , ACK 被丢了

这种情况下, 部分ACK丢了并不要紧, 因为可以通过后续的ACK进行确认;

情况二: 数据包就直接丢了

当某一段报文段丢失之后 , 发送端会一直收到 1001 这样的 ACK, 就像是在提醒发送端 " 我想要的是 1001"一样;

如果发送端主机连续三次收到了同样一个 "1001" 这样的应答 , 就会将对应的数据 1001 - 2000 重新发送 ;

这个时候接收端收到了 1001 之后 , 再次返回的 ACK 就是 7001 了 ( 因为 2001 - 7000) 接收端其实之前就已经收到了, 被放到了接收端操作系统内核的 接收缓冲区 中 ; 

这种机制被称为 "高速重发控制"(也叫 "快重传")

流量控制

接收端处理数据的速度是有限的 . 如果发送端发的太快 , 导致接收端的缓冲区被打满 , 这个时候如果发送端继续发送 ,就会造成丢包, 继而引起丢包重传等等一系列连锁反应 . 因此TCP 支持根据接收端的处理能力 , 来决定发送端的发送速度 . 这个机制就叫做 流量控制 (Flow Control) ;

接收端将自己可以接收的缓冲区大小放入 TCP 首部中的 " 窗口大小 " 字段 , 通过 ACK 端通知发送端 ;

窗口大小字段越大 , 说明网络的吞吐量越高 ;

接收端一旦发现自己的缓冲区快满了 , 就会将窗口大小设置成一个更小的值通知给发送端 ;

发送端接受到这个窗口之后 , 就会减慢自己的发送速度 ;

如果接收端缓冲区满了 , 就会将窗口置为 0; 这时发送方不再发送数据 , 但是需要定期发送一个窗口探测数据段, 使接收端把窗口大小告诉发送端

拥塞控制

虽然 TCP 有了滑动窗口这个大杀器 , 能够高效可靠的发送大量的数据 . 但是如果在刚开始阶段就发送大量的数据 , 仍然可能引发问题.

因为网络上有很多的计算机 , 可能当前的网络状态就已经比较拥堵 . 在不清楚当前网络状态下 , 贸然发送大量的数据 ,是很有可能引起雪上加霜的.

TCP 引入 慢启动 机制 , 先发少量的数据 , 探探路 , 摸清当前的网络拥堵状态 , 再决定按照多大的速度传输数据 ;

 

此处引入一个概念程为 拥塞窗口

发送开始的时候 , 定义拥塞窗口大小为 1;

每次收到一个 ACK 应答 , 拥塞窗口加 1;

每次发送数据包的时候 , 将拥塞窗口和接收端主机反馈的窗口大小做比较 , 取较小的值作为实际发送的窗口;

像上面这样的拥塞窗口增长速度 , 是指数级别的 . " 慢启动 " 只是指初使时慢 , 但是增长速度非常快 .

为了不增长的那么快 , 因此不能使拥塞窗口单纯的加倍 .

此处引入一个叫做慢启动的阈值

当拥塞窗口超过这个阈值的时候 , 不再按照指数方式增长 , 而是按照线性方式增长

当 TCP 开始启动的时候 , 慢启动阈值等于窗口最大值 ;

在每次超时重发的时候 , 慢启动阈值会变成原来的一半 , 同时拥塞窗口置回 1

少量的丢包 , 我们仅仅是触发超时重传 ; 大量的丢包 , 我们就认为网络拥塞 ;

当 TCP 通信开始后 , 网络吞吐量会逐渐上升 ; 随着网络发生拥堵 , 吞吐量会立刻下降 ;

拥塞控制 , 归根结底是 TCP 协议想尽可能快的把数据传输给对方 , 但是又要避免给网络造成太大压力的折中方案 .

TCP 拥塞控制这样的过程 , 就好像 热恋的感觉

延迟应答

如果接收数据的主机立刻返回 ACK 应答 , 这时候返回的窗口可能比较小 .

假设接收端缓冲区为 1M. 一次收到了 500K 的数据 ; 如果立刻应答 , 返回的窗口就是 500K;

但实际上可能处理端处理的速度很快 , 10ms 之内就把 500K 数据从缓冲区消费掉了 ;

在这种情况下 , 接收端处理还远没有达到自己的极限 , 即使窗口再放大一些 , 也能处理过来 ;

如果接收端稍微等一会再应答 , 比如等待 200ms 再应答 , 那么这个时候返回的窗口大小就是 1M;

一定要记得 , 窗口越大 , 网络吞吐量就越大 , 传输效率就越高 . 我们的目标是在保证网络不拥塞的情况下尽量提高传输效率;

那么所有的包都可以延迟应答么 ? 肯定也不是 ;

数量限制 : 每隔 N 个包就应答一次 ;

时间限制 : 超过最大延迟时间就应答一次 ;

具体的数量和超时时间 , 依操作系统不同也有差异 ; 一般 N 取 2, 超时时间取 200ms;

捎带应答

在延迟应答的基础上 , 我们发现 , 很多情况下 , 客户端服务器在应用层也是 " 一发一收 " 的 . 意味着客户端给服务器说了 "How are you", 服务器也会给客户端回一个 "Fine, thank you";

那么这个时候 ACK 就可以搭顺风车 , 和服务器回应的 "Fine, thank you" 一起回给客户端

面向字节流

创建一个 TCP 的 socket, 同时在内核中创建一个 发送缓冲区 和一个 接收缓冲区 ;

调用 write 时 , 数据会先写入发送缓冲区中 ;

如果发送的字节数太长 , 会被拆分成多个 TCP 的数据包发出 ;

如果发送的字节数太短 , 就会先在缓冲区里等待 , 等到缓冲区长度差不多了 , 或者其他合适的时机发送出去;

接收数据的时候 , 数据也是从网卡驱动程序到达内核的接收缓冲区 ;

然后应用程序可以调用 read 从接收缓冲区拿数据 ;

另一方面 , TCP 的一个连接 , 既有发送缓冲区 , 也有接收缓冲区 , 那么对于这一个连接 , 既可以读数据 , 也可以写数据. 这个概念叫做 全双工

由于缓冲区的存在 , TCP 程序的读和写不需要一一匹配 , 例如 :

写 100 个字节数据时 , 可以调用一次 write 写 100 个字节 , 也可以调用 100 次 write, 每次写一个字节 ;

读 100 个字节数据时 , 也完全不需要考虑写的时候是怎么写的 , 既可以一次 read 100 个字节 , 也可以一次read一个字节 , 重复 100 次 ;

粘包问题

首先要明确 , 粘包问题中的 " 包 " , 是指的应用层的数据包 .

在 TCP 的协议头中 , 没有如同 UDP 一样的 " 报文长度 " 这样的字段 , 但是有一个序号这样的字段 .

站在传输层的角度 , TCP 是一个一个报文过来的 . 按照序号排好序放在缓冲区中 .

站在应用层的角度 , 看到的只是一串连续的字节数据 .

那么应用程序看到了这么一连串的字节数据 , 就不知道从哪个部分开始到哪个部分 , 是一个完整的应用层数据包.

那么如何避免粘包问题呢 ? 归根结底就是一句话 , 明确两个包之间的边界 .

对于定长的包 , 保证每次都按固定大小读取即可 ; 例如上面的 Request 结构 , 是固定大小的 , 那么就从缓冲区从头开始按sizeof(Request) 依次读取即可 ;

对于变长的包 , 可以在包头的位置 , 约定一个包总长度的字段 , 从而就知道了包的结束位置 ;

对于变长的包 , 还可以在包和包之间使用明确的分隔符 ( 应用层协议 , 是程序猿自己来定的 , 只要保证分隔符不和正文冲突即可);

对于 UDP 协议来说 , 是否也存在 " 粘包问题 " 呢 ?

对于 UDP, 如果还没有上层交付数据 , UDP 的报文长度仍然在 . 同时 , UDP 是一个一个把数据交付给应用层. 就有很明确的数据边界 .

站在应用层的站在应用层的角度 , 使用 UDP 的时候 , 要么收到完整的 UDP 报文 , 要么不收 . 不会出现 " 半个" 的情况

listen的第二个参数

对于服务器, listen 的第二个参数设置为 2, 并且不调用 accept

此时启动 3 个客户端同时连接服务器, 用 netstat 查看服务器状态, 一切正常.

但是启动第四个客户端时 , 发现服务器对于第四个连接的状态存在问题了

客户端状态正常 , 但是服务器端出现了 SYN_RECV 状态 , 而不是 ESTABLISHED 状态

这是因为 , Linux 内核协议栈为一个 tcp 连接管理使用两个队列 :

1. 半链接队列（用来保存处于 SYN_SENT 和 SYN_RECV 状态的请求）

2. 全连接队列（ accpetd 队列）（用来保存处于 established 状态，但是应用层没有调用 accept 取走的请求）

而全连接队列的长度会受到 listen 第二个参数的影响 .

全连接队列满了的时候 , 就无法继续让当前连接的状态进入 established 状态了 .

这个队列的长度通过上述实验可知 , 是 listen 的第二个参数 + 1.

5.IP协议

主机 : 配有 IP 地址 , 但是不进行路由控制的设备 ; 路由器 : 即配有 IP 地址 , 又能进行路由控制 ; 节点 : 主机和路由器的统称;

协议头格式

4 位版本号 (version): 指定 IP 协议的版本 , 对于 IPv4 来说 , 就是 4.

4 位头部长度 (header length): IP 头部的长度是多少个 32bit, 也就是 length * 4 的字节数 . 4bit 表示最大的数字是15, 因此 IP 头部最大长度是 60 字节 .

8 位服务类型 (Type Of Service): 3 位优先权字段 ( 已经弃用 ), 4 位 TOS 字段 , 和 1 位保留字段 ( 必须置为 0). 4 位TOS分别表示 : 最小延时 , 最大吞吐量 , 最高可靠性 , 最小成本 . 这四者相互冲突 , 只能选择一个 . 对于ssh/telnet这样的应用程序 , 最小延时比较重要 ; 对于 ftp 这样的程序 , 最大吞吐量比较重要 .

16 位总长度 (total length): IP 数据报整体占多少个字节 .

16 位标识 (id): 唯一的标识主机发送的报文 . 如果 IP 报文在数据链路层被分片了 , 那么每一个片里面的这个id都是相同的 .

3 位标志字段 : 第一位保留 ( 保留的意思是现在不用 , 但是还没想好说不定以后要用到 ). 第二位置为 1 表示禁止分片, 这时候如果报文长度超过 MTU, IP 模块就会丢弃报文 . 第三位表示 " 更多分片 ", 如果分片了的话 ,

最后一个分片置为 1, 其他是 0. 类似于一个结束标记 .

13 位分片偏移 (framegament offset): 是分片相对于原始 IP 报文开始处的偏移 . 其实就是在表示当前分片在原报文中处在哪个位置. 实际偏移的字节数是这个值 * 8 得到的 . 因此 , 除了最后一个报文之外 , 其他报文的长度必须是8 的整数倍 ( 否则报文就不连续了 ).

8 位生存时间 (Time To Live, TTL): 数据报到达目的地的最大报文跳数 . 一般是 64. 每次经过一个路由 , TTL -= 1, 一直减到 0 还没到达 , 那么就丢弃了 . 这个字段主要是用来防止出现路由循环

8 位协议 : 表示上层协议的类型

16 位头部校验和 : 使用 CRC 进行校验 , 来鉴别头部是否损坏 .

32 位源地址和 32 位目标地址 : 表示发送端和接收端 .

选项字段 ( 不定长 , 最多 40 字节 )

网段划分

IP 地址分为两个部分 , 网络号和主机号

网络号 : 保证相互连接的两个网段具有不同的标识 ;

主机号 : 同一网段内 , 主机之间具有相同的网络号 , 但是必须有不同的主机号 ;

不同的子网其实就是把网络号相同的主机放到一起 .

如果在子网中新增一台主机 , 则这台主机的网络号和这个子网的网络号一致 , 但是主机号必须不能和子网中的其他主机重复.

通过合理设置主机号和网络号 , 就可以保证在相互连接的网络中 , 每台主机的 IP 地址都不相同 .

那么问题来了 , 手动管理子网内的 IP, 是一个相当麻烦的事情 .

有一种技术叫做 DHCP, 能够自动的给子网内新增主机节点分配 IP 地址 , 避免了手动管理 IP 的不便 .

一般的路由器都带有 DHCP 功能 . 因此路由器也可以看做一个 DHCP 服务器 .

过去曾经提出一种划分网络号和主机号的方案 , 把所有 IP 地址分为五类 , 如下图所示 。

A 类 0.0.0.0 到 127.255.255.255

B 类 128.0.0.0 到 191.255.255.255

C 类 192.0.0.0 到 223.255.255.255

D 类 224.0.0.0 到 239.255.255.255

E 类 240.0.0.0 到 247.255.255.255

随着 Internet 的飞速发展 , 这种划分方案的局限性很快显现出来 , 大多数组织都申请 B 类网络地址 , 导致 B 类地址很快就分配完了, 而 A 类却浪费了大量地址。

针对这种情况提出了新的划分方案 , 称为 CIDR(Classless Interdomain Routing):

引入一个额外的子网掩码 (subnet mask) 来区分网络号和主机号 ;

子网掩码也是一个 32 位的正整数 . 通常用一串 "0" 来结尾 ;

将 IP 地址和子网掩码进行 " 按位与 " 操作 , 得到的结果就是网络号 ;

网络号和主机号的划分与这个 IP 地址是 A 类、 B 类还是 C 类无关

特殊的IP地址

将 IP 地址中的主机地址全部设为 0, 就成为了网络号 , 代表这个局域网 ;

将 IP 地址中的主机地址全部设为 1, 就成为了广播地址 , 用于给同一个链路中相互连接的所有主机发送数据包;

127.* 的 IP 地址用于本机环回 (loop back) 测试 , 通常是 127.0.0.1

IP地址的数量限制

CIDR 在一定程度上缓解了 IP 地址不够用的问题 ( 提高了利用率 , 减少了浪费 , 但是 IP 地址的绝对上限并没有增加 ), 仍然不是很够用. 这时候有三种方式来解决 :

动态分配 IP 地址 : 只给接入网络的设备分配 IP 地址 . 因此同一个 MAC 地址的设备 , 每次接入互联网中 , 得到的IP 地址不一定是相同的 ;

NAT 技术 ( 后面会重点介绍 );

IPv6: IPv6 并不是 IPv4 的简单升级版 . 这是互不相干的两个协议 , 彼此并不兼容 ; IPv6 用 16 字节 128 位来表示一个IP 地址 ; 但是目前 IPv6 还没有普及 ;

私网IP地址和公网IP地址

如果一个组织内部组建局域网 ,IP 地址只用于局域网内的通信 , 而不直接连到 Internet 上 , 理论上 使用任意的 IP 地址都可以, 但是 RFC 1918 规定了用于组建局域网的私有 IP 地址

10.*, 前 8 位是网络号 , 共 16,777,216 个地址

172.16. 到 172.31. , 前 12 位是网络号 , 共 1,048,576 个地址

192.168.*, 前 16 位是网络号 , 共 65,536 个地址

包含在这个范围中的 , 都成为私有 IP, 其余的则称为全局 IP( 或公网 IP）

一个路由器可以配置两个 IP 地址 , 一个是 WAN 口 IP, 一个是 LAN 口 IP( 子网 IP).

路由器 LAN 口连接的主机 , 都从属于当前这个路由器的子网中 .

不同的路由器 , 子网 IP 其实都是一样的 ( 通常都是 192.168.1.1). 子网内的主机 IP 地址不能重复 . 但是子网之间的IP 地址就可以重复了 .

子网内的主机需要和外网进行通信时 , 路由器将 IP 首部中的 IP 地址进行替换 ( 替换成 WAN 口 IP), 这样逐级替换, 最终数据包中的 IP 地址成为一个公网 IP. 这种技术称为 NAT(Network Address Translation ，网络地址转换)

路由

路由的过程 , 就是这样一跳一跳 (Hop by Hop) " 问路 " 的过程 .

所谓 " 一跳 " 就是数据链路层中的一个区间 . 具体在以太网中指从源 MAC 地址到目的 MAC 地址之间的帧传输区间 .

IP 数据包的传输过程也和问路一样 .

当 IP 数据包 , 到达路由器时 , 路由器会先查看目的 IP;

路由器决定这个数据包是能直接发送给目标主机 , 还是需要发送给下一个路由器 ;

依次反复 , 一直到达目标 IP 地址 ;

那么如何判定当前这个数据包该发送到哪里呢 ? 这个就依靠每个节点内部维护一个路由表

路由表可以使用route命令查看

如果目的 IP 命中了路由表 , 就直接转发即可 ;

路由表中的最后一行 , 主要由下一跳地址和发送接口两部分组成 , 当目的地址与路由表中其它行都不匹配时, 就按缺省路由条目规定的接口发送到下一跳地址。

这台主机有两个网络接口 , 一个网络接口连到 192.168.10.0/24 网络 , 另一个网络接口连到

192.168.56.0/24 网络 ;

路由表的 Destination 是目的网络地址 ,Genmask 是子网掩码 ,Gateway 是下一跳地址 ,Iface 是发送接口,Flags 中的 U 标志表示此条目有效 ( 可以禁用某些 条目 ),G 标志表示此条目的下一跳地址是某个路由器的地址, 没有 G 标志的条目表示目的网络地址是与本机接口直接相连的网络 , 不必经路由器转发 ;

 6.以太网

" 以太网 " 不是一种具体的网络 , 而是一种技术标准 ; 既包含了数据链路层的内容 , 也包含了一些物理层的内容. 例如 : 规定了网络拓扑结构 , 访问控制方式 , 传输速率等 ;

例如以太网中的网线必须使用双绞线 ; 传输速率有 10M, 100M, 1000M 等 ;

以太网是当前应用最广泛的局域网技术 ; 和以太网并列的还有令牌环网 , 无线 LAN 等 ;

源地址和目的地址是指网卡的硬件地址 ( 也叫 MAC 地址 ), 长度是 48 位 , 是在网卡出厂时固化的 ;

帧协议类型字段有三种值 , 分别对应 IP 、 ARP 、 RARP;

帧末尾是 CRC 校验码

MAC地址

MAC 地址用来识别数据链路层中相连的节点 ;

长度为 48 位 , 及 6 个字节 . 一般用 16 进制数字加上冒号的形式来表示 ( 例如 : 08:00:27:03:fb:19)

在网卡出厂时就确定了 , 不能修改 . mac 地址通常是唯一的 ( 虚拟机中的 mac 地址不是真实的 mac 地址 , 可能会冲突; 也有些网卡支持用户配置 mac 地址

MTU

MTU相当于发快递时对包裹尺寸的限制. 这个限制是不同的数据链路对应的物理层, 产生的限制.

以太网帧中的数据长度规定最小46 字节 , 最大 1500 字节 ,ARP 数据包的长度不够 46 字节 , 要在后面补填充位;

最大值 1500 称为以太网的最大传输单元 (MTU), 不同的网络类型有不同的 MTU;

如果一个数据包从以太网路由到拨号链路上 , 数据包长度大于拨号链路的 MTU 了 , 则需要对数据包进行分片(fragmentation);

不同的数据链路层标准的 MTU 是不同的 ;

MTU对IP协议的影响

由于数据链路层MTU的限制, 对于较大的IP数据包要进行分包.

将较大的 IP 包分成多个小包 , 并给每个小包打上标签 ;

每个小包 IP 协议头的 16 位标识 (id) 都是相同的 ;

每个小包的 IP 协议头的 3 位标志字段中 , 第 2 位置为 0, 表示允许分片 , 第 3 位来表示结束标记 ( 当前是否是最后一个小包, 是的话置为 1, 否则置为 0);

到达对端时再将这些小包 , 会按顺序重组 , 拼装到一起返回给传输层 ;

一旦这些小包中任意一个小包丢失 , 接收端的重组就会失败 . 但是 IP 层不会负责重新传输数据

MTU对TCP协议的影响

TCP 的一个数据报也不能无限大 , 还是受制于 MTU. TCP 的单个数据报的最大消息长度 , 称为 MSS(Max Segment Size);

TCP 在建立连接的过程中 , 通信双方会进行 MSS 协商 .

最理想的情况下 , MSS 的值正好是在 IP 不会被分片处理的最大长度 ( 这个长度仍然是受制于数据链路层的MTU).

双方在发送 SYN 的时候会在 TCP 头部写入自己能支持的 MSS 值 .

然后双方得知对方的 MSS 值之后 , 选择较小的作为最终 MSS.

MSS 的值就是在 TCP 首部的 40 字节变长选项中 (kind=2)

MSS和MTU的关系  

7.ARP协议

ARP协议的作用

ARP 协议建立了主机 IP 地址 和 MAC 地址 的映射关系 .

在网络通讯时 , 源主机的应用程序知道目的主机的 IP 地址和端口号 , 却不知道目的主机的硬件地址 ; 数据包首先是被网卡接收到再去处理上层协议的, 如果接收到的数据包的硬件地址与本机不符 , 则直接丢弃; 因此在通讯前必须获得目的主机的硬件地址;

 ARP协议的工作流程

源主机发出 ARP 请求 , 询问 “IP 地址是 192.168.0.1 的主机的硬件地址是多少 ”, 并将这个请求广播到本地网段( 以太网帧首部的硬件地址填 FF:FF:FF:FF:FF:FF 表示广播 );

目的主机接收到广播的 ARP 请求 , 发现其中的 IP 地址与本机相符 , 则发送一个 ARP 应答数据包给源主机 , 将自己的硬件地址填写在应答包中;

每台主机都维护一个 ARP 缓存表 , 可以用 arp -a 命令查看。缓存表中的表项有过期时间 ( 一般为 20 分钟 ), 如果20 分钟内没有再次使用某个表项 , 则该表项失效 , 下次还要发 ARP 请求来获得目的主机的硬件地址

ARP数据报的格式

注意到源 MAC 地址、目的 MAC 地址在以太网首部和 ARP 请求中各出现一次 , 对于链路层为以太网的情况是多余的, 但如果链路层是其它类型的网络则有可能是必要的。

硬件类型指链路层网络类型 ,1 为以太网 ;

协议类型指要转换的地址类型 ,0x0800 为 IP 地址 ;

硬件地址长度对于以太网地址为 6 字节 ;

协议地址长度对于和 IP 地址为 4 字节 ;

op 字段为 1 表示 ARP 请求 ,op 字段为 2 表示 ARP 应答

8.DNS

DNS是一整套从域名映射到IP的系统  

DNS背景

TCP/IP 中使用 IP 地址和端口号来确定网络上的一台主机的一个程序 . 但是 IP 地址不方便记忆 .

于是人们发明了一种叫主机名的东西 , 是一个字符串 , 并且使用 hosts 文件来描述主机名和 IP 地址的关系 .

最初 , 通过互连网信息中心 (SRI-NIC) 来管理这个 hosts 文件的 .

如果一个新计算机要接入网络 , 或者某个计算机 IP 变更 , 都需要到信息中心申请变更 hosts 文件 .

其他计算机也需要定期下载更新新版本的 hosts 文件才能正确上网 .

这样就太麻烦了 , 于是产生了 DNS 系统 .

一个组织的系统管理机构 , 维护系统内的每个主机的 IP 和主机名的对应关系

如果新计算机接入网络 , 将这个信息注册到数据库中 ;

用户输入域名的时候 , 会自动查询 DNS 服务器 , 由 DNS 服务器检索数据库 , 得到对应的 IP 地址 .

至今 , 我们的计算机上仍然保留了 hosts 文件 . 在域名解析的过程中仍然会优先查找 hosts 文件的内容 .

cat /etc/hosts

域名简介

主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称 .

www.baidu.com

域名使用 . 连接

com: 一级域名 . 表示这是一个企业域名 . 同级的还有 "net"( 网络提供商 ), "org"( 非盈利组织 ) 等 .

baidu: 二级域名 , 公司名 .

www: 只是一种习惯用法 . 之前人们在使用域名时 , 往往命名成类似于 ftp.xxx.xxx/ www.xxx.xxx 这样的格式, 来表示主机支持的协议 .

9.NAT技术

NAT IP转换过程

NAT 路由器将源地址从 10.0.0.10 替换成全局的 IP 202.244.174.37;

NAT 路由器收到外部的数据时 , 又会把目标 IP 从 202.244.174.37 替换回 10.0.0.10;

在 NAT 路由器内部 , 有一张自动生成的 , 用于地址转换的表 ;

当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系 ;

NAPT

那么问题来了 , 如果局域网内 , 有多个主机都访问同一个外网服务器 , 那么对于服务器返回的数据中 , 目的 IP 都是相同的. 那么 NAT 路由器如何判定将这个数据包转发给哪个局域网的主机 ?

这时候 NAPT 来解决这个问题了 . 使用 IP+port 来建立这个关联关系

这种关联关系也是由 NAT 路由器自动维护的 . 例如在 TCP 的情况下 , 建立连接时 , 就会生成这个表项 ; 在断开连接后 , 就会删除这个表项

 NAT技术的缺陷

由于 NAT 依赖这个转换表 , 所以有诸多限制 :

无法从 NAT 外部向内部服务器建立连接 ;

装换表的生成和销毁都需要额外开销 ;

通信过程中一旦 NAT 设备异常 , 即使存在热备 , 所有的 TCP 连接也都会断开 ;

NAT和代理服务器

路由器往往都具备 NAT 设备的功能 , 通过 NAT 设备进行中转 , 完成子网设备和其他子网设备的通信过程 . 代理服务器看起来和NAT 设备有一点像 . 客户端像代理服务器发送请求 , 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后 , 代理服务器又把结果回传给客户端 .

那么 NAT 和代理服务器的区别有哪些呢 ?

从应用上讲 , NAT 设备是网络基础设备之一 , 解决的是 IP 不足的问题 . 代理服务器则是更贴近具体应用 , 比如通过代理服务器进行, 另外像迅游这样的加速器 , 也是使用代理服务器 .

从底层实现上讲 , NAT 是工作在网络层 , 直接对 IP 地址进行替换 . 代理服务器往往工作在应用层 .

从使用范围上讲 , NAT 一般在局域网的出口部署 , 代理服务器可以在局域网做 , 也可以在广域网做 , 也可以跨网.

从部署位置上看 , NAT 一般集成在防火墙 , 路由器等硬件设备上 , 代理服务器则是一个软件程序 , 需要部署在服务器上.

代理服务器又分为正向代理和反向代理 .