本篇博客参考自:https://github.com/CyC2018/CS-Notes/blob/master/docs/notes/计算机网络.md
最近一直在看计网,虽然基础知识过了一遍,但是仍然感觉掌握不牢,可能过一段时间就忘记了,等有时间了找个关于网络的项目做一下,把这些基础再巩固巩固。
网络把主机连接起来,而互联网是把多种不同的网络连接起来,因此互联网是网络的网络。
互联网服务提供商 ISP 可以从互联网管理机构获得许多 IP 地址,同时拥有通信线路以及路由器等联网设备,个人或机构向 ISP 缴纳一定的费用就可以接入互联网。
目前的互联网是一种多层次 ISP 结构,ISP 根据覆盖面积的大小分为第一层 ISP、区域 ISP 和接入 ISP。互联网交换点 IXP 允许两个 ISP 直接相连而不用经过第三个 ISP。
电路交换用于电话通信系统,两个用户要通信之前需要建立一条专用的物理链路,并且在整个通信过程中始终占用该链路。由于通信的过程中不可能一直在使用传输线路,因此电路交换对线路的利用率很低,往往不到10%
分组交换采用存储转发技术。通常我们把要发送的整块数据称为一个报文。在每一个数据段前面,加上一些必要的控制信息组成的**首部(header)**后,就构成了一个分组(packet),
每个分组都有首部和尾部,包含了源地址和目的地址等控制信息,在同一个传输线路上同时传输多个分组互相不会影响,因此在同一条传输线路上允许同时传输多个分组,也就是说分组交换不需要占用传输线路。
总时延 = 发送时延 + 传播时延 + 处理时延 + 排队时延
主机或路由器发送数据帧所需要的时间
d e l a y = l ( b i t ) v ( b i t / s ) delay=\frac{l(bit)}{v(bit/s)} delay=v(bit/s)l(bit)
其中l表示数据帧的长度,v表示传输速率。
电磁波在信道中传播所需要花费的时间,电磁波传播的速度接近光速。
d e l a y = l ( m ) v ( m / s ) delay=\frac{l(m)}{v(m/s)} delay=v(m/s)l(m)
其中l表示信道长度,v表示电磁波在信道上的传播速度。
主机或路由器收到分组时进行处理所需要的时间,例如分析首部,从分组中提取数据,进行差错检验或找适当的路由等。
分组在路由器的输入队列和输出队列中排队等待的时间,取决于网络的通信量。
其中表示层和会话层用途如下:
它只有四层,相当于五层协议中数据链路层和物理层合并为网络接口层。
TCP/IP 体系结构不严格遵循 OSI 分层概念,应用层可能会直接使用 IP 层或者网络接口层。
TCP/IP 协议族是一种沙漏形状,中间小两边大,IP 协议在其中占据举足轻重的地位。
在向下的过程中,需要添加下层协议所需要的首部或者尾部,而在向上的过程中不断拆开首部和尾部。
路由器只有下面三层协议,因为路由器位于网络核心中,不需要为进程或者应用程序提供服务,因此也就不需要传输层和应用层。
透明表示一个实际存在的事物看起来好像不存在一样。
帧使用首部和尾部进行定界,如果帧的数据部分含有和首部尾部相同的内容,那么帧的开始和结束位置就会被错误判断。需要在数据部分出现首部尾部相同前面插入转义字符。如果数据部分出现转义字符,那么就在转义字符前面再加个转义字符。在接收端进行处理之后可以还原出原始数据。这个过程透明传输的内容是转义字符,用户察觉不到转义字符的存在。
目前数据链路层广泛使用了循环冗余检验(CRC)来检查比特差错。
一对多通信,一个节点发送的数据能够被广播信道上所有的节点接收到。
所有的节点都在同一个广播信道上发送数据,因此需要有专门的控制方法进行协调,避免发送冲突(冲突也叫碰撞)
主要有两种控制方法进行协调,一个是使用信道复用技术,一是使用CSMA/CD协议。
一对一通信。
因为不会发送碰撞,因此也比较简单,使用PPP协议进行控制。
CSMA/CD 表示载波监听多点接入/碰撞检测。
记端到端的传播时延为 τ,最先发送的站点最多经过 2τ 就可以知道是否发生了碰撞,称 2τ 为 争用期。只有经过争用期之后还没有检测到碰撞,才能肯定这次发送不会发送碰撞。
当发生碰撞时,站点要停止发送,等待一段时间再发送。 这个时间采用 截断二进制指数退避算法 来确定。从离散的整数集合{0,1,…,( 2 k − 1 2^k-1 2k−1)}中随机取出一个数,记作 r,然后取 r倍的争用期作为重传等待时间。
互联网用户通常需要连接到某个 ISP 之后才能接入到互联网,PPP协议是用户计算机和 ISP 进行通信时所使用的数据链路层协议。
PPP 的帧格式:
MAC 地址是链路层地址,长度为6字节(48位),用于唯一标识网络适配器(网卡)。
一台主机拥有多少个网络适配器就有多少个 MAC 地址。例如笔记本电脑普遍存在无线网络适配器和有线网络适配器,因此就有两个 MAC 地址。
局域网是一种典型的广播信道,主要特点是网络为一个单位所拥有,且地理范围的站点数目均有限。
主要有以太网,令牌环网,FDDI 和 ATM 等局域网技术,目前以太网占领着有线局域网市场。
可以按照网络拓扑结构的局域网进行分类:
以太网是一种星型拓扑结构局域网。
早期使用集线器进行连接,集线器是一种物理层设备,作用于比特而不是帧,当一个比特到达接口时,集线器重新生成这个比特,并将其能量强度放大,从而扩大网络的传输距离,之后再将这个比特发送到其他所有接口。如果集线器同时收到两个不同接口的帧,那么就发生了碰撞。
目前以太网使用交换机替代了额集线器,交换机是一种链路层设备,它不会发生碰撞,能根据 MAC 地址进行存储转发。
以太网帧格式:
交换机具有自学习能力,学习的是交换表的内容,交换表中存储 MAC 地址到接口的映射。
正是由于这种自学习能力,因此交换机是一种即插即用设备,不需要网络管理员手动配置交换表内容。
下图,交换机有4个接口,主机 A 向主机 B 发送数据帧时,交换机把主机 A到接口 1 的映射写入交换表中。为了发送数据帧到 B, 先查交换表,此时没有主机 B 的表项,那么主机 A 就发送广播帧,主机C 和主机 D 会丢弃该帧。主机 B向主机 A发送数据包时,交换机查找交换表得到主机 A 映射的接口为1,就发送数据帧到接口1,同时交换机添加主机 B到接口3 的映射。
虚拟局域网可以建立与物理位置无关的逻辑组,只有在同一个虚拟局域网中的成员才会收到链路层广播信息。
例如下图中(A1,A2,A3,A4)属于一个虚拟局域网,A1发送的广播会被A2,A3,A4收到,而其他站点收不到。
使用 VLAN 干线连接来建立虚拟局域网,每台交换机上的一个特殊接口被设置为干线接口,以互连 VLAN 交换机。IEEE 定义了一种拓展的以太网帧格式 802.1Q,他在标准以太网帧上加进了4字节首部 VLAN 标签,用于表示该帧属于哪一个虚拟局域网。
因为网络层是整个互联网的核心,因此应当让网络层尽可能简单。网络层向上只提供简单灵活的,无连接的,尽最大努力交互的数据包服务。
使用 IP 协议,可以把异构的物理网络连接起来,使得在网络层看起来好像是一个同一的网络。
与 IP 协议配套使用的还有三个协议:
IP 地址的编址方式经历了三个历史阶段:
由两部分组成,网络号和主机号,其中不同分类具有不同的网络号长度,并且是固定的。
IP地址 ::= {<网络号>,<主机号>}
通过在主机号字段中拿一部分作为子网号,把两级 IP 地址划分为三级 IP 地址。
IP 地址 ::={<网络号>,<子网号>,<主机号>}
要使用子网,必须配置子网掩码。一个 B 类地址的默认子网掩码为 255.255.0.0,如果 B 类地址的子网占两个比特,那么子网掩码为 11111111 11111111 11000000 00000000,也就是255.255.192.0
注意,外部网络看不到子网的存在。
无分类编址 CIDR 消除了传统 A 类,B类和C类地址以及划分子网的概念,使用网络前缀和主机号来对 IP 地址进行编码,网络前缀的长度可以根据需要变化。
IP 地址::={<网络前缀号>,<主机号>}
CIDR 的记法上采用在 IP 地址后面加上网络前缀长度的方法,例如 128.14.35.7/20 表示前20位为网络前缀。
CIDR 的地址掩码可以继续称为子网掩码,子网掩码首 1 长度为网络前缀的长度。
一个 CIDR 地址块中有很多地址,一个 CIDR 表示的网络就可以表示原来的很多个网络,并且在路由表中只需要一个路由就可以代替原来的多个路由,减少了路由表项的数量。把这种通过使用网络前缀来减少路由表项的方式称为路由聚合,也成为构成超网。
在路由表中的项目由“网络前缀”和“下一条地址”组成,在查找时可能会得到不止一个匹配结果,应当采用最长前缀匹配来确定应该匹配哪一个。
网络层实现主机之间的通信,而链路层实现具体每段链路之间的通信。因此在通信过程中,IP 数据报的源地址和目的地址始终不变,而 MAC 地址随着链路的改变而改变。
ARP 实现由 IP 地址得到 MAC 地址
每个主机都有一个 ARP 高速缓存,里面有本局域网上的各主机和路由器的 IP 地址到 MAC 地址的映射表。
如果主机 A 知道主机 B 的 IP 地址,但是 ARP 高速缓存中没有该 IP 地址到 MAC 地址的映射,此时主机 A 通过广播的方式发送 ARP 请求分组,主机 B 收到该请求后会发送 ARP 响应分组给主机 A 告知其 MAC 地址,随后主机 A 向其高速缓存中写入主机 B 的 IP 地址到 MAC 地址的映射。
ICMP 是为了更有效地转发 IP 数据报和提高交付成功的机会。它封装在 IP 数据报中,但是不属于高层协议。
ICMP 报文分为差错报告报文和询问报文。
Ping 是 ICMP 的一个重要应用,主要用来测试两台主机之间的连通性。
Ping 的原理是通过向目的主机发送 ICMP Echo 请求报文,目的主机收到之后会发送 Echo 回答报文。Ping 会根据时间和成功响应的次数估算出数据包往返时间以及丢包率。
Traceroute 是 ICMP 的另一个应用,用来跟踪一个分组从源点到终点的路径。
Tracerroute 发送的 IP 数据报封装的是无法交付的 UDP 用户数据报,并由目的主机发送终点不可达差错报告报文。
由于 IP 地址的紧缺,一个机构能申请到 IP 地址数往往远小于本机构所拥有的主机数。并且一个机构并不需要把所有的主机接入到外部的互联网中,机构内的计算机可以使用仅在本机构有效的 IP 地址(专用地址)。
有三个专用地址块:
VPN 使用公用的互联网作为本机构各专用网之间的通信载体。专用指机构内的主机只与本机构内的其他主机通信;虚拟指好像是,而实际上并不是,它有经过公用的互联网。
下图中,场所 A 和 B 的通信经过互联网,如果场所 A 的主机 X 要和另一个场所 B 的主机 Y 通信,IP 数据报的源地址是 10.1.0.1,目的地址是 10.2.0.3.数据报先发送到与互联网相连的路由器 R1,R1对内部数据进行加密,然后重新加上数据报的首部,源地址是路由器 R1 的全球地址125.1.2.3,目的地址是路由器 R2 的全球地址 194.4.5.6.路由器 R2 收到数据报后将数据部分进行解密,恢复原来的数据报,此时目的地址为10.2.0.3,就交付给 Y。
专用网内部的主机使用本地 IP 地址又想和互联网上的主机通信时,可以使用 NAT 来将本地 IP 转换为全球 IP。
在以前,NAT 将本地 IP和全球 IP 一一对应,这种方式下拥有 n 个全球 IP 地址的专用网内最多只可以同时有 n 台主机接入互联网。为了更有效地利用全球 IP 地址,现在常用的 NAT 转换表把传输层的端口号也用上了,使得多个专用网内部的主机共用一个全球 IP 地址。使用端口号的 NAT 也叫做网络地址与端口转换 NART。
路由器从功能上可以划分为:路由选择和分组转发。
分组转发结构由三个部分组成:交换结构,一组输入端口和一组输出端口。
路由选择协议都是自适应的,能随着网络通信量和拓扑结构的变化而自适应地进行调整。
互联网可以划分为许多较小的自治系统 AS,一个 AS 可以使用一种和别的 AS 不同的路由选择协议。
可以把路由选择协议分为两大类:
RIP 是一种基于距离向量的路由选择协议。距离是指跳数,直接相连的路由器跳数为1.跳数最多为15,超过15表示不可达。
RIP 按固定的时间间隔仅和相邻路由器交换自己的路由表,经过若干次交换之后,所有路由器最终会知道到达本自治系统中任何一个网络的最短距离和下一跳路由器地址。
距离向量算法:
RIP 协议实现简单,开销小。但是 RIP能使用的最大距离为15,限制了网络的规模。并且当网络出现故障时,要经过比较长的时间才能将此消息传送到所有的路由器。
开放最短路径优先 OSPF,是为了克服 RIP 的缺点而开发出来的。
开放表示 OSPF 不受某一家厂商控制,而是公开发表的;最短路径优先表示使用了 Dijkstra 提出的最短路径算法 SPF。
OSPF 具有以下特点:
所有路由器都具有全网的拓扑结构网,并且是一致的。相比于 RIP,OSPF的更新过程收敛的很快。
BGP(Border Gateway Protocol,边界网关协议)
AS 之间的路由选择很困难,主要是由于:
BGP 只能寻找一条比较好的路由,而不是,最佳路由。
每个 AS 都必须配置 BGP 发言人,通过在两个相邻 BGP 发言人之间建立 TCP 连接来交换路由信息。
网络层只把分组发送到目的主机,但是真正通信的并不是主机而是主机而是主机中的进程。传输层提供了进程间的逻辑通信,传输层向高层用户屏蔽了下面网络层的核心细节,使应用程序看起来像是在两个传输层实体之间有一条端到端的逻辑通信信道。
首部字段只有8个字节,包括源端口,目的端口,长度,检验和。12字节的伪首部是为了计算检验和和临时添加的。
第三次握手是为了防止失效的连接请求到达服务器,让服务器错误打开连接。
客户端发送的连接请求如果在网络中滞留,那么就会隔很长一段时间才能收到服务器端发回的连接确认。客户端等待一个超时重传时间之后,就会重新请求连接。但是这个滞留的连接请求最后还是会到达服务器,如果不进行三次握手,那么服务器就会打开两个连接。如果有第三次握手,客户端会忽略服务器之后发送的对滞留连接请求的连接确认,不进行第三次握手,因此就不会再次打开连接。
以下描述不讨论序号和确认号,因为序号和确认号的规则比较简单。并且不讨论 ACK,因为 ACK在连接建立之后都为1.
客户端发送了 FIN 连接释放报文之后,服务器收到了这个报文,就进入了 CLOSE-WAIT 状态。这个状态是为了让服务器端发送还未传送完毕的数据,传送完毕之后,服务器会发送 FIN 连接释放报文。
客户端收到服务器端的 FIN 报文后进入此状态,此时并不是直接进入 CLOSED 状态,还需要等待一个时间计时器设置的时间 2MSL.这么做有两个理由:
TCP 使用超时重传来实现可靠传输:如果一个已经发送的报文段在超时时间内没有收到确认,那么就重传这个报文段。
一个报文段从发送再到接收到确认所经过的时间称为往返时间 RTT,加权平均往返时间 RTTs 计算如下:
R T T s = ( 1 − a ) ∗ ( R T T s ) + a ∗ R T T RTTs=(1-a)*(RTTs)+a*RTT RTTs=(1−a)∗(RTTs)+a∗RTT
超时时间 RTO 应该略大于 RTTs,TCP使用的超时时间计算如下:
R T O = R T T s + 4 ∗ R T T d RTO=RTTs+4*RTT_d RTO=RTTs+4∗RTTd
其中 R T T d RTT_d RTTd为偏差。
窗口是缓存的一部分,用来暂时存放字节流。发送方和接收方各有一个窗口,接收方通过 TCP 报文段中的窗口字段告诉发送方自己的窗口大小,发送方根据这个值和其他信息设置自己的窗口大小。
发送窗口内的字节都允许被发送,接收窗口内的字节都允许被接收。如果发送窗口左部的字节已经发送并且收到了确认,那么就将发送窗口向右滑动一定距离,直到左部第一个字节不是已发送并且一确认的状态;接收窗口的滑动类似,就收窗口左部已经发送确认并交付主机,就向右滑动接收窗口。
接收窗口只会对窗口内最后一个按序到达的字节进行确认,例如接收窗口已经收到的字节为{31,34,35},其中{31}按序到达,而{34,35}就不是,因此只对字节31进行确认。发送方得到一个字节的确认之后,就知道这个字节之前所有字节已经被接收。
流量控制是为了控制发送方发送速率,保证接收方来得及接收。
接收方发送的确认报文中的窗口字段可以用来控制发送方窗口大小,从而影响发送方的发送速率。将窗口字段设置为0,则发送方不能发送数据。
如果网络出现拥塞,分组将会丢失,此时发送方会继续重传,从而导致网络拥塞程度更高。因此当出现拥塞时,应当控制发送方的速率。这一点和流量控制很像,但是出发点不同。流量控制是为了让接收方能来得及接收,而拥塞控制是为了降低整个网络的拥塞程度。
TCP 主要通过四个算法来进行拥塞控制:满开始,拥塞避免,快重传,快恢复。
发送方需要维护一个叫做拥塞窗口(cwnd)的状态变量,注意拥塞窗口与发送方窗口的区别:拥塞窗口只是一个状态变量,实际决定发送方能发送多少数据的是发送方窗口。
为了便于讨论,做如下假设:
发送的最初执行慢开始,令 cwnd = 1,发送方只能发送 1 个报文段;当收到确认后,将 cwnd 加倍,因此之后发送方能够发送的报文段数量为:2,4,8…
注意满开始每个轮次都将 cwnd 加倍,这样会让 cwnd 增长速度非常快,从而使得发送方的速度增长苏度过快,网络拥塞的可能性也就更高。设置一个满开始门限 ssthresh,当 cwnd >= ssthresh 时,进入拥塞避免,每个轮次只将 cwnd 加 1.
如果出现了超时,则令 ssthresh = cwnd/2,然后重新执行慢开始。
在接收方,要求每次接收到报文段都应该对最有一个已收到的有序报文段进行确认。例如已经接收到 M 1 M_1 M1和 M 2 M_2 M2,此时收到 M 4 M_4 M4,应当发送对 M 2 M_2 M2的确认。
在发送方,如果收到三个重复确认,那么可以直到下一个报文段丢失,此时执行快重传,立即重传下一个报文段。例如收到三个 M 2 M_2 M2,则 M 3 M_3 M3丢失,立即重传 M 3 M_3 M3。
在这种情况下,只是丢失个别报文段,而不是网络拥塞。因此执行快恢复,令 ssthresh = cwnd/2,cwnd=ssthresh,注意到此时直接进入拥塞避免。
慢开始和快恢复的快慢指的是 cwnd 的设定值,而不是 cwnd 的增长速率。慢开始 cwnd 设定为1.而快恢复 cwnd设定为 ssthresh。
DNS 是一个分布式数据库,提供了主机名和 IP 地址之间相互转换的服务。这里的分布式数据库是指,每个站点只保留它自己的那部分数据。
域名具有层次结构,从上到下依次是:根域名,顶级域名,二级域名。
DNS 可以使用 UDP 或 TCP 进行传输,使用的端口号都为 53.大多数情况下 DNS 使用UDP 进行传输,这就要求域名解析器和域名服务器都必须自己处理超时和重传来保证可靠性。在两种情况下会使用 TCP 进行传输:
FTP 使用 TCP 进行连接,它需要两个连接来传送一个文件:
根据数据连接是否是服务器端主动建立,FTP 有主动和被动两种模式:
DHCP(Dynamic Host Configuration Protocol)提供了即插即用的联网方式,用户不再需要去手动配置 IP 地址等信息。
DHCP 配置的内容不仅是 IP 地址,还包括子网掩码,网关 IP 地址。
DHCP 工作过程如下:
TELNET 用于登陆到远程主机上,并且远程主机上的输出也会返回。
TELNET 可以适应许多计算机和操作系统的差异,例如不同操作系统的换行符定义。
一个电子邮件系统由三部分组成:用户代理,邮件服务器以及邮件协议。
邮件协议包含发送协议和读取协议,发送协议常用 SMTP ,读取协议常用 POP3 和 IMAP.
SMTP 只能发送 ASCII 码,而互联网邮件扩充 MIME 可以发送二进制文件。 MIME 并没有改动或取代 SMTP,而是增加邮件主体的结构,定义了非 ASCII 码的编码规则。
POP3 的特点是只要用户从服务器上读取了邮件,就把该邮件删除。
IMAP 协议中客户端和服务器上的邮件保持同步,如果不手动删除邮件,那么服务器上的邮件也不会被删除。
IMAP 这种做法可以让用户随时随地去访问服务器上的邮件。
应用 | 应用层协议 | 端口号 | 传输层协议 | 备注 |
---|---|---|---|---|
域名解析 | DNS | 53 | UDP/TCP | 长度超过512字节时使用TCP |
动态主机配置协议 | DHCP | 67/68 | UDP | |
简单网络管理协议 | SNMP | 161/162 | UDP | |
文件传送协议 | FTP | 20/21 | TCP | 控制连接21,数据连接20 |
远程终端协议 | TELNET | 23 | TCP | |
超文本传送协议 | HTTP | 80 | TCP | |
简单邮件传送协议 | SMTP | 25 | TCP | |
邮件读取协议 | POP3 | 110 | TCP | |
网际报文存取协议 | IMAP | 143 | TCP |