P12 音视频复合流——TS流讲解

 前言 

                             

从本章开始我们将要学习嵌入式音视频的学习了 ,使用的瑞芯微的开发板

个人主页:@ChenPi

推荐专栏1: 《C++_@ChenPi的博客-CSDN博客》✨✨✨ 

推荐专栏2: 《Linux C应用编程(概念类)_@ChenPi的博客-CSDN博客》✨✨✨

推荐专栏3:《嵌入式音视频_@ChenPi的博客-CSDN博客》
本篇简介  :本章讲解音视频中的复合流——ts流

 01 什么是复合流

复合流是指在一条音视频数据流中同时包含视频ES和音频ES数据。

常见的复合流一般为TS流,MP4流,FLV流

02 TS流的介绍

TS流:英文全称为Transport Stream(传输流)。它由MPEG公司推出的全新MPEG2的压缩标准,TS流的出现是为了让音视频的实时交互更加方便,并且随着数字电视的发展,TS流数据在电视领域,网络音视频领域也有很大作用。

03 TS流的格式

TS流的格式大概分为三层,它分别为Transport Stream层,Packet Element Stream层,Element Stream层。

 P12 音视频复合流——TS流讲解_第1张图片 

  1. es层就是音视频数据
  2. pes层是在音视频数据上加了时间戳等对数据帧的说明信息
  3. ts层就是在pes层加入数据流的识别和传输必须的信息

04 Transport Stream层讲解

Transport Stream层主要有三个部分组成,TS Header ,ADaption Field,TS Payload

  1. TS Header:TS Header为头部
  2. ADaptation Field:可能存在也可能不存在,主要作用是给不足188字节的数据做填充
  3. TS payload:pes数据

TS Header头部信息(四字节) 

就是4个Bit

P12 音视频复合流——TS流讲解_第2张图片

 ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音频流、视频流。

解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。

PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。

PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过ts流只要有PAT和PMT就可以播放了。

  • PAT表:他主要的作用就是指明了PMT表的PID值。

  • PMT表:他主要的作用就是指明了音视频流的PID值。

  • 音频流/视频流:承载音视频内容。

ADaption Field

四BIT后就是自适应区

P12 音视频复合流——TS流讲解_第3张图片

DTS、PTS 的概念如下所述: 

  • DTS(Decoding Time Stamp):即解码时间戳,这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
  • PTS(Presentation Time Stamp):即显示时间戳,这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

Adaptional Field Length指的是自适应长度,它主要包含传输错误标识符的字节。

PCR是节目时钟参考表,PCR的PTS和DTS都是对同一个系统时间进行采样,PCR的值是逐渐递增的。在对TS流打包的时候,PAT表和PMT表是没有Adaptional Field,若长度不够则使用0xff.

4.1 PAT表(定义了当前TS流中的所有节目、要查询节目必须从PAT表开始)

P12 音视频复合流——TS流讲解_第4张图片

4.2 PMT表格(查询当前节目中所有的PID信息,比方说包含多少个VIDEO、AUDIO)

 P12 音视频复合流——TS流讲解_第5张图片 

05 PES (Packet Element Stream)

PES层的结构是包含在TS层PAYLOAD里面的,PES层的主要功能是在每一帧音视频数据帧添加时间戳内容。比方说在用FFPLAY或者VLC播放TS文件的时候,会出现关于PTS、DTS的数据,这就是PES层的作用。

 P12 音视频复合流——TS流讲解_第6张图片 

以下是比较常用的 PES包信息

 P12 音视频复合流——TS流讲解_第7张图片  

 pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值 + 增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。

音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。

打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。

06  ES层结构:

ES数据流就是我们常说的裸流数据,这其中就包括视频裸流数据(H264/HEVC)、音频裸流数据(AAC)。可以看主页前几章得文章

你可能感兴趣的:(嵌入式音视频,音视频,ffmpeg,qt,linux,c++,ubuntu)