转自http://blog.csdn.net/zwlq1314521/article/details/40427199
每一个包是一个完整的数据帧,来暂存解复用之后、解码之前的媒体数据(一个音/视频帧、一个字幕包等)及附加信息(解码时间戳、显示时间戳、时长等)
//注意保存音视频数据包的内存
是 malloc 出来的,用完后应及时用 free 归还给系统typedef struct AVPacket
{
int64_t pts;
int64_t dts;
int64_t pos;
uint8_t *data;//数据首地址
int size;
int stream_index;
int flags;//flags为标志域,1表示该数据是一个关键帧
void(*destruct)(struct AVPacket*);//释放数据缓冲区的函数指针
} AVPacket;
AVPacket本身只是个容器,它data成员引用实际的数据缓冲区。这个缓冲区通常是由av_new_packet创建的,但也可能由 FFMPEG的API创建(如av_read_frame)。当某个AVPacket结构的数据缓冲区不再被使用时,要需要通过调用 av_free_packet释放而av_new_packet实现如下:(也有 av_init_packet)
void av_init_packet(AVPacket *pkt)
{
pkt->pts = AV_NOPTS_VALUE;
pkt->dts = AV_NOPTS_VALUE;
pkt->pos = -1;
pkt->duration = 0;
pkt->convergence_duration = 0;
pkt->flags = 0;
pkt->stream_index = 0;
#if FF_API_DESTRUCT_PACKET
pkt->destruct = NULL;
#endif
pkt->buf = NULL; // 数据域没有, 为空
pkt->side_data = NULL;
pkt->side_data_elems = 0;
}
int av_new_packet(AVPacket *pkt, int size)
{
AVBufferRef *buf = NULL;
//判断size是否正确
if ((unsigned)size >= (unsigned)size + FF_INPUT_BUFFER_PADDING_SIZE)
return AVERROR(EINVAL);
//分配size大小
av_buffer_realloc(&buf, size + FF_INPUT_BUFFER_PADDING_SIZE);
if (!buf)
return AVERROR(ENOMEM);
memset(buf->data + size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
av_init_packet(pkt);
pkt->buf = buf;
pkt->data = buf->data; //data域大小
pkt->size = size;
#if FF_API_DESTRUCT_PACKET
pkt->destruct = dummy_destruct_packet;
#endif
return 0;
}
av_free_packet实现:
static inline void av_free_packet(AVPacket *pkt)
{
if (pkt && pkt->destruct)
pkt->destruct(pkt);
}
AVPacketList 仅含有一个 AVPacket,和传统的很多很多节点的 list
不同,不要被 list 名字迷惑。
本文主要从以下几个方面对AVPacket
做解析:
查了一些资料,发现FFmpeg的版本更新还是挺快,而且有很多API也有改动,本文使用的FFmpeg的最新版本3.1。
AVPacket是FFmpeg中很重要的一个数据结构,它保存了解复用之后,解码之前的数据(仍然是压缩后的数据)和关于这些数据的一些附加信息,如显示时间戳(pts)、解码时间戳(dts)、数据时长,所在媒体流的索引等。
对于视频(Video)来说,AVPacket通常包含一个压缩的Frame,而音频(Audio)则有可能包含多个压缩的Frame。并且,一个Packet有可能是空的,不包含任何压缩数据,只含有side data(side data,容器提供的关于Packet的一些附加信息。例如,在编码结束的时候更新一些流的参数)。
AVPacket的大小是公共的ABI(public ABI)一部分,这样的结构体在FFmpeg很少,由此也可见AVPacket的重要性。它可以被分配在栈空间上(可以使用语句AVPacket packet;
在栈空间定义一个Packet ),并且除非libavcodec 和 libavformat有很大的改动,不然不会在AVPacket中添加新的字段。
官方文档:AVPacket is one of the few structs in FFmpeg,whose size is a part of public ABI.Thus it may be allocated on stack and no new fields can be added to it without libavcodec and libavformat major bump.
AVPacket的声明在avcodec.h
中,其声明如下:
typedef struct AVPacket {
/**
* A reference to the reference-counted buffer where the packet data is
* stored.
* May be NULL, then the packet data is not reference-counted.
*/
AVBufferRef *buf;
/**
* Presentation timestamp in AVStream->time_base units; the time at which
* the decompressed packet will be presented to the user.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
* pts MUST be larger or equal to dts as presentation cannot happen before
* decompression, unless one wants to view hex dumps. Some formats misuse
* the terms dts and pts/cts to mean something different. Such timestamps
* must be converted to true pts/dts before they are stored in AVPacket.
*/
int64_t pts;
/**
* Decompression timestamp in AVStream->time_base units; the time at which
* the packet is decompressed.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
*/
int64_t dts;
uint8_t *data;
int size;
int stream_index;
/**
* A combination of AV_PKT_FLAG values
*/
int flags;
/**
* Additional packet data that can be provided by the container.
* Packet can contain several types of side information.
*/
AVPacketSideData *side_data;
int side_data_elems;
/**
* Duration of this packet in AVStream->time_base units, 0 if unknown.
* Equals next_pts - this_pts in presentation order.
*/
int64_t duration;
int64_t pos; ///< byte position in stream, -1 if unknown
#if FF_API_CONVERGENCE_DURATION
/**
* @deprecated Same as the duration field, but as int64_t. This was required
* for Matroska subtitles, whose duration values could overflow when the
* duration field was still an int.
*/
attribute_deprecated
int64_t convergence_duration;
#endif
} AVPacket;
AVPacket中的字段可用分为两部分:数据的缓存及管理,关于数据的属性说明。
AVPacket实际上可用看作一个容器,它本身并不包含压缩的媒体数据,而是通过data指针引用数据的缓存空间。所以将一个Packet作为参数传递的时候,妖就要根据具体的需要,对data引用的这部分数据缓存空间进行特殊的处理。当从一个Packet去创建另一个Packet的时候,有两种情况:
第二种情况,数据空间的管理比较简单,但是数据实际上有多个copy造成内存空间的浪费。所以要根据具体的需要,来选择到底是两个Packet共享一个数据缓存空间,还是每个Packet拥有自己独自的缓存空间。
对于多个Packet共享同一个缓存空间,FFmpeg使用的引用计数的机制(reference-count)。当有新的Packet引用共享的缓存空间时,就将引用计数+1;当释放了引用共享空间的Packet,就将引用计数-1;引用计数为0时,就释放掉引用的缓存空间。
AVPacket中的AVBufferRef *buf;
就是用来管理这个引用计数的,AVBufferRef
的声明如下:
typedef struct AVBufferRef {
AVBuffer *buffer;
/**
* The data buffer. It is considered writable if and only if
* this is the only reference to the buffer, in which case
* av_buffer_is_writable() returns 1.
*/
uint8_t *data;
/**
* Size of data in bytes.
*/
int size;
} AVBufferRef;
在AVPacket中使用AVBufferRef
有两个函数:av_packet_ref
和av_packet_unref
。
av_packet_ref
int av_packet_ref(AVPacket *dst, const AVPacket *src)
创建一个src->data
的新的引用计数。如果src已经设置了引用计数发(src->buffer不为空),则直接将其引用计数+1;如果src没有设置引用计数(src->buffer为空),则为dst创建一个新的引用计数buf,并复制src->data
到buf->buffer
中。最后,复制src的其他字段到dst中。av_packet_unref
void av_packet_unref(AVPacket *pkt)
将缓存空间的引用计数-1,并将Packet中的其他字段设为初始值。如果引用计数为0,自动的释放缓存空间。
所以,有两个Packet共享同一个数据缓存空间的时候可用这么做
av_read_frame(pFormatCtx, &packet) // 读取Packet
av_packet_ref(&dst,&packet) // dst packet共享同一个数据缓存空间
...
av_packet_unref(&dst);
下一小节简单的介绍下AVPacket相关的函数,并介绍如何在传递Packet的时候,复制一个独立的数据缓存空间的copy,每个Packet都拥有自己独立的数据缓存空间。
av_read_frame
这个是比较常见的了,从媒体流中读取帧填充到填充到Packet的数据缓存空间。如果Packet->buf
为空,则Packet的数据缓存空间会在下次调用av_read_frame
的时候失效。这也就是为何在FFmpeg3:播放音频中,从流中读取到Packet的时,在将该Packet插入队列时,要调用av_dup_avpacket
重新复制一份缓存数据。(av_dup_avpacket
函数已废弃,后面会介绍)av_packet_alloc
创建一个AVPacket,将其字段设为默认值(data为空,没有数据缓存空间)。av_packet_free
释放使用av_packet_alloc
创建的AVPacket,如果该Packet有引用计数(packet->buf不为空),则先调用av_packet_unref(&packet)
。av_packet_clone
其功能是 av_packet_alloc
+ av_packet_ref
av_init_packet
初始化packet的值为默认值,该函数不会影响data引用的数据缓存空间和size,需要单独处理。av_new_packet
av_init_packet
的增强版,不但会初始化字段,还为data分配了存储空间。av_copy_packet
复制一个新的packet,包括数据缓存。av_packet_from_data
初始化一个引用计数的packet,并指定了其数据缓存。av_grow_packet
和 av_shrink_packet
增大或者减小Packet->data指向的数据缓存。
就罗列这么多吧,剩下的没提到的基本都是和side_data相关的一些函数,和data的比较类似。
最后介绍下已经废弃的两个函数 av_dup_packet
和av_free_packet
。av_dup_packet
是复制src->data引用的数据缓存,赋值给dst。也就是创建两个独立packet,这个功能现在可用使用函数av_packet_ref
来代替。av_free_packet
释放packet,包括其data引用的数据缓存,现在可以使用av_packet_unref
代替。
在FFmpeg3:播放音频中,使用了AVPacket队列来缓存从流中读取的帧数据。这就涉及到多次的AVPacket的传递,从流中读取Packet插入队列;从队列中取出Packet进行解码;以及一些中间变量。由于Dranger教程中使用的已经废弃的API,在参照官方文档进行修改的时候就出现了内存读写的异常。下面就播放音频的教程中的AVPacket队列实现,分析下在AVPacket作为参数传递的过程中,应该如何更好的管理其data引用的缓存空间。
从流中读取AVPacket插入队列
AVPacket packet;
while (av_read_frame(pFormatCtx, &packet) >= 0)
{
if (packet.stream_index == audioStream)
packet_queue_put(&audioq, &packet);
else
//av_free_packet(&packet);
av_packet_unref(&packet);
}
如果是音频流则将读到Packet调用packet_queue_put
插入到队列,如果不是音频流则调用av_packet_unref
释放已读取到的AVPacket数据。
下面代码是packet_queue_put
中将Packet放入到一个新建的队列节点的代码片段
AVPacketList *pktl;
//if (av_dup_packet(pkt) < 0)
//return -1;
pktl = (AVPacketList*)av_malloc(sizeof(AVPacketList));
if (!pktl)
return -1;
if (av_packet_ref(&pktl->pkt, pkt) < 0)
return -1;
//pktl->pkt = *pkt;
pktl->next = nullptr;
注意,在调用packet_queue_put
时传递的是指针,也就是形参pkt和实参packet中的data引用的是同一个数据缓存。但是在循环调用av_read_frame
的时候,会将packet中的data释放掉,以便于读取下一个帧数据。
所以就需要对data引用的数据缓存进行处理,保证在读取下一个帧数据的时候,其data引用的数据空间没有被释放。有两种方法,复制一份data引用的数据缓存或者给data引用的缓存空间加一个引用计数。
注释掉的部分是使用已废弃的APIav_dup_packet
,该函数将pkt中data引用的数据缓存复制一份给队列节点中的AVPacket。
添加引用计数的方法则是调用av_apcket_ref
将data引用的数据缓存的引用计数+1,这样其就不会被释放掉。
从队列中取出AVPacket
//*pkt = pktl->pkt;
if (av_packet_ref(pkt, &pktl->pkt) < 0)
{
ret = 0;
break;
}
注释掉的代码仍然是两个packet引用了同一个缓存空间,这样在一个使用完成释放掉缓存的时候,会造成另一个访问错误。所以扔给调用av_packet_ref
将其引用计数+1,这样在释放其中一个packet的时候其引用的数据缓存就不会被释放掉,知道两个packet都被释放。