FFmpeg音视频采集

音视频采集

DirectShow（简称DShow）是一个Windows平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能，它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。

• DirectShow大大简化了媒体回放、格式转换和采集工作。但与此同时，也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其他用户的DirectShow组件。
• DirectShow专为C++而设计。Microsoft不提供用于DirectShow的托管API。
• DirectShow是基于组件对象模型（COM）的，因此当你编写DirectShow应用程序时，你必须具备COM客户端程序编写的知识。对于大部分的应用程序，你不需要实现自己的COM对象，DirectShow提供了大部分你需要的DirectShow组件，但是假如你需要编写自己的DirectShow组件来进行扩充，那么你必须编写实现COM对象。
• 使用DirectShow编写的典型应用程序包括：DVD播放器、视频编辑程序、AVI到ASF转换器、MP3播放器和数字视频采集应用。

音频采集

获取设备信息

void Widget::capture()
{
    avdevice_register_all(); // 注册所有的设备
    qDebug() << "注册设备完成";
    AVFormatContext *fmt_ctx = avformat_alloc_context();            // 分配一个格式上下文
    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    AVDeviceInfoList *dev_list = nullptr; // 设备信息列表

    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息列表失败";
        return;
    }

    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        qDebug() << "设备名称: " << dev_list->devices[i]->device_name;
        qDebug() << "设备描述: " << dev_list->devices[i]->device_description;
        // qDebug() << "设备类型: " << av_get_media_type_string(*(dev_list->devices[i]->media_types));
        qDebug() << "------------------------";
    }
    avdevice_free_list_devices(&dev_list);
    qDebug() << "设备信息获取完成";
}

录制麦克风

void Widget::recordMicrophone()
{
    const char *output_file = "../../output/record.pcm"; // 输出文件路径
    avdevice_register_all();                             // 注册所有的设备
    AVDeviceInfoList *dev_list = nullptr;                // 设备信息列表

    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息列表失败";
        return;
    }
    std::string device_name = "audio=";
    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        AVDeviceInfo *dev_info = dev_list->devices[i];
        if (dev_info)
        {
            if (*dev_info->media_types == AVMEDIA_TYPE_AUDIO) // 判断设备类型是否为音频
            {
                device_name += dev_info->device_name; // 获取设备名称
                break;
            }
        }
    }
    avdevice_free_list_devices(&dev_list); // 释放设备信息列表

    AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文

    ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, nullptr); // 打开输入设备
    if (ret < 0)
    {
        qDebug() << "打开输入设备失败";
        return;
    }
    av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息

    std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
    if (!output.is_open())
    {
        qDebug() << "打开输出文件失败";
        return;
    }

    auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间

    AVPacket packet;                             // 分配一个数据包
    while (av_read_frame(fmt_ctx, &packet) >= 0) // 读取数据包
    {
        output.write((char *)packet.data, packet.size);                                // 写入数据包
        av_packet_unref(&packet);                                                      // 释放数据包
        if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录音10秒后停止
            break;
    }
    output.close();                 // 关闭输出文件
    avformat_close_input(&fmt_ctx); // 关闭输入设备
    avformat_free_context(fmt_ctx); // 释放格式上下文
    qDebug() << "录音结束";
}

通过ffplay指令播放

录制声卡

跟麦克风录制一样，略

视频采集

查看支持的设备信息

 ffmpeg -list_devices true -f dshow -i dummy

ffmpeg -f dshow -list_options true -i video="USB Camera"

摄像机画面采集

void Widget::recordCamera()
{
    const char *output_file = "../../output/record.yuv"; // 输出文件名
    avdevice_register_all();                             // 注册所有设备
    AVDeviceInfoList *dev_list = nullptr;
    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息失败";
        return;
    }
    std::string device_name = "video="; // 设备名称
    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        AVDeviceInfo *dev_info = dev_list->devices[i];
        if (dev_info)
        {
            if (*dev_info->media_types == AVMEDIA_TYPE_VIDEO) // 判断设备类型是否为视频
            {
                device_name += dev_info->device_name;
                break;
            }
        }
    }
    avdevice_free_list_devices(&dev_list); // 释放设备信息列表

    AVDictionary *options = nullptr;
    av_dict_set(&options, "pixel_format", "yuyv422", 0); // 设置像素格式
    av_dict_set(&options, "video_size", "1280x720", 0);  // 设置视频大小
    av_dict_set(&options, "framerate", "10", 0);         // 设置帧率

    AVFormatContext *fmt_ctx = avformat_alloc_context();                           // 分配一个格式上下文
    ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, &options); // 打开输入设备
    if (ret < 0)
    {
        qDebug() << "打开输入设备失败";
        return;
    }
    av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息

    std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
    if (!output.is_open())
    {
        qDebug() << "打开输出文件失败";
        return;
    }

    auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间
    AVPacket packet;                                     // 分配一个数据包
    while (av_read_frame(fmt_ctx, &packet) >= 0)         // 读取数据包
    {
        output.write((char *)packet.data, packet.size);                                // 写入数据包
        av_packet_unref(&packet);                                                      // 释放数据包
        if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录像10秒后停止
            break;
    }
    output.close();                 // 关闭输出文件
    avformat_close_input(&fmt_ctx); // 关闭输入设备
    avformat_free_context(fmt_ctx); // 释放格式上下文
    qDebug() << "录像结束";
}