在Rockchip平台上利用V4L2获取摄像头图像并导出Python接口

一、背景介绍

在Rockchip嵌入式平台（如RK3588）上开发摄像头应用时，我们需要一种高效可靠的方式来获取摄像头数据。Video4Linux2（V4L2） 是Linux内核提供的标准视频采集框架，它允许开发者直接与摄像头硬件交互。

然而，原生V4L2编程涉及复杂的C语言接口和底层操作，对于Python开发者来说门槛较高。本文介绍如何封装V4L2接口为Python模块，并利用Rockchip的RGA（Raster Graphic Acceleration）硬件加速进行高效的图像格式转换，最终实现从Python轻松获取摄像头图像的功能。

二、技术要点解析

2.1. V4L2核心工作流程

V4L2图像采集的核心流程包括：

1. 打开设备：访问摄像头设备文件（如/dev/video11）
2. 设置格式：配置分辨率、像素格式等参数
3. 申请缓冲区：分配内存空间存储图像数据
4. 启动流：开始视频采集
5. 数据循环：获取、处理、释放帧数据
6. 停止流：结束采集并释放资源

2.2. 三重缓冲机制

在视频采集过程中，我们使用三重缓冲技术：

#define BUFFER_COUNT 3  // 三重缓冲机制

这种机制允许：

• 一个缓冲区被摄像头填充
• 一个缓冲区被应用程序处理
• 一个缓冲区处于空闲状态等待使用

这种设计有效避免了帧丢失问题，提高了采集稳定性。

2.3. RGA硬件加速

Rockchip的RGA硬件加速模块能高效完成：

// NV12(YUV420)转RGB24
IM_STATUS status = imcvtcolor(
    data->rga_buffers[index], 
    data->buffers[index].dst_buf,
    RK_FORMAT_YCbCr_420_SP,
    RK_FORMAT_RGB_888);

相比CPU转换，RGA加速：

• 速度快5-10倍
• CPU占用率低
• 功耗更低

2.4. 多线程架构

为提高效率，我们采用双线程模型：

• 采集线程：专门负责从摄像头获取原始数据
• 主线程：处理转换后的RGB数据并调用Python回调

三、实现步骤详解

3.1 编译Python扩展模块

cat> rk3588_v4l2.c<<-'EOF'
#define PY_SSIZE_T_CLEAN
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 

#include "rga/im2d.h"
#include "rga/im2d.hpp"
#include "rga.h"

// 获取高精度当前时间(秒)
static double get_time()
{
   
    struct timespec ts;
    clock_gettime(CLOCK_MONOTONIC, &ts);
    return ts.tv_sec + ts.tv_nsec/1e9;
}

// 定义图像参数
#define PIX_FMT V4L2_PIX_FMT_NV12
#define WIDTH 1280
#define HEIGHT 720
#define BUFFER_COUNT 3  // 三重缓冲机制

typedef struct {
   
    void *start;
    size_t length;
    int in_use;
    unsigned char *rgb24;       // RGB转换缓冲区
    rga_buffer_t  dst_buf;       // 目标RGA缓冲区
} Buffer;

// 线程间共享数据结构
typedef struct {
   
    int fd;                     // V4L2设备描述符
    Buffer buffers[BUFFER_COUNT]; // 缓冲区数组
    rga_buffer_t rga_buffers[BUFFER_COUNT]; // RGA缓冲区
    int num_planes;             // 平面数量
    pthread_mutex_t lock;       // 互斥锁    
    int capture_running;        // 采集线程运行标志
    int latest_index;           // 最新帧缓冲区索引
    int frame_updated;          // 帧更新标志
    int in_use_count;   
    PyObject *py_callback;      // Python回调函数
} SharedData;

// 打印像素格式的四字符代码
static void print_pixelformat(int pixfmt) {
   
    printf("Pixel format: %c%c%c%c\n",
           pixfmt & 0xFF,
           (pixfmt >> 8) & 0xFF,
           (pixfmt >> 16) & 0xFF,
           (pixfmt >> 24) & 0xFF);
}

// 释放所有资源
static void cleanup_resources(SharedData* data, int buf_count, int stream_on) {
   
    if (stream_on) {
   
        enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
        ioctl(data->fd, VIDIOC_STREAMOFF, &type);
    }

    for (int i = 0; i < buf_count; i++) {
   
        if (data->buffers[i].start != MAP_FAILED && data->buffers[i].start != NULL) {
   
            munmap(data->buffers[i].start, data->buffers[i].length);
        }
        if (data->buffers[i].rgb24) {
   
            free(data->buffers[i].rgb24);
        }
    }
    
    if (data->fd >= 0) {
   
        close