【智能家居】八、监控摄像采集、人脸识别比对进行开门功能点

一、使用 fswebcam 测试 USB 摄像头
二、根据demo来实现功能点
三、功能点编写编译运行实现
四、mjpg实现监控识别
五、V4L2 视频设备 Linux 内核模块的一部分

一、使用 fswebcam 测试 USB 摄像头

a. 安装 fswebcam

orangepi@orangepi:~$ sudo apt update
orangepi@orangepi:~$ sudo apt-get install -y fswebcam

b. 安装完 fswebcam 后可以使用下面的命令来拍照

a) -d 选项用于指定 USB 摄像头的设备节点
b) --no-banner 用于去除照片的水印
c) -r 选项用于指定照片的分辨率
d) -S 选项用设置于跳过前面的帧数
e) ./image.jpg 用于设置生成的照片的名字和路径

orangepi@orangepi:~$ sudo fswebcam -d /dev/video0 \ --no-banner -r 1280x720 -S 5 ./image.jpg

c. 在服务器版的 linux 系统中，拍完照后可以使用 scp 命令将拍好的图片传到
Ubuntu PC 上镜像观看

orangepi@orangepi:~$ scp image.jpg [email protected]:/home/test（根据实际情况修改 IP 地址和路径）

d. 在桌面版的 linux 系统中，可以通过 HDMI 显示器直接查看拍摄的图片

这里使用fswebcam进行拍照。参考用户手册

首先在/smart_home拍照，命名为imageComp.jpg

sudo fswebcam -d /dev/video0 --no-banner -r 1280x720 -S 5 ./imageComp.jpg

二、根据demo来实现功能点

demo.c

主要的功能是通过摄像头采集人脸数据，然后通过 cURL 发送 POST 请求到指定的 API 接口，接收 OCR 后台返回的数据。在这个过程中，你使用了一些全局变量、文件 I/O、cURL 库等。

以下是一些建议和注意事项：

1. 错误处理： 在系统调用和库函数调用后，最好检查其返回值，以确保操作成功。例如，你可以在文件打开、内存分配等操作后添加错误检查，并在失败时输出错误信息。

2. 函数封装： 考虑将一些相关的操作封装成函数，以提高代码的模块性和可读性。例如，可以将 cURL 相关的初始化和清理操作封装成函数。

3. 全局变量的使用： 全局变量在函数间传递数据，但过度使用全局变量可能导致代码难以理解和维护。尽量将数据传递作为函数参数，以提高函数的可复用性。

4. 内存释放： 在使用 malloc 分配内存后，确保在不再需要使用该内存时调用 free 进行释放，以避免内存泄漏。

5. 字符串操作： 在使用字符串拼接函数（如 sprintf）时，确保目标缓冲区足够大以防止缓冲区溢出。

6. 资源释放顺序： 在释放资源时，注意释放的顺序，以避免悬挂指针或资源泄漏。

7. 安全性： 尽量避免使用 system 函数来执行外部命令，这可能带来安全风险。如果可能的话，考虑使用更安全的库函数或 API。

下面是一些可能的改进：

// 错误处理函数
void handleError(const char *message)
{
    perror(message);
    exit(EXIT_FAILURE);
}

// 初始化 cURL
CURL *initCurl()
{
    CURL *curl = curl_easy_init();
    if (!curl)
    {
        handleError("curl_easy_init failed");
    }
    return curl;
}

// 释放 cURL 资源
void cleanupCurl(CURL *curl)
{
    curl_easy_cleanup(curl);
}

// 发送 cURL POST 请求
bool sendPostRequest(const char *url, const char *postString, size_t (*writeCallback)(void *, size_t, size_t, void *))
{
    CURL *curl = initCurl();
    if (!curl)
    {
        return false;
    }

    CURLcode res;

    // 设置 cURL 选项
    curl_easy_setopt(curl, CURLOPT_URL, url);
    curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postString);
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writeCallback);

    // 执行请求
    res = curl_easy_perform(curl);

    // 检查执行结果
    if (res != CURLE_OK)
    {
        fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));
        cleanupCurl(curl);
        return false;
    }

    cleanupCurl(curl);
    return true;
}

// 获取人脸数据
char *getFace()
{
    printf("人脸数据采集中...\n");
    system("sudo fswebcam -d /dev/video0 --no-banner -r 1280x720 -S 5 ./image.jpg");

    while (access("./image.jpg", F_OK) != 0)
    {
        // 等待文件存在
    }

    printf("数据采集完毕\n");

    // 获取 base64 数据
    char *base64BufFaceRec = getBase64FromFile("./image.jpg");
    remove("./image.jpg"); // 采集完成删除，防止占内存

    return base64BufFaceRec;
}

// 发送人脸数据到 OCR 后台
bool sendFaceToOcr()
{
    char *img1 = getFace(); // 图片 base64 流
    char *img2 = getBase64FromFile("/home/orangepi/smart_home/test/imageComp.jpg");
    char *key = "JFD5c1iBh9LVqPkkZMqM8Q";
    char *secret =

 "76f444813fc945bd9543e4d7e086ad87";
    int typeId = 21;
    char *format = "xml";

    // 分配足够的空间
    int len = strlen(key) + strlen(secret) + strlen(img1) + strlen(img2) + 128;
    char *postString = (char *)malloc(len);
    if (!postString)
    {
        handleError("Memory allocation failed");
    }

    // 字符串拼接
    snprintf(postString, len, "img1=%s&img2=%s&key=%s&secret=%s&typeId=%d&format=%s", img1, img2, key, secret, typeId, format);

    // 发送 POST 请求
    bool result = sendPostRequest("https://netocr.com/api/faceliu.do", postString, readData);

    // 释放动态分配的内存
    free(img1);
    free(img2);
    free(postString);

    return result;
}

// 入口函数
int main(void)
{
    // 发送人脸数据到 OCR 后台
    if (sendFaceToOcr())
    {
        // 处理 OCR 后台返回的数据
        // ...
    }

    return 0;
}

这个版本进行了一些重构，提高了可读性和模块性，同时加入了错误处理。你可以根据需要进一步调整。

三、功能点编写编译运行实现

camera.c

#include "controlDevice.h"
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 

char ocrReturnBuf[1024] = {'\0'}; // 全局变量，用来接收从OCR后台返回的数据

// 回调函数，读取从OCR后台返回的数据(把从后台的数据拷贝给ocrReturnBuf)
size_t readData(void *ptr, size_t size, size_t nmemb, void *stream)
{
        size_t totalSize = size * nmemb;

        // 为了避免溢出，计算实际拷贝的长度
        size_t copySize = (totalSize < (sizeof(ocrReturnBuf) - 1)) ? totalSize : (sizeof(ocrReturnBuf) - 1);

        // 拷贝数据到 ocrRetBuf 中
        memcpy(ocrReturnBuf, ptr, copySize);

        // 手动添加字符串终结符
        ocrReturnBuf[copySize] = '\0';

        return totalSize;
}

char *getBase64FromFile(const char *filePath)
{
        char cmd[256] = {'\0'};
        char *base64Buf = NULL;

        // 使用安全的方式构建命令
        snprintf(cmd, sizeof(cmd), "base64 %s | tr -d '\n' > tmpFile", filePath);

        if (system(cmd) == -1) {
                perror("Error executing system command");
                return NULL;
        }

        int fd = open("./tmpFile", O_RDWR);
        if (fd == -1) {
                perror("Error opening file");
                return NULL;
        }

        // 计算文件大小
        int fileLen = lseek(fd, 0, SEEK_END);
        lseek(fd, 0, SEEK_SET);

        // 动态分配内存
        base64Buf = (char *)malloc(fileLen + 1);
        if (base64Buf == NULL) {
                perror("Error allocating memory");
                close(fd);
                return NULL;
        }

        memset(base64Buf, '\0', fileLen + 1);

        // 读取文件内容到字符串
        if (read(fd, base64Buf, fileLen) == -1) {
                perror("Error reading file");
                free(base64Buf);
                close(fd);
                return NULL;
        }

        close(fd);

        // 删除临时文件
        if (remove("tmpFile") == -1) {
                perror("Error deleting temporary file");
        }

        return base64Buf;
}

// 获取人脸数据
char *getFace()
{
        printf("人脸数据采集中...\n");
        system("sudo fswebcam -d /dev/video0 --no-banner -r 1280x720 -S 5 /home/orangepi/smart_home/test/image.jpg");

        while (access("./image.jpg", F_OK) != 0); // 判断是否拍照完毕

        printf("数据采集完毕\n");

        // 获取 base64 数据
        char *base64BufFaceRec = getBase64FromFile("./image.jpg");
        remove("./image.jpg");   // 采集完成删除，防止占内存

        return base64BufFaceRec; // 返回刚才拍照的base64
}

// 根据文档，接口调用方法为post请求
void postUrl()
{
        CURL *curl;
        CURLcode res;

        // 根据翔云平台的接口要求  分开定义，然后字符串拼接
        char *img1 = getFace(); // 图片base64流
        char *img2 = getBase64FromFile("/home/orangepi/smart_home/test/imageComp.jpg");
        char *key = "JFD5c1iBh9LVqPkkZMqM8Q";
        char *secret = "76f444813fc945bd9543e4d7e086ad87";
        int typeId = 21;
        char *format = "xml";

        int len = strlen(key) + strlen(secret) + strlen(img1) + strlen(img2) + 128; // 分配空间不够会>导致栈溢出
        char* postString = (char*)malloc(len);
        memset(postString, '\0', len);//因为postString是一个指针，不能用sizeof来计算其指向的大小

        // 字符串拼接
        sprintf(postString, "img1=%s&img2=%s&key=%s&secret=%s&typeId=%d&format=%s", img1, img2, key, secret, typeId, format);
        
        // 初始化 cURL
        curl = curl_easy_init();
        if (curl)
        {
                // 指定cookie缓存文件
                // if (curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt") != CURLE_OK)
                // {
                //         fprintf(stderr, "Failed to set cookie file\n");
                //         return false; // 在设置失败时，直接返回
                // }
                // 指定post传输内容，get请求将URL和postString一次性发送
                curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postString);
                // 指定url
                curl_easy_setopt(curl, CURLOPT_URL, "https://netocr.com/api/faceliu.do");
                // 回调函数读取返回值
                curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, readData);

                // 执行请求
                res = curl_easy_perform(curl);
                if (res != CURLE_OK) {
                        fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res));
                        // 处理错误
                }

                // 释放 cURL 资源
                curl_easy_cleanup(curl);
        }
        // 释放动态分配的内存
        free(img1);
        free(img2);
        free(postString);
}

struct Devices camera = {
    .deviceName = "camera",
    .justDoOnce = postUrl
};

struct Devices *addCameraToDeviceLink(struct Devices *phead)
{
        if (phead == NULL) {
                return &camera;
        }
        else {
                camera.next = phead; // 以前的头变成.next
                phead = &camera;     // 更新头
                return phead;
        }
}

controlDevice.h

#include 					//wiringPi库
#include 
#include 

// 设备结构体
struct Devices                          //设备类
{
    char deviceName[128];               //设备名
    int status;                         //状态
    int pinNum;							//引脚号

    // 函数指针，用于设备控制
    int (*Init)(int pinNum);			//“初始化设备”函数指针
	int (*open)(int pinNum);			//“打开设备”函数指针
	int (*close)(int pinNum);			//“关闭设备”函数指针
    int (*readStatus)(int pinNum);		//“读取设备状态”函数指针  为火灾报警器准备
	int (*changeStatus)(int status);	//“改变设备状态”函数指针
    void (*justDoOnce)();               // 仅执行一次的操作

    struct Devices *next;
};
 
struct Devices* addBathroomLightToDeviceLink(struct Devices *phead);		//“浴室灯”加入设备链表函数声明      2
struct Devices* addBedroomLightToDeviceLink(struct Devices *phead);	        //“卧室灯”加入设备链表函数声明      8
struct Devices* addRestaurantLightToDeviceLink(struct Devices *phead);		//“餐厅灯”加入设备链表函数声明      13
struct Devices* addLivingroomLightToDeviceLink(struct Devices *phead);		//“客厅灯”加入设备链表函数声明      16
struct Devices* addSmokeAlarmToDeviceLink(struct Devices *phead);           //“烟雾报警器”加入设备链表函数声明  6
struct Devices* addBuzzerToDeviceLink(struct Devices *phead);		        //“蜂鸣器”加入设备链表函数声明      9
struct Devices *addCameraToDeviceLink(struct Devices *phead);               // “摄像头”加入设备链表
struct Devices *addLockToDeviceLink(struct Devices *phead);                 // “门锁”加入设备链表			   15

main.c

在main.c文件里的Command(struct InputCommand* CmdHandler)函数中添加

    // OCR 指令：执行人脸识别功能进行开门
    if (strcmp("OCR", CmdHandler->command) == 0)
    {
        tmp = findDeviceByName("camera", pdeviceHead);
        if (tmp != NULL)
        {
            tmp->justDoOnce();
            // 字符串检索 判断翔云后台返回的一大堆字符串中有没有“否”
            if (strstr(ocrReturnBuf, "否") != NULL)
            {
                printf("人脸比对失败\n");
            }
            else
            {
                printf("人脸比对成功\n");
                tmp = findDeviceByName("lock", pdeviceHead);
                if (tmp != NULL)
                {
                    tmp->open(tmp->pinNum);
                    printf("已开门\n");
                    delay(3000);
                    tmp->close(tmp->pinNum);
                }
            }
        }
    }

这里的摄像头只是当作一个设备去用，目前实现通过串口指令然后system()进行拍照。然后翔云平台进行人脸对比，未实现自动人脸检测。

所以摄像头没有另创线程。但是做视频监控可以另创线程。

这样当串口发送OCR时，实现人脸对比并开锁，所以没有用线程去做

当然，要把camera、lock设备加入设备工厂

注意：ocrReturnBuf这个因为要再不同文件调用的全局变量所以要extern

编译运行

gcc *.c -lwiringPi -lwiringPiDev -lpthread -lm -lcrypt -lrt -I /home/orangepi/curl-7.71.1/_install/include/ -L /home/orangepi/curl-7.71.1/_install/lib/ -lcurl

sudo -E ./a.out

运行结果

四、mjpg实现监控识别

mjpg来实现也是一样的
通过前面智能垃圾分类章节【阿里云】图像识别 摄像模块 语音模块

五、V4L2 视频设备 Linux 内核模块的一部分

V4L2 是视频设备 Linux 内核模块的一部分，全名是 Video for Linux 2。它提供了一套标准的 API，用于控制和管理视频设备，比如摄像头、视频捕获卡等。V4L2 的设计旨在与 Linux 内核无缝集成，并提供用户空间应用程序与视频设备进行交互的标准接口。

V4L2 的主要特性和功能包括：

1. 设备的打开和关闭： 使用 V4L2，可以打开和关闭视频设备。

2. 格式和尺寸控制： V4L2 允许应用程序查询和设置视频设备支持的不同格式和分辨率。

3. 帧缓冲管理： 应用程序可以通过 V4L2 分配、映射和取消映射帧缓冲。

4. 视频捕获和输出： V4L2 允许应用程序启动视频捕获或输出操作，并控制捕获或输出的参数。

5. 控制操作： V4L2 提供了对摄像头参数（如亮度、对比度、色彩饱和度等）的控制。

6. 流 IO 操作： 支持单帧和多帧的 I/O 操作，用于捕获或输出视频流。

7. 回调函数： V4L2 支持回调函数，使得应用程序可以在特定事件发生时得到通知。

V4L2 API 的使用一般包括在用户空间的应用程序中调用相应的系统调用，例如 open()、ioctl() 等，以与视频设备进行交互。在内核空间，V4L2 的实现则通过提供相应的结构体和函数指针来支持。

请注意，V4L2 的详细定义和使用方式可能会根据 Linux 内核版本的不同而有所变化，因此建议查阅相应版本的内核文档和头文件以获取准确的信息。

在 Linux 上，安装和配置 V4L2 通常涉及以下步骤：

1. 检查内核支持： 确保你的 Linux 内核已启用 V4L2 支持。通常，大多数标准的 Linux 内核都包含了 V4L2 模块。你可以通过查看内核配置文件或使用 lsmod | grep videodev 命令来检查是否加载了 videodev 模块。

2. 安装 V4L2 工具： 有一些工具可用于测试和配置 V4L2 设备。其中一个常用的工具是 v4l-utils。你可以使用包管理工具安装它，例如：

   sudo apt-get install v4l-utils   # 对于基于 Debian 的系统
   

   或

   sudo yum install v4l-utils   # 对于基于 Red Hat 的系统
   

3. 配置设备权限： 确保用户具有访问视频设备的权限。你可以将用户添加到 video 组，或者通过修改设备文件的权限来实现。设备文件通常在 /dev 目录下，例如 /dev/video0。

4. 加载 V4L2 模块： 如果你的内核未自动加载 V4L2 模块，你可以使用 modprobe 命令手动加载：

   sudo modprobe videodev
   

   或者，如果你使用的是特定的摄像头或设备驱动程序，可能需要加载相关的模块。

5. 测试设备： 使用 v4l2-ctl 工具或其他 V4L2 相关工具测试你的视频设备。例如，你可以使用以下命令查看设备的基本信息：

   v4l2-ctl --list-devices
   

   或者使用以下命令查看摄像头的支持格式和参数：

   v4l2-ctl --list-formats-ext -d /dev/video0
   

这些步骤提供了一个基本的 V4L2 安装和配置的概述。具体的步骤可能会因你的系统和设备而有所不同。请查阅相关的文档和手册以获取更详细的信息。