Python实现人脸动捕与3D表情同步

以下是一个基于Python的简单人脸动作捕捉与3D模型表情同步的示例代码，使用MediaPipe和Open3D库实现：

import cv2
import mediapipe as mp
import numpy as np
import open3d as o3d

# 初始化MediaPipe面部网格模型
mp_face_mesh = mp.solutions.face_mesh
face_mesh = mp_face_mesh.FaceMesh(
    max_num_faces=1,
    refine_landmarks=True,
    min_detection_confidence=0.5,
    min_tracking_confidence=0.5)

# 初始化Open3D可视化窗口
vis = o3d.visualization.Visualizer()
vis.create_window(width=800, height=600)

# 创建简单3D人脸模型（立方体简化示例）
mesh = o3d.geometry.TriangleMesh.create_box(width=1.0, height=1.0, depth=1.0)
mesh.compute_vertex_normals()

# 定义面部关键点索引（MediaPipe标准索引）
LIPS_TOP = 13
LIPS_BOTTOM = 14
LEFT_EYE_TOP = 159
LEFT_EYE_BOTTOM = 145
RIGHT_EYE_TOP = 386
RIGHT_EYE_BOTTOM = 374

# 添加几何体到可视化窗口
vis.add_geometry(mesh)

# 初始化摄像头
cap = cv2.VideoCapture(0)

while cap.isOpened():
    success, image = cap.read()
    if not success:
        continue

    # 转换颜色空间并处理
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    results = face_mesh.process(image)

    if results.multi_face_landmarks:
        face_landmarks = results.multi_face_landmarks[0]
        
        # 获取关键点坐标（归一化坐标）
        landmarks = np.array([(lm.x, lm.y, lm.z) for lm in face_landmarks.landmark])
        
        # 计算嘴部开合程度
        mouth_open = landmarks[LIPS_BOTTOM][1] - landmarks[LIPS_TOP][1]
        
        # 计算眼睛闭合程度
        left_eye_close = landmarks[LEFT_EYE_BOTTOM][1] - landmarks[LEFT_EYE_TOP][1]
        right_eye_close = landmarks[RIGHT_EYE_BOTTOM][1] - landmarks[RIGHT_EYE_TOP][1]

        # 更新3D模型变形
        vertices = np.asarray(mesh.vertices)
        
        # 嘴部变形
        if mouth_open > 0.03:  # 阈值需要根据实际情况调整
            vertices[4:8, 1] -= mouth_open * 2  # 修改下部顶点Y坐标
            
        # 左眼闭合
        if left_eye_close < 0.02:
            vertices[0:2, 1] += 0.1
            
        # 右眼闭合
        if right_eye_close < 0.02:
            vertices[2:4, 1] += 0.1
            
        mesh.vertices = o3d.utility.Vector3dVector(vertices)
        mesh.compute_vertex_normals()

    # 更新可视化
    vis.update_geometry(mesh)
    vis.poll_events()
    vis.update_renderer()

    # 显示摄像头画面
    cv2.imshow('Face Capture', cv2.cvtColor(image, cv2.COLOR_RGB2BGR))
    if cv2.waitKey(1) & 0xFF == 27:
        break

# 清理资源
cap.release()
cv2.destroyAllWindows()
vis.destroy_window()

使用说明：

1. 安装依赖库：

pip install opencv-python mediapipe open3d

2. 该代码实现的功能：

• 使用摄像头实时捕捉面部表情
• 通过MediaPipe检测468个面部特征点
• 使用Open3D创建简单的3D立方体模型
• 根据检测到的嘴部和眼部动作驱动3D模型变形

3. 扩展建议：

• 使用更复杂的3D模型（OBJ或GLB格式）
• 实现更精细的骨骼绑定和混合形状
• 添加更多面部表情参数（眉毛、脸颊等）
• 优化性能（多线程处理、模型简化）

4. 高级实现方向：

# 对于更专业的应用，建议：
- 使用Unity/Unreal引擎进行3D渲染
- 采用ARKit/Faceware标准混合形状
- 集成DLIB或DeepLearning模型提高精度
- 添加网络模块实现远程动捕

注意：这个简化示例使用立方体作为演示模型，实际使用时需要：

1. 导入专业3D角色模型
2. 设置正确的骨骼绑定和混合形状
3. 优化特征点与模型变形的映射关系
4. 添加校准功能适配不同用户面部特征

如果需要更完整的实现方案，可以提供具体需求场景和3D模型格式，我可以提供针对性更强的解决方案。