3D人脸重建： BFM结合表情模型

MATLAB代码：

% addpath(genpath(pwd))
% --> model

% 载入原始的BFM模型
load('raw/01_MorphableModel.mat');

% 载入3dffa中 BFM信息
load('3ddfa/model_info.mat');

% BFM 处理后 共有 53490个点 
% trimIndex: 53215x1, trimIndex_f: 53215*3
% 点的索引， 维度是53251，对应BFM中的 53490个点
trimIndex_f = [trimIndex*3-2, 3*trimIndex-1, 3*trimIndex]';
trimIndex_f = trimIndex_f(:);  % 维度 159645 * 1

model.shapeMU = shapeMU(trimIndex_f, :); % 平均形状向量  159645 * 1
model.shapePC = shapePC(trimIndex_f, :);  % 形状PCA降维矩阵 159645 * 199
model.shapeEV = shapeEV;  % 形状正交空间的系数； 199*1
model.texMU = texMU(trimIndex_f, :);  % 平均纹理向量159645 * 1
model.texPC = texPC(trimIndex_f, :);  % 纹理PCA降维矩阵 159645 * 199
model.texEV = texEV;  % 纹理正交空间的系数  199*1
model.tri = tri;  % 三角格坐标， 维度 105840 * 3
model.kpt_ind = keypoints;  % 68个特征点

% 存储相关模型信息
model_info.kpt_ind = keypoints; 
model_info.trimIndex = trimIndex; 
model_info.symlist = symlist;  % 对称点信息 大小为 2*26720
model_info.symlist_tri = symlist_tri; % 对称网格信息， 大小 2*52937
model_info.segbin = segbin(trimIndex, :)';  % 获得掩模
model_info.segbin_tri = segbin_tri'; % 获得三角格掩模

% 2 载入表情模型
load('3ddfa/Model_Expression.mat');
model.expMU = mu_exp; % 平均表情向量 159645 * 1
model.expPC = w_exp;  %  表情PCA降维矩阵  159645 * 29  
model.expEV = sigma_exp;  % 表情系数  29*1
% 159645 / 3 = 53215， 不够 53490 个点，  缺少 275 点 

% 3 加载嘴唇三角格信息
load('3ddfa/Model_tri_mouth');
model.tri_mouth = tri_mouth;  % 嘴唇坐标， 3*107
model_info.tri_mouth = tri_mouth;   

% 4. 载入 脸部轮廓信息
load('3ddfa/Model_face_contour_trimed.mat');
model_info.face_contour = face_contour;  % 人脸轮廓点索引， 维度28
model_info.face_contour_line = face_contour_line;  % 人脸轮廓线索引 512
model_info.face_contour_front = face_contour_front; % 正面人脸轮廓线索引 28
model_info.face_contour_front_line = face_contour_front_line; % 正面人脸轮廓线索引 512

% 5 载入鼻子空洞
load('3ddfa/Modelplus_nose_hole.mat');
model_info.nose_hole = nose_hole;  % 鼻子索引 142
model_info.nose_hole_right = nose_hole_right;   % 右侧鼻子索引 71
model_info.nose_hole_left = nose_hole_left; % 左侧鼻子索引 71

% 6 parallel for key points
load('3ddfa/Modelplus_parallel.mat');  
model_info.parallel = parallel;
model_info.parallel_face_contour = parallel_face_contour;

% 7. PNCC
% 从 提前 计算好的  vertex_code.mat 得到PNCC特征
copyfile('3ddfa/vertex_code.mat', 'Out/pncc_code.mat');

% 载入UV坐标， 计算方法来自 3DMMasSTN论文
load('stn/BFM_UV.mat');
uv_coords = UV(trimIndex, :)';   % 2*53215

% 修改不好的顶点
bad_ind = [10032, 10155, 10280];
round1 = [10033, 10158 ];
round2 = [10534, 10157, 10661];
round3 = [10916, 10286];
uv_coords(:, bad_ind(1)) = mean(uv_coords(:, round1), 2);
uv_coords(:, bad_ind(2)) = mean(uv_coords(:, round2), 2);
uv_coords(:, bad_ind(3)) = mean(uv_coords(:, round3), 2);

model_info.uv_coords = uv_coords';
UV = model_info.uv_coords;

% 添加嘴唇三角网络
tm_inner = model.tri_mouth;
tm_inner_add =[6420 6542 6664;  %% add inner mouth triangles
                        6420 6294 6167;
                        6167 6297 6420;
                        6167 6297 6296;
                        6167 6296 6295;
                        6167 6295 6039;
                        6168 6295 6039];   
ind_bad = 38;
all_ind = 1:size(tm_inner, 2);
tm_inner = tm_inner(:, setdiff(all_ind, bad_ind));
tm_inner = [tm_inner tm_inner_add'];
model_info.tri_mouth = tm_inner;
model.tri_mouth = tm_inner;


% save
clearvars -except model model_info UV

save 'Out/BFM.mat' model
save 'Out/BFM_info.mat' model_info
save 'Out/BFM_UV.mat' UV
% copyfile('3ddfa/pncc_code.mat', 'Out/pncc_code.mat')

对应文件:  此处  密码: b8la