基于脑电信号的特征聚类深层神经网络情感识别

摘要

在上交的Seed数据集上，提出了一种基于EEG的深卷积神经网络情感分类模型。采用AlexNet、VGGNet和ResNet-50的组合特征模型进行特征提取，在三种情感的分类上取得了91.3%的准确率。

数据集介绍

DataSet：Seed数据集
此数据集由上海交通大学吕宝良团队采集，总共15名受试者，每人每个一星期采集一次，总共采集三次数据。
从材料库中选择了15部中国电影剪辑（正面，中性和负面情绪）作为实验中的刺激。胶片夹的选择标准如下：（a）整个实验的时间不应太长，以免会使受试者感到疲劳；（b）影片应理解无须说明；（c）视频应引起一种期望的目标情感。 每个影片剪辑的持续时间约为4分钟。每个影片剪辑都经过精心编辑，以产生连贯的情感，并最大化情感含义。实验中使用的影片剪辑的详细信息如下：
每个实验总共有15个试验。在一个剪辑中，每个剪辑之前有5s提示，自我评估有45s，休息后有15s休息。安排放映的顺序，使针对同一情感的两个影片剪辑不会连续显示。为了获得反馈，要求参与者在观看完每个剪辑后立即完成问卷，以报告他们对每个剪辑的情感反应。详细协议如下所示：

Seed数据集地址：http://bcmi.sjtu.edu.cn/~seed/seed.html

处理方法

1.使用连续小波变换生成小波图像，讲形状重组为2272273.
2.将小波图像作为输入信号，参考GoogLeNet的ception的概念，本文提出了AlexNet，VGG-16，ResNet-50组合的ception来从小波图像中提取特征。
AlexNet：输入经过5个卷积层和3个全连接层来分析图像之间的像素值。最后生成5个通道X4096个特征，故最终会得到的数据为(5x15x3x62=13950)x4096。
VGG-16：VGG-16是一个16深度预训练的DNN模型，最终得到数据也为：13950x4096.
ResNet-50:ResNet-50是一个有50个级别的残差网络，最终也得到数据为13950x4096.
3.使用PCA方法进行降噪，在利用K聚类的方法，将5个特征聚类到1个，62个通道聚类到1个通道。最终得到45x4096（个人感觉是每个情绪片段得到的特征），由于有三个，故最终为45x3x4096.
4.在将这些特征作为输入最后进行SVM分类和Knn分类。

结论

我们的方法优于以往的研究。在不考虑通道退化的模型中，我们发现所有通道获得的特征对于利用脑电图信号对人类情绪进行分类是有用的。多分类器的分类精度比k-NN分类器的分类精度高。与传统的情绪分类方法相比，该模型具有更高的分类精度。

个人收获

感觉文章对于特征提取这里说的不是很清楚，虽然我大致理解了作者的思路，但是我凭感觉我没有看到最终的特征向量怎么得到的。（—。---可能是我没看懂┭┮﹏┭┮）
文章对于利用三种经典的Cnn框架来进行分类确实是可行的。但神经网络这种对于小样本来说来时存在不稳定性，需要扩大样本，同时文章其实可以在DEAP数据集上验证，看是否可以实现算法的迁移学习。