ER综述论文阅读-Emotion recognition in EEG signals using deep learning methods: A review

Emotion recognition in EEG signals using deep learning methods: A review

Q1期刊，2023

论文链接：https://d1wqtxts1xzle7.cloudfront.net/105887899/emotionreview-libre.pdf?1695460941=&response-content-disposition=inline%3B+filename%3DEmotion_recognition_in_EEG_signals_using.pdf&Expires=1726555838&Signature=MhG9vmSZvUt54~IEj16-7dohUy8uMEFgQ5D4ZNA8GgSSon346rVHux7srpmsiAuJwb~Ut1y2m1QD4j~xT-rBGS0EaIn7qs3m4K~xhpdkMa4HbszDA7-zliJL-ZNRCCaFr2EE-n~RIpl21remopptnuOMSLvZtpSY7f-qdDwkJNRySm5JYx6xJDf9x7beDVoR1iyD55F4d6UrvdKJW~iUv8wjuYmrjK~A38OTZ9qsNgXQoQywVH6zzpDGeONhsJUKzTAxrUBbc4sdbA9MLj5V3Iwaw3a~aE-Y2HbnfNjkLk6RaMiZ9AXS7tw93p3F7VcZDWDURKNWid3BFtCqSPrdNg__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZAhttps://d1wqtxts1xzle7.cloudfront.net/105887899/emotionreview-libre.pdf?1695460941=&response-content-disposition=inline%3B+filename%3DEmotion_recognition_in_EEG_signals_using.pdf&Expires=1726555838&Signature=MhG9vmSZvUt54~IEj16-7dohUy8uMEFgQ5D4ZNA8GgSSon346rVHux7srpmsiAuJwb~Ut1y2m1QD4j~xT-rBGS0EaIn7qs3m4K~xhpdkMa4HbszDA7-zliJL-ZNRCCaFr2EE-n~RIpl21remopptnuOMSLvZtpSY7f-qdDwkJNRySm5JYx6xJDf9x7beDVoR1iyD55F4d6UrvdKJW~iUv8wjuYmrjK~A38OTZ9qsNgXQoQywVH6zzpDGeONhsJUKzTAxrUBbc4sdbA9MLj5V3Iwaw3a~aE-Y2HbnfNjkLk6RaMiZ9AXS7tw93p3F7VcZDWDURKNWid3BFtCqSPrdNg__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZA

文章总结

1. 论文的介绍部分首先涵盖了情感分类以及用于识别情感的技术。随后，对信号记录的几种方法（包括EEG［211］、温度［212］、心电图［213］、肌电图［214］和皮电反应［215］）的优缺点进行了回顾。接下来，本文讨论了EEG信号的重要性及其在情感识别中的挑战。最后，本文阐述了DL技术相比于ML技术在基于EEG信号进行情感识别中的优势。
2. 第2节回顾了基于DL技术的EEG信号情感识别的相关文献。所回顾的文献发表时间为2016年至2023年。此部分通过表2总结了所回顾文献的详细信息，展示了基于EEG的情感识别的最新研究进展，并将本文与其他研究进行了比较。
3. 第3节描述了文献回顾中使用的搜索策略，遵循PRISMA指南进行。我们重点收集了2017年至2023年使用DL技术进行情感识别的文章，并按照PRISMA指南［314］分三个阶段审查了相关研究。为便于文章筛选，我们还包括了PRISMA流程图和表格，概述了纳入和排除标准。这些措施旨在简化筛选过程并确保所回顾文献的质量。
4. 第4节讨论了使用DL模型开发的基于CAD的情感识别系统。该部分回顾了用于情感识别的CAD重要步骤，包括预处理和DL模型。首先介绍了可用于情感识别的EEG数据集。接着简要介绍了用于EEG信号预处理的关键低级和高级技术。然后，讨论了情感识别中使用的主要DL技术：卷积神经网络（CNNs）、预训练架构、自编码器（AEs）、循环神经网络（RNNs）、图神经网络和生成对抗网络（GANs）。表4总结了该领域的研究。
5. 第5节探讨了在使用DL技术进行情感识别过程中面临的挑战。最重要的挑战包括多模态数据集、不平衡数据集、可解释性AI（XAI）、DL技术以及硬件资源限制。此部分分别详细讨论了每个挑战。克服这些挑战将为基于DL技术的情感识别进一步应用研究铺平道路。
6. 第6节及其小节集中讨论了基于DL技术的情感识别研究。表4展示了使用DL技术从EEG信号中进行情感识别的研究。在这一节中，我们分析了表4中展示的信息，包括数据集、DL模型和分类算法。此外，我们还将本文的综述与同类主题的其他综述文章进行了比较，以突出我们工作的创新性。
7. 第7节概述了关于情感识别未来研究的最重要建议。这些建议涵盖了数据集、深度学习（DL）技术、可解释性人工智能（XAI）、硬件资源以及不确定性问题。关于DL模型的未来研究重点包括将变换器（transformers）、图卷积神经网络（GCNNs）、自监督学习（SSLs）和深度多任务学习（DMTL）架构应用于脑电图（EEG）信号的情感识别。这一部分为该领域的最新研究思路提供了灵感。根据表4的内容，可以看到一些研究人员在情感识别的研究中使用了图模型和注意力机制，并取得了成功的成果。然而，随着这些技术的新方法不断被引入，研究人员在未来的研究中将有更多的可能性可以探索。
8. 研究结果表明，未来开发基于EEG信号的情感识别实用工具是可行的。例如，医疗行业，包括医疗物联网（IoMT）［283,19］，正在通过AI技术迅速扩展。IoMT系统拥有庞大的存储容量，并配备了高性能的硬件单元用于信息处理［360,361］。因此，探讨IoMT系统在情感识别中的潜在应用是一个有趣的研究方向，可能会推动DL算法在实时情感识别中的实际应用。本文的另一个部分讨论了硬件挑战及其未来的潜在研究方向。未来研究中一个有前景的方向是利用基于现场可编程门阵列（FPGA）［362］和专用集成电路（ASIC）［363］芯片的片上系统（SoCs）进行EEG信号的情感识别。所提出的DL算法可以在这些芯片上实现和训练，从而快速且实时地检测包含各种情感的EEG信号。正如之前提到的，情感会影响人体的多个部位