跨数据库微表情识别的自适应时空注意神经网络

许多智能应用和系统，包括生物医学硬件和设备，都需要人机交互技术。该技术使智能硬件能够获取人类的生理和行为信息，以处理和完成特定的任务，为日常生活提供便利，提高社会效率。此外，人机交互技术涉及许多重要的研究领域。情感识别是人机交互中的一个重大挑战，因为在交互过程中理解人类的情感状态对智能机器来说是困难而又重要的。近年来，通过识别面部微表情来识别人类的情绪已经变得越来越流行。微表情是一种短暂的、不由自主的面部表情，由细微的面部肌肉运动组成，当一个人试图隐藏情绪时就会出现。因此，微表情通常可以揭示人类真实的情绪状态，比普通的面部表情传达更丰富的信息。因此，微表情的自动识别在许多领域都有潜在的应用前景。例如，临床诊断、安全工作和人机交互。

在上述研究的启发下，本文提出了一种用于CDMER的自适应时空注意神经网络(ASTANN)。具体而言，首先通过提取光流信息对数据库进行预处理。然后，将光流信息与人脸图像相结合，生成新的表征。在此基础上，选取新表示的三幅图像作为动态表达序列，并将其拟合到网络进行进一步的时空特征提取。最后，提出了一种简单有效的损失函数来优化网络参数，以减小源数据库和目标数据库之间的分布差距。该模型的主要优点是利用具有时空注意机制的深度神经网络来关注微表情的细微和即时特征来解决CDMER问题。通过利用时空注意力，该架构可以自动捕获微表情样本中时空稀疏的有用信息，用于CDMER任务。 注意机制是通过计算空间和时间域中样本的注意权重来引入的，它突出了骨干框架中样本中更有用的信息。

•利用一种简单有效的区域自适应方法嵌入相关比对(CORAL)。

 

•利用一种简单而有效的域自适应方法将相关对齐(CORAL)损失嵌入到神经网络的第一个完全连接(FC)层，显著提高了跨数据库任务的性能。

 

•在两个基准任务上进行了实验，结果表明作者的方法与最先进的(SOTA)方法相比具有优越的性能。

 

在未来，作者希望研究文本和音频等多模态信息的结合是否有助于识别过程，这是一个重要的问题，可以为CDMER的研究领域做出贡献。

 

跨数据库微表情识别的自适应时空注意神经网络https://doi.org/10.1016/j.vrih.2022.03.006     

---

---