深度学习下的微表情研究：困难、进展及趋势

雷锋网AI科技评论按：人是善于通过表情伪装情绪的动物，但心理学家却能够通过“微表情”来揭示人们试图隐藏的真实情绪。

所谓微表情，是一种持续时间极短、在人们试图掩饰自己真实情绪时泄露出来的面部动作。

如果看过美剧《Lie to Me》，应该对微表情不会陌生。男主卡尔•莱特曼是一个微表情专家，他不需要借助测谎仪之类的设备，也不需要收集各种证据，甚至不需要对话，只需要观察细微的表情变化便可以判断一个人是否说谎。

之所以能够这样，是因为人们在体验情绪时会有一系列肌肉动作不自觉地表现出来。

例如人们在愤怒时，眉毛会紧皱下垂，，眼睑和嘴唇紧张：

或者一个人在对事物表示惊讶时，下颚会自然下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛会微微上抬：

当然，我们知道面部表情是可以受主观意识控制，例如一个人可能因其知识、阅历、能力等原因，在内心波涛汹涌的时候做到面不改色。然而，微表情是面部肌肉条件反射地表现出情绪所对应的行为。正是因为如此，微表情往往能够揭示人类试图隐藏的真实情绪。

但正如对微表情的定义，微表情持续时间短暂、变化幅度微弱和动作区域较少，很多时候人们很难注意到其存在。只有那些经过大量训练的专家才能准确地检测，而且不同的专家还往往会判断不一致。靠人工来观察微表情真的是一个耗费人力、耗费时间，而且准确度低的事情！

停！

耗费人力物力、工作机械、需要大量专家……这不正是机器学习所擅长的吗？事实上，目前已有许多学者在用机器学习的方法进行微表情研究了。

一、方法

对微表情的研究，在方法上事实上类似于人脸识别，一般包含检测和识别两个具体问题。

对于人脸识别，一般都是先进行人脸检测，然后对检测到的人脸进行识别。这个过程同样也适用于微表情识别：先从一段长视频中把发生微表情的视频片段检测出来，然后识别该微表情属于哪一类微表情。

人脸检测和微表情检测

微表情检测，就是指在一段视频流中，检测出是否包含微表情，并标记微表情的起点(onset)、峰值(apex)和终点(offset)。起点(onset) 是指微表情出现的时间；峰值(apex) 是指微表情幅度最大的时间; 终点(offset) 是指微表情消失的时间。

微表情识别是指给定一个已经分割好的微表情片断，通过某种算法，识别该微表情的情绪种类（例如厌恶、悲伤、惊讶、愤怒、恐惧、快乐等）。如同三维动态表情识别一样，其处理的对象是视频片断，而不只是单幅图像。对其处理过程中，不仅要考虑空间上的模式，还要考虑时间上的模式。所以许多微表情识别的算法都考虑了时空模式。

相对于微表情检测来说，微表情识别的难度要小一点。所以对微表情的研究一般从微表情识别开始入手。

不过对微表情的检测和定位往往会更有实用价值。如果能在一段视频中准确地检测和定位到某个时间点有微表情出现，那么就说明这个人在这个时间点上可能会有异常。

二、数据集

事实上对于微表情研究，最难的是如何收集足够多的、质量高的微表情数据集。

目前微表情数据库并不多，已知的有：USF-HD数据库，Polikovsky数据库， SMIC数据库, CASME数据库, CASME II数据库，SAMM数据库，CAS(ME)2数据库。在这八个数据库中，前两个都是非自然诱发的，且非公开的。

另外5个数据集，CASME、CASME II、CAS(ME)2是中国科学院心理研究所傅小兰团队所建立，SMIC是由芬兰奥鲁大学赵国英团队建立。各个数据集的细节如下表所示：

五个公开发表的微表情数据库

需要强调的是，这些数据库的样本量都非常小，到目前为止，公开发表的微表情样本只有不到800个。是典型的小样本问题。这就造成当前基于深度学习的方法在微表情问题上无法完全发挥出它应有的威力。雷锋网 (公众号：雷锋网)

事实上，微表情数据库的建立非常困难。一个原因是微表情的诱发很难，研究者往往要求被试观看情绪视频，激发他们的情绪同时要求他们伪装自己的表情。有些被试可能并没有出现微表情或者出现得很少。

另一方面，微表情的编码也十分费时费力。微表情的编码依赖于肉眼，需要观察者慢速观看视频，并且选择脸部运动的起始、高峰、结束并计算他们的时长。而且对于微表情的情绪标定，目前没有统一的标准。

微表情数据库面临的另外的问题。因为微表情的运动幅度非常小，并且相对于常规表情常常是局部的运动，导致在情绪分类上并不是很明确，所以不同数据库的情绪标定标准不一样，所以相似的运动被作为不同类的微表情而不同的运动被视作为同类的表情。这一特点导致使用各种数据库进行微表情识别算法训练得出的结果并不一致。

此外，由于微表情持续时间短、强度低且经常是局部运动，现在的许多微表情数据库视频质量并不能满足微表情识别分析的需要，这需要具有更高的时间和空间分辨率的视频片段才能进一步改进目前的识别算法。

一句话：微表情建库，重要性非常高 ，问题非常多，困难非常大。

三、现状

近几年来，微表情受到越来越多学者们的关注。

2009-2016年计算机科学领域中微表情论文发文量的统计（数据来自Scopus）

上图对2009-2016年计算机科学领域中微表情论文发文量进行了统计。可以看出，近三年来，有关微表情论文的发文量在急剧增长。2009-2016年一共发文81篇，其中2016年就发文30篇，占总数37%。特别是2013年两个微表情数据库（CASME和SMIC）公开发布以后，微表情相关的论文发文量逐年递增。

目前，国外做的较好的以芬兰奥鲁大学赵国英团队为主，他们为微表情识别提出了一个系统的框架，并且公开以布了一个微表情数据库SMIC。其他包括马来西亚Multimedia大学的John See团队、英国曼彻斯特都会大学的Moi Hoon Yap团队、美国南佛罗里达大学的Shreve、日本筑波大学的Polikovsky和日本早稻田大学Yao等。

而国内做微表情检测和识别的科研机构主要有中国科学院心理研究所傅小兰团队，前面提到的三个数据库都是他们建立的。其次还有东南大学郑文明团队、山东大学贲晛烨团队、复旦大学张军平团队、清华大学刘永进团队、中山大学的郑伟诗团队等。可以看出，国内在这方面有相对较多的研究队伍。

从微表情论文发文数量可以看出，微表情检测和识别的研究属于一个小众的研究。其限制的主要原因在于大规模、高质量、公开的数据资源的稀缺。所以，用机器学习方法做微表情研究，面临的一个重要的问题便是：如何建立大规模、高质量的数据库资源。这面临着从硬件，到软件，到标准的一系列严峻挑战。

四、论道

在国内，关于微表情研究的会议或论坛并不是很多，大多只是小圈子内一些研究者之间的相互交流，其他研究人员以及大众对于这方面的研究进展知之甚少。

为了推广国内学者以及大众对该领域的关注，中科院心理所副研究员、2018年第八届吴文俊人工智能科学技术奖一等奖获得者王甦菁博士将在CNCC 2019大会上举办一场主题为“微表情检测和识别”的论坛，并邀请现任儿童发展与学习科学教育部重点实验室主任郑文明教授、西安交通大学特聘研究员洪晓鹏博士、京东数字科技颜文靖副教授、江西中医药大学申寻兵副教授、山东大学贲晛烨副教授等，共同论道微表情检测和识别的现状及未来，理论与应用。论坛上也会介绍中国科学院心理研究所搭建的微表情编码与共享平台（http://mecss.psych.ac.cn/）。

届时会擦出什么样的火花呢？值得期待。

论坛概述： 微表情是一种持续时间极短的、在人们试图掩饰自己真实的情绪时泄露出来的面部动作。这种无法压制的属性使微表情成为欺骗检测的重要线索。人们欺骗他人时，个体会有众多反映内心真正情绪体验的信号出现（如害怕欺骗被发现导致的恐惧、愚弄他人的快乐等)。相对于研究较多的持续时间较长的宏表情，对微表情的产生、识别（自动识别）及相应的认知神经机制都有待进一步探索。微表情不可自主控制的属性使其可以应用到国家安全（安检）、司法实践（审讯）、临床医学（医患沟通）、广告与消费（监测消费者的真实态度）等等各个行业领域的真实意图检测。本论坛邀请心理学和计算机专家，从两个学科的角度对微表情检测和识别分别给出报告。

主席： 王甦菁，IEEE,CCF高级会员。中国科学院心理研究所副研究员，从事微表情检测和识别的研究，采用计算机视觉技术，对微表情检测和识别展开了卓有成效的工作。通过计算机科学与心理学学科交叉研究，在自发微表情诱发、微表情检测和微表情识别等方面取得了系统性的创新成果。“微表情识别方法”荣获2018年第八届吴文俊人工智能科学技术奖一等奖。

讲者1：贲晛烨

题目：M2MEW：跨源面部宏/微表情数据库

贲晛烨，副教授，硕士\博士生导师，山东大学未来计划学者。主要研究方向为图像处理、模式识别。 获得哈尔滨工程大学优秀博士学位论文奖，黑龙江省优秀毕业生荣誉称号，入选教育部“全国博士后特别资助计划”。2010年4月至2012年5月在哈尔滨工业大学交通信息与控制专业流动站做博士后，2011年11月进入山东大学信息科学与工程学院图像处理与模式识别技术研究所工作，2015年1月至2015年12月在澳大利亚悉尼科技大学人工智能中心（全澳排名第一）陶大程教授研究组访问交流学习一年。主持国家自然科学基金面上、青年基金、科技部国家重点研发计划子课题、山东省重点研发计划、教育部博士点基金，博士后一等资助项目以及博士后特别资助等项目。

讲者2：颜文靖

题目：微表情数据库的现状与未来

颜文靖，心理学博士，毕业于中国科学院心理研究所。原温州大学心理系主任、副教授、硕士生导师、韩国全南大学兼职博士生导师。长期开展心理学与计算机的交叉研究，研究兴趣主要包括表情与姿态、欺骗以及心理健康，建立了国际上使用最多的微表情数据库CASME。现在京东数字科技开展心理学与人工智能结合的应用研究。

讲者3：郑文明

题目：人的智能发展评测与心理生理信息感知计算

郑文明，二级教授，博士生导师，现任儿童发展与学习科学教育部重点实验室主任、IEEE高级会员、中国认知科学学会理事。2004年9月博士毕业于东南大学无线电工程系信号与信息处理专业。先后在微软亚洲研究院、香港中文大学、美国伊利诺伊大学香槟分校、剑桥大学从事访问研究。主要研究方向为多模态情感计算、神经信息处理、计算机视觉，机器学习。2005年入选教育部新世纪优秀人才支持计划，先后获首届微软青年教授奖、全国优秀博士学位论文提名奖、江苏省杰出青年基金等荣誉。担任IEEE Transactions on Affective Computing、Neurocomputing、The Visual Computer、《图学学报》等国内外期刊编委。主持了科技部973课题、国家自然科学基金重点项目、江苏省杰出青年基金项目等，获国家技术发明二等奖1项、教育部自然科学二等奖2项和江苏省科技进步二等奖1项。

讲者4：申寻兵

题目：欺骗检测的情绪泄露线索

申寻兵，副教授，硕导，美国迈阿密大学（牛津）访问学者。近五年该同志主持省部级以上项目6项（其中国家自然科学基金与教育部人文社科项目各1项）；发表论文16篇 （其中第一作者或通讯作者SCI/SSCI论文4篇、 CSSCI论文2篇、EI论文5篇、CPCI （ISTP）论文1篇）；参与写作教材或著作3部，参编国家级规划教材1部；获校级教学成果二等奖1项（排名第1），获得授权发明专利1项（排名第二）。兼任《科学通报》、《心理学报》、《心理科学》审稿人，《Frontiers in Psychology》客座编辑、审稿人，世界中医药联合会中医心理学专业委员会常务理事，江西省心理学会常务理事，江西省社会心理学会理事，江西省中西医结合学会循证医学专业委员会委员，江西省中西医结合学会循证医学专业委员会委员，中国人工智能学会人工心理与人工情感专业委员会委员，江西省公共资源交易中心评标专家，江西省养老服务标准化技术委员会委员。

讲者5：洪晓鹏

题目：自动微表情分析：从手工特征到深度学习

洪晓鹏博士，现为西安交通大学电信学部特聘研究员、博导。曾获得芬兰奥卢大学博士生导师(Docent)头衔。他在高文院士指导下于2010年在哈尔滨工业大学获得计算机应用与技术专业工学博士学位。他目前的研究兴趣包括微表情识别、医学检查、小样本学习及物体跟踪等。洪晓鹏博士已在包括IEEE T-PAMI、T-IP、CVPR和ACM UbiComp等CCF A类学术刊物在内的国际权威期刊和会议上以主要作者身份发表了逾30篇文章，获授权发明专利一项。所发表文章Google Scholar引用超过800次，单篇所载刊物最高影响因子9.455。其中在瞬时情感分析方面的相关工作受到了包括美国《麻省理工技术评论》和英国《每日邮报》在内的国际权威媒体专文报道。自2011年起主持了芬兰奥卢市信息技术学会(Infotech Oulu) 博士后科研基金项目一项，共同主持芬兰科学院ICT2023专题项目一项，并先后参与多项芬兰科学院基金项目和中国国家自然科学基金项目。

参考文章： https://mp.weixin.qq.com/s/bMwVZN6sCcbVdU0F4ulagQ

雷锋网报道

。