“网易伏羲三项研究入选CVPR顶会：AI感知表情能力将达到人类水平”

本篇文章2206字，读完约6分钟

2月28日，人工智能高层会议cvpr 2021 (国际计算机视觉与模式识别会议，Conference ONC OMPuter Vision And Pattern RECOGNition ) )公布论文录取结果，新闻网站伏羲共3篇论文。

其中，新闻网伏羲虚拟人团队发表的研究备受瞩目。 该研究提出了人类表情代码的创新提取方法，大大提高了ai感知人类表情的精度。 随着这项技术的迅速发展，将来ai感知人类表情的能力甚至有望超过人类的平均水平。

该技术的应用场景非常广泛，包括测谎、性格判断、自闭症检测、表演能力判断等许多与面部表情相关的行业。

过去，学术界对人类表情的识别和描述通常基于两个以前流传下来的理论。 一种是出生于150年前的达尔文时代，学者们从心理学开始，根据喜悦、惊讶、愤怒、悲伤等有限的感情类别描述了人类的表情。 另一个起源于20世纪70年代末，著名的心理学家paul ekman博士从解剖学的角度，根据人类面部肌肉的运动，用27种动作单元表现了人类的表情。

从数量上来说，根据以前流传下来的理论对人类表情的记述极其有限。 新闻网站“伏羲”的人类表情代码提取方法，用人工智能的方法进一步突破了这个瓶颈。 通过学习大量脸部表情数据，ai可以无限且无上限地感知人类表情。

为了使ai更好地理解人类的喜怒哀乐，技术人员还需要将细粒度、人工标记的面部表情数据用于算法参数的迭代，以进一步提高表情代码的精度。 为此，新闻网站伏羲正在开发游戏化的标注小程序，让普通客户在游戏过程中可以轻松参与表情标注，从而加速了人类表情行业的人工智能研究和应用。

新闻网站“伏羲”成立于今年，是国内从事游戏和文创ai研究与应用的顶级机构，研究方向包括强化学习、图像动画、自然语言、虚拟人、客户图像、大数据平台等行业。 据了解，此次cvpr论文展示的部分科研成果在新闻网众多产品中获得了成功。 今后，新闻网站伏羲将继续重视技术落地，用科研成果推动产品创新。

附| 新闻网伏羲三篇入选c VPR 2021 论文概要:

1、“通向身份新闻的表情代码”

/ S2// S2// S2// S2 /学习关系委讬发展关系

论文概要:

本研究的首要目的是获得紧凑、且与身份新闻无关的脸部表情表达。

本研究中，新闻网站伏羲虚拟人团队首次提出用将表情特征建模为从身份特征出发的一个差分向量的明确方法来消除身份的影响 因此，本研究为了学习这个差分值设计了模拟双胞胎结构的网络。 另外，为了加强网络深层的学习能力，本研究用高维多项式的方法代替常规的全连接层进行从高维到低维的映射。 另外，考虑到不同标记者存在一定的标记干扰，本研究增加了众包层不同标记者学习的偏差，使学习到的表情表现更具鲁棒性。

定性和定量实验结果表明，这种做法在fec数据集上超出了前沿水平。 另外，对感情识别、图像检索、脸部表情生成等也应该有效果。

(论文的pipeline ) )。

下图显示了这项工作的表情表达代码的效果。 输入一张检索( query )表情，通过比较表情代码的距离，从足够大的脸部数据集中检索与之最相似的一点表情) results )。 下图显示了top5的结果。

〔本研究中的表情表达的效果〕

从图中可以看出，检索到的图像与目标表情非常接近，证明了本研究提出的表情表达代码能够感知到微妙而精细的表情。

2、“基于稠密操场的高清晰度谈话的脸部视频生成”

/ S2// S2// S2 /基于流量的一次性交换解析音频-虚拟数据[/S2 ]

论文概要:

one-shot发言的脸部合成目的是，给与任意一张脸部图像和任意声音，合成声音口形同步、眉毛动作自然的高清晰度发言的脸部视频。 在/ S2 /之前业务合成的视频分辨率 之所以受到限制，主要是因为两个[/S2// ]

为了应对这种问题，本研究首先收集了高清面部语音视频数据集yad，该数据集比以前无约束条件的数据集高清，比以前实验室环境的in-the-lab数据集包含越来越多的人物id。

基于HD数据集yad，本研究使用三维人脸重建( 3dmm )，将整个方法分为表情参数合成和视频图像合成两个阶段； 在表情参数合成阶段，多任务合成嘴唇运动参数、眉眼运动参数、头部运动参数。 在视频图像合成阶段，用稠密操场代替脸部关键点来引导脸部图像的生成。 定性和定量的结果表明，本研究能够合成比以往业务更高精细的视频。 下面两个图分别表示了方法的流程图和视频合成效果。

(论文的pipeline ) )。

(实验合成结果)

/ S2/3、“神经样式刷子”

/ S2/s/S2 /分类合并/ S2// S2 /

论文概要:

新闻网站的伏羲与密歇根大学合作研究，提出了从图像到绘画的转换方法。 这种方式风格可控，可以产生生动的绘画。 与神经风格的转移方法不同，新闻网站伏羲在参数化的条件下解决这一艺术创作过程，生成一系列具有物理意义的画笔参数。

(根据神经元，ai的相似度很高，可以制作独特风格的绘画) ) ) )。

经典的矢量渲染是不可缺少的，所以我们设计了新的神经微渲染器。 模仿矢量渲染器的行为，将笔刷预测转换为参数搜索过程。 也就是说，使输入和渲染输出的相似度最大化。

实验表明，该方法生成的绘画在整体外观、局部纹理方面具有较高的保真度，也可以与神经样式的迁移一起进行优化，从而进一步迁移其他图像的视觉格式。