如果您可以使用网络摄像头和插图或摄影静态图像，而仅是现实而令人信服地操纵历史人物，政客或首席执行官的面部特征怎么办?总部位于首尔的Hyperconnect研究人员最近开发了一种名为MarioNETte的工具，可以实现这一目标，这在一定程度上要归功于尖端的机器学习技术。研究人员声称，即使在要操纵的脸部和进行操纵的人之间存在“明显的”不匹配的情况下，其性能也优于所有基线。
从技术上来说，MarioNETte是一种面部重现工具，其目的是在保留面部(目标)外观的同时，合成通过人(“驾驶员”)的移动而动画化的重现面部。这不是一个新主意，但是以前的方法(1)需要几分钟的训练数据并且只能重新制定预定的目标，或者(2)在处理大姿势时会扭曲目标的特征。
MarioNETte通过合并三个新颖的组件来提高技术水平：图像关注块，目标特征对齐和界标转换器。注意块允许模型关注已映射物理特征的相关位置，而目标特征对齐可减轻伪影，翘曲和变形。至于标志性的变压器位，与需要人工标注示例的方法相比，它无需标记数据即可使驾驶员的姿势几何形状适应目标的几何形状。
研究人员使用VoxCeleb1和CelebV(两种名人照片和视频的开源语料库)对MarioNETte进行了培训和测试。使用来自VoxCeleb1的1,251个不同名人对模型和基线进行了训练，并通过从100个随机选择的VoxCeleb1视频中抽取2,083个图像集(加上CelebV中每个名人的2,000个图像集)采样，对一组模型进行了测试。
结果?根据经验，在多达八张目标图像上，MarioNETte超越了所有其他模型，仅保存一张(PSNR)。在另一项用户研究中，任务100名志愿者根据质量和真实性从不同模型生成的两幅图像中选择一张，MarioNETte的输出排名高于所有基准。
