近年来,基于深度学习的换脸技术——Deepfake 引起了广泛关注。与传统方法相比,Deepfake 技术能够生成极为逼真的图片和视频。
Deepfake 采用了自编码器(Autoencoder)结构,其核心设计是不同人共享一个编码器,但拥有各自独立的解码器。编码器负责提取所有人共有的面部特征,如表情变化和口唇运动,而个性化特征(如肤色和面貌)则由各自的解码器处理
基于编-解码的 Deepfake 训练过程。图片来源:Nguyen et al., 2022
当模型训练完成后,可以将A 的面部图像输入到共享编码器中,再通过B 的解码器进行解码,从而生成一张带有 A 表情的 B 面部图像。这就实现了换脸效果。
基于编-解码的 Deepfake 换脸过程。图片来源:Nguyen et al., 2022