最近很火的老照片在线修复 GFPGAN

在线体验

https://huggingface.co/spaces/akhaliq/GFPGAN

项目源码

https://github.com/TencentARC/GFPGAN

简要介绍

包浆老图立刻清晰到头发丝是一种怎样的体验?看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动(这就是用 AI 修复的高圆圆童年照)。

bc1446251d59a745003f414c54460bfd.png

 

甚至时间更久远的历史名人照片也能搞定。例如鲁迅先生年轻时意气风发的模样,被还原地淋漓尽致:

d86f38170d472fae81a97b3e7e416f72.png

 

图灵的这张修复就更厉害了,不仅眼神更加锐利,头发、眉毛等细节都被完美还原了出来:

8b0fe59a44149fbc6c9a493e71678d86.png

 

 

而以上这些效果,无需专业 PS 技能,只用一个网页端的 Demo、点点鼠标上传图片就能搞定!

这么方便的修复神器,立刻引来了广大网友的围观和试玩。

不少人都用自己童年时低像素的照片来试验,这效果仿佛十几年前的自己就站在眼前了:

ea250b60a2a5007a251187c32d63d524.png

 

 

已经糊到包浆的照片也能秒变人像大片,这 feel 立刻就来了~

344c4459e50b67ff7765d543067af1fe.png

 

 

多人合照修复也都是小 case,这效果让网友们直呼惊到了惊到了。

7c1fa82b0351cec4de26af5c203fb992.png

 

 

这就是已经多日霸占 GitHub 热榜第一的 AI 修复项目:GFP-GAN,Star 数高达 8400。

e135ca476e5637792993d919bfbdb4f5.png

 

 

最近,它在网上又掀起了一股老照片修复热潮,让人们争相试玩!而这一项目由腾讯 PCG ARC 实验室提出,其相关论文已被 CVPR2021 收录。

现在,就让我们赶紧来体验一下它的神奇之处吧。

Demo 试玩

GFP-GAN 可通过 Colab、Hugging Face 或本地运行代码进行试玩。我们今天是在 Hugging Face 网页端体验。

8c1892079bec5340f372b7a4c8975bf1.png

 

 

如界面所示,只需将你想修复的照片拖进左边的图片框内,点击 Submit 即可。比如我们上传一张的照片,得到的效果就是这样:

3c2772f9bef385ad4b1a7559c61f2f4a.png

 

 

而且它还会自动摆正人脸。

让人惊喜的是,遇到人像戴眼镜的情况,GFP-GAN 甚至连镜片反光都能高清化处理。u1s1(有一说一),修复后的效果完全看不出是几十年前的照片啊!

42e72725d375132b921ace34a0c2c9bc.png

 

就连齐天大圣孙悟空的猴脸,对于 GFP-GAN 而言也是 so easy,并且对光线的修复效果格外突出。

082c64885e41e251c7c0971fe66ef54a.png

 

 

并且修复中也不会过度磨皮,人脸上自然的皱纹也全部精细展现。

22471465f0f16403dfcf098a179eb141.png

用 GAN 修复人像

那么 GFP-GAN 如此强大的效果是怎么实现的呢?研究人员受到 StyleGAN2 的启发:

既然 GAN 已经能生成如假乱真的图片,那么它所包含的面部信息,是不是也能帮助人脸修复呢?由此,在 GFP-GAN 的模型框架中,主要用到了一个退化清除模块和一个预训练的 GAN 作为先验。

两个模块通过隐编码映射和多个信道分割空间特征变化层(CS-SFT)连接。

 

bdf3d8af4242aa8ce11b2c9c6e371d5f.png

 

训练过程中,首先要对低质量人脸进行降噪等粗处理,然后保留面部信息。

在保真度方面,研究人员引入了一个面部损失( Facial Component Loss),判断哪些细节需要提升保留,然后再用识别保留损失(Identity Preserving Loss)进行修复。

请登录后发表评论

    没有回复内容