当专科动画师用GAN帮本身“偷懒”,几分钟就完善了几周的做事

 男人的天堂播放器     |      2020-10-16 17:36
\u003cp>萧箫 发自 凹非寺\u003c/p>\u003cp>当视觉特效师与GAN强强联手,做出来的动画会不会更时兴?\u003c/p>\u003cp>应案是YES。\u003c/p>\u003cp>这是一位视觉特效师,用海外版抖音上超火的幼姐姐Bella Poarch的视频,生成的奥巴马TikTok版动画:\u003c/p>","type":"text"},{"data":{"duration":11,"bigPosterUrl":"https://x0.ifengimg.com/res/2020/19E21A334EA296AC1C8790E3DF3E78782DF85D08_size53_w1152_h720.jpg","attachmentType":"video","guid":"15303264-0dac-4638-af1c-a5ba5460ae94","attachmentId":"15303264-0dac-4638-af1c-a5ba5460ae94","mobileUrl":"http://ips.ifeng.com/video19.ifeng.com/video09/2020/10/16/p37472848-102-9987636-123237.mp4","title":"当专科动画师用GAN帮本身“偷懒”,几分钟就完善了几周的做事"},"type":"video"},{"data":"\u003cp>不光动画成果真切,外情生动,GAN生成的人物也不会展现不测“脱模”的情况。\u003c/p>\u003cp>那时,这位专科动画师一接触到AI,就望中了AI搞艺术的“本事”——用GAN将一个视频中的人物动画化,只必要\u003cstrong>几分钟\u003c/strong>。\u003c/p>\u003cp>相比之下,倘若用平常的柔件进走动画制作,能够必要消耗一个动画师\u003cstrong>几周的时间\u003c/strong>。\u003c/p>\u003cp>不过,他很快发现,现有的这些AI人脸动画化的模型,做出来的卡通现象实在太丑。\u003c/p>\u003cp>如下图,此前用AI将安倍晋三动画化后,卡通人物的脸色望首来不太益……\u003c/p>\u003cp class="textAlignCenter">\u003cimg src="https://x0.ifengimg.com/res/2020/59A92C2D3E3E9A54AAEF1241B1EC7CE662425B80_size444_w988_h484.png" />\u003c/p>\u003cp>\u003cstrong>△\u003c/strong>\u003c/p>\u003cp>动画化后有点印堂发暗的诡异感\u003c/p>\u003cp>所以,他干脆本身上手,结相符现有的GAN模型进走优化调整。\u003c/p>\u003cp>成果益极了!\u003c/p>\u003cp>不光像是给平常的人脸添了美颜特效,卡通现象简直堪比迪士尼动画中的主角:\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/13155FD252E3C9F80DC737E27279EA6F1B848191_size640_w1080_h447.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:41.388888888888886%;" />\u003c/p>\u003cp>连奥巴马都“返老还童”,比开了美颜望首来还年轻。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/891768FA34653F567B9BAFE3C8041448D574B672_size425_w1080_h359.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:33.24074074074074%;" />\u003c/p>\u003cp>而且,任何人都能限制这些卡通人物的外情,即使是挑前录制益的视频也能够。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/5CDCA433E35DE0EB3065753689A577EF67E84AFA_size6655_w639_h403.gif" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:63.06729264475743%;" />\u003c/p>\u003cp>那么,云云的动画成果,到底是怎么做出来的?\u003c/p>\u003cp>迁移学习的妙用\u003c/p>\u003cp>这位视觉特效师,选择了用一栽稀奇的手段制作时兴的卡通人物现象。\u003c/p>\u003cp>他行使\u003cstrong>迁移学习\u003c/strong>生成了一个7×6的外格,按照迁移学习的强度来生成分别风格的人脸。\u003c/p>\u003cp>也就是说,倘若迁移学习强度越大,人物就会越挨近卡通化,而迁移学习强度越幼,人物就越挨近实在现象。\u003c/p>\u003cp>能够望见,图像越挨近左下角,人像就越实在;而越挨近右上角,人物就更挨近卡通化。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/E0F3A1D88ABEFFB4B02E0E4F927FB697863D1CD5_size748_w1080_h884.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:81.85185185185185%;" />\u003c/p>\u003cp>云云,既能最大水平上保留人物的特点,又能使卡通脸望首来更真切。\u003c/p>\u003cp>而且AI还能按照“客户需求”,判定出更正当的人像,并进走数据训练。\u003c/p>\u003cp>连尤金老爷子望首来都年轻了不少,甚至有点《飞屋环游记》里老爷爷的慈祥意味了。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/DEF74F410FEEABDC2F169149E53C40006A33A770_size705_w1080_h523.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:48.42592592592593%;" />\u003c/p>\u003cp>在这其中,视觉特效师行使了GAN来生成卡通人物的现象。\u003c/p>\u003cp>既能“性别转换”,也能转折年龄\u003c/p>\u003cp>这位视觉特效师采用的基础模型是Justin Pinkney和Doron Adler的作品\u003cstrong>StyleGAN2 FFHQ\u003c/strong> (Nvidia的模型),主要按照DeepAI做成。\u003c/p>\u003cp>StyleGAN的原理在于,它摒舍了输入层,增补了一个非线性映射网络。\u003c/p>\u003cp>此外,它创新了一栽名为style-based generator的生成器,能够限制所生成图像的高层级属性(high-level attributes),如 发型、雀斑等。\u003c/p>\u003cp>而且,这个StyleGAN自带一个开源数据集FFHQ,内里包含着各栽各样的人脸数据集。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/3A920CFBE2E0923F68F74120F5468AD40CD3AEF7_size732_w1080_h477.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:44.166666666666664%;" />\u003c/p>\u003cp>而这位视觉特效师,则是将这个StyleGAN2 FFHQ进走了微调。\u003c/p>\u003cp>行使GAN生成的人物现象,不光能够卡通化,还能够让图像模式化(Stylized),生成风格相通的人物外情和特征。\u003c/p>\u003cp>不光可喜欢的幼友人能被卡通化,而且还能按照眉毛和脸部特征构建一个女孩子的面部:\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/176761E29EBA9E2BE9FDE8F7E3646C9FBABA1E4C_size632_w1080_h431.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:39.907407407407405%;" />\u003c/p>\u003cp>倘若人物“长大”了,那么模式化出来的女孩子的面部,也会变得更成熟:\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/BF562678611E3F0D73B890C33C03EEB7FE357661_size504_w1080_h439.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:40.64814814814815%;" />\u003c/p>\u003cp>这份柔件现在还没开源,由于望首来,这位视觉特效师对本身做出来的动画还不是太舒坦,认为照样有更众能够改进的空间。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/4BE3B52286D6DA4206FA0050B8E094429A51C27F_size77_w1080_h163.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:15.092592592592593%;" />\u003c/p>\u003cp>不过,网友益似已经有点急不走耐。\u003c/p>\u003cp>有亲喜欢二次元的网友外示,期待云云的工具能将一切的漫画改成动漫。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/4A3ACC304E8491B3FBA9520E72E25FCE27D957B5_size61_w1080_h131.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:12.12962962962963%;" />\u003c/p>\u003cp>也有网友外示,云云的工具望首来已经很棒了,不清新作者是否有意愿在对作品舒坦后,进走开源。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/7115391FF9DF4AACDAE2B47BC4673B687CBB69ED_size38_w1080_h132.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:12.222222222222221%;" />\u003c/p>\u003cp>憧憬这位视觉特效师能够达成现在的,将这份模型代码开源。\u003c/p>\u003cp>作者介绍\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/D7B66BA500415E50266C6938763F7C06A120A49A_size564_w1080_h739.png" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:68.42592592592592%;" />\u003c/p>\u003cp>Nathan Shipley,视觉特效师,动态图形艺术家,创意技术人员,现在感趣味的钻研倾向是AI生成艺术。\u003c/p>\u003cp>此外,这位特效师还曾经在2019年,为佛罗里达州圣彼得堡的达利博物馆“新生”了超现实主义画家Salvador Dali本人。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/DB5E1724F4A65665A3E9D7A16B9497FD53CC4F79_size1966_w604_h378.gif" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:62.58278145695364%;" />\u003c/p>\u003cp>那些对画家Dali的著作风趣味的不悦目展者,只要按下按钮,就能望见屏幕中的Dali正对你“打招呼”,神态专门惟妙惟肖。\u003c/p>\u003cp class="textAlignCenter">\u003cimg class="empty_bg" data-lazyload="https://x0.ifengimg.com/res/2020/F8A7C1774A95731D0BFF876D3F8359243BCC0F75_size1796_w640_h349.gif" src="data:image/gif;base64,R0lGODlhAQABAIAAAP" style="background-color:#f2f2f2;padding-top:54.53125%;" />\u003c/p>\u003cp>倘若对他的艺术作品感趣味的话,能够戳下方地址主页查望。\u003c/p>\u003cp>Nathan Shipley主页地址:\u003c/p>\u003cp>http://www.nathanshipley.com/gan\u003c/p>\u003cp>参考链接:\u003c/p>\u003cp>https://www.reddit.com/r/MachineLearning/comments/j0btow/p_toonifying_a_photo_using_stylegan_model/\u003c/p>\u003cp>https://www.dezeen.com/2019/05/24/salvador-dali-deepfake-dali-musuem-florida/\u003c/p>