头像神器!照片一键秒转简笔画,清华刘永进等CVPR 19 Oral研究

2019/6/18 7:50:20 来源:量子位 浏览:

铜灵 发自 凹非寺

量子位 出品 | 公众号 QbitAI

现在,只需一键,就能将你的照片转化成简笔画。

清华大学和英国卡迪夫大学的研究人员提出了一种名为APDrawingGAN系统,随意输入一张人脸照片,系统输出黑白人物线条画。

看一下具体效果。

这有三张女性头像,经过APDrawingGAN处理后,这些照片成为了手绘风:



男性头像也Hold住:



目前,研究人员已经将这个研究做成了名为“AI肖像画大师”小程序,进入小程序就能在线试玩。

量子位亲自上手,实测了这个小程序。输入一张DeepMind VQ-VAE二代模型生成的人物假脸:



大约一秒钟后,这张假脸的简笔画版就出来了:



似乎发现了一个可以用来快速生成头像的神器啊~

这项研究来自清华大学和英国卡迪夫大学,成为今年的CVPR 19的口头报告。

独立损失项

在论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs中,研究人员揭秘了这个头像生成神器的原理。

在这项研究中,研究人员提出了一个层次化的GAN模型, GAN每个层次的输出都由独立损失项控制。

研究人员提出了一个损失函数,里面包含四种损失项,包括一种新型DT(距离变换)损失、局部变换损失、对抗损失和像素级损失。

整个生成流程如下图所示:



对抗损失负责辨别图像真假,像素损失驱动合成图像更逼真,局部变换损失负责将额外限制加至中间输出上。

在这四种损失中,距离变换损失(DT损失)起到了重要作用。

在此前的照片转简笔化的研究中,经常出现生成图与原图不能完全对应,让线条之间有些错位的问题。想要解决这个bug,就需要DT损失亲自出马了。

研究人员解释说,这种损失能包容微小错位,从而惩罚更严重的无法对应问题。

至于模型的训练数据,研究人员自制了一个包含140张人脸照片与对应画像的数据集,命名为APDrawings,用来训练模型。

研究人员进行了一系列实验,与此的相似研究进行了效果对比。



在上图中,从左到右依次为人类照片、人类手绘肖像、Gatys、CycleGAN、Pix2Pix和APDrawingGAN的生成结果,红框代表此前其他研究生成效果的瑕疵。

对比来看,APDrawingGAN的生成效果线条最流畅,其艺术肖像风格化效果最好。

除了视觉效果的对比,研究人员还对比了CycleGAN、Pix2Pix和APDrawingGAN在FID评估指标下的得分。



测评结果显示,APDrawingGAN的FID得分最低,仅为62.14,表现最佳,而CycleGAN的得分87.82最高。

最后,研究人员找来73名志愿者,每位志愿者依次从两种算法生成的作品中选择质量最高的一幅,认为APDrawingGAN效果最好的概率为71.39%。

作者团队

这项研究的作者共有四人,分别是清华大学的Ran Yi 、Yong-Jin Liu(刘永进)和英国卡迪夫大学的Yu-Kun Lai和Paul L. Rosi。

一作Ran Yi目前是清华大学计算机科学的在读博士生。2012年,Ran Yi被清华电子工程系录取,2016年在清华本科毕业。

刘永进(Yong-Jin Liu)是清华计算机系长聘教授,博士生导师,人机交互与媒体集成研究所所长。刘教授还是国家杰出青年基金获得者、国家优秀青年基金获得者,入选教育部新世纪人才计划。



此前,Ran Yi和刘永进还推出过将照片转化成新海诚《你的名字》画风的CartoonGAN,



左列为输入的照片,右列为CartoonGAN生成的新海诚画风的图像

Yu-Kun Lai现为卡迪夫大学计算机科学与信息学院的Reader(准教授),从本科到博士均在清华就读。



Paul L. Rosin是卡迪夫大学计算机科学与信息学的教授,南开大学“外专千人计划”教授。此前,曾担任Computer Graphics Forum国际期刊编委,Computational Aesthetics 2015国际会议主席。

传送门

论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs地址:

https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

看看网友怎么说

脸大是肿了伪装的:ps的动作滤镜也能被剽窃成科研成果!我.....[捂脸]

中国太行人家:清华大学研究生经过几十年研究,发现可以通过PS把彩色照片转换成黑白照片。此技术以申请专利,尚未批准!!

六云先生:清华大学经过数十年潜心研究与英国某研究所共同完成了一个简笔画功能,耗资上亿,可喜可贺!后来发现与ps软件的过滤功能相似,随即宣告学术研究成果如有雷同,纯属巧合!

过眼云烟55141592:这也叫研究?图片处理软件哪个没这个功能?

大司马剑平:清华大学经过数十年潜心研究与英国某研究所共同完成了potoshop上的一个简单功能,可喜可贺;建议申请国家重大科学技术进步奖1个亿,奖励研发人员1千万,申请世界专利。

开车寻路:可以看出连清华学府的研究经费都这么好骗

Pluto2016:一段matlab程序就能搞定

小中103:👍!但无素描光影生动,也无肖像漫画灵动。尚须探索吧

yoow:训练了一个滤波器

秦隋X:这不跟拍负片一样嘛?修改一下

文章来源网络,版权归属原作者,未注明作者均因传阅太多无从查证。本站为公益性非盈利网站,在本网转载其他媒体稿件是为传播更多的信息,此类稿件不代表本网观点。如果本网转载的稿件涉及您的版权、名益权等问题,请尽快与我们联系,我们将第一时间处理!
  • 《北京卫视主持人春妮老公照片曝光,原来是大家熟悉的央视名嘴》:说到北京电视台主持人春妮相信大家都比较了解,她主持的节目《春妮的周末时光》可以说家喻户晓了,今年春妮也已经41岁了,但是关于她的老公是谁却一直是个谜,今天我们就来了解下吧。其实春妮的老公大家都很熟悉,他就是央视名嘴刚强,曾经主持过《新闻联...

  • 一、西红柿二、黄瓜三、玉米四、生菜五、青椒六、茄子七、南瓜八、胡萝卜九、蘑菇完成!不要光要教程不动手哦,赶快拿起画笔试一下吧!记得交作业哦~我就知道点赞评论转发的,又是你们这群长得好看的!...

  • 阿曼湾两艘油轮相撞事件导致地区局势骤然紧张。有媒体称其中1艘排水量高达16万吨的超级油轮据称已经沉没,可谓是让紧张局势更加严峻。美联社6月14日报道,五角大楼方面声称已经找到了伊朗参与袭击油轮的关键证据,并且直接指认伊朗参与了袭击。根据报道,美军宣布林肯号航母进行戒备状态,并且向该海域派遣1艘携带大...

  • 趣味探索讯当人类飞船离开地球前往另一个数亿千米外世界的过程中,会经历很多难以置信的场景。这是2004年欧航局罗塞塔飞船在离开地球时捕捉的图片:漆黑如墨的太空,弧形的地球轮廓,薄薄的大气层,淡淡的月球。该图片显示,罗塞塔飞船以数10倍子弹速度在太空飞行,后方地球越来越小,前方月球反而越变越大,由于飞船...

  • 如今微信成了每个人居家旅行必备良品了下至10岁小儿上至70岁大妈大爷,几乎人人都会使用微信本期小编就用图形心理学+名字解析来剖析那些微信名字和头像里的小秘密个人照片+符号名字感性小仙女一般来说,敢用自己的照片做头像的,这类人性格都很外向,交际圈儿很广。喜欢用自拍大头照做头像的,女生居多,有时候还喜欢...

  • 最新冠军定妆照!小加双手抱住奖杯伊巴卡送吻,林书豪眉开眼笑2018-2019赛季NBA总决赛已经落下帷幕,6月14日,猛龙把总比分定格在4比2。赛季开始前的5星勇士被猛龙队打成了2.5星,5位全明星中,杜兰特伤了、汤普森伤了、考辛斯也只有以前的5成功力。反观猛龙队,全队核心阵容齐整,虽然伊巴卡、西亚...

  • 英媒称,根据首次对全世界植物灭绝情况的调研,18世纪中叶以来人类平均每年导致两种以上的植物从地球上消失。据英国《新科学家》周刊网站6月10日报道,植物学界的最有把握估计是只有不到150个物种灭绝,但那是基于濒危物种名单,而众所周知这份名单只覆盖了一小部分植物。报道称,真实数字似乎是其四倍,从1753...

  • 当地时间6月12日,图灵奖得主、计算机体系结构领域享誉世界的科学家大卫·帕特森(DavidPatterson)在瑞士宣布,将依托清华-伯克利深圳学院(TBSI),建设RISC-V国际开源实验室(RISC-VInternationalOpenSourceLaboratory),又称大卫·帕特森RIOS...

  • 青山绿水,一直都是摄影爱好者的目标。一张拍摄于中国浙江丽水的照片获得国际摄影大赛头奖。图中帆影重重、船桨声声,如坠仙境。©VladimirProshin这是俄罗斯,一位名叫VladimirProshin的摄影师的作品。他2013年来到丽水,古堰画乡,惊鸿一瞥,拍下了这幅宛如水墨的诗意画面,丽水惊艳世...

  • 喜欢的可以收藏转发加关注大家好,今天为大家讲解头像示范过程,希望能够对想要学习游戏原画的朋友们一些帮助。1.线稿起形,有没有想学原画的,小姐姐无偿带大家学习原画.带刚入门或者初级的萌新还是可以的,或者想从事原画设计类的工作请关注+私信回复:“学习”带你学习原画并且有群每天坚持打卡学习哦。游戏原画培训...