京东发布全球首个“发丝级”全自动抠图软件么么照发力买家秀
2018年4月,京东Y事业部对外发布全球首款全自动智能图片合成处理软件——么么照。么么照可实现“发丝级”识别精度的全自动抠图效果,能够满足于买家秀、社交、海报制作等应用场景,未来还将覆盖邀请函、电子名片、直播等静态图片及动态视频的应用。给用户带来更丰富有趣的玩法及全新的互动体验。
么么照以人像抠图为核心,可实时更换背景/贴纸,并支持全身效果合成,由来自京东美国硅谷的研发团队提供了领先的AI及AR技术,可创造出内容更加丰富的创意表达。极低的学习门槛可轻松上手进行创作。目前么么照已发布iOS及Android版本,用户可前往应用商店下载体验。
“发丝级”全自动 抠图 让创意 信手拈来
相比目前市面上种类繁多的图片美化软件,大部分的抠图App软件,几乎都是半自动化的,需要用户手动框出人物区域,用户们在选取人物或其他对象时经常有不小的麻烦,需要消耗一定的时间。
么么照解决了用户这一烦恼,规避了其他半自动抠图软件效果差不好控制的问题。采用人工智能算法,将人与复杂背景自动分割,智能识别人体部位与动作,达到发丝级识别精度,用户可通过使用app内置主题背景或自由上传背景,实现万千虚拟场景自由更换,赋予用户沉浸式的深入体验,让图片处理变得富有创意。
(照片经模特周芝伊授权)
么么照在抠图方面采用state of art 的深度学习算法对照片进行语义分割,可精准分割出人像与背景,并返回一个由浮点数组成的字符串,字符串内的每个浮点数对应原图的一个像素,浮点数的值代表相应的像素是否在人体轮廓内的置信度。
为了使用户获得最佳的用户体验,么么照针对手机端和服务器端分别采用了轻量级网络和高精度网络来做上百万的数据训练,做到了既精准又轻量化的效果。利用深度学习中的Encoder-decoder模型结合提取到的全局和局部特征,能够对每个像素进行人体、背景分类,得到高精度的人体分割,最后组合多种后处理方法,对神经网络得到的人体模型,做进一步的细节优化,简单背景下深知可做到 PhotoShop级别的精度。
为了增加图片的趣味性,么么照还在抠图选取过程中加入了人体关键点检测,如当检测到图像中人体肩膀的位置,可自动搭配翅膀等梦幻元素,还可自动更换背景、识别背景颜色。同时通过后台算法可以检测到图像中服装属性、背景图元素,根据提取的标签信息智能匹配语料,未来可一秒钟写好配图文章。此项技能作为AI 技术在图片领域的拓展,能够提取用户全身照片里服装风格信息,可用于用户喜好数据平台的搭建。
进击 的 娱乐化 趋向 动态 视频实现一键抠图
根据2015 CNNIC数据显示,截止2015年底,在中国30岁以下的网民占比超过一半(54%),20岁以下网民占比24.1%,互联网娱乐继续向低龄群体渗透。这些崛起的90后是各大平台都无法忽视的新兴消费势力,日益成为影响中国互联网未来发展的关键力量。从供需两端看,90后最关注的行业是文娱,而短视频又是对文娱类产业影响最大的部分,深入到产品层面的改变,在产品设计及运营策略等方面各大企业也都在迎合着90后,么么照正是抓住了年轻群体娱乐化的需求,在市面上静态抠图尚不精准的情况下率先进行了动态视频抠图处理的研发。