提供“以图搜图”完整解决方案,博云视觉让各行业都可以方便地“以图搜图”
近年来随着移动电商的兴起,以图搜图技术也开始逐步得到应用,如百度识图、微信扫一扫、淘宝拍立淘和京东拍照购等,“衣 +” 也基于以图搜图打造了电商导购平台,然而以图搜图技术门槛高,周期长,还没有大范围普及。创始团队来自北大数字视频编解码国家工程实验室的博云视觉,就把他们的积累的基于紧凑视觉特征的图像搜索技术开放成 API,为电商及各行业提供完整解决方案。
博云视觉为企业客户提供视觉搜索服务,企业客户可以通过公有云或私有云,把图像搜索功能集成到其产品和服务中,实现 “以图搜图”。在公有云方面,博云视觉在阿里云平台上,部署了一套图像搜索整体解决方案。针对电商行业,博云视觉的图像搜索方案入驻了阿里云电商解决方案市场。在私有云服务方面,博云视觉则针对特定用户的需求提供定制化解决方案。
博云视觉图像搜索的核心技术,主要是客户端图像紧凑视觉特征提取,和云端大规模图像特征快速检索。企业的客户端软件通过摄像头拍摄画面,提取 4K 字节大小的紧凑视觉特征,发送到云端;云端通过大规模特征检索,找到与拍摄画面包含相同物体或场景的图像,并将相关信息返回给客户端。这项技术主要特点是前端提取的紧凑视觉特征只有 4K 字节大小,客户端数据传输的流量小,带宽占用低使服务器端能够支持超高并发,适合移动应用场景。
关于该技术与深度学习图像特征提取技术的区别,博云视觉 CEO 陈杰博士告诉 36 氪,两者是两种不同的技术路线。特征匹配技术很早就有,但是之前准确率不高,博云视觉的算法现在把识别准确率提升到了可用的程度。两种技术有各自的使用场景,并不存在谁优谁劣的问题。
具体应用时,深度学习准确率高,需要大量素材库进行训练,并上传图片到服务器进行搜索,网络占用高。而特征识别不依赖素材库,压缩后的特征也只有 4K,新产品上线,图片还很少的时候依然可以用,在超高并发的情况下,对服务器的存储和传输压力都小的多。陈杰表示,面向具体视觉搜索场景应用时,博云视觉也会将两种技术结合,以产生更好的体验。
关于搜索准确率,陈杰告诉 36 氪,基于特征提取的搜索准确率随物体类别有所不同,可划分为三个档:(1)平面物体,如杂志、海报等,准确率可以达到 95%以上;(2)三维刚性物体,如建筑、车辆、化妆品等,准确率在 80%以上;(3)对于柔性或纹理单一物体,如衣服等,识别相对困难。图像搜索在某些垂直领域已经可以成熟应用;然而面向 “万物搜索”,仍有较大的提升空间。
实际应用上,最典型的场景就是移动电商。图像搜索可以用于文字搜索无法精确描述的场景,如海淘搜索商品时语种不对称、实时场景中看到心仪商品但信息不对称的情况等,这时以图搜商品就是更合适的方式。淘宝和京东都已经组建了团队开发此功能,博云视觉就希望面向其它电商,为他们提供以图搜图整体解决方案。博云视觉已经和一红酒电商进行了合作,拍摄酒标可以搜索对应的红酒。
除了电商,该技术还可以用在很多其它领域。例如博云视觉已经和中国美协合作,提供了画作查重解决方案,陈杰表示该技术还可以用于安防行业中的车辆搜索、广电行业媒资搜索等,同时也是 AR/VR、三维重建、对象跟踪、辅助驾驶等热门应用的基础支撑技术之一。博云视觉的特征提取算法目前在 PC 和服务器上运行较快,每幅图在手机上执行速度在几百毫秒,博云视觉表示还在对算法的性能进行优化。
博云视觉 15年12月 成立,团队主要来自北大数字视频编解码国家工程实验室,目前有 16 人。团队成员早期参与了百度以图搜图的项目、腾讯的项目。陈杰表示未来博云视觉将在图像视频大数据分析处理平台的基础上,推广标准化的图像搜索技术。