以手机摄像头为搜索入口,腾讯发布SOSO慧眼v2.0,可识别并搜索图书、电影海报等物体
同样是做搜索,智能手机上就有多种做法:在搜索引擎里输入关键字进行、用语音的办法告诉Siri你要什么、抑或者借助LBS查看周围的位置信息等等,这三类搜索办法分别借助了智能手机上的键盘输入、语音输入、以及GPS定位特性。
事实上,与智能手机密不可分的摄像头也可以成为搜索的重要工具。视觉识别技术+搜索 已经成为许多公司积极探索的方向(下表),Google 的
\nGoggles 就是个中翘楚,可以识别文字、书籍、商标、地标、酒、名片、条形码、艺术品等等,种类之多是其他几家远不能及的。
公司
产品
识别物体分类Google
Goggles
Landmark/Book/Artwork/Grocery …Amazon
Snaptell
Book/DVD/Game coversNokia
Point&Find
Landmark/Barcode/Movie posterKooaba
Kooaba
Book/DVD/Game coversoMoby
oMoby
General Objects
\n不过需要注意的是,尽管上述 视觉识别技术+搜索 的产品够炫够新鲜,但由于其后台数据主要来源于欧美地区,所以对国内的图片识别并不理想。
由腾讯研究院人机交互中心推出的
\nSOSO慧眼最新上线了
\n2.0版本,在原来1.0、1.5版本的名片识别、文字即时翻译的基础上,增加了物体识别功能(包括图书、CD、
\n电影海报、LOGO、二维码条形码、人脸)。由于其后台数据主要来源于中国地区,与国外的Google Goggles等产品相比,实用价值更大。
SOSO慧眼2.0的视觉识别系统主要由两部分组成:手机端的前端采集和展示系统,以及云端的视觉识别云服务。视觉识别云服务的输入为用户拍摄的图片,输出为识别出的图片中所包含的各种分类信息。
\n借助手机摄像头进行图像识别并不是什么新鲜的东西,已经比较成熟的二维码、条形码扫描和名片识别就是我们最常见的案例,但要很好地对书籍封面/CD封面/电影海报/商标等的 物体识别+搜索,除做到图像识别外,更重要的一环是要打造一个强大的后台数据库,在保证被拍摄的物体能被识别出来的同时,还“能完成整个商业行为,如购买,比价,查询商店地图,去相关微博等等”。
为实现这个目标,SOSO慧眼希望能从工具型应用向平台转型,把购物、比价、地图等服务交给专业和垂直网站去做。下表是SOSO慧眼设想的未来接入服务格局:
拍摄的图像类别
挂接多种服务举例商品封面
比价(一淘)、购买(当当、京东、
\nQQ商城)、书评影评(豆瓣)明星人脸
微博(新浪、腾讯)、电影(时光网)、百科(百度百科)、搜索(搜搜)商店
\nLogo
优惠券(大众点评)、地图(搜狗)演出海报
电影(时光网)、影评(豆瓣)、购票(
\nQQ票务)楼宇
\n/电梯广告
广告活动页面
\n说了这么多,实际使用效果如何呢?试用发现:
\n书籍封面识别效果比较好,十本认出了七本,返回的结果里带上了购物(当当、京东、亚马逊)、书评(豆瓣)、比价(一淘比价)等垂直服务的信息;
\n
CD封面的识别效果也还可以,十张认出六张(手边没有CD,摄像头对准电脑屏幕上豆瓣音乐的CD拍的);
电影海报测试效果令人满意,在
\n豆瓣电影的正在上映页面测拍的20张海报当中只有三张没有成功识别,
\n即将上映里,20张只有一张识别失败;
在这些新鲜的海报之外,我还测试了它对“老旧”电影海报的识别效果,我在豆瓣电影里收藏的“看过”的电影里,大部分海报识别失败,从这个结果看来,SOSO慧眼后台的电影海报数据比较“实在”,主要关注的是实际生活中更有可能出现的海报——是在户外广告或报刊杂志等宣传渠道出现的、能在影院上映的电影的海报。
SOSO慧眼 2.0已经上线iPhone版,有兴趣的朋友可以
\n先行试用,Android版本还在开发当中。