新一代谷歌或许不远了,未来的搜索将靠计算机视觉
在旧金山街头,会有人使用一个叫“Alice Who”(神马爱丽丝)的APP。
你只要把手机摄像头对准一栋建筑,或一家餐厅,“Alice Who”就会告诉你,这是什么地方,这家餐厅叫什么名字;“Alice Who”还能够帮你链接去美国版的大众点评网Yelp,FourSquare等,让你能够了解这家餐厅的详细信息和评价。
有了Alice Who,地方搜索变得异常简单,就像有一个当地的好友在身边,你眼睛看向哪儿,这位当地朋友就能告诉你看到的是什么。这或许就是未来的搜索体验吧!
看似简单的应用,背后包含了复杂的技术。对于户外环境中建筑、店面的识别,一直是计算机视觉的难点。如何让计算机看清楚,看得准?即使户外的光线千变万化,即使环境中存在众多干扰因素?
带着这些问题,硅谷密探连线了Alice Who的开发者,以色列创新公司Fringefy的联合创始人Assif Ziv,请他介绍了Fringefy在计算机视觉技术领域的研发情况,以及Fringefy的愿景和方向。
独辟蹊径的计算机视觉技术
计算机视觉(Computer Vision)是近年来大家谈的较多的话题。无人驾驶汽车、无人机等产品渐渐进入大众视野,如何让机器能够像人一样,有看见、辨识周围环境的能力,成为这些产品成功的关键。
随着计算机视觉技术的发展,人们开发了不同的手段来帮助机器“看见”物体。 大部分技术是基于同一基础的,那就是点状云(Point Cloud)。 通过3D扫描物体,构建点状云,然后用点状云训练机器的算法,让机器能够辨识出这个物体。
(Point Cloud 示意)
但是,这种标准的技术,在室内适用,识别物体、人脸都很给力,却不擅长识别户外建筑。在户外,随着光线的变化,不但建筑反光的颜色和强度会变化,阴影会变化;此外,建筑物周围的行人、停靠的车辆,也会影响机器对其的识别。
(户外环境和物体受多种因素影响,图片来自asl.ethz.ch)
举个例子,我们在上午10点拍摄的咖啡的图像,与下午4点再次拍摄的图像,对于机器识别来讲,可能是完全不同的两个场景。并且,建筑物的体积较大,人通常并不能拍到其全貌。这也给机器识别带来了挑战。
而Fringefy独辟蹊径的计算机视觉技术,主要集中于应对这些挑战。Fringefy所开发的算法,专注于把握建筑的几何形状,而非整体和细节。也就是说,通过把握建筑的门、窗及主要结构,避开光线和干扰物的影响。
Azzif的团队已经专注开发这个技术两年,并在美国申请了专利,成为同一领域的最前沿的公司。
首先,他们的商业模式是什么?
其实,“Alice Who”APP只是Fringefy推出的一款展示用APP。Fringefy真正的商业模式,是通过提供API或SDK为客户提供服务。
目前,Fringefy的目标客户包含三类。
第一类是地区搜索引擎,如Yelp、大众点评、Trip Advisor等,让这些搜索引擎的用户,能够非常简便的用手机摄像头识别周围环境,提供不一样的搜索体验。
Fringefy的第二类目标客户是品牌和公司,这些公司希望通过分析其用户在社交媒体上发布的照片的地理位置,来获得商业洞察。例如,这些公司的用户,通过社交媒体发布了自己的照片,但并没有注明拍摄地址。Fringefy可以帮助客户分析这个图片,告诉客户,这是什么地方,从而帮助客户分析其用户的行为模式和喜好。
而第三类,当然是国防和安全行业了。以色列政府目前也是Fringefy的合作伙伴之一。
Azzif告诉硅谷密探,Fringefy成立到现在,盈利模式也经历了多个变化。最先是希望通过授权技术给客户来盈利,例如收取年度授权费用。后来,逐渐转向提供API,基于客户所消费的图像分析服务的数量和需求来收费。
(Assif Ziv)
如何快速准确地进行图片识别?
通常,Fringefy会把用户通过手机摄像头捕捉到的图像,与数据库中的图像进行比较、匹配。那么,如何将一个图像,与云上的成千上万张图像比较, 并且快速、精准?背后的两个关键词是:数据库和标签策略。
Fringefy的数据库来源分为两类。对于一些客户,例如国防安全类的,客户会负责提供图像数据库。但是Fringefy也能够自己抓取公开网络上的图像,快速形成图像数据库。例如,Yelp,Trip Advisor等网站上,有用户上传的大量图片,包含了建筑外观,并有相应的地点信息。在制作“Alice Who”APP时,Fringefy建立了整个旧金山的商业类建筑的数据库,包括所有的餐厅、酒吧等,只用了2到3天的时间。目前,这个公开网络数据抓取的能力,还不是全自动的。Fringefy的下一步,就是研发能全自动的从浩瀚的网页上抓取图像,形成数据库的解决方案。
不过,如果每次都要将一个图像与云上的成千上万张图像比较、匹配,可能会减缓识别的速度。所以Fringefy配合使用了标签(signature)策略,让计算机算法根据某类标签,先进行预筛选,然后再匹配识别,以配合现有的电脑处理的条件。
例如,地址可以作为一种标签。 当用户在某一个地点用摄像头捕捉图像时,用户的手机会上传地理位置信息。Fringefy就能根据这个地理位置信息,先筛选出数据库里附近的建筑的图像,再与用户手机捕捉到的图像进行匹配,从而更快、更准的得到结果。
数据库里关于被拍摄建筑的图像越多,Fringefy就能越快、越准确的得到答案。对于小型的建筑,例如一个咖啡馆,只要云端数据库上有10到20张图像,Fringefy就能很准确的辨识出这个建筑。而对于中央火车站这样的大型建筑,大约需要500张左右的数据库图像。目前Fringefy能够做到的程度是,在80%的实验中,能准确的辨识出建筑,没有任何错误。
以色列政府资助,迈出第一步
跟很多以色列公司一样,Fringefy的三位创始人是在服兵役时认识的。Assif Ziv和另外两位创始人都在空军服过役。在空军训练中,他们体验了高端的AR技术,产生了把这样的技术带到民间的想法。离开军队后,Assif和朋友们组建团队,并获得了以色列政府的投资。
(Fringefy团队)
获得以色列政府的孵化投资时,Fringefy只有一个技术概念,和一个简单的展示(demo)。但至关重要的,Fringefy有四个关系紧密的顾问,对如何解决建筑识别的技术提出了很多想法。顾问团队帮助Fringefy拿到了这笔重要的投资。据Assif透露,这笔投资占到了他们迄今筹得的总投资数(约150万美元)的一半。
初创团队工作了数个月,验证了技术的可行性,并做出了产品。之后,他们将目光转向了硅谷。在这里,有大量的潜在客户,例如社交媒体,例如无人汽车、无人机公司。而Fringefy的第二轮融资,主要来自硅谷,例如硅谷的投资机构Rothenberg Ventures 和 Super Ventures等,以及一些天使投资人等。
未来,或许会是新一代的谷歌?
在成立之初,Fringefy的团队就有一个愿景。那就是把由技术带来的“超级力量”带给大众。就像美国硅谷的技术创新最早是由军方流向民间,在以色列也是一样。Assif觉得,现在的时代是“天时、地利、人和”。
谷歌开创了一个时代。在那个时代里,谷歌将网络上的文字内容贴上标签(index),通过标签进行搜索,使得搜索引擎成为可能。而渐渐的,随着移动设备的普及,人们更多的开始在户外使用搜索引擎,而非在办公室和家里。并且,移动设备上的摄像机越来越强大,使得机器“看见”世界成为可能。
人们使用习惯的变化和硬件技术的前进,把我们推向了另一个未来,那就是视觉搜索的时代。在这个时代里,一切的图像、不管是平面的还是立体的,都可以被标注、被搜索;这也是Fringefy想要一展自己所长的未来。
这个未来还很远吗?No。就像一句有名的广告词:未来已来。在硅谷,大公司已经在大力投入,计算机图像识别的创业公司被收购、投资无数。在这里,投资者青睐的很多技术,都指向同一个目的,让机器更好的“看见”环境,并理解四周的环境。
而Fringefy,正在这个路途中大展宏图。