新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

加速会  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

本文来自微信公众号:硅谷密探(SVS-007)

在旧金山街头,会有人使用一个叫“Alice Who” (神马爱丽丝)APP

你只要把手机摄像头对准一栋建筑,或一家餐厅,“Alice Who”就会告诉你,这是什么地方,这家餐厅叫什么名字;“Alice Who”还能够帮你链接去美国版的大众点评网Yelp、FourSquare等,让你能够了解这家餐厅的详细信息和评价。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

有了Alice Who,地方搜索变得异常简单,就像有一个当地的好友在身边,你眼睛看向哪儿,这位当地朋友就能告诉你看到的是什么。这或许就是未来的搜索体验吧!

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

看似简单的应用,背后包含了复杂的技术。对于户外环境中建筑、店面的识别,一直是 计算机视觉 的难点。如何让计算机看清楚,看得准?即使户外的光线千变万化,即使环境中存在众多干扰因素?

带着这些问题,硅谷密探连线了Alice Who的开发者,以色列创新公司Fringefy的联合创始人Assif Ziv,请他介绍了Fringefy在 计算机视觉 技术领域的研发情况,以及Fringefy的愿景和方向。

 

独辟蹊径的计算机视觉技术

计算机视觉 (Computer Vision) 是近年来大家谈的较多的话题。无人驾驶汽车、无人机等产品渐渐进入大众视野,如何让机器能够像人一样,有看见、辨识周围环境的能力,成为这些产品成功的关键。

随着计算机视觉技术的发展,人们开发了不同的手段来帮助机器“看见”物体。大部分技术是基于同一基础的,那就是点状云 (Point Cloud) 。通过3D扫描物体,构建点状云,然后用点状云训练机器的算法,让机器能够辨识出这个物体。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

(Point Cloud 示意)

但是,这种标准的技术,在室内适用,识别物体、人脸都很给力,却不擅长识别户外建筑。在户外,随着光线的变化,不但建筑反光的颜色和强度会变化,阴影会变化;此外,建筑物周围的行人、停靠的车辆,也会影响机器对其的识别。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

(户外环境和物体受多种因素影响,图片来自asl.ethz.ch)

举个例子,我们在上午10点拍摄的咖啡的图像,与下午4点再次拍摄的图像,对于机器识别来讲,可能是完全不同的两个场景。并且,建筑物的体积较大,人通常并不能拍到其全貌。这也给机器识别带来了挑战。

而Fringefy的计算机视觉技术主要集中于应对这些挑战。Fringefy所开发的算法,专注于把握建筑的几何形状,而非整体和细节。也就是说,通过把握建筑的门、窗及主要结构,避开光线和干扰物的影响。

Azzif的团队已经专注开发这个技术两年,并在美国申请了专利,成为同一领域的最前沿的公司。

首先,他们的商业模式是什么?

其实,“Alice Who”APP只是Fringefy推出的一款展示用APP。Fringefy真正的商业模式,是通过提供API或SDK为客户提供服务。

目前,Fringefy的目标客户包含三类。

第一类是地区搜索引擎,如Yelp、大众点评、Trip Advisor等,让这些搜索引擎的用户,能够非常简便的用手机摄像头识别周围环境,提供不一样的搜索体验。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

Fringefy的第二类目标客户是品牌和公司,这些公司希望通过分析其用户在社交媒体上发布的照片的地理位置,来获得商业洞察。例如,这些公司的用户,通过社交媒体发布了自己的照片,但并没有注明拍摄地址。Fringefy可以帮助客户分析这个图片,告诉客户,这是什么地方,从而帮助客户分析其用户的行为模式和喜好。

而第三类,当然是国防和安全行业了。以色列政府目前也是Fringefy的合作伙伴之一。

Azzif告诉硅谷密探,Fringefy成立到现在,盈利模式也经历了多个变化。最先是希望通过授权技术给客户来盈利,例如收取年度授权费用。后来,逐渐转向提供API,基于客户所消费的图像分析服务的数量和需求来收费。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

(Assif Ziv)

 

如何快速准确地进行图片识别?

通常,Fringefy会把用户通过手机摄像头捕捉到的图像,与数据库中的图像进行比较、匹配。那么,如何将一个图像,与云上的成千上万张图像比较, 并且快速、精准?背后的两个关键词是:数据库和标签策略。

Fringefy的数据库来源分为两类。对于一些客户,例如国防安全类的,客户会负责提供图像数据库。但是Fringefy也能够自己抓取公开网络上的图像,快速形成图像数据库,例如,Yelp,Trip Advisor等网站上,有用户上传的大量图片,包含了建筑外观,并有相应的地点信息。

在制作“Alice Who”APP时,Fringefy建立了整个旧金山的商业类建筑的数据库,包括所有的餐厅、酒吧等,只用了2到3天的时间。目前,这个公开网络数据抓取的能力,还不是全自动的。Fringefy的下一步,就是研发能全自动的从浩瀚的网页上抓取图像,形成数据库的解决方案。

不过,如果每次都要将一个图像与云上的成千上万张图像比较、匹配,可能会减缓识别的速度。所以Fringefy配合使用了标签 (signature) 策略,让计算机算法根据某类标签,先进行预筛选,然后再匹配识别,以配合现有的电脑处理的条件。

例如,地址可以作为一种标签。当用户在某一个地点用摄像头捕捉图像时,用户的手机会上传地理位置信息。Fringefy就能根据这个地理位置信息,先筛选出数据库里附近的建筑的图像,再与用户手机捕捉到的图像进行匹配,从而更快、更准的得到结果。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

数据库里关于被拍摄建筑的图像越多,Fringefy就能越快、越准确的得到答案。对于小型的建筑,例如一个咖啡馆,只要云端数据库上有10到20张图像,Fringefy就能很准确的辨识出这个建筑。而对于中央火车站这样的大型建筑,大约需要500张左右的数据库图像。目前Fringefy能够做到的程度是,在80%的实验中,能准确的辨识出建筑。

以色列政府资助,迈出第一步

跟很多以色列公司一样,Fringefy的三位创始人是在服兵役时认识的。Assif Ziv和另外两位创始人都在空军服过役。在空军训练中,他们体验了高端的AR技术,产生了把这样的技术带到民间的想法。离开军队后,Assif和朋友们组建团队,并获得了以色列政府的投资。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉 (Fringefy团队)

获得以色列政府的孵化投资时,Fringefy只有一个技术概念,和一个简单的展示 (demo) 。但至关重要的,Fringefy有四个关系紧密的顾问,对如何解决建筑识别的技术提出了很多想法。顾问团队帮助Fringefy拿到了这笔重要的投资。据Assif透露,这笔投资占到了他们迄今筹得的总投资数 (约150万美元) 的一半。

初创团队工作了数个月,验证了技术的可行性,并做出了产品。之后,他们将目光转向了硅谷。在这里,有大量的潜在客户,例如社交媒体,例如无人汽车、无人机公司。而Fringefy的第二轮融资,主要来自硅谷,例如硅谷的投资机构Rothenberg Ventures 和 Super Ventures等,以及一些天使投资人等。

未来,或许会是新一代的 谷歌

在成立之初,Fringefy的团队就有一个愿景。那就是把由技术带来的“超级力量”带给大众。就像美国硅谷的技术创新最早是由军方流向民间,在以色列也是一样。Assif觉得,现在的时代是“天时、地利、人和”。

谷歌 开创了一个时代。在那个时代里,谷歌将网络上的文字内容贴上标签 (index) ,通过标签进行搜索,使得搜索引擎成为可能。而渐渐的,随着移动设备的普及,人们更多的开始在户外使用搜索引擎,而非在办公室和家里。并且,移动设备上的摄像机越来越强大,使得机器“看见”世界成为可能。

新一代的“谷歌”或许不远了,未来的搜索将靠计算机视觉

人们使用习惯的变化和硬件技术的前进,把我们推向了另一个未来,那就是视觉搜索的时代。在这个时代里,一切的图像、不管是平面的还是立体的,都可以被标注、被搜索;这也是Fringefy想要一展自己所长的未来。

这个未来还很远吗?No。就像一句有名的广告词:未来已来。在硅谷,大公司已经在大力投入,计算机图像识别的创业公司被收购、投资无数。在这里,投资者青睐的很多技术,都指向同一个目的,让机器更好的“看见”环境,并理解四周的环境。

而Fringefy,正在这个路途中大展宏图。

微信公众号:硅谷密探(SVS-007)硅谷第一科技媒体, 为你带来最生动的产品报道和推荐、独家的硅谷成功创业者在线交流,链接中美创业者。

   



本文被转载1次

首发媒体 加速会 | 转发媒体

随意打赏

谷歌新一代nexus新一代超级计算机谷歌量子计算机谷歌搜索浏览器计算机视觉公司新一代计算机谷歌搜索下载谷歌学术搜索谷歌搜索引擎谷歌图片搜索
提交建议
微信扫一扫,分享给好友吧。