众趣科技高翔:90分钟实体场景三维重建,给你一个可漫步的3D空间
VR和AR的出现打破了真实与虚拟的界限,人们不仅希望能够体验电脑模拟的奇幻虚拟场景,也希望足不出户就能领略世界各地的美景,希望能一个小时就能看完上百套出租房源。由此,如何能快速、低成本、大批量对真实场景进行三维重建,使真实场景也能成为虚拟的线上内容成为热门话题。
专注于大空间三维重建的众趣科技带来了新的进展。4月17日,众趣科技A轮融资暨新品发布会在北京举行。众趣科技CEO高翔宣布完成2400万元人民币A轮融资,由华赢资本领投。同时,众趣科技还在会上发布了一款消费级3D相机——“空间猎者 N500”。
据称,利用这款相机,一名普通的房产经纪人在25分钟内可以完成一套三居室的数据采集,云端在接收到数据后,最快可于60分钟内完成自动三维重建。从拍摄到完成一个100多平米房间的3D建模,只需90分钟左右。最重要的点是,重建后的3D场景保留了空间深度和尺寸信息,也支持3D场景内的有限制移动,有很强的沉浸感。
3D已经是一个众人皆知的概念。但是由于3D内容的创建成本高,现在互联网上2D的信息仍然占据主导位置。传统的的三维空间建模所需时间和人力成本较高,往往一个十几秒的三维数据要花几万。
众趣的这一整套空间三维重建的方法改变了传统2D的呈现方式,也降低了三维重建的成本,在租房、电商、旅游等领域都能有广泛的应用。雷锋网在现场体验了这款产品,同时也同高翔进行了深入的交流。
与iPhone X一脉相承的深度视觉技术
“空间猎者 N500”这款3D相机大概有3-4个普通单反相机的大小。众趣科技称这款相机定位为消费级,价格与中高端单反相机接近,目的就是要让3D内容的制作变得同拍摄2D的照片一样简单。
空间猎者 N500可以一键启动,无需设置任何参数,可以自动调节白平衡。在放置好相机后,相机会旋转一圈,大概花费30秒,单点拍摄范围在半径0.4米-3米左右。例如一个100多平米的房间可能需要多次拍摄,每次拍摄的位置点间隔3米左右。
拍摄完成以后,用户需要将内容上传至云端,由众趣科技团队工程师对拍摄的3D内容进行算法处理,重建出完整的3D场景再返回给用户,这个时间在几个小时不等。众趣科技也推出了后期编辑App,界面与PPT类似,用户可以在重建好的3D场景中添加文字、图片、进一步修饰美化等。
雷锋网发现,电脑软件建模的三维场景可以实现与现实几乎一致的自由移动,你能走到场景内的所有位置。但是众趣科技用空间猎者 N500拍摄并重建的3D场景是有限制的移动。在3D场景中,你可以看到地面上有间隔的小圆点,这些小圆点就是可以“走到”的点。
重建后的3D场景可以支持手机、电脑、平版等设备,同时也支持VR模式。在手机上看的时候,用手指拉动屏幕,可以模拟在空间里的走动,仔细观察场景细节。在用VR头显观看时,沉浸感和3D感更强,通过将视线中心点对准位置信息点可以实现移动。场景的变化同我们真实走动看到的环境变化一致,并不是直接跳转到下一个景色,中间的场景没有被忽略。
(发布会会场漫游gif)
从体验上来看,众趣科技的方案目前很接近用户的现实体验。不同于全景视频只能从一个点“跳”到下一个点,众趣科技的三维场景能够让用户在里面漫步,移动体验几乎类似电脑三维建模的场景,只是还不能随心所欲地移动。
高翔详细解释了空间猎者 N500的核心技术。
目前市面上的VR全景相机、3D VR相机一般是采用多个普通的摄像头,拍摄完成后用算法拼接出全景图片/视频。高翔解释到,这些大多是伪3D的产品,虽然有两眼视差带来的3D感,但是它是没有三维数据的,是感受上的三维,技术上的二维。其实现的3D场景不能支持移动,也没有空间的几何尺寸。众趣科技的三维重建有空间的三维数据,因此不仅看起来是3D,你还能获得空间的三维信息,有真是的尺寸大小数据,你还可以在重建的房租里去摆放家具,摆放效果跟实际的尺寸大小是一样的。
众趣科技产品包括硬件设备、云端的拼接算法、模型的云服务,以及浏览器端的播放器四个部分。硬件部分,空间猎者 N500有传统的用来采取色彩数据鱼眼镜头、RGB镜头,同时还有用来采取空间三维数据的红外发射器、红外接收相机。其技术方案与iPhone X原深度摄像头系统类似,iPhone X小刘海部分也包含了一个红外散斑发射器,还有一个红外相机。
iPhone X的原深度摄像头能够对人脸进行精确的三维建模,实现人脸识别,同时还能在三维的人脸上添加动态AR贴纸。这一个小小的摄像头无疑让人惊叹。其实,其技术来源于微软体感游戏机Kinect,Kinect可以说是深度视觉技术的鼻祖,Kinect通过其深度相机和深度传感器能实现对空间的三维感知。此后,谷歌、苹果都开始研发这项技术。手机AR的开创者 谷歌Tango 项目也是采用的Kinect的深度视觉技术,Tango手机都有深度摄像头用来感知三维环境数据,然后再把AR内容放置在三维环境中。而微软将Kinect的技术应用在了HoloLens上,HoloLens利用深度摄像头提取部分环境数据,然后将AR内容融合在环境里,达到混合现实的效果。
(谷歌Tango)
此前,利用深度相机来感知环境这一技术难以理解,微软Kinect项目和谷歌Tango项目进展都并不顺利,或许是AR的发展,才使得这个技术能受到广泛关注。高翔介绍到,“15年我说深度相机,很多人都不动,但是17年,投资界的朋友们不仅知道深度相机,而且对这个数据的使用空间的认识也达到了非常高的程度。”
在拍摄完成后,用户可以将内容上传到云端。众趣科技自主研发了三维拼接算法,结合三维视觉技术——3Dslam以及GPU算法,可以把所有信息进行自动化拼接,形成三维空间。与传统相机设备完成所有摄像过程不同,众趣科技的相机只负责采集3D场景最重要的原始数据,包括彩色数据和深度数据(镜头到物体之间的距离),真正的拼接过程全部在云端完成。高翔介绍,拼接算法也是众趣科技的核心技术。
租房、电商、旅游行业应用
高翔表示:在经历了一年多的商业化探索后,2018年,首先众趣科技将继续全力支持阿里巴巴造物神计划;其次,深入房产、家装、酒店、公寓等行业,提供能够切实解决行业痛点的升级方案,扩大重点行业的应用规模;第三,开展海外业务,目前众趣科技的产品已受到不少国外客户的关注,并完成整套产品的英文化及国际网络加速。
随着VR的火热,各个行业对3D内容的需求剧增。2016年,阿里为了发展VR购物,开启“造物神计划”,联合品牌和商家打造全球最大3D商品库。京东也开启“天工计划”,并且举办3D建模大赛,寻求最高效、低成本的3D建模方式。
据高翔介绍,阿里的造物神计划目前主要有两块:建立商品的3D建模、建立场景建模两个部分,前者有数家公司提供解决方案,在后一方面,众趣是目前唯一的技术提供方。
众趣科技跟阿里合作的过程中,做了不少场景化电商的展示:阿里拍卖、平昌冬奥会、商品溯源。例如,他们拍摄了波尔多的一个酒庄,然后消费者扫描酒瓶二维码就能看到酒的生产地。
在房产、家装等行业,众趣科技主要与自如、蛋壳公寓等租房品牌进行合作,建立房源的3D模型,方便租客看房。传统的照片和全景图难以展示一个房间的整体结构,户型大小,3D展示能让人就像是真的走进去看过一样。能节省租房公司带人看房的人力成本,也能节省消费者选房的时间和精力。
高翔谈到,不同的行业客户对于3D内容的要求会不一样。前期,众趣科技推出了一些共性解决方案,此后会针对不同的行业推出定制化的行业解决方案。他举了一个例子,有一家工厂,客户想把整个工厂用三维数据做出来,因为工厂经常会买一些大型设备,运到工厂后,发现有些空间太狭窄,过不去。传统的数据测量太复杂,如果有了三维建模的数据,工厂就能先进行虚拟测试。
在谈及在VR行业的应用时,高翔谈到,众趣科技做的事情能为VR提供内容,但是,他们的思路不会局限在VR。在他看来,目前,真正发展的是互联网三维,VR和AR只是互联网三维发展的一个局部的领域,互联网三维数据的积累,是这个行业发展的核心。
目前众趣已经积累了一万多个空间的三维数据,总共加起来有100万平米的空间三维数据。高翔希望众趣科技能拿到互联网三维的入场券。
在商业模式方面,众趣科技并不单纯依靠卖3D相机这个硬件产品,而是定位于三维数据服务公司,替不同的行业做更深入的行业定制化功能,以数据服务来获取收入。众趣科技近期会上线3D内容平台——SpaceQ,将会展示来自世界各地、有特色的3D空间。
小结
微软、谷歌、苹果都在探索深度视觉技术,期望能让机器理解我们的空间信息,在获取空间信息后,对现实做一些增强。
在VR方面,不少公司都在探索用3D相机、光场相机来实现支持6Dof运动的VR视频,真正让人们可以在虚拟的真实场景中实现无限制的运动,为游戏、旅游、赛事提供全新的内容。例如英特尔在探索用围绕足球场一圈的摄像头来拍摄足球赛事,完整复刻空间信息和球员信息,使得观看者可以选择任一球员的视角、沉浸式地观看比赛,还可以从球场任一视角观看整个赛事。谷歌前段时间也推出了新的光场相机和支持小范围6Dof运动的视频。
众趣科技用深度视觉技术来获取空间三维信息,重建出三维空间模型,去提供一个VR的场景,可以说是用AR的思路做了VR的事情,是技术和场景应用上的创新。
雷锋网 (公众号:雷锋网) 了解到,不同的方案在技术使用和场景上都有差异:场景是动态还是静态、3D还是2D、360度全景还是180度、有无三维数据、能否支持运动、成本高低。
目前,众趣科技能做到在三维环境中有限制的移动,而高翔表示,三维空间中的无限制移动是必然的发展趋势,目前并非技术水平达不到,而是行业需求与成本的限制。
创造低成本、高质量3D内容
2016年VR兴起的时候,出现了不少360全景相机,希望能够360度全方位再现真实场景,也有出现不少3D全景相机。
众趣科技成立于2014年4月,主要研发三维空间扫描仪及三维空间重建技术,集硬件、软件、云服务于一体,为用户提供全流程的3D实景克隆及互联网化方案。
据介绍,“空间猎者 N500”这款3D相机定位为消费级工具。
。