腾讯大数据平台十年升级四次,每日数据计算量超30万亿
蓝鲸TMT频道11月6日讯,在腾讯召开的Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士公开表示,经过10年发展,腾讯大数据平台已经经历了四代演进,其算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已成为中国实时数据计算量最大的公司。
据悉,腾讯内部目前有超过100万台服务器,由腾讯云打造的算力共享平台算力弹性资源池有20万的规模,大数据平台每天有1500万的分析任务、30万亿次的实时计算量,并且每天数据接入条数达35万亿条数据。此外,腾讯云的分布式机器学习平台,能支撑1万亿维度的数据训练。
腾讯目前正在进行以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。
据了解,腾讯建立了“大数据+AI”的双引擎技术架构,其中,最底层为分布式存储层,存储结构化及非结构化数据,第二层是资源调度层,做CPU、GPU和FPGA的管理,第三层是计算层、分析层、数据采集层,而顶层则是业务应用层。通过四层完整的技术架构保障腾讯向用户提供服务。
目前,腾讯已经把网络、存储、数据库等IaaS能力,大数据、机器学习等PaaS的能力,以及上层的图像、语音、NLP、BI等SaaS能力,通过腾讯云对外开放。在大数据和AI两个领域,腾讯推出了以TBDS和智能钛TI为首的双引擎。让没有专业的大数据和AI团队的企业能用上先进的大数据和AI的能力。
此外,腾讯今日宣布开源资源管理平台核心TKE和分布式数据库TBase。截至目前,腾讯共开源了86个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过1000 名,累计在GitHub获得了超过 25万个 Star。