产品经理:腾讯数据存储量达100PB 持续提升并发处理能力
DoNews 12月6日消息(记者 安宏)在2013年大数据大会上,腾讯公司数据平台助理总经理蒋杰表示,在国内互联网体系中,腾讯拥有的数据覆盖多个领域,总存储数据量经压缩处理以后在100PB左右,这对数并发性处理能提出了很高的要求,腾讯正在逐步优化。 蒋杰表示,在国内互联网体系中,阿里巴巴拥有90%以上的电商数据,百度则以70%以上的搜索市场份额坐拥庞大的搜索数据,但BAT中腾讯拥有的数据应数最全面的。除了电商和搜索领域,腾讯在社交领域积累的文本、音频、视频和关系类数据,已成为公司的主要数据来源。 蒋杰透露,腾讯QQ目前拥有8亿用户,4亿 移动 用户,在数据仓库存储的数据量单机群数量已达到4400台,总存储数据量经压缩处理以后在100PB左右,并且这一数据还在以日新增200TB到300TB,月增加10%的数据量不断增长。如何应对目前的数据体系已成为公司发展的关键问题。 蒋杰指出,基于腾讯业务的复杂性,海量数据对于并发性要求很强。目前,主营的游戏业务为腾讯带来了挑战,为应对挑战,腾讯用了一个组件来实现。蒋杰同时分享了腾讯支撑海量数据平台三大关键应用,即数据仓库体系、数据银行和实时放算体系。 蒋杰同时也详细的介绍了海量数据的应用实践比如腾讯实时推荐系统特性: 1.海量数据:目前,腾讯有近8亿QQ用户,多产品实时行业数据的综合应用才能体现腾讯统一的QQID跨全产品链的整体优势。 2.实时计算系统:从用户实时行业转化为用户即时兴趣,进而实现推荐需要实时计算能力建设; 3.精准推荐:实现面向用户个性化特征的精准推荐引擎建设及快速的应用部署能力 4.用户画像:除传统用户行业特征信息外,移动互联网领域内的LBS等地理信息应用可行性待研究。 |