揭秘二三四五秘密武器，大数据的商业化应用

二三四五大数据计算平台有颇大的野心，数据应用 商业 化是它们最终极的目标。

2018年是二三四五成立的第14个年头，在过去的这14年里，伴随着中国 互联网 的飞速发展，二三四五从无到有、从小到大、从弱到强，迅速成长为一家国内一流的互联网企业巨头。

从过去到现在，公众对二三四五的认识一直在变化，从网址导航到软件分发，从传统互联网到 互联网金融 再到星球联盟。在互联网浪潮之中，二三四五有迟到，但从未缺席。

从微观角度切入，二三四五算是一家以技术驱动的大数据公司。在二三四五的产品里，流淌着各种各样的数据。二三四五网址导航的电商数据、二三四五车贷王的消费数据、二三四五浏览器的浏览数据等等，这些海量的数据组成了二三四五的各个产品线，而这些数据转化为业务和产品，最终可以让普通用户能够享受，则离不开稳定、安全、可靠的大数据计算平台，这也就是二三四五大数据计算平台所要承担的艰巨任务。

2018年，在二三四五新 科技 研究院成立的背景下，其大数据团队也被提升到了一个新的高度。5月，大数据中心团队组建完毕；7月，平台实现10亿级数据量采集；9月，平台运行精准 营销 系统······面对每天TB级的数据采集量，大数据平台需要不断解决任务数量增长快、任务多样化、任务关系复杂、任务效率失败不可控等种种问题。

通过离线（通过flume进行数据收集）或者实时（实时通过Kafka进行处理）接收二三四五旗下各产品数据，做好日志接入；按业务需求使用spark或hive对技术进行粗提取，对开发完成后的MR任务使用workflow调度系统进行任务调度。这能很好的处理每天的TB级数据

在数据挖掘上，根据业务需求，依托spark或者mapreduce进行数据开发，流转至机器学习模块进行数据的价值再挖掘。不同的业务有着不同的数据变现任务，因此数据挖掘模块以提供计算资源为主，各业务在各自的计算队列进行挖掘。

二三四五非常重视数据安全，针对不同业务，采用权限隔离，保证业务之间不存在相互入侵。统一使用web页面提交，不提供登入SSH权限。对于敏感信息，使用编码技术进行加密处理，相关数据使用均有可追踪路径查询。

通过对大数据平台的数据处理和输出，二三四五的大数据应用商业化得到了很好的保障。从运营角度来说，它能够实时感知每台机器、每个接口、每个业务的运行状态，实现秒级监控警报。对营销来说，可以实时感知用户兴趣变化、环境/位置变化、商家优惠策略变化，从而实现精准营销。

大数据是互联网企业的命脉和护城河，数据的价值正在不断的挖掘和升值。二三四五大数据平台将自己放在行业领先者的位置，整合行业精英以及核心技术，实现跨平台，多维度、稀疏高维数据的充分利用。

而这，就是二三四五的秘密武器。