电信运营商的大数据技术创新和应用（附原文PPT）

2016年7月29日，第六届大数据世界论坛在京举办，中国电信北京研究院云计算研究中心赵慧玲主任作了题为《大数据技术创新和应用》的主题演讲，介绍了电信运营商在大数据领域的探索与发展。

   

大数据 的发展经历了从萌芽期、过热期、幻灭期到复苏期的过程，2015年国家相继发布了《关于运用大数据加强对市场主体服务和监管的若干意见》与《促进大数据发展的行动纲要》等重要文件，成为我国大数据的转折年。

 

大数据产业特性是数据与技术的双驱动，数据基础设施、数据能力开放、大数据行业应用的发展同时伴随着大数据技术的发展与创新。从运营商的角度来讲，大数据应用分对内与对外，中国电信作为智能管道的主导者，对内利用大数据提高网络的智能性，无论是固定网络还是移动网络，都设有DPI检测，可以有效的监控网络的状态，合理利用网络的资源；对外利用电信的数据资源，建立大数据平台为更多企业服务。

 

中国电信的大数据平台-灯塔大数据行业应用平台的定位：整合多元数据，打造能力平台，创新行业应用，与行业合作伙伴共同打造大数据行业应用生态圈。

 

下面介绍五个热点的大数据技术：

1.混合数据存储：超大容量的存储空间，支持对海量数据的智能检索和分析，兼容各种类型的 大数据应用 。

 

2.混合数据库架构：大数据平台需要具有能够融合关系型数据库、列数据库、内存数据库、图数据库等多种数据库，形成混合数据库架构，这样可以满足多种场景下的数据处理需求。

 

3.异构数据关联：包含对内数据融合与对外数据开放。对内实现电信数据内的多种用户ID关联，实现多场景、多屏幕信息打通，实现更全面和精准的用户描述。对外借助从电信数据中挖掘出的外部ID，实现电信数据与外部数据的打通，从而打破电信数据开放的壁垒。

 

4.行业知识库：面向行业来构建数据库，推动应用价值，此外深入分析用户行为，构建多层次多角度的深度标签，使得大数据应用能够精准触及用户，满足客户需求。

   

在多源数据整合方面，中国电信灯塔大数据整合了电信内部云公司与省公司的一些数据源，包括脱敏后的固网及移动管道数据（DPI）、客户注册信息（CRM）、流量及话单数据（ODS）、位置（信令）等，当前数据总量约800亿规模；同时，我们自己也积累互联网数据，包括电商、视频、触媒、汽车、地产、金融、社交等垂直领域公开数据约4亿条；并且，我们接入了大量的第三方数据资源，包括约200个数据接口API，覆盖教育、工商、航空、公安、法院、银行等领域。“整合多源数据”的定位中我们追求的是“广”。

 

在能力平台打造方面，我们在多源数据整合之后，对数据进行了进一步的清洗、融合与能力封装。在数据清洗环节，我们对原始数据去噪声、结构化，保证数据质量；在数据融合环节，我们通过ID的mapping，打通多方数据源，使得数据的整合提升到数据的融合，实现1+1>2的数据融合增益；在能力封装环节，我们在保护用户隐私的前提下，面向不同的大数据应用场景，把人与物多重的时空关联关系，做定量的刻画与预测，并以API的形式做能力封装。

 

通过打造灯塔能力平台，我们在数据拼接技术、行业知识建模技术、深度标签技术等方面都具备较深的技术积累。

数据拼接技术：将异构多源的大数据做数据整合中面临很多困难，运营商数据具有天然的优势：覆盖广、跨平台关联性强，进而以此为基础可以实现数据整合。构建ID关联模型，采用图数据库进行数据存储和模型计算，实现DPI数据内的多种用户ID关联，解决了电信数据与外部数据有效关联和拼接的问题。目前平台已积累超过100类ID数据，ID总量超5000万。

 

深度标签技术：根据用户上网行为，使用机器学习和模式识别等算法，推断用户的性别、年龄等基础人口属性，并打造消费偏好、消费能力等其他深度标签。目前已构建超过10个行业的总计6000余类用户深度标签。

 

行业知识建模技术：通过整合数据采集、数据存储、数据形式化、数据表达等环节，打造完善的行业知识库，为运营商网络大数据的解析提供必要支持。当前行业知识库整体字典规模超过2亿，其中电商和视频分别占1.2亿和6000万。

 

在行业应用创新方面，我们与合作伙伴一起，在能力平台封装的数据能力之上，针对客户的需求与痛点，共同研发面向通用领域与垂直行业的，大数据产品与解决方案，使得大数据服务能够真正为客户带来价值。我们希望与合作伙伴一起，营造灯塔大数据生态圈，进而加速大数据的商业创新与应用落地，为传统产业升级和经济结构转型贡献力量。

 

介绍中国电信灯塔大数据的平台，灯塔大数据构建了“5+1+1”的产品体系。5个产品方向包含精准营销、金融征信、人力资源、市场研究和地理商业智能，1个平台指的是Data Fusion&Insight能力平台，另外一个1指的是流量入口，即大数据应用商店与交易市场。

 

在精准营销方向，我们利用数据拼接技术，实现跨屏跨网跨平台的用户对齐，并利用深度标签技术，打造更加立体的用户画像，从而为客户提供更加有效的精准营销服务，既包括新客获取也包含老客营销。

 

在金融征信方向，我们通过整合传统信贷数据之外的其他数据源，辅助各类金融机构对借贷主体，无论是个人还是企业，进行信用评级与风险定价，有效对央行征信报告进行了补充。

 

在人力资源方向，我们创新的引入用户互联网行为，形成求职者的胜任力、学习能力、专注度、敬业度等指标，试图把人力资源这种非标资产标准化，进而尝试对人力资源做资产定价，并推出了相应的猎头与背调服务，来打破传统人力资源行业的信息不对称，降低企业的用工风险与用工成本。

 

在市场研究方向，我们将全量、跨平台、多维度等大数据的优势，与传统市场研究中的小数据结合，目前已经打造了诸如购买消费者洞察、商业指数分析、决策路径分析等诸多成功案例。

 

在地理商业智能方向，我们通过引入第三方数据源，将用户线下的位置信息精确到店铺级别，再关联上用户的线上行为，于是就产生了区域人口洞察、店铺选址、客流分析等一系列地理方向的应用，对于客流分析及人流预警等方面的应用具有较大的意义。

 

在灯塔大数据微信公众号里，可以获取到行业应用PPT、市场研究报告、大数据产业进展及运营商大数据的发展成功。期待更多的合作伙伴加入灯塔大数据的生态圈，让电信的数据更有价值，为行业服务，为生活服务，谢谢大家！

注：本文摘自数据观入驻自媒体—灯塔大数据，转载请注明来源，微信搜索“数据观”获取更多大数据资讯。

责任编辑：陈卓阳