腾讯大数据实时检索分析平台Hermes

Why：Hermes为什么会诞生？

传统的关系型数据库，在大数据面前显得势单力薄，无论数据处理、数据分析上都力不从心。TDW（腾讯数据仓库，Tencent Data Warehouse）很好的解决了海量数据的离线处理分析。然而，很多应用场景往往要求在数秒内完成对几亿、几十亿甚至几百上千亿的数据分检索与分析，如营销人员需要对亿级需要对用户画像特征快速分析，确定营销目标群，实现快速精准营销分析，从而抢占市场先机；数据分析挖掘人员的多数数据分析行为是验证性的、是探索性的，需要在不断的调整验证假设、猜想的过程中，快速发掘有效信息从而为产品发展找到决策性数据依据；开发、运维人员需要从百亿、千亿级日志中检索异常日志，实现快速故障定位与分析。

Hermes实时检索分析平台，旨在为腾讯大数据分析业务提供一套实时的、多维的、交互式的查询、统计分析系统，为各个产品在大数据的统计分析方面提供完整的解决方案，让万级维度、千亿级数据下的秒级统计分析变为现实。

What：Hermes是什么？

Hermes实时多维分析平台，基于搜索引擎技术，实现索引和搜索功能，可根据用户自定义数据分析需求，对多个字段进行关键字全匹配或模糊匹配检索，并可对检索结果集进行分组、排序、计算等统计分析操作。目前，平台日接入量达每天3000亿条，在线服务数据超过4万亿条。

Hermes平台架构

Hermes实时多维分析平台架构

数据接入 ：实时、灵活。支持用户自定义包导入；已入库到TDW的数据，可配置化导出到Hermes，“一次索引、多次使用”；Hermes与TDBank（TDBank是腾讯数据银行，主要负责数据的收集，分发，预处理以及管理工作）做了打通，实现数据从生产环境实时采集入库Hermes。

数据查询 ：SQL接口，使用方便，降低使用门槛。支持查询、统计分析、查询结果导出、导入导出状态查询、导入包分析功能。 其中，导入包分析，指用户定义导入包（用户ID列表），即外部数据与已在Hermes中建好索引的大盘数据做关联，对用户导入包中对应的用户ID特征过滤分析的过程。

数据计算 ：任意纬度组合分析、实时下钻分析，秒极响应。

数据存储 ：本地+HDFS存储，高可靠性。

业务应用案例

应用案例1：画像数据分析

十亿条数据，包含近上万个列，Hermes支持按照不同字段对数据进行定向检索，并可对检索结果集进行分组、分段、求和、计数等实时数据分析，同时还可对结果集进行无限次下钻分析。

应用案例2：信息安全部某项目

Hermes实时采集信息安全监控范围的相关日志信息对信息进行分词处理并存储，总数据规模达200TB、4400亿条。用户在进行检索时，系统按照关键字信息对全文进行模糊检索，秒级返回命中结果数，并可以将检索结果集导出。

应用案例3：游戏运营日志

游戏业务的发展，其服务器性能数据、模块调用数据、玩家体验数据等各种游戏数据源源不断的产生出来，这些数据随着游戏种类的不断增多以及周期的演变，像滚雪球一样，以几何量级快速增长，当前日入库量100亿条/天，这些日志正是做好业务质量保障的所需要的。通过Hermes实时统计分析日志中特定字段的日志类型（如ERROR日志）以及日志中的异常堆栈的模糊匹配查询，全方位的、及时的发现问题，甚至可以预防问题的发生，从而更好地保障业务质量。

Who：Hermes适用哪些用户？

（1）业务或产品规模发展，传统关系型数据，已经无法容纳更多的数据且随着数据累积，查询效率严重受到影响的用户；
（2）基于对海量数据的分析，但是苦于现有的离线计算平台的速度和响应时间无满足业务要求的用户；
（3）需要对用户画像行为类数据的多维定向分析的用户；
（4）需要对大量的UGC（User Generate Content）检索的用户；
（5）其他需要在实时情况处理海量数据（1亿条以上），并需要高可用性方案的用户。

结语

顾名思“名”，看到Hermes，大家首先想到的是“爱马仕”，这也是标题中“白富美”的由来原因之一，另一个主要原因是Hermes平台在千亿级数据实时分析上的查询毫秒体验，较多的用户反馈，“好上流”、“高大上”。 Hermes没有腾讯数据仓库TDW（目前已达到上万台规模，100PB+数据量，P级日计算量）高大，还是“白富美”更贴切。

再延伸联想下， Hermes（赫耳墨斯），是希腊奥林匹斯十二主神之一，是宙斯最忠实的差使，为宙斯传达消息，并完成他交待各种任务。Hermes 实时多维分析平台，名字的由来源于此。我们希望Hermes实时多维分析平台，作为用户与数据之间的连接使者，能快速高效的完成用户交给它的各种分析任务，提高开发运营人员、营销人员和数据分析人员数据分析效率，从海量的业务数据中挖掘有价值的金矿。

End