PPT：美团点评数据平台融合实践 项目推进经验及技术突破-36大数据

PPT来源ArchSummit全球架构师峰会2017

美团点评两家公司合并以来，经历了组织架构融合、线上业务融合、数据与基础设施融合的三个大阶段。

本次分享主要介绍第三阶段，美团点评整个数据平台融合的项目推进经验，以及相关技术突破，期望能对于有大的数据平台技术产品重构或底层技术架构调整需求的架构师进行参考。

平台项目分为三个阶段：

数据流打通；

离线集群透明迁移融合；

工具链产品融合与业务任务切分。

融合之前，我们有异地双机房共4k节点，涉及万级别任务迁移与自动改写，整个融合过程持续提供数据生产与应用服务，要求对业务透明。

本次分享除了对于项目整体计划与实施的讨论，也会会涵盖 Hadoop 集群认证打通、Hadoop 多机房架构改造、大面积 SQL 任务重构的自动化方法等核心技术点的详细架构介绍。

其中，Hadoop 集群认证打通我们使用 Kerberos 跨域认证方案，Hadoop 多机房方案我们通过新增 Zone Tunnel 模块，操作 HDFS 文件块的分布，做到了集群的平滑迁移。

在 SQL 任务自动重构的场景下, 我们自研了一个 Hive 表映射的方案，使得任务的修改可以并行化，无需双写，也无需分层迁移，大大的提高了重构效率。

下面是详细的PPT：

End.

转载请注明来自36大数据（36dsj.com)： 36大数据 » PPT：美团点评数据平台融合实践 项目推进经验及技术突破