大数据 hadoop

数据湖的发展契机，来源于近年来的AI热潮和云计算、5G的发展，在日益发展的海量数据时代，数据已成为企业发展的核心资产，通过构建适用于大数据的底层架构，围绕Hadoop提供语义一致性、数据治理和安全性。Hadoop作为数据湖最常用的解决方案之一，其的部署和需求仍然很大并且正在增长。在最近的一项涉及235名受访者的调查中，

大数据经过了多年的发展，以Hadoop生态为核心的大数据框架已经十分成熟，这个过程伴随着对存储需求的不断变化，从而演进出了数据湖的概念以及在数据湖存储方面的几个新需求特征：如数据的分布组织与元数据的高效管理；存储和计算分离，大幅降低成本；数据全生命周期管理；多访问协议支持达到All in One的存储能力；具备数据的智

快手大数据架构工程师钟靓近日在 A2M 人工智能与机器学习创新峰会分享了题为《SQL on Hadoop 在快手大数据平台的实践与优化》的演讲，主要从 SQL on Hadoop 介绍、快手 SQL on Hadoop 平台概述、SQL on Hadoop 在快手的使用经验和改进分析、快手 SQL on Ha

HDFS作为Hadoop生态系统的分布式文件系统，它被设计用来存储海量数据，特别是TB、PB量级别的数据。它的设计的初衷也是存储大文件，而如果HDFS上存在大量的小文件，会对系统性能带来严重的问题。本文想跟大家聊下小文件的处理。本文的小文件是指那些大小比HDFS的block (Hadoop 2.x的默认大小128MB)

当前，以 Hadoop 为基础的大数据开源生态圈应用非常广泛。国内 Hadoop 已经广泛应用于金融、电信、制造、能源以及医疗健康领域，而这些领域每天都有数以亿计的数据产生，对于大数据资产的存储、挖掘、分析等流程都会涉及到用户信息安全。因此，如何构建一个开源、稳定、高性能而又安全可靠的大数据管理平台是当务之急。本期硬创

作者：小哥终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的

作者： Uli Bethke维度建模已死？在回答这个问题之前，让我们回头来看看什么是所谓的维度数据建模。为什么需要为数据建模？有一个常见的误区，数据建模的目的是用 ER 图来设计物理数据库，实际上远不仅如此。数据建模代表了企业业务流程的复杂度，记录了重要的业务规则和概念，并有助于规范企业的关键术语。它清晰地阐述、协助企

作者：温球良导语最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介

谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。他们究竟是危言耸听?哗众取宠?还是眼光独到堪破未来呢?与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该

（一）海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行