Hadoop

数据湖的发展契机，来源于近年来的AI热潮和云计算、5G的发展，在日益发展的海量数据时代，数据已成为企业发展的核心资产，通过构建适用于大数据的底层架构，围绕Hadoop提供语义一致性、数据治理和安全性。Hadoop作为数据湖最常用的解决方案之一，其的部署和需求仍然很大并且正在增长。在最近的一项涉及235名受访者的调查中，

大数据经过了多年的发展，以Hadoop生态为核心的大数据框架已经十分成熟，这个过程伴随着对存储需求的不断变化，从而演进出了数据湖的概念以及在数据湖存储方面的几个新需求特征：如数据的分布组织与元数据的高效管理；存储和计算分离，大幅降低成本；数据全生命周期管理；多访问协议支持达到All in One的存储能力；具备数据的智

2019年将近尾声,谈到截止目前,2019年星环 科技 所取得成绩,创始人孙元浩做了一些简单的总结。 “第一,从产品线来说,从2017年开始,星环科技已经基本确定三条产品线,大数据产品是主要产品线,而人工智能机器学习平台和容器的智能大数据云平台,是围绕客户在使用大数据基础软件的基础需求上

【编者按】虽然大数据依然如日中天，但该领域曾经的领头羊 Cloudera 、Hortonworks 和 MapR 三家公司最近却步履蹒跚，多少掩盖了其几分风光。Cloudera 和 Hortonworks 合并，而 MapR 开始裁员。与此同时，大数据领域的 Elastic 、Mongo

Tom Reilly, chief executive officer of Cloudera Inc. 今年6月6日，Hadoop 商业 公司Cloudera突然暴跌了40%，一时间引发了大家激烈的讨论，在这些讨论之中，最具代表性的观点便是Cloudera的暴跌代表着Hadoop的陨落。

Tom Reilly, chief executive officer of Cloudera Inc.文｜郭华今年6月6日，Hadoop商业公司Cloudera突然暴跌了40%，一时间引发了大家激烈的讨论，在这些讨论之中，最具代表性的观点便是Cloudera的暴跌代表着Hadoop的陨落。但我认为Cloudera的暴

快手大数据架构工程师钟靓近日在 A2M 人工智能与机器学习创新峰会分享了题为《SQL on Hadoop 在快手大数据平台的实践与优化》的演讲，主要从 SQL on Hadoop 介绍、快手 SQL on Hadoop 平台概述、SQL on Hadoop 在快手的使用经验和改进分析、快手 SQL on Ha

HDFS作为Hadoop生态系统的分布式文件系统，它被设计用来存储海量数据，特别是TB、PB量级别的数据。它的设计的初衷也是存储大文件，而如果HDFS上存在大量的小文件，会对系统性能带来严重的问题。本文想跟大家聊下小文件的处理。本文的小文件是指那些大小比HDFS的block (Hadoop 2.x的默认大小128MB)

【编者按】在 开源 已经逐渐成为一种政治正确的时候，开源项目最终会走向哪里？本文针对Cloudera和Hortonworks的宣布合并一事进行发问，回溯 Hadoop 的商业化和合并前后历程，试图寻找这一答案。 本文首发于IT经理世界，作者李昊原；