开源 大数据平台

导语： 市场上首个 K8s 上的大数据平台，开源了！ 智领云自主研发的首个 完全基于Kubernetes的容器化大数据平台Kubernetes Data Platform (简称KDP)开源啦！ 开发者只要准备好命令行工具， 一键部署Hadoop，Hive，Spark，K

一、背景OPPO大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户经常对自己的任务运行状况“摸不着头脑”，不管是性能问题，还是参数配置问题，甚至是一些常见的权限报错问题，都需要咨询平台给出具体的解决方案；另一方面是平台面对

3000米高空，一架民航客机拖着冒烟的机翼，在空中划出两条黑线。不远处，13名乘客被卷出机舱，生命垂危。 此刻，不远处的老贾（钢铁侠搭载的智能助手）通过大数据算法得出上百个解决方案，又将其一一排除。突然，铠甲启动制动，一个人影开始在空中踱步，1、2、3......眨眼间，13名乘客全数获救，整个过

美国时间 1 月 10 日，Apache 软件基金会对外宣布， 万众期待的Apache Beam在经历了近一年的孵化之后终于毕业 。这一顶级Apache 开源项目终于成熟。 这是大数据处理领域的又一大里程碑事件——仅仅在上个月，腾讯宣布将在 2017 年一季度开源其大数据计算平

新智元报道编辑：胡祥杰 　　 新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 　　 简历投递：jobs@aiera.com.cn 　　 HR 微信：13552313024

腾讯科技讯 腾讯大数据12月18日宣布推出面向机器学习的第三代高性能计算平台——Angel，并预计于2017年一季度开放其源代码，鼓励业界工程师、学者和技术人员大规模学习使用，激发机器学习领域的更多创新应用与良好生态发展。腾讯12月18日在腾讯大数据技术峰会暨KDD China技术峰会上宣布这一消息，腾讯副总裁姚星先生

机器之心原创作者：吴攀、微胖随着近年来深度学习技术的发展，各种机器学习平台也纷纷涌现或从专用走向了开源。到现在，一家科技巨头没有一个主导的机器学习平台都不好意思跟人打招呼。比如谷歌有 TensorFlow、微软有 CNTK、Facebook 是 Torch 的坚定支持者、IBM 强推 Spark、百度开源了 Paddl

导读： 在QCon 2016 北京站上，Druid开源项目的负责人，同时也是一家位于旧金山的技术公司共同创始人的Fangjin Yang杨仿今老师分享了题为 《Evolution of Open Source Data Infrastructure》的主题演讲，在演讲里杨老师详细的介绍了开源大数据的过去，现在的

开源大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据技术不断涌现和发展，让我们处理海量数据更加容易、更加便宜和迅速，成为分析和挖掘海量数据价值的一个利器，甚至可以改变许多行业的商业模式。东方瑞通成立于1998年，是国内最早一批面向企业级的IT培训机构，