spark apache

美国计算机协会（ACM）数据管理专业委员会（SIGMOD）近日公布了2022年 ACM SIGMOD 奖结果，2022年ACM SIGMOD 系统奖授予"Apache Spark"，表彰了 Spark 社区的一众大神，其中包括了Apache Spark 发明者 Matei Zaharia，Datab

作者：  Ian Pointer自从 Apache Spark 2009 年在 U.C. Berkeley 的 AMPLab 默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。Spark 可以用多种方式部署，它为 Java、Scala、Python，和 R 编程语言提供了本地绑定，并且支

11 月 15 日，微软公司召开年度开发者大会 Connect(); 2017。微软全球执行副总裁 Scott Guthrie 在大会上宣布推出多项全新的微软数据平台技术与跨平台开发工具。Scott Guthrie 表示："通过当今的智能云技术，人工智能等新兴技术开始显现出从全方位颠覆我们与世界互动的方式的潜

作者： Jules S. Damji 最令开发者们高兴的事莫过于有一组API，可以大大提高开发者们的工作效率，容易使用、非常直观并且富有表现力。Apache Spark广受开发者们欢迎的一个重要原因也在于它那些非常容易使用的API，可以方便地通过多种语言，如Scala、Java、Python和R等来操

作者 | Sital Kedia, 王硕杰, Avery ChingApache Spark 于 2009 年在加州大学伯克利分校的 AMPLab 由 Matei Zaharia 发起，后来在2013 年贡献给 Apache。它是目前增长最快的数据处理平台之一，由于它能支持流、批量、命令式(RDD)、声明式(SQL)、

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅

 今天介绍一篇文章，详细阐述了Apache Spark 2.0突出的三大优点：更容易、更快速、更智能。两个月前，我们在Databricks上发布了Apache Spark 2.0的预览版本。从下面的图表可以看出，我们的10%的集群已经使用这个版本，同时客户试用了其新功能，并向我们提供了反馈意见。随时间的推移各个不同版本

文 | Taras Matyashovskyy市场上很多玩家已经建造了MapReduce工作流用来日常处理兆兆字节的历史数据。但是谁愿意等待24小时来拿到更新后的分析报告?这篇博客会向你介绍Lambda Architecture，它被设计出来既可以利用批量处理方法，也可以使用流式处理方法。这样我们就可以利用Apache

作者 | Abhinav  译者：王庆 摘要：本文我们将学习如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts构建实时分析Dashboard。问题描述电子商务门户希望构建一个实时分析仪表盘，对每分钟发货的订单数量做到可视化，从而优化物流的效率。解决

作者：祝威廉本文由 简书 祝威廉 授权转载，版权所有归作者，转载请联系作者！ Facebook 60TB+级的Apache Spark应用案例 里大体有两方面的PR，一个是Bug Fix，一个是性能优化。这篇文章会对所有提及的Bug Issue进行一次解释和说明。 前言Facebook 60TB+