分布式计算框架

本页是关于频道"分布式计算框架"的所有博文，按照时间倒序展现。实时更新。

总数 5 第 1/1 页

阿里开源首款自研科学计算引擎 Mars ：基于张量的统一分布式计算框架

雷锋网 • 5年前

雷锋网 AI 科技评论按：日前，阿里巴巴正式开源分布式科学计算引擎 Mars。Mars 是由阿里巴巴统一大数据计算平台 MaxCompute 研发团队历经一年多研发的基于张量的统一分布式计算框架，用其进行科学计算时，不仅使得完成大规模科学计算任务从 MapReduce 实现上千行代码降低到 Mars 数行代码，还能大幅

百度开源高性能 Python 分布式计算框架 Bigflow

36大数据 • 7年前

作者：王练百度近日开源了一套计算框架 Bigflow ，致力于提供一套简单易用的接口来描述用户的计算任务，并使同一套代码可以运行在不同的执行引擎之上。Bigflow 的设计中有许多思想借鉴自 Google FlumeJava以及 Google Cloud Dataflow，另有部分接口设计借鉴自 Apache Spa

分布式计算开源框架Hadoop入门实践（二）

36大数据 • 7年前

作者：岑文初其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了，不过这里既然写了就再多写一点，同时有一些细节需要注意的也说明一下，其实也就是这些细节会让人摸索半天。Hadoop可以单机跑，也可以配置集群跑，单机跑就不需要多说了，只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行

分布式计算开源框架Hadoop入门实践（一）

36大数据 • 7年前

作者：岑文初在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice —日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就完成了访问

Storm、Spark和MapReduce 开源分布式计算系统框架比较

36大数据 • 9年前

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者