大数据技术架构

编者按:随着 互联网 、大数据和人工智能等技术的发展,信息资源得到最大程度的共享,但随之而来的海量文件存取的功能和性能问题也日渐突出。在政务领域解决方案中,对象存储往往扮演着非常重要的角色,如全国各地的健康宝的头像和核酸报告文件或图片的高速并发存取,不同地区应用接口和后端存储的快速适配等。

2014年，马云提出：“人类正从IT时代走向DT时代”。如果说在IT时代是以自我控制、自我管理为主，那么到了DT (Data Technology)时代，则是以服务大众、激发生产力为主。以互联网(或者物联网)、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业，悄悄地改变着我们的生活。在DT时代，人们比以往任

 摘要：工业大数据是工业企业的重要资产，是企业实现转型升级的核心要素。分析了工业大数据的主要来源及其特点，给出了一种工业大数据参考架构，从生命周期与价值流、企业纵向层和IT价值链3个维度，讨论了企业实现基于工业大数据的价值创新和企业转型的典型应用与业务价值创新、企业各层所需部署的信息（物理）系统以及指导工业大数据应用落

作者： 彭冬1. 摘要本文介绍了大规模时序数据自动异常检测的通用和可扩展框架。能够在早期检测到系统异常，无论在维护用户数据一致性方面，还是在保护企业免受恶意攻击方面都发挥着非常关键的作用。用于异常检测的现有技术在可扩展性和易用性上都存在很大问题。我们在雅虎（EGADS）的系统设计了基于异常检测和预测模

作者：场景研读摘要：  8月24日阿里云数据库技术峰会上，来自阿里数据库事业部高级专家钟宇带来HiTSDB 时序数据库方面的演讲。本文主要从时序数据开始介绍，包括时序序列数据的特点，接着介绍了时序数据业务场景，以及OpenTSDB在HBase上的优化，最后分享了HiTSDB的优化和提高。 8月24日阿里云

作者：阿里数据如果大家对阿里巴巴的新闻比较关注，最近可能会频繁听到阿里巴巴谈到“五新”这个词，“五新”中的其中一个概念是新能源。其实新能源就是大数据本身。技术、数据和算法三个方面结合在一起，才可以把数据真正用起来。大家都知道，Google的数据量是很大的，但是它的数据源本身其实比较单一。以Google  search，

作者：张逸一、大数据平台 大数据在工作中的应用有三种： 与业务相关，比如用户画像、风险控制等； 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。数据工程师在业务和数据科学家之间搭建起实践的桥梁。本

今天上午，亚马逊AWS首席云计算技术顾问费良宏在GMIC云与大数据峰会上，为听众详细讲述了云计算环境下的大数据实践与设计范式。费良宏认为，费良宏：大家好，我想跟大家分享一下管理大数据的话题。我主要是围绕着在云计算环境里的数据模式的架构与实现，也说说我们十年实践的心得。大数据大家都不陌生，对相关领域大家也有很多了解。但是

各位晚上好，很高兴能与大家分享对元数据架构与应用的一些思考。首先简单介绍下我自己，我2010年加入普元，目前负责普元大数据产品部，我和我的团队主要在做大数据治理相关的产品和解决方案。在来到普元之前在人民银行软件开发中心担任核心架构师，参与了人民银行的一些大型项目的建设。整个分享分为三个部分：第一部分，说说我和我的团队眼

作者：陈飚 从数据建模的角度对NoSQL家族系统做了比较简单的比较，并简要介绍几种常见建模技术。1.前言为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑：数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的