日志分析系统

本页是关于频道"日志分析系统"的所有博文，按照时间倒序展现。实时更新。

总数 4 第 1/1 页

千亿级数量下日志分析系统的技术架构选型

砍柴网 • 6年前

随着数据已经逐步成为一个公司宝贵的财富，大数据团队在公司往往会承担更加重要的角色。大数据团队往往要承担数据平台维护、数据产品开发、从数据产品中挖掘业务价值等重要的职责。所以对于很多大数据工程师，如何根据业务需求去选择合适的大数据组件，做合适的大数据架构工作就是日常工作中最常遇到的问题。在这里根据七牛云在日增千亿级的日志

利用 ELK系统分析Nginx日志并对数据进行可视化展示

36大数据 • 7年前

作者：飞走不可一、写在前面结合之前写的一篇文章： Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应

创业公司做数据分析(四)ELK日志系统

36大数据 • 7年前

文 | Mr-Bruce作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上，取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志，显然非

基于 Kafka 和 ElasticSearch，LinkedIn是如何构建实时日志分析系统的?

36大数据 • 8年前

文 | 李虓 LinkedIn SRE 团队高级技术经理及时有效地搜索日志是 SRE (Site Reliability Engineer) 日常工作的重要内容。LinkedIn 从使用 Splunk 到建立基于 ES 和 kafka 的日志分发、索引系统，为 SRE 提供了近似实时的搜索平台来检索超过 400 多个子