七牛实时数据分析实战-36大数据

我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

七牛实时数据分析实战-36大数据

作者:孙健波

在我们这仅仅两三步简单的操作以后,就可以看到哪些十分有价值的数据呢?

实时总用户访问量(请求数统计),如图 1 所示

七牛实时数据分析实战-36大数据

图 1 实时总用户访问量

机器请求数随时间变化趋势,如图 2 所示

七牛实时数据分析实战-36大数据

图 2 机器请求数随时间变化趋势

实时请求状态码占比,如图 3 所示

七牛实时数据分析实战-36大数据

图 3 实时请求状态码占比

实时请求TOP排名,如图 4 所示

七牛实时数据分析实战-36大数据

图 24 实时请求TOP排名

实时请求来源IP TOP排名,如图 5 所示

七牛实时数据分析实战-36大数据

图 5 实时请求来源IP TOP排名

响应时间随时间变化趋势图,如图 6 所示

七牛实时数据分析实战-36大数据

图 6 响应时间随时间变化趋势图

实时用户请求的客户端TOP排名,如图 7 所示

七牛实时数据分析实战-36大数据

图 7 实时用户请求的客户端TOP排名

实时根据不同情况进行具体数据的查询,包括状态码、响应时间范围进行筛选等,如图 8 所示

七牛实时数据分析实战-36大数据

图 8 实时根据不同情况进行具体数据的查询

其他更多自定义配置…

自定义的 Grafana DashBoard 配置示例,如图 9 所示

七牛实时数据分析实战-36大数据

图 9 Grafana DashBoard配置示例

可见,仅仅几步简单的操作,你就借助Pandora实现了海量日志的实时监控,通过 nginx日志 完整而详尽的 了解业务的流量入口的各类情况。

2.实时数据报警

有了实时的数据监控,怎么能少得了报警呢,我们还提供了包括 Slack, Email邮箱,Webhook等十来种报警方式。
比如说如图 10 ,我们设置了一个响应时间大于1000ms的报警

七牛实时数据分析实战-36大数据

图 30 响应时间大于1000ms报警

LogDB采用的是基于Elasticsearch协议的报警,这个基于Elasticsearch协议的Grafana报警功能是七牛独家哦!TSDB是基于InfluDB协议,使用TSDB更是同样具备上述功能。

那么您可以看到报警形式是怎么样的呢?

七牛实时数据分析实战-36大数据

图 11 Slack报警示意图

看到图 11 Slack上的报警了吗?除了基本的文字,还会带上酷炫的报警图片!图片都会被存储到您七牛云存储的bucket里面!

七牛实时数据分析实战-36大数据

图 12 邮件报警示意图

如图 12 所示,常规的邮件报警内容也一样酷炫!

3.离线分析

如果你使用离线分析,那么可以获得的内容就更多了,只要你数据拥有的维度,就可以统计出来,比如我们以CDN日志为例。

用户地区分布,如图 13 所示

七牛实时数据分析实战-36大数据

图 13 用户地区分布

用户机型分布,如图 14 所示

七牛实时数据分析实战-36大数据

图 34 用户机型分布述

活跃用户数随时间变化趋势,如图 15 所示


图 15 活跃用户数随时间变化趋势

各类手机图片下载数,如图 16 所示

七牛实时数据分析实战-36大数据

图 16 各类手机图片下载数

不同时间平均下载速度,如图 17 所示

七牛实时数据分析实战-36大数据

图 17 不同时间平均下载速度

不同时间正常响应比重,如图 18 所示

七牛实时数据分析实战-36大数据

图 18 不同时间正常响应比重

查询用户系统分布,如图 19 所示

七牛实时数据分析实战-36大数据

图 19 查询用户系统分布

除了上述这些,还支持更细粒度的下钻功能,可以全方位无死角分析你的海量数据。

4.总结

至此,本次的Pandora大数据平台的架构演进与使用实战算是介绍完了,但是我们Pandora大数据产品的迭代还在不断向前,还有大量大数据平台建设的细节等待我们去完善。欢迎广大朋友联系交流。

End.

转载请注明来自36大数据(36dsj.com): 36大数据 » 七牛实时数据分析实战

随意打赏

数据分析方法数据分析软件大数据时代七牛大数据数据分析师实时数据
提交建议
微信扫一扫,分享给好友吧。