洞察日志之美 云智慧全面升级智能日志分析平台

随着业务系统的日趋复杂化，日志显现出数量庞大、无固定模式、不易读懂等特点。日志数据是运维监控中主要的数据源，记录了从业务、中间件、系统等全链路信息，可以有效监控IT系统各个层面，从而快速诊断系统故障，洞察系统运行状况，对于开发、运维、测试和审计等各个环节工作都有非常重要的作用。

日志数据，企业数据资产的一座金矿

日志数据是系统所指定对象的某些操作和其操作结果按时间有序的集合，每个日志文件由日志记录组成，每条日志记录描述了一次单独的系统事件。大量信息隐藏在海量日志中，面对持续增长的数据，如何快速解读、实时检测和深度挖掘日志的价值，面临着巨大的挑战。因此规范、充分、信息明确的日志数据是IT故障诊断的重要依据，可以帮助运维人员快速定位、发现和处理IT相关的业务问题。

日志数据可谓企业数据资产的一座金矿，深入挖掘日志价值已经成为当前日志研究的主要方向：利用日志进行业务流程的挖掘、基于日志进行根因分析、利用日志作出故障预警、掌握系统运行性能、辅助软件测试等，这也大大提高了对日志的洞察要求。

传统运维依靠人力从日志中排查故障原因，主要通过grep、sed等指令利用关键词（error, fail, exception等）进行搜索，或利用基于规则的日志提取方法，通过传统方式手动设置来解析日志，对代码要求高、操作繁琐、排障时间长。

因此，利用机器学习等人工智能技术和大数据技术构建一体化的日志分析平台，对离散日志数据进行统一采集、处理、检索、可视化分析，是解决当前日志分析难题的重要手段。智能日志分析平台减少了人工筛查时间，帮助运维人员更快的定位故障，判断失败类型，有效地提高故障诊断和恢复效率。

洞察日志之美，云智慧全面升级智能日志分析平台

云智慧匠心研发的新一代智能化日志管理与分析平台DOLA（即Digital Operation Log Analytics），基于大数据技术与智能算法，实现海量离散日志的统一采集管理、多类型日志解析、SPL/SQL双语言检索、日志智能告警、业务全链路分析、分级存储和丰富的可视化分析。可广泛应用于统一日志管理、运维监控与分析、调用链追踪、安全审计与合规，以及各种业务分析等数字化运维和运营场景。

基于聚类的智能化日志模式识别

业务全链路追踪

全新升级的云智慧智能化日志分析平台包括以下功能：

▪ 基于聚类的日志模式识别：通过聚类算法，进行相似日志文本的数据聚合，可通过聚类灵敏度调节日志模式发现的粒度，帮助运维人员快速定位和发现异常日志；

▪ 日志全文搜索：提供强大的日志搜索能力，支持SPL/SQL双语法混合搜索，支持字段值过滤、划词分析等快速搜索方式，同时支持搜索结果高亮显示，日志上下文详情查看；

▪ 日志智能告警：基于算法的智能日志异常指标监控，提供多指标异常告警、模式增量告警，提供全流程的事件管理服务；

▪ 业务全链路追踪：面向业务的全局拓扑展示、服务分析、全链路追踪，帮助运维人员快速分析系统性能消耗原因、准确定位异常；

▪ 日志可视化分析：基于搜索结果的多维度日志可视化分析呈现，提供折线图、柱状图、饼状图、雷达图、散点图、线性回归等常用可视化模板；

▪ 仪表报表管理：快速便捷的动态仪表报表管理模块，能够自定义仪表盘的快速配置，同时支持业务关键数据的实时呈现；

▪ 可视化数据处理流程：可视化数据处理Pipeline，支持通过拖拽方式进行数据处理组件的自由组合应用，自主创建数据处理流程。

依托云智慧自研的CDC数据采集器和DODB专业运维数据库产品，DOLA平台拥有灵活的数据采集能力和强大的数据处理能力：

√ 支持自有高性能采集器，兼容主流开源数据采集器、灵活水平扩展的数据接入接口；

√ 快速接入流式数据，超高的吞吐量和极小的响应时间，数据接入即可秒级查询；

√ 支持根据数据量进行水平伸缩，数据处理能力：30T/天，eps：130万/秒；

√ 支持多个节点同时写入，单节点写入速度：60万/s，在同等条件下是Elasticsearch 的10倍以上。

云智慧智能化日志分析平台具有对业务系统无侵入性、通用性、智能化、实时可视化分析等特点，目前已广泛应用于银行、保险、证券、航空、交通、政企等行业。如果您想进一步了解此产品，请登录云智慧官网。