基于ELK和Spark Streaming的日志分析系统设计与实现Design and Implementation of Log Analysis System Based on ELK and Spark Streaming
李祥池;
摘要(Abstract)：
在大数据时代,对数据平台各组件的运行状态实时监控与运行分析具有重要意义,实现该目的需要符合企业自身应用场景的日志处理解决方案。本文基于业界主流的开源日志解决方案ELK Stack,探讨该方案中各组件的主要功能和工作原理,以及其在解析数据库日志中的使用方法,并将该方案与分布式消息队列Kafka整合以保证数据可靠性,与Spark流数据处理框架Spark Streaming整合以实现实时告警。为数据平台的运维监控工作提供参考。
关键词(KeyWords)： ELK;Spark;Kafka;日志分析
基金项目(Foundation):
作者(Authors): 李祥池;
DOI: 10.16453/j.issn.2095-8595.2015.06.013