ELK-5.5.1部署

ELK简介

ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,由这三个软件及其相关的组件可以打造大规模日志实时处理系统。

其中,Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎,主要负责将日志索引并存储起来,方便业务方检索查询。

Logstash是一个日志收集、过滤、转发的中间件,主要负责将各条业务线的各类日志统一收集、过滤后,转发给 Elasticsearch 进行下一步处理。

Kibana是一个可视化工具,主要负责查询 Elasticsearch 的数据并以可视化的方式展现给业务方,比如各类饼图、直方图、区域图等。

Elastic Stack平台架构图

上图是ELK Stack的架构图,其中:

Filebeat:部署在具体的业务机器上,通过定时监控的方式获取增量的日志,并转发到Redis消息系统暂存。

Redis:作为一个消息系统的角色,接收从Filebeat收集转发过来的日志,通常以集群的形式提供服务。

Logstash:然后,Logstash从Redis中获取日志,并通过Input-Filter-Output三个阶段的处理,更改或过滤日志,最终输出我们感兴趣的数据。

Elasticsearch:最后,Elasticsearch存储并索引Logstash转发过来的数据,并通过Kibana查询和可视化展示,达到实时分析日志的目的。

Elasticsearch/Kibana还可以通过安装x-pack插件实现扩展功能,比如监控Elasticsearch集群状态、数据访问授权等

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/89509

(5)
641348038@qq.com641348038@qq.com
上一篇 2017-12-04 16:33
下一篇 2017-12-04 19:41

相关推荐

  • linux 启动文件 /etc/fstab 文件删除 无法开机 修复的方法

    /etc/fstab文件删除系统自检无法挂载 无法启动 按照提示进入命令行  手动写/etc/fstab,如无内核文件  无grub  就缺啥补啥 fdisk    -l 查看当前分区  blkid    查看分区文件系统的卷标 手动挂载 …

    Linux干货 2016-09-13
  • 第七周作业

    第七周 1,创建一个10G分区,并格式化为ext4文件系统;(1) 要求其block大小为2048,预留空间百分比为2,卷标为MYDATA,默认挂载属性包含acl;(2) 挂载至/data/mydata目录,要求挂载时禁止程序自动运行,且不更新文件的访问时间戳; [root@www ~]# fdisk /dev/sda <————-fd…

    Linux干货 2017-09-03
  • keepalived高可用haproxy配合varnish实现wordpress的动静分离

    haproxy和nginx都可以作为七层和四层反代服务器对外提供服务,此文通过haproxy和keealived配置varnish搭建wordpress的动静分离站点 一、实验环境 五台虚拟机: haproxy-1:搭建haproxy和keepalived服务,ip地址:192.168.11.176 haproxy-2:搭建haproxy和keepalive…

    2017-07-03
  • 系统之锹sysdig:Linux服务器监控和排障利器

    当你需要追踪某个进程产生和接收的系统调用时,首先浮现在你脑海中的是什么?你可能会想到strace,那么你是对的。你会使用什么样的命令行工具来监控原始网络通信呢?如果你想到了tcpdump,你又作出了一个极佳的选择。而如果你碰到必须追踪打开的文件(在Unix意义上:一切皆文件)的需求,可能你会使用lsof。 strace、tcpdump以及lsof,确实是些伟…

    Linux干货 2015-02-09
  • 强大的vim编辑器

    vim编辑器 一、Vim编译器的概述 vi: Visual Interface,文本编辑器 v 文本:ASCII, Unicode v  文本编辑种类:      行编辑器: sed      全屏编辑器:nano,   &nbs…

    Linux干货 2016-08-12
  • 马哥教育网络20期—nginx

    Nginx 一. Nginx 特性 二. Nginx 基本架构 三. Nginx 基本功能 四. Nginx 安装 五. Nginx 配置文件 六. Nginx http服务功能测试 七. Nginx LNMP 一. Nginx 特性 模块化,目前只能将模块编译进Nginx,暂时不支持动态装卸载模块.(httpd优势) 可靠性,一个主进程(master)控制…

    Linux干货 2016-06-26