日志管理

日志管理学习笔记

日志管理

日志:

历史事件:时间,地点,人物,事件

日志级别:事件的关键性程度,loglevel

系统日志服务:

Sysklogd:centos5之前版本

Klogd:linux kernel记录内核日志

时间记录格式:

日期时间   主机  进程[pid]   事件内容

C/S 架构:通过TCP或udp协议的服务完成日志记录传送,将分布在不同主机的日志实现集中管理

Rsyslog特性:centos6和7

多线程

Udp,tcp,ssl,tlc,relp

Mysql,pgsql,oracle实现日志存储

强大的过滤器,可实现过滤记录日志信息中任意部分

自定义输出格式

ELK:elasticsearch,logstash,kibana

非关系型分布式数据库

基于Apache软件基金会jakarta项目lucene

Elasticsearch是个开源分布式搜索引擎

Logstash对日志进行收集、分析,并将其存储供以后使用

Kibana 可以提供的日志分期友好的web界面

术语,参见man logger

Facility:设施,从功能或程序上对日志进行归类

Auth ,authpriv,cron,daemon,ftp,kern,lpr,mail,news,security,user,uucp,local0-7,syslog

Priority 优先级别,从低到高排序

Debug,info,notice,warn,err,crit,alert,emerg

程序包:rsyslog

主程序:/usr/sbin/rsyslogd

Centos6 :service rsyslog{start|stop|restart|status}

Centos7 :/usr/lib/systemd/system/rsyslog.service

配置文件:/etc/rsyslog.conf, /etc/rsyslog.d/*.conf

库文件:/lib/64/rsyslog/*.so

配置文件格式:由三部分组成

MODULES:相关模块配置

GLOBAL DIRECTIVES:全局配置

RULES:日志记录相关的规则配置

 

RULES配置格式:facility.priority; facility.priority…   target

Facility:

*:所有的facility

Facility1,facility2,facility3,..指定的facility

Priority:

*:所有级别

None:没有级别,即不记录

PRIORITY:指定级别以上的所有级别

=PRIORITY:仅记录指定级别的日志信息

Target:

 

文件路径:通常在在/var/log/,文件路径前的-表示异步写入用户:将日志时间通知给指定的用户,*表示登录的所有用户

日志服务器:@host,把日志送往至指定的远程服务器记录

管道:|COMMAND,转发给其他命令处理

通常的日志格式:

事件产生的日期时间 主机 进程 :事件内容

如:/var/log/messages,cron,secure

配置rsyslog成为日志服务器

###MODULES####

#Provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514

#Provides TCP syslog reception

$ModLoad imudp

$TCPServerRun 514

其它的日志文件

/var/log/secure:系统安装日志,文本格式,应周期性分析

/var/log/btmp:当前系统上,用户的失败尝试登录相关的日志信息,二进制格式,lastb命令进行查看

/var/log/wrmp:当前系统上,用户正常登录系统的相关日志信息,二进制格式,last命令可以查看

/var/log/dmesg:系统引导过程中的日志信息,文本格式

文本查看工具查看

专用命令dmesg查看

/var/log/messages:系统中大部分的信息

/var/log/anaconda:anaconda的日志

 

Systemd统一管理所有unit的启动日志。带来的好处就是,可以只用journalctl一个命令,查看所有日志(内核日志和应用日志)。日志的配置文件/erc/systemd/journald.conf

Journalctl用法

查看所有日志(默认情况下,只保存本次启动的日志)

Journalctl

查看内核日志(不显示应用日志)

Journalctl -k

查看系统本次启动的日志

Journalctl -b

Journalctl -b -0

查看上一次启动的日志(需要更改设置)

Journalctl -b -1

查看指定服务的日志

Journalctl /usr/lib/systemd/systemd

查看指定进程的日志

Journalctl _PID=1

查看某个指定用户的日志

Journalctl _UID=33 –since today

查看某个路径的脚本的日志

Journalctl /usr/bin/bash

查看某个unit的日志

Journalctl-u nginx.service

Journalctl -u nginx.service -since today

实时滚动某个unit的最新日志

Journalctl -u nginx.service -f

合并显示多个unit的日志

Journalctl -u nginx.service -u php-fpm.service –since today

查看指定优先级的日志,共有8级

0:emerg

1:alert

2:crit

3:err

4:warning

5:notice

6:info

7:debug

Journalctl -p err  -b

日志默认分页输出,–no-pager改为正常的标准输出

Journalctl –no-pager

以JSON格式(单行)输出

Journalctl -b -u nginx.service -o json

以JSON格式(多行)输出,可读性更好

Journalctl -b -u nginx.serviceqq -o json -pretty

显示日志占据的硬盘空间

Journalctl –disk-usage

指定日志文件占据的最大空间

Journalctl –vacuum-size=1G

指定日志文件保存多久

Journalctl  –vacuum-time=1yesrs

  • 准备MYSQL Server
  • 在mysql server上授权rsyslog能连接至当前服务器

Mysql > GRANT ALL ON Syslog.* TO ‘USER’@’HOST’

IDENTIFIED BY ‘PASSWLRD’;

  • 在rsyslog服务器上安装mysql模块相关的程序包

Yum install rsyslog-mysql

  • 为rsyslog创建数据库及表

Mysql -uUSERNAME -hHOST -pPASSWORD<

/usr/share/doc/rsyslog-7.4.7/mysql-createDB.sql

  • 配置rsyslog将日志保存到mysql中

###MODULES####

$ModLoad ommysql

###RULES####

Facility.priority   :ommysql:DBHOST,DBNAME,DBUSER,PASSWORD

 

 

 

示例:通过loganalyzer 展示数据库中的日志

  • 在rsyslog服务器上准备amp或nmp组合

Yum install httpd php php-mysql hph-gd

(2)安装loganalyer

Tar xf loganalyzer-4.1.5.tar.gz

Cp -a loganalyzer-4.1.5/src

/var/www/html/loganalyzer

Touch config.php

Chmod 666 config.php

  • 配置loganalyzer

Systemctl start httpd

http://HOST/loganalyzer

  • 安全加强

Cd /var/www/html/loganalyzer

Chmod 644 config.php

Logrotate日志存储

Logrotate程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的文件,称为日志转储或滚动。可以根据日志文件的大小,也可以根据其天数来转储,这时过程一般通过cron程序来执行

配置文件时/etc/logrotate.conf

主要参数如下

Compress通过gzip压缩转储以后的日志

Nocompress不需要压缩时,用这个参数

Copytruncate用于还在打开中的日志文件,把当前日志备份并截断

Nocopytruncate备份日志文件但是不截断

Create mode ownergroup 转储文件,使用指定的文件模式创建新的日志文件

Nocreate 不建立新的日志文件

Delaycompress和compress一起使用时,转储的日志文件到下一次转储时才压缩

Nodelaycompress覆盖delaycompress选项,转储并压缩

Error addres 转储时的错误信息发送到指定的Email地址

Ifempty 即使是空文件也转储,是缺省项

Notifempty如果是空文件的话,不转储

Mail address 把转储的日志文件发送到指定的Email地址

Nomail转储时不发送日志文件

Olddir directory 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统

Noolddir 转储后的日志文件和当前日志文件放在同一个目录下

Prerotate/endscript在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行

Postrotate/endscript在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行

Daily指定转储周期为每天

Weekly指定转储周期为每周

Monthly指定转储周期为每月

Size大小 指定日志文件删除之前转储的次数,0指没有备份,5指保留5个备份

Missingok 如果日志不存在,提示错误

Nomissingo如果日志不存在,继续下一次日志,不提示错误

 

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/91496

发表评论

登录后才能评论

This site uses Akismet to reduce spam. Learn how your comment data is processed.

联系我们

400-080-6560

在线咨询:点击这里给我发消息

邮件:1823388528@qq.com

工作时间:周一至周五,9:30-18:30,节假日同时也值班