Linux系统日志服务

虽然运行在Linux系统上的各个服务都有自己的日志系统 ，如redis，nginx，mysql等，它们各自的日志都只是单独记录了它们自身服务的运行状况。如果这些服务自身宕掉了或起不来了该去查看什么日志呢？此时就需要去看Linux的系统日志了。


Linux系统日志记录着Linux本身和运行在Linux系统上各种应用服务的事件和运行信息，它就是Linux系统的公用日志服务。

日志记录的内容包括:  1.历史事件: 时间，地点，人物，事件  2.日志级别: 事件的关键性程度，Loglevel

rsyslog

rsyslog是CentOS6版本以后的系统管理服务，它提供了高性能，出色的安全性和模块化设计。尽管rsyslog最初是常规的syslogd，但已发展成为一种瑞士军刀式的记录工具，能够接受来自各种来源的输入，并将其转换，然后输出到不同的目的地。

当应用有限的处理时，rsyslog每秒可以将超过一百万的消息传递到本地目的地。即使在远程目的地和更精细的处理中，性能通常也被认为是“惊人的"。

官方网站：https://www.rsyslog.com/

rsyslog是linux的标配，linux系统一装好就有。

rsyslog特性  1.多线程  2.UDP,TCP,SSL,TLS,RELP  3.MySQL, PGSQL, Oracle实现日志存储  4.强大的过滤器，可实现过滤记录日志信息中任意部分  5.自定义输出格式  6.适用于企业级中继链

rsyslog是单机日志，如果将来涉及到分布式集群等日志分析时，就需要使用到ELK架构了。

ELK: 是由Elasticsearch, Logstash, Kibana三个软件组成的非关系型分布式数据库。

ELK  1.基于apache软件基金会jakarta项目组的项目lucene；  2.Elasticsearch是个开源分布式搜索引擎，可以处理大规模日志数据，比如:Nginx、Tomcat、系统日志等功能；  3.Logstash对日志进行收集、分析，过滤，并将其存储供以后使用Kibana可以提供的日志分析友好的Web界面。

CentOS中rsyslog的详细信息

[root@centos8 ~]# rpm -qi rsyslogName        : rsyslogVersion     : 8.1911.0Release     : 7.el8Architecture: x86_64Install Date: Sun 12 Nov 2023 10:29:14 AM CSTGroup       : System Environment/DaemonsSize        : 2431186License     : (GPLv3+ and ASL 2.0)Signature   : RSA/SHA256, Fri 11 Dec 2020 11:38:51 PM CST, Key ID 05b555b38483c65dSource RPM  : rsyslog-8.1911.0-7.el8.src.rpmBuild Date  : Thu 10 Dec 2020 11:01:43 AM CSTBuild Host  : x86-02.mbox.centos.orgRelocations : (not relocatable)Packager    : CentOS Buildsys <bugs@centos.org>Vendor      : CentOSURL         : http://www.rsyslog.com/Summary     : Enhanced system logging and kernel message trapping daemonDescription :Rsyslog is an enhanced, multi-threaded syslog daemon. It supports MySQL,syslog/TCP, RFC 3195, permitted sender lists, filtering on any message part,and fine grain output format control. It is compatible with stock sysklogdand can be used as a drop-in replacement. Rsyslog is simple to set up, withadvanced features suitable for enterprise-class, encryption-protected syslogrelay chains.

ubuntu中rsyslog软件包的详细信息

root@ubuntu:~# dpkg -s rsyslogPackage: rsyslogStatus: install ok installedPriority: importantSection: adminInstalled-Size: 1655Maintainer: Ubuntu Developers <ubuntu-devel-discuss@lists.ubuntu.com>Architecture: amd64Version: 8.2001.0-1ubuntu1.3Provides: linux-kernel-log-daemon, system-log-daemonDepends: libc6 (>= 2.27), libestr0 (>= 0.1.4), libfastjson4 (>= 0.99.7), libsystemd0 (>= 209), libuuid1 (>= 2.16), zlib1g (>= 1:1.1.4), adduser, ucfPre-Depends: init-system-helpers (>= 1.54~)Recommends: logrotateSuggests: rsyslog-mysql | rsyslog-pgsql, rsyslog-mongodb, rsyslog-doc, rsyslog-openssl | rsyslog-gnutls, rsyslog-gssapi, rsyslog-relp, apparmor (>= 2.8.96~2541-0ubuntu4~)Conflicts: linux-kernel-log-daemon, system-log-daemonConffiles: /etc/apparmor.d/usr.sbin.rsyslogd 88fe4a6a37a5cbb88fcadf1e564874c2 /etc/init.d/rsyslog bd41a0654a192d74dfb9c551b06fa855 /etc/logcheck/ignore.d.server/rsyslog 80e9fc074b97751dd4de99855bb8d0e0 /etc/logrotate.d/rsyslog 8159203bf98416c898849057f585e31f /etc/rsyslog.conf 8f03326e3d7284ef50ac6777ef8a4fb8Description: reliable system and kernel logging daemon Rsyslog is a multi-threaded implementation of syslogd (a system utility providing support for message logging), with features that include:  * reliable syslog over TCP, SSL/TLS and RELP  * on-demand disk buffering  * email alerting  * writing to MySQL or PostgreSQL databases (via separate output plugins)  * permitted sender lists  * filtering on any part of the syslog message  * on-the-wire message compression  * fine-grained output format control  * failover to backup destinations  * enterprise-class encrypted syslog relaying . It is the default syslogd on Debian systems.Homepage: http://www.rsyslog.com/Original-Maintainer: Michael Biebl <biebl@debian.org>

root@ubuntu:~# dpkg -L rsyslog/etc/etc/apparmor.d.../etc/init.d/etc/init.d/rsyslog/etc/logcheck..../etc/logrotate.d/etc/logrotate.d/rsyslog/etc/rsyslog.conf/etc/rsyslog.d/lib/lib/systemd/lib/systemd/system/lib/systemd/system/dmesg.service/lib/systemd/system/rsyslog.service/usr/usr/lib/usr/lib/rsyslog..../usr/sbin/usr/sbin/rsyslogd/usr/share/usr/share/doc/usr/share/doc/rsyslog..../usr/share/man/usr/share/man/man1..../usr/share/rsyslog/usr/share/rsyslog/50-default.conf/var/var/spool/var/spool/rsyslog

日志分类facility

facility:设施，从功能或程序上对日志进行归类

#内置分类auth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security(auth), user, uucp, syslog#自定义的分类local0-local7

Priority 优先级别，从低到高排序

debug, info, notice, warn(warning), err(error), crit(critical), alert, emerg(panic)

参看帮助: man 3 syslog,man logger

[root@centos8 ~]#yum -y install man-pages[root@centos8 ~]#man 3 syslog

man syslog

rsyslog相关文件

vim /etc/rsyslog.conf

# Log anything (except mail) of level info or higher.# Don't log private authentication messages!*.info;mail.none;authpriv.none;cron.none                /var/log/messages# The authpriv file has restricted access.authpriv.*                                              /var/log/secure# Log all the mail messages in one place.mail.*                                                  -/var/log/maillog# Log cron stuffcron.*                                                  /var/log/cron# Everybody gets emergency messages*.emerg                                                 :omusrmsg:*# Save news errors of level crit and higher in a special file.uucp,news.crit                                          /var/log/spooler# Save boot messages also to boot.loglocal7.*                                                /var/log/boot.log

/var/log/message

由配置文件，我们可以看出系统的主要日志是记录在“/var/log/messages”里的

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

当我开启httpd服务时，/var/log/message日志里也会有httpd服务的相关信息记录

重启失败分析

那我们就去45行找错误

vim +45 /etc/httpd/conf/httpd.conf

/var/log/secure

/var/log/secure里记录着远程登录信息,又记录着用户授权信息auth和privilege

1.远程登录信息

2.用户授权信息

/var/log/secure是个需要经常关注的日志文件，它记录者远程登录的ip，是否有人一直在尝试登录密码。

自定义日志输出路径

1.修改sshd_config配置文件

SyslogFacility

2.修改rsyslog.conf

主配置文件中可包含子配置文件，于是我们单独自定义一个子配置文件sshd.config

[root@rocky ~]# vim /etc/rsyslog.d/sshd.configlocal6.*     /var/log/ssh.log

3.重启服务

systemctl restart sshd rsyslog

此时/var/log/secure文件中没有了具体远程登录的ip地址信息了

常见日志文件

/var/log/secure:  系统安全日志，文本格式，应周期性分析/varlog/btmp: 当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，lastb命令进行查看/var/log/wtmp: 当前系统上，用户正常登录系统的相关日志信息，二进制格式，last命令可以查看/var/log/lastlog: 每一个用户最近一次的登录信息，二进制格式，lastlog命令可以查看/var/log/dmesg: CentOS7之前版本系统引导过程中的日志信息，文本格式，开机后的硬件变化将不再记录，也可以通过专用命令dmesg查看，可持续记录硬件变化的情况/var/log/boot.log 系统服务启动的相关信息，文本格式/var/log/messages: 系统中大部分的信息/var/log/anaconda:  anaconda的日志

日志管理工具journalctl

CentOS7版本以后利用Systemd统一管理所有Unit的启动日志。这样可以只用journalctl—个命令就能查看所有日志(内核日志和应用日志)。

journalctl的配置文件

/etc/systemd/journald.conf

journalctl的命令格式

journalctl [OPTIONS...] [MATCHES...]

选项说明

-e, --pager-end    在分页工具内立即跳转到日志的尾部。此选项隐含了-n1000    以确保分页工具不必缓存太多的日志行。不过这个隐含的行数可以被明确设置的 -n选项覆盖。    注意，此选项仅可用于less(1)分页器。-×, --catalog    在日志的输出中增加一些解释性的短文本，以帮助进一步说明日志的含义、问题的解决方案、支持论坛、开发文档、以及其他任   何内容。    并非所有日志都有这些额外的帮助文本，详见 Message catalog DeveloperDocumentation[5]文档。    注意，如果要将日志输出用于bug报告，请不要使用此选项。

journalctl用法示例

#查看所有日志（默认情况下，只保存本次启动的日志) journalctl#查看内核日志(不显示应用日志) journalctl -k#查看系统本次启动的日志 journalctl -b journalctl -b -0 #查看上一次启动的日志（需更改设置) journalctl -b -1#查看指定时间的日志 journalctl --since="2017-10-30 18:10: 30" journa1ctl --since "20 min ago" journalctl --since yesterday journalctl --since "2017-01-10"--until "2017-01-11 03:00" journalctl --since 09:00 --unti1 "1 hour ago"#显示尾部的最新10行日志 journalctl -n#显示尾部指定行数的日志 journalctl -n 20#实时滚动显示最新日志 journalctl -f#查看指定服务的日志 journalctl /usr/lib/systemd/systemd#查看指定进程的日志 journalctl _PID=1#查看某个路径的脚本的日志 journalctl /usr/bin/bash#查看指定用户的日志 journalctl _UID=33 --since today#查看某个unit 的日志 journalctl -u nginx.service journalctl -u nginx.service --since today#实时滚动显示某个unit 的最新日志 journalctl -u nginx.service -f#合并显示多个unit 的日志 journa1ctl -u nginx.service -u php-fpm. service --since today#查看指定优先级（及其以上级别）的日志，共有8级0: emerg1: alert2: crit3: err4: warning5: notice6: info7: debug journalctl -p err -b#日志默认分页输出，--no-pager 改为正常的标准输出 journalctl --no-pager#日志管理journa1ct1#以JSON格式(单行）输出 journalctl -b -u nginx.service -o json#以 SON格式（多行）输出，可读性更好 journalctl -b -u nginx.service -o json-pretty#显示日志占据的硬盘空间 journalct1 --disk-usage#指定日志文件占据的最大空间 journalctl --vacuum-size=1G#指定日志文件保存多久 journalctl --vacuum-time=1years

日志分析实战

host无法解析

1.查看日志报错具体内容

当我修改了DNS为114后就解析正常了，因为我自己的DNS服务确实有问题

Httpd启动失败分析

1.80端口占用

2.查找端口占用进程

netstat -tunlp 用于显示 tcp，udp 的端口和进程等相关情况。

netstat -tunlp | grep 端口号 -t (tcp) 仅显示tcp相关选项 -u (udp)仅显示udp相关选项 -n 拒绝显示别名，能显示数字的全部转化为数字 -l 仅列出在Listen(监听)的服务状态 -p 显示建立相关链接的程序名

3.关掉端口占用进程

关掉nginx服务