在CentOS 8中，使用awk+sort+uniq进行Apache访问日志分析

本文介绍在CentOS 8中，通过AWK、Sort、Uniq三个命令，对Apache日志进行分析。

基础准备：

1. 查看Apache Log的格式

通过命令head /var/log/httpd/access_log，获取Apache日志如下。

10.10.0.1 - - [23/Mar/2020:16:43:12 +0800] "GET /noindex/common/css/styles.css HTTP/1.1" 200 71634 "http://10.10.3.212/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0"

2. 按照空格进行分割后，该日志可以拆解为20个字段，具体如下。

第01字段：10.10.0.1

第02字段：-

第03字段：-

第04字段：[23/Mar/2020:16:43:12

第05字段：+0800]

第06字段："GET

第07字段：/noindex/common/css/bootstrap.min.css

第08字段：HTTP/1.1"

第09字段：200

第10字段：99548

第11字段："http://10.10.3.212/"

第12字段："Mozilla/5.0

第13字段：(Windows

第14字段：NT

第15字段：10.0;

第16字段：Win64;

第17字段：x64;

第18字段：rv:74.0)

第19字段：Gecko/20100101

第20字段：Firefox/74.0"

分析案例：

访问量最高的10个来源IP地址

cat /var/log/httpd/access_log | awk '{print $1}' | sort | uniq -c | sort -nr | head -1

访问次数最多的文件或页面

cat /var/log/httpd/access_log | awk '{print $11}' | sort | uniq -c | sort -nr | head -20

访问量最高的视频文件

cat /var/log/httpd/access_log | awk '($7~/\.css/) { print $7} ' | sort -nr | uniq -c | head -10

文件大小超过40M的视频文件的访问量

cat /var/log/httpd/access_log | awk '($10 > 40000000 && $7~/\.mp4/){print $7}' | sort -n | uniq -c | sort -nr | head -100

统计网站流量

cat /var/log/httpd/access_log | awk '{sum+=$10} END {print sum/1024/1024 "MB"}'

发生404响应的用户请求

cat /var/log/httpd/access_log | awk '($9 ~/404/)' | awk '{print $9,$7}' | sort | uniq -c

统计http status

cat /var/log/httpd/access_log | awk '{print $9}' | sort | uniq -c | sort -nr

网站访问最常用的协议

cat /var/log/httpd/access_log | awk '{print $8}' | sort | uniq -c | sort -nr

用户访问网站最常用的浏览器

cat /var/log/httpd/access_log | awk '{print $20}' | sort |uniq -c | sort -nr | head -20

访问网站的客户端设备使用情况

cat /var/log/httpd/access_log | awk '{print $16 "\t" $15 "\t" $17 "\t" $20 "\t" $19}' | sort |uniq -c | sort -nr | head -20