centos下nginx和ip屏蔽访问次数过多出现404的IP

由于 最近网站一直有不正常的IP访问,而且一直返回404,我都是天天自己慢慢看日志,累的要死,就在网上找了些资料,写了下面的sh脚本,运行脚本,就会把异常IP查找出来丢到文件中.

#!/bin/sh
/usr/bin/tail -n50000 /var/log/nginx/access.log \
| awk '$8 {print $1,$4,$9,$12,$13,$14}' \  #这里主要看你的日志是什么格式,我这第一个是IP,第二个是访问时间 第三个是状态,后面三个是用来取搜索引擎的蜘蛛数据的,
| grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" \  #这里是把蜘蛛数据去除
| awk '{print $1,$3}'|sort|uniq -c |sort -rn \ #排序
| awk '{if($1>30 && $3=='404') print "deny "$1,$2,$3";"}' > disip.txt  #如果次数大于30并且是404的,直接丢入disip.txt 备用

然后取到所有IP,你就可以慢慢处理了,