由于 最近网站一直有不正常的IP访问，而且一直返回404，我都是天天自己慢慢看日志，累的要死，就在网上找了些资料，写了下面的sh脚本，运行脚本，就会把异常IP查找出来丢到文件中.
#!/bin/sh /usr/bin/tail -n50000 /var/log/nginx/access.log \ | awk '$8 {print $1,$4,$9,$12,$13,$14}' \ #这里主要看你的日志是什么格式，我这第一个是IP，第二个是访问时间 第三个是状态，后面三个是用来取搜索引擎的蜘蛛数据的， | grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" \ #这里是把蜘蛛数据去除 | awk '{print $1,$3}'|sort|uniq -c |sort -rn \ #排序 | awk '{if($1>30 && $3=='404') print "deny "$1,$2,$3";"}' > disip.txt #如果次数大于30并且是404的，直接丢入disip.txt 备用
然后取到所有IP，你就可以慢慢处理了，