做过面向公网 WEB 运维的苦逼们肯定见识过各种恶意扫描、拉取、注入等图谋不轨行为吧?对于直接对外的 WEB 服务器,我们可以直接通过 iptables 、 Nginx 的 deny 指令或者是程序来 ban 掉这些恶意请求。
而对于套了一层 CDN 或代理的网站,这些方法可能就失效了。尤其是个人网站,可能就一台 VPS,然后套一个免费的 CDN 就行走在互联网了。并不是每个 CDN 都能精准的拦截各种恶意请求的,更闹心的是很多 CDN 还不支持用户在 CDN 上添加 BAN 规则,比如腾讯云 CDN。。。
因此,就有了本文的折腾分享。
一、真假难辨
如何禁止访问,我们先了解下常见的 3 种网站访问模式:
①、用户直接访问对外服务的普通网站
浏览器 --> DNS 解析 --> WEB 数据处理 --> 数据吐到浏览器渲染展示
②、用户访问使用了 CDN 的网站
浏览器 --> DNS 解析 --> CDN 节点 --> WEB 数据处理 --> 数据吐到浏览器渲染展示
③、用户通过代理上网访问了我们的网站
浏览器 --> 代理上网 --> DNS 解析 --> 上述 2 种模式均可能
对于第一种模式,我要禁止这个用户的访问很简单,可以直接通过 iptables 或者 Nginx 的 deny 指令来禁止均可:
iptabels:
iptables -I INPUT -s 用户 ip -j DROP
Nginx 的 deny 指令:
语 法: deny address | CIDR | unix: | all;
默认值: —
配置段: http, server, location, limit_except
顺 序:从上往下
Demo:
location / {
deny 用户 IP 或 IP 段;
}
但对于后面 2 种模式就无能为力了,因为 iptables 和 deny 都只能针对直连 IP,而后面 2 种模式中,WEB 服务器直连 IP 是 CDN 节点或者代理服务器,此时使用 iptable 或 deny 就只能把 CDN 节点 或代理 IP 给封了,可能误杀一大片正常用户了,而真正的罪魁祸首轻轻松松换一个代理 IP 又能继续请求了。
那该怎么办?
二、火眼金睛
如果长期关注张戈博客的朋友,应该还记得之前转载过一篇分享 Nginx 在 CDN 加速之后,获取用户真实 IP 做并发访问限制的方法。说明 Nginx 还是可以实实在在的拿到用户真实 IP 地址的,那么事情就好办了。
要拿到用户真实 IP,只要在 Nginx 的 http 模块内加入如下配置:
#获取用户真实 IP,并赋值给变量$clientRealIP map $http_x_forwarded_for $clientRealIp { "" $remote_addr; ~^(?P<firstAddr>[0-9\.]+),?.*$ $firstAddr; }
那么,$clientRealIP 就是用户真实 IP 了,其实就是匹配了 $http_x_forwarded_for 的第一个值,具体原理前文也简单分享过:
其实,当一个 CDN 或者透明代理服务器把用户的请求转到后面服务器的时候,这个 CDN 服务器会在 Http 的头中加入一个记录
X-Forwarded-For : 用户 IP, 代理服务器 IP
如果中间经历了不止一个代理服务器,这个记录会是这样
X-Forwarded-For : 用户 IP, 代理服务器 1-IP, 代理服务器 2-IP, 代理服务器 3-IP, ….
可以看到经过好多层代理之后, 用户的真实 IP 在第一个位置, 后面会跟一串中间代理服务器的 IP 地址,从这里取到用户真实的 IP 地址,针对这个 IP 地址做限制就可以了。
而且代码中还配合使用了 $remote_addr,因此$clientRealIP 还能兼容上文中第①种直接访问模式,不像 $http_x_forwarded_for 在直接访问模式中将会是空值!
所以,$clientRealIP 还能配置到 Nginx 日志格式中,替代传统的 $remote_addr 使用,推荐!
三、隔山打牛
既然已经拿到了真实 IP,却不能使用 iptables 和 deny 指令,是否无力感油然而生?
哈哈,在强大的 Nginx 面前只要想得到,你就做得到!通过对 $clientRealIP 这个变量的判断,Nginx 就能实现隔山打牛的目的,而且规则简单易懂:
#如果真实 IP 为 121.42.0.18、121.42.0.19,那么返回 403 if ($clientRealIp ~* "121.42.0.18|121.42.0.19") { #如果你的 nginx 安装了 echo 模块,还能如下输出语言,狠狠的发泄你的不满(但不兼容返回 403,试试 200 吧)! #add_header Content-Type text/plain; #echo "son of a bitch,you mother fucker,go fuck yourself!"; return 403; break; }
把这个保存为 deny_ip.conf ,上传到 Nginx 的 conf 文件夹,然后在要生效的网站 server 模块中引入这个配置文件,并 Reload 重载 Nginx 即可生效:
#禁止某些用户访问 include deny_ip.conf;
如果再想添加其他要禁止的 IP,只需要编辑这个文件,插入要禁止的 IP,使用分隔符 | 隔开即可,记得每次修改都需要 reload 重载 Nginx 才能生效。
四、奇淫巧计
为了更方便的添加和删除这些黑名单 IP,昨晚熬夜写了一个小脚本,一键添加和删除,懒人有福了!
#!/bin/bash ################################################################### # Deny Real IP for Nginx; Author: Jager <[email protected]> # # For more information please visit https://zhang.ge/5096.html # #-----------------------------------------------------------------# # Copyright ©2016 zhang.ge. All rights reserved. # ################################################################### NGINX_BIN=/usr/local/nginx/sbin/nginx DENY_CONF=/usr/local/nginx/conf/deny_ip.conf COLOR_RED=$( echo -e "\e[31;49m" ) COLOR_GREEN=$( echo -e "\e[32;49m" ) COLOR_RESET=$( echo -e "\e[0m" ) rep_info() { echo;echo -e "${COLOR_GREEN}$*${COLOR_RESET}";echo; } rep_error(){ echo;echo -e "${COLOR_RED}$*${COLOR_RESET}";echo;exit 1; } show_help() { printf " ################################################################### # Deny Real IP for Nginx; Author: Jager <[email protected]> # # For more information please visit https://zhang.ge/5096.html # #-----------------------------------------------------------------# # Copyright ©2016 zhang.ge. All rights reserved. # ################################################################### Usage: $0 [OPTIONS] OPTIONS: -h | --help : Show help of this script -a | --add : Add a deny ip to nginx, for example: ./$0 -a 192.168.1.1 -c | --create : Create deny config file($DENY_CONF) for Nginx -d | --del : Delete a ip from deny list, for example: ./$0 -d 192.168.1.1 -s | --show : Show current deny list " } reload_nginx() { $NGINX_BIN -t >/dev/null 2>&1 && \ $NGINX_BIN -s reload && \ return 0 } show_list() { awk -F '["){|]' '/if/ {for(i=2;i<=NF;i++) if ($i!="") printf $i"\n"}' $DENY_CONF } pre_check() { test -f $NGINX_BIN || rep_error "$NGINX_BIN not found,Plz check and edit." test -f $DENY_CONF || rep_error "$DENY_CONF not found,Plz check and edit." MATCH_COUNT=$(show_list | grep -w $1 | wc -l) return $MATCH_COUNT } create_rule() { test -f $DENY_CONF && \ rep_error "$DENY_CONF already exist!." cat >$DENY_CONF<<EOF if (\$clientRealIp ~* "8.8.8.8") { #add_header Content-Type text/plain; #echo "son of a bitch,you mother fucker,go fuck yourself!"; return 403; break; } EOF test -f $DENY_CONF && \ rep_info "$DENY_CONF create success!" && \ cat $DENY_CONF && \ exit 0 rep_error "$DENY_CONF create failed!" && \ exit 1 } add_ip() { pre_check $1 if [[ $? -eq 0 ]];then sed -i "s/\")/|$1&/g" $DENY_CONF && \ reload_nginx && \ rep_info "add $1 to deny_list success." || \ rep_error "add $1 to deny_list failed." else rep_error "$1 has been in deny list!" exit fi } del_ip() { pre_check $1 if [[ $? -ne 0 ]];then sed -ie "s/\(|$1\|$1|\)//g" $DENY_CONF && \ reload_nginx && \ rep_info "del $1 from deny_list success." || \ rep_error "del $1 from deny_list failed." else rep_error "$1 not found in deny list!" exit fi } case $1 in "-s"|"--show" ) show_list exit ;; "-h"|"--help" ) show_help exit ;; "-c"|"--create" ) create_rule ;; esac while [ $2 ];do case $1 in "-a"|"--add" ) add_ip $2; ;; "-d"|"--del" ) del_ip $2 ;; * ) show_help ;; esac exit done show_help
使用方法:
①、根据实际情况修改第 9、10 行 Nginx 二进制文件及其 deny 配置文件路径
②、然后将此脚本保存为 deny_ctrl.sh 上传到服务器任意目录,比如放到 /root
③、给脚本赋予可执行权限:chmod +x deny_ctrl.sh 即可使用
④、使用参数:
Usage: deny_ctrl.sh [OPTIONS]
OPTIONS:
-h | --help : 显示帮助信息
-a | --add : 添加一个黑名单 IP, 例如: ./deny_ctrl.sh -a 192.168.1.1
-c | --create : 初始化创建一个禁止 IP 的配置文件,需要自行 include 到需要的网站 server 模块
-d | --del : 删除一个黑名单 IP,例如: ./deny_ctrl.sh -d 192.168.1.1
-s | --show : 显示当前已拉黑 IP 清单
初次使用,先执行 ./deny_ctrl.sh -c 创建一下 Nginx 相关配置文件:deny_ip.conf,默认内容如下:
if ($clientRealIp ~* "8.8.8.8") { #add_header Content-Type text/plain; #echo "son of a bitch,you mother fucker,go fuck yourself!"; return 403; break; }
8.8.8.8 是为了占位,规避为空的坑爹情况,实际使用中也请注意,必须要有一个 IP 占位,否则可能导致误杀哦!
生成这个文件之后,编辑网站对应的配置文件,比如 zhang.ge.conf
在 server {} 模块内部插入 include deny_ip.conf; (注意有英文分号)即可
比如:
server { listen 80; server_name zhang.ge; index index.html index.htm index.php default.html default.htm default.php; root /home/wwwroot/zhang.ge; include agent_deny.conf; #新增此行 #其他略 ...
最后,使用 nginx -s reload 重载 nginx 即可。
后面需要添加黑名单或删除黑名单都可以使用 deny_ctrl.sh 脚本来操作了!
最后,顺便说明一下,本文分享的方法仅作为使用 CDN 网站遇到恶意 IP 的一种手工拉黑方案。而自动化限制的方案可以参考博客之前的分享:
好了,本文分享到此,希望对你有所帮助。
怎么没多少人发现这篇文章呢?阅读量好少的样子,难道是博主更新太少了
浓缩才是精华!博主分享的都是精品啊。哈哈
这个暂时不需要!!
:arrow: 不需要就不需要嘛,搞得这么强调语气干嘛呢?
学习了,还是挺有用处的。
好久没来看看了,这个不错;比较方便。
网做大 可能要用到,收存先
访了几十个博友 这里点评 网速好快啊 超爽
欢迎常来
张哥这边都是技术笔记啊
你好,博客内容真不错!
博主咋取消SSL了呢?
收录不好,小人太多,CDN流量一天被恶意拉取了70GB
博主不随便分享一但分享出来的都是干货啊!
测试了一下:
1. bash deny_ctrl.sh -c
deny_ctrl.sh: line 8: $'\r': command not found
deny_ctrl.sh: line 11: $'\r': command not found
deny_ctrl.sh: line 15: $'\r': command not found
deny_ctrl.sh: line 19: syntax error near unexpected token `$'\r''
'eny_ctrl.sh: line 19: `show_help()
2.手动添加后:
[ ok ] Stopping Nginx Server...:.
[....] Starting Nginx Server...:nginx: [emerg] unknown "clientrealip" variable
. ok
然后不久后nginx熄火,配置名deny_ip.conf,不知道哪里出问题。
编码问题哦,别用记事本保存代码。
需要用unix格式,建议使用vim编辑,回头我弄个下载安装吧,
路过学习学习 支持作者 支持原创 支持博主 请大家关注一下我 洋洋洋博客 谢谢
博主是腾讯运维工程师,网站运行2年,权重就如此之高,实在是大师级人物。
代码太多,看不懂,只能崇拜!!
学习一下,签到成功!签到时间:下午2:13:45,每日签到,生活更精彩哦~
太专业 我是来留链接的 一席博客 寻友链呼唤 yixi.info
谢谢分享 五一劳动节快了 欢迎回访
为什么把https给停掉了啊?
为什么把https给停掉了啊
学习一下,博主真心技术流呀~签到成功!签到时间:下午3:27:29,每日签到,生活更精彩哦~
虽然看到的不太明白 只怪自己学艺不精 该努力了 支持博主 欢迎回访洋洋洋博客
签到成功!签到时间:下午10:42:15,每日签到,生活更精彩哦~
喜欢你分享的文章 实在
这个niginx 用到的不多,不过还是要多多了解
学习一下
非常感谢`
很好!
不过在删除IP的时候,deny_ctrl.sh -d 123.123.123.123 之后,会出现一个文件deny_ip.confe
谢谢博主分享 不错的文章。
希望博主快点更新吧
在nginx 那个模块 (http那个模块?) 加入配置。
仔细看下文章
看了博主之前的文章,受益匪浅。问个问题,为何不直接用HTTP_X_REAL_FORWARDED_FOR 这个来获取真实IP呢?HTTP_X_REAL_FORWARDED_FOR有弊端?另外我的思路是把你上篇教程里面改进了下,只限制特定UA下面的IP的并发数与连接数,把监测到的非法的访问都丢到503里面去,同时把503的日志单独生成,然后写个脚本每隔几分钟找出503日志里面重复出现的IP,同时自动生成黑名单,直接include到nginx.conf,这样黑名单里面的IP再次访问就直接拒绝。
https://segmentfault.com/q/1010000002409659/a-1020000002409699
我真没见过你说的这个头变量。。。百度了下就只有一个X-REAL-IP
文章的方法也只适合少量黑名单,我试过,如果ip过多,nginx会报字符串太长的错误。
http://help.yunaq.com/faq/67/%E4%BD%BF%E7%94%A8%E7%9F%A5%E9%81%93%E5%88%9B%E5%AE%87%E4%BA%91%E5%AE%89%E5%85%A8%E5%90%8E%E5%A6%82%E4%BD%95%E8%8E%B7%E5%8F%96%E8%AE%BF%E5%AE%A2%E7%9C%9F%E5%AE%9Eip.html
这里有说明几个变量的区别。
你这个是CDN自己定义的头部参数,不全部适用。
博主,你好,我是Nginx新手,想请教几个问题。
1.$firstAddr这个是Nginx的内置变量吗?可以直接引用?~^(?P[0-9\.]+),?.*$ $firstAddr;这个表达式不是很理解
2.map $http_x_forwarded_for $clientRealIp {
“” $remote_addr;
~^(?P[0-9\.]+),?.*$ $firstAddr;
}执行这段脚本需要给Nginx打额外的补丁吗?
新一点的版本都支持map指令了。
不能添加ip段
并不能添加ip段
只能模糊匹配前三段(192.169.1),无法识别完整的IP段
用百度cdn后,$clientRealIP还是获取到节点的ip
使用cdn后fail2ban还能正常使用吗?
自从知道的Jager博客,每个都会来逛逛,学习学习
使用Fail2Ban好像有异曲同工之妙呀!
我发现一个问题,使用CF CDN后,如果访问者使用的是IPv6(当然CDN访问网站还是IPv4),那么 $clientRealIp 得到的就是残缺的IPv6(只有前四位)这个正则我也不知道该怎么改。。主要是发现IPv6的占比还不少。。。而且这个多少会影响 limit 的IP并发判断。。。
如果您有兴趣的话,可以说下,当然没兴趣也无所谓啦~
暂时还没遇到IPv6的场景。。。
你好我最近研究 nginx 的代理,也使用了 cdn,在 server 段用 map 指令提示出错,是要怎么用 map 呢。
刚好用到,膜拜大神,博主写的很用心,加油!
#白名单配置
if ($clientRealIp ~* "^(?!(192.168.1.1)|(192.168.1.2)|(192.168.1.3))") {
return 404;
}