华风 发表于 2018-11-23 10:17:23

关于apache应用,受到***的一些处理办法

  前言
      最近遇到一个问题,我网站一个小应用,都快要下线了,结果老不消停,负载彪高,响应缓慢,检查超时等等,正常的用户请求每天在1000+左右,这样的pv量,完全不是问题,查看了cookie_log,发现有5G之多,看了下日志,果然是***,于是就开始了我的防***之旅。

  

  一、现象

      1、负载很高,4核的机器,负载到40以上

      2、http check超时10s

      3、页面访问慢如蜗牛甚至直接503;
  

  二、分析原因:
      应用架构为apache+jboss,系统为redhat,正常每天的访问量在500~1000,日常负载保持在0左右(基于此,该业务已经纳入下线计划中)。如此低的访问量,根本不会出现负载高、响应慢的情况,看了访问日志,有5G之多,毫无疑问,这肯定是***了。      
      ***特征:A、IP分散;B、请求的URL为POST登录请求;C、***的agent为同一个:Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)
      ***必须要拦截啊,不然我就舒坦不了,下面就开始了我的拦截之旅。

  

  三、***防御:
      1、最直接和简单的,就是iptables了吧,原理很简单,就是找出***IP,然后通过Iptables,将***IPdrop掉,封装了两个脚本,如下:
      A、脚本一,获取***IP并加入到iptables里面:get_hack_iplist.sh
#/bin/bash
#Edit:371782968@qq.com
#Date:2013-06-22
#Function:get hack ip list from cookie_log,then to iptables
#cookie_log path
cookie_log="/home/app/logs/cookie_logs/`date "+%w"`/cookie_log"
ip_counts="/home/app/fuck_hack/log/ip_hack.txt"
ip_counts_temp="/home/app/fuck_hack/log/ip_hack.txt.temp"
record_black_list="/home/app/fuck_hack/log/record_black_list.txt"
#get counts Ip from cookie_log
function get_ip_counts(){
      tail -n 10000 $cookie_log | awk '{print $1,$5}' | sort | uniq -c | sort -rg | head >$ip_counts
      #quchong
      awk '{a[$2]+=$1}END{for(i in a)print i,a}' $ip_counts >$ip_counts_temp
}
#add ip black list to iptables
function add_to_iptables(){
      echo "date: `date "+%Y-%m-%d %H:%M:%S"`">>$record_black_list
      while read line
      do
                #get Ip
                ip=`echo $line | awk '{print $1}'`
                #232.* is beside
                if [ `echo $ip | grep '^232'|wc -l` -eq 1 ];then
                        continue
                fi
                #get times
                count=`echo $line | awk '{print $2}'`
                if [ $count -ge 10 ];then
                        echo -e "\t$ip\t$count">>$record_black_list
                        /sbin/iptables -A INPUT -s $ip -p tcp-j DROP
                fi
      done>$log
/sbin/iptables -X && /sbin/iptables -F
if [ $? -eq 0 ];then
      echo -e "\tclear iptables link OK!">>$log
fi      3、把这两个脚本放到crontab下面去,定时执行,如下:
     iptables里面
#每隔2分钟,扫一次黑名单,将黑名单加入iptables里面
*/2 * * * * sh /home/app/fuck_hack/get_hack_iplist.sh >/dev/null 2>&1
#为防止误杀及iptables性能,每小时的03分,清理一次iptables
3 */1 * * * sh /home/app/fuck_hack/clear_iptables.sh>/dev/null 2>&1  

     至此,最简单的利用iptables来防***的就实现了。
  

      2、没消停几天,问题有出现了,负载高,响应慢,我怀疑还是***的ip太分散,切***频率太高,iptable的拦截ip毕竟有限,这次尝试了网上介绍的一种方案,利用apache的 mod_evasive 模块拦截。
      mod_evasive 介绍
   mod_evasive 是Apache(httpd)服务器的防DDOS的一个模块。对于WEB服务器来说,是目前比较好的一个防护DDOS***的    扩展模块。虽然并不能完全防御DDOS***,但在一定条件下,还是起到缓服Apache(httpd)服务器的压力。如配合iptables、硬件防火墙等防火墙设备配合使用,可能有更好的效果。
mod_evasive 的官方地址:http://www.zdziarski.com


   详细的配置我这里就不多说了,我参考的是开源中国里面的一片分享,地址:http://www.oschina.net/question/17_1564
   详细的配置和参数说明都有,下面是我的配置:
LoadModule evasive20_module   /usr/app/apache2/modules/mod_evasive20.so

    DOSHashTableSize    85420
    DOSPageCount      5
    DOSPageInterval   1
    DOSSiteCount      5
    DOSSiteInterval   1
    DOSBlockingPeriod   3600
   我这里配置的都很小,规则比较严格。生效的话,会在/tmp目录下,生成dos-ip的文件,每个ip就为一个***ip,每个文件的内容,就为该ip***的次数。



   3、以上配置虽然生效了,负载有降低,http也能正常打开了,但发现效果不明显,没有详细的分析过,我初步怀疑可能还是访问量太大了,模块在做过滤等的性能问题,再加上apache的版本太老,因此效果可能没有发挥出来。

   实在是没辙了,***牛逼,逼的我不得不回到公司的终极武器上,XXX***防御模块,经过一般努力,终于配置上线,顿时,在控制台上,***原形毕露,各种ip,各种agent。长吸一口气,起身,一杯咖啡下肚,阴笑一声,选择,全部,目的,黑洞。



   至此,彻底封杀了***的恶心,害得小爷陪你玩了好几天。


   备注,没有第一时间考虑该模块是因为该业务的系统和apache版本都太老了,仓库里的XXX模块版本都不支持,最后逼的开发不知道从那个旮旯里找出来一个版本,抱着试试的态度,安装配置完成并生效。





  

  

  

  

  




页: [1]
查看完整版本: 关于apache应用,受到***的一些处理办法