本人网站一次被黑的经历与反思 心得与体会
2012年5月22日17时许，发现公司一台非正式生产服务器（有公网IP）的root密码被修改，导致无法登陆服务器，排查处理过程如下： <br />1、通过vmware vcenter管理端进入单用户模式修改root密码 <br />2、查看最近登陆信息，如下： <br /># last | more <br />root pts/5 218.247.13.60 Tue May 22 18:12 still logged in <br />root pts/4 120.72.48.70 Tue May 22 17:59 still logged in <br />root pts/3 120.72.48.70 Tue May 22 17:49 still logged in <br />root pts/2 218.247.13.60 Tue May 22 17:37 still logged in <br />root pts/1 218.247.13.60 Tue May 22 17:37 still logged in <br />root pts/0 218.247.13.60 Tue May 22 16:56 still logged in <br />root tty1 Tue May 22 16:56 - 16:56 (00:00) <br />reboot system boot 2.6.18-238.el5 Tue May 22 16:55 (01:56) <br />reboot system boot 2.6.18-238.el5 Tue May 22 16:53 (00:00) <br />lilei pts/3 120.72.48.52 Tue May 22 17:03 - down (00:05) <br />root pts/0 188.173.171.146 Tue May 22 16:16 - 16:30 (00:13) <br />发现16:16分来自罗马尼亚的IP（IP138资源）有登陆 <br />立刻查看secure日志，如下 <br />May 22 16:16:46 localhost sshd: Address 188.173.171.146 maps to 188-173-171-146.next- <br />gen.ro, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT! <br />May 22 16:16:48 localhost sshd: Accepted password for root from 188.173.171.146 port <br />1493 ssh2 <br />May 22 16:16:48 localhost sshd: pam_unix(sshd:session): session opened for user root by <br />(uid=0) <br />May 22 16:17:09 localhost passwd: pam_unix(passwd:chauthtok): password changed for root <br />May 22 16:24:53 localhost sshd: Received signal 15; terminating. <br />May 22 16:34:51 localhost sshd: pam_unix(sshd:session): session closed for user root <br />May 22 16:39:47 localhost groupadd: new group: name=screen, GID=84 <br />可以确定此机已经被黑，首先将此IP 188.173.171.146加入hosts.deny防止在处理过程中再次破坏，通过日志可以看出，被建立了一个组screen gid为84，在/etc/group中找到删除，继续排查。 <br />由于此机器非正式环境使用，安全方面无过多策略，只开启http下载服务，扫描端口如下： <br /># nmap 127.0.0.1 <br />Starting Nmap 4.11 ( http://www.insecure.org/nmap/ ) at 2012-05-23 15:13 CST <br />Interesting ports on localhost.localdomain (127.0.0.1): <br />Not shown: 1676 closed ports <br />PORT STATE SERVICE <br />22/tcp open ssh <br />25/tcp open smtp <br />80/tcp open http <br />111/tcp open rpcbind <br />900/tcp open unknown <br />ps查看进程如下 <br /># ps aux <br />USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND <br />root 3676 0.0 0.0 74836 1236 ? S 16:56 0:00 crond <br />xfs 3699 0.0 0.0 20108 1044 ? S 16:56 0:00 xfs -droppriv -da <br />avahi 3750 0.0 0.0 23172 1284 ? S 16:56 0:00 avahi-daemon: run <br />avahi 3751 0.0 0.0 23172 340 ? S 16:56 0:00 avahi-daemon: chr <br />root 3883 0.0 0.0 18440 480 ? S 16:56 0:00 /usr/sbin/smartd <br />root 3888 0.0 0.0 3816 492 tty2 S 16:56 0:00 /sbin/mingetty tt <br />root 3890 0.0 0.0 3816 492 tty3 S 16:56 0:00 /sbin/mingetty tt <br />root 3891 0.0 0.0 3816 484 tty4 S 16:56 0:00 /sbin/mingetty tt <br />root 3892 0.0 0.0 3816 488 tty5 S 16:56 0:00 /sbin/mingetty tt <br />root 3893 0.0 0.0 3816 484 tty6 S 16:56 0:00 /sbin/mingetty tt <br />root 3959 0.0 0.8 258352 16992 ? SN 16:56 0:00 /usr/bin/python - <br />root 3961 0.0 0.0 12940 1192 ? SN 16:56 0:00 /usr/libexec/gam_ <br />root 4024 0.0 0.0 3816 492 tty1 S 16:56 0:00 /sbin/mingetty tt <br />root 4025 0.0 0.0 24068 1740 ? S 16:56 0:00 sshd: root@pts/0, <br />root 4036 0.0 0.0 66088 1580 pts/0 S 16:56 0:00 -bash <br />root 4944 0.5 0.2 157528 5196 ? S 17:24 0:28 /usr/bin/python / <br />root 5170 0.0 0.0 66084 1484 pts/1 S 17:37 0:00 -bash <br />root 5200 0.0 0.0 24068 1696 ? S 17:37 0:00 sshd: root@pts/2 <br />root 5208 0.0 0.0 66088 1536 pts/2 S 17:37 0:00 -bash <br />root 5341 0.0 0.0 23904 1688 ? S 17:49 0:00 sshd: root@pts/3 <br />root 5349 0.0 0.0 66088 1572 pts/3 S 17:49 0:00 -bash <br />root 5457 0.0 0.0 23904 1548 ? S 17:59 0:00 sshd: root@pts/4 <br />root 5465 0.0 0.0 66084 1484 pts/4 S 17:59 0:00 -bash <br />root 5591 0.0 0.0 24068 1704 ? S 18:12 0:00 sshd: root@pts/5 <br />root 5599 0.0 0.0 66088 1568 pts/5 S 18:12 0:00 -bash <br />root 5895 0.0 0.1 4200 2092 pts/5 R 18:53 0:00 ps aux <br />从进程并未看出有什么异常进程，继续排查 <br />查看日志目录，发现www.jb51.net maillog日志异常大，内容如下： <br />) <br />May 22 16:53:48 localhost sendmail: q4M8rjFf003627: to=<bloodvio@yahoo.com>, ctladdr=<root@localhost.localdomain> (0/0), delay=00:00:03, xdelay=00:00:03, mailer=esmtp, pri=120382, relay=mta5.am0.yahoodns.net. , dsn=2.0.0, stat=Sent (ok dirdel) <br />May 22 16:56:30 localhost sendmail: q4M8uU5j003965: to=bloodvio@yahoo.com, ctladdr=root (0/0), delay=00:00:00, xdelay=00:00:00, mailer=relay, pri=30083, relay= , dsn=2.0.0, stat=Sent (q4M8uUoA003985 Message accepted for delivery) <br />May 22 16:56:32 localhost sendmail: q4M8uUoA003985: to=<bloodvio@yahoo.com>, ctladdr=<root@localhost.localdomain> (0/0), delay=00:00:02, xdelay=00:00:02, mailer=esmtp, pri=120381, relay=mta5.am0.yahoodns.net. , dsn=2.0.0, stat=Sent (ok dirdel) <br />May 22 16:56:43 localhost sendmail: q4M8uhGd004030: to=bloodvio@yahoo.com, ctladdr=root (0/0), delay=00:00:00, xdelay=00:00:00, mailer=relay, pri=30083, relay= , dsn=2.0.0, stat=Sent (q4M8uhR3004033 Message accepted for delivery) <br />May 22 16:56:46 localhost sendmail: q4M8uhR3004033: to=<bloodvio@yahoo.com>, ctladdr=<root@localhost.localdomain> (0/0), delay=00:00:03, xdelay=00:00:03, mailer=esmtp, pri=120381, relay=mta5.am0.yahoodns.net. , dsn=2.0.0, stat=Sent (ok dirdel) <br />可以看出，在频繁给yahoo发邮件，本以为此人只为盗发邮件才入侵我的机器，但是仔细一看，以前被盗发邮件都发送给不同账号，但这个是同一账号，应该是黑客接收邮件的客户端。 <br />继续排查。 <br />查看定时任务： <br /># ls /var/spool/crron <br />root <br /># crontab -l <br />0 6 * * * /usr/sbin/ntpdate asia.pool.ntp.org >>/var/log/ntpdatelog <br />没有异常的定时任务 <br />查看用户 <br /># cat /etc/passwd <br />root:x:0:0:root:/root:/bin/bash <br />bin:x:1:1:bin:/bin:/bin/bash <br />oprofile:x:16:16:Special user account to be used by OProfile:/home/oprofile:/sbin/nologin <br />sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin <br />xfs:x:43:43:X Font Server:/etc/X11/fs:/sbin/nologin <br />rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin <br />nfsnobody:x:4294967294:4294967294:Anonymous NFS User:/var/lib/nfs:/sbin/nologin <br />haldaemon:x:68:68:HAL daemon:/:/sbin/nologin <br />avahi-autoipd:x:100:156:avahi-autoipd:/var/lib/avahi-autoipd:/sbin/nologin <br />apache:x:48:48:Apache:/var/www:/sbin/nologin <br />nagios:x:502:501::/home/nagios:/bin/bash <br />异常：仔细看一下bin用户的登陆shell，默认应该为/sbin/nologin，它为/bin/bash，也就是意味着它可以通过密码登陆系统，改之。 <br />查看group <br />root:x:0:root <br />bin:x:1:root,bin,daemon <br />daemon:x:2:root,bin,daemon <br />sys:x:3:root,bin,adm <br />adm:x:4:root,adm,daemon <br />tty:x:5: <br />nagios:x:501: <br />screen:x:84: <br />除了最后一行screen（已经在日志中提示）异常，其他无异常，删之 <br />到了此时，不知道如何排查了，感觉被黑以后并没有对服务器做过多操作，top盯着看看吧，有什么特殊进程：啊哈，看到了，不是进程，是显示， <br />6:53pm up 1:59, 6 users, load average: 0.00, 0.00, 0.00 <br />102 processes: 101 sleeping, 1 running, 0 zombie, 0 stopped <br />CPU states: 0.7% user, 0.6% system, 0.0% nice, 98.5% idle <br />Mem: 2058840K av, 613508K used, 1445332K free, 0K shrd, 86528K buff <br />Swap: 2064376K av, 0K used, 2064376K free 327072K cached <br />$<5>$<3>$<2>$<2>Unknown command ` <br />' -- hit `h' for help$<2>IZE RSS SHARE STAT LIB %CPU %MEM TIME COMMAND <br />1 root 15 0 10372 688 576 S 0 0.0 0.0 0:00 init <br />2 root 0K -5 0 0 0 SW< 0 0.0 0.0 0:00 migration/0 <br />3 root 34 19 0 0 0 SWN 0 0.0 0.0 0:00 ksoftirqd/0 <br />4 root 10 -5 0 0 0 SW< 0 0.0 0.0 0:00 events/0 <br />5 root 10 -5 0 0 0 SW< 0 0.0 0.0 0:00 khelper <br />第一行：前面有个空格 <br />第三行：cpu显示 <br />第五行：swap显示 <br />还有字体，上面部分与下面进程 显示部分完全不是一个字体 <br />立刻想到的就是系统命令被人替换了 <br />查看top命令的信息 <br />-rwxr-xr-x 1 122 114 33992 Mar 31 2010 /usr/bin/top <br />属主、属组都是那么的诡异，122类似这样的用户一般为上传文件所拥有 <br />具体看一下文件大小 <br /># ll -ha /usr/bin/top <br />ls: invalid option -- h <br />Try `ls --help' for more information. <br />ls命令也被改了 <br />利用find命令查找下最近被修改过的文件： <br />find / -user 122 | xargs ls -l <br />输出如下： <br />-rwxr-xr-x 1 122 114 39696 Mar 1 2010 /bin/ls <br />-rwxr-xr-x 1 122 114 54152 Jan 27 2010 /bin/netstat <br />-rwxr-xr-x 1 122 114 62920 Mar 31 2010 /bin/ps <br />-rwxr-xr-x 1 122 114 31504 Jan 27 2010 /sbin/ifconfig <br />-rwxr-xr-x 1 122 114 212747 Mar 1 2010 /sbin/ttyload <br />-rwxrwxr-x 1 122 114 93476 Mar 1 2010 /sbin/ttymon <br />-rwxr-xr-x 1 122 114 39696 Mar 1 2010 /usr/bin/dir <br />-rwxr-xr-x 1 122 114 59536 Sep 4 2009 /usr/bin/find <br />-rwxr-xr-x 1 122 114 31452 Mar 1 2010 /usr/bin/md5sum <br />-rwxr-xr-x 1 122 114 12340 Sep 27 2009 /usr/bin/pstree <br />-rwxr-xr-x 1 122 114 33992 Mar 31 2010 /usr/bin/top <br />-rwxr-xr-x 1 122 114 82628 Jan 10 2007 /usr/sbin/lsof <br />这些系统命令已经被更换过了 <br />如何解决呢？直接从相同系统拷贝一份过来就可以了 <br />那么，先备份这些命令吧 <br /># mv /bin/ls /bin/ls.bak <br />mv: cannot move `/bin/ls' to `/bin/ls.bak': Operation not permitted <br />在看看自己的登陆用户： <br /># id <br />uid=0(root) gid=0(root) groups=0(root),1(bin),2(daemon),3(sys),4(adm),6(disk),10(wheel) context=system_u:system_r:initrc_t <br />没有问题啊，文件普通权限也没问题，让我想起来chattr +i 去锁定文件修改权限 <br />随即 <br />find / -user 122 | xargs lsattr如下： <br />s----a------- /bin/ls <br />s---ia------- /sbin/ttyload <br />s---ia------- /sbin/ifconfig <br />s---ia------- /sbin/ttymon <br />s---ia------- /usr/sbin/lsof <br />s---ia------- /usr/bin/dir <br />s---ia------- /usr/bin/pstree <br />s---ia------- /usr/bin/top <br />s---ia------- /usr/bin/find <br />s----a------- /bin/ls <br />s---ia------- /bin/netstat <br />s---ia------- /bin/ps <br />看一下这些隐含权限的意思 <br /><strong>a：Append Only</strong>，系统只允许在这个文件之后追加数据，不允许任何进程覆盖 <br />或 截断这个文件。如果目录具有这个属性，系统将只允许在这个目录下建立和修改 <br />文件，而不允许删除任何文件。 <br /><strong>s：Secure Delete</strong>，让系统在删除这个文件时，使用0 填充文件所在的区域。 <br /><strong>i：Immutable</strong>，系统不允许对这个文件进行任何的修改。如果目录具有这个属性， <br />改掉：find / -user 122 | xargs chattr -a -i -s <br />改完以后，就可以备份删除了，从其他机器将相同文件拷贝过来，完成。 <br /><strong><font color="#ff0000">拷贝过程中发现两个问题：</font></strong> <br /><strong>1：/sbin/ttyload</strong> 正常系统中没有这个可执行文件 <br /><strong>2：/sbin/ttymon</strong> 这个也是没有的 <br />将这两个命令备份，然后重新使用正常的ps命令查看进程 <br />这时候显示出了两个异常进程 <br /><strong>ttyload && ttymon -q</strong> 两个进程（当时没记录下来就直接重启了） <br />这个进程我分析是个后门进程，重启后由于改了命令名字 就不在存在了。 <br />然后就是去找，这两个进程是如何开机启动的以及调用什么文件： <br />ll /etc/init.d <br />-r-xr-xr-x 1 root sys 3414 Mar 7 2011 sshd <br />发现sshd的开机启动服务权限不对，改掉，在核对文件大小无误后继续后面的排查 <br />查找其他文件并无异常后，只能从两个异常文件继续下手了/sbin/ttyload /sbin/ttymont <br />利用top命令再次查看，负载达到了2.0 2.0 2.0 <br />5172 root 25 0 88552 4028 1272 R 49.9 0.2 624:30.54 perl <br />19193 root 25 0 88552 4024 1272 S 49.9 0.2 541:24.42 perl <br />发现这两个进程占用系统资源比较高（我这台机器正常应该是无负载的） <br />查看: lsof -p 5172 <br />perl 5172 root 3u IPv4 22292 TCP 120.72.48.51:51501- <br />>Tampa.FL.US.Undernet.org:ircd (ESTABLISHED) <br />发现正在连接美国的一个域名（ip138),tcp信息包状态为established <br />查看ircd服务是什么： <br /># cat /etc/services | grep ircd <br />ircd 6667/tcp # Internet Relay Chat <br />ircd 6667/udp # Internet Relay Chat <br />6667端口，查看下 <br /># lsof -i:6667 <br />COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME <br />perl 5172 root 3u IPv4 22292 TCP 120.72.48.51:51501- <br />>Tampa.FL.US.Undernet.org:ircd (ESTABLISHED) <br />perl 19193 root 3u IPv4 953876 TCP 120.72.48.51:55219- <br />>Tampa.FL.US.Undernet.org:ircd (ESTABLISHED） <br />经过google，找到这样一篇文章认为此程序是个木马程序 <br />查看此进程的command <br /># ps aux | grep 5172 <br />root 5172 48.1 0.1 88552 4028 ? R May23 627:05 /usr/sbin/sshd <br />立刻就明白了，正对应了/etc/init.d/sshd的权限有问题 <br />老套路，替换、删除（包括/etc/init.d/sshd),然后重启系统 <br />重启后，再次使用top命令查看，系统负载正常，进程也正常了，到此问题解决 <br />观察了两天，发现并无异常了，但是由于是非正式生产机器，还是准备从做下系统以绝后患 <br /><font color="#ff0000">一些安全方面的反思：</font> <br />1、iptables是个好东西，提供四层的包过滤防护功能，运用得当可以防止很多安全隐患。 <br />2、hosts.deny/allow ，存在于Iptables之下的硬性防护措施，虽然不怎么灵活但是安全性更高 <br />3、Selinux，这个内核级的防护墙被很多人所放弃，主要是由于它很不灵活，如果运用不得当会更自己添加很多麻烦，但是它对于保护系统安全非常重要 <br />4、sshd的策略，禁止root以及修改端口是个不错的办法 <br />5、密码复杂性以及定期更换密码、检查系统账号是系统管理员的日常工作 <br />6、第三方监控以及监控脚本是个不错的策略，zabbix和cacti都支持监控系统登录用户 <br />7、系统漏洞：尽量使用较新版本的二进制包部署服务器的应用程序 <br />8、第三方软件：fail2ban和denyhost这两款防护软件个人认为还不错 <br />9、合理运用权限位控制系统文件被修改 <br />作者：搁浅
頁:
[1]