http://leftleg.hzpub.com/index.php zh-cn http://leftleg.hzpub.com/post/696/ leftleg <leftleg@hotmail.com> Tue, 01 Apr 2008 05:44:15 +0000 http://leftleg.hzpub.com/post/696/
有一类垃圾却并非这么容易打扫，那就是我们常见的状态为 D (Uninterruptible sleep) ，以及状态为 Z (Zombie) 的垃圾进程。这些垃圾进程要么是求而不得，像怨妇一般等待资源(D)，要么是僵而不死，像冤魂一样等待超度(Z)，它们在 CPU run_queue 里滞留不去，把 Load Average 弄的老高老高，没看过我前一篇blog的国际友人还以为这儿民怨沸腾又出了什么大事呢。怎么办？开枪！kill -9！看你们走是不走。但这两种垃圾进程偏偏是刀枪不入的，不管换哪种枪法都杀不掉它们。无奈，只好reboot，像剿灭禽流感那样不分青红皂白地一律扑杀！

悟空，我们所运维的可是24*7全天候对外部客户服务的系统，怎么能动不动就 reboot ？我们的考核指标可是4个9(99.99%，全年计划外当机时间不得超过52分钟34秒)，又不是4个8，你稍微遇到点事就reboot，还要不要可用性了？再说，现在社会都开始奔和谐去了，我们对于 D 和 Z 这两种垃圾进程，也该尽可能采取慈悲手段，能解决其困难的，就创造条件，解决其实际困难，能消除其冤结的，就诵经烧纸，消除其前世冤结，具体问题应具体分析具体解决，滥杀无辜只会导致冤冤相报因果循环...$^#$%#%^@#

贫僧还是回来说正题。怨妇 D，往往是由于 I/O 资源得不到满足，而引发等待，在内核源码 fs/proc/array.c 里，其文字定义为“ "D (disk sleep)",       /*  2 */ ”（由此可知 D 原是Disk的打头字母），对应着 include/linux/sched.h 里的“ #define TASK_UNINTERRUPTIBLE    2 ”。举个例子，当 NFS 服务端关闭之时，若未事先 umount 相关目录，在 NFS 客户端执行 df 就会挂住整个登录会话，按 Ctrl+C 、Ctrl+Z 都无济于事。断开连接再登录，执行 ps axf  则看到刚才的 df 进程状态位已变成了 D ，kill -9 无法杀灭。正确的处理方式，是马上恢复 NFS 服务端，再度提供服务，刚才挂起的 df 进程发现了其苦苦等待的资源，便完成任务，自动消亡。若 NFS 服务端无法恢复服务，在 reboot 之前也应将 /etc/mtab 里的相关 NFS mount 项删除，以免 reboot 过程例行调用 netfs stop 时再次发生等待资源，导致系统重启过程挂起。

冤魂 Z 之所以杀不死，是因为它已经死了，否则怎么叫 Zombie（僵尸）呢？冤魂不散，自然是生前有结未解之故。在UNIX/Linux中，每个进程都有一个父进程，进程号叫PID（Process ID），相应地，父进程号就叫PPID（Parent PID）。当进程死亡时，它会自动关闭已打开的文件，舍弃已占用的内存、交换空间等等系统资源，然后向其父进程返回一个退出状态值，报告死讯。如果程序有 bug，就会在这最后一步出问题。儿子说我死了，老子却没听见，没有及时收棺入殓，儿子便成了僵尸。在UNIX/Linux中消灭僵尸的手段比较残忍，执行 ps axjf 找出僵尸进程的父进程号（PPID，第一列），先杀其父，然后再由进程天子 init（其PID为1，PPID为0）来一起收拾父子僵尸，超度亡魂，往生极乐。注意，子进程变成僵尸只是碍眼而已，并不碍事，如果僵尸的父进程当前有要务在身，则千万不可贸然杀之。

这篇写出鬼气来了，就此打住。阿米豆腐，善哉善哉！
Tags - nfs , mount , umount , service , busy , zombie , 僵尸 , 进程 , 父进程 , 子进程 ]]> http://leftleg.hzpub.com/post/696/#blogcomment1324368 K <user@domain.com> Tue, 08 Apr 2008 00:15:05 +0000 http://leftleg.hzpub.com/post/696/#blogcomment1324368 http://leftleg.hzpub.com/post/696/#blogcomment1324509 seatle <seatle@163.com> Thu, 28 Aug 2008 06:34:09 +0000 http://leftleg.hzpub.com/post/696/#blogcomment1324509 这是被NFS整得痛苦了N次之后找到的办法，呵呵。 ]]>