最近 yahoo 爬虫 增加超级快, 前期yahoo对其爬虫程序效率极其不满,新爬虫上线后,不知是效率提高,还是咋滴,加上中国的,不完全统计已经超过 40个网段 2000 多个IP, 在线人数猛增,各坛主已经对其头痛不已。

看到车东的建议:

Slurp来源于40多个IP网段，同网段内的蜘蛛协调抓取频度。因此：实际的Slurp设置，需要设置为10*40 = 400秒，才能达到期望的Slurp每10秒访问一次频度。

于是设置 Crawl-delay: 100 ,等看效果。

方法一：修改BIOS设置
这种方法虽然比较“原始”、简单，但却很有效。因为是在Windows启动前就从硬件层面关闭了电脑的USB功能，所以比较适合长期不使用USB设备（包括USB键盘及鼠标）的用户。
具体操作如下：在电脑开机或重新启动出现主板开机画面的时候，迅速按键盘上的“Delete”键（或根据画面上的提示按相应的键盘按键）进入BIOS设置界面，选择“Integrated Peripherals”选项，展开后将“USB 1.1 Controller”和“USB 2.0 Contr01ler”选项的属性设置为“Disabled”，即可禁用电脑的所有USB接口。最好再顺便设置一个BIOS密码，这样其他人就无法随意进入BIOS更改设置了。

方法二：修改系统文件/注册表
与第一种方法所不同的是，这种方法仅能禁用USB储存设备，如移动硬盘或优盘，对于其他USB设备，如USB鼠标、USB键盘就不起作用了。但我们的主要目的是禁止他人在电脑上使用优盘或移动硬盘等可移动存储设备。
该方法分两种情况：如果电脑尚未使用过USB设备（比如刚重装好系统），可以通过向用户或组分配对

配置squid代理，用的是直接编译，不是用port安装的。今天想对某些用户进行流量控制， 发现delay_pool不起作用，原来是要编译的时候要加enable选项--enable-delay-pools ，郁闷。

下面是配置说明

Squid 是一种源代码开放的高性能代理缓存服务器。它可支持FTP，gopher和Http数据对象的代理。另外，Squid也支持SSL，多样化访问控制和代理请求的完整日志功能。通过轻量级的网际缓存协议，Squid以网状或层次的方式分配内存，这样能节省额外的带宽。提供Http服务加速代理，Web服务器把Http数据推到Squid缓存中，外界的请求访问可以通过缓存提取所需数据，实现Web服务器的动态镜像。