近日 Varnish 这款直接针对  squid 的反向代理软件 来势凶猛,众多兄弟也投入使用,至今还未有 缺陷记录,似乎很和谐。于是也测试下下 ...

优点: varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能居然比以前更好。

varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。

Varnish官方网站: http://www.varnish-cache.org/

1.下载源码包编译安装：

cd /usr/local/src && wget http://nchc.dl.sourceforge.net/sourceforge/varnish/varnish-1.1.1.tar.gz
tar zxvf /usr/local/src/varnish-1.1.1.tar.gz
cd /usr/local/src/varnish-1.1.1
./autogen.sh
./configure --enable-debugging-symbols --enable-developer-warnings --enable-dependency-tracking
注：如果你的gcc版本是4.2.0或更高的版本，可以加上--enable-extra-warnings编译参数，在出错时，得到附加的警告信息。
我这里是用源码包安装的，如果你是redhat或centos可以用rpm包来安装（rpm下载位置：http: //sourceforge.net/project/showfiles.php?group_id=155816&package_id=173643&release_id=533569).

2. 建立cache目录：

mkdir -p /cache/varnish/V  && chown -R nobody:nobody /cache

3.编写启动文件:

cd /usr/local/varnish/sbin
vi start.sh
内容如下：
#!/bin/sh
# file: start.sh
date -u
/usr/local/varnish/sbin/varnishd \
-a 10.0.0.129:80 \
-s file,/cache/varnish/V,1024m \
-f /usr/local/varnish/sbin/vg.vcl.default \
-p thread_pool_max=1500 \
-p thread_pools=5 \
-p listen_depth=512 \
-p client_http11=on \
注：-a 是指定后端服务器的ip或hostname，就象squid做revese proxy时的originserver.
不过这个也可以在vcl里面写。
-f 是指定所用的vcl的文件。
-s 指定cache目录的存储类型，文件位置和大小。
-p 是指定varnish的启动的一些启动参数，可以根据自己的机器配置来优化varnish的性能。
其他参数已经参数的具体含义可以用varnishd --help 来查看。

4.编写vcl：

我的vcl如下：

backend default {
        set backend.host = "127.0.0.1";
        set backend.port = "http";
}

#我用的是一台机器做测试，使用的backend用的是127.0.0.1:80.如果varnish机器和后台的机器分开的。
写上对应的机器的ip或hostname就可以了。

sub vcl_recv {

        if (req.request != "GET" && req.request != "HEAD") {
                pipe;
        }

        if (req.http.Expect) {
                pipe;
        }

        if (req.http.Authenticate || req.http.Cookie) {
                pass;
        }

        if (req.request == "GET" && req.url ~ "\.(gif|jpg|swf|css|js)$") {
                lookup;
        }
                lookup;
        }

sub vcl_pipe {
        pipe;
        }

sub vcl_pass {
        pass;
        }

sub vcl_hash {
             hash;
         }

sub vcl_hit {
        if (!obj.cacheable) {
                pass;
        }
                deliver;
        }

sub vcl_timeout {
        discard;
}

sub vcl_discard {
        discard;
}

如果是多个站点在不同的originserver时，可以使用下面配置：

backend www {
       set backend.host = "www.jackbillow.com";
       set backend.port = "80";
         }

backend images {
      set backend.host = "images.jackbillow.com";
      set backend.port = "80";
         }

sub vcl_recv {
      if (req.http.host ~ "^(www.)?jackbillow.com$") {
            set req.http.host = "www.jackbillow.com";
            set req.backend = www;
      } elsif (req.http.host ~ "^images.jackbillow.com$") {
            set req.backend = images;
      } else {
            error 404 "Unknown virtual host";
}

5.启动varnish：

/usr/local/varnish/sbin/start.sh

Mon Sep  3 03:13:19 UTC 2007
file /cache/varnish/V/varnish.tEKXXx (unlinked) size 1073741824 bytes (262144 fs-blocks, 262144 pages)
Using old SHMFILE

ps waux | grep varnish
root     16254  0.0  0.0 11200  708 ? Ss   10:43   0:00 /usr/local/varnish/sbin/varnishd -a 10.0.0.129:80 -s /varnish/V,1024m

-f /usr/local/varnish/sbin/vg.vcl.default -p thread_pool_max 1500 -p thread_pools 5 -p listen_depth 512 -p client_http11 on
nobody   16255  0.0  0.1 1152552 1808 ?      Sl   10:43   0:00 /usr/local/varnish/sbin/varnishd -a 10.0.0.129:80 -s

file,/cache/varnish/V,1024m -f /usr/local/varnish/sbin/vg.vcl.default -p thread_pool_max 1500 -p thread_pools 5 -p

listen_depth 512 -p client_http11 on

看到上面信息说明varnish正确启动，恭喜你，你已经配置成功了。：）

附*********************************************************************************************
man page意译如下：

VCL语法比较简单，和C类似，if(){}的形式，=和==的区别，!、&&和||等等。但\符号没有特别的意思。
VCL里除了用==、!、&&、||做逻辑判断意外，还可以用~来表示与正则表达式或ACL的匹配。
VCL其实只是配置，并不是真正的编程语言，没有循环，没有自定义变量。

声明Backend
backend 名称 {
set backend.host = "域名";
set backend.port = "端口";
}
比如
backend www {
set backend.host = "www.example.com";
set backend.port = "http";
}
声明的Backend可以用在判断请求针对哪个后端服务器
if (req.http.host ~ "^(www.)?example.com$") {
{
set req.backend = www;
}

声明ACL
acl 名称 {
"IP";
"IP子网"/反掩码位数;
! "IP或IP子网"/反掩码位数;
}
比如
acl local {
"locahost"; /* myself */
"10.0.0.1"/8; /* and everyone on the local network */
! "10.0.0.23"; /* except for the dialin router */
}
判断ACL也很简单
if (client.ip ~ local) {
pipe;
}

还可以定义子程序
sub pipe_if_local {
if (client.ip ~ local) {
pipe;
}
}
用call来调用
call pipe_if_local;

内置的例程
vcl_recv
有请求到达后成功接收并分析时被调用，一般以以下几个关键字结束。
error code [reason] 返回code给客户端，并放弃处理该请求
pass 进入pass模式，把控制权交给vcl_pass
pipe 进入pipe模式，把控制权交给vcl_pipe
lookup 在缓存里查找被请求的对象，根据查找结果把控制权交给vcl_hit或vcl_miss

vcl_pipe
进入pipe模式时被调用。请求被直接发送到backend，后端和客户端之间的后继数据不进行处理，只是简单传递，直到一方关闭连接。一般以以下几个关键字结束。
error code [reason]
pipe

vcl_pass
进入pass模式时被调用。请求被送到后端，后端应答数据送给客户端，但不进入缓存。同一连接的后继请求正常处理。一般以以下几个关键字结束。
error code [reason]
pass

vcl_hash
目前不使用

vcl_hit
在lookup以后如果在cache中找到请求的内容事调用。一般以以下几个关键字结束。
error code [reason]
pass
deliver 将找到的内容发送给客户端，把控制权交给vcl_deliver.

vcl_miss
lookup后但没有找到缓存内容时调用，可以用于判断是否需要从后端服务器取内容。一般以以下几个关键字结束。
error code [reason]
pass
fetch 从后端取得请求的内容，把控制权交给vcl_fetch.


vcl_fetch
从后端取得内容后调用。一般以以下几个关键字结束。
error code [reason]
pass
insert 将取到的内容插入缓存，然后发送给客户端，把控制权交给vcl_deliver


vcl_deliver
缓存内容发动给客户端前调用。一般以以下几个关键字结束。
error code [reason]
deliver 内容发送给客户端

vcl_timeout
在缓存内容到期前调用。一般以以下几个关键字结束。
fetch 从后端取得该内容
discard 丢弃该内容



vcl_discard
由于到期或者空间不足而丢弃缓存内容时调用。一般以以下几个关键字结束。
discard 丢弃
keep 继续保留在缓存里

如果这些内置例程没有被定义，则执行缺省动作


一些内置的变量
now 当前时间，标准时间点（1970？）到现在的秒数

backend.host 后端的IP或主机名
backend.port 后端的服务名或端口

请求到达后有效的变量
client.ip 客户端IP
server.ip 服务端IP
req.request 请求类型，比如GET或者HEAD或者POST
req.url 请求的URL
req.proto 请求的HTTP版本号
req.backend 请求对应的后端
req.http.header 对应的HTTP头

往后段的请求时有效的变量
bereq.request 比如GET或HEAD
bereq.url URL
bereq.proto 协议版本
bereq.http.header HTTP头

从cache或后端取到内容后有效的变量
obj.proto HTTP协议版本
obj.status HTTP状态代码
obj.response HTTP状态信息
obj.valid 是否有效的HTTP应答
obj.cacheable 是否可以缓存的内容，也就是说如果HTTP返回是200、203、300、301、302、404、410并且有非0的生存期，则为可缓存
obj.ttl 生存期，秒
obj.lastuse 上一次请求到现在间隔秒数

对客户端应答时有效的变量
resp.proto response的HTTP版本
resp.status 回给客户端的HTTP状态代码
resp.response 回给客户端的HTTP状态信息
resp.http.header HTTP头


变量可以通过set来赋值或通过remove来删除（清空）
sub vcl_recv {
if (req.http.host ~ "^(www.)?example.com$") {
set req.http.host = "www.example.com";
}
}

sub vcl_fetch {
remove obj.http.Set-Cookie;
}

##########关于varnishd的启动
进入 /home/admin/varnishd/sbin/,使用 varnishd启动
启动参数说明
   -a address:port              # varnishd httpd监听地址及其端口
    -b address:port              # 后台服务器地址及其端口
                                 #    -b
                                 #    -b ':'
    -d                           # 使用debug模式
    -f file                      # varnishd 服务器存取规则文件
    -F                           # Run in foreground
    -h kind[,hashoptions]        # Hash specification
                                 #   -h simple_list
                                 #   -h classic  [default]
                                 #   -h classic,
    -n dir                       # varnishd working directory
    -P file                      # PID file
    -p param=value               # 服务器参数，用来优化性能
    -s kind[,storageoptions]     # 缓存内容存放方式
                                 #   -s malloc
                                 #   -s file  [default: use /tmp]
                                 #   -s file,
                                 #   -s file,,
    -t                           # Default TTL
    -T address:port              # telnet管理地址及其端口
    -V                           # version
    -w int[,int[,int]]           # 工作线程数
                                 #   -w
                                 #   -w min,max
                #   -w min,max,timeout [default: -w1,1000,120]
一般使用varnishd -a address:port -b address:port 其他使用默认即可启动
注意:vcl 中指定 后台服务器的话就不用使用-b 参数了
4.关于vcl文件的使用说明
vcl是varnishd的存取策略，即varnishd的配置文件
#基本格式如下指定后台服务器机器端口
          backend www {
             set backend.host = "www.example.com";
             set backend.port = "http";
         }
   #acl访问控制
            acl local {
             "locahost";         /* myself */
             "10.0.0.1"/8;       /* and everyone on the local network */
             ! "10.0.0.23";      /* except for the dialin router */
         }
   #如果使用虚拟主机，请参照下面代码
            backend www {
             set backend.host = "www.example.com";
             set backend.port = "80";
         }
         backend images {
             set backend.host = "images.example.com";
             set backend.port = "80";
         }
         sub vcl_recv {
             if (req.http.host ~ "^(www.)?example.com$") {
                 set req.backend = www;
             } elsif (req.http.host ~ "^images.example.com") {
                 set req.backend = images;
             } else {
                 error 404 "Unknown virtual host";
             }
         }
    #关于cache存在时间设置
             sub vcl_fetch {
             if (obj.ttl < 120s) {
                 set obj.ttl = 120s;
             }
         }
     #cache图片等内容配置
      sub vcl_recv {
     if (req.request == "GET" && req.url ~ "\.(gif|jpg||jpeg|tom|swf|css|js)$") {
          lookup;
     }
    lookup;
   }    
##########关于vcl文件的使用说明
vcl是varnishd的存取策略，即varnishd的配置文件
#基本格式如下指定后台服务器机器端口
          backend www {
             set backend.host = "www.example.com";
             set backend.port = "http";
         }
   #acl访问控制
            acl local {
             "locahost";         /* myself */
             "10.0.0.1"/8;       /* and everyone on the local network */
             ! "10.0.0.23";      /* except for the dialin router */
         }
   #如果使用虚拟主机，请参照下面代码
            backend www {
             set backend.host = "www.example.com";
             set backend.port = "80";
         }
         backend images {
             set backend.host = "images.example.com";
             set backend.port = "80";
         }
         sub vcl_recv {
             if (req.http.host ~ "^(www.)?example.com$") {
                 set req.backend = www;
             } elsif (req.http.host ~ "^images.example.com") {
                 set req.backend = images;
             } else {
                 error 404 "Unknown virtual host";
             }
         }
    #关于cache存在时间设置
             sub vcl_fetch {
             if (obj.ttl < 120s) {
                 set obj.ttl = 120s;
             }
         }
     #cache图片等内容配置
      sub vcl_recv {
     if (req.request == "GET" && req.url ~ "\.(gif|jpg||jpeg|tom|swf|css|js)$") {
          lookup;
     }
    lookup;
   }    
########## 关于服务器 param的设置
param有以下选项
user                 root (0)
group                root (0)
default_ttl          14400 [seconds]
thread_pools         1 [pools]
thread_pool_max      12000 [threads]
thread_pool_min      4000 [threads]
thread_pool_timeout  10 [seconds]
overflow_max         100 [%]
http_workspace       8192 [bytes]
sess_timeout         5 [seconds]
pipe_timeout         60 [seconds]
send_timeout         20 [seconds]
auto_restart         on [bool]
fetch_chunksize      128 [kilobytes]
sendfile_threshold   unlimited [bytes]
vcl_trace            off [bool]
listen_address       172.16.189.1:3128
listen_depth         1024 [connections]
srcaddr_hash         1049 [buckets]
srcaddr_ttl          720 [seconds]
backend_http11       on [bool]
client_http11        on [bool]
ping_interval        3 [seconds]
大家可以使用-p参数在启动时候进行配置和优化
例如
/home/admin/varnish/sbin/varnishd -f /etc/varnish/vcl.conf \
-a 172.16.189.1:3128 \
-s malloc \
-p user root -p group root \
-p default_ttl 14400 -p thread_pool_max 8000 -p send_timeout 20 \
-p srcaddr_ttl 720 -p backend_http11 on -p client_http11 on \
-w 4000,12000,10 -T 127.0.0.1:8080

########## 关于varnishd的管理
管理功能的启用需要在启动varnishd的时候 启动 -T参数指定 telnet管理使用的地址和端口
使用telnet localhost 8080，然后输入help参看相关的管理选项
或者使用 /home/admin/varnishd/bin/varnishadm -T localhost:8080 cmd进行管理
使用/home/admin/varnishd/bin/varnishstat 来查看varnishd的运行情况

########## 关于log
使用home/admin/varnishd/bin/varnishlog  和varnishncsa查看服务器访问log或者让其输出到文件来记录log

相关日志
mysql-master-master
Squid by 吴洪声
mod_deflat for apache
samba 安装配置

Tags: varnish , 安装 , 设置 , 配置