squid优化及配置参数

转自http://blog.chinaunix.net/uid-374372-id-89007.html

squid 的首页：http://www.squid-cache.org 摘自cu,针对RedHat linux9

% cd /tmp 
% tar xzvf /some/where/squid-2.5.STABLE4-src.tar.gz 


一些tar 程序不支持z选项，该选项自动解压gzip 文件。如果这样，你需要运行如下命令： 
% gzip -dc /some/where/squid-2.5.STABLE4-src.tar.gz | tar xvf - 


Squid 在高负载下，需要大量的内核资源。特别的，你需要给你的系统配置比正常情况更高的文件描述符和缓存。文件描述符的限制通常很恼人。你最好在开始编译squid 之前来增加这些限制的大小。
文件描述符是一个简单的整数，用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0，第二个是1，依此类推。Unix 操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是，unix 通常有一个系统级的限制。 


因 为squid 的工作方式，文件描述符的限制可能会极大的影响性能。当squid 用完所有的文件描述符后，它不能接收用户新的连接。也就是说，用完文件描述符导致拒绝服务。直到一部分当前请求完成，相应的文件和socket 被关闭，squid 不能接收新请求。当squid发现文件描述符短缺时，它会发布警告。 


在运行./configure 之前，检查你的系统的文件描述符限制是否合适，能给你避免一些麻烦。大多数情况下，1024 个文件描述符足够了。非常忙的cache可能需要4096或更多。在配置文件描述符限制时，我推荐设置系统级限制的数量为每个进程限制的2 倍。 


通 常在你的Unix shell 中能找到系统的文件描述符限制。所有的C shell 及其类似的shell有内建的limit 命令。更新的Bourne shell 及其类似的shell 有一条叫做ulimit 的命令。为了发现你的系统的文件描述符限制，试运行如下命令： 
sh$ ulimit -n
在Linux 上配置文件描述符有点复杂。在编译squid 之前，你必须编辑系统include 文件中的一个，然后执行一些shell 命令。请首先编辑/usr/include/bits/typesizes.h 文件，改变__FD_SETSIZE 的值： 
#define _ _FD_SETSIZE 8192 


下一步，使用这个命令增加内核文件描述符的限制： 
# echo 8192 > /proc/sys/fs/file-max 


最后，增加进程文件描述符的限制，在你即将编译squid 的同一个shell 里执行： 
sh# ulimit -Hn 8192 


该命令必须以root 运行，仅仅运行在bash shell。不必重启机器。 


使用这个技术，你必须在每一次系统启动后执行上述echo 和ulimit 命令，或者至少在squid 启动之前。假如你使用某个rc.d 脚本来启动squid，那是一个放置这些命令的好地方。
临时端口是TCP/IP 栈分配给出去连接的本地端口。换句话说，当squid 发起一条连接到另一台服务器，内核给本地socket 分配一个端口号。这些本地端口号有特定的范围限制。 


临时端口号的短缺对非常忙的代理服务器（例如每秒数百个连接）来说，会较大的影响性能。这是因为一些TCP 连接在它们被关闭时进入TIME_WAIT 状态。当连接进入TIME_WATI 状态时，临时端口号不能被重用。 


你能使用netstat 命令来显示有多少个连接进入这个状态： 


% netstat -n | grep TIME_WAIT 


在Linux 上，简单的写一对数字到下列指定文件： 
# echo "1024 40000" > /proc/sys/net/ipv4/ip_local_port_range 


不要忘记将这些命令加到你的系统启动脚本中，以使机器每一次重启后都生效。
 ls -l /usr/local/squid 
total 5 
drwxr-x--- 2 wessels wheel 512 Apr 28 20:42 bin 
drwxr-x--- 2 wessels wheel 512 Apr 28 20:42 etc 
drwxr-x--- 2 wessels wheel 512 Apr 28 20:42 libexec 
drwxr-x--- 3 wessels wheel 512 Apr 28 20:43 man 
drwxr-x--- 2 wessels wheel 512 Apr 28 20:42 sbin 
drwxr-x--- 4 wessels wheel 512 Apr 28 20:42 share 
drwxr-x--- 4 wessels wheel 512 Apr 28 20:43 var
.4.1 configure 选项 


./configure 脚本有大量的不同选项，它们以-开始。当你敲入./configure --help 时，能看到选项的完整列表。一些选项对所有configure 脚本是通用的，还有一些是squid 专有的。下面是你可能用得到的标准选项： 
--perfix =PREFIX 


如前面描述的一样，这里设置安装目录。安装目录是所有可执行文件，日志，和配置文件的默认目录。在整本书中，$prefix 指你选择的安装目录。 


--localstatedir =DIR 
该选项允许你改变var 目录的安装位置。默认是$prefix/var，但也许你想改变它，以使squid 的磁盘缓存和日志文件被存储在别的地方。 


--sysconfdir =DIR 
该选项允许你改变etc 目录的位置。默认的是$prefix/etc。假如你想使用/usr 作为安装位置，你也许该配置--sysconfdir为/etc. 


以下是squid 的专有./configure选项： 


--enable-dlmalloc[=LIB] 
在 一些系统上，内建的内存分配机制（malloc）在使用squid 时表现不尽人意。使用--enable-dlmalloc 选项将squid 源代码包中的dlmalloc 包编译和链接进来。假如你的系统中已安装dlmalloc，你能使用=LIB 参数指定库的路径。请见http://g.oswego.edu/dl/html/malloc.html更多关于dlmalloc 的信息。 


--enable-gnuregex 
在 访问控制列表和其他配置指令里，squid 使用正则表达式作为匹配机制。GNU 的正则表达式库包含在squid 的源代码包里；它可以在没有内建正则表达式的操作系统中使用。./configure脚本侦察你系统中的正则表达式库，假如必要，它可以激活使用GNU正 则表达式。如果因为某些理由，你想强制使用GNU正则表达式，你可以将这个选项加到./configure命令后。 


--enable-carp 
Cache数组路由协议（CARP）用来转发丢失的cache到父cache的数组或cluster。在10.9章有更多关于CARP的细节。 


--enable-async-io[=N_THREADS] 
同 步I/O 是squid 技术之一，用以提升存储性能。aufs 模块使用大量的线程来执行磁盘I/O 操作。该代码仅仅工作在linux 和solaris 系统中。=N_THREADS 参数改变squid 使用的线程数量。aufs 和同步I/O 在8.4 章中被讨论。 
请注意--enable-async-io 是打开其他三个./configure 选项的快捷方式，它等同于： 
--with-aufs-threads=N_THREADS 
--with-pthreads 
--enable-storeio=ufs,aufs 
--with-pthreads 


该选项导致编译过程链接到你系统中的P 线程库。aufs 存储模块是squid 中唯一需要使用线程的部分。通常来说，如果你使用--enable-saync-io 选项，那么不必再单独指定该选项，因为它被自动激活了。 


--enable-storeio=LIST 
Squid 支持大量的不同存储模块。通过使用该选项，你告诉squid 编译时使用哪个模块。在squid-2.5 中，支持ufs,aufs,diskd,和null 模块。通过查询src/fs 中的目录，你能得到一个模 
块列表。 
LIST 是一个以逗号分隔的模块列表，例如： 
% ./configure --enable-storeio=afus,diskd,ufs 


ufs 模块是默认的，看起来问题最少。不幸的是，它性能有限。其他模块可能在某些操作系统中不必编译。关于squid 存储模块的完整描述，请见第8章。 
--with-aufs-threads=N_THREADS 


指定aufs 存储机制使用的线程数量（见8.4章）。squid 默认根据缓存目录的数量，自动计算需要使用多少线程。 


--enable-heap-replacement 
该选项不再使用，但被保留用于向后兼容性。你该使用--enable-removal-policies 来代替。 


--enable-removal-policies=LIST 
排除策略是squid 需要腾出空间给新的cache目标时，用以排除旧目标的机制。squid-2.5支持3个排除策略：最少近期使用(LRU),贪婪对偶大小(GDS),最少经常使用(LFU)。 


然而，因为一些理由，./configure 选项使指定的替代策略和需要执行它们的基本数据结构之间的差别模糊化。LRU是默认的，它以双链表数据结构执行。GDS和LFU使用堆栈的数据结构。 


为了使用GDS 或LFU 策略，你指定： 
% ./configure --enable-removal-policies=heap 


然后你在squid 的配置文件里选择使用GDS或LFU。假如你想重新使用LRU,那么指定： 
% ./configure --enable-removal-policies=heap,lru 
更多的关于替换策略的细节请见7.5 章。 


--enable-icmp 
如在10.5 章中描述的一样，squid 能利用ICMP消息来确定回环时间尺寸，非常象ping程序。你能使用该选项来激活这些功能。 


--enable-delay-pools 
延时池是squid 用于传输形状或带宽限制的技术。该池由大量的客户端IP 地址组成。当来自这些客户端的请求处于cache 丢失状态，他们的响应可能被人工延迟。关于延时池的更多细节请见附录C。 


--enable-useragent-log 
该选项激活来自客户请求的HTTP 用户代理头的日志。更多细节请见13.5 章。 


--enable-referer-log 
该选项激活来自客户请求的HTTP referer 日志。更多细节请见13.4 章。 


--disable-wccp 
Web cache 协调协议(WCCP)是CISCO 的专有协议，用于阻止或分发HTTP 请求到一个或多个caches。WCCP默认被激活，假如你愿意，可以使用该选项来禁止该功能。 


--enable-snmp 
简单网络管理协议(SNMP)是监视网络设备和服务器的流行方法。该选项导致编译过程去编译所有的SNMP相关的代码，包括一个裁切版本的CMU SNMP库。 


--enable-cachemgr -hostname[=hostname] 
cachemgr 是一个CGI程序，你能使用它来管理查询squid。默认cachemgr的hostname值是空的，但你能使用该选项来指定一个默认值。例如： 
% ./configure --enable-cachemgr-hostname=mycache.myorg.net 


--enable-arp-acl 
squid 在一些操作系统中支持ARP,或者以太地址访问控制列表。该代码使用非标准的函数接口，来执行ARP访问控制列表，所以它默认被禁止。假如你在linux或solaris上使用squid，你可能用的上这个功能。 


--enable-htcp 
HTCP 是超文本缓存协议--类似于ICP的内部缓存协议。更多细节请见10.8 章。 


--enable-ssl 
使用该选项赋予squid 终止SSL/TLS 连接的能力。注意这仅仅工作在web加速器中用以加速请求。更多细节请见15.2.2 章节。 


--with-openssl[=DIR] 
假如必要，你使用该选项来告诉squid到哪里找到OpenSSL库或头文件。假如它们不在默认位置，在该选项后指定它们的父路径。例如： 
% ./configure --enable-ssl --with-ssl=/opt/foo/openssl 
在这个例子中，你的编译器将在/opt/foo/openssl/include目录中找头文件， 在/opt/foo/openssl/lib 中找库文件。 


--enable-cache-digests 
Cache 消化是ICP 的另一个替代，但有着截然不同的特性。请见10.7 章。 


--enable-err-languages="lang1 lang2 ..." 
squid 支持定制错误消息，错误消息可以用多种语言报告。该选项指定复制到安装目录($prefix/share/errors)的语言。假如你不使用该选项，所 有可用语言被安装。想知道何种语言可用，请见源代码包里errors目录下的目录列表。如下显示如何激活多种语言： 
% ./configure --enable-err-languages="Dutch German French" ... 


--enable-default-err-language=lang 
该选项设置error_directory 指令的默认值。例如，假如你想使用荷兰语，你能这样指定： 
% ./configure --enable-default-err-language=Dutch 
你也能在squid.conf 里指定error_directory 指令，在附录A 中有描述。假如你忽略该选项，英语是默认错误语言。 


--with-coss-membuf-size=N 
循环目录存储系统（coss）是squid 的试验性存储机制。该选项设置coss 缓存目录的内存缓冲大小。注意为了使用coss，你必须在--enable-storeio 选项里指定存储类型。 
该参数以字节形式赋值，默认是1048576 字节或1M。你能指定2M 缓冲如下： 
% ./configure --with-coss-membuf-size=2097152 


--enable-poll 
unix 提供两个相似的函数用以在I/O 事件里扫描开放文件描述符：select() 和poll()。./configure 脚本通常能非常好的计算出何时使用poll()来代替select().假如你想强制使用poll()，那么指定该选项。 
--desable-poll 
类似的，如果不使用poll()，那么指定该选项。 


--disable-http-violations 
squid 默认可以被配置成违背HTTP协议规范。你能使用该选项来删除违背HTTP协议的代码。 


--enable-ipf-transparent 
在 第9章中，我将描述如何配置squid来拦截缓存。一些操作系统使用IP Filter包来协助拦截缓存。在这些环境下你应该使用该./configure 选项。如果你使用了该选项，但是编译器提示src/client_side.c文件出错，那是因为IP Filter包没有或没有正确的安装在你的系统中。 


--enable-pf-transparent 
你可能需要指定该选项，使用PF包过滤器在操作系统中拦截HTTP。PF是OpenBSD的标准包过滤器，也可能被发布到其他系统中。假如你使用该选项，但是编译器提示src/client_side.c 文件出错，那是因为PF 没有实际安装到你的系统中。 


--enable-linux-netfilter 
Netfilter 是linux 2.4 系列内核的包过滤器名字。假如你想在linux2.4或以后的版本中使用HTTP拦截功能，那么激活该选项。 


--disable-ident-lookups 
ident是一个简单的协议，允许服务器利用客户端的特殊TCP连接来发现用户名。假如你使用该选项，编译器将把执行这些查询的代码排除出去。即使你在编译时保留了这些代码，除非你在squid.conf文件里指定，squid不会执行ident查询。 


--disable-internal-dns 
squid 源代码包含两个不同的DNS 解决方案，叫做“内部的”和“外部的”。内部查询是默认的，但某些人可能要使用外部技术。该选项禁止内部功能，转向使用旧的方式。 
内部查询使用squid自己的DNS协议执行工具。也就是说，squid产生未完成的DNS查询并且将它们发送到一个解析器。假如超时，它重新发送请求，你能指定任意数量的解析器。该工具的有利处之一是，squid获得准确无误的DNS响应的TTLs。 
外 部查询利用C库的gethostbyname()和gethostbyaddr()函数。squid使用一个外部进程池来制造并行查询。使用外部DNS 解析的主要弊端是你需要更多的辅助进程，增加squid的负载。另一个麻烦是C 库函数不在响应里传输TTLs，这样squid使用postive_dns_ttl 指令提供的一个常量值。 


--enable-truncate 
truncate ()系统调用是unlink()的替代品。unlink()完全删除cache 文件，truncate()将文件大小设为零。这样做释放了分配给该文件的磁盘空间，但留下适当的目录接口。该选项存在的理由是，某些人相信（或希望） truncate()比unlink()性能表现更好。然而，压力测试显示两者有很少的或根本没有区别。 


--disable-hostname-checks 
默认的，squid要求URL主机名在一定程度上遵守古老的RFC 1034 规范： 
标签必须遵循下列ARPANET 主机名规则。它们必须以字母开始，以字母或数字结尾，仅仅包含字母，数字和下划线。 
这里字母意味着ASCII字符，从A到Z。既然国际域名日益流行，你可能希望使用该选项来移除限制。 


--enable-underscores 
该 选项控制squid针对主机名里下划线的行为。通用的标准是主机名里不包含下划线字符，尽管有些人不赞成这点。squid默认会对URL主机名里带下划线 的请求产生一条错误消息。你能使用该选项，让squid信任它们，把它们当作合法的。然而，你的DNS解析器也许强迫使用非下划线请求，并且对带下划线的 主机名解析失败。 


--enable-auth[=LIST] 
该选项控制在squid的二进制文件里支持哪种验证机制。你能选择下列机制的任意组合： 
basic,digest,ntlm。假如你忽略该选项，squid 仅仅支持basic 验证。假如你使用不带参数的--enable-auth选项，编译进程将增加对所有验证机制的支持。你可以使用以逗号分隔的验证机制列表： 
% ./configure --enable-auth=digest,ntlm 
我在第六章和第十二章里会谈得更多。 


--enable-auth-helpers=LIST 
这个旧选项现在已舍弃了， 但为了保持向后兼容性仍保留着。你可以使用--enable-basic-auth-helperes=LIST 来代替。 


--enable-basic-auth-helpers=LIST 
使用该选项，你能将helpers/basic_auth 目录的一个或多个HTTP Basic验证辅助程序编译进来。请见12.2章找到它们的名字和描述。 


--enable-ntlm-auth-helpers=LIST 
使用该选项，你能将helpers/ntlm_auth 目录的一个或多个HTTP NTLM验证辅助程序编译进来。请见12.4章找到它们的名字和描述。 


--enable-digest-auth-modules=LIST 
使用该选项，你能将helpers/digest_auth 目录的一个或多个HTTP Digest验证辅助程序编译进来。请见12.3章找到它们的名字和描述。 


--enable-external-acl-helpers=LIST 
使用该选项，你能编译一个或多个扩展ACL辅助程序，这些在12.5章中讨论。例如： 
% ./configure --enable-external-acl-helpers=ip_user,ldap_group 


--disable-unlinkd 
unlinkd 是另一个squid的外部辅助进程。它的基本工作是对cache文件执行unlink()或truncate()系统调用。通过在外部进程里执行文件删除工作，能给squid带来明显的性能提升。使用该选项来禁止外部unlink进程功能。 


--enable-stacktrace 
某些系统支持在程序崩溃时，自动产生数据追踪。当你激活该功能后，如果squid崩溃，数据追踪信息被写到cache.log文件。这些信息对开发和程序bug调试有用。 


--enable-x-accelerator-vary 
该高级功能可能在squid被配置成加速器时使用。它建议squid在响应请求时，从后台原始服务器中寻找X-Accelerator-Vary头。
在安装完后，你将在squid 的安装目录里（默认是/usr/local/squid）见到下列目录和文件： 


sbin 
sbin 目录的程序正常只能被root 启动 


sbin/squid 
Squid 的主程序 


bin 
bin 目录包含对所有用户可用的程序 


bin/RunCache 
RunCache 是一个shell脚本，你能用它来启动squid。假如squid死掉，该脚本自动重启它，除非它检测到经常的重启。RunCache是一个时间遗留的产 物，那时Squid还不是后台服务进程。在最近的版本里，RunCache很少用到，因为Squid自动重启它自身，当你不使用-N选项时。 


bin/RunAccel 
RunAccel 与RunCache 几乎一致，唯一的不同是它增加了一个命令行参数，告诉squid在哪里侦听HTTP 请求。 


bin/squidclient 
squidclient 是个简单的HTTP 客户端程序，你能用它来测试squid。它也有一些特殊功能，用以对运行的squid 进程发起管理请求。 


libexec 
libexec 目录传统的包含了辅助程序。有一些命令你不能正常的启动。然而，这些程序通常被其他程序启动。 


libexec/unlinkd 
unlinkd是一个辅助程序，它从cache目录里删除文件。如你后面看到的一样，文件删除是个性能瓶颈。通过在外部进程里执行删除操作，Squid提升了一些执行性能。 


libexec/cachemgr.cgi 
cachemgr.cgi是Squid管理功能的CGI接口。为了使用它，你需要拷贝该程序到你的WEB服务器的cgi-bin目录。在14.2章中有更多描述。 


libexec/diskd(optional) 
假如你指定了--enable-storeio=diskd，你才能看到它。 


libexec/pinger(optional) 
假如你指定了--enable-icmp，你才能看到它。 


etc 
etc 目录包含squid 的配置文件。 


etc/squid.conf 
这是squid的主要配置文件。初始的该文件包含了大量的注释，用以解释每一个选项做什么。在你理解了这些配置指令后，建议你删除这些注释，让配置文件更小和更容易阅读。注意假如该文件存在，安装过程不会覆盖该文件。 


etc/squid.conf.default 
这是从源代码目录中拷贝过来的默认配置文件。在升级了squid安装后，你也许发现有一份当前默认配置文件的拷贝是有用的。可能会增加新的配置指令，一些存在的旧指令可能有所改变。 


etc/mime.conf 
mime.conf文件告诉squid 对从FTP和Gopher服务器获取的数据使用何种MIME类型。该文件是一个关联文件名扩展到MIME类型的表。正常而言，你不必编辑该文件。然而，你可能需要增加特殊文件类型的接口，它们在你的组织内使用。 


etc/mime.conf.default 
这是从源代码目录里拷贝过来的默认mime.conf文件。 


share 
share目录通常包括squid的只读数据文件。 


share/mib.txt 
这是squid的SNMP管理信息基础（MIB）文件。squid自身不使用该文件，然而，你的SNMP客户端软件（例如snmpget和多路由走向图(MRTG)）需要该文件，用以理解来自squid的SNMP对象可用。 


share/icons 
share/icons目录包含大量的小图标文件，squid用在FTP和Gopher目录列举里。正常而言，你不必担心这些文件，但如果需要，你可以改变它们。 


share/errors 
share/errors 目录包含了squid显示给用户看的错误消息模板。这些文件在你安装squid时，从源代码目录拷贝而来。如果需要你可以编辑它们。然而，在每次运行 make install时，安装过程总会覆盖它们。所以假如你想定制错误消息，建议你把它们放在不同的目录。 


var 
var目录包含了不是很重要的和经常变化的文件。这些文件你不必正常的备份它们。 


var/logs 
var/logs目录是squid 不同日志文件的默认位置。当你第一次安装squid 时，它是空的。一旦squid开始运行，你能在这里看到名字为access.log,cache.log和store.log这样的文件。 


var/cache 
假如你不在squid.conf文件里指定，这是默认的缓存目录(cache_dir)。