Apache 性能配置优化

前言

最近在进行apache性能优化设置。在修改apache配置)文件之前需要备份原有的配置文件夹conf,这是网站架设的好习惯。以下的apache配置调优均是在red had的环境下进行的。

httpd 相关查看命令了解

查看当前安装模块mpm(多路处理器)

[root@localhost ~]# httpd -l

查看httpd进程数(即各个mpm模式下Apache能够处理的并发请求数)

[root@localhost ~]# ps -ef | grep httpd | wc -l

得到的结果数字就是表示可以同时并发的进程数据,一个父进程,5个子进程。apache默认是开启5个子进程

查看Apache的并发请求数及其TCP连接状态

[root@localhost ~]# netstat -n | awk '/^tcp/ { S[$NF]} END {for(a in S) print a, S[a]}'

ESTABLISHED

---

- CLOSED:无连接是活动的或正在进行

- LISTEN:服务器在等待进入呼叫 - SYN_RECV:一个连接请求已经到达,等待确认

- SYN_SENT:应用已经开始,打开一个连接

- ESTABLISHED:正常数据传输状态

- FIN_WAIT1:应用说它已经完成

- FIN_WAIT2:另一边已同意释放

- ITMED_WAIT:等待所有分组死掉

- CLOSING:两边同时尝试关闭

- TIME_WAIT:另一边已初始化一个释放

- LAST_ACK:等待所有分组死掉

查看请求80服务的client ip按照连接数排序。

[root@localhost ~]# netstat -nat|grep ":80"|awk '{print $5}' |awk -F: '{print $1}' | sort| uniq -c|sort -n

查看apache详细链接情况

[root@localhost ~]# netstat -aptol

检测某一台服务器的端口是否开启状态

[root@localhost ~]# nc -v -w 10 -z 172.20.206.147 25801

验证apache2配置是否正确

[root@localhost ~]# httpd -t

apache模块启用

模块介绍:Apache 各个模块功能 基本(B)模块默认包含,必须明确禁用;扩展(E)/实验(X)模块默认不包含,必须明确启用。

模块名称                 状态                                                    简要描述 
mod_actions (B) 基于媒体类型或请求方法,为执行CGI脚本而提供
mod_alias (B) 提供从文件系统的不同部分到文档树的映射和URL重定向
mod_asis (B) 发送自己包含HTTP头内容的文件
mod_auth_basic (B) 使用基本认证
mod_authn_default (B) 在未正确配置认证模块的情况下简单拒绝一切认证信息
mod_authn_file (B) 使用纯文本文件为认证提供支持
mod_authz_default (B) 在未正确配置授权支持模块的情况下简单拒绝一切授权请求
mod_authz_groupfile (B) 使用纯文本文件为组提供授权支持
mod_authz_host (B) 供基于主机名、IP地址、请求特征的访问控制
mod_authz_user (B) 基于每个用户提供授权支持
mod_autoindex (B) 自动对目录中的内容生成列表,类似于"ls"或"dir"命令
mod_cgi (B) 在非线程型MPM(prefork)上提供对CGI脚本执行的支持
mod_cgid (B) 在线程型MPM(worker)上用一个外部CGI守护进程执行CGI脚本
mod_dir (B) 指定目录索引文件以及为目录提供"尾斜杠"重定向
mod_env (B) 允许Apache修改或清除传送到CGI脚本和SSI页面的环境变量
mod_filter (B) 根据上下文实际情况对输出过滤器进行动态配置
mod_imagemap (B) 处理服务器端图像映射
mod_include (B) 实现服务端包含文档(SSI)处理
mod_isapi (B) 仅限于在Windows平台上实现ISAPI扩展 mod_log_config (B) 允许记录日志和定制日志文件格式
mod_mime (B) 根据文件扩展名决定应答的行为(处理器/过滤器)和内容(MIME类型/语言/字符集/编码)
mod_negotiation (B) 提供内容协商支持
mod_nw_ssl (B) 仅限于在NetWare平台上实现SSL加密支持
mod_setenvif (B) 根据客户端请求头字段设置环境变量
mod_status (B) 生成描述服务器状态的Web页面
mod_userdir (B) 允许用户从自己的主目录中提供页面(使用"/~username")
mod_auth_digest (X) 使用MD5摘要认证(更安全,但是只有最新的浏览器才支持)
mod_authn_alias (E) 基于实际认证支持者创建扩展的认证支持者,并为它起一个别名以便于引用
mod_authn_anon (E) 提供匿名用户认证支持
mod_authn_dbd (E) 使用SQL数据库为认证提供支持
mod_authn_dbm (E) 使用DBM数据库为认证提供支持
mod_authnz_ldap (E) 允许使用一个LDAP目录存储用户名和密码数据库来执行基本认证和授权
mod_authz_dbm (E) 使用DBM数据库文件为组提供授权支持
mod_authz_owner (E) 基于文件的所有者进行授权
mod_cache (E) 基于URI键的内容动态缓冲(内存或磁盘)
mod_cern_meta (E) 允许Apache使用CERN httpd元文件,从而可以在发送文件时对头进行修改
mod_charset_lite (X) 允许对页面进行字符集转换
mod_dav (E) 允许Apache提供DAV协议支持
mod_dav_fs (E) 为mod_dav访问服务器上的文件系统提供支持
mod_dav_lock (E) 为mod_dav锁定服务器上的文件提供支持
mod_dbd (E) 管理SQL数据库连接,为需要数据库功能的模块提供支持
mod_deflate (E) 压缩发送给客户端的内容
mod_disk_cache (E) 基于磁盘的缓冲管理器
mod_dumpio (E) 将所有I/O操作转储到错误日志中
mod_echo (X) 一个很简单的协议演示模块
mod_example (X) 一个很简单的Apache模块API演示模块
mod_expires (E) 允许通过配置文件控制HTTP的"Expires:"和"Cache-Control:"头内容
mod_ext_filter (E) 使用外部程序作为过滤器
mod_file_cache (X) 提供文件描述符缓存支持,从而提高Apache性能
mod_headers (E) 允许通过配置文件控制任意的HTTP请求和应答头信息
mod_ident (E) 实现RFC1413规定的ident查找
mod_info (E) 生成Apache配置情况的Web页面
mod_ldap (E) 为其它LDAP模块提供LDAP连接池和结果缓冲服务
mod_log_forensic (E) 实现"对比日志",即在请求被处理之前和处理完成之后进行两次记录
mod_logio (E) 对每个请求的输入/输出字节数以及HTTP头进行日志记录
mod_mem_cache (E) 基于内存的缓冲管理器
mod_mime_magic (E) 通过读取部分文件内容自动猜测文件的MIME类型
mod_proxy (E) 提供HTTP/1.1的代理/网关功能支持
mod_proxy_ajp (E) mod_proxy的扩展,提供Apache JServ Protocol支持
mod_proxy_balancer (E) mod_proxy的扩展,提供负载平衡支持
mod_proxy_connect (E) mod_proxy的扩展,提供对处理HTTP CONNECT方法的支持
mod_proxy_ftp (E) mod_proxy的FTP支持模块
mod_proxy_http (E) mod_proxy的HTTP支持模块
mod_rewrite (E) 一个基于一定规则的实时重写URL请求的引擎
mod_so (E) 允许运行时加载DSO模块
mod_speling (E) 自动纠正URL中的拼写错误
mod_ssl (E) 使用安全套接字层(SSL)和传输层安全(TLS)协议实现高强度加密传输
mod_suexec (E) 使用与调用web服务器的用户不同的用户身份来运行CGI和SSI程序
mod_unique_id (E) 为每个请求生成唯一的标识以便跟踪
mod_usertrack (E) 使用Session跟踪用户(会发送很多Cookie),以记录用户的点击流
mod_version (E) 提供基于版本的配置段支持
mod_vhost_alias (E) 提供大批量虚拟主机的动态配置支持 性能调优,模块启用/关闭
(1)启用压缩 LoadModule deflate_module modules/mod_deflate.so
(2)启用重写 LoadModule rewrite_module modules/mod_rewrite.so
(3)启用默认扩展,支持在这里进行修改httpd主要配置 Include conf/extra/httpd-default.conf
(4)提供文件描述符缓存支持,从而提高Apache性能 LoadModule file_cache_module modules/mod_file_cache.so
(5)启用基于URI键的内容动态缓冲(内存或磁盘) LoadModule cache_module modules/mod_cache.so
(6)启用基于磁盘的缓冲管理器 LoadModule cache_disk_module modules/mod_cache_disk.so
(7)基于内存的缓冲管理器 LoadModule socache_memcache_module modules/mod_socache_memcache.so
(8)屏蔽所有不必要的模块
#LoadModule authn_file_module modules/mod_authn_file.so
#LoadModule authn_dbm_module modules/mod_authn_dbm.so
#LoadModule authn_anon_module modules/mod_authn_anon.so
#LoadModule authn_dbd_module modules/mod_authn_dbd.so
#LoadModule authn_socache_module modules/mod_authn_socache.so
#LoadModule authn_core_module modules/mod_authn_core.so
#LoadModule authz_host_module modules/mod_authz_host.so
#LoadModule authz_groupfile_module modules/mod_authz_groupfile.so
#LoadModule authz_user_module modules/mod_authz_user.so
#LoadModule authz_dbm_module modules/mod_authz_dbm.so
#LoadModule authz_owner_module modules/mod_authz_owner.so
#LoadModule authz_dbd_module modules/mod_authz_dbd.so LoadModule authz_core_module modules/mod_authz_core.so LoadModule access_compat_module modules/mod_access_compat.so
#LoadModule auth_basic_module modules/mod_auth_basic.so
#LoadModule auth_form_module modules/mod_auth_form.so
#LoadModule auth_digest_module modules/mod_auth_digest.so
(9)已经过时屏蔽 #LoadModule autoindex_module modules/mod_autoindex.so
(10)用于定义缺省文档index.php、index.jsp等 LoadModule dir_module modules/mod_dir.so
(11)用于定义记录文件格式 LoadModule log_config_module modules/mod_log_config.so
(12)定义文件类型的关联 LoadModule mime_module modules/mod_mime.so
(13)减少10%左右的重复请求 LoadModule expires_module modules/mod_expires.so
(14)允许apache修改或清除传递到cgi或ssi页面的环境变量 LoadModule env_module modules/mod_env.so
(15)根据客户端请求头字段设置环境变量,如果不需要则屏蔽掉 #LoadModule setenvif_module modules/mod_setenvif.so
(16)生成描述服务器状态的页面 #LoadModule status_module modules/mod_status.so
(17)别名 LoadModule alias_module modules/mod_alias.so
(18)url地址重写模块 LoadModule rewrite_module modules/mod_rewrite.so
(19)jk_mod 负载均衡调度模块 LoadModule jk_module modules/mod_jk.so
(20)过滤模块,使用缓存必须启用过滤模块 LoadModule filter_module modules/mod_filter.so
(21)关闭服务器版本信息 LoadModule version_module modules/mod_version.so
(22)自动修正用户输入的url错误 LoadModule speling_module modules/mod_speling.so

apache2 扩展配置文件说明

httpd-autoindex.conf     自动索引配置 
httpd-dav.conf WebDAV配置
httpd-default.conf Apache的默认配置
httpd-info.conf mod_status, mod_info模块配置
httpd-languages.conf Apache多语言配置支持
httpd-manual.conf 在网站上提供Apache手册
httpd-mpm.conf 多路处理模块配置文件
httpd-multilang-errordoc.conf 实现多语言的错误信息
httpd-ssl.conf SSL配置
httpd-userdir.conf 配置用户目录 httpd-vhosts.conf 虚拟主机配置

性能指标计算方法

提供下面这个公式,以供大家在平时或者日常需要进行的性能测试中作为一个参考。

计算平均的并发用户数:C = nL/T

C是平均的并发用户数;n 是 login session 的数量;L 是 login session 的平均长度;T指考察的时间段长度。

并发用户数峰值:C’ ≈ C+3根号C

C’指并发用户数的峰值,C就是公式(1)中得到的平均的并发用户数。该公式的得出是假设用户的 loginsession 产生符合泊松分布而估算得到的。

apache2自带的压力测试工具ab

ab最常用的语法格式是这样的:

 [root@localhost ~]# ab -n XXX -c YYY -k http://hostname.port/path/filename

-n XXX:表示最多进行XXX次测试。也就是下载filename文件XXX次。

-c YYY:客户端并发连接个数。

-k:启用HTTP KeepAlive功能。默认不启用KeepAlive功能。 ab必须安装在客户端上,并且客户端机器配置性能要高些。

比如我们要对http://hostname:port/file.com下载10000次进行测试,并发访问为60个,启用HTTP KeepAlive功能,则访问指令为

[root@localhost ~]# ab -n 10000 -c 60 -k http://hostname:port/file.htm

Java的压力测试工具Jmeter

Jmeter 是apache开发的基于Java的压力测试工具。

apache多路处理器MPM

目前apache2.4版本已经event MPM纳入正式版,不再是实验状态。安装时,apache已经自动将event MPM一起安装进去,通过apachectl -l可以查看到event.c模块。由此可以看到,event MPM已经成为apache默认的MPM工作模式。

1)启用MPM
Include conf/extra/httpd-mpm.conf 
(2)配置evnet MPM参数
<IfModule event.c>  
    #default 3  
    ServerLimit           15  
    #default 256 MaxRequestWorkers (2.3版本叫MaxClients) <= ServerLimit * ThreadsPerChild  
    MaxRequestWorkers            960  
    #default 3  
    StartServers          3  
    #default 64  
    ThreadsPerChild       64  
    #default 100000  ThreadLimit >= ThreadsPerChild  
    ThreadLimit           64  
    #default 75  
    MinSpareThreads       32  
    #default 400  MaxSpareThreads >= (MinSpareThreads + ThreadsPerChild)  
    MaxSpareThreads      112  
    #(2.3版本叫MaxRequestsPerChild)default 0, at 200 r/s, 20000 r results in a process lifetime of 2 minutes  
    MaxConnectionsPerChild 10000  
</IfModule>  
    1、StartServers:初始数量的服务器进程开始,默认为3个
    2、MinSpareThreads:最小数量的工作线程,保存备用,默认是75个线程
    3、MaxSpareThreads:最大数量的工作线程,保存备用,默认是250线程
    4、ThreadsPerChild:固定数量的工作线程在每个服务器进程,默认是25个
    5、MaxRequestWorkers:最大数量的工作线程,默认是400
    6、MaxConnectionsPerChild:最大连接数的一个服务器进程服务,默认为0,没有上限限制,但是为了避免内存异常,影响稳定性,需要设置一个数值进行限制在修改配置后,需要停止htppd,再启动httpd,  不能通过apacherestart生效,而是先 apache stop 然后再 apache start才可以生效。
    7、ServerLimit:ServerLimit是活动子进程数量的硬限制,它必须大于或等于MaxClients除以ThreadsPerChild的值。serverLimit最大20000,默认是16。只有在你需要将MaxClients和ThreadsPerChild设置成需要超过默认值16个子进程的时候才需要使用这个指令。不要将该指令的值设置的比MaxClients和ThreadsPerChild需要的子进程数量高。使用这个指令时要特别当心。如果将ServerLimit设置成一个高出实际需要许多的值,将会有过多的共享内存被分配。如果将ServerLimit和MaxClients设置成超过系统的处理能力,Apache可能无法启动,或者系统将变得不稳定。RedHat Enterprise LinuxAS3.0Update2最大MaxClients只能设置到256。如果你需要设置其为更高,需要在MaxClients前面添加:ServerLimitxxx其中xxx不能少于MaxClients的数值。该设置方法适用于Apache 2.0系列。
    8、ThreadLimit:ThreadLimit是所有服务线程总数的硬限制,它必须大于或等于ThreadsPerChild指令。使用这个指令时要特别当心。如果将ThreadLimit设置成一个高出ThreadsPerChild实际需要很多的值,将会有过多的共享内存被分配。如果将ThreadLimit和ThreadsPerChild设置成超过系统的处理能力,Apache可能无法启动,或者系统将变得不稳定。该指令的值应当和ThreadsPerChild可能达到的最大值保持一致。

计算event的相关参数

(1):计算服务器进程的平均内存
[root@localhost ~]# ps aux | grep 'httpd' | awk '{print $6/1024 " MB";}'
(2):计算正在通讯传输过程中的进程的平均内存,最好在一天之内不同的时间段内运行以下代码
[root@localhost ~]# ps aux | grep 'httpd' | awk '{print $6/1024;}' | awk '{avg += ($1 - avg) / NR;} END {print avg " MB";}'
通过上面两个指令计算出平均进程所使用的内存大小 ,再通过以下公式计算
MaxRequestWorkers(MaxClients) =  (Total RAM - RAM used for Linux, MySQL, etc.) / Average httpd process size.
      1、StartServers 30% of MaxRequestWorkers
      2、MinSpareThreads 5% of MaxRequestWorkers
      3、MaxSpareThreads10% of MaxRequestWorkers
      4、ServerLimit == MaxRequestWorkers
      5、MaxConnectionsPerChild 10000 (as conservative alternative to address possible problem with memory leaky apps)

event MPM 与worker MPM区别

可以支持比worker更高的并发数,主要安装在类unix/linux上的工作模式。event mpm是worker mpm的变种,但是具有比worker MPM更好的并发性能。在event mpm模式下,ssl是不被支持的,他会被切换到worker mpm下处理。event mpm在apache2.4版本时才被从实验状态转化成标准应用。

apache 缓存设置

apache涉及的缓存模块有mod_cache、mod_disk_cache、mod_file_cache、mod_mem_cache。如果要使用缓存必须启用这四个缓存模块。

同时修改缓存设置后,必须重启apache,刷新缓存,否则用户访问页面不是最新页面。

mod_cache、mod_disk_cache、mod_mem_cache、mod_file_cache关系
- apache缓存分为硬盘缓存和内存缓存
- mod_disk_cache mod_mem_cache 都依赖于mod_cache
- mod_file_cache是结合mod_cache使用,可以用于指定几个频繁访问,但是变化不大的文件
配置硬盘缓存和内存缓存的缓存配置
<IfModule mod_cache.c>  
   #设置缓存过期时间,默认一小时  
   CacheDefaultExpire 3600  
   #设置缓存最大失效时间,默认最大一天  
   CacheMaxExpire 86400 CacheLastModifiedFactor 0.1 CacheIgnoreHeaders Set-Cookie CacheIgnoreCacheControl Off <IfModule mod_disk_cache.c>  
   #启用缓存,并设定硬盘缓存目录(url路径)  
   CacheEnable disk /  
   #设定apache访问用户的缓存路径,需要进行授权配置,如linux设置为777  
   CacheRoot /home/apache/cache  
   #缓存目录深度  
   CacheDirLevels 5  
   #缓存目录名称字符串长度  
   CacheDirLength 5  
   #缓存文件最大值  
    CacheMaxFileSize 1048576  
   #缓存文件最小值   
   CacheMinFileSize 10 </IfModule> <IfModule mod_mem_cache.c>  
   #缓存路径  
   CacheEnable mem /  
   #缓存对象最大个数  
   MCacheMaxObjectCount 20000  
   #单个缓存对象最大大小  
   MCacheMaxObjectSize 1048576  
   #单个缓存对象最小大小   
   MCacheMinObjectSize 10  
   #在缓冲区最多能够放置多少的将要被缓存对象的尺寸  
   MCacheMaxStreamingBuffer 65536  
   #清除缓存所使用的算法,默认是 GDSF,还有一个是LRU  
   MCacheRemovalAlgorithm GDSF  
   #缓存数据最多能使用的内存  
   MCacheSize 131072 </IfModule> </IfModule>
文件缓存的应用
1、缓存文件:如果你的网站有几个文件的访问非常频繁而又不经常变动,则可以在 Apache 启动的时候就把它们的内容缓存到内存中(当然要启用内存缓存系统),使用的是 mod_file_cache 模块,有多个文件可以用空格格开,具体如下:
<IfModule mod_file_cache.c>  
     MMapFile /var/html/js/jquery.js  
</IfModule>  
2、缓存句柄:
<IfModule mod_file_cache.c>  
  CacheFile /usr/local/apache2/htdocs/index.html  
</IfModule>

apache压缩配置

apache通过mod_deflate模块实现页面压缩,要想进行页面压缩必须启用以下两个模块

LoadModule deflate_module modules/mod_deflate.so  
LoadModule filter_module modules/mod_filter.so

页面压缩模块配置

<ifmodule mod_deflate.c>  
#设定压缩率,压缩率1 -9, 6是建议值,不能太高,消耗过多的内存,影响服务器性能  
DeflateCompressionLevel 6  

AddOutputFilterByType DEFLATE text/plain  
AddOutputFilterByType DEFLATE text/html  
AddOutputFilterByType DEFLATE text/php  
AddOutputFilterByType DEFLATE text/xml  
AddOutputFilterByType DEFLATE text/css  
AddOutputFilterByType DEFLATE text/javascript  
AddOutputFilterByType DEFLATE application/xhtml+xml  
AddOutputFilterByType DEFLATE application/xml  
AddOutputFilterByType DEFLATE application/rss+xml  
AddOutputFilterByType DEFLATE application/atom_xml  
AddOutputFilterByType DEFLATE application/x-javascript  
AddOutputFilterByType DEFLATE application/x-httpd-php  
AddOutputFilterByType DEFLATE application/x-httpd-fastphp  
AddOutputFilterByType DEFLATE application/x-httpd-eruby  
AddOutputFilterByType DEFLATE image/svg+xml  
AddOutputFilterByType DEFLATE application/javascript  

#插入过滤器  
SetOutputFilter DEFLATE  

#排除不需要压缩的文件  
SetEnvIfNoCase Request_URI \.(?:exe|t?gz|zip|bz2|sit|rar)$ no-gzip dont-vary  
SetEnvIfNoCase Request_URI \.(?:gif|jpe?g|png)$ no-gzip don’t-vary  
SetEnvIfNoCase Request_URI \.pdf$ no-gzip dont-vary  
SetEnvIfNoCase Request_URI \.avi$ no-gzip dont-vary  
SetEnvIfNoCase Request_URI \.mov$ no-gzip dont-vary  
SetEnvIfNoCase Request_URI \.mp3$ no-gzip dont-vary  
SetEnvIfNoCase Request_URI \.mp4$ no-gzip dont-vary  
SetEnvIfNoCase Request_URI \.rm$ no-gzip dont-vary  
</ifmodule>

keepAlive

在HTTP 1.0中和Apache服务器的一次连接只能发出一次HTTP请求,而KeepAlive参数支持HTTP 1.1版本的一次连接,多次传输功能,这样就可以在一次连接中发出多个HTTP请求。从而避免对于同一个客户端需要打开不同的连接。很多请求通过同一个 TCP连接来发送,可以节约网络和系统资源。

(1)keepAlive启用场景
    如果有较多的js,css,图片访问,则需要开启长链接
    如果内存较少,大量的动态页面请求,文件访问,则关闭长链接,节省内存,提高apache访问的稳定性
    如果内存充足,cpu较好,服务器性能优越,则是否开启长链接对访问性能都不会产生影响
(2)keepAlive配置
    在Apache的配置文件httpd.conf中,设置:
    1、Timeout  60 默认为60s修改为30s
    2、KeepAlive on  设置为on状态
    4、KeepAliveTimeout 默认为5s,如果值设置过高,由于每个进程都要保持一定时间对应该用户,而无法应付其他用户请求访问,从而导致服务器性能下降。
    5、MaxKeepAliveRequests 100  如果设置为0表示无限制,建议最好设置一个值  
    把MaxKeepAliveRequests设置的尽量大,可以在一次连接中进行更多的HTTP请求。但在我们的测试中还发现,把 MaxKeepAliveRequests设置成1000,则评测的客户端容易出现“Send requesttimed out”的错误,所以具体数值还要根据自己的情形来设置。

问题集锦

1、加载

LoadModule authz_core_module modules/mod_authz_core.so Invalid command 'Require', perhaps misspelled or defined by a module not included in the server configuration`

2、配置信息后面不能跟随注释,注释必须另起一行

CacheDefaultExpire takes one argument, The default time in seconds to cache a document

3、关键字错误 AddOutputFileByType 应该是

AddOutputFitlerByType Invalid command 'AddOutputFileByType', perhaps misspelled or defined by a module not included in the server configuration

4、启用

LoadModule setenvif_module modules/mod_setenvif.so Invalid command 'SetEnvIfNoCase', perhaps misspelled or defined by a module not included in the server configuration

5、ifModule注释不能跟在配置参数后面,否则会导致配置解析失败

AH00526: Syntax error on line 558 of /usr/local/cp-httpd-2.4.18/conf/httpd.conf: CacheDefaultExpire takes one argument, The default time in seconds to cache a document