nginx在centos & ubuntu上的安装
安装Centos
添加当前账号加入sudoers，具备sudo功能
安装编辑器vim
Yum install vim
Su root
Cd cp /etc/sudoers /etc/sudoers[date]
Chmod 777 /etc/sudoers
编辑文本
Vim /etc/sudoers
添加 [当前账号] All=(ALL) ALL
:wq 保存
Chmod 420 /etc/sudoers
安装nginx和stream模块
http://nginx.com/products/application-load-balancing/
直接用Centos环境测试
一. gcc 安装
Sudo yum install gcc-c++
二. PCRE pcre-devel 安装
Sudo yum install -y pcre pcre-devel
三. zlib 安装
Sudo yum install -y zlib zlib-devel
四. OpenSSL 安装
Sudo yum install -y openssl openssl-devel
http://hg.nginx.org/nginx/ 自己找相关的平台和版本
sudo wget http://nginx.org/download/nginx-1.12.0.tar.gz
sudo tar zxvf ./nginx-1.12.0.tar.gz
sudo cd nginx-1.12.0
/configure --with-stream
1、gcc、g++依赖库：sudo apt-get install build-essential，sudoapt-get install libtool
2、安装 pcre依赖库：sudo apt-get install libpcre3 libpcre3-dev
3、安装 zlib依赖库：sudo apt-get install zlib1g-dev
4、安装ssl依赖库：sudo apt-get install openssl
5、安装nginx:sudo apt-get install nginx
【Tips: 】.其他插件（含http NLB）
./configure --with-stream --with-http_stub_status_module --with-http_sub_module --prefix=/usr/local/nginx --with-debug
./configure --with-stream --with-http_stub_status_module --with-http_sub_module --prefix=/data/nginx --with-debug --with-pcre=/data/pcre-8.40 --with-openssl=/usr/lib64/openssl
sudo make
sudo make install
【TIP2】:设置网络
修改/etc/network/interfacs
sudo nano（gedit） /etc/network/interfaces
确认里面
auto eth{0}
iface eth{0} inet DHCP
重启网卡：
sudo service networking restart
【tips】
开机自启动
即在rc.local增加启动代码就可以了。
vi /etc/rc.local增加一行 /usr/local/nginx/sbin/nginx
设置执行权限：
chmod755rc.local
修改 nginx.conf文件中的参数变量
#--在events
events {ls
worker_connections 1024;
}
#--之后添加
stream{
upstream 1666port{
hash $remote_addr consistent;
server 10.63.201.106:1666 max_fails=3 fail_timeout=3s;
server 10.63.201.141:1666 max_fails=3 fail_timeout=3s;
}
upstream 1888port{
hash $remote_addr consistent;
server 10.63.201.106:1888 max_fails=3 fail_timeout=3s;
server 10.63.201.141:1888 max_fails=3 fail_timeout=3s;
}
upstream 9396port{
hash $remote_addr consistent;
server 10.63.201.106:9396 max_fails=3 fail_timeout=3s;
server 10.63.201.141:9396 max_fails=3 fail_timeout=3s;
}
upstream 2999port{
hash $remote_addr consistent;
server 10.63.201.106:2999 max_fails=3 fail_timeout=3s;
server 10.63.201.141:2999 max_fails=3 fail_timeout=3s;
}
upstream 2000port{
hash $remote_addr consistent;
server 10.63.201.106:2000 max_fails=3 fail_timeout=3s;
server 10.63.201.141:2000 max_fails=3 fail_timeout=3s;
}
server {
listen 1666;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 1666port;
}
server {
listen 1888;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 1888port;
}
server {
listen 9396;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 9396port;
}
server {
listen 2999;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 2999port;
}
server {
listen 2000;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 2000port;
}
}
------------------
安装ubuntu
开启root账号
sudo passwd root
安装nginx和stream模块
http://nginx.com/products/application-load-balancing/
直接用ubuntu环境测试
sudo apt-get install libpcre3 libpcre3-dev build-essential
http://hg.nginx.org/nginx/ 自己找相关的平台和版本
sudo wget http://nginx.org/download/nginx-1.12.0.tar.gz
sudo tar zxvf ./nginx-1.12.0.tar.gz
sudo cd nginx-1.12.0
/configure --with-stream
1、gcc、g++依赖库：sudo apt-get install build-essential，sudoapt-get install libtool
2、安装 pcre依赖库：sudo apt-get install libpcre3 libpcre3-dev
3、安装 zlib依赖库：sudo apt-get install zlib1g-dev
4、安装ssl依赖库：sudo apt-get install openssl
5、安装nginx:sudo apt-get install nginx
【Tips: 】.其他插件（含http NLB）
./configure --with-stream --with-http_stub_status_module --with-http_sub_module --prefix=/usr/local/nginx --with-debug
sudo make
sudo make install
【TIP2】:设置网络
修改/etc/network/interfacs
sudo nano（gedit） /etc/network/interfaces
确认里面
auto eth{0}
iface eth{0} inet DHCP
重启网卡：
sudo service networking restart
修改 nginx.conf文件中的参数变量
#--在events
events {
worker_connections 1024;
}
#--之后添加
stream{
upstream 1666port{
hash $remote_addr consistent;
server 10.63.201.106:1666 max_fails=3 fail_timeout=3s;
server 10.63.201.141:1666 max_fails=3 fail_timeout=3s;
}
upstream 1888port{
hash $remote_addr consistent;
server 10.63.201.106:1888 max_fails=3 fail_timeout=3s;
server 10.63.201.141:1888 max_fails=3 fail_timeout=3s;
}
upstream 9396port{
hash $remote_addr consistent;
server 10.63.201.106:9396 max_fails=3 fail_timeout=3s;
server 10.63.201.141:9396 max_fails=3 fail_timeout=3s;
}
upstream 2999port{
hash $remote_addr consistent;
server 10.63.201.106:2999 max_fails=3 fail_timeout=3s;
server 10.63.201.141:2999 max_fails=3 fail_timeout=3s;
}
upstream 2000port{
hash $remote_addr consistent;
server 10.63.201.106:2000 max_fails=3 fail_timeout=3s;
server 10.63.201.141:2000 max_fails=3 fail_timeout=3s;
}
server {
listen 1666;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 1666port;
}
server {
listen 1888;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 1888port;
}
server {
listen 9396;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 9396port;
}
server {
listen 2999;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 2999port;
}
server {
listen 2000;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass 2000port;
}
}
stream core 一些变量
注意：变量支持是从 nginx 1.11.2版本开始的
$binary_remote_addr
二进制格式的客户端地址
$bytes_received
从客户端接收到的字节数
$bytes_sent
发往客户端的字节数
$hostname
连接域名
$msec
毫秒精度的当前时间
$nginx_version
nginx 版本
$pid
worker进程号
$protocol
通信协议（UDP or TCP）
$remote_addr
客户端ip
$remote_port
客户端端口
$server_addr
接受连接的服务器ip，计算此变量需要一次系统调用。所以避免系统调用，在listen指令里必须指定具体的服务器地址并且使用参数bind。
$server_port
接受连接的服务器端口
$session_time
毫秒精度的会话时间（版本1.11.4开始）
$status
会话状态（版本1.11.4开始), 可以是一下几个值：
200
成功
400
不能正常解析客户端数据
403
禁止访问
500
服务器内部错误
502
网关错误，比如上游服务器无法连接
503
服务不可用，比如由于限制连接等措施导致
$time_iso8601
ISO 8601时间格式
$time_local
普通日志格式的时间戳
stream 模块
目前官网上列出的第三方模块、简直就是http模块的镜像、比如access模块访问控制ip和ip段，map模块实现映射、 geo模块实现地理位置映射、等等。使用这些模块的时候一定要看是哪个版本才支持的、比如log模块，只有在nginx-1.11.4才支持。
ngx_stream_core_module
ngx_stream_access_module
ngx_stream_geo_module
ngx_stream_geoip_module
ngx_stream_js_module
ngx_stream_limit_conn_module
ngx_stream_log_module
ngx_stream_map_module
ngx_stream_proxy_module
ngx_stream_realip_module
ngx_stream_return_module
ngx_stream_split_clients_module
ngx_stream_ssl_module
ngx_stream_ssl_preread_module
ngx_stream_upstream_module
ngx_stream_upstream_hc_module
参考：
Nginx 的 TCP 负载均衡介绍
Nginx 始具有TCP负载均衡的功能。从Nginx 1.9版本开始加入的，Nginx除了以前常用的HTTP负载均衡外，Nginx增加基于TCP协议实现的负载均衡方法。
HTTP负载均衡，也就是我们通常所有“七层负载均衡”，工作在第七层“应用层”。而TCP负载均衡，就是我们通常所说的“四层负载均衡”，工作在“网络层”和“传输层”。例如，LVS（Linux Virtual Server，Linux虚拟服务）和F5（一种硬件负载均衡设备），也是属于“四层负载均衡”。
TCP负载均衡的配置方式
Nginx使用了一个新的stream模块来实现TCP负载均衡，这个模块，类似于http和mail模块，允许我们配置一组监听TCP连接的服务。允许你配置多个服务的TCP连接，通过在upstream的server组中配置proxy_pass指令。
修改nginx.conf文件，在http模块的统计目录，添加一个stream模块（和http等同级）：
MySQL
stream {
server {
listen 1034;
proxy_pass app;
}
upstream app {
server 192.168.0.3:1034;
server 192.168.0.4:1034;
server 192.168.0.6:1034;
}
}
stream {
server {
listen 1034;
proxy_pass app;
}
upstream app {
server 192.168.0.3:1034;
server 192.168.0.4:1034;
server 192.168.0.6:1034;
}
}
TCP负载均衡的执行原理
当Nginx从监听端口收到一个新的客户端链接时，立刻执行路由调度算法，获得指定需要连接的服务IP，然后创建一个新的上游连接，连接到指定服务器。
TCP负载均衡支持Nginx原有的调度算法，包括Round Robin（默认，轮询调度），哈希（选择一致）等。同时，调度信息数据也会和健壮性检测模块一起协作，为每个连接选择适当的目标上游服务器。如果使用Hash负载均衡的调度方法，你可以使用$remote_addr（客户端IP）来达成简单持久化会话（同一个客户端IP的连接，总是落到同一个服务server上）。
和其他upstream模块一样，TCP的stream模块也支持自定义负载均和的转发权重（配置“weight=2”），还有backup和down的参数，用于踢掉失效的上游服务器。max_conns参数可以限制一台服务器的TCP连接数量，根据服务器的容量来设置恰当的配置数值，尤其在高并发的场景下，可以达到过载保护的目的。
Nginx监控客户端连接和上游连接，一旦接收到数据，则Nginx会立刻读取并且推送到上游连接，不会做TCP连接内的数据检测。Nginx维护一份内存缓冲区，用于客户端和上游数据的写入。如果客户端或者服务端传输了量很大的数据，缓冲区会适当增加内存的大小。
当Nginx收到任意一方的关闭连接通知，或者TCP连接被闲置超过了proxy_timeout配置的时间，连接将会被关闭。对于TCP长连接，我们更应该选择适当的proxy_timeout的时间，同时，关注监听socke的so_keepalive参数，防止过早地断开连接。
服务健壮性监控
TCP负载均衡模块支持内置健壮性检测，一台上游服务器如果拒绝TCP连接超过proxy_connect_timeout配置的时间，将会被认为已经失效。在这种情况下，Nginx立刻尝试连接upstream组内的另一台正常的服务器。连接失败信息将会记录到Nginx的错误日志中。
如果一台服务器，反复失败（超过了max_fails或者fail_timeout配置的参数），Nginx也会踢掉这台服务器。服务器被踢掉60秒后，Nginx会偶尔尝试重连它，检测它是否恢复正常。如果服务器恢复正常，Nginx将它加回到upstream组内，缓慢加大连接请求的比例。
之所“缓慢加大”，因为通常一个服务都有“热点数据”，也就是说，80%以上甚至更多的请求，实际都会被阻挡在“热点数据缓存”中，真正执行处理的请求只有很少的一部分。在机器刚刚启动的时候，“热点数据缓存”实际上还没有建立，这个时候爆发性地转发大量请求过来，很可能导致机器无法“承受”而再次挂掉。以mysql为例子，我们的mysql查询，通常95%以上都是落在了内存cache中，真正执行查询的并不多。
其实，无论是单台机器或者一个集群，在高并发请求场景下，重启或者切换，都存在这个风险，解决的途径主要是两种：
（1）请求逐步增加，从少到多，逐步积累热点数据，最终达到正常服务状态。
（2）提前准备好“常用”的数据，主动对服务做“预热”，预热完成之后，再开放服务器的访问。
TCP负载均衡原理上和LVS等是一致的，工作在更为底层，性能会高于原来HTTP负载均衡不少。但是，不会比LVS更为出色，LVS被置于内核模块，而Nginx工作在用户态，而且，Nginx相对比较重。
TCP负载均衡原理上和LVS等是一致的，工作在更为底层，性能会高于原来HTTP负载均衡不少。但是，不会比LVS更为出色，LVS被置于内核模块，而Nginx工作在用户态，而且，Nginx相对比较重。
---------------------
安装keepalived
1、sudo apt-get install libpopt-dev
cd /usr/local/keepalived
2、下载源码
sudo wget http://www.keepalived.org/software/keepalived-1.3.5.tar.gz
tar -zxvf keepalived-1.2.2.tar.gz
cd keepalived-1.2.2
./configure --prefix=/usr/local/keepalived
make
make install
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
mkdir -p /etc/keepalived/
vim /etc/keepalived/keepalived.conf
/usr/local/keepalived/sbin/keepalived
----------------------------
Tips：
应用nginx的stream模块实现的tcp的nlb，能够较好的支持wcf的透明负载均衡，结合keepalived实现多个linux服务器之间的float ip（virual IP-vip）高可用切换，但是在包转发的时候存在一定的延迟，性能在100多倍（从毫秒级到百毫秒级-貌似与业务的复杂度无关，允许多个并发同时进行，吞吐量很大，并发性能优异，但每个进程还是有握手、仲裁、建立iptable虚表、转发的性能损耗）