Nginx七层&四层负载均衡
·
文章目录
1. SLB实现的场景
为什么要用负载均衡？
当我们的Web服务器直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，我使用多台Web服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中，实现负载的分发。那么会大大提升系统的吞吐率、请求性能、高容灾
往往我们接触的最多的是SLB(Server Load Balance)负载均衡，实现最多的也是SLB、那么SLB它的调度节点和服务节点通常是在一个地域里面。那么它在这个小的逻辑地域里面决定了他对部分服务的实时性、响应性是非常好的。
所以说当海量用户请求过来以后，它同样是请求调度节点，调度节点将用户的请求转发给后端对应的服务节点，服务节点处理完请求后在转发给调度节点，调度节点最后响应给用户节点。这样也能实现一个均衡的作用，那么Nginx则是一个典型的SLB.
负载均衡的叫法有很多：
负载
Load Balance
LB
公有云：
SLB 阿里云负载均衡
QLB 青云负载均衡
CLB 腾讯云负载均衡
ULB ucloud负载均衡
常见的负载均衡的软件:
Nginx
Haproxy
LVS
- 四层负载均衡: 转发 改写数据包 源IP 源端口 目标IP 目标端口 真实的目标IP 目标端口
- 七层负载均衡: 代理 代为办理
负载均衡能实现的应用场景一: 四层负载均衡
所谓四层负载均衡指的是OSI七层模型中的传输层，那么传输层Nginx已经能支持TCP/IP的控制，所以只需要对客户端的请求进行TCP/IP协议的包转发就可以实现负载均衡，那么它的好处是性能非常快、只需要底层进行应用处理，而不需要进行一些复杂的逻辑
负载均衡能实现的应用场景二:七层负载均衡
七层负载均衡它是在应用层，那么它可以完成很多应用方面的协议请求，比如我们说的http应用的负载均衡，它可以实现http信息的改写、头信息的改写、安全应用规则控制、URL匹配规则控制、以及转发、rewrite等等的规则，所以在应用层的服务里面，我们可以做的内容就更多，那么Nginx则是一个典型的七层负载均衡SLB
2. L4与L7区别
四层负载均衡数据包在底层就进行了分发，而七层负载均衡数据包则是在最顶层进行分发、由此可以看出，
七层负载均衡效率没有四负载均衡高。
但七层负载均衡更贴近于服务，如:http协议就是七层协议，
我们可以用Nginx可以作会话保持，URL路径规则匹配、head头改写等等，这些是四层负载均衡无法实现的。
PS：四层负载均衡不识别域名，七层负载均衡识别域名。
负载均衡是基于代理实现的一种形式。
3. L7配置示例
[root@web01 conf.d]# scp web.cheng.com.conf root@172.16.1.8:/etc/nginx/conf.d/
[root@web02 conf.d]# mkdir /html
[root@web02 conf.d]# echo "web02...." > /html/index.html
[root@web02 conf.d]# nginx -t
[root@web02 conf.d]# systemctl restart nginx
[root@web01 conf.d]# curl -H Host:web.cheng.com http://172.16.1.7
web01.....
[root@web01 conf.d]# curl -H Host:web.cheng.com http://172.16.1.8
web02....
负载均衡配置：
[root@lb01 conf.d]# cat proxy_web.cheng.com.conf
upstream web{
server 172.16.1.7:80;
server 172.16.1.8:80;
}
server {
listen 80;
server_name web.cheng.com;
location / {
proxy_pass http://web; //web指的是虚拟资源池的名字
include proxy_params;
}
}
#后端web配置 (为了区分,将两台web的站点配置的不一样,以便测试效果)
[root@web01 conf.d]# cat web.cheng.com.conf
server {
listen 80;
server_name web.cheng.com;
location / {
root /html;
index index.html;
}
}
4. L7整合集群架构
Wordpress 知乎 --------->整合集群架构实战
1.配置wordpress
[root@lb01 conf.d]# cat proxy_word.cheng.com.conf
upstream word {
server 172.16.1.7:80;
server 172.16.1.8:80;
}
server {
listen 80;
server_name word.cheng.com;
location / {
proxy_pass http://word;
include proxy_params;
}
}
2.配置知乎
[root@lb01 conf.d]# cat proxy_zh.cheng.com.conf
upstream zh {
server 172.16.1.7:80;
server 172.16.1.8:80;
}
server {
listen 80;
server_name zh.cheng.com;
location / {
proxy_pass http://zh;
include proxy_params;
}
}
3.检测并重启Nginx服务
[root@lb01 conf.d]# nginx -t
[root@lb01 conf.d]# systemctl restart nginx
4.将域名解析至负载均衡10.0.0.5这台服务器
5.通过浏览器分别访问Wordpress和知乎网站
PS1：若数据库连接错误，检查数据库服务器是否启动，其次检查数据库服务是否开启
PS2：若网站中图片不显示，则检查NFS存储服务器是否启动，其次检查是否将图片等数据挂载至NFS存储
5. L7调度算法、后端状态
负载均衡如何分配流量?
方式一：强与弱
强与弱场景实战演示：
[root@lb01 conf.d]# cat proxy_web.cheng.com.conf
upstream web{
server 172.16.1.7 weight=5;
server 172.16.1.8 weight=1;
}
server {
listen 80;
server_name web.cheng.com;
location / {
proxy_pass http://web;
include proxy_params;
}
}
[root@lb01 conf.d]# nginx -t
[root@lb01 conf.d]# systemctl restart nginx
通过浏览器检验效果
方式二：平均
调度算法---------------概述
-
轮询 按时间顺序逐一分配到不同的后端服务器(默认)
机器的配置一致 (web集群 硬件环境 一致) -
weight 加权轮询,weight值越大,分配到的访问几率越高
机器硬件不一致的情况下使用 (硬件 pc机) -
ip_hash 每个请求按访问IP的hash结果分配,这样来自同一IP的固定访问一个后端服务器
解决问题: 能解决会话保持的问题
带来新的问题: 会造成后端负载不均衡
ip_hash场景演示：
[root@lb01 conf.d]# cat proxy_web.cheng.com.conf
upstream web{
ip_hash;
server 172.16.1.7;
server 172.16.1.8;
}
server {
listen 80;
server_name web.cheng.com;
location / {
proxy_pass http://web;
include proxy_params;
}
}
[root@lb01 conf.d]# systemctl restart nginx
url_hash 按照访问URL的hash结果来分配请求,是每个URL定向到同一个后端服务器
least_conn 最少链接数,那个机器链接数少 就分发
6. L7后端状态
| 状态 | 概述 |
|---|---|
| down | 当前的server暂时不参与负载均衡 |
| backup | 预留的备份服务器 |
| max_fails | 允许请求失败的次数 |
| fail_timeout | 经过max_fails失败后, 服务暂停时间 |
| max_conns | 限制最大的接收连接数 |
a max_fails=2 fail_timeout=10s 运维
b max_fails=2 fail_timeout=10s 运维
c backup; 开发 运维
d down; 离职
企业案例:使用nginx负载均衡时，如何将后端请求超时的服务器流量平滑的切换到另一台上。如果后台服务连接超时，Nginx是本身是有机制的，如果出现一个节点down掉的时候，Nginx会更据你具体负载均衡的设置，将请求转移到其他的节点上，但是，如果后台服务连接没有down掉，但是返回错误异常码了如:504、502、500，应该如何处理。
可以在负载均衡添加如下配置proxy_next_upstream http_500 | http_502 | http_503 | http_504 |http_404;意思是，当其中一台返回错误码404,500…等错误时，可以分配到下一台服务器程序继续处理，提高平台访问成功率。
nginx本身是有剔除机制, 指的是 后端的nginx没有正常工作
proxy_next_upstream nginx是正常工作,只不过后端的php或者其他程序出现问题 502
server {
listen 80;
server_name yinwucheng.com;
location / {
proxy_pass http://node;
proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
}
}
7. L7实现Redis会话共享
1、粘性session
粘性session是指Ngnix每次都将同一用户的所有请求转发至同一台服务器上，及Nginx的 IP_hash。
2、session复制
即每次session发生变化时，创建或者修改，就广播给集群中的服务器，使所有的服务器上的session相同。
3、session持久化 ( 慢 )
将session存储至数据库中，像操作数据一样操作session。
4、session共享
缓存session至内存数据库中，使用redis ( 内存–>刷到磁盘 )，memcached (内存数据库)。
5、session场景实践
将PHP程序Session存储至Redis内存数据库实现Session共享
第一步：在 172.16.1.8 和 172.16.1.7 安装 phpmyadmin
分别进行测试-->测试登录
#1.安装phpmyadmin（web01和web02上都装）
[root@web01 conf.d]# cd /code
[root@web01 code]# wget https://files.phpmyadmin.net/phpMyAdmin/4.8.4/phpMyAdmin-4.8.4-all-languages.zip
[root@web01 code]# unzip phpMyAdmin-4.8.4-all-languages.zip
#2.配置phpmyadmin连接远程的数据库
[root@web01 code]# cd phpMyAdmin-4.8.4-all-languages/
[root@web01 phpMyAdmin-4.8.4-all-languages]# cp config.sample.inc.php config.inc.php
[root@web01 phpMyAdmin-4.8.4-all-languages]# vim config.inc.php
/* Server parameters */
$cfg['Servers'][$i]['host'] = '172.16.1.51'; ----->31行
#3.配置Nginx
[root@web01 conf.d]# cat php.cheng.com.conf
server {
listen 80;
server_name php.cheng.com;
root /code/phpmyadmin;
client_max_body_size 100m;
location / {
index index.php;
}
location ~ \.php$ {
fastcgi_pass 127.0.0.1:9000;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
}
[root@web01 conf.d]# nginx -t
[root@web01 conf.d]# systemctl restart nginx
4.Host解析
5.修改权限
[root@web01 ~]# chown -R www.www /var/lib/php/
6.
[root@web01 ~]# scp /etc/nginx/conf.d/php.cheng.com.conf root@172.16.1.8:/etc/nginx/conf.d/
7.
[root@web01 ~]# scp -rp /code/phpMyAdmin-4.9.0.1-all-languages root@172.16.1.8:/code/
8.
[root@web02 code]# ln -s /code/phpMyAdmin-4.9.0.1-all-languages/ /code/phpmyadmin
9.修改权限
[root@web02 code]# chown -R www.www /var/lib/php/
10.做10.0.0.8域名解析
第二步：接入负载均衡 ---> 代理至后端2台主机
1.配置
[root@lb01 conf.d]# cat proxy_php.cheng.com.conf
upstream php {
server 172.16.1.7;
server 172.16.1.8;
}
server {
listen 80;
server_name php.cheng.com;
location / {
proxy_pass http://php;
include proxy_params;
}
}
2.Host解析
3.发现无法正常登陆
1.解决方法:
在负载均衡上配置 ip_hash 会话保持 ( 造成用户仅访问后端的某一台主机 )
[root@lb01 conf.d]# cat proxy_php.cheng.com.conf
upstream php {
ip_hash;
server 172.16.1.7;
server 172.16.1.8;
}
server {
listen 80;
server_name php.cheng.com;
location / {
proxy_pass http://php;
include proxy_params;
}
}
--------------------------------------------------------------------------
4.既希望能够实现流量的均摊,又希望会话的问题得以保持, 所以引入了redis
1)准备一台Redis服务器，安装redis
[root@redis ~]# yum install -y http://rpms.famillecollet.com/enterprise/remi-release-7.rpm
然后可以使用下面的命令安装最新版本的redis：
yum --enablerepo=remi install redis
2)配置redis
[root@redis ~]# vim /etc/redis.conf +61
bind 127.0.0.1 172.16.1.52
3)启动redis
[root@redis ~]# systemctl start redis
[root@redis ~]# systemctl enable redis
4) 改造php, session写本地修改为写入redis中 (所有的web上都需要配置)
前提: 已经安装过了redis的模块---> php71w-pecl-redis
[root@web01 ~]# cat /etc/php-zts.d/redis.ini
; Enable redis extension module
extension = redis.so
; phpredis can be used to store PHP sessions.
; To do this, uncomment and configure below
;session.save_handler = redis
;session.save_path = "tcp://host1:6379?weight=1, tcp://host2:6379?weight=2&timeout=2.5, tcp://host3:6379?weight=2"
1.修改php存储session至redis中
[root@web01 ~]# vim /etc/php.ini
session.save_handler = redis
session.save_path = "tcp://172.16.1.51:6379?weight=1"
2.修改php-fpm 注释默认存储session的位置
[root@web01 ~]# vim /etc/php-fpm.d/www.conf
;php_value[session.save_handler] = files ;代表注释
;php_value[session.save_path] = /var/lib/php/session
3.将修改后的配置文件,推送至172.16.1.8
[root@web01 ~]# scp /etc/php.ini root@172.16.1.8:/etc/
[root@web01 ~]# scp /etc/php-fpm.d/www.conf root@172.16.1.8:/etc/php-fpm.d/www.conf
4.重启172.16.1.7 172.16.1.8两台服务器的php-fpm
[root@web01 ~]# systemctl restart php-fpm.service
[root@web02 conf.d]# systemctl restart php-fpm
5.去掉负载均衡服务器中的hash
[root@lb01 conf.d]# cat proxy_php.cheng.com.conf
upstream php {
server 172.16.1.7;
server 172.16.1.8;
}
server {
listen 80;
server_name php.cheng.com;
location / {
proxy_pass http://php;
include proxy_params;
}
}
5) 测试效果
1.浏览器登录测试 (ok)
2.查看redis的sessionID和 浏览器cookie中提交的sessionID是否一致
8. SLB + ECS 实践
ECS 云主机 ===> 服务器 ( Linux 操作系统 安装 Nginx PHP )
SLB 产品 ===> 开源技术 ( Tengine LVS ) 手动配置负载均衡没什么区别
1) 购买云主机 ( 按量 —> 释放 )
2) 配置云主机环境 Nginx +PHP
3) 购买SLB负载均衡 ( 按量 —> 释放 )
4) 集成 SLB+ECS
5) DNS解析
9. 七层负载均衡
根据url 调度不同的集群 url.cheng.com
10.0.0.5
10.0.0.7 /pass
10.0.0.8 /user
1.web01和web02配置 (只不过代码不一样)
[root@web01 conf.d]# cat url.cheng.com.conf
server {
listen 80;
server_name url.cheng.com;
root /code;
location / {
index index.html;
}
}
[root@web01 code]# cat index.html
Hello PC.....
[root@web02 code]# cat index.html
Hello phone....
2.lb【10.0.0.5】配置
[root@lb01 conf.d]# cat proxy_url.cheng.com.conf
upstream user {
server 172.16.1.8;
}
upstream pass {
server 172.16.1.7;
}
server {
listen 80;
server_name url.cheng.com;
location /user {
proxy_pass http://user/;
include proxy_params;
}
location /pass {
proxy_pass http://pass/;
include proxy_params;
}
}
3.检测语法并重启nginx服务
[root@lb01 ~]# nginx -t
[root@lb01 conf.d]# systemctl restart nginx
在使用proxy_pass反向代理时,最后结尾添加/和不添加/有什么区别?
查看区别详细描述链接
1.不添加 /
用户如果请求: http://url.cheng.com/user
会被代理至后端: http://url.cheng.com/user
2.添加 /
用户如果请求: http://url.cheng.com/user
会被代理至后端: http://url.cheng.com/
根据设备调度不同的集群( 浏览器 ) ( 手机 )
10.0.0.5--------》lb【负载均衡】
10.0.0.7 pc
10.0.0.8 phone
1.所有的web【01-02】都需要配置 ( 代码不一样)
[root@web01 conf.d]# cat agent.cheng.com.conf
server {
listen 80;
server_name agent.cheng.com;
root /code;
location / {
index index.html;
}
}
2.代理配置【10.0.0.5】
[root@lb01 conf.d]# cat proxy_agent.cheng.com.conf
upstream pc {
server 172.16.1.7:80;
}
upstream phone {
server 172.16.1.8:80;
}
server {
listen 80;
server_name agent.cheng.com;
location / {
#默认都走PC
proxy_pass http://pc;
include proxy_params;
default_type text/html;
charset utf-8;
#如果是Android或iphone,则走phone
if ( $http_user_agent ~* "android|iphone|iPad") {
proxy_pass http://phone;
}
#如果是IE浏览器，要么拒绝访问，要么返回一个正版的浏览器下载界面
if ( $http_user_agent ~* "Trident"){
return 200 '<a href="https://www.cnblogs.com/yinwu/p/11569452.html" target="_blank">点击访问正版</a>';
}
}
}
10. 四层负载均衡
1、什么是四层 OSI 传输层 TCP/IP UDP/TCP
四层是基于转发方式
2、四层负载均衡使用场景
1.四层负载均衡 + 七层负载均衡
2.dns + 多机房 + 四层负载均衡+七层负载均衡
3.SOA 松耦合架构
登录 passport.jd.com
注册 reg.jd.com
商品详情 pro.jd.com
4.基于端口的转发
11. L4+L7+Web集群实战
1.环境准备；
2.实战操作
1.服务器10.0.0.6安装nginx
[root@lb02 ~]# yum install nginx
2.将10.0.0.5（七层负载）这台机器nginx下的所有文件分别推送至10.0.0.6和10.0.0.4
[root@lb01 ~]# scp -rp /etc/nginx root@172.16.1.6:/etc/
[root@lb01 ~]# scp -rp /etc/nginx root@172.16.1.4:/etc/
3.检测并重启nginx服务
[root@lb02 ~]# nginx -t
[root@lb02 ~]# systemctl restart nginx
4.将zh.cheng.com域名作解析，测试10.0.0.6七层负载是否配置？
5.将所有域名做解析至10.0.0.4
6.定义四层配置文件路径:
......
events {
worker_connections 1024;
}
#定义四层负载均
include /etc/nginx/conf.c/*.conf;
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
......
7.进行初始化操作 【注意：若不删除七层负载的配置，无法正常使用四层，因为都是占用80端口导致nginx启动失败，博主建议删除conf.d下所有文件】
[root@lb03 ~]# rm -f /etc/nginx/conf.d/default.conf
[root@lb03 ~]# mkdir /etc/nginx/conf.c
8.配置四层负载均衡
[root@lb03 conf.c]# cat all.conf
stream {
upstream zh {
server 172.16.1.5:80;
server 172.16.1.6:80;
}
server {
listen 80;
proxy_pass zh;
proxy_timeout 3s; #超时时间
proxy_connect_timeout 3s; #连接时间
}
}
[root@lb03 conf.c]# nginx -t
[root@lb03 conf.c]# systemctl restart nginx
9.通过浏览器访问以及查看10.0.0.5和10.0.0.6的日志进行验证
通过以下日志我们可以看出轮询的效果！！！
nginx是1.9版本以后才引入的四层负载均衡
stream模块实现,但stream不能出现在http层
–with-stream
-with-stream_ssl_module
-with-stream_realip_module
1.stream模块介绍：
stream {
upstream backend {
hash $remote_addr consistent;
server backend1.example.com:12345 weight=5;
server 127.0.0.1:12345 max_fails=3 fail_timeout=30s;
server unix:/tmp/backend3;
}
server {
listen 12345;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass backend;
}
}
2.基于端口的转发:
需求: 用户连接10.0.0.4的6666端口,其实连接的是172.16.1.7的22/TCP端口
需求: 用户连接10.0.0.4的5555端口,其实连接的是172.16.1.51的3306/TCP端口
1.将7和51这台机器的WAN口断掉
2.配置四层负载
[root@lb03 conf.c]# cat all.conf
stream {
upstream zh {
server 172.16.1.5:80;
server 172.16.1.6:80;
}
upstream ssh {
server 172.16.1.7:22;
}
upstream mysql {
server 172.16.1.51:3306;
}
server {
listen 6666;
proxy_pass ssh;
}
server {
listen 5555;
proxy_pass mysql;
}
server {
listen 80;
proxy_pass zh;
proxy_timeout 3s; #超时时间
proxy_connect_timeout 3s; #连接时间
}
}
3.测试转发后的端口是否能正常登陆
[D:\~]$ ssh root@10.0.0.4 6666 ------>>>可正常登陆
4.测试连接数据库
4.四层负载均衡怎么记录日志 必须在stream层,不能出现在http层?
#四层负载均衡是没有access的日志的，因为在nginx.conf的配置中，access的日志格式是配置在http下的，而四层负载均衡配置时在http以外的；
#如果需要日志则需要配置在stream下面
[root@lb-7-4 /etc/nginx/conf.c]# cat zh.cheng.com.conf
stream {
log_format proxy '$remote_addr - [$time_local] $status $protocol'
'"$upstream_addr" "$upstream_bytes_sent" "$upstream_connect_time"';
access_log /var/log/nginx/tcp.log proxy;
upstream zh {
server 10.4.7.5:80;
server 10.4.7.6:80;
}
server {
listen 80;
proxy_pass zh;
proxy_timeout 3s; #超时时间
proxy_connect_timeout 3s; #连接时间
}
}
12. 配置阿里云L4实现端口转发
公网666转到内网的22
公网80 转到内网的多台7层负载均衡的80
1. 根据url调度
2. 根据设备调度
3. 四层负载均衡
4. 四层负载均衡使用场景
4+7
dns+4+7
SOA
5. 四层+七层负载的配置
6. 四层转发的配置
7. 四层日志记录
8. 阿里云四层负载
13. 最终架构
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)