搭建TiDB负载均衡环境-HAproxy+KeepAlived实践

博主：安安
发布时间：2024 年 12 月 17 日
32 次浏览
暂无评论
9559字数
分类： Linux 数据库

## 前言

HAProxy 提供 TCP 协议下的负载均衡能力，TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作，实现 TiDB Server 层的负载均衡。同时，HAproxy部署2个节点，使用KeepAlived来实现高可用。

### 环境说明

TiDB版本：V7.1.0

haproxy版本：2.6.2

OS环境：Centos 7.9

### 简易架构：

![0](https://pic.s3.link-x.cn/2024/aacd499c57d72c88.png)

此文档根据生产实际环境搭建验证后，总结输出，IP经过脱敏。

## 一、安装HAproxy

主备节点都安装，配置文件全部一致，没有主备之分。

参考：[https://docs.pingcap.com/zh/tidb/stable/haproxy-best-practices#haproxy-在-tidb-中的最佳实践](https://docs.pingcap.com/zh/tidb/stable/haproxy-best-practices#haproxy-%E5%9C%A8-tidb-%E4%B8%AD%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5)

### 1、下载haproxy

`wget `[`https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz`](https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz)

### 2、编译安装HAproxy

先安装依赖包

`yum -y install epel-release gcc systemd-devel`

编译安装HAproxy

```
tar zxf haproxy-2.6.2.tar.gz 
cd haproxy-2.6.2 make clean make -j 8 TARGET=linux-glibc USE_THREAD=1 
make PREFIX=/opt/haproxy SBINDIR=/opt/haproxy/bin install
```

### 3、配置环境变量

所有用户

```
echo 'export PATH=/opt/haproxy/bin:$PATH' >> /etc/profile 
. /etc/profile 
which haproxy
```

### 4、haproxy.cfg配置文件

vim /opt/haproxy/haproxy.cfg

```bash
global                                     # 全局配置。
   log         127.0.0.1 local2            # 定义全局的 syslog 服务器，最多可以定义两个。
   chroot      /opt/haproxy/var/lib/haproxy            # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。
   pidfile     /opt/haproxy/var/run/haproxy.pid        # 将 HAProxy 进程的 PID 写入 pidfile。
   maxconn     4096                        # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 "-n"。
   nbthread    48                          # 最大线程数。线程数的上限与 CPU 数量相同。
   user        tidb                     # 同 UID 参数。
   group       tidb                     # 同 GID 参数，建议使用专用用户组。
   daemon                                  # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。
   stats socket /opt/haproxy/var/lib/haproxy/stats     # 统计信息保存位置。

defaults                                   # 默认配置。
   log global                              # 日志继承全局配置段的设置。
   retries 2                               # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。
   timeout connect  2s                     # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。
   timeout client 30000s                   # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。
   timeout server 30000s                   # 服务器端非活动连接的超时时间。

listen admin_stats                         # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。
   bind 0.0.0.0:8080                       # 监听端口。
   mode http                               # 监控运行的模式，此处为 `http` 模式。
   option httplog                          # 开始启用记录 HTTP 请求的日志功能。
   maxconn 10                              # 最大并发连接数。
   stats refresh 30s                       # 每隔 30 秒自动刷新监控页面。
   stats uri /haproxy                      # 监控页面的 URL。
   stats realm HAProxy                     # 监控页面的提示信息。
   stats auth admin:Pingcap             # 监控页面的用户和密码，可设置多个用户名。
   stats hide-version                      # 隐藏监控页面上的 HAProxy 版本信息。
   stats  admin if TRUE                    # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。

listen tidb-cluster                        # 配置 database 负载均衡。
   bind 192.168.1.238:4000                       # 浮动 IP 和 监听端口。
   mode tcp                                # HAProxy 要使用第 4 层的传输层。
   balance leastconn                       # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。
   server tidb-192.168.1.217:4000  192.168.1.217:4000 check inter 2000 rise 2 fall 3       # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。
   server tidb-192.168.1.237:4000  192.168.1.237:4000 check inter 2000 rise 2 fall 3
```

### 5、创建配置文件里面使用到的目录

```
mkdir -p /opt/haproxy/var/lib/haproxy/ 
mkdir -p /opt/haproxy/var/run
```

### 6、修改系统参数

一定要记得sysctl -p生效

```
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf 
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf 
sysctl -p
```

### 7、启动HAproxy

```
haproxy -f /opt/haproxy/haproxy.cfg
```

### 8、访问HAProxy监控页面

密码见配置文件auth部分配置。

[http://192.168.1.214:8080/haproxy](http://192.168.1.214:8080/haproxy)

[http://192.168.1.215:8080/haproxy](http://192.168.1.215:8080/haproxy)

## 二、keepalived安装、配置

前面已经安装了HAproxy，并且启动。但是VIP并不会自动给你挂上。HAproxy进程挂了也不会给你拉起来，HA也不能做主备切换。这时候就该KP登场拉。

### 1、安装keepalived

直接yum安装，省时省力。

```
yum -y install keepalived
```

### 2、主节点kp配置文件

vim /etc/keepalived/keepalived.conf

```
global_defs {
    router_id haproxy1                  # 虚拟路由名称
    script_user root
    enable_script_security
}

# HAProxy健康检查配置
vrrp_script chk_haproxy {
    script "/etc/keepalived/chk_haproxy.sh"         # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
    interval 5                          # 脚本运行周期，秒
}

# 虚拟路由配置
vrrp_instance VI_cubc_his {
    state MASTER                        # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
    interface eth0                    # 本机网卡名称，使用ifconfig命令查看
    virtual_router_id 238                # 虚拟路由编号，主备机保持一致
    priority 101                        # 本机初始权重，备机请填写小于主机的值（例如99）
    advert_int 1                        # 争抢虚地址的周期，秒
    authentication {
        auth_type PASS
        auth_pass 4gjfethTonUY7kXU      # 认证类型和密码主备一样，要不然无法互相认证
    }
    virtual_ipaddress {
        192.168.1.238                  # 虚地址IP，主备机保持一致
    }
    track_script {
        chk_haproxy                     # 对应的健康检查配置
    }
}
```

### 3、备节点kp配置文件

vim /etc/keepalived/keepalived.conf

```

global_defs {
    router_id haproxy2                  # 虚拟路由名称
    script_user root
    enable_script_security
}

# 虚拟路由配置
vrrp_instance VI_cubc_his {
    state BACKUP                        # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
    interface eth0                      # 本机网卡名称，使用ifconfig命令查看
    virtual_router_id 238                # 虚拟路由编号，主备机保持一致
    priority 99                         # 本机初始权重，备机请填写小于主机的值（例如99）
    advert_int 1                        # 争抢虚地址的周期，秒
    authentication {
        auth_type PASS
        auth_pass 4gjfethTonUY7kXU      # 认证类型和密码主备一样，要不然无法互相认证
    }
    virtual_ipaddress {
         192.168.1.238                  # 虚地址IP，主备机保持一致
    }
    track_script {
        chk_haproxy                     # 对应的健康检查配置
    }
}
```

注意：

virtual\_router\_id要保持一致。

不一致的地方：router\_id、priority、state

网卡名称interface根据你的实际环境来。

### 4、脚本检测扩展

kp自动检测haproxy是否启动，如果没有启动会自动启动，启动一次没成功就会自动关闭kp

vim /etc/keepalived/chk\_haproxy.sh

```
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
   /opt/haproxy/bin/haproxy -f /opt/haproxy/haproxy.cfg
   sleep 3
   if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
       systemctl stop keepalived
   fi
fi
```

记得修改权限

```
chmod 744 /etc/keepalived/chk_haproxy.sh
```

### 5、设置keepalived自动启动

如果主机重启了就不担心HAproxy不自动启动了。

```
systemctl list-unit-files |grep keepalived
```

--设置开机自动启动

```
systemctl enable keepalived.service
```

## 三、环境验证

### 1、启动备节点KP

```
systemctl start keepalived
```

验证相关进程状态和VIP

```
ps -ef|grep haproxy 
systemctl status keepalived 
ip a|grep inet
```

如果进程都在，VIP也已经挂载成功。此时可以使用VIP连接数据库拉。

### 2、启动主节点kp

```
systemctl start keepalived
```

验证相关进程状态和VIP

```
ps -ef|grep haproxy 
systemctl status keepalived 
ip a|grep inet
```

如果前面配置无误，此时VIP会自动漂移到主节点，因为主节点设置的priority更大。备节点的VIP会自动卸载。

### 3、kill haproxy测试

kill后kp会自动拉起来，如果拉不起来，kp服务也会自动停止。

所有，正常停止HAproxy，直接杀ha的进程是不行的，得手动把kp停掉。

## 四、测试IP透传功能

上面搭建好的HA环境，SHOW PROCESSLIST看到的客户端IP都是HAproxy节点的IP，如果要查看真实的IP，还需要做2点配置。

### 1、修改HAproxy的配置文件

如要通过 SHOW PROCESSLIST 查看连接来源 IP，需要配置使用 PROXY 协议连接 TiDB。

tidb配置那行添加 check port 10080 send-proxy

注意：这里把检测端口换成了10080，不是4000，不然tidb会一直刷write: connection reset by peer

```
   server tidb-192.168.1.217:4000  192.168.1.237:4000 check port 10080  send-proxy  inter 2000 rise 2 fall 3
   server tidb-192.168.1.237:4000  10.192.168.1.237:4000 check port 10080  send-proxy  inter 2000 rise 2 fall 3
```

### 2、修改tidb集群参数

使用 PROXY 协议时，你需要在 tidb-server 的配置文件中设置 proxy-protocol.networks。

```
tiup cluster edit-config tidb-test
```

添加proxy-protocol.networks参数，里面配置的IP为HAproxy节点IP。

```
server_configs:
  tidb:
    proxy-protocol.networks: 192.168.1.214,192.168.1.215
```

重启tidb节点

```
tiup cluster reload tidb-test -R tidb
```

### 3、使用VIP连接tidb验证

使用VIP连接tidb，show processlist验证IP，测试可以看到真实IP拉。

```
mysql -h192.168.1.238 -P4000 -uroot -p -A
```

常见报错：

```
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0

ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0
```

## 五、常见报错、参考文档

### 1、HAproxy启动报错

```
haproxy -f /opt/haproxy/haproxy.cfg
```

```
[NOTICE]   (3526) : haproxy version is 2.6.2-16a3646
[NOTICE]   (3526) : path to executable is /opt/haproxy/bin/haproxy
[ALERT]    (3526) : Binding [/opt/haproxy/haproxy.cfg:32] for proxy tidb-cluster: cannot bind socket (Cannot assign requested address) for [192.168.1.238:4000]
[ALERT]    (3526) : [haproxy.main()] Some protocols failed to start their listeners! Exiting.

```

没有配置系统参数，或者参数未生效。

```
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

sysctl -p
```

### 2、解决Keepalived脚本启动时warning、Unsafe

[https://blog.csdn.net/Kangyucheng/article/details/110122893](https://blog.csdn.net/Kangyucheng/article/details/110122893)

### 3、配置Haproxy透传参数send-proxy后，tidb日志一直报write: connection reset by peer

见：[https://asktug.com/t/topic/1007543/1](https://asktug.com/t/topic/1007543/1)

‍

最后修改：2024 年 12 月 21 日

如果觉得我的文章对你有用，请随意赞赏

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

搭建TiDB负载均衡环境-HAproxy+KeepAlived实践

安安 • 2024 年 12 月 17 日

## 前言

### 环境说明

TiDB版本：V7.1.0

haproxy版本：2.6.2

OS环境：Centos 7.9

### 简易架构：

![0](https://pic.s3.link-x.cn/2024/aacd499c57d72c88.png)

此文档根据生产实际环境搭建验证后，总结输出，IP经过脱敏。

## 一、安装HAproxy

主备节点都安装，配置文件全部一致，没有主备之分。

### 1、下载haproxy

`wget `[`https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz`](https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz)

### 2、编译安装HAproxy

先安装依赖包

`yum -y install epel-release gcc systemd-devel`

编译安装HAproxy

```
tar zxf haproxy-2.6.2.tar.gz 
cd haproxy-2.6.2 make clean make -j 8 TARGET=linux-glibc USE_THREAD=1 
make PREFIX=/opt/haproxy SBINDIR=/opt/haproxy/bin install
```

### 3、配置环境变量

所有用户

```
echo 'export PATH=/opt/haproxy/bin:$PATH' >> /etc/profile 
. /etc/profile 
which haproxy
```

### 4、haproxy.cfg配置文件

vim /opt/haproxy/haproxy.cfg

### 5、创建配置文件里面使用到的目录

```
mkdir -p /opt/haproxy/var/lib/haproxy/ 
mkdir -p /opt/haproxy/var/run
```

### 6、修改系统参数

一定要记得sysctl -p生效

```
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf 
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf 
sysctl -p
```

### 7、启动HAproxy

```
haproxy -f /opt/haproxy/haproxy.cfg
```

### 8、访问HAProxy监控页面

密码见配置文件auth部分配置。

[http://192.168.1.214:8080/haproxy](http://192.168.1.214:8080/haproxy)

[http://192.168.1.215:8080/haproxy](http://192.168.1.215:8080/haproxy)

## 二、keepalived安装、配置

前面已经安装了HAproxy，并且启动。但是VIP并不会自动给你挂上。HAproxy进程挂了也不会给你拉起来，HA也不能做主备切换。这时候就该KP登场拉。

### 1、安装keepalived

直接yum安装，省时省力。

```
yum -y install keepalived
```

### 2、主节点kp配置文件

vim /etc/keepalived/keepalived.conf

```
global_defs {
    router_id haproxy1                  # 虚拟路由名称
    script_user root
    enable_script_security
}

### 3、备节点kp配置文件

vim /etc/keepalived/keepalived.conf

```

global_defs {
    router_id haproxy2                  # 虚拟路由名称
    script_user root
    enable_script_security
}

注意：

virtual\_router\_id要保持一致。

不一致的地方：router\_id、priority、state

网卡名称interface根据你的实际环境来。

### 4、脚本检测扩展

kp自动检测haproxy是否启动，如果没有启动会自动启动，启动一次没成功就会自动关闭kp

vim /etc/keepalived/chk\_haproxy.sh

记得修改权限

```
chmod 744 /etc/keepalived/chk_haproxy.sh
```

### 5、设置keepalived自动启动

如果主机重启了就不担心HAproxy不自动启动了。

```
systemctl list-unit-files |grep keepalived
```

--设置开机自动启动

```
systemctl enable keepalived.service
```

## 三、环境验证

### 1、启动备节点KP

```
systemctl start keepalived
```

验证相关进程状态和VIP

```
ps -ef|grep haproxy 
systemctl status keepalived 
ip a|grep inet
```

如果进程都在，VIP也已经挂载成功。此时可以使用VIP连接数据库拉。

### 2、启动主节点kp

```
systemctl start keepalived
```

验证相关进程状态和VIP

```
ps -ef|grep haproxy 
systemctl status keepalived 
ip a|grep inet
```

如果前面配置无误，此时VIP会自动漂移到主节点，因为主节点设置的priority更大。备节点的VIP会自动卸载。

### 3、kill haproxy测试

kill后kp会自动拉起来，如果拉不起来，kp服务也会自动停止。

所有，正常停止HAproxy，直接杀ha的进程是不行的，得手动把kp停掉。

## 四、测试IP透传功能

上面搭建好的HA环境，SHOW PROCESSLIST看到的客户端IP都是HAproxy节点的IP，如果要查看真实的IP，还需要做2点配置。

### 1、修改HAproxy的配置文件

如要通过 SHOW PROCESSLIST 查看连接来源 IP，需要配置使用 PROXY 协议连接 TiDB。

tidb配置那行添加 check port 10080 send-proxy

注意：这里把检测端口换成了10080，不是4000，不然tidb会一直刷write: connection reset by peer

### 2、修改tidb集群参数

使用 PROXY 协议时，你需要在 tidb-server 的配置文件中设置 proxy-protocol.networks。

```
tiup cluster edit-config tidb-test
```

添加proxy-protocol.networks参数，里面配置的IP为HAproxy节点IP。

```
server_configs:
  tidb:
    proxy-protocol.networks: 192.168.1.214,192.168.1.215
```

重启tidb节点

```
tiup cluster reload tidb-test -R tidb
```

### 3、使用VIP连接tidb验证

使用VIP连接tidb，show processlist验证IP，测试可以看到真实IP拉。

```
mysql -h192.168.1.238 -P4000 -uroot -p -A
```

常见报错：

```
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0

ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0
```

## 五、常见报错、参考文档

### 1、HAproxy启动报错

```
haproxy -f /opt/haproxy/haproxy.cfg
```

```

没有配置系统参数，或者参数未生效。

```
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

sysctl -p
```

### 2、解决Keepalived脚本启动时warning、Unsafe

[https://blog.csdn.net/Kangyucheng/article/details/110122893](https://blog.csdn.net/Kangyucheng/article/details/110122893)

### 3、配置Haproxy透传参数send-proxy后，tidb日志一直报write: connection reset by peer

见：[https://asktug.com/t/topic/1007543/1](https://asktug.com/t/topic/1007543/1)

‍

搭建TiDB负载均衡环境-HAproxy+KeepAlived实践

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

PHP 7.2.11 安装

浏览器提示“你的连接不是专用连接”无法使用解决方案

关于SSD硬盘的指标DWPD、TBW 、P/E

python 3.8.1 编译报错 Could not import runpy module 问题

ESXI更新到6.7后CVE-2018-3646警告的处理

ESXI更新到6.7后CVE-2018-3646警告的处理

Vcenter 6.0 u3已知问题备查

java程序连oracle数据库频繁出现Connection reset问题

Oracle数据库RAC安装部署

JVM内存模型及内存分配过程

搭建TiDB负载均衡环境-HAproxy+KeepAlived实践

发表评论 取消回复 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

搭建TiDB负载均衡环境-HAproxy+KeepAlived实践

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款