本文档不提供任何配置方面的帮助或提示,但它解释了在哪里可以找到相关文档。下面的概述旨在帮助您按名称搜索章节并在文档中导航。致文档贡献者:本文档的格式为每行 80 列,缩进使用偶数个空格,不使用制表符。请严格遵守这些规则,以便在任何地方都能轻松打印。如果您添加章节,请更新下面的概述以便于搜索。
| 1. | 可用文档 | |
2. |
负载均衡和负载均衡器的快速入门 | |
3. |
HAProxy 简介 | |
| 3.1. | ||
| 3.2. | ||
| 3.3. | ||
| 3.3.1. | ||
| 3.3.2. | ||
| 3.3.3. | ||
| 3.3.4. | ||
| 3.3.5. | ||
| 3.3.6. | ||
| 3.3.7. | ||
| 3.3.8. | ||
| 3.3.9. | ||
| 3.3.10. | ||
| 3.3.11. | ||
| 3.3.12. | ||
| 3.3.13. | ||
| 3.3.14. | ||
| 3.3.15. | ||
| 3.3.16. | ||
| 3.4. | ||
| 3.4.1. | ||
| 3.4.2. | ||
| 3.4.3. | ||
| 3.4.4. | ||
| 3.5. | ||
| 3.6. | ||
4. |
配套产品和替代方案 | |
| 4.1. | ||
| 4.2. | ||
| 4.3. | ||
| 4.4. | ||
5. |
联系方式 |
完整的 HAProxy 文档包含在以下文件中。请务必查阅相关文档,以节省时间并获得最准确的响应。此外,请避免向邮件列表发送在这些文档中已有答案的问题。 - intro.txt(本文档):介绍负载均衡的基础知识、HAProxy 作为一种产品、它的功能、不具备的功能、一些已知的陷阱、一些特定于操作系统的限制、如何获取它、它的发展方向、如何确保您运行的是所有已知修复的最新版本、如何更新它,以及补充和替代方案。 - management.txt:解释如何启动 haproxy、如何在运行时管理它、如何在多个节点上管理它,以及如何进行无缝升级。 - configuration.txt:参考手册详细介绍了所有配置关键字及其选项。在需要更改配置时使用。 - coding-style.txt:这是为希望向项目提交代码的开发人员准备的。它解释了代码应采用的风格。它不是非常严格,并且并非所有代码都完全遵守它,但过度偏离它的贡献将被拒绝。 - proxy-protocol.txt:这是 PROXY 协议的事实上的规范,HAProxy 和许多第三方产品都实现了该协议。 - README:如何从源代码构建 HAProxy
负载均衡是指聚合多个组件,以实现高于每个组件个体容量的总处理能力,并且无需终端用户干预,以可扩展的方式实现。这使得在单个组件执行一项操作所需的时间内,可以同时执行更多的操作。然而,单个操作一次仍然只会在单个组件上执行,并且不会比没有负载均衡时更快。它总是需要至少与可用组件一样多的操作,以及一种有效的负载均衡机制来利用所有组件并充分受益于负载均衡。高速公路上的车道数量是一个很好的例子,它允许在同一时间范围内通过更多的汽车,而无需提高它们的个体速度。负载均衡的例子: - 多处理器系统中的进程调度 - 链路负载均衡(例如,EtherChannel、Bonding) - IP 地址负载均衡(例如,ECMP、DNS 轮询) - 服务器负载均衡(通过负载均衡器) 执行负载均衡操作的机制或组件称为负载均衡器。在 Web 环境中,这些组件称为“网络负载均衡器”,更常见的是称为“负载均衡器”,因为这项活动是迄今为止最知名的负载均衡案例。负载均衡器可以: - 在链路级别:这称为链路负载均衡,它包括选择将数据包发送到哪个网络链路; - 在网络级别:这称为网络负载均衡,它包括选择数据包序列将遵循哪个路由; - 在服务器级别:这称为服务器负载均衡,它包括决定哪个服务器将处理连接或请求。存在两种不同的技术,它们满足不同的需求,尽管存在一些重叠。在每种情况下,都必须牢记负载均衡包括将流量从其自然流向转移走,而这样做总是需要最低限度的谨慎,以在所有路由决策之间保持所需的连贯性。第一种技术在数据包级别操作,或多或少地单独处理数据包。输入和输出数据包之间存在一对一的关系,因此可以使用常规网络嗅探器在负载均衡器的两侧跟踪流量。这项技术可以非常便宜且极其快速。它通常在硬件(ASIC)中实现,能够达到线路速率,例如执行 ECMP 的交换机。通常是无状态的,它也可以是有状态的(考虑数据包所属的会话,称为第 4 层负载均衡或 L4),如果数据包未被修改,则可能支持 DSR(直接服务器返回,无需再次通过负载均衡器),但几乎不提供内容感知。这项技术非常适合网络级别的负载均衡,尽管有时也用于非常基本的服务器负载均衡,速度非常快。第二种技术操作于会话内容。它要求输入流被重组并作为一个整体进行处理。内容可能会被修改,并且输出流会被分割成新的数据包。因此,它通常由代理执行,并且通常被称为第 7 层负载均衡器或 L7。这意味着在每一侧有两个独立的连接,并且输入和输出数据包的大小或数量之间没有关系。客户端和服务器不需要使用相同的协议(例如 IPv4 与 IPv6,明文与 SSL)。操作始终是有状态的,并且返回流量必须经过负载均衡器。额外的处理会带来成本,因此并非总能达到线路速率,尤其是在处理小数据包时。另一方面,它提供了广泛的可能性,并且通常通过纯软件实现,即使嵌入在硬件设备中。这项技术非常适合服务器负载均衡。基于数据包的负载均衡器通常以穿透模式部署,因此它们安装在流量的正常路径上,并根据配置将其分流。返回流量不一定会经过负载均衡器。为了将流量定向到正确的目的地,可能会对网络目标地址进行一些修改。在这种情况下,返回流量必须经过负载均衡器。如果路由无法实现这一点,负载均衡器还可以用自己的地址替换数据包的源地址,以强制返回流量通过它。基于代理的负载均衡器作为服务器部署,拥有自己的 IP 地址和端口,无需架构更改。有时需要对应用程序进行一些调整,以便客户端能够正确地定向到负载均衡器的 IP 地址,而不是直接定向到服务器的 IP 地址。一些负载均衡器可能需要调整服务器的某些响应才能实现这一点(例如,HTTP 中的 Location 标头字段,用于 HTTP 重定向)。一些基于代理的负载均衡器可能会拦截它们不拥有的地址的流量,并在连接到服务器时伪装客户端的地址。这使得它们可以像常规路由器或防火墙一样部署,以一种非常类似于基于数据包的负载均衡器的穿透模式部署。这对于同时支持数据包模式和代理模式的产品尤其有用。在这种情况下,DSR 显然仍然不可用,并且返回流量仍然必须路由回负载均衡器。一种非常可扩展的分层方法是有一个前端路由器接收来自多个负载均衡链路的流量,并使用 ECMP 将此流量分发到第一层多个有状态的数据包负载均衡器(L4)。这些 L4 负载均衡器又将流量传递给数量更多的基于代理的负载均衡器(L7),后者必须解析内容以决定最终哪个服务器将接收流量。组件数量和流量的可能路径增加了失败的风险;在非常大的环境中,即使有少数组件永久性地出现故障并正在修复或更换,也是正常的。如果不感知整个堆栈的健康状况进行的负载均衡会显著降低可用性。因此,任何理智的负载均衡器都会验证它打算将流量发送到的组件是否仍然存活且可访问,并且它将停止将流量发送到故障组件。这可以通过各种方法实现。最常见的方法是定期发送探测器以确保组件仍然正常工作。这些探测器称为“健康检查”。它们必须能够代表要解决的故障类型。例如,基于 ping 的检查无法检测到 Web 服务器已崩溃并且不再监听端口,而连接到端口将验证这一点,并且更高级的请求甚至可以验证服务器仍然正常工作,并且它依赖的数据库仍然可访问。健康检查通常涉及几次重试,以覆盖偶尔的测量错误。检查之间的间隔必须足够小,以确保在发生错误后故障组件不会被使用过长时间。其他方法包括采样发送到目的地的生产流量,以观察它是否被正确处理,以及逐出返回不正确响应的组件。然而,这需要牺牲一部分生产流量,并且并非总是可接受的。这两种机制的结合提供了两全其美,两者都用于检测故障,而仅健康检查用于检测故障的结束。最后一种方法涉及集中报告:中央监控代理定期向所有负载均衡器更新所有组件的状态。这为所有组件提供了基础设施的全局视图,尽管有时准确性和响应性会降低。它最适合于具有许多负载均衡器和许多服务器的环境。第 7 层负载均衡器还面临另一项挑战,称为粘性或持久性。其原理是它们通常必须将来自同一来源(如最终用户)的多个后续请求或连接定向到同一目标。最知名的例子是在线商店的购物车。如果每次点击都导致新的连接,用户必须始终被发送到持有其购物车的服务器。内容感知使识别请求中的某些元素以识别要将其发送到的服务器变得更容易,但这并不总是足够的。例如,如果源地址用作选择服务器的键,则可以决定使用基于哈希的算法,并且给定 IP 地址将始终根据地址除以可用服务器数量的结果发送到同一服务器。但是,如果一个服务器发生故障,结果会改变,所有用户都会突然被发送到不同的服务器并丢失他们的购物车。解决此问题的方法是记住选择的目标,以便每次看到相同的访问者时,无论可用服务器数量如何,都会将其定向到同一服务器。信息可能存储在负载均衡器的内存中,在这种情况下,如果负载均衡器不止一个,则可能需要将其复制到其他负载均衡器;或者,信息可能存储在客户端的内存中,使用各种方法,只要客户端能够每次请求都提供此信息(cookie 插入、重定向到子域等)。此机制提供了不依赖不稳定或分布不均的信息(如源 IP 地址)的额外好处。这实际上是采用第 7 层负载均衡器而不是第 4 层负载均衡器的最有力原因。为了提取诸如 cookie、主机头字段、URL 或其他任何内容的信息,负载均衡器可能需要解密 SSL/TLS 流量,甚至可能在将其传递给服务器时重新加密。这项昂贵的工作解释了为什么在某些高流量基础设施中,有时会有大量的负载均衡器。由于第 7 层负载均衡器可能在流量上执行许多复杂的操作(解密、解析、修改、匹配 cookie、决定发送到哪个服务器等),它肯定会引起一些问题,并且通常会被指责是许多它仅仅暴露出来的问题的罪魁祸首。通常会发现服务器不稳定,周期性地出现故障或恢复,或者对于 Web 服务器,它们会提供带有硬编码链接的页面,强制客户端直接连接到特定服务器而不经过负载均衡器,或者它们在负载高时需要很长时间才能响应,导致超时。这就是为什么日志记录是第 7 层负载均衡器的一个极其重要的方面。一旦报告了问题,重要的是要弄清楚负载均衡器是否做出了错误的决定,如果做了,为什么会发生这种情况,以避免再次发生。
HAProxy 写成“HAProxy”以指代产品,写成“haproxy”以指代可执行程序、软件包或进程。然而,两者通常都用于这两个目的,并且读作 H-A-Proxy。很早以前,“haproxy”代表“high availability proxy”,并且这个名字被写成两个独立的单词,尽管现在它只代表“HAProxy”。
HAProxy 是: - TCP 代理:它可以接受来自监听套接字的 TCP 连接,连接到服务器并将这些套接字连接起来,允许双向流量;两侧都支持 IPv4、IPv6 甚至 Unix 套接字,因此可以方便地在不同族之间转换地址。 - HTTP 反向代理(在 HTTP 术语中称为“网关”):它把自己作为一个服务器,通过监听 TCP 套接字接受的连接接收 HTTP 请求,并将这些连接中的请求通过不同的连接传递给服务器。它可以在任一侧使用 HTTP/1.x 或 HTTP/2 的任何组合,并且甚至在使用 TLS 的 ALPN 时自动检测双方的协议。 - SSL 终端/发起/卸载器:SSL/TLS 可用于来自客户端的连接、发送到服务器的连接,甚至用于两个连接。可以按名称(SNI)应用许多设置,并且可以在运行时更新,而无需重新启动。这种设置非常可扩展,据报道,涉及数万到数十万个证书的部署。 - TCP 规范化器:由于连接由操作系统本地终止,因此双方之间没有关系,因此异常流量,如无效数据包、标志组合、窗口广告、序列号、不完整连接(SYN 洪水)等,不会传递到另一侧。这可以保护脆弱的 TCP 堆栈免受协议攻击,并且还可以优化与客户端的连接参数,而无需修改服务器的 TCP 堆栈设置。 - HTTP 规范化器:当配置为处理 HTTP 流量时,仅传递有效且完整的请求。这可以防止许多基于协议的攻击。此外,规范中存在容忍的协议偏差会被修复,以免在服务器上引起问题(例如,多行头部)。 - HTTP 修复工具:它可以修改/修复/添加/删除/重写 URL 或任何请求或响应头部。这有助于修复复杂环境中的互操作性问题。 - 基于内容的交换机:它可以考虑请求的任何元素来决定将请求或连接传递给哪个服务器。因此,可以在同一端口上处理多种协议(例如,HTTP、HTTPS、SSH)。 - 服务器负载均衡器:它可以负载均衡 TCP 连接和 HTTP 请求。在 TCP 模式下,负载均衡决策是针对整个连接的。在 HTTP 模式下,决策是针对每个请求的。 - 流量调节器:它可以在各种点应用一些速率限制,保护服务器免受过载,根据内容调整流量优先级,甚至通过标记数据包将此类信息传递给较低层和外部网络组件。 - 防 DDoS 和服务滥用:它可以维护每个 IP 地址、URL、cookie 等的广泛统计数据,并检测何时发生滥用,然后采取行动(减慢违规者、阻止他们、将他们发送到过时的内容等)。 - 网络故障排除的观察点:由于日志中报告的信息非常精确,因此它经常用于缩小与网络相关的某些问题。 - HTTP 压缩卸载器:它可以压缩服务器未压缩的响应,从而减少连接不佳或使用高延迟、移动网络的客户端的页面加载时间。 - 缓存代理:它可以将响应缓存在 RAM 中,只要对象仍然存在且有效,后续对同一对象的请求就可以避免从服务器进行另一次网络传输的成本。但是,它不会将对象存储到任何持久存储中。请注意,此缓存功能旨在免维护,仅专注于节省 haproxy 宝贵的资源,而不是节省服务器的资源。旨在优化服务器的缓存需要更多的调整和灵活性。如果您需要这种高级缓存,请使用 Varnish Cache,它与 haproxy 集成得很好,尤其是在任何一侧都需要 SSL/TLS 的情况下。 - FastCGI 网关:FastCGI 可以被视为 HTTP 的不同表示,因此,HAProxy 可以直接负载均衡由任何 FastCGI 应用程序服务器组合组成的集群,而无需在它们之间插入另一层网关。这可以节省资源并降低维护成本。HAProxy 不是: - 显式 HTTP 代理,即浏览器用于访问互联网的代理。有优秀的开源软件专门用于此任务,例如 Squid。但是,HAProxy 可以安装在这种代理前面,以提供负载均衡和高可用性。 - 数据清理器:它不会修改请求或响应的正文。 - 静态 Web 服务器:在启动过程中,它会将自身隔离在 chroot 监狱中并放弃其特权,以便启动后不会执行任何文件系统访问。因此,它不能被变成静态 Web 服务器(但通过 FastCGI 支持动态服务器)。有优秀的开源软件可以做到这一点,例如 Apache 或 Nginx,并且 HAProxy 可以轻松地安装在它们前面,以提供负载均衡、高可用性和加速。 - 基于数据包的负载均衡器:它看不到 IP 数据包或 UDP 数据报,也不会执行 NAT,更不用说 DSR。这些是较低层的任务。一些基于内核的组件(如 IPVS(Linux 虚拟服务器))已经做得很好,并且与 HAProxy 完美互补。
HAProxy 是一个事件驱动的、非阻塞引擎,结合了非常快速的 I/O 层和基于优先级的多线程调度器。由于其设计目标是数据转发,因此其架构经过优化,能够以最少的操作尽可能快地移动数据。它通过将连接尽可能长时间地绑定到同一个 CPU 来专注于优化 CPU 缓存的效率。因此,它实现了一个分层模型,在每个级别提供绕行机制,确保数据在不需要时不会到达更高的级别。大部分处理在内核中完成,HAProxy 通过提供一些提示或避免某些操作(当它猜测它们可以稍后分组时)来尽最大努力帮助内核尽可能快地完成工作。因此,典型数据显示,在 TCP 或 HTTP 关闭模式下,HAProxy 中花费的处理时间为 15%,内核中为 85%;在 HTTP 长连接模式下,HAProxy 占 30%,内核占 70%。一个进程可以运行许多代理实例;据报道,单个进程中最多可运行 300,000 个不同的代理。对于 99% 以上的用户来说,单核、单 CPU 的设置绰绰有余,因此,鼓励容器和虚拟机用户使用绝对最小的镜像,以节省运营成本并简化故障排除。但是,HAProxy 运行的机器绝不能交换,并且其 CPU 不能被人为限制(在虚拟机管理程序中进行子 CPU 分配)或与计算密集型进程共享,否则会导致非常高的上下文切换延迟。线程允许通过每个 CPU 核心使用一个线程来利用所有可用的处理能力。这主要对 SSL 有用,或者在需要超过 40 Gbps 的数据转发速率时。在这种情况下,避免多个物理 CPU 之间的通信至关重要,这可能导致网络堆栈和 HAProxy 本身出现严重的瓶颈。虽然有些人可能觉得这违反直觉,但在遇到性能问题时,第一件事通常是减少 HAProxy 运行的 CPU 数量。HAProxy 只需要 haproxy 可执行文件和配置文件即可运行。对于日志记录,强烈建议设置一个配置良好的 syslog 守护程序和日志轮换。日志也可以发送到 stdout/stderr,这在容器内部很有用。配置文件在启动前解析,然后 HAProxy 尝试绑定所有监听套接字,如果任何失败则拒绝启动。在此之后,它就不会失败了。这意味着没有运行时失败,并且如果它接受启动,它将一直工作直到被停止。一旦 HAProxy 启动,它只执行 3 项操作: - 处理传入的连接; - 定期检查服务器状态(称为健康检查); - 与其他 haproxy 节点交换信息。处理传入连接是迄今为止最复杂的操作,因为它取决于许多配置可能性,但可以概括为以下 9 个步骤: - 从属于“frontend”(前端)配置实体的监听套接字接受传入连接,该实体引用一个或多个监听地址; - 对这些连接应用前端特定的处理规则,这可能导致阻塞它们、修改某些头部或拦截它们以执行某些内部小程序,如统计页面或 CLI; - 将这些传入连接传递给另一个代表服务器场(称为“backend”)的配置实体,该实体包含服务器列表和该服务器场的负载均衡策略; - 对这些连接应用后端特定的处理规则; - 根据负载均衡策略决定将连接转发给哪个服务器; - 对响应数据应用后端特定的处理规则; - 对响应数据应用前端特定的处理规则; - 发出日志以详细报告发生了什么; - 在 HTTP 中,返回到第二步以等待新请求,否则关闭连接。前端和后端有时被视为半代理,因为它们只查看端到端连接的一侧;前端只关心客户端,而后端只关心服务器。HAProxy 还支持全代理,它们是前端和后端的精确联合。当需要 HTTP 处理时,配置通常会分为前端和后端,因为它们开辟了许多可能性,因为任何前端都可以将连接传递给任何后端。对于纯 TCP 代理,使用前端和后端通常没有好处,并且使用全代理可以使配置更易读。
本节将列举 HAProxy 实现的许多功能,其中一些是任何现代负载均衡器通常期望的,而另一些则是 HAProxy 架构的直接优势。更高级的功能将在下一节中详细介绍。
代理是通过两个独立连接在客户端和服务器之间传输数据的操作。HAProxy 在代理和连接管理方面支持以下基本功能: - 为服务器提供干净的连接,以保护它们免受任何客户端方面的缺陷或攻击; - 监听多个 IP 地址和/或端口,甚至端口范围; - 透明接受:拦截针对不属于本地系统的任意 IP 地址的流量; - 服务器端口不需要与监听端口相关,甚至可以通过固定偏移量进行翻译(在范围情况下有用); - 透明连接:在连接到服务器时,如果需要,可以伪装客户端(或任何)的 IP 地址; - 为多站点负载均衡器中的服务器提供可靠的返回 IP 地址; - 通过缓冲区和可能的短期连接卸载服务器,以减少它们的并发连接数和内存占用; - 优化 TCP 堆栈(例如 SACK)、拥塞控制,并减少 RTT 影响; - 支持双方不同的协议族(例如 IPv4/IPv6/Unix); - 超时强制:HAProxy 根据连接的阶段支持多个级别的超时,这样死去的客户端或服务器,或攻击者就不能长时间占用资源; - 协议验证:检查 HTTP、SSL 或有效负载,并拒绝无效的协议元素,除非指示它们仍然接受; - 策略强制:确保只转发允许的内容; - 入站和出站连接都可以限制在特定的网络命名空间(仅限 Linux),从而可以轻松构建跨容器、多租户的负载均衡器; - PROXY 协议即使对于非 HTTP 流量,也会将客户端的 IP 地址提供给服务器。这是 HAProxy 的一项扩展,已被许多第三方产品采用,至少在撰写本文时是这样: - 客户端:haproxy, stud, stunnel, exaproxy, ELB, squid - 服务器:haproxy, stud, postfix, exim, nginx, squid, node.js, varnish
HAProxy 的 SSL 堆栈被 Google 的工程师(http://istlsfastyet.com/)认为是功能最全的之一。最常用的功能使其相当完整: - 基于 SNI 的多主机托管,站点数量无限制,专注于性能。据知至少有一个部署运行 50,000 个域及其各自的证书; - 对通配符证书的支持减少了对许多证书的需求; - 基于证书的客户端身份验证,具有配置在提供有效证书失败时的策略。例如,这允许提供不同的服务器场来重新生成客户端证书; - 后端服务器的身份验证确保后端服务器是真实的,而不是中间人; - 与后端服务器的身份验证允许后端服务器知道连接到它的是预期的 haproxy 节点; - TLS NPN 和 ALPN 扩展使得能够可靠地卸载 SPDY/HTTP2 连接并将它们以明文形式传递给后端服务器; - OCSP stapling 通过在客户端请求证书状态请求时内联提供 OCSP 响应,进一步减少了首次页面加载时间; - 动态记录大小提供了高性能和低延迟,并允许浏览器在数据包仍在传输过程中开始获取新对象,从而显著减少页面加载时间; - 永久访问所有相关的 SSL/TLS 层信息,用于日志记录、访问控制、报告等。这些元素可以嵌入到 HTTP 头部中,甚至作为 PROXY 协议扩展,这样卸载的服务器就可以获得它自己执行 SSL 终止时将拥有的所有信息。 - 检测、记录和阻止某些已知攻击,即使在易受攻击的 SSL 库上,例如影响某些 OpenSSL 版本的 Heartbleed 攻击。 - 支持无状态会话恢复(RFC 5077 TLS Ticket 扩展)。TLS 票证可以从 CLI 更新,这为它们提供了实现完美前向保密的方法,通过频繁轮换票证。
HAProxy 非常注重可用性。因此,它关心服务器状态,并向其他网络组件报告自己的状态: - 服务器状态使用每个服务器参数持续监控。这确保了服务器的路径对于常规流量是可操作的; - 健康检查支持上/下转换的两个滞后,以防止状态闪烁; - 可以将检查发送到不同的地址/端口/协议:这使得检查一个被认为是多个服务的代表的单个服务变得容易,例如,HTTP+HTTPS 服务器的 HTTPS 端口。 - 服务器可以跟踪其他服务器并同时宕机:这确保了托管多个服务的服务器可以原子地失败,并且没有人会被发送到部分失败的服务器; - 可以在服务器上部署代理来监控负载和健康状况:服务器可能希望报告其负载、运行状态、管理状态,这独立于健康检查可以看到的内容。通过在服务器上运行一个简单的代理,除了验证整个路径的健康检查之外,还可以考虑服务器自身的健康状况; - 提供各种检查方法:TCP 连接、HTTP 请求、SMTP hello、SSL hello、LDAP、SQL、Redis、send/expect 脚本,均可带/不带 SSL; - 状态更改会在日志和统计页面中通知,并附带失败原因(例如,检测到失败时收到的 HTTP 响应)。发生此类更改时,还可以向可配置地址发送电子邮件; - 服务器状态也会在统计界面上报告,并可用于做出路由决策,以便根据其大小/或健康状况将流量发送到不同的集群(例如,丢失了跨数据中心的链接); - HAProxy 可以使用健康检查请求将信息传递给服务器,例如它们的名称、权重、集群中的其他服务器数量等,以便服务器可以根据此知识调整其响应和决策(例如,推迟备份以保留更多 CPU 可用); - 服务器可以使用健康检查来报告比仅仅开/关更详细的状态(例如,我想停止,请不要再发送新访客); - HAProxy 本身可以将其状态报告给外部组件,如路由器或其他负载均衡器,从而可以构建非常完整的、多路径和多层的基础设施。
与任何严肃的负载均衡器一样,HAProxy 非常关注可用性,以确保最佳的全局服务连续性: - 仅使用有效的服务器;其他服务器会自动从负载均衡集群中移除;在某些条件下仍然可以强制使用它们; - 支持平滑关闭,以便可以在不影响任何连接的情况下将服务器从集群中移除; - 在活动服务器宕机时,会自动使用备用服务器并替换它们,以便在可能的情况下不会丢失会话。这还允许构建到达同一服务器的多个路径(例如,多个接口); - 当太多服务器宕机时,能够为集群返回全局失败状态。这与监控功能相结合,使得上游组件能够为给定服务选择不同的 LB 节点; - 无状态设计易于构建集群:HAProxy 在设计上会尽力确保最高的业务连续性,而无需存储在故障发生时可能丢失的信息。这确保了接管过程尽可能无缝; - 与标准的 VRRP 守护程序 keepalived 集成良好:HAProxy 可以轻松地向 keepalived 报告其状态,并很好地处理浮动虚拟 IP 地址。注意:仅在基于集群的解决方案(Heartbeat 等)上使用 IP 冗余协议(VRRP/CARP),因为它们提供最快速、最无缝、最可靠的切换。
HAProxy 提供了一套相当完整的负载均衡功能,其中大部分不幸的是在许多其他负载均衡产品中都不可用: - 支持不少于 10 种负载均衡算法,其中一些算法应用于输入数据,从而提供了无限的可能性列表。最常见的算法是轮询(round-robin)(对于短连接,依次选择每个服务器),最少连接(leastconn)(对于长连接,选择连接数最少且最近最少使用的服务器),源地址(source)(对于 SSL 农场或终端服务器农场,服务器直接取决于客户端的源地址),URI(对于 HTTP 缓存,服务器直接取决于 HTTP URI),HDR(服务器直接取决于特定 HTTP 头部字段的内容),first(对于短暂的虚拟机,所有连接都打包到尽可能小的服务器子集,以便可以关闭未使用的服务器); - 以上所有算法都支持按服务器权重,因此可以容纳农场中的不同代服务器,或将一小部分流量导向特定服务器(调试模式,运行软件的下一个版本等); - 支持轮询(round-robin)、最少连接(leastconn)和一致性哈希(consistent hashing)的动态权重;这允许从 CLI 甚至通过服务器上的代理修改服务器权重; - 支持慢启动(slow-start),只要支持动态权重;这允许服务器逐步承担流量。这对于需要运行时编译类别的脆弱应用程序服务器以及需要填充才能全速运行的冷缓存非常重要; - 哈希可以应用于各种元素,例如客户端的源地址、URL 组件、查询字符串元素、头部字段值、POST 参数、RDP cookie; - 一致性哈希(consistent hashing)在添加或删除服务器时可以保护服务器场免受大规模重新分配。这对于大型缓存场非常重要,它允许使用慢启动来填充冷缓存; - 许多内部指标,例如每个服务器、每个后端连接数,后端可用连接槽数等,使得构建非常高级的负载均衡策略成为可能。
如果没有粘性(stickiness),应用程序负载均衡将毫无意义。HAProxy 提供了相当全面的可能性来使访客保持在同一台服务器上,即使在服务器添加/移除、关闭/开启周期等各种事件中,并且一些方法设计用于抵抗多个负载均衡节点之间的距离,因为它们不需要任何复制: - 如果需要,可以单独匹配和学习来自不同位置的粘性信息。例如,JSESSIONID cookie 可以在 cookie 和 URL 中同时匹配。最多可以同时学习 8 个并行源,每个源都可能指向一个不同的粘性表; - 粘性信息可以来自请求或响应中可以看到的任何内容,包括源地址、TCP 有效载荷偏移量和长度、HTTP 查询字符串元素、头部字段值、cookie 等。 - 粘性表(stick-tables)在所有节点之间以多主模式(multi-master fashion)复制; - SSL-ID 或 RDP cookie(对于 TSE 场)等常用元素可直接访问,以便于操作; - 所有粘性规则都可以由 ACL(访问控制列表)动态条件化; - 可以决定不对某些服务器(如备份服务器)进行粘性处理,以便当主服务器恢复时,它会自动重新承担负载。这通常在多路径环境中使用; - 在 HTTP 中,通常不学习任何内容,而是操纵一个专用于粘性的 cookie。为此,可以检测、重写、插入或添加前缀来让客户端记住分配了哪个服务器; - 服务器可以决定在注销时更改或清除粘性 cookie,以便离开的访客可以自动与服务器解除绑定; - 使用基于 ACL 的规则,还可以选择性地忽略或强制执行粘性,而不管服务器状态如何;这与高级健康检查相结合,有助于管理员在将服务器呈现给全世界之前验证其是否正常运行; - 一种创新的机制,用于设置 cookie 的最大空闲时间和持续时间,确保粘性可以顺利停止在永不关闭的设备(智能手机、电视、家用电器)上,而无需将它们存储在持久存储中; - 多个服务器条目可能共享相同的粘性密钥,这样在多路径环境中,当一个路径发生故障时,粘性就不会丢失; - 慢停止(soft-stop)确保只有具有粘性信息的用户才会继续访问他们被分配到的服务器,而新用户将不会访问该服务器。
HAProxy 支持使用一套广泛的“样本提取函数”(sample fetch functions)进行信息采样。其原理是提取称为样本的信息片段,以供即时使用。这用于粘性,构建条件,在日志中生成信息或丰富 HTTP 头部。样本可以从各种来源提取: - 常量:整数、字符串、IP 地址、二进制块; - 进程:日期、环境变量、服务器/前端/后端/进程状态、字节/连接计数/速率、队列长度、随机生成器等。 - 变量:每个会话、每个请求、每个响应变量; - 客户端连接:源地址和端口,以及所有相关的统计计数器; - SSL 客户端会话:协议、版本、算法、密码、密钥大小、会话 ID、所有客户端和服务器证书字段、证书序列号、SNI、ALPN、NPN、客户端对某些扩展的支持; - 请求和响应缓冲区内容:偏移量/长度处的任意有效载荷、数据长度、RDP cookie、SSL hello 类型解码、TLS SNI 解码; - HTTP(请求和响应):方法、URI、路径、查询字符串参数、状态码、头部值、位置头部值、cookie、捕获、认证、正文元素; 然后,样本可能通过一系列称为“转换器”(converters)的操作符进行某种转换。转换器消耗一个样本并生成一个新的样本,可能类型完全不同。例如,转换器可用于仅返回输入字符串的整数长度,或将字符串转换为大写。在最终使用之前,可以将任意数量的转换器串行应用于样本。在所有可用的样本转换器中,以下是最常用的: - 算术和逻辑运算符:它们使得对输入数据进行高级计算成为可能,例如计算比率、百分比或简单地从一个单位转换为另一个单位; - IP 地址掩码在需要按较大网络分组某些地址时很有用; - 数据表示:URL 解码、base64、十六进制、JSON 字符串、哈希; - 字符串转换:在固定位置提取子字符串、固定长度、在特定分隔符周围提取字段、提取特定单词、更改大小写、应用基于正则表达式的替换; - 日期转换:转换为 HTTP 日期格式、本地转换为 UTC 反之亦然、添加或删除偏移量; - 查找粘性表中的条目以查找统计信息或分配的服务器; - 基于映射文件进行键值转换(主要用于地理位置)。
映射是一种强大的转换器类型,它通过在启动时将一个两列文件加载到内存中,然后从第一列查找每个输入样本,如果找到条目,则返回第二列中的相应模式,否则返回默认值。输出信息也是一个样本,它可以经历其他转换,包括其他映射查找。映射最常用于将客户端的 IP 地址转换为 AS 号或国家代码,因为它们支持网络地址的最长匹配,但它们可以用于各种其他目的。它们的部分优势在于它们可以从 CLI 或通过其他样本的某些操作进行动态更新,从而使它们能够存储和检索后续访问之间的信息。另一个优势来自基于二进制树的索引,这使得它们即使包含数十万个条目也极其快速,从而使地理位置的设置非常便宜且容易。
HAProxy 中的大多数操作都可以是条件性的。条件通过使用逻辑运算符(AND、OR、NOT)组合多个 ACL 来构建。每个 ACL 是一系列基于以下元素的测试: - 一个样本提取方法,用于检索要测试的元素; - 一系列可选的转换器,用于转换元素; - 一组模式进行匹配; - 一个匹配方法,用于指示如何将模式与样本进行比较。例如,样本可以从 HTTP“Host”头部提取,然后可以转换为小写,然后使用正则表达式匹配方法与一组正则表达式进行匹配。从技术上讲,ACL 是基于与映射(maps)相同的核心构建的,它们共享完全相同的内部结构、模式匹配方法和性能。唯一的实际区别是,它们不返回样本,而只返回“找到”或“未找到”。在使用方面,ACL 模式可以在配置文件中内联声明,而不需要自己的文件。ACL 可以命名以方便使用或使配置更易理解。一个命名 ACL 可以声明多次,它会按顺序评估所有定义,直到其中一个匹配。提供了大约 13 种不同的模式匹配方法,其中包括 IP 地址掩码、整数范围、子字符串、正则表达式。它们的工作方式类似于函数,就像任何编程语言一样,只有需要的部分才会被评估,因此当涉及 OR 的条件已经为真时,接下来的就不会被评估,同样当涉及 AND 的条件已经为假时,条件的其余部分也不会被评估。声明的 ACL 数量没有实际限制,并且提供了一些常用的 ACL。然而,经验表明,使用大量命名 ACL 的设置很难进行故障排除,并且有时使用内联匿名 ACL 会更简单,因为它在正在分析的范围之外需要的引用更少。
HAProxy 实现了一种称为基于内容的切换(content-based switching)的机制。其原理是连接或请求到达一个前端,然后处理该请求或连接携带的信息,此时可以编写基于 ACL 的条件,利用这些信息来决定哪个后端处理该请求。因此,流量根据请求的内容被定向到一个后端或另一个后端。最常见的例子是使用 Host 头部和/或路径中的元素(子目录或文件名扩展名)来决定 HTTP 请求是针对静态对象还是应用程序,并将静态对象的流量路由到由快速轻量级服务器组成的后端,其余所有流量路由到更复杂的应用程序服务器,从而构成一种细粒度的虚拟主机解决方案。这对于让多种技术共存以作为更全局的解决方案非常方便。另一种内容切换的用例是根据各种标准使用不同的负载均衡算法。缓存可能使用 URI 哈希,而应用程序会使用轮询。最后但同样重要的是,它允许多个客户通过强制实施每个后端(因此是每个客户连接限制)来使用一小部分通用资源。内容切换规则扩展性很好,尽管其性能可能取决于 ACL 的数量和复杂性。但也可以编写动态内容切换规则,其中样本值直接变成后端名称,而根本不使用 ACL。据报道,这种配置在生产环境中至少与 300000 个后端一起运行良好。
粘性表(stick-tables)通常用于存储粘性信息,即保留一个引用,指向某个访客被导向的服务器。键是与访客关联的标识符(其源地址、连接的 SSL ID、HTTP 或 RDP cookie、从 URL 或有效载荷中提取的客户编号等),存储的值是服务器的标识符。粘性表可以使用 3 种不同类型的样本作为其键:整数、字符串和地址。每个代理只能引用一个粘性表,并且在所有地方都用代理名称指定。最多可以并行跟踪 8 个键。在键和服务器都已知后,服务器标识符会在请求或响应处理期间提交。粘性表的内容可以与称为“对等节点”(peers)的其他 HAProxy 节点以及重新加载操作期间的新进程以活动-活动模式进行复制,以便所有负载均衡节点共享相同的信息并在客户端请求分布在多个节点时做出相同的路由决策。由于粘性表是根据识别客户端的条件建立索引的,因此它们也经常用于存储额外信息,例如每个客户端的统计信息。额外统计信息占用一些额外空间,并且需要显式声明。可能存储的统计信息类型包括输入和输出带宽、并发连接数、一段时间内的连接速率和计数、错误数量和频率、一些特定的标签和计数器等。为了支持在不强制粘性到给定服务器的情况下保留此类信息,实现了一个特殊的“跟踪”(tracking)功能,允许同时跟踪来自不同表的最多 3 个并发键,而不考虑粘性规则。每个存储的统计信息都可以从 CLI 搜索、转储和清除,并增加了实时故障排除能力。虽然此机制可用于升级返回的访客或根据好坏行为调整提供的服务质量,但它主要用于对抗服务滥用,尤其是 DDoS,因为它允许构建复杂的模型以高处理速度检测某些不良行为。
HAProxy 需要在许多地方处理字符串,例如日志、重定向、标头添加等。为了提供最大的灵活性,引入了“格式化字符串”的概念,最初是为了日志记录目的,因此它仍然被称为“log-format”。这些字符串包含转义字符,允许将各种动态数据(包括变量和样本获取表达式)引入字符串,甚至在结果被转换为字符串时调整编码(例如,添加引号)。这提供了一种强大的方法来构建标头内容、响应数据甚至响应模板,或自定义日志行。此外,为了保持大多数常见字符串的构建简单,提供了大约 50 个特殊标签作为日志中常用信息的快捷方式。
在应用程序没有为此设计的情况下,在它前面安装负载均衡器可能是一项具有挑战性的任务,如果没有适当的工具。在这种情况下,最常要求的操作之一是调整请求和响应头部,使负载均衡器看起来像原始服务器并修复硬编码的信息。这包括更改请求中的路径(强烈不建议这样做)、修改 Host 头部字段、修改重定向的 Location 响应头部字段、修改 cookie 的路径和域属性,等等。还有一些服务器可能相当冗长,并且倾向于在响应中泄露过多的信息,使其更容易受到定向攻击。虽然理论上清理这些不是负载均衡器的作用,但实际上它位于基础设施的最佳位置,可以确保所有内容都被清理干净。类似地,有时负载均衡器需要拦截某些请求并用重定向到新目标 URL 来响应。虽然有些人倾向于混淆重定向和重写(rewriting),但这是两个完全不同的概念,因为重写使客户端和服务器看到不同的内容(并且对正在访问的页面的位置存在分歧),而重定向则要求客户端访问新的 URL,以便它看到与服务器相同的位置。为了做到这一点,HAProxy 支持重写和重定向的各种可能性,其中包括: - 基于正则表达式的请求和响应中的 URL 和头部重写。正则表达式是最常用的修改头部值的工具,因为它们易于操作且被广泛理解; - 还可以根据格式化字符串追加、删除或替换头部,以便在那里传递信息(例如,客户端 TLS 算法和密码); - HTTP 重定向可以使用任何 3xx 代码重定向到相对、绝对或完全动态(格式化字符串)的 URI; - HTTP 重定向还支持一些额外选项,例如设置或清除特定 cookie、删除查询字符串、在缺少时追加斜杠等; - 强大的“return”指令允许使用动态内容甚至模板文件自定义响应的每个部分,如状态、头部、正文。 - 所有操作都支持基于 ACL 的条件;
HAProxy 竭尽全力最大化服务可用性,为此它付出了巨大的努力来保护服务器免受过载和攻击。第一个也是最重要的点是,只有完整且有效的请求才会被转发到服务器。最初的原因是 HAProxy 需要找到它用来与字节流保持同步的协议元素,第二个原因是直到请求完成,才知道某些元素是否会改变其语义。由此产生的直接好处是服务器不会暴露于无效或不完整的请求。这是一种非常有效的保护,可以防止慢速攻击(slowloris attacks),这对 HAProxy 几乎没有影响。另一个重要点是 HAProxy 包含用于存储请求和响应的缓冲区,并且当请求完成时才将其发送到服务器,并且从本地网络非常快速地读取整个响应,服务器端连接的使用时间非常短,这尽可能地节省了服务器资源。由此直接延伸的是,HAProxy 可以人为地限制到服务器的并发连接数或未完成请求数,这保证了即使在流量高峰期间服务器持续以 100% 的容量运行,也不会过载。所有多余的请求都将被排队,以便在一个槽释放时进行处理。最终,这种巨大的资源节省通常会确保更好的服务器响应时间,以至于它实际上比过载服务器更快。排队的请求可能会被重新调度到其他服务器,或者当客户端中止时在队列中被中止,这还可以保护服务器免受“重载效应”(reload effect),即访问者对加载缓慢的页面点击“重载”通常会产生新请求并使服务器保持过载状态。慢启动(slow-start)机制还可以保护重启中的服务器在它们仍在完成启动或编译某些类时免受高流量的影响。关于协议级保护,可以放宽 HTTP 解析器以接受非标准但无害的请求或响应,甚至可以修复它们。这使得可以访问有问题(bogus)的应用程序,同时正在开发修复程序。同时,违规消息会被完全捕获并附带详细报告,帮助开发人员发现应用程序中的问题。最危险的协议违规会被正确检测和处理和修复。例如,具有两个 Content-length 头的格式错误的请求或响应,如果值完全相同则会被修复,如果值不同则会被拒绝,因为这会成为安全问题。协议检查不仅限于 HTTP,也适用于 TLS 或 RDP 等其他协议。当检测到协议违规或攻击时,有各种选项可以响应用户,例如返回常见的“HTTP 400 bad request”,通过 TCP 重置关闭连接,或在长时间延迟后假装错误(“tarpit”)以混淆攻击者。所有这些都有助于通过阻止攻击者继续进行代价高昂的攻击来保护服务器。HAProxy 还提供了一些更高级的选项来防止意外数据泄露和会话交叉。它不仅可以记录可疑的服务器响应,还可以记录并选择性地阻止可能影响给定访客机密性的响应。一个这样的例子是出现在可缓存响应中的可缓存 cookie,这可能导致中间缓存将其传递给另一个访客,从而导致意外的会话共享。
日志记录对于负载均衡器来说是一项极其重要的功能,首先是因为负载均衡器常常错误地被指责导致它揭示的问题,其次是因为它位于基础设施的关键点,其中所有正常和异常活动都需要进行分析并与其他组件进行关联。HAProxy 提供非常详细的日志,精确到毫秒,以及可以根据防火墙日志进行搜索的确切连接接受时间(例如,用于 NAT 关联)。默认情况下,TCP 和 HTTP 日志非常详细,包含排查问题所需的一切,例如源 IP 地址和端口、前端、后端、服务器、计时器(请求接收持续时间、队列持续时间、连接建立时间、响应头部时间、数据传输时间)、全局进程状态、连接计数、队列状态、重试计数、详细的粘性操作和断开原因、带有安全输出编码的头部捕获。然后,可以扩展或替换此格式以包含任何采样数据、变量、捕获,从而产生非常详细的信息。例如,可以记录客户端累计请求数或访问过的不同 URL 数量。日志级别可以按请求使用标准 ACL 进行调整,因此可以自动静默一些被认为是垃圾信息的日志,并在一小部分流量发生异常行为时(例如,源地址的 URL 过多或 HTTP 错误)提高警告级别。管理日志也以其自己的级别发出,以通知例如服务器的丢失或恢复。每个前端和后端可以使用多个独立的日志输出,这便于多租户。日志优选通过 UDP 发送,可能是 JSON 编码的,并且在配置的行长度后被截断,以保证传输。但也可以将它们发送到 stdout/stderr 或任何文件描述符,以及一个客户端可以订阅以检索它们的环形缓冲区。
HAProxy 提供一个基于 Web 的统计信息报告界面,具有身份验证、安全级别和范围。因此,可以为每个托管的客户提供他们自己的页面,只显示他们自己的实例。此页面可以位于常规网站的隐藏 URL 部分,这样就不需要打开新端口。此页面还可以报告其他 HAProxy 节点的可用性,以便一目了然地发现一切是否按预期工作。视图是综合性的,并且有很多详细信息可供访问(例如,错误原因、最后访问时间和最后更改时长等),这些信息也可作为 CSV 表格提供,其他工具可以导入该表格来绘制图表。页面可以自我刷新,以便在大显示器上用作监控页面。在管理模式下,该页面还允许更改服务器状态以简化维护操作。还提供了一个 Prometheus 导出器,以便统计信息可以根据部署以不同的格式进行消耗。
HAProxy 的设计是在常规生产环境中保持极高的稳定性和安全性。它提供为单个可执行文件,无需任何安装过程。多个版本可以轻松共存,这意味着可以通过重要性顺序渐进地升级实例(推荐),而不是一次性迁移所有实例。配置文件易于版本控制。配置检查是离线完成的,因此不需要重新启动可能失败的服务。在配置检查期间,可以检测到许多高级错误(例如,一个规则隐藏了另一个规则,或者粘性不起作用),并提供详细的警告和配置提示来修复它们。向后配置文件的兼容性非常远,版本 1.5 仍然完全支持 13 年前编写的版本 1.1 的配置,而 1.6 只删除了几乎未使用且已废弃的关键字,这些关键字可以用其他方式实现。配置和软件升级机制平滑且不中断,因为它允许旧进程和新进程在系统上共存,每个进程处理自己的连接。系统状态、构建选项和库兼容性在启动时报告。一些高级功能允许应用程序管理员平滑地停止服务器,检测其上不再有活动,然后将其下线、停止、升级并确保在升级过程中不接受任何流量,然后通过正常路径重新测试它,而无需向公众开放,所有这些操作都不需要触及 HAProxy。这确保了即使是复杂的产品操作也可以在工作时间内完成,并且所有技术资源都可用。该过程尽量节省资源,使用内存池来节省分配时间并限制内存碎片,一旦内容发送就释放有效载荷缓冲区,并支持强制严格的内存限制,超过该限制的连接必须等待缓冲区可用,而不是分配更多内存。此系统有助于确保在某些严格环境中的内存使用。命令行接口 (CLI) 可通过 UNIX 或 TCP 套接字使用,以执行大量操作并检索故障排除信息。在此套接字上执行的所有操作都不需要更改配置,因此主要用于临时更改。使用此接口可以更改服务器的地址、权重和状态,查询统计信息并清除计数器,转储并清除粘性表,可能按键条件选择性地转储和清除,转储并杀死客户端和服务器端连接,转储捕获的错误并详细分析错误的具体原因和位置,转储、添加和删除 ACL 和映射中的条目,更新 TLS 共享密钥,对任意前端应用连接限制和速率限制(在共享托管环境中很有用),并禁用特定前端以释放监听端口(在禁止白天操作但仍需要修复时很有用)。允许在运行时更新证书及其配置,以及启用和查询流量每个处理步骤的跟踪。对于强制要求 SNMP 的环境,至少存在两个代理,一个随 HAProxy 源代码提供,依赖于 Net-SNMP Perl 模块。另一个随商业软件包提供,不需要 Perl。两者在覆盖范围方面大致相当。通常建议在部署 HAProxy 的机器上安装 4 个实用工具: - socat(用于连接到 CLI,尽管某些 netcat 的分支在一定程度上也可以做到); - 来自最新 HAProxy 版本的 halog:这是日志分析工具,它极快地解析原生的 TCP 和 HTTP 日志(每秒 1 到 2 GB),并提取有用的信息和统计信息,例如每个 URL、每个源地址的请求,按响应时间或错误率排序的 URL,终止代码等。它是为部署在生产服务器上以帮助解决实时问题而设计的,因此它必须在那里准备好使用; - tcpdump:强烈建议使用它来获取日志中可见问题的排查所需的网络跟踪。在某个时刻,应用程序和 HAProxy 的分析会出现分歧,而网络跟踪是确定谁对谁错的唯一方法。通过 tcpdump 检测网络堆栈和虚拟化程序中的错误也很常见; - strace:它是 tcpdump 的伴侣。它将报告 HAProxy 实际看到的内容,并帮助区分操作系统负责的问题与 HAProxy 负责的问题。当怀疑 HAProxy 存在 bug 时,通常会要求使用 strace;
根据 HAProxy 部署的操作系统,可能提供或需要某些额外的功能。虽然它支持许多平台,但 HAProxy 主要在 Linux 上开发,这解释了为什么某些功能仅在该平台上可用。透明绑定和连接功能、将连接绑定到特定网络接口的支持,以及将多个进程绑定到同一 IP 地址和端口的能力仅在 Linux 和 BSD 系统上可用,尽管只有 Linux 在内核端对传入请求在可用进程之间进行负载均衡。在 Linux 上,还有许多额外的功能和优化,包括对网络命名空间(也称为“容器”)的支持,允许 HAProxy 成为所有容器之间的网关,能够在客户端连接上设置 MSS、Netfilter 标记和 IP TOS 字段,对监听端支持 TCP FastOpen,TCP 用户超时以让内核在检测到客户端在配置的超时时间之前消失时快速终止连接,TCP 拼接(splicing)以让内核在连接的两端之间转发数据,从而避免多次内存复制,能够启用“defer-accept”绑定选项,以便在内核缓冲区中有数据可用时才收到传入连接的通知,以及能够发送带有确认连接的 ACK 的请求(有时称为“piggy-back”),这通过“tcp-smart-connect”选项启用。在 Linux 上,HAProxy 还非常注重处理 TCP 延迟 ACK(delayed ACKs)以尽可能多地节省网络数据包。一些系统具有不可靠的时钟,会在过去和未来跳跃。这以前会发生在一些 NUMA 系统上,多个处理器看不到完全相同的日期,最近在虚拟化环境中变得更加普遍,其中虚拟时钟与真实时钟无关,导致巨大的时间跳跃(有时观察到高达 30 秒)。这会导致通用超时执行出现很多问题。由于这些系统的缺陷,HAProxy 维护自己的单调时钟,该时钟基于系统时钟,但会测量并补偿漂移。这确保即使在非常糟糕的系统时钟下,计时器也能保持合理的准确性,并且超时功能继续工作。请注意,此问题会影响在此类系统上运行的所有软件,并非 HAProxy 所特有。常见的影响是错误的超时或应用程序冻结。因此,如果在系统上检测到此行为,则必须修复它,无论 HAProxy 本身是否对其进行了保护。在 Linux 上,一个新的启动进程可以与前一个进程通信以重用其监听文件描述符,这样在进程替换期间监听套接字就不会中断。
HAProxy 可以通过 Lua 嵌入式语言进行构建,这为复杂的请求或响应操作、路由决策、统计处理等领域开辟了广泛的新可能性。使用 Lua 甚至可以建立到其他服务器的并行连接以交换信息。这样,例如,开发身份验证系统就成为可能(尽管很复杂)。有关如何使用 Lua 的更多信息,请参阅文件“doc/lua-api/index.rst”中的文档。
管理员可以在任何时候通过 CLI 连接并启用各种内部子系统的跟踪。默认提供不同级别的详细信息,因此实际上可以检索从每条请求一行到每条请求 500 行的内容。过滤器以及自动捕获开/关/暂停机制可用,因此实际上可以等待某个特定事件并详细观察它。这对于诊断故障服务器和客户端的协议违规或拒绝服务攻击非常方便。
典型的 CPU 使用率数据显示,HAProxy 占用了 15% 的处理时间,而内核占用了 85%(在 TCP 或 HTTP 关闭模式下);在 HTTP 长连接模式下,HAProxy 占用了约 30%,内核占用了 70%。这意味着操作系统及其调优对整体性能有很大影响。用户的使用情况差异很大,有的侧重带宽,有的侧重请求速率,有的侧重连接并发数,有的侧重 SSL 性能。本节旨在提供一些帮助完成这项任务的要素。重要的是要记住,每项操作都有成本,因此每项单独的操作都会在其之上增加开销,而这些开销在某些情况下可能微不足道,而在其他情况下则可能占主导地位。在处理连接的请求时,我们可以说:- 转发数据比解析请求或响应头部的成本低;- 解析请求或响应头部的成本比建立然后关闭到服务器的连接的成本低;- 建立和关闭连接的成本低于 TLS 恢复操作;- TLS 恢复操作的成本低于具有密钥计算的完整 TLS 握手;- 空闲连接比持有数据的连接占用的 CPU 更少;- TLS 上下文比持有数据的连接占用的内存更多。因此,实际上,处理有效负载字节比处理头部字节更便宜,因此使用大对象(每单位体积的请求数少)比使用小对象(每单位体积的请求数多)更容易实现高网络带宽。这解释了为什么最大带宽总是用大对象测量的,而请求速率或连接速率是用小对象测量的。一些操作可以很好地扩展到跨多个 CPU 分布的多个进程,而其他操作则不能很好地扩展。网络带宽的扩展性有限,因为对于大对象来说,CPU 很少是瓶颈,主要是网络带宽和到达网络接口的数据总线。由于处理本地端口表时系统中的一些锁定,连接速率在多个处理器上扩展性不佳。持久连接上的请求速率扩展性非常好,因为它不涉及太多内存或网络带宽,也不需要访问锁定的结构。TLS 密钥计算的扩展性非常好,因为它完全是 CPU 密集型的。TLS 恢复的扩展性适中,但在大约 4 个进程时达到极限,此时访问共享表的开销抵消了从更多处理器获得的微小收益。一个调优良好的系统可以期望的性能数字在以下范围内。重要的是要将它们视为数量级,并期望在任何方向上都存在显著差异,具体取决于处理器、中断设置、内存类型、网络接口类型、操作系统调优等。以下数字是在 3.7 GHz 的 Core i7 上获得的,配备了双端口 10 Gbps 网卡,运行 Linux 内核 3.10、HAProxy 1.6 和 OpenSSL 1.0.2。HAProxy 作为单个进程运行在一个专用的 CPU 核心上,另外两个核心专用于网络中断:- 对于 256 kB 或更大的对象,明文最大网络带宽为 20 Gbps,对于 41kB 或更大的对象为 10 Gbps;- 使用 AES256-GCM 密码和大数据对象,TLS 流量为 4.6 Gbps;- 每秒从客户端到服务器的 TCP 连接数为 83000;- 每秒从客户端到服务器的 HTTP 连接数为 82000;- 服务器关闭模式下的 HTTP 请求数为 97000(客户端保持连接,服务器关闭);- 端到端保持连接模式下的 HTTP 请求数为 243000;- 每秒经过筛选的 TCP 连接数为 300000(反 DDoS);- 在保持连接的持久 TLS 连接上的 HTTPS 请求数为 160000;- 使用 TLS 恢复连接的 HTTPS 请求数为 13100;- 使用 RSA2048 重协商的 TLS 连接的 HTTPS 连接数为 1300;- 每 GB RAM 的并发饱和连接数为 20000,包括系统缓冲区所需的内存;通过仔细调优可以做得更好,但这个结果很容易实现。- 每 GB RAM 的并发 TLS 连接数(仅客户端)约 8000,包括系统缓冲区所需的内存;- 每 GB RAM 的并发端到端 TLS 连接数(双方)约 5000,包括系统缓冲区所需的内存;因此,一个需要牢记的经验法则是,请求速率在 TLS 长连接和 TLS 恢复之间、以及在 TLS 恢复和 TLS 重协商之间除以 10,而在 HTTP 长连接和 HTTP 关闭之间只除以 3。另一个经验法则是,具有 AES 指令的高频核心每个核心可以处理约 5 Gbps 的 AES-GCM。拥有更多核心很少有帮助(除了 TLS),甚至会适得其反,因为频率较低。总的来说,少量高频核心更好。另一个经验法则是,在同一台服务器上,HAProxy 将能够饱和:- 约 5-10 个静态文件服务器或缓存代理;- 约 100 个杀毒代理;- 根据所使用的技术,约 100-1000 个应用程序服务器。
HAProxy 是一个开源项目,受 GPLv2 许可保护,这意味着允许任何人重新分发它,前提是根据要求也提供源代码的访问权限,特别是如果进行了任何修改。HAProxy 以一个名为“master”或“mainline”的主要开发分支进行演进,一旦代码被认为稳定,就会从中派生出新的分支。许多网站自愿在生产环境中使用开发分支,要么是为了参与项目,要么是因为他们需要最新的功能,他们的反馈对于修复错误和评估正在开发的版本的整体质量和稳定性非常有价值。当代码足够稳定时创建的新分支构成了一个稳定版本,并且通常会维护数年,因此即使不在最新版本上,也没有紧急迁移到新分支的必要。一旦发布了一个稳定分支,它可能只接收错误修复,并且在使用户的生活更轻松的情况下,很少会进行次要功能更新。进入稳定分支的所有修复都必然来自 master 分支。这保证了升级后不会丢失任何修复。因此,如果您修复了一个错误,请针对 master 分支创建补丁,而不是稳定分支。您甚至可能会发现它已经被修复了。这个过程还确保了稳定分支中的回归极其罕见,因此永远没有理由不升级到您当前分支的最新版本。分支使用两个数字通过点分隔进行编号,例如“1.6”。从 1.9 开始,第二个数字为奇数的分支主要关注敏感技术更新,并且更适合高级用户,因为它们可能比其他分支触发更多错误。它们仅维护约一年,并且不得部署在无法紧急回滚的地方。完整的版本包含一到两个子版本号,表示修复级别。例如,版本 1.5.14 是自 1.5.0 发布以来,分支 1.5 中的第 14 次修复发布。它包含 126 个错误修复、24 个文档更新以及 75 个其他反向移植的补丁,其中大多数是为了修复上述 126 个错误。为了保证同一分支内的升级始终无害,现有功能在稳定分支中绝不会被修改或删除。HAProxy 可从多个来源获得,发布节奏不同:- 官方社区网站:https://haproxy.cn/:该网站提供最新的开发版本、所有稳定版本以及每个分支的夜间快照的源代码。发布周期不快,稳定版本之间或开发快照之间有数月时间。非常旧的版本仍在那里得到支持。一切都仅以源代码形式提供,因此从那里获得的任何内容都需要重新构建和/或重新打包;- GitHub:https://github.com/haproxy/haproxy/:这是仅用于开发分支的镜像,它提供了与问题跟踪器、持续集成和代码覆盖工具的集成。这仅适用于贡献者;- 许多操作系统,如 Linux 发行版和 BSD 端口。这些系统通常提供长期维护的版本,这些版本不一定包含官方版本的所有修复,但至少包含关键修复。对于大多数不寻求高级配置但又希望更新轻松的用户来说,这通常是一个不错的选择;- 来自 http://www.haproxy.com/ 的商业版本:这些是为各种操作系统构建或作为设备提供的支持的专业软件包,基于最新的稳定版本,并包含从下一个版本反向移植的许多功能,因为这些功能有很强的需求。对于寻求最新功能、稳定分支的可靠性、最快的错误修复响应时间,或仅仅是开源产品之上的支持合同的用户来说,这是最佳选择;为了确保您使用的版本是您所在分支的最新版本,您需要按以下方式进行:- 验证您正在运行的 HAProxy 可执行文件:某些系统默认提供它,而管理员会将他们的版本安装在系统上的其他位置,因此在启动脚本中验证使用的是哪个非常重要;- 确定您的 HAProxy 版本来自哪个来源。为此,通常输入“haproxy -v”就足够了。开发版本将显示如下,在分支号后带有“dev”字样:HA-Proxy version 1.6-dev3-385ecc-68 2015/08/18 稳定版本将显示如下,以及操作系统供应商提供的未修改的稳定版本:HA-Proxy version 1.5.14 2015/07/02 夜间快照将显示如下,版本后带有十六进制序列,日期为快照日期而不是发布日期:HA-Proxy version 1.5.14-e4766ba 2015/07/29 任何其他格式可能表示具有自己补丁集的特定于系统的软件包。例如,HAProxy Enterprise 版本将显示为以下格式(<分支>-<最新提交>-<修订号>):HA-Proxy version 1.5.0-994126-357 2015/07/02 此外,版本 2.1 及更高版本将包含“状态”行,指示版本是否可用于生产环境,以及直到何时,以及指向受此版本影响的已知错误列表的链接。- 对于特定于系统的软件包,您必须与您的供应商的软件包存储库或更新系统进行检查,以确保您的系统仍受支持,并且您的分支仍然提供修复。对于来自 haproxy.org 的社区版本,只需访问该网站,验证您分支的状态,并将最新版本与您的进行比较,即可查看您是否是最新的。如果不是,您可以升级。如果您的分支不再受支持,那么您肯定已经非常落后了,并且必须考虑升级到更近的分支(在执行此操作时请仔细阅读 README)。HAProxy 的更新将需要根据其来源进行。通常遵循系统供应商的包升级方式。如果它是从源代码获取的,请在解压源代码后阅读源代码目录中的 README 文件,并按照您操作系统的说明进行操作。
HAProxy 与下面列出的一些产品集成得相当好,因此即使它们不直接与 HAProxy 相关,也在此处提及。
Apache 是事实上的标准 HTTP 服务器。它是一个非常完整且模块化的项目,支持文件服务和动态内容。它可以作为某些应用程序服务器的前端。它甚至可以代理请求和缓存响应。在所有这些用例中,通常需要一个前端负载均衡器。Apache 可以以各种模式工作,有些模式比其他模式更重。某些模块仍然需要较重的预分叉模型,并将阻止 Apache 很好地扩展到大量连接。在这种情况下,HAProxy 可以通过将每个服务器的连接限制强制设置为安全值来提供巨大的帮助,并且将显著加快服务器速度并保留其资源,从而更好地由应用程序使用。Apache 可以通过使用“mod_rpaf”扩展从 X-Forwarded-For 标头中提取客户端的地址。在 HAProxy 配置中指定“option forwardfor”时,HAProxy 将自动馈送此标头。当暴露于互联网时,HAProxy 也可能为 Apache 提供良好的保护,因为它能更好地抵抗多种类型的 DoS 攻击。
NGINX 是事实上的第二标准 HTTP 服务器。与 Apache 一样,它涵盖了广泛的功能。NGINX 基于与 HAProxy 类似的模型构建,因此处理数万个并发连接没有问题。当用作某些应用程序(例如使用附带的 PHP FPM)的网关时,设置一些前端连接限制以减少 PHP 应用程序的负载通常是有益的。HAProxy 在这里显然有用,既可以作为常规负载均衡器,也可以作为流量调节器,通过缓解 PHP 的拥塞来加速 PHP。此外,由于这两个产品都得益于其事件驱动的架构,因此 CPU 使用量非常少,因此经常可以在同一系统上安装它们。NGINX 实现 HAProxy 的 PROXY 协议,因此 HAProxy 可以轻松地将其部署在 NGINX 前面,以传递客户端的连接信息,从而使应用程序获得所有相关信息。一些基准测试还表明,对于大型静态文件服务,在 NGINX 前面使用 HAProxy 实现一致性哈希可能是有益的,方法是优化操作系统的缓存命中率,该缓存命中率基本上是按服务器节点数乘以的。
Varnish 是一个智能缓存反向代理,通常被描述为 Web 应用程序加速器。Varnish 不实现 SSL/TLS,并希望将其所有 CPU 周期用于其最擅长的事情。Varnish 还实现了 HAProxy 的 PROXY 协议,因此 HAProxy 可以非常轻松地部署在 Varnish 前面,作为 SSL 卸载器以及负载均衡器,并传递所有相关的客户端信息。此外,Varnish 自然支持在服务器提供压缩对象时从缓存中解压缩,但本身不压缩。然后可以使用 HAProxy 在后端服务器不实现压缩时压缩出站数据,尽管除非流量较低,否则在负载均衡器上进行压缩通常不是一个好主意。在跨多个节点构建大型缓存场时,HAProxy 可以利用一致的 URL 哈希来智能地将负载分配到缓存节点,并避免缓存重复,从而导致总缓存大小等于所有缓存节点的大小之和。此外,在 HAProxy 上缓存非常小的、持续时间短的“哑对象”有时可以节省网络往返,并减少 HAProxy 和 Varnish 节点上的 CPU 负载。这仅在 Varnish 上不对这些对象进行任何处理时才可能(这通常被称为“favicon 缓存”的概念,通过这种概念有时可以避免相当大比例的无用下游请求)。但是,请不要在任何其他缓存前面启用 HAProxy 缓存很长时间(几秒钟以上),这会显著地使故障排除复杂化,而不会提供真正显著的节省。
Linux Virtual Server (LVS 或 IPVS) 是包含在 Linux 内核中的第 4 层负载均衡器。它在数据包级别工作,并处理 TCP 和 UDP。在大多数情况下,它更像是补充而不是替代,因为它根本没有第 7 层知识。Pound 是另一个广为人知的负载均衡器。它更简单,功能也比 HAProxy 少很多,但对于许多非常基本的设置,两者都可以使用。它的作者一直将代码的可审计性放在首位,并希望保持功能集较低。它的基于线程的架构在连接数很高时扩展性较差,但它是一个好产品。Pen 是一个相当轻量级的负载均衡器。它支持 SSL,通过维护一个固定大小的客户端 IP 地址表来保持持久性。它支持面向数据包的模式,允许它在一定程度上支持直接服务器返回和 UDP。它适用于小负载(持久性表只有 2048 个条目)。NGINX 在一定程度上可以进行负载均衡,尽管这显然不是它的主要功能。生产流量用于检测服务器故障,负载均衡算法更有限,粘性非常有限。但在某些它已经存在的简单部署场景中,它是有意义的。好处是,由于它与 HAProxy 集成得非常好,因此当达到其极限时,添加 HAProxy 是没有任何问题的。Varnish 也对其后端服务器进行一些负载均衡,并且支持真实的健康检查。但它不实现粘性,因此与 NGINX 一样,只要不需要粘性,就可以开始使用。同样,由于 HAProxy 和 Varnish 结合得如此好,很容易在以后将其添加到混合中以补充功能集。
如果您想就任何事宜联系开发人员或任何社区成员,通常最好的方式是通过邮件列表,将您的消息发送到 haproxy@formilux.org。请注意,此列表是公开的,其存档也是公开的,因此您应避免泄露敏感信息。那里有成千上万来自不同经验水平的用户,即使是最复杂的问题通常也能相对快速地找到最佳答案。也欢迎提出建议。对于在使用电子邮件方面有困难的用户,可以在 http://discourse.haproxy.org/ 上提供一个 Discourse 平台。但请记住,阅读那里问题的人较少,而且大多数问题是由一个非常小的团队处理的。无论如何,请耐心对待并尊重那些将业余时间用于帮助他人的人。如果您认为您发现了一个错误但又不确定,最好在邮件列表上报告。如果您非常确信您发现了一个错误,并且您的版本在其分支中是最新的,并且您已经有一个 GitHub 帐户,请随时直接前往 https://github.com/haproxy/haproxy/ 并附上所有可能的详细信息来提交一个问题。同样,这是公开的,所以请注意不要发布您以后可能后悔的信息。由于问题跟踪器是一个非常长的线程,请避免粘贴非常长的转储(几百行或更多),而是将它们作为附件。如果您发现了一个您绝对确信可以被认为是严重的、如果在公开场合讨论会给许多用户带来严重麻烦的安全问题,那么您可以将其连同复现器一起发送到 security@haproxy.org。一个小团队的受信任开发人员将收到它,并能够提出修复。我们通常不使用禁运,一旦修复可用,它就会被合并。在某些罕见情况下,可能会发生发布与软件供应商协调的情况。请注意,此过程通常会干扰所有人的工作,并且匆忙发布的版本有时会引入新错误,因此最好避免,除非绝对必要;因此,对于不必要地造成这种额外负担的报告,通常很少予以考虑,并且看到您的工作被认可的最佳方式通常是提供一个可用的修复程序,该修复程序将出现在变更日志中。