Overlay技术白皮书.pdf

1、Overlay技术白皮书 Copyright 2014 杭州华三通信技术有限公司 版权所有，保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。本文档中的信息可能变动，恕不另行通知。i 目 录 1 概述 1 1.1 产生背景 1 1.2 技术优点 2 2 Overlay 技术介绍 2 2.1 Overlay 的概念介绍 2 2.2 Overlay 的解决方法 3 2.3 Overlay 的技术标准 3 3 Overlay 技术实现 5 3.1 Overlay 网络基础架构 5 3.2 Overlay 网络部署需求 7 3.2.1 VX

2、LAN 对基础承载网络的需求 7 3.2.2 VXLAN 网络和传统网络互通的需求 7 3.2.3 VXLAN 网络安全需求 8 3.3 Overlay 网络流表路由 8 3.3.1 Overlay 网络到非 Overlay 网络 8 3.3.2 非 Overlay 网络到 Overlay 网络 9 3.4 Overlay 网络转发流程 10 3.4.1 Overlay 网络到非 Overlay 网络 11 3.4.2 非 Overlay 网络到 Overlay 网络 12 3.5 Overlay 网络虚机迁移 13 3.6 Overlay 网关高可靠性 13 3.7 Overlay 网络安全

3、部署 14 4 Overlay 典型应用 15 4.1 Overlay 网络组网策略 16 4.1.1 网络 Overlay 16 4.1.2 主机 Overlay 16 4.1.3 混合 Overlay 16 4.2 网络 Overlay 典型组网 17 4.2.1 SR-IOV 技术简介 17 4.2.2 典型组网 17 4.3 主机 Overlay 典型组网 18 4.4 混合 Overlay 典型组网 19 1 1 概述概述 1.1 产生背景 随着企业业务的快速扩展，IT 作为基础设施，其快速部署和高利用率成为主要需求。云计算可以为之提供可用的、便捷的、按需的资源提供，成为当前企业 I

4、T 建设的常规形态，而在云计算中大量采用和部署的虚拟化几乎成为一个基本的技术模式。部署虚拟机需要在网络中无限制地迁移到目的物理位置，虚机增长的快速性以及虚机迁移成为一个常态性业务。传统的网络已经不能很好满足企业的这种需求，面临着如下挑战：虚拟机迁移范围受到网络架构限制 虚拟机迁移的网络属性要求，当其从一个物理机上迁移到另一个物理机上，虚拟机需要不间断业务，因而需要其 IP 地址、MAC 地址等参数维保持不变，如此则要求业务网络是一个二层网络，且要求网络本身具备多路径多链路的冗余和可靠性。传统的网络生成树(STP，Spaning Tree Protocol)技术不仅部署繁琐，且协议复杂，网络规模

5、不宜过大，限制了虚拟化的网络扩展性。基于各厂家私有的 IRF/vPC 等设备级的（网络 N:1）虚拟化技术，虽然可以简化拓扑、具备高可靠性，但是对于网络有强制的拓扑形状，在网络的规模和灵活性上有所欠缺，只适合小规模网络构建，且一般适用于数据中心内部网络。而为了大规模网络扩展的 TRILL/SPB/FabricPath/VPLS 等技术，虽然解决了上述技术的不足，但对网络有特殊要求，即网络中的设备均要软硬件升级，而支持此类新技术会带来部署成本的大幅度上升。虚拟机规模受网络规格限制 在大二层网络环境下，数据流均需要通过明确的网络寻址以保证准确到达目的地，因此网络设备的二层地址表项大小（即 MAC

6、地址表），成为决定了云计算环境下虚拟机的规模上限，并且因为表项并非百分之百的有效性，使得可用的虚机数量进一步降低。特别是对于低成本的接入设备而言，因其表项一般规格较小，限制了整个云计算数据中心的虚拟机数量，但如果其地址表项设计为与核心或网关设备在同一档次，则会提升网络建设成本。虽然核心或网关设备的 MAC 与 ARP 规格会随着虚拟机增长也面临挑战，但对于此层次设备能力而言，大规格是不可避免的业务支撑要求。减小接入设备规格压力的做法可以是分离网关能力，如采用多个网关来分担虚机的终结和承载，但如此也会带来成本的巨幅上升。网络隔离/分离能力限制 当前的主流网络隔离技术为 VLAN（或 VPN），在

7、大规模虚拟化环境部署会有两大限制：一是VLAN 数量在标准定义中只有 12 个比特单位，即可用的数量为 4K，这样的数量级对于公有云或大型虚拟化云计算应用而言微不足道，其网络隔离与分离要求轻而易举会突破 4K；二是 VLAN 技术当前为静态配置型技术（只有 EVB/VEPA 的 802.1Qbg 技术可以在接入层动态部署 VLAN，但也主要是在交换机接主机的端口为常规部署，上行口依然为所有 VLAN 配置通过)，这样使得整个数据中心的网络几乎为所有 VLAN 被允许通过(核心设备更是如此)，导致任何一个 VLAN 的未知目的广播数据会在整网泛滥，无节制消耗网络交换能力与带宽。上述的三大挑战，完

8、全依赖于物理网络设备本身的技术改良，目前看来并不能完全解决大规模云计算环境下的问题，一定程度上还需要更大范围的技术革新来消除这些限制，以满足云计算虚拟化的网络能力需求。在此驱动力基础上，逐步演化出 Overlay 网络技术。2 1.2 技术优点 Overlay 是一种叠加虚拟化技术，主要具有以下优点：基于 IP 网络构建 Fabric。无特殊拓扑限制，IP 可达即可；承载网络和业务网络分离；对现有网络改动较小，保护用户现有投资。16M 多租户共享，极大扩展了隔离数量。网络简化、安全。虚拟网络支持L2、L3等，无需运行LAN协议，骨干网络无需大量VLAN Trunk。支持多样化的组网部署方式，支

9、持跨域互访。支持虚拟机灵活迁移，安全策略动态跟随。转发优化和表项容量增大。消除了 MAC 表项学习泛滥，ARP 等泛洪流量可达范围可控，且东西向流量无需经过网关。2 Overlay 技术技术介绍介绍 2.1 Overlay的概念介绍 Overlay 在网络技术领域，是一种网络架构上叠加的虚拟化技术模式，其大体框架是对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其它网络业务分离，并且以基于IP 的基础网络技术为主（如图 1 所示）。Overlay 网络是指建立在已有网络上的虚拟网，逻辑节点和逻辑链路构成了 Overlay 网络。Overlay 网络是具有独立的控制和转发平面，

10、对于连接在 overlay 边缘设备之外的终端系统来说，物理网络是透明的。Overlay 网络是物理网络向云和虚拟化的深度延伸，使云资源池化能力可以摆脱物理网络的重重限制，是实现云网融合的关键。3 图 1 Overlay 网络概念图 2.2 Overlay的解决方法 针对前文提到的三大挑战，Overlay 给出了完美的解决方法。针对虚机迁移范围受到网络架构限制的解决方式 Overlay 把二层报文封装在 IP 报文之上，因此，只要网络支持 IP 路由可达就可以部署 Overlay网络，而 IP 路由网络本身已经非常成熟，且在网络结构上没有特殊要求。而且路由网络本身具备良好的扩展能力，很强的故障

11、自愈能力和负载均衡能力。采用 Overlay 技术后，企业不用改变现有网络架构即可用于支撑新的云计算业务，极方便用户部署。针对虚机规模受网络规格限制的解决方式 虚拟机数据封装在 IP 数据包中后，对网络只表现为封装后的网络参数，即隧道端点的地址，因此，对于承载网络（特别是接入交换机），MAC 地址规格需求极大降低，最低规格也就是几十个（每个端口一台物理服务器的隧道端点 MAC）。当然，对于核心/网关处的设备表项(MAC/ARP)要求依然极高，当前的解决方案仍然是采用分散方式，通过多个核心/网关设备来分散表项的处理压力。针对网络隔离/分离能力限制的解决方式 针对 VLAN 只能支持数量 4K 以

12、内的限制，在 Overlay 技术中扩展了隔离标识的位数，可以支持高达 16M 的用户，极大扩展了隔离数量。2.3 Overlay的技术标准 IETF 在 Overlay 技术领域提出 VXLAN、NVGRE、STT 三大技术方案。大体思路均是将以太网报文承载到某种隧道层面，差异性在于选择和构造隧道的不同，而底层均是 IP 转发。VXLAN 和STT 对于现网设备而言对流量均衡要求较低，即负载链路负载分担适应性好，一般的网络设备都能对 L2-L4 的数据内容参数进行链路聚合或等价路由的流量均衡，而 NVGRE 则需要网络设备对 GRE 4 扩展头感知并对 flow ID 进行 HASH，需要硬

13、件升级；STT 对于 TCP 有较大修改，隧道模式接近UDP 性质，隧道构造技术属于革新性，且复杂度较高，而 VXLAN 利用了现有通用的 UDP 传输，成熟性极高。所以总体比较，VLXAN 技术具有更大优势，而且当前 VLXAN 也得到了更多厂家和客户的支持，已经成为 Overlay 技术的主流标准，所以本文的后续介绍均以 VXLAN 技术作为标准进行介绍，NVGRE、STT 则不再赘述。VXLAN（Virtual eXtensible LAN，可扩展虚拟局域网络）是基于 IP 网络、采用“MAC in UDP”封装形式的二层 VPN 技术，具体封装的报文格式如图 2 所示。VXLAN 可以

14、基于已有的服务提供商或企业 IP 网络，为分散的物理站点提供二层互联功能，主要应用于数据中心网络。图 2 VXLAN 报文 VXLAN 在原始二层数据帧外添加：20 字节 IP 头，目的 IP 为隧道对端 VTEP 地址或组播地址。8 字节 UDP 头，UDP 头的目的端口号缺省为 4789。源端口可按流分配；为了使 VXLAN 充分利用承载网络路由的均衡性，VXLAN 通过将原始以太网数据头(MAC、IP、四层端口号等)的 HASH 值作为 UDP 的号。8 字节 VXLAN 头：Flags：“I”位为 1 时，表示 VXLAN 头中的 VXLAN ID 有效；“I”位为 0 时，表示 VX

15、LAN ID 无效。其他位保留未用(为 0)。VXLAN ID：用来标识一个 VXLAN 网络，长度为 24 比特。VXLAN 具有如下特点：使用 24 位的标识符，最多可支持 16M 个 VXLAN，解决了传统二层网络 VLAN 资源不足的问题。基于 IP 网络组建大二层网络，使得网络部署和维护更加容易，并且可以好地利用现有的 IP 网络技术，例如利用等价路由负载分担。只有边缘设备需要进行 VXLAN 处理，VXLAN 业务对网络中间设备透明，只需根据 IP 头转发报文，降低了网络部署的难度和费用。根据客户不同组网需求，Overlay 的网络部署分为以下三种组网模型，如图 3 所示。5 图

16、3 Overlay 的网络部署图 网络 Overlay 的隧道封装在物理交换机完成。这种 Overlay 的优势在于物理网络设备性能转发性能比较高，可以支持非虚拟化的物理服务器之间的组网互通。它的缺点就是现网设备大都不支持VXLAN,需要大批量更换设备。主机 Overlay 隧道封装由虚拟设备完成，不用增加新的网络设备即可完成 Overlay 部署，可以支持虚拟化的服务器之间的组网互通。它纯粹由服务器实现 Overlay 功能，对现有网络改动不大，但是可能存在转发瓶颈。混合 Overlay 是 Network Overlay 和 Host Overlay 的混合组网，可以支持物理服务器和虚拟服

17、务器之间的组网互通。它融合了两种 Overlay 方案的优点，既可以发挥硬件 GW 的转发性能，又尽可能的减少对于现有网络的改动。3 Overlay 技术实现技术实现 3.1 Overlay网络基础架构 Overlay 网络的基础架构如图 4 所示：6 图 4 Overlay 网络的基础架构 VM（Virtual Machine，虚拟机）在一台服务器上可以创建多台虚拟机，不同的虚拟机可以属于不同的VXLAN。属于相同VXLAN的虚拟机处于同一个逻辑二层网络，彼此之间二层互通。两个 VXLAN 可以具有相同的 MAC 地址，但一个段不能有一个重复的 MAC 地址。VTEP（VXLAN Tunne

18、l End Point，VXLAN 隧道端点）VXLAN 的边缘设备，进行 VXLAN 业务处理：识别以太网数据帧所属的 VXLAN、基于 VXLAN对数据帧进行二层转发、封装/解封装 VXLAN 报文等。VXLAN 通过在物理网络的边缘设置智能实体 VTEP，实现了虚拟网络和物理网络的隔离。VTEP之间建立隧道，在物理网络上传输虚拟网络的数据帧，物理网络不感知虚拟网络。VTEP 将从虚拟机发出/接受的帧封装/解封装，而虚拟机并不区分 VNI 和 VXLAN 隧道。VNI(VXLAN Network Identifier，VXLAN 网络标识符)VXLAN 采用 24 比特标识二层网络分段，使

19、用 VNI 来标识二层网络分段，每个 VNI 标识一个VXLAN，类似于 VLAN ID 作用。VNI 占用 24 比特，这就提供了近 16M 可以使用的 VXLANs。VNI将内部的帧封装（帧起源在虚拟机）。使用 VNI 封装有助于 VXLAN 建立隧道，该隧道在第 3 层网络之上覆盖率第二层网络。VXLAN 隧道 在两个 VTEP 之间完成 VXLAN 封装报文传输的逻辑隧道。业务入隧道进行 VXLAN 头、UDP头、IP 头封装后，通过三层转发透明地将封装后的报文转发给远端 VTEP，远端 VTEP 对其进行出隧道解封装处理。VSI（Virtual Switching Instance，

20、虚拟交换实例）7 VTEP 上为一个 VXLAN 提供二层交换服务的虚拟交换实例。3.2 Overlay网络部署需求 3.2.1 VXLAN 对基础承载网络的需求 MTU VXLAN 需要增加 50 字节用于封装 VM 发出的报文，需要更大的 IP 网络端到端的 MTU。VXLAN 卸载 由于 VXLAN 加入了新的 VXLAN 报文头，VXLAN 网络报文不能再利用网卡的硬件卸载能力，这会导致支持 VXLAN 的 vSwitch 进一步占用 CPU。管理域和 VXLAN 网络规模不匹配 当前 VMware vCenter 最大支持 4500 个 VM 注册，3000 个 VM 运行。而 VX

21、LAN 最大支持 16M个 VXLAN ID。3.2.2 VXLAN 网络和传统网络互通的需求 为了实现 VLAN 和 VXLAN 之间互通，VXLAN 定义了 VXLAN 网关。VXLAN 上同时存在 VXLAN端口和普通端口两种类型端口，它可以把 VXLAN 网络和外部网络进行桥接和完成 VXLAN ID 和VLAN ID 之间的映射和路由，和 VLAN 一样，VXLAN 网络之间的通信也需要三层设备的支持，即VXLAN 路由的支持。同样 VXLAN 网关可由硬件和软件来实现。当收到从 VXLAN 网络到普通网络的数据时，VXLAN 网关去掉外层包头，根据内层的原始帧头转发到普通端口上；当

22、有数据从普通网络进入到 VXLAN 网络时，VXLAN 网关负责打上外层包头，并根据原始 VLAN ID 对应到一个 VNI，同时去掉内层包头的 VLAN ID 信息。相应的如果 VXLAN网关发现一个 VXLAN 包的内层帧头上还带有原始的二层 VLAN ID，会直接将这个包丢弃。之所以这样，是因为 VLAN ID 是一个本地信息，仅仅在一个地方的二层网络上起作用，VXLAN是隧道机制，并不依赖 VLAN ID 进行转发，也无法检查 VLAN ID 正确与否。因此，VXLAN 网关连接传统网络的端口必须配置 ACCESS 口，不能启用 TRUNK 口。如图 5 所示。VXLAN 网关最简单的

23、实现应该是一个 Bridge 设备，仅仅完成 VXLAN 到 VLAN的转换，包含 VXLAN 到 VLAN 的 1：1、N：1 转换，复杂的实现可以包含 VXLAN Mapping 功能实现跨 VXLAN 转发，实体形态可以是 vSwitch、TOR 交换机。如图 5 所示。VXLAN 路由器最简单的实现可以是一个 Switch 设备，支持类似 VLAN Mapping的功能，实现 VXLAN ID 之间的 Mapping，复杂的实现可以是一个 Router 设备，支持跨 VXLAN转发，实体形态可以是 vRouter、TOR 交换机、路由器。8 图 5 VXLAN 网关和 VXLAN 路由

24、简单实现 3.2.3 VXLAN 网络安全需求 同传统网络一样，VXLAN 网络同样需要进行安全防护。VXLAN 网络的安全资源部署需要考虑两个需求：VXLAN 和 VLAN 之间互通的安全控制 传统网络和 Overlay 网络中存在流量互通，需要对进出互通的网络流量进行安全控制，防止网络间的安全问题。针对这种情况，可以在网络互通的位置部署 VXLAN 防火墙等安全资源，VXLAN 防火墙可以兼具 VXLAN 网关和 VXLAN 路由器的功能。VXLAN ID 对应的不同 VXLAN 域之间互通的安全控制 VM 之间的横向流量安全是在虚拟化环境下产生的特有问题，在这种情况下，同一个服务器的不同

25、 VM 之间的流量可能直接在服务器内部实现交换，导致外部安全资源失效。针对这种情况，可以考虑使用重定向的引流方法进行防护，又或者直接基于虚拟机进行防护。网络部署中的安全资源可以是硬件安全资源，也可以是软件安全资源，还可以是虚拟化的安全资源。3.3 Overlay网络流表路由 ARP 代答 对于虚拟化环境来说，当一个虚拟机需要和另一个虚拟机进行通信时，首先需要通过 ARP 的广播请求获得对方的 MAC 地址。由于 VXLAN 网络复杂，广播流量浪费带宽，所以需要在控制器上实现 ARP 代答功能。即由控制器对 ARP 请求报文统一进行应答，而不创建广播流表。ARP 代答的大致流程：控制器收到 OV

26、S 上送的 ARP 请求报文，做 IP-MAC 防欺骗处理确认报文合法后，从 ARP 请求报文中获取目的 IP，以目的 IP 为索引查找全局表获取对应 MAC，以查到的 MAC 作为源 MAC 构建 ARP 应答报文，通过 Packetout 下发给 OVS。若全局表中找不到此 IP，则以虚 MAC 为源MAC 构建 ARP 应答报文。3.3.1 Overlay 网络到非 Overlay 网络 Overlay 网络到非 Overlay 网络的流表建立和路由发布如图 6 所示：9 图 6 Overlay 网络到非 Overlay 网络的流表建立和路由发布 控制器创建 VM 的时候，会同时分配 I

27、P 和 MAC 信息。然后 VM 发送 ARP 请求报文，该报文会通过Packet-in 被上送到控制器。控制器做 IP-MAC 防欺骗处理确认报文合法后，通过 ARP 代答功能构建 ARP应答报文并通过 Packet-out 下发。VM 收到从 ARP 应答报文后，封装并发送 IP 首包。OVS 收到 IP 首报后发现没有对应流表，就将该IP 首包通过 Packet-in 上送控制器。控制器通过 OpenFlow 通道收到 Packet-in 报文后，判断上送的 IP 报文的 IP-MAC 为真实的。然后根据报文中的目的 IP 查询目的端口，将 IP 首包直接发送到目的端口，同时生成相应流表

28、下发 OVS。若没有查询到目的端口，曾查询物理网关的 MAC 和 VTEP IP，把目的 MAC 替换成网关 MAC，源 MAC 替换成虚机 MAC，生成转发流表下发 OVS，而 IP 首包则直接发往网关，由网关进行后续转发。流表下发到 OVS 后，而后续的 IP 报文就会根据 OVS 上的流表进行转发，而不再需要上送控制器。从 overlay 网络到非 overlay 网络的路由处理需要用户首先在网管上预配置路由协议引入静态路由，然后控制器创建 subnet 并通过 Netconf 将 subnet 静态路由下发到 GW，最终由 GW 将 overlay 子网路由发布到非 overlay 网

29、络。3.3.2 非 Overlay 网络到 Overlay 网络 非 Overlay 网络到 Overlay 网络的流表建立和路由发布如图 7 所示：10 图 7 非 Overlay 网络到 Overlay 网络的流表建立和路由发布 控制器创建 VM 的时候，会同时分配 IP、MAC 和 UUID 等信息。VM 上线时会触发 OVS 发送 Port Status 消息上送控制器，该消息携带 VM MAC 信息。控制器根据 VM MAC 查找 IP 等相关信息，然后携带 VM 的相关信息通知 GW 虚机上线，VM 的相关信息主要包括：VM 的 IP 地址，VM 在虚拟网络中所属的 VXLAN，V

30、M 连接的 OVS IP，OVS 的 datapath ID。GW 首先根据 OVS IP 检查 OVS 和 GW 之间是否已经存在一条可用的隧道。如果已存在，则直接使用找到的隧道，并修改隧道上的 VM 引用计数。如果不存在，则在预创建的隧道中选择一条可用的隧道，并根据 OVS IP 修改隧道的目的地址。控制器根据 VM 上线消息中携带的数据，构造物理机向 VM 转发报文时使用的流表表项，并下发到VM 所在 VNI 对应网关分组中的所有 GW。流表表项的内容如下：Match Field：入接口 VM 所属 VNI 对应的 VPN 绑定的三层口，目的 IP 为 VM 的 IP Action：Re

31、mark 目的 MAC 为 OVS MAC，Remark 源 MAC 为 GW 的 MAC，指定出接口为 GW 与OVS 之间的隧道口 从非 overlay 网络到 overlay 网络的路由处理是通过传统路由协议，将非虚拟化网络服务器对应子网发布到 VXLAN-GW。此路由不引入到虚拟化网络。路由协议由用户手动配置。3.4 Overlay网络转发流程 报文所属 VXLAN 识别 VTEP 只有识别出接收到的报文所属的 VXLAN，才能对该报文进行正确地处理。VXLAN 隧道上接收报文的识别：对于从 VXLAN 隧道上接收到的 VXLAN 报文，VTEP 根据报文 中携带的 VNI 判断该报文

32、所属的 VXLAN。11 本地站点内接收到数据帧的识别：对于从本地站点中接收到的二层数据帧，VTEP 通过以太网服务实例（Service Instance）将数据帧映射到对应的 VSI，VSI 内创建的 VXLAN 即为该数据帧所属的 VXLAN。MAC 地址学习 本地 MAC 地址学习：指本地 VTEP 连接的本地站点内虚拟机 MAC 地址的学习。本地 MAC 地址通过接收到数据帧中的源 MAC 地址动态学习，即 VTEP 接收到本地虚拟机发送的数据帧后，判断该数据帧所属的 VSI，并将数据帧中的源 MAC 地址（本地虚拟机的 MAC 地址）添加到该 VSI 的 MAC 地址表中，该MAC

33、地址对应的出接口为接收到数据帧的接口。远端 MAC 地址学习：指远端 VTEP 连接的远端站点内虚拟机 MAC 地址的学习。远端 MAC 学习时，VTEP从VXLAN隧道上接收到远端VTEP发送的VXLAN报文后，根据VXLAN ID判断报文所属的VXLAN，对报文进行解封装，还原二层数据帧，并将数据帧中的源 MAC 地址（远端虚拟机的 MAC 地址）添加到所属 VXLAN 对应 VSI 的 MAC 地址表中，该 MAC 地址对应的出接口为 VXLAN 隧道接口。3.4.1 Overlay 网络到非 Overlay 网络 Overlay 网络到非 Overlay 网络的转发流程如图 8 所示：图 8 Overlay 网络到非 Overlay 网络的转发流程 虚拟机构造发送到物理机的报文，目的 MAC 为 OVS 的 MAC，目的 IP 为要访问的物理机的 IP，报文从虚拟机的虚拟接口发出。