Redundancia de canales de comunicación: Parte 2 — Dentro del edificio: tarjetas de red, switches, bonding y LACP

Las fallas de red más frecuentes no se producen en el proveedor, sino dentro del edificio: un patch-cord desconectado, un puerto del switch quemado, una fuente de alimentación averiada, un módulo SFP defectuoso. Protegerse contra ellas es lo más barato, y conviene empezar la redundancia precisamente por este nivel.

Dos tarjetas de red y dos switches

Esquema básico de conexión tolerante a fallos de un servidor:

• el servidor tiene al menos dos puertos de red, mejor en diferentes tarjetas de red, para que la falla de una tarjeta no deje ambos puertos fuera de servicio;
• cada puerto está conectado a su propio switch;
• los switches se alimentan desde SAI (UPS) distintos o desde distintas líneas de alimentación, y en el rack — desde fuentes de alimentación diferentes si hay dos.

Si ambos cables del servidor van a un mismo switch, eso protege contra la rotura del cable y la falla de un puerto, pero no contra la falla del propio switch.

Bonding: unión de interfaces en Linux

En Linux varios interfaces físicos se unen en uno lógico — bond. Las aplicaciones y la dirección IP trabajan con el interface bond, y el controlador distribuye el tráfico por los puertos físicos y lo conmuta en caso de fallo. En distintos fabricantes lo mismo se llama teaming, EtherChannel o link aggregation.

Modos del controlador bonding según la documentación del kernel de Linux:

En la práctica se usan dos modos.

• active-backup (1) — el más sencillo y compatible. Funciona con cualquier switch, incluso cuando los puertos están conectados a dos switches diferentes sin gestión común. El ancho de banda efectivo es igual al de un puerto.
• 802.3ad (4), LACP — el switch y el servidor negocian la agregación, el tráfico se distribuye por todos los puertos y el puerto defectuoso se excluye automáticamente. Requiere soporte LACP en el switch, y si se conectan a dos switches — su agregación en un stack o MLAG (véase más abajo).

Por qué un solo flujo no se acelera

Creencia común: “dos canales de 1 Gbit/s dan 2 Gbit/s”. En modo 802.3ad esto es cierto solo para la suma de muchas conexiones. El interface para cada paquete se elige por hash de direcciones, y todos los paquetes de una misma conexión van por un puerto. La documentación del kernel dice claramente que ninguna conexión podrá usar más ancho de banda que un solo interface.

Por defecto el hash se calcula por direcciones MAC (layer2), y todo el tráfico entre el servidor y el router puede ir por un único puerto. La política layer3+4 tiene en cuenta las direcciones IP y los puertos, por lo que distintas conexiones a una misma dirección se distribuyen por distintos interfaces. Copiar un único archivo grande aun así irá a la velocidad de un solo puerto.

Cómo el bond detecta fallos

El parámetro miimon determina cada cuánto tiempo el controlador comprueba el estado del enlace en el interface físico, en milisegundos. La documentación recomienda empezar con 100 ms. El monitoreo MII solo ve el estado de su propio puerto: si el puerto está operativo pero la falla está más adelante en la cadena, no la detectará. En modo 802.3ad esos casos los detecta además el propio protocolo LACP, y para los demás modos existe el monitoreo ARP.

Ejemplo: LACP en Netplan

En Ubuntu la red se configura con Netplan. Ejemplo de bond de dos puertos en modo 802.3ad con dirección estática:

network:
  version: 2
  renderer: networkd
  ethernets:
    enp1s0: {}
    enp2s0: {}
  bonds:
    bond0:
      interfaces: [enp1s0, enp2s0]
      addresses: [192.0.2.10/24]
      routes:
        - to: default
          via: 192.0.2.1
      nameservers:
        addresses: [192.0.2.53]
      parameters:
        mode: 802.3ad
        lacp-rate: fast
        mii-monitor-interval: 100
        transmit-hash-policy: layer3+4

Antes de aplicar en un servidor remoto usa sudo netplan try: si se pierde la conexión, la configuración se revertirá automáticamente. En el switch los puertos correspondientes se agrupan en un grupo LACP (port-channel), de lo contrario el bond en modo 802.3ad no subirá. Para un esquema sin soporte del switch sustituye mode: 802.3ad por mode: active-backup y elimina lacp-rate.

VLAN, bridges y túneles sobre un bond están tratados en detalle en el artículo «Netplan: configuración avanzada de la red».

Stack y MLAG: agregación mediante dos switches

LACP en su forma clásica funciona entre dos dispositivos. Para conectar un servidor a dos switches y usar ambos puertos a la vez, los switches se agrupan de una de estas formas:

• stack — varios switches se gestionan como uno solo; si falla un miembro del stack, los demás siguen funcionando, aunque la actualización de software a veces requiere reiniciar todo el stack;
• MLAG (multi-chassis link aggregation) — dos switches independientes se presentan coordinadamente al servidor como una única parte LACP. Las implementaciones varían entre fabricantes y no son compatibles entre sí.

Si los switches no soportan ni stack ni MLAG, use active-backup: protege contra la falla del switch sin requerir configuración especial en los switches.

Switches entre sí: bucles y STP

Cuando los switches se conectan con varios cables por redundancia se crean bucles, y sin protección la red puede caer por una tormenta de broadcast. Los protocolos STP, RSTP y MSTP desactivan enlaces sobrantes y los activan al fallar el principal. RSTP restaura la conectividad más rápido que el STP original. Entre switches es más fiable usar agregación de canales, dejando STP como protección frente a errores de conmutación.

Cables, módulos y alimentación

• Cobre y fibra. El par trenzado de cobre es más barato y cómodo dentro del rack; la fibra óptica es necesaria para largas distancias y no sufre interferencias electromagnéticas. Para enlaces redundantes entre plantas o edificios conviene que las líneas sigan rutas distintas.
• Módulos SFP de repuesto mantenlos in situ: su fallo es una causa frecuente de interrupción de la línea óptica.
• Almacenamiento de datos. Si el servidor trabaja con almacenamiento en red por iSCSI o Fibre Channel, se configura acceso multipath: el servidor ve un único disco a través de varios caminos y sobrevive a la falla de uno de ellos.
• Alimentación. Un switch sin SAI (UPS) dejará de funcionar ante la primera subida de tensión, junto con todas las conexiones redundantes.

Errores típicos

• LACP en el servidor, pero no en el switch (o viceversa). El bond no se levanta o funciona en un solo puerto, y el fallo solo se manifiesta al producirse una avería.
• Esperar duplicar la velocidad para una sola copia o una sola base de datos.
• Dos puertos del servidor en un mismo switch creyendo que el servidor está “protegido”.
• Configurar la red de forma remota sin posibilidad de revertir. netplan apply con un error en el bond corta el acceso al servidor; netplan try evita eso.
• No verificar. Desconecta por turnos cada cable y cada switch durante una ventana planificada y asegúrate de que el servidor sigue accesible.