Data Center Technology
  • มารู้จัก Cisco Nexus กันดีกว่า:

    image

    Cisco ได้แยก Switch ที่มีความสามารถเพิ่มขึ้นเมื่อใช้งานบน Datacenter ออกมา ชื่อว่า Nexus ซึ่ง Cisco Nexus ได้ถูกออกแบบมาเพื่อการใช้งานบน Datacenter เพราะมันรองรับ Technology หลายๆ อย่างที่มีประโยชน์อย่างมากบน Datacenter เช่น OTV, Fabric Path รวมถึง ACI (SDN) ด้วย

    image

    Cisco ได้ออกแบบ Nexus เพื่อใช้งานบน Datacenter ซึ่งสามารถรองรับการขยายตัวของระบบได้เป็นอย่างดี รูปร่างลักษณะของ Cisco Nexus ก็จะคล้ายๆ กับ Cisco Catalyst รุ่นใหญ่ๆ อย่าง 4500, 6500, 6800 คือเป็น Modular และ Software ของ Nexus (NX-OS) ก็พัฒนามาจาก SAN-OS (Storage) ทำให้สามารถใช้งานในฝั่ง Virtualization ได้อย่างมีประสิทธิภาพ

    ประโยชน์หลักของ NX-OS:

    • Virtual Device Contexts (VDCs) เป็นการแยก Device ออกเป็นหลายๆ ตัวได้ในเชิง Logical เปรียบเสมือนว่าเรามี Nexus หลายๆ ตัวนั่นเอง แต่จริงๆ แล้วมีเพียงตัวเดียว ประโยชน์เรื่องของ Fault Isolation, Separate Data Traffic และ Enhanced Security

      image
    • Virtual Port Channels (vPCs) ทำให้ Server หรือ Switch สามารถใช้ EtherChannel ข้าม Chassis ของ Nexus ได้ โดย Spanning-Tree ไม่ Block ซึ่งถ้าเป็นรุ่น Catalyst เราใช้ Technology ชื่อ Virtual Switch System (VSS) ทำ EtherChannel ข้าม Chassis กัน

      image
    • In-Service Software Upgrade (ISSU) สามารถที่จะ Maintenance / Upgrade ในขณะที่อุปกรณ์กำลังทำงานอยู่ได้โดยไม่มีผลกระทบกับการใช้งานของ Service ต่างๆ

    • Overlay Transport Virtualization (OTV) มองภาพง่ายๆ สำหรับ OTV คือ การขยายหรือยืด Layer 2 ระหว่าง Nexus ข้าม Layer 3 ไป ทำให้ ทั้ง 2 ฝั่งมองเห็นเป็น Network เดียวกัน เช่น ใช้ OTV ในการทำ vMotion ข้าม Site กัน หรือการย้าย Host ของ VM ข้าม Site เป็นต้น

      image
    • Fabric Path เป็น Proprietary ของ Cisco และสามารถทำได้บน Nexus รุ่น 7000 เท่านั้น (บน Nexus รุ่น 5000 ก็สามารถทำได้แต่อาจจะต้องดู Version ของ NX-OS) ทำให้ Nexus สร้างและขยาย Layer 2 Topology ออกไป

      image
      • โดยปกติเราต่อใช้งานตาม Data Center A ซึ่ง เมื่อเวลาจะส่งข้อมูลข้ามระหว่าง Distribute Switch จะวิ่งไปผ่าน Core Switch ก่อน ก็จะทำให้เกิดปัญหาคอขวดขึ้น ที่ Link ระหว่าง Core กับ Distribute

      • แต่เมื่อใช้งาน Fabric Path ตาม Data Center B จะเห็นว่า ระหว่าง Distribute ด้วยกันจะเชื่อมต่อถึงกันทั้งหมด (Full Mesh) ซึ่งจะต้องใช้ Module โดยเฉพาะเท่านั้น ทุก Link จะสามารถ Forwarding ได้ทั้งหมด ซึ่งมันไม่เหมือนกับ STP การทำ Fabric จะ Active ทุก Path ไปยัง Switch ตัวอื่นๆ ที่ทำ Fabric ทำให้เราได้ใช้ประโยชน์จากอุปกรณ์มากขึ้น ไม่ว่าจะเป็นเรื่อง Path, Bandwidth, Scaling และ Redundant กันอีกด้วย

      ซึ่งใครไม่ค่อย Get เรื่อง Fabric Path ลองดูตัวอย่าง Video จาก ที่นี่ได้:

    High Availability & Redundancy - Network & System High Availability:
    www.youtube.com/watch?v=Wq8YCYxj9rI

    Network-Level High Availability Overview:

    • Layer 2:
      • Spanning Tree Protocol (STP)
      • STP enhancements: bridge protocol data unit (BPDU) guard, loop guard, root guard, BPDU filters, and Bridge Assurance
      • Uni Directional Link Detection (UDLD) Protocol
      • Port channels and virtual port channels (vPC)
      • FabricPath (enhanced L2 license package)

    • First-Hop Redundancy Protocols (FHRP) (Layer 2/3):
      • Hot Standby Router Protocol (HSRP)
      • Virtual Router Redundancy Protocol (VRRP)
      • Gateway Load Balancing Protocol (GLBP)

    • Routing Protocol Extensions (Layer 3):
      • Bidirectional Forwarding Detection (BFD)
      • Graceful restart for OSPFv2/v3, EIGRP, ISIS, and BGP
      • SPF optimizations such as LSA pacing and incremental SPF

    • No licenses required for network-level high availability
    • Virtualization using virtual device contexts based on Advanced Services Package license
    • Each VDC runs separate STP instance, FHRP, and routing


    Port Channels and Virtual Port Channels:

    • PortChannel allows multiple physical links between a pair of devices to be combined into a single logical link, called a port channel
      • Added resiliency against link failures
      • Scalable bandwidth
      • Load balancing based on header hashing
      • Links in a port channel need to be terminated on a single peer device
      • Dynamic link aggregation negotiation provided through LACP

    • Virtual port channel (vPC) allows port channels to be terminated on different physical devices
      • Added resiliency against device failures
      • Enables loop-free logical topologies while maintaining full physical redundancy
      • Multiple physical switches appear as a single logical switch to the peer device

    Cr: NetPrime

    vPC (virtual Port Channel) & FEX (Fabric EXtender):

    vPC Feature overview:
    • Allow a single device to use a port channel across two upstream switches
    • Eliminate STP blocked ports
    • Uses all available uplink bandwidth
    • Dual-homed server operate in active-active mode
    • Provide fast convergence upon link/device failure


    vPC Terminology:

    • vPC peer - a vPC switch, one of a pair
    • vPC member port - one of a set of ports (port channels) that form a vPC
    • vPC - the combined port channel between the vPC peers and the downstream device
    • vPC peer link - Link used to synchronize state between vPC peer devices, must be 10GbE. Also carry multicast/broadcast/flooding traffic and data traffic in case of vpc member port failure
    • vPC peer keepalive link - the peer keepalive link between vPC peer switches. It is used to carry heartbeat packets
    • CFS - Cisco Fabric Services protocol, used for state synchronization and configuration validation between vPC peer devices


    vPC Peerlink:

    • Peer Link carries both vPC data and control traffic between peer switches
      • Carries any flooded and/or orphan port traffic
      • Carries STP BPDUs, HSRP Hellos, IGMP updates, etc.
      • Carries Cisco Fabric Services messages (vPC control traffic)
    • Minimum 2 x 10GbE ports
    • It is not recommended to share vPC and non-vPC traffic on the same Peer Link
    • interface port-channel 20
        switchport mode trunk
        switchport trunk native vlan 100
        switchport trunk allowed vlan 100-105
        vpc peer-link
        spanning-tree port type network


    What is Enhanced vPC (aka Dual Layer vPC):

    • Enhanced vPC is a technology that supports creation of port-channels across interfaces from two different FEX's while the FEX's themselves are dual-homed to a pair of Nexus 5500 switches.
    • Support to create Po between FEXs and hosts.
    • The name dual layer vPC (EVPC) refers to the fact that there is vPC running between FEX and N5K and there is another tier of vPC properties between FEX and hosts.
    • The server can take advantage of 802.3ad port-channel to use both links simultaneously.


    FEX physical versus logical look:

    • Cisco Nexus Parent Switch + Nexus 2000 Fabric Extender = Distributed Modular System
    B-)
  • 2 Comments sorted by
  • FEX FAQs:

    • How do I upgrade software on the FEX units?
      When the parent switch is upgraded, the FEX will also be upgraded. There is no separate code upgrade procedure for the FEX.

    • Do I need management IP addresses for the FEX units?
      No, the FEX units are managed from the parent switch. The configuration for the interfaces on the FEX units is entered in the parent switch.

    vPC Configuration:
      • interface port-channel8
          description Link-to-S03
          switchport access vlan 142
          vpc 8
        !
        int eth1/9
         channel-group 8
        !

      สรุปความรู้เรื่องการออกแบบระบบเครือข่าย Data Center แบบ 2-Tier และ Single-Layer จากงาน Cisco Night Academy 4: Data Center: Unified Data Center Fabric:

      จากเดิมที่ในโลกนี้มีการออกแบบระบบเครือข่ายเพียงแค่แนวคิดแบบ 3-Tier เป็นหลัก โดยแบ่งระบบเครือข่ายออกเป็น Core, Distributed และ Edge Switch นั้น ปัจจุบันการเปลี่ยนแปลงไปของสถาปัตยกรรมการทำงานของ Application ต่างๆ เพื่อรองรับผู้ใช้งานจำนวนมากได้ และจัดเก็บข้อมูลขนาดใหญ่ได้ ในขณะที่ต้องมีพลังในการประมวลผลสูง, เพิ่มขยายได้ง่าย, ประหยัดพลังงาน และลดค่าใช้จ่ายในองค์กรหรือของธุรกิจได้นั้น ได้กลายเป็นแรงผลักดันหลักให้การออกแบบระบบเครือข่ายมีการเปลี่ยนแปลงไปเพื่อตอบโจทย์เหล่านี้ให้ได้อย่างเหมาะสม และใน Cisco Night Academy ครั้งที่ 4 นี้ก็ได้ตอบโจทย์การออกแบบเหล่านี้เอาไว้ได้อย่างน่าสนใจ ดังนี้

      ทำไม Core, Distributed, Edge ถึงไม่เพียงพออีกต่อไป?:

      คำถามนี้ไม่ได้จะนำไปสู่ข้อสรุปที่ว่าระบบเครือข่ายไม่ควรออกแบบแบบ 3-Tier อีกต่อไป เพราะการแยกระบบเครือข่ายออกเป็น Core, Distributed และ Edge นั้นก็ยังคงมีบทบาทที่สำคัญสำหรับระบบเครือข่าย Campus ภายในองค์กร และ Data Center สำหรับองค์กรที่มีขนาดเล็กและปานกลางอยู่ดี เพราะการตอบโจทย์ของ Application และการเชื่อมต่อในลักษณะของ Client-Server นั้น 3-Tier Design นี้ก็ยังสามารถรองรับได้อย่างมีประสิทธิภาพ

      Cr: TechTalk B-)
    • ใน DC หรือ Data Center จะมีการออกแบบ Network ให้เป็นแบบ Hierarchical โดยแบ่งออกเป็นแค่ 2 Layer แค่นั้น ไม่เหมือนอย่าง Enterprise Network ที่แบ่งออกเป็น 3 Layer (Core, Distribution, Access)

      image

      ใน Layer ของ Data Center (DC) จะมีเพียงแค่ 2 Layer คือ
      1. Spine (เทียบเท่าระดับ Core)
      2. Leaf (เทียบเท่าระดับ Access)

      หลักการออกแบบในรูปแบบของ Spine and Leaf:



      Cr: A.Kochaiwat B-)