1. Neden bu yazı?

VPLS yazısında iki uzak noktayı aynı switch’e bağlıymış gibi konuşturmuştuk. Müşterinin L2 çerçevesi MPLS etiketiyle taşınıyordu. VXLAN da aynı işi yapıyor. Tek fark çerçeveyi MPLS etiketiyle değil, sıradan bir IP/UDP paketinin içine koyarak taşıması. Altta MPLS ve LDP yok, IP ulaşılabilirliği yetiyor.

Bu yazı “Sıfırdan VXLAN” serisinin ilk yazısı. Burada hiçbir vendora bağlı kalmadan mantığı oturtacağım. Sonraki yazılarda aynı kurulumu Nokia, Huawei ve Cisco’da tek tek yapacağım. En sonda MAC adreslerini BGP ile dağıtan EVPN’e geçeceğim.

Yazının sonunda tarayıcıda açılan hazır bir lab var. Üç farklı vendor aynı VNI’de konuşuyor, paketin VXLAN başlığını adım adım görebiliyorsun.

2. Sorun: ağ L3, uygulama aynı L2’yi istiyor

Modern veri merkezlerinde ağ genelde spine-leaf şeklinde kurulur. Her rack’in tepesinde bir leaf switch var, leaf’ler spine’lara bağlı. Aradaki her link ayrı bir IP ağı, üstünde OSPF ya da BGP çalışıyor. Yani ağın gövdesi tamamen L3. Bunun sebebi basit: L3’te döngü yok, STP yok, tüm linkler aynı anda kullanılabiliyor (ECMP).

Ama uygulamalar hâlâ L2 istiyor:

  • Bir sanal makine Rack 1’den Rack 2’ye taşındığında IP adresi değişmesin istiyorsun.
  • Bir kümedeki sunucuların aynı subnet’te olması gerekiyor.
  • Müşteri ya da uygulama başına ayrı L2 segment istiyorsun, ama VLAN alanı 12 bit. En fazla 4094 segment.

L3 spine-leaf ağında iki rack arasında aynı subnet isteniyor; VLAN 4094, VNI 16 milyon

VXLAN’ın cevabı şu: “Gövde L3 kalsın. L2 çerçeveyi IP paketine koyup karşı rack’e taşıyalım.” Bu taşıma sırasında segmenti ayırmak için 24 bitlik bir numara kullanılır: VNI. 24 bit, yaklaşık 16 milyon segment demek.

3. Benzetme: şirket içi not ve kurye zarfı

Bir şirketin iki binası var: Bina A ve Bina B. Bina içinde herkes birbirine iç not gönderiyor. Notun üstünde sadece “Ayşe, 5. kat” yazıyor. Bina içindeki posta sistemi bunu anlıyor. Ama şehirdeki kuryeler “Ayşe, 5. kat” diye bir adres tanımaz.

Bina A’daki biri Bina B’deki Ayşe’ye not yazınca şu oluyor:

  1. Not, Bina A’nın posta odasına gidiyor.
  2. Posta odası notu açmadan bir kurye zarfına koyuyor. Zarfın üstüne iki şey yazıyor: alıcı bina (Bina B) ve departman kodu (5010).
  3. Şehirdeki kuryeler sadece zarfın üstündeki bina adresine bakıyor. İçini açmıyor, Ayşe’yi tanımıyor.
  4. Bina B’nin posta odası zarfı açıyor, departman koduna bakıp notu doğru kata veriyor.
  5. Ayşe notu alıyor. Notun şehirde dolaştığından haberi yok.

İç not Ethernet çerçevesi, kurye zarfı dış IP UDP VXLAN başlığı, posta odası VTEP, departman kodu VNI

Eşleştirelim:

BenzetmeVXLAN
İç notOrijinal Ethernet çerçevesi (PC’nin gönderdiği)
“Ayşe, 5. kat”Hedef MAC adresi
Posta odasıVTEP (VXLAN Tunnel End Point)
Bina adresiVTEP’in IP adresi (genelde loopback)
Departman koduVNI (VXLAN Network Identifier)
Şehirdeki kuryelerUnderlay router’lar
Bina içindeki iç postaOverlay: PC’lerin gördüğü L2 segment

Benzetmenin bir de tuzağı var: departman kodu yanlış yazılırsa zarf doğru binaya gider ama yanlış kata teslim edilir. VXLAN’da da iki uçta VNI farklıysa tünel ayakta görünür ama ping gitmez. Buna lab’da tekrar döneceğim.

4. Kapsülleme: paket nasıl görünür?

VTEP, PC’den gelen çerçeveye dokunmaz. Önüne dört başlık ekler:

VXLAN kapsülleme: dış Ethernet 14 byte, dış IP 20, UDP 8, VXLAN 8, toplam 50 byte; VXLAN başlığında 24 bit VNI

BaşlıkBoyutİçinde ne var
Dış Ethernet14 byteBir sonraki underlay router’ın MAC’i
Dış IP20 byteKaynak: bu VTEP (1.1.1.1), hedef: karşı VTEP (3.3.3.3)
UDP8 byteHedef port 4789
VXLAN8 byteBayraklar ve 24 bitlik VNI
Orijinal çerçevedeğişmezPC1’in gönderdiği Ethernet çerçevesinin kendisi

İki detay önemli:

  • UDP kaynak portu sabit değil. VTEP bunu içteki çerçevenin başlıklarından bir hash ile seçer. Underlay router’lar yük dağıtırken (ECMP) UDP portlarına da baktığı için, farklı akışlar farklı yollara dağılır. Hedef port her zaman 4789.
  • 50 byte ek yük var. PC 1500 byte’lık bir paket gönderirse underlay’de paket 1550 byte olur. Underlay linklerinin MTU’su bunu taşıyamazsa büyük paketler düşer. Bunu 8. bölümde açıyorum.

5. Terimler: VTEP, VNI, underlay, overlay

TerimNe demek
VTEPÇerçeveyi VXLAN’a saran ve açan cihaz. Leaf switch, router ya da bir sunucunun içindeki sanal switch olabilir
VNI24 bitlik segment numarası. Aynı VNI = aynı L2 segment. VLAN’ın büyük kardeşi gibi düşün
UnderlayVTEP’leri birbirine IP ile ulaştıran ağ. OSPF, IS-IS ya da BGP ile kurulur. VXLAN’dan haberi yoktur
OverlayVXLAN tünellerinin üstünde oluşan sanal L2 ağı. PC’ler bunu görür
NVENetwork Virtualization Edge. Bazı vendorlar VTEP’in mantıksal arayüzüne bu adı verir (interface nve1, interface Nve1)
Bridge domainVTEP içindeki sanal switch. Bir VNI’ye bağlanır, erişim portları da buna takılır

Kısacası her VTEP’te üç şey kurarsın: bir kaynak adres (genelde loopback), bir köprü (bridge domain ya da VPLS) ve bu köprüyü VNI’ye bağlama. Üstüne karşı VTEP’lerin listesini verirsin.

6. Paketin yolculuğu

PC1 (Rack 1) ile PC3 (Rack 2) aynı subnet’te, aynı VNI’de. PC1, PC3’e ping atıyor:

PC1 çerçevesi LEAF1 VTEPte VXLANa sarılır, SPINE sadece dış IPye bakar, LEAF2 açar ve PC3e teslim eder

  1. LEAF1 (kapsülle): PC1’den gelen çerçeve VNI 5010’a bağlı köprüye girer. Hedef MAC, karşı VTEP’in arkasında öğrenilmişse LEAF1 çerçeveyi VXLAN’a sarar. Dış IP: 1.1.1.1 → 3.3.3.3.
  2. SPINE (yönlendir): Önüne gelen sıradan bir IP paketi. 3.3.3.3’e giden rotaya bakar ve iletir. İçinde bir Ethernet çerçevesi olduğunu bilmez, bilmesi de gerekmez.
  3. LEAF2 (aç ve teslim et): UDP 4789’a gelen paketi tanır, başlıkları söker. VNI 5010’a bakıp çerçeveyi o köprüye verir. Giderken öğrendiğini de not eder: “PC1’in MAC’i 1.1.1.1 arkasında.”

SPINE’ın gözünden bakınca tek gördüğü şey 1.1.1.1 ile 3.3.3.3 arasındaki UDP trafiği. Müşterinin MAC’leri, VLAN’ları, IP’leri spine’a hiç ulaşmaz. MPLS’teki P router’ın etiketten başka bir şeye bakmaması gibi.

7. Hedefi bilmiyorsam? Flood and learn

Yukarıda “hedef MAC öğrenilmişse” dedim. Peki ilk pakette ne olacak? PC1 önce ARP atar: “192.168.10.3 kimde?” Bu bir broadcast. VTEP’in bunu kime göndereceğini bilmesi lazım.

Bu tür trafiğe BUM denir: Broadcast, Unknown unicast, Multicast. VXLAN’da BUM için iki yöntem var:

  • Multicast underlay: Her VNI bir multicast grubuna eşlenir, VTEP BUM paketini o gruba yollar. Underlay’de PIM gerekir. VXLAN’ın ilk tasarımı (RFC 7348) buna dayanır.
  • Head-end replication (ingress replication): VTEP’e karşı VTEP’lerin listesini elle verirsin. BUM paketini listedeki her VTEP’e ayrı bir unicast kopya olarak gönderir. Underlay’de multicast gerekmez.

Bu yazıda ve simülatörde ikincisini kullanıyorum, çünkü kurması en kolayı.

LEAF1 ARP yayınını peer listesindeki her VTEPe ayrı kopya olarak gönderir, karşı VTEPler PC1 MACini öğrenir

Akış şöyle:

  1. LEAF1, PC1’in ARP’ını listesindeki her VTEP’e (2.2.2.2 ve 3.3.3.3) ayrı ayrı kopyalar.
  2. Kopyayı alan her VTEP, PC1’in MAC’ini “1.1.1.1 arkasında” diye öğrenir.
  3. PC3 cevap verir. LEAF3 artık PC1’in yerini bildiği için cevabı tek kopya olarak doğrudan 1.1.1.1’e yollar.

Buna flood and learn denir: kontrol düzlemi yok, her şey trafikten öğreniliyor. VPLS’te de MAC’ler böyle öğreniliyordu.

Bu yöntemin iki zayıf yanı var. VTEP sayısı arttıkça her BUM paketi o kadar kopyalanır. Peer listesini de her VTEP’te elle yönetirsin: 50 leaf varsa her birine 49 adres yazarsın. EVPN tam bu sorunu çözüyor: VTEP’ler birbirini ve MAC adreslerini BGP ile öğreniyor. Serinin son yazısının konusu bu.

8. MTU tuzağı

VXLAN’ın en klasik arızası MTU’dur. Belirti şöyle: ping gidiyor, SSH açılıyor ama dosya kopyalarken ya da bir web sayfası yüklenirken bağlantı takılıyor. Küçük paketler geçiyor, büyükler geçmiyor.

Sebep 4. bölümdeki 50 byte. PC’ler 1500 byte gönderiyor, underlay’de paket 1550 byte oluyor. Underlay linklerinin MTU’su 1500 ise bu paketler sığmıyor. Pratikte iki çözüm var:

  • Underlay MTU’sunu büyütmek: Veri merkezlerinde genelde 9000 ya da 9216 (jumbo) kullanılır. Bu en temiz çözümdür.
  • PC’lerin MTU’sunu küçültmek: 1450 gibi. Her uç cihazı ayarlamak gerektiği için pek tercih edilmez.

Simülatör MTU’yu hesaplamıyor. Bu yüzden bu tuzağı orada göremezsin. Gerçek lab’da ping komutuna büyük boyut ve “fragment etme” (DF) bayrağı vererek test edebilirsin.

9. VPLS ile yan yana

VPLS’i bildiğin için karşılaştırma işini kolaylaştırır:

VPLSVXLAN
Ne taşır?L2 çerçeveL2 çerçeve
Neyin içinde?MPLS etiketiIP + UDP + VXLAN başlığı
Altta ne lazım?MPLS + LDP (ya da RSVP / SR)Sadece IP ulaşılabilirliği
TünelPseudowire (SDP üstünde)VTEP’ten VTEP’e
Segment numarasıServis ID / VC-IDVNI (24 bit)
Uçlar nasıl bulunur?T-LDP ya da BGPStatik liste, multicast ya da EVPN
MAC öğrenmeTrafikten (veri düzlemi)Statikte trafikten, EVPN’de BGP ile
Döngü önlemeMesh-SDP split horizonVTEP’ten gelen trafik başka VTEP’e geri gönderilmez
Nerede yaygın?Servis sağlayıcı çekirdeğiVeri merkezi fabric’i (giderek SP’de de)

Özetle: VPLS’in mantığı aynen duruyor, sadece taşıyıcı MPLS’ten IP’ye değişiyor. Bu yüzden VPLS’i anlamış biri VXLAN’ın yarısını zaten biliyor.

10. Üç vendorda aynı kurulum

Aynı işi üç vendorda yan yana koyuyorum: LEAF1’in loopback’i 1.1.1.1, karşı VTEP 3.3.3.3, PC’nin bağlı olduğu port etiketsiz (untagged), köprü 10, VNI 5010. Underlay’in (OSPF ve loopback’ler) hazır olduğunu varsayıyorum.

Cisco IOS-XE (CSR1000v / Catalyst 8000v):

interface GigabitEthernet0/1
 no shutdown
 service instance 10 ethernet
  encapsulation untagged
!
bridge-domain 10
 member vni 5010
 member GigabitEthernet0/1 service-instance 10
!
interface nve1
 no shutdown
 source-interface Loopback0
 member vni 5010
  ingress-replication 3.3.3.3

Huawei VRP (CloudEngine):

bridge-domain 10
 vxlan vni 5010
#
interface GigabitEthernet0/0/1.1 mode l2
 encapsulation untag
 bridge-domain 10
#
interface Nve1
 source 1.1.1.1
 vni 5010 head-end peer-list 3.3.3.3

Nokia SR OS (klasik CLI):

configure service vpls 10 customer 1 create
    sap 1/1/2 create
        no shutdown
    exit
    vxlan instance 1 vni 5010 create
        egr-vtep 3.3.3.3 create
        exit
    exit
    no shutdown

Üçü de aynı dört parçadan oluşuyor, sadece isimleri farklı:

ParçaCiscoHuaweiNokia
Köprübridge-domain 10bridge-domain 10vpls 10
Köprü ↔ VNImember vni 5010vxlan vni 5010vxlan instance 1 vni 5010
Erişim portuservice instance + member ... service-instanceinterface X.1 mode l2 + bridge-domain 10sap 1/1/2
VTEP kaynağısource-interface Loopback0source 1.1.1.1system adresi (varsayılan)
Karşı VTEP’leringress-replication 3.3.3.3head-end peer-list 3.3.3.3egr-vtep 3.3.3.3

Doğrulama komutları:

SoruCiscoHuaweiNokia
Tüneller ayakta mı?show nve peersdisplay vxlan tunnelshow service vxlan
VNI hangi köprüde?show nve vnidisplay vxlan vnishow service id 10 vxlan
MAC’ler nereden öğrenildi?show bridge-domain 10display mac-address bridge-domain 10show service id 10 fdb detail

Birkaç dürüst not:

  • Cisco: Bu sözdizimi IOS-XE router’lar (CSR1000v, Catalyst 8000v) içindir. Klasik IOS’ta (GNS3’teki IOSv gibi) VXLAN yok. Nexus switch’ler ise NX-OS kullanır ve komutlar farklıdır (feature nv overlay, vn-segment).
  • Huawei: VXLAN, CloudEngine (CE) switch’lerde çalışır. eNSP’de bunun için CE12800 imajını kullanman gerekiyor, AR router’larda VXLAN komutu yok. Gerçek CE’de arayüz adları 10GE1/0/1 gibi olur.
  • Nokia: vxlan instance ... egr-vtep sözdizimi yeni sürümlerden. Bazı eski sürümlerde vxlan vni 5010 create yazılıyor. Benim GNS3’teki eski vSIM imajında statik VXLAN’ın nasıl göründüğünü Nokia yazısında kendi lab’ımda deneyip yazacağım.
  • Simülatör: Kolaylık olsun diye bu komutlar simülatördeki router’larda çalışıyor. Arayüz adları da simülatörün adları. Gerçek cihazdaki adları yukarıdaki notlara göre değiştir.

11. Simülatörde dene

Simülasyon sayfasında Yeni → “VXLAN: üç vendor, tek VNI” hazır lab’ını aç. Cisco, Huawei ve Nokia leaf’ler aynı VNI 5010’da. Spine Huawei, underlay OSPF. Statik VXLAN bir standart olduğu için VTEP’ler birbirinin markasını bilmez.

Üstteki VXLAN sekmesini açınca VTEP’ler arasındaki tünelleri ve hangi VNI’yi taşıdıklarını harita üzerinde görüyorsun:

Simülatör VXLAN sekmesi: Cisco, Huawei ve Nokia leaf’ler arasında VNI 5010 tünelleri

Adım adım modunu açıp PC1’den PC3’e ping atarsan paket her kabloda durur. Panel, o anda pakete hangi başlıkların takılı olduğunu gösterir:

Adım adım: LEAF1 çerçeveyi VXLAN’a sarar; dış IP 1.1.1.1’den 3.3.3.3’e, UDP 4789, VNI 5010

Denemen için birkaç fikir:

  1. PC1> ping 192.168.10.3 ile başla. Sonra LEAF’lerde yukarıdaki doğrulama komutlarına bak. MAC tablosunda PC’lerin hangi VTEP’in arkasında göründüğünü kontrol et.
  2. Bozup düzelt: LEAF2’de (Huawei) VNI’yi 5020 yap: bridge-domain 10 altında vxlan vni 5020, interface Nve1 altında vni 5020 head-end peer-list 1.1.1.1 3.3.3.3. display vxlan tunnel iki tüneli de hâlâ up gösterir, çünkü underlay’de karşı VTEP’lere rota var. Ama PC1’den PC2’ye ping gitmez. Haritada tüneller kırmızıya döner ve sebebini yazar: VNI uyuşmuyor. 3. bölümdeki “yanlış kat” tuzağı tam olarak bu: zarf doğru binaya gidiyor, yanlış kata teslim ediliyor.
  3. Bir tarafı unut: LEAF1’de (Cisco) interface nve1 → member vni 5010 altında no ingress-replication 3.3.3.3 yaz. Artık LEAF3 listesinde LEAF1’i tutuyor ama LEAF1 LEAF3’ü tanımıyor. Simülatör bu durumda PC1 ile PC3’ü konuşturmaz. Gerçek cihazlarda davranış vendora göre değişebiliyor: bazıları tanımadığı VTEP’ten gelen paketi atar, bazıları kabul eder ama bilinmeyen hedef trafiği tek yönde kalır. Doğru kurulum her iki uçta da birbirini listelemek.

Adım adım, puanlı bir pratik istersen Lab’lar bölümünde aynı kurulumun görevli sürümü var: Cisco, Huawei ve Nokia. Underlay hazır geliyor, köprüyü, VNI’yi ve VTEP’leri sen kuruyorsun, en sonda da VNI’yi bilerek bozup düzeltiyorsun.

Tek vendorla çalışmak istersen “VXLAN: statik VTEP, iki VNI” lab’ının Cisco, Huawei ve Nokia sürümleri de hazır. Orada dört PC’nin dördü de 192.168.10.0/24’te, ama PC1 ile PC3 VNI 5010’da, PC2 ile PC4 VNI 5020’de. PC1, aynı leaf’e bağlı ve aynı subnet’teki PC2’ye ping atamaz, karşı rack’teki PC3’e atar. VNI’nin bir segment ayırıcı olduğunu görmenin en kısa yolu bu.

12. Sık sorulan sorular

VXLAN, MPLS’in yerine mi geçiyor? Hayır. İkisi farklı yerlerde güçlü. MPLS servis sağlayıcı çekirdeğinde trafik mühendisliği ve hızlı koruma için hâlâ ana araç. VXLAN ise MPLS’in olmadığı ya da istenmediği yerlerde, özellikle veri merkezlerinde, IP üstünden L2 taşımanın standart yolu. EVPN ise ikisinin ortak kontrol düzlemi: hem MPLS hem VXLAN üstünde çalışabiliyor.

Neden UDP? TCP olsa daha güvenli olmaz mıydı? Hayır, çünkü güvenilirliği içteki trafik zaten kendisi sağlıyor. Altta bir de TCP olsaydı iki katmanlı yeniden gönderme olurdu. UDP hafif ve kaynak portu değiştirilerek ECMP’ye dağıtılabiliyor.

VNI ile VLAN aynı şey mi? Benzer işi yapıyorlar, ikisi de bir L2 segmenti ayırıyor. Ama VLAN etiketi linke takılı, 12 bit ve tek bir L2 alanında geçerli. VNI ise 24 bit ve IP ağının bir ucundan diğerine taşınıyor. Leaf’te genelde bir VLAN (ya da etiketsiz port) bir VNI’ye eşlenir.

Spine’ın VXLAN bilmesi gerekir mi? Hayır. Spine sadece VTEP loopback’lerine giden rotaları bilir. Bu VXLAN’ın en güzel tarafı: underlay’i değiştirmeden üstüne istediğin kadar segment ekleyebilirsin.

Statik VXLAN’ı üretimde kullanan var mı? Küçük ve sabit ortamlarda, iki-üç VTEP arasında kullanılabilir. Ama VTEP sayısı arttıkça listeyi elle yönetmek zorlaşır. Çoğu ortamda VXLAN, EVPN ile birlikte kuruluyor.

13. Özet

  • VXLAN, L2 çerçeveyi IP/UDP paketinin içinde taşır. Gövde L3 kalır, uçlar aynı L2 segmentte görünür.
  • VTEP sarar ve açar. VNI segmenti ayırır (24 bit, yaklaşık 16 milyon). Underlay sadece VTEP’ler arasındaki IP’yi taşır.
  • Kapsülleme 50 byte ekler: dış Ethernet, dış IP, UDP (port 4789), VXLAN. Underlay MTU’sunu buna göre büyütmek gerekir.
  • Bilinmeyen hedef için VTEP ya multicast kullanır ya da head-end replication ile her karşı VTEP’e ayrı kopya yollar. MAC’ler trafikten öğrenilir (flood and learn).
  • Mantık VPLS ile aynı, taşıyıcı farklı: MPLS yerine IP.
  • İki uçta VNI farklıysa tünel ayakta görünür ama trafik geçmez. İlk bakacağın yer VNI.

Serinin devamında aynı kurulumu Nokia, Huawei ve Cisco’da tek tek yapacağım, en sonda da EVPN’e geçeceğim. Serinin tamamı için Sıfırdan VXLAN sayfasına bakabilirsin.

Kaynaklar