1. Neden bu yazı?
VPLS yazısında iki uzak noktayı aynı switch’e bağlıymış gibi konuşturmuştuk. Müşterinin L2 çerçevesi MPLS etiketiyle taşınıyordu. VXLAN da aynı işi yapıyor. Tek fark çerçeveyi MPLS etiketiyle değil, sıradan bir IP/UDP paketinin içine koyarak taşıması. Altta MPLS ve LDP yok, IP ulaşılabilirliği yetiyor.
Bu yazı “Sıfırdan VXLAN” serisinin ilk yazısı. Burada hiçbir vendora bağlı kalmadan mantığı oturtacağım. Sonraki yazılarda aynı kurulumu Nokia, Huawei ve Cisco’da tek tek yapacağım. En sonda MAC adreslerini BGP ile dağıtan EVPN’e geçeceğim.
Yazının sonunda tarayıcıda açılan hazır bir lab var. Üç farklı vendor aynı VNI’de konuşuyor, paketin VXLAN başlığını adım adım görebiliyorsun.
2. Sorun: ağ L3, uygulama aynı L2’yi istiyor
Modern veri merkezlerinde ağ genelde spine-leaf şeklinde kurulur. Her rack’in tepesinde bir leaf switch var, leaf’ler spine’lara bağlı. Aradaki her link ayrı bir IP ağı, üstünde OSPF ya da BGP çalışıyor. Yani ağın gövdesi tamamen L3. Bunun sebebi basit: L3’te döngü yok, STP yok, tüm linkler aynı anda kullanılabiliyor (ECMP).
Ama uygulamalar hâlâ L2 istiyor:
- Bir sanal makine Rack 1’den Rack 2’ye taşındığında IP adresi değişmesin istiyorsun.
- Bir kümedeki sunucuların aynı subnet’te olması gerekiyor.
- Müşteri ya da uygulama başına ayrı L2 segment istiyorsun, ama VLAN alanı 12 bit. En fazla 4094 segment.
VXLAN’ın cevabı şu: “Gövde L3 kalsın. L2 çerçeveyi IP paketine koyup karşı rack’e taşıyalım.” Bu taşıma sırasında segmenti ayırmak için 24 bitlik bir numara kullanılır: VNI. 24 bit, yaklaşık 16 milyon segment demek.
3. Benzetme: şirket içi not ve kurye zarfı
Bir şirketin iki binası var: Bina A ve Bina B. Bina içinde herkes birbirine iç not gönderiyor. Notun üstünde sadece “Ayşe, 5. kat” yazıyor. Bina içindeki posta sistemi bunu anlıyor. Ama şehirdeki kuryeler “Ayşe, 5. kat” diye bir adres tanımaz.
Bina A’daki biri Bina B’deki Ayşe’ye not yazınca şu oluyor:
- Not, Bina A’nın posta odasına gidiyor.
- Posta odası notu açmadan bir kurye zarfına koyuyor. Zarfın üstüne iki şey yazıyor: alıcı bina (Bina B) ve departman kodu (5010).
- Şehirdeki kuryeler sadece zarfın üstündeki bina adresine bakıyor. İçini açmıyor, Ayşe’yi tanımıyor.
- Bina B’nin posta odası zarfı açıyor, departman koduna bakıp notu doğru kata veriyor.
- Ayşe notu alıyor. Notun şehirde dolaştığından haberi yok.
Eşleştirelim:
| Benzetme | VXLAN |
|---|---|
| İç not | Orijinal Ethernet çerçevesi (PC’nin gönderdiği) |
| “Ayşe, 5. kat” | Hedef MAC adresi |
| Posta odası | VTEP (VXLAN Tunnel End Point) |
| Bina adresi | VTEP’in IP adresi (genelde loopback) |
| Departman kodu | VNI (VXLAN Network Identifier) |
| Şehirdeki kuryeler | Underlay router’lar |
| Bina içindeki iç posta | Overlay: PC’lerin gördüğü L2 segment |
Benzetmenin bir de tuzağı var: departman kodu yanlış yazılırsa zarf doğru binaya gider ama yanlış kata teslim edilir. VXLAN’da da iki uçta VNI farklıysa tünel ayakta görünür ama ping gitmez. Buna lab’da tekrar döneceğim.
4. Kapsülleme: paket nasıl görünür?
VTEP, PC’den gelen çerçeveye dokunmaz. Önüne dört başlık ekler:
| Başlık | Boyut | İçinde ne var |
|---|---|---|
| Dış Ethernet | 14 byte | Bir sonraki underlay router’ın MAC’i |
| Dış IP | 20 byte | Kaynak: bu VTEP (1.1.1.1), hedef: karşı VTEP (3.3.3.3) |
| UDP | 8 byte | Hedef port 4789 |
| VXLAN | 8 byte | Bayraklar ve 24 bitlik VNI |
| Orijinal çerçeve | değişmez | PC1’in gönderdiği Ethernet çerçevesinin kendisi |
İki detay önemli:
- UDP kaynak portu sabit değil. VTEP bunu içteki çerçevenin başlıklarından bir hash ile seçer. Underlay router’lar yük dağıtırken (ECMP) UDP portlarına da baktığı için, farklı akışlar farklı yollara dağılır. Hedef port her zaman 4789.
- 50 byte ek yük var. PC 1500 byte’lık bir paket gönderirse underlay’de paket 1550 byte olur. Underlay linklerinin MTU’su bunu taşıyamazsa büyük paketler düşer. Bunu 8. bölümde açıyorum.
5. Terimler: VTEP, VNI, underlay, overlay
| Terim | Ne demek |
|---|---|
| VTEP | Çerçeveyi VXLAN’a saran ve açan cihaz. Leaf switch, router ya da bir sunucunun içindeki sanal switch olabilir |
| VNI | 24 bitlik segment numarası. Aynı VNI = aynı L2 segment. VLAN’ın büyük kardeşi gibi düşün |
| Underlay | VTEP’leri birbirine IP ile ulaştıran ağ. OSPF, IS-IS ya da BGP ile kurulur. VXLAN’dan haberi yoktur |
| Overlay | VXLAN tünellerinin üstünde oluşan sanal L2 ağı. PC’ler bunu görür |
| NVE | Network Virtualization Edge. Bazı vendorlar VTEP’in mantıksal arayüzüne bu adı verir (interface nve1, interface Nve1) |
| Bridge domain | VTEP içindeki sanal switch. Bir VNI’ye bağlanır, erişim portları da buna takılır |
Kısacası her VTEP’te üç şey kurarsın: bir kaynak adres (genelde loopback), bir köprü (bridge domain ya da VPLS) ve bu köprüyü VNI’ye bağlama. Üstüne karşı VTEP’lerin listesini verirsin.
6. Paketin yolculuğu
PC1 (Rack 1) ile PC3 (Rack 2) aynı subnet’te, aynı VNI’de. PC1, PC3’e ping atıyor:
- LEAF1 (kapsülle): PC1’den gelen çerçeve VNI 5010’a bağlı köprüye girer. Hedef MAC, karşı VTEP’in arkasında öğrenilmişse LEAF1 çerçeveyi VXLAN’a sarar. Dış IP: 1.1.1.1 → 3.3.3.3.
- SPINE (yönlendir): Önüne gelen sıradan bir IP paketi. 3.3.3.3’e giden rotaya bakar ve iletir. İçinde bir Ethernet çerçevesi olduğunu bilmez, bilmesi de gerekmez.
- LEAF2 (aç ve teslim et): UDP 4789’a gelen paketi tanır, başlıkları söker. VNI 5010’a bakıp çerçeveyi o köprüye verir. Giderken öğrendiğini de not eder: “PC1’in MAC’i 1.1.1.1 arkasında.”
SPINE’ın gözünden bakınca tek gördüğü şey 1.1.1.1 ile 3.3.3.3 arasındaki UDP trafiği. Müşterinin MAC’leri, VLAN’ları, IP’leri spine’a hiç ulaşmaz. MPLS’teki P router’ın etiketten başka bir şeye bakmaması gibi.
7. Hedefi bilmiyorsam? Flood and learn
Yukarıda “hedef MAC öğrenilmişse” dedim. Peki ilk pakette ne olacak? PC1 önce ARP atar: “192.168.10.3 kimde?” Bu bir broadcast. VTEP’in bunu kime göndereceğini bilmesi lazım.
Bu tür trafiğe BUM denir: Broadcast, Unknown unicast, Multicast. VXLAN’da BUM için iki yöntem var:
- Multicast underlay: Her VNI bir multicast grubuna eşlenir, VTEP BUM paketini o gruba yollar. Underlay’de PIM gerekir. VXLAN’ın ilk tasarımı (RFC 7348) buna dayanır.
- Head-end replication (ingress replication): VTEP’e karşı VTEP’lerin listesini elle verirsin. BUM paketini listedeki her VTEP’e ayrı bir unicast kopya olarak gönderir. Underlay’de multicast gerekmez.
Bu yazıda ve simülatörde ikincisini kullanıyorum, çünkü kurması en kolayı.
Akış şöyle:
- LEAF1, PC1’in ARP’ını listesindeki her VTEP’e (2.2.2.2 ve 3.3.3.3) ayrı ayrı kopyalar.
- Kopyayı alan her VTEP, PC1’in MAC’ini “1.1.1.1 arkasında” diye öğrenir.
- PC3 cevap verir. LEAF3 artık PC1’in yerini bildiği için cevabı tek kopya olarak doğrudan 1.1.1.1’e yollar.
Buna flood and learn denir: kontrol düzlemi yok, her şey trafikten öğreniliyor. VPLS’te de MAC’ler böyle öğreniliyordu.
Bu yöntemin iki zayıf yanı var. VTEP sayısı arttıkça her BUM paketi o kadar kopyalanır. Peer listesini de her VTEP’te elle yönetirsin: 50 leaf varsa her birine 49 adres yazarsın. EVPN tam bu sorunu çözüyor: VTEP’ler birbirini ve MAC adreslerini BGP ile öğreniyor. Serinin son yazısının konusu bu.
8. MTU tuzağı
VXLAN’ın en klasik arızası MTU’dur. Belirti şöyle: ping gidiyor, SSH açılıyor ama dosya kopyalarken ya da bir web sayfası yüklenirken bağlantı takılıyor. Küçük paketler geçiyor, büyükler geçmiyor.
Sebep 4. bölümdeki 50 byte. PC’ler 1500 byte gönderiyor, underlay’de paket 1550 byte oluyor. Underlay linklerinin MTU’su 1500 ise bu paketler sığmıyor. Pratikte iki çözüm var:
- Underlay MTU’sunu büyütmek: Veri merkezlerinde genelde 9000 ya da 9216 (jumbo) kullanılır. Bu en temiz çözümdür.
- PC’lerin MTU’sunu küçültmek: 1450 gibi. Her uç cihazı ayarlamak gerektiği için pek tercih edilmez.
Simülatör MTU’yu hesaplamıyor. Bu yüzden bu tuzağı orada göremezsin. Gerçek lab’da ping komutuna büyük boyut ve “fragment etme” (DF) bayrağı vererek test edebilirsin.
9. VPLS ile yan yana
VPLS’i bildiğin için karşılaştırma işini kolaylaştırır:
| VPLS | VXLAN | |
|---|---|---|
| Ne taşır? | L2 çerçeve | L2 çerçeve |
| Neyin içinde? | MPLS etiketi | IP + UDP + VXLAN başlığı |
| Altta ne lazım? | MPLS + LDP (ya da RSVP / SR) | Sadece IP ulaşılabilirliği |
| Tünel | Pseudowire (SDP üstünde) | VTEP’ten VTEP’e |
| Segment numarası | Servis ID / VC-ID | VNI (24 bit) |
| Uçlar nasıl bulunur? | T-LDP ya da BGP | Statik liste, multicast ya da EVPN |
| MAC öğrenme | Trafikten (veri düzlemi) | Statikte trafikten, EVPN’de BGP ile |
| Döngü önleme | Mesh-SDP split horizon | VTEP’ten gelen trafik başka VTEP’e geri gönderilmez |
| Nerede yaygın? | Servis sağlayıcı çekirdeği | Veri merkezi fabric’i (giderek SP’de de) |
Özetle: VPLS’in mantığı aynen duruyor, sadece taşıyıcı MPLS’ten IP’ye değişiyor. Bu yüzden VPLS’i anlamış biri VXLAN’ın yarısını zaten biliyor.
10. Üç vendorda aynı kurulum
Aynı işi üç vendorda yan yana koyuyorum: LEAF1’in loopback’i 1.1.1.1, karşı VTEP 3.3.3.3, PC’nin bağlı olduğu port etiketsiz (untagged), köprü 10, VNI 5010. Underlay’in (OSPF ve loopback’ler) hazır olduğunu varsayıyorum.
Cisco IOS-XE (CSR1000v / Catalyst 8000v):
interface GigabitEthernet0/1
no shutdown
service instance 10 ethernet
encapsulation untagged
!
bridge-domain 10
member vni 5010
member GigabitEthernet0/1 service-instance 10
!
interface nve1
no shutdown
source-interface Loopback0
member vni 5010
ingress-replication 3.3.3.3
Huawei VRP (CloudEngine):
bridge-domain 10
vxlan vni 5010
#
interface GigabitEthernet0/0/1.1 mode l2
encapsulation untag
bridge-domain 10
#
interface Nve1
source 1.1.1.1
vni 5010 head-end peer-list 3.3.3.3
Nokia SR OS (klasik CLI):
configure service vpls 10 customer 1 create
sap 1/1/2 create
no shutdown
exit
vxlan instance 1 vni 5010 create
egr-vtep 3.3.3.3 create
exit
exit
no shutdown
Üçü de aynı dört parçadan oluşuyor, sadece isimleri farklı:
| Parça | Cisco | Huawei | Nokia |
|---|---|---|---|
| Köprü | bridge-domain 10 | bridge-domain 10 | vpls 10 |
| Köprü ↔ VNI | member vni 5010 | vxlan vni 5010 | vxlan instance 1 vni 5010 |
| Erişim portu | service instance + member ... service-instance | interface X.1 mode l2 + bridge-domain 10 | sap 1/1/2 |
| VTEP kaynağı | source-interface Loopback0 | source 1.1.1.1 | system adresi (varsayılan) |
| Karşı VTEP’ler | ingress-replication 3.3.3.3 | head-end peer-list 3.3.3.3 | egr-vtep 3.3.3.3 |
Doğrulama komutları:
| Soru | Cisco | Huawei | Nokia |
|---|---|---|---|
| Tüneller ayakta mı? | show nve peers | display vxlan tunnel | show service vxlan |
| VNI hangi köprüde? | show nve vni | display vxlan vni | show service id 10 vxlan |
| MAC’ler nereden öğrenildi? | show bridge-domain 10 | display mac-address bridge-domain 10 | show service id 10 fdb detail |
Birkaç dürüst not:
- Cisco: Bu sözdizimi IOS-XE router’lar (CSR1000v, Catalyst 8000v) içindir. Klasik IOS’ta (GNS3’teki IOSv gibi) VXLAN yok. Nexus switch’ler ise NX-OS kullanır ve komutlar farklıdır (
feature nv overlay,vn-segment). - Huawei: VXLAN, CloudEngine (CE) switch’lerde çalışır. eNSP’de bunun için CE12800 imajını kullanman gerekiyor, AR router’larda VXLAN komutu yok. Gerçek CE’de arayüz adları
10GE1/0/1gibi olur. - Nokia:
vxlan instance ... egr-vtepsözdizimi yeni sürümlerden. Bazı eski sürümlerdevxlan vni 5010 createyazılıyor. Benim GNS3’teki eski vSIM imajında statik VXLAN’ın nasıl göründüğünü Nokia yazısında kendi lab’ımda deneyip yazacağım. - Simülatör: Kolaylık olsun diye bu komutlar simülatördeki router’larda çalışıyor. Arayüz adları da simülatörün adları. Gerçek cihazdaki adları yukarıdaki notlara göre değiştir.
11. Simülatörde dene
Simülasyon sayfasında Yeni → “VXLAN: üç vendor, tek VNI” hazır lab’ını aç. Cisco, Huawei ve Nokia leaf’ler aynı VNI 5010’da. Spine Huawei, underlay OSPF. Statik VXLAN bir standart olduğu için VTEP’ler birbirinin markasını bilmez.
Üstteki VXLAN sekmesini açınca VTEP’ler arasındaki tünelleri ve hangi VNI’yi taşıdıklarını harita üzerinde görüyorsun:

Adım adım modunu açıp PC1’den PC3’e ping atarsan paket her kabloda durur. Panel, o anda pakete hangi başlıkların takılı olduğunu gösterir:

Denemen için birkaç fikir:
PC1> ping 192.168.10.3ile başla. Sonra LEAF’lerde yukarıdaki doğrulama komutlarına bak. MAC tablosunda PC’lerin hangi VTEP’in arkasında göründüğünü kontrol et.- Bozup düzelt: LEAF2’de (Huawei) VNI’yi 5020 yap:
bridge-domain 10altındavxlan vni 5020,interface Nve1altındavni 5020 head-end peer-list 1.1.1.1 3.3.3.3.display vxlan tunneliki tüneli de hâlâupgösterir, çünkü underlay’de karşı VTEP’lere rota var. Ama PC1’den PC2’ye ping gitmez. Haritada tüneller kırmızıya döner ve sebebini yazar: VNI uyuşmuyor. 3. bölümdeki “yanlış kat” tuzağı tam olarak bu: zarf doğru binaya gidiyor, yanlış kata teslim ediliyor. - Bir tarafı unut: LEAF1’de (Cisco)
interface nve1→member vni 5010altındano ingress-replication 3.3.3.3yaz. Artık LEAF3 listesinde LEAF1’i tutuyor ama LEAF1 LEAF3’ü tanımıyor. Simülatör bu durumda PC1 ile PC3’ü konuşturmaz. Gerçek cihazlarda davranış vendora göre değişebiliyor: bazıları tanımadığı VTEP’ten gelen paketi atar, bazıları kabul eder ama bilinmeyen hedef trafiği tek yönde kalır. Doğru kurulum her iki uçta da birbirini listelemek.
Adım adım, puanlı bir pratik istersen Lab’lar bölümünde aynı kurulumun görevli sürümü var: Cisco, Huawei ve Nokia. Underlay hazır geliyor, köprüyü, VNI’yi ve VTEP’leri sen kuruyorsun, en sonda da VNI’yi bilerek bozup düzeltiyorsun.
Tek vendorla çalışmak istersen “VXLAN: statik VTEP, iki VNI” lab’ının Cisco, Huawei ve Nokia sürümleri de hazır. Orada dört PC’nin dördü de 192.168.10.0/24’te, ama PC1 ile PC3 VNI 5010’da, PC2 ile PC4 VNI 5020’de. PC1, aynı leaf’e bağlı ve aynı subnet’teki PC2’ye ping atamaz, karşı rack’teki PC3’e atar. VNI’nin bir segment ayırıcı olduğunu görmenin en kısa yolu bu.
12. Sık sorulan sorular
VXLAN, MPLS’in yerine mi geçiyor? Hayır. İkisi farklı yerlerde güçlü. MPLS servis sağlayıcı çekirdeğinde trafik mühendisliği ve hızlı koruma için hâlâ ana araç. VXLAN ise MPLS’in olmadığı ya da istenmediği yerlerde, özellikle veri merkezlerinde, IP üstünden L2 taşımanın standart yolu. EVPN ise ikisinin ortak kontrol düzlemi: hem MPLS hem VXLAN üstünde çalışabiliyor.
Neden UDP? TCP olsa daha güvenli olmaz mıydı? Hayır, çünkü güvenilirliği içteki trafik zaten kendisi sağlıyor. Altta bir de TCP olsaydı iki katmanlı yeniden gönderme olurdu. UDP hafif ve kaynak portu değiştirilerek ECMP’ye dağıtılabiliyor.
VNI ile VLAN aynı şey mi? Benzer işi yapıyorlar, ikisi de bir L2 segmenti ayırıyor. Ama VLAN etiketi linke takılı, 12 bit ve tek bir L2 alanında geçerli. VNI ise 24 bit ve IP ağının bir ucundan diğerine taşınıyor. Leaf’te genelde bir VLAN (ya da etiketsiz port) bir VNI’ye eşlenir.
Spine’ın VXLAN bilmesi gerekir mi? Hayır. Spine sadece VTEP loopback’lerine giden rotaları bilir. Bu VXLAN’ın en güzel tarafı: underlay’i değiştirmeden üstüne istediğin kadar segment ekleyebilirsin.
Statik VXLAN’ı üretimde kullanan var mı? Küçük ve sabit ortamlarda, iki-üç VTEP arasında kullanılabilir. Ama VTEP sayısı arttıkça listeyi elle yönetmek zorlaşır. Çoğu ortamda VXLAN, EVPN ile birlikte kuruluyor.
13. Özet
- VXLAN, L2 çerçeveyi IP/UDP paketinin içinde taşır. Gövde L3 kalır, uçlar aynı L2 segmentte görünür.
- VTEP sarar ve açar. VNI segmenti ayırır (24 bit, yaklaşık 16 milyon). Underlay sadece VTEP’ler arasındaki IP’yi taşır.
- Kapsülleme 50 byte ekler: dış Ethernet, dış IP, UDP (port 4789), VXLAN. Underlay MTU’sunu buna göre büyütmek gerekir.
- Bilinmeyen hedef için VTEP ya multicast kullanır ya da head-end replication ile her karşı VTEP’e ayrı kopya yollar. MAC’ler trafikten öğrenilir (flood and learn).
- Mantık VPLS ile aynı, taşıyıcı farklı: MPLS yerine IP.
- İki uçta VNI farklıysa tünel ayakta görünür ama trafik geçmez. İlk bakacağın yer VNI.
Serinin devamında aynı kurulumu Nokia, Huawei ve Cisco’da tek tek yapacağım, en sonda da EVPN’e geçeceğim. Serinin tamamı için Sıfırdan VXLAN sayfasına bakabilirsin.