1. Amaç
İki müşteri yazısında CE’leri PE’ye statik rota ile bağlamıştım: PE’de müşteri VRF’i için ip route-static vpn-instance ..., CE’de default route. Küçük ortamda iş görür. Ama müşterinin 50 sitesi olsa her sitede elle rota yazmak, bir site düşünce de elle temizlemek gerekir.
Bu yazıda yeni bir müşteri ekliyorum ve CE’leri PE’ye eBGP ile bağlıyorum: CE kendi LAN’ını PE’ye söyler, PE bunu MPLS çekirdeği üzerinden karşı siteye taşır. Site düşerse rota kendiliğinden kaybolur.
Aynı konuyu Nokia’da da yazdım: PE–CE eBGP (Nokia). Orada en çok vakit alan yer export policy‘ydi. Huawei’de işler biraz daha kısa, ama başka yerlerde takılıyorsun. İkisini yan yana göreceksin.
Komutları simülatörümde (ugbak.com/simulasyon) kurup çıktılarını oradan aldım. eNSP ya da gerçek cihazda sürüme göre küçük farklar olabilir.
2. Büyük resim
Rota üç bölümlü bir yoldan gider:
- CE → PE (eBGP): CE LAN’ını PE’ye anlatır. Bu oturum müşterinin VPN instance’ı içinde kurulur.
- PE → PE (MP-BGP,
vpnv4): PE bu rotayı RD ve RT ile etiketleyip karşı PE’ye taşır. Aradaki P router’lar müşteri rotasını hiç görmez, sadece MPLS etiketine bakar. - PE → CE (eBGP): Karşı PE rotayı kendi VPN instance’ına alır ve kendi CE’sine verir.
Paket giderken de iki etiket taşır: dış etiket (LDP) paketi PE1’den PE2’ye götürür, iç etiket PE2’nin hangi müşteri VRF’ine bakacağını söyler. Bu iki katmanı MPLS nedir yazısında anlatmıştım.
3. Topoloji ve IP planı
Önceki yazıdaki laboratuvarı aynen kullanıyorum: R1 = PE1, R2 ve R3 = P, R4 = PE2. Müşteri A ve B (R5–R8) olduğu gibi duruyor. Üstüne müşteri C‘yi ekliyorum: iki yeni CE, R9 ve R10.
| Router | Rol | AS | PE–CE linki | LAN (LoopBack1) |
|---|---|---|---|---|
| R9 | CE (site 1) | 65001 | 192.168.20.0/24 (R1 .1, R9 .2) | 192.168.50.1/24 |
| R10 | CE (site 2) | 65001 | 192.168.30.0/24 (R4 .1, R10 .2) | 192.168.60.1/24 |
| Müşteri C | |
|---|---|
| VPN instance | VRF3 |
| RD / RT | 65000:300 / 65000:300 |
| PE’de arayüz | GE0/0/3 |
| PE AS | 65000 |
Dikkat edilecek üç nokta:
- İki CE de aynı AS’te (65001). Bu bilerek: bir müşterinin iki sitesi genelde aynı AS’i kullanır. Bunun bir sonucu var, 7. bölümde göreceğiz.
- PE’lerde artık dört arayüz var (omurga, A, B, C). AR1220’de bu kadar port yok, modül ekle ya da daha büyük bir router kullan. Ben
GigabitEthernet0/0/3yazdım, kendi arayüz adına göre değiştir. - Ağda zaten A ve B için VPRN_SERVICE ve VPRN_B var. Yeni müşteri sadece PE’lere yeni bir VPN instance demek, P router’lara dokunmuyorsun.
Neden CE’de LAN bir loopback?
CE’de gerçek bir LAN yok, onun yerine LoopBack1 kullanıyorum. İki sebebi var: simülatörde ve lab’da ekstra switch ve PC kurmaya gerek kalmıyor, ve loopback hiç düşmez, yani LAN’ın BGP’de sürekli görünmesi için güzel bir hedef. Gerçekte bu 192.168.50.0/24 bir ofis ağı olurdu, CE’nin LAN arayüzü olurdu, mantık aynı.
Neden komşu IP’si link adresi, loopback değil?
Nokia yazısında bu soruyu sormuştum, cevap burada da aynı: eBGP komşuları varsayılan olarak doğrudan bağlı olmalı (TTL = 1). PE ile CE aynı linkin iki ucunda olduğu için komşuluk link IP’siyle kurulur (peer 192.168.20.2). Loopback’ten komşuluk kurmak istersen ebgp-max-hop ve loopback’e rota gerekir. PE–CE için gereksiz karmaşıklık.
4. Huawei’de BGP bloğu: komşu nereye yazılır?
Burası Huawei’de en sık karıştırılan yer. PE’deki bgp 65000 bloğunun içinde üç ayrı yer var:
- Global blok: PE–PE komşusu (
peer 4.4.4.4 as-number 65000). ipv4-family vpnv4: o komşunun VPN rotası taşımasını açan blok (peer 4.4.4.4 enable). Bunlar VPRN yazısında zaten vardı.ipv4-family vpn-instance VRF3: müşterinin eBGP komşusu buraya yazılır.
CE’nin IP’si (192.168.20.2) VPN instance’ın içinde. Global tablo bu adresi bilmez. Komşuyu global bloğa yazarsan oturum hiç kurulmaz ve hata mesajı da vermez, sadece komşu Idle ya da Active‘de kalır.
5. Kurulum
Adım 1: PE’de VPN instance, arayüz ve eBGP komşusu
R1’de:
system-view
ip vpn-instance VRF3
ipv4-family
route-distinguisher 65000:300
vpn-target 65000:300 both
quit
quit
interface GigabitEthernet0/0/3
undo shutdown
ip binding vpn-instance VRF3
ip address 192.168.20.1 24
quit
bgp 65000
ipv4-family vpn-instance VRF3
peer 192.168.20.2 as-number 65001
R4’te aynısı: arayüze 192.168.30.1 24 ver, komşu 192.168.30.2 olsun.
Üç şeye dikkat:
ip binding, IP’den önce gelir. Sıra ters olursa arayüzdeki IP silinir. Bunu A ve B müşterilerinde de uyarmıştım. Gerçek cihazda “IP adresin neden gitti” diye saatlerce bakmak çok yaygın.- Komşu
ipv4-family vpn-instance VRF3bloğunun içine yazılır (4. bölüm). - Statik rota ve
import-route staticyok. Rotayı CE’nin kendisi BGP ile verecek.
Adım 2: CE’de BGP
R9’da:
system-view
sysname R9
interface GigabitEthernet0/0/0
undo shutdown
ip address 192.168.20.2 24
quit
interface LoopBack1
ip address 192.168.50.1 24
quit
bgp 65001
peer 192.168.20.1 as-number 65000
network 192.168.50.0 24
R10 aynı şekilde: arayüz 192.168.30.2 24, LoopBack1 192.168.60.1 24, komşu 192.168.30.1, network 192.168.60.0 24.
CE tarafında iki şey var:
peer 192.168.20.1 as-number 65000komşunun AS’i. PE’nin AS’i (65000), kendi AS’in değil.network 192.168.50.0 24LAN’ı BGP’ye verir. Bu komut ancak o prefix yönlendirme tablosunda varsa çalışır (bizde LoopBack1’in direct rotası). Prefix tabloda yoksa BGP’ye girmez.
6. Doğrulama
Komşuluk
R9’da:
<R9> display bgp peer
BGP local router ID : 192.168.50.1
Local AS number : 65001
Total number of peers : 1 Peers in established state : 1
Peer V AS MsgRcvd MsgSent OutQ Up/Down State PrefRcv
192.168.20.1 4 65000 9 9 0 00:00:00 Established 1
Established ve PrefRcv 1 görünce CE’nin PE’den bir rota aldığını anlıyoruz.
PE’de aynı komşuluğu VPN instance’ın içinden görmek için:
<R1> display bgp vpnv4 vpn-instance VRF3 peer
Komşu burada görünür. Düz display bgp peer PE’de sadece global komşuları (4.4.4.4) gösterir, CE komşusunu göstermez.
Rota tablosu
<R1> display bgp vpnv4 vpn-instance VRF3 routing-table
VPN-Instance VRF3, router ID 1.1.1.1:
Total Number of Routes: 2
Network NextHop MED LocPrf PrefVal Path/Ogn
*> 192.168.50.0/24 192.168.20.2 0 0 65001 i
*>i 192.168.60.0/24 4.4.4.4 0 100 0 65001 i
İlk satır yerel CE’den (eBGP, NextHop CE’nin IP’si), ikinci satır karşı PE’den (vpnv4, NextHop 4.4.4.4). VPN instance’ın IP tablosuna bakınca ikisi de yönlendirme tablosuna girmiş:
<R1> display ip routing-table vpn-instance VRF3
Destination/Mask Proto Pre Cost Flags NextHop Interface
192.168.20.0/24 Direct 0 0 D 192.168.20.1 GigabitEthernet0/0/3
192.168.20.1/32 Direct 0 0 D 127.0.0.1 GigabitEthernet0/0/3
192.168.50.0/24 EBGP 255 0 RD 192.168.20.2 GigabitEthernet0/0/3
192.168.60.0/24 IBGP 255 0 RD 4.4.4.4 -
EBGP ve IBGP yazılarına dikkat: PE–CE rotası eBGP, PE’ler arası rota iBGP. Yani aynı tabloda hem eBGP hem iBGP var.
Uçtan uca ping
<R9> ping -a 192.168.50.1 192.168.60.1
PING 192.168.60.1: 56 data bytes, press CTRL_C to break
Reply from 192.168.60.1: bytes=56 Sequence=1 ttl=255 time=27 ms
...
--- 192.168.60.1 ping statistics ---
5 packet(s) transmitted
5 packet(s) received
0.00% packet loss
-a 192.168.50.1 ile ping’in kaynağını LAN adresi yaptım. Kaynak vermezsen paket link adresiyle (192.168.20.2) çıkar. Karşı taraf o adresi bilmediği için cevap dönemez ve ping başarısız olur. Bu, PE–CE kurulumlarında “ping gitmiyor” şikayetinin en sık sebeplerinden biri.
İstersen yolu da izle:
<R9> tracert -a 192.168.50.1 192.168.60.1
1 192.168.20.1 ...
2 10.0.12.2 ...
3 10.0.23.3 ...
4 10.0.34.4 ...
5 192.168.60.1 ...
İlk adım PE1 (192.168.20.1), son adım R10’un LAN’ı. Aradakiler çekirdek router’ların arayüzleri. Çıktının ayrıntısı sürüme göre değişir.
7. Takıldığım yerler
7.1 İki site aynı AS’te: rota R10’a ulaşmıyor
Adım 1 ve 2’deki kurulumda hiçbir hata yok gibi görünüyor: komşuluklar Established, R4’te R9’un LAN’ı görünüyor. Ama R10’un tablosuna baktığımda sadece kendi LAN’ı var. Ping de gitmiyor:
<R10> display bgp routing-table
Total Number of Routes: 1
Network NextHop MED LocPrf PrefVal Path/Ogn
*> 192.168.60.0/24 0.0.0.0 0 0 i
Sebep eBGP döngü önleme. Mantığı şöyle: BGP her rotanın yanında AS yolu (AS_PATH) taşır. Rotanın geçtiği her AS bu listeye kendi numarasını ekler, tıpkı pasaporta damga basmak gibi. Bir router, gelen rotanın AS yolunda kendi AS numarasını görürse “bu rota zaten bir ara bende dolaşmış, döngü var” diye düşünür ve reddeder. Bu, internet ölçeğinde rotaların sonsuza kadar dönmesini engelleyen temel kural.
Bizim kurulumda iki site de aynı AS’te (65001). Rotanın yolunu hop hop izleyelim:
- R9 → R1 (eBGP): R9 kendi LAN’ını verir, AS yoluna 65001’ü ekler:
[65001]. R1 (AS 65000) listede kendi AS’ini görmez, kabul eder. - R1 → R4 (iBGP, vpnv4): İki PE aynı AS’te (65000) ve iBGP AS eklemez. Yol aynen kalır:
[65001]. - R4 → R10 (eBGP): R4 eBGP’ye çıkarken kendi AS’ini ekler:
[65000 65001]. R10’un AS’i 65001. Listede kendi numarasını görür ve rotayı reddeder.
Yani rota R4’e kadar gelir, R10’un kapısında geri çevrilir. Komşuluk Established kalır, hata mesajı da yoktur, rota sessizce düşer.
Çözüm PE’de. Karşı siteye gönderirken müşterinin AS’ini PE kendi AS’iyle değiştirir. Her iki PE’de, CE’ye bakan komşuya:
bgp 65000
ipv4-family vpn-instance VRF3
peer 192.168.20.2 substitute-as (R1'de)
peer 192.168.30.2 substitute-as (R4'te)
substitute-as komutu şunu yapar: PE, CE’ye rota verirken yoldaki CE’nin AS’ini (65001) kendi AS’iyle (65000) değiştirir. Yol [65000 65000] olur, R10 listede kendi numarasını görmez ve rotayı kabul eder. Nokia’da aynı işi as-override yapar.
İki yönde de gerektiği için komutu her iki PE’de yazıyoruz: R9’un rotası R10’a giderken R4’te, R10’un rotası R9’a giderken R1’de.
Alternatif: CE’de peer 192.168.30.1 allow-as-loop. Bu komut R10’a “yolda kendi AS’im geçebilir, yine de kabul et” der. Ama müşterinin router’ına komut yazmak sağlayıcı için pek istenen bir şey değildir, bu yüzden PE’de substitute-as tercih edilir.
7.2 Komşu global bloğa yazılmış
PE’de komşuyu bgp 65000 altına doğrudan yazarsan (peer 192.168.20.2 as-number 65001, ipv4-family vpn-instance bloğuna girmeden) komşuluk kurulmaz. Global tablo VPN instance’ın içindeki 192.168.20.0/24 ağını bilmez. Komşu Idle ya da Active kalır. display bgp peer komşuyu gösterir ama Established olmaz.
Kontrol: komşuluk kurulmuyorsa önce display current-configuration configuration bgp ile komşunun hangi blokta olduğuna bak.
7.3 ip binding sonrası IP kayboldu
Arayüze önce IP verip sonra ip binding vpn-instance yazarsan IP silinir. Cihaz bir bilgi mesajı verebilir ama gözden kaçar, display ip interface brief ile fark edersin. Sıra her zaman: önce binding, sonra IP.
7.4 Ping CE’den çalışmıyor, ama BGP kurulu
Sıra: PE’den CE’ye ping (ping -vpn-instance VRF3 192.168.20.2), CE’den PE’ye ping, sonra CE’den LAN kaynağıyla karşıya ping. Hop hop ilerlemek, sorunu daraltmanın en hızlı yolu. Ping’de -a unutulursa LAN kaynağı olmaz (6. bölüm).
BGP rotası var ama ping gitmiyorsa, bir de çekirdeğe bak: display mpls ldp session ve display mpls lsp ile PE’ler arasında LSP olup olmadığını gör. VPN rotası ancak çalışan bir LSP üstünden taşınır.
7.5 Komşu adresi olarak loopback yazmak
Ben ilk denemede komşu adresini yanlış yerden seçtim. R9’da peer 1.1.1.1 as-number 65000 (R1’in loopback’i) ve R1’de peer 9.9.9.9 as-number ... (R9’un loopback’i) yazmıştım. Komşuluk hiç kurulmadı, simülatör haritada “BGP Active · no route to peer” gösterdi.
Sebep: eBGP komşusu link üzerinden kurulur, yani peer adresi bağlı olduğun subnet’teki karşı arayüzün IP’si olmalı (R9 için 192.168.20.1, R1 için 192.168.20.2). Loopback adresine rota yok, çünkü PE’nin 1.1.1.1’i global tabloda, R9’un VRF’inde değil.
7.6 Komşuya yanlış AS numarası yazmak
R1’de peer ... as-number 65003 yazmışım, oysa R9’un gerçek AS’i 65001 idi. Kural basit ama karıştırması kolay:
- PE’de
peer <CE IP> as-number X: X, CE’nin kendi AS’i. - CE’de
peer <PE IP> as-number Y: Y, PE’nin AS’i (65000).
AS uyuşmazsa komşuluk Active ya da Idle‘da kalır. Simülatör bunu “remote-as mismatch” diye yazar.
7.7 network yazdım ama rota PE’ye gitmedi
Komşuluk Established, network komutu da yazılı, ama PE’de rota yok. İlk denemede R9’da network 192.168.50.0 24 yazmıştım, oysa R9’da bu prefix yoktu (sadece Loopback0 = 9.9.9.9/32 vardı).
network komutu “bunu duyur” demez, “tabloda aynen bu prefix varsa duyur” der. Tabloda 192.168.50.0/24 yoksa BGP onu üretmez. Loopback0’ın 9.9.9.9/32 olması farklı bir prefix. İki çözüm: LAN için ayrı bir arayüz aç (LoopBack1 = 192.168.50.1/24) ya da loopback’in kendisini duyur (network 9.9.9.9 32). Mask de tam eşleşmeli: arayüz /32 ise network ... 32.
Bu arada network 9.9.9.9 32 hızlı bir test yöntemi: tek komutla zincirin (CE → PE → karşı PE → karşı CE) çalışıp çalışmadığını görürsün. Rota karşı CE’ye ulaşıyorsa sorun LAN tarafındadır.
7.8 CE’den PE’nin loopback’ine ping atamıyorum
R9’dan R1’in loopback’ine (1.1.1.1) ping gitmiyor. Bu normal. 1.1.1.1 PE’nin global tablosunda, R9 ise VRF3 içinde bağlı. Müşteri, sağlayıcının iç adreslerini (loopback’ler, çekirdek linkleri) görmemeli, VPN izolasyonu bu. R9 sadece PE’nin kendisine bağlı olduğu link adresini (192.168.20.1) ve karşı sitenin duyurduğu LAN’ı görür.
Bir de karıştıran nokta: CE’de VRF yok. VRF sadece PE’lerde tanımlanır. CE sıradan bir router, network komutunu doğrudan bgp 65001 altına yazar, VRF bloğuna değil.
8. Nokia ile farklar
Aynı işi Nokia’da yaparken yazdığım adımların Huawei karşılığı:
| Konu | Nokia SR OS | Huawei VRP |
|---|---|---|
| Komşu nerede | VPRN içinde bgp group "CE" + neighbor | ipv4-family vpn-instance altında peer |
| Komşu AS’i | peer-as 65001 | peer ... as-number 65001 |
| CE’nin LAN’ını BGP’ye verme | CE’de export policy (prefix-list + policy-statement, commit) | CE’de network |
| Policy yazmazsan | LAN gitmez (boş policy sessizce hiçbir şey vermez) | Eski VRP’de network yeter |
| İki site aynı AS | PE’de as-override | PE’de peer ... substitute-as |
| LSP için ek ayar | VPRN’de auto-bind-tunnel resolution any | Gerekmez, LDP LSP’yi VPN rotası otomatik kullanır |
| VRF BGP özeti | show router 100 bgp summary | display bgp vpnv4 vpn-instance VRF3 peer |
| VRF rota tablosu | show router 100 route-table | display ip routing-table vpn-instance VRF3 |
İki yazıyı birlikte okuyunca en büyük fark şu: Nokia’da policy açık ve zorunlu, bu yüzden çok şey öğretiyor ama çok yoruyor. Huawei’de eski sürümde network yeter, ama bu “daha kolay” demek değil: nelerin gittiğini fark etmek zorlaşıyor. Yeni VRP sürümlerinde (ve bazı platformlarda) eBGP için RFC 8212 gibi policy zorunluluğu olabilir. Gerçek cihazda sürüm notlarına bak.
Policy’nin ne işe yaradığını ve satır satır nasıl yazıldığını görmek istersen Nokia yazısındaki policy bölümüne bak.
9. Özet
- PE–CE eBGP’de komşu VPN instance’ın içine yazılır:
bgp 65000→ipv4-family vpn-instance VRF3→peer. Global bloğa yazılan komşu kurulmaz. - CE’de LAN’ı BGP’ye vermek için
network(prefix tabloda olmalı). Huawei’de ek bir policy gerekmedi, Nokia’da gerekiyordu. - İki site aynı AS’teyse PE’de
substitute-aslazım (her iki PE’de, CE’ye bakan komşuda). CE tarafında alternatifiallow-as-loop. - eBGP komşusu link IP’siyle kurulur, çünkü PE–CE doğrudan bağlı (TTL 1).
substitute-as‘ın mantığı: BGP rotanın AS yolunda kendi AS’ini görürse reddeder. PE, CE’ye verirken yoldaki müşteri AS’ini kendi AS’iyle değiştirir.- Komşu adresi link IP’si, AS numarası karşı tarafın kendi AS’i. Loopback adresi ve yanlış AS komşuluğu
Active‘de bırakır. networkancak tabloda aynen o prefix varsa çalışır.ip binding vpn-instanceher zaman IP’den önce.- Ping testinde LAN adresini kaynak ver (
ping -a). Kaynak yoksa cevap dönmez. - RD benzersizlik içindir, RT (
vpn-target) rotanın hangi VRF’e gireceğini belirler.
Bu yazıdaki topolojiyi Simülasyon sayfasında hazır bulabilirsin: Yeni → Huawei → “PE–CE eBGP: üçüncü müşteri (Huawei)”. “Konfigle aç” müşteri A, B ve C’yi kurulu getirir. “Sadece topoloji” ile R9 ve R10’un konfigürasyonunu sıfırdan kendin yazabilirsin. Deney olarak substitute-as‘ı kaldırıp R10’un tablosuna bakmayı öneririm.
Aynı kurulumu pratik yap: PE–CE eBGP lab’ı (Huawei). Çekirdek hazır geliyor, sen CE’de BGP, PE’de VPN instance içi komşu ve substitute-as‘ı kuruyorsun.
PE ile CE arasını OSPF ile kurmayı ve eBGP ile karşılaştırmayı da yazdım: PE–CE OSPF (Huawei).