1. Amaç
VPRN yazısında müşteri tarafını statik rota ile bağlamıştım: CE’de “her şeyi PE’ye gönder” diyen bir default route, PE’de müşteri VRF’i. Küçük ortamda iş görüyor. Ama müşterinin 50 sitesi olsa her sitede statik rota yazıp, bir site düşünce de elle temizlemek gerekir.
Bu yazıda aynı servisi eBGP ile kuruyorum: CE kendi LAN’ını PE’ye BGP ile söyler, PE bunu MPLS çekirdeği üzerinden karşı siteye taşır. Bir site düşerse rota kendiliğinden kaybolur.
Bu yazıyı simülatörümde (ugbak.com/simulasyon, serbest tuval) sıfırdan kurarak yazdım. Komutlar SR OS classic CLI komutlarıdır. Gerçek cihazda sürüme göre küçük farklar çıkabilir, o yüzden benden farklı bir şey görürsen sürüm notlarına bak.
Bu yazıda en çok yer ayırdığım konu policy. Çünkü CE’de BGP’yi açtığında bile LAN’ın PE’ye gitmiyor, ve bunu görmek insanı en çok yoran yer.
2. Büyük resim
Rota üç bölümlü bir yoldan gider:
- CE → PE (eBGP): CE LAN’ını PE’ye anlatır. Bu oturum müşterinin VRF’i içinde kurulur.
- PE → PE (MP-BGP,
vpn-ipv4): PE bu rotayı etiketleyip karşı PE’ye taşır. Aradaki P router’lar müşteri rotasını hiç görmez, sadece MPLS etiketine bakar. - PE → CE (eBGP): Karşı PE rotayı kendi VRF’ine alır ve kendi CE’sine verir.
Paketi taşıyan yol ise iki katmanlı: dış etiket LDP’den gelen “karşı PE’ye git” etiketi, iç etiket “hangi VPRN’e gireceksin” etiketi.
3. Topoloji ve IP planı
Tek müşteri (A), iki site. PE’ler arasında iki P router var.
| Cihaz | Rol | System IP | Bağlantılar |
|---|---|---|---|
| R7 | CE (site 1) | 7.7.7.7 | PE’ye 10.1.17.0/30 (R7: .2) · LAN 192.168.1.0/24 |
| R1 | PE1 | 1.1.1.1 | R7: 10.1.17.1 (1/1/2) · R2: 10.1.12.1 (1/1/1) |
| R2 | P1 | 2.2.2.2 | R1: 10.1.12.2 · R3: 10.1.13.1 |
| R3 | P2 | 3.3.3.3 | R2: 10.1.13.2 · R4: 10.1.14.1 |
| R4 | PE2 | 4.4.4.4 | R3: 10.1.14.2 (1/1/1) · R5: 10.1.15.1 (1/1/2) |
| R5 | CE (site 2) | 5.5.5.5 | PE’ye 10.1.15.0/30 (R5: .2) · LAN 192.168.2.0/24 |
Servis bilgileri:
| Değer | |
|---|---|
| Servis sağlayıcı AS | 65000 |
| Müşteri AS (iki site de) | 65001 |
| Customer ID | 10 |
| VPRN ID | 100 |
| RD | 65000:100 |
RT (vrf-target) | target:65000:100 |
İki sitenin aynı AS’te olması bilerek seçtiğim bir şey. Gerçek hayatta müşteriler genelde tüm sitelerinde tek AS kullanır ve bu, aşağıda göreceğin klasik tuzağı doğurur.
4. Çekirdek: hazırlık
Çekirdek önceki yazılardaki gibi: OSPF, LDP ve PE’ler arası MP-BGP. Burada sadece iki not düşeyim.
OSPF interface tipi. Nokia’da OSPF arayüzü varsayılan olarak broadcast açılır. İki router arasındaki noktadan noktaya bağlantıda bunun gereği yok: DR/BDR seçimi için beklersin (gerçek cihazda ~40 sn), ayrıca Type-2 LSA üretilir. Çekirdek linklerine interface-type point-to-point yaz. İki uçta da aynı olmalı, biri broadcast biri p2p kalırsa komşuluk kurulmaz.
configure router ospf area 0.0.0.0 interface "toP1" interface-type point-to-point
LDP. PE–CE arayüzlerine LDP yazma. Sadece çekirdek linkleri (R1’de R2’ye bakan, R2’de iki yanı, R3’te iki yanı, R4’te R3’e bakan) LDP’de olsun.
PE’ler arası MP-BGP (R1’de; R4’te router-id, local-address 4.4.4.4 ve neighbor 1.1.1.1 olur):
configure router autonomous-system 65000
configure router bgp
router-id 1.1.1.1
group "iBGP"
peer-as 65000
local-address 1.1.1.1
family vpn-ipv4
neighbor 4.4.4.4
exit
exit
no shutdown
exit all
Kontrol: show router bgp summary komşuyu Established göstermeli. family vpn-ipv4 satırı olmazsa oturum kalkar ama VPRN rotaları taşınmaz.
5. VPRN servisi (PE’lerde)
Önce müşteri ve port. CE’ye bakan port access modunda olmak zorunda, mod değiştirmeden önce portu kapatman gerekir:
configure port 1/1/2 shutdown
configure port 1/1/2 ethernet mode access
configure port 1/1/2 no shutdown
configure service customer 10 create
description "Musteri-A"
exit all
Sonra VPRN (R1’de; R4’te port 1/1/2 ve adres 10.1.15.1/30):
configure service vprn 100 customer 10 create
route-distinguisher 65000:100
vrf-target target:65000:100
auto-bind-tunnel
resolution any
exit
interface "toR7" create
address 10.1.17.1/30
sap 1/1/2 create
exit
exit
no shutdown
exit all
Satırlar:
customer 10: Servisin sahibi. Bu numara yalnızca PE’nin içinde anlamlı, BGP’de taşınmaz. R1 ile R4’te aynı olmak zorunda değil. Ama1‘i kullanma: SR OS’ta varsayılan customer o.route-distinguisher: VPN-IPv4 rotasının başına eklenen etiket. İki müşteri aynı prefix’i kullansa bile BGP’de ayırır. Rotanın kime gideceğine karar vermez. Gerçek ağlarda her PE’ye ayrı RD vermek iyi uygulamadır (1.1.1.1:100,4.4.4.4:100): araya route reflector girince aynı RD’li iki yol tek rota sayılıp birini kaybedebilirsin. Ben bu lab’da iki PE’de de65000:100kullandım, tek müşteri ve RR olmadığı için sorun çıkmadı.vrf-target: RT. “Hangi rota hangi VRF’e girer” kararını verir. İki PE’de aynı olmalı: VPN’in iki ucunu birbirine bağlayan bu.auto-bind-tunnel/resolution any: PE’ye “VPN rotasının next-hop’una giderken hangi MPLS tünelini kullanabilirsin” diye söyler. Yazmazsan VPRN, karşı PE’den öğrendiği rotayı çözemez ve VRF’e almaz. Bunu bir kez unuttum, aşağıda.interface ... sap: PE–CE bağlantısı VPRN’in içinde tanımlanır, global router’da değil. Bunu da bir kez yanlış yaptım.
6. CE tarafı: AS, LAN ve policy
R7’de önce AS ve LAN. LAN’ı gerçek bir arayüze bağlamak yerine loopback olarak tanımladım (simülasyonda LAN tarafında host yok):
configure router autonomous-system 65001
configure router interface "LAN" address 192.168.1.1/24
configure router interface "LAN" loopback
interface "LAN" loopback ne işe yarıyor? Gerçek bir sitede CE’nin arkasında switch ve bilgisayarlar olur. Simülasyonda orada host yok, ama BGP’ye verecek bir LAN ağı lazım. loopback olarak tanımlanan arayüz hiçbir porta bağlı olmayan, her zaman “up” duran sanal bir arayüzdür. Üzerine 192.168.1.1/24 verince router bu ağı kendi doğrudan bağlı ağı sayar ve ping’e cevap verir: “CE’nin arkasında bir LAN var” taklidi. Policy’deki protocol direct de bu yüzden onu yakalar.
Burada policy kısmına gelmeden önce bir şeyi netleştirelim.
6.1. Neden policy yazıyoruz?
CE’de BGP komşuluğu açtın ama hiçbir şey yazmadıysan, R7 PE’ye hiçbir rota göndermez. SR OS’ta BGP varsayılan olarak yalnızca BGP’den öğrendiği rotaları dağıtır. Kendi arayüzündeki LAN (bunun adı direct), BGP’ye kendiliğinden girmez. Cisco’daki network komutunun karşılığı yok, ne vereceğini sen açıkça yazarsın.
Bu bir export policy işi: “BGP komşusuna giderken şu rotaları gönder.”
6.2. Policy’yi satır satır
configure router policy-options
begin
prefix-list "LAN"
prefix 192.168.1.0/24 exact
exit
policy-statement "EXPORT-LAN"
entry 10
from
protocol direct
prefix-list "LAN"
exit
action accept
exit
exit
exit
commit
exit all
configure router bgp group "PE" export "EXPORT-LAN"
| Satır | Ne yapar |
|---|---|
policy-options | Router’ın “kural defteri”. BGP’nin neyi vereceğini ve alacağını burada tanımlarsın. |
begin | Değişikliği başlatır. Bundan sonra yazdıkların taslaktır, aktif değildir. |
prefix-list "LAN" | “LAN” adında bir liste. Tek başına bir şey yapmaz, sadece bir prefix grubudur. |
prefix 192.168.1.0/24 exact | Listeye bir ağ ekler. exact “tam bu ağ” demek: daha geniş ya da daha dar olanlar sayılmaz. |
policy-statement "EXPORT-LAN" | Kural setinin adı. Bunu sonra BGP’ye bağlayacaksın. |
entry 10 | Kuralın bir maddesi. Birden fazla olursa küçük numara önce bakılır. |
from | Koşullar. Altına yazdıkların ve (hepsi birden doğru olmalı) ile bağlanır. |
protocol direct | “Rota doğrudan bağlı bir arayüzden gelmişse.” Kaynak türünü söyler. Gerçek SR OS’ta kaynağı hiç yazmazsan entry her kaynakla eşleşebilir, ama açıkça yazmak niyeti netleştirir ve BGP’den öğrenilen rotaların yanlışlıkla dışarı çıkmasını önler. Simülatörde bu satır olmadan LAN verilmedi, o yüzden yazıyoruz. |
prefix-list "LAN" | “Ve rota LAN listesindeyse.” |
action accept | Eşleşirse kabul et: yani komşuya gönder. Bunu yazmazsan koşullar var ama ne yapılacağı yok, kural hiçbir şey yapmaz. |
commit | Taslağı aktif eder. Yazmazsan hiçbir şey değişmemiş olur. |
export "EXPORT-LAN" | Policy’yi BGP group’a bağlar. Policy yazıp bağlamamak çok yapılan bir hata. |
Üç farklı rotanın bu policy’den nasıl geçtiğine bak. Yalnızca LAN üç koşulu da sağlıyor:
Bir ipucu: begin…commit bloğunu yazdıktan sonra info ile bak, prefix-list’in içinde prefix, entry’nin içinde action accept görünüyor mu. Boşsa ya exit fazla/eksik yazılmıştır ya da satır yutulmuştur. Aşağıda bunu yaşadım.
6.2.1. İlerisi için: PE tarafında da policy gerekir mi?
Gerçek cihazda PE tarafında da eBGP için policy gerekebilir. Nokia belgelerine göre classic CLI’da eBGP için varsayılan, policy olmadan tüm rotaları alıp vermek. MD-CLI’da ise varsayılan RFC 8212’ye uygun: policy yoksa eBGP komşusundan hiçbir rota alınmaz, hiçbir rota verilmez. Classic’ten dönüştürülmüş konfigürasyonlar eski davranışı korur. İstersen classic’te de bunu zorlayabilirsin:
configure service vprn 100 bgp group "CE" ebgp-default-reject-policy import export
Bu yazıdaki kurulum classic CLI ve varsayılan davranışla çalışıyor. Simülatör bu varsayılan reddetme davranışını modellemiyor, o yüzden orada PE’ye policy yazmadan da rotalar akar. MD-CLI kullanan bir cihazda PE’ye de import ve export policy yazman gerekir. (Nokia: EBGP Default Reject Policy, RFC 8212)
6.3. CE’de BGP
configure router bgp
group "PE"
peer-as 65000
export "EXPORT-LAN"
neighbor 10.1.17.1
exit
exit
no shutdown
exit all
R5’te aynısı: LAN 192.168.2.1/24, prefix-list’te 192.168.2.0/24, neighbor 10.1.15.1.
7. PE tarafı: VPRN içinde eBGP
PE’de CE komşusu VPRN’in içinde tanımlanır. Global router bgp ise yalnızca PE’ler arası MP-BGP için:
configure service vprn 100
bgp
group "CE"
peer-as 65001
as-override
neighbor 10.1.17.2
exit
exit
no shutdown
exit
exit all
R4’te neighbor 10.1.15.2. as-override PE’ye şunu yaptırır: CE’ye rotayı verirken AS yolundaki müşteri AS’ini kendi AS’iyle (65000) değiştirir. Neden gerektiğini 9.5’te görürsün: kısaca, iki site aynı AS’teyse CE karşı sitenin rotasında kendi AS’ini görüp rotayı döngü sanarak reddeder, as-override buna engel olur.
Komşu neden arayüz IP’si, loopback değil? PE–CE arasında tek bir kablo var, o kablonun IP’leri (10.1.17.1 ↔ 10.1.17.2) komşu olarak yeterince sağlam. eBGP paketleri varsayılan olarak TTL 1 ile çıkar, yani yalnızca bir adım öteye gidebilir; doğrudan bağlı komşuya bu yeter. Loopback ile kurmak istesen iki şey gerekir: iki tarafın birbirinin loopback’ine rotası (statik ya da IGP) ve eBGP’de multihop. Tek bağlantıda kazancı yok, sadece iş ekler. Loopback’in değeri birden fazla yol olduğunda çıkar: bağlantılardan biri kopsa bile loopback’e giden diğer yol sayesinde oturum düşmez. PE’ler arası iBGP’de loopback’i bu yüzden kullanıyoruz: aralarında R2 ve R3 var, yol değişebilir, loopback ise hep ulaşılabilir kalır.
Kontrol:
show router 100 bgp summary
Komşu için Rcv/Act/Sent sütununda 1/1/... görünürse CE’nin LAN’ı PE’ye ulaşmış demektir. 0/0/0 ise oturum açık ama CE hiçbir şey göndermiyor: policy’ye bak.
8. Doğrulama
show router 100 route-table
show router bgp routes vpn-ipv4
ping 192.168.2.1 source 192.168.1.1
- R1’de
192.168.2.0/24BGP VPN olarak, next-hop4.4.4.4 (tunneled)görünmeli.
pingR7’den LAN kaynağıyla atılmalı:source 192.168.1.1. Kaynak vermezsen paket PE–CE arayüzünün adresiyle çıkar ve karşı CE’nin dönüş yolu farklı olabilir.
9. Takıldığım yerler
Bu kurulumu sıfırdan yaparken dört yerde takıldım, beşincisi ise klasik bir tuzak. Hepsini aynı sırayla yazıyorum, çünkü belirtilerini bilmek en çok zaman kazandıran şey.
9.1. PE’de Rcv = 0: policy boştu
Belirti: PE’de show router 100 bgp summary komşuyu gösteriyor, oturum açık, ama 0/0/0. CE’de show router bgp neighbor 10.1.17.1 advertised-routes “No Matching Entries Found”.
Sebep: Policy’yi yazmıştım ama info ile baktığımda prefix-list "LAN" içi boştu ve entry 10 altında action accept yoktu. Policy hiçbir şeyi kabul etmiyordu.
Çözüm: begin ile baştan yazıp commit ettim. Sonuç info‘da şöyle görünmeli:
prefix-list "LAN"
prefix 192.168.1.0/24 exact
exit
policy-statement "EXPORT-LAN"
entry 10
from
prefix-list "LAN"
exit
action accept
exit
exit
exit
9.2. Policy doğru ama hâlâ boş: protocol direct yoktu
Belirti: Prefix-list dolu, action accept var, commit yapılmış, yine de advertised-routes boş.
Sebep: Policy’de from altında kaynak türünü yazmamıştım. R7 LAN’ı BGP’den öğrenmedi, kendi arayüzünden (direct) biliyor. Simülatörde kural bu kaynağı eşleştirmedi.
Çözüm: from altına protocol direct ekledim. İlk advertised-routes çıktısında 192.168.1.0/24 göründü ve PE’de Rcv 1 oldu.
9.3. Ping yok: haritada “LSP yok”
Belirti: BGP’ler Established, PE’lerde VPN rotaları var, ama R7’den ping gitmiyor. Simülatörün haritasında PE’ler arasında kırmızı bir etiket: LSP yok.
Sebep: VPRN’de auto-bind-tunnel yazmayı unutmuştum. PE rotayı karşı PE’den öğreniyor ama “bu next-hop’a hangi MPLS tüneliyle gideceğim” bilgisi olmadığı için rotayı VRF’e alıp kullanamıyor.
Çözüm: İki PE’de de VPRN’e auto-bind-tunnel + resolution any ekledim. Tünelin kendisi (LDP) çekirdekte hazırdı, kontrol için:
show router ldp session (komşular Established)
show router tunnel-table (R1'de 4.4.4.4/32, R4'te 1.1.1.1/32, owner: ldp)
Tunnel-table’da karşı PE yoksa sorun LDP’dedir (çekirdek linklerinde LDP eksik); varsa ve ping yine yoksa auto-bind-tunnel‘a bak.
9.4. Çift arayüz: aynı IP ve port hem global’de hem VPRN’de
Belirti: Bu en ilginç olanı. R1 kendi CE’sine (ping router 100 10.1.17.2) ve R4 kendi CE’sine ping atabiliyor. R1 ile R4 birbirine (VPRN içinde, ping router 100 10.1.15.1) ping atabiliyor. Ama tünelden gelen trafik karşı tarafın CE’sine geçmiyor: R1’den R5’in LAN’ına, R4’ten R7’nin LAN’ına ping timeout.
Sebep: admin display-config‘e bakınca gördüm: PE–CE bağlantısını hem global router’da (interface "toCER7" address 10.1.17.1/30 port 1/1/2) hem VPRN’de (interface "toR7" ... sap 1/1/2) tanımlamışım. Çekirdeği yazarken PE–CE arayüzünü de global’e eklemiş, sonra VPRN’de tekrar yaratmıştım. Aynı IP, aynı port, iki ayrı routing instance’ta. Paket hangisine ait olduğunu şaşırıyor.
Çözüm: Global’deki kopyaları sildim:
configure router
interface "toCER7" shutdown
no interface "toCER7"
exit all
R4’te toCER5. Müşteri tarafına bakan arayüzler yalnızca VPRN’in içinde olur. Global router’da PE’nin sadece çekirdek arayüzleri ve system’i var.
Bulmanın yolu ping’lerle daraltmaktı: kendi CE’me gidiyor, karşı PE’ye gidiyor, ama karşı CE’ye gitmiyor. Her iki yönde de aynı noktada kırılıyorsa konfigürasyona bakmak gerekir; admin display-config aynı IP’nin iki yerde geçtiğini gösterdi.
9.5. AS döngüsü: karşı LAN gelmiyor
Bu PE–CE eBGP’nin klasik tuzağı. Ben as-override‘ı baştan yazdığım için kurulumda yaşamadım, ama nedenini bilmen lazım. Denemek istersen PE’lerde as-override‘ı kaldır (no as-override) ve CE’lerin tablosuna bak: karşı site görünmez.
Sebep: R7’nin 192.168.1.0/24’ü PE1 → PE2 → R5’e giderken AS yolu şöyle olur: PE’nin AS’i (65000) ve müşterinin AS’i (65001). R5 rotayı aldığında yolun içinde kendi AS’ini (65001) görür ve eBGP’nin döngü koruması rotayı reddeder: “bu rota bana geri dönmüş”. İki site aynı AS’te olduğu için karşı site rotasını hiç öğrenemez.
Çözümler (ikisi de çalışır):
- PE’de
as-override: PE, CE’ye rotayı verirken yoldaki müşteri AS’ini kendi AS’iyle değiştirir. Yol “65000 65000” olur, CE kabul eder. Bir kere PE’de yazarsın, tüm sitelere uygulanır. - CE’de
allow-as-loop: CE kendi AS’ini yolda görünce reddetmez. Her CE’de ayrı ayrı yazman gerekir.
Ben as-override‘ı tercih ediyorum: müşterinin router’larına dokunmuyorsun.
10. Rotanın dinamik tarafı
Statik rotada bir site düşerse rota PE’de kalır, trafik kara delikte kaybolur. BGP’de CE LAN’ını geri çekince (policy’yi çıkarınca ya da arayüzü kapatınca) rota önce R1’in VRF’inden, sonra VPN-IPv4 üzerinden R4’ten, en sonunda R5’in tablosundan kendiliğinden silinir. Denemek için R7’de:
configure router bgp group "PE" no export
yaz, R5’te show router route-table‘a bak, rota kaybolmuş olacak. Geri bağlamak için export "EXPORT-LAN".
11. Özet
- PE–CE eBGP VPRN’in içinde kurulur (
configure service vprn 100 bgp); global BGP sadece PE’ler arasıdır. - CE’de BGP açmak yetmez: LAN’ı vermek için export policy şart:
prefix-list+policy-statement(from protocol direct,prefix-list,action accept) + group’aexport+commit. - İki site aynı AS’teyse PE’de
as-overrideya da CE’deallow-as-looplazım. - VPN rotası için çekirdekte LDP ve VPRN’de
auto-bind-tunnelşart. - PE–CE arayüzü global router’da değil, sadece VPRN’de tanımlanır.
- RD benzersizlik içindir, RT (
vrf-target) rotanın hangi VRF’e gireceğini belirler.
Bu yazıdaki topolojiyi Simülasyon sayfasında da hazır bulabilirsin: Yeni → Nokia → “PE–CE eBGP: tek müşteri, iki site”. “Konfigle aç” müşteri A’yı tamamen kurulu getirir. Müşteri B’nin (R8 ve R6) kabloları hazır ama konfigürasyonu boş: VPRN 200’ü kendin kurarak yazıdaki adımları pekiştirebilirsin. “Sadece topoloji” ile her şeyi sıfırdan da yazabilirsin.
Aynı kurulumu kendi tarayıcında dene: PE–CE eBGP lab’ı. Çekirdek hazır geliyor, sen CE’de BGP, policy, PE’de VRF içi komşu ve as-override’ı kuruyorsun.
Aynı işin Huawei VRP karşılığı (substitute-as, policy’siz export, VPN instance içinde komşu) Huawei PE–CE eBGP yazısında, Nokia ile farkları da tabloda.