1. Amaç

VPRN yazısında müşteri tarafını statik rota ile bağlamıştım: CE’de “her şeyi PE’ye gönder” diyen bir default route, PE’de müşteri VRF’i. Küçük ortamda iş görüyor. Ama müşterinin 50 sitesi olsa her sitede statik rota yazıp, bir site düşünce de elle temizlemek gerekir.

Bu yazıda aynı servisi eBGP ile kuruyorum: CE kendi LAN’ını PE’ye BGP ile söyler, PE bunu MPLS çekirdeği üzerinden karşı siteye taşır. Bir site düşerse rota kendiliğinden kaybolur.

Bu yazıyı simülatörümde (ugbak.com/simulasyon, serbest tuval) sıfırdan kurarak yazdım. Komutlar SR OS classic CLI komutlarıdır. Gerçek cihazda sürüme göre küçük farklar çıkabilir, o yüzden benden farklı bir şey görürsen sürüm notlarına bak.

Bu yazıda en çok yer ayırdığım konu policy. Çünkü CE’de BGP’yi açtığında bile LAN’ın PE’ye gitmiyor, ve bunu görmek insanı en çok yoran yer.

2. Büyük resim

Rota üç bölümlü bir yoldan gider:

  1. CE → PE (eBGP): CE LAN’ını PE’ye anlatır. Bu oturum müşterinin VRF’i içinde kurulur.
  2. PE → PE (MP-BGP, vpn-ipv4): PE bu rotayı etiketleyip karşı PE’ye taşır. Aradaki P router’lar müşteri rotasını hiç görmez, sadece MPLS etiketine bakar.
  3. PE → CE (eBGP): Karşı PE rotayı kendi VRF’ine alır ve kendi CE’sine verir.

Paketi taşıyan yol ise iki katmanlı: dış etiket LDP’den gelen “karşı PE’ye git” etiketi, iç etiket “hangi VPRN’e gireceksin” etiketi.

Rotanın R7’den R5’e yolu: eBGP, MP-BGP, eBGP ve iki katmanlı etiket

3. Topoloji ve IP planı

Tek müşteri (A), iki site. PE’ler arasında iki P router var.

PE–CE eBGP lab topolojisi: R7 ve R5 CE, R1 ve R4 PE, aralarında R2 ve R3 P router

CihazRolSystem IPBağlantılar
R7CE (site 1)7.7.7.7PE’ye 10.1.17.0/30 (R7: .2) · LAN 192.168.1.0/24
R1PE11.1.1.1R7: 10.1.17.1 (1/1/2) · R2: 10.1.12.1 (1/1/1)
R2P12.2.2.2R1: 10.1.12.2 · R3: 10.1.13.1
R3P23.3.3.3R2: 10.1.13.2 · R4: 10.1.14.1
R4PE24.4.4.4R3: 10.1.14.2 (1/1/1) · R5: 10.1.15.1 (1/1/2)
R5CE (site 2)5.5.5.5PE’ye 10.1.15.0/30 (R5: .2) · LAN 192.168.2.0/24

Servis bilgileri:

Değer
Servis sağlayıcı AS65000
Müşteri AS (iki site de)65001
Customer ID10
VPRN ID100
RD65000:100
RT (vrf-target)target:65000:100

İki sitenin aynı AS’te olması bilerek seçtiğim bir şey. Gerçek hayatta müşteriler genelde tüm sitelerinde tek AS kullanır ve bu, aşağıda göreceğin klasik tuzağı doğurur.

4. Çekirdek: hazırlık

Çekirdek önceki yazılardaki gibi: OSPF, LDP ve PE’ler arası MP-BGP. Burada sadece iki not düşeyim.

OSPF interface tipi. Nokia’da OSPF arayüzü varsayılan olarak broadcast açılır. İki router arasındaki noktadan noktaya bağlantıda bunun gereği yok: DR/BDR seçimi için beklersin (gerçek cihazda ~40 sn), ayrıca Type-2 LSA üretilir. Çekirdek linklerine interface-type point-to-point yaz. İki uçta da aynı olmalı, biri broadcast biri p2p kalırsa komşuluk kurulmaz.

configure router ospf area 0.0.0.0 interface "toP1" interface-type point-to-point

LDP. PE–CE arayüzlerine LDP yazma. Sadece çekirdek linkleri (R1’de R2’ye bakan, R2’de iki yanı, R3’te iki yanı, R4’te R3’e bakan) LDP’de olsun.

PE’ler arası MP-BGP (R1’de; R4’te router-id, local-address 4.4.4.4 ve neighbor 1.1.1.1 olur):

configure router autonomous-system 65000
configure router bgp
    router-id 1.1.1.1
    group "iBGP"
        peer-as 65000
        local-address 1.1.1.1
        family vpn-ipv4
        neighbor 4.4.4.4
        exit
    exit
    no shutdown
exit all

Kontrol: show router bgp summary komşuyu Established göstermeli. family vpn-ipv4 satırı olmazsa oturum kalkar ama VPRN rotaları taşınmaz.

5. VPRN servisi (PE’lerde)

Önce müşteri ve port. CE’ye bakan port access modunda olmak zorunda, mod değiştirmeden önce portu kapatman gerekir:

configure port 1/1/2 shutdown
configure port 1/1/2 ethernet mode access
configure port 1/1/2 no shutdown
configure service customer 10 create
    description "Musteri-A"
exit all

Sonra VPRN (R1’de; R4’te port 1/1/2 ve adres 10.1.15.1/30):

configure service vprn 100 customer 10 create
    route-distinguisher 65000:100
    vrf-target target:65000:100
    auto-bind-tunnel
        resolution any
    exit
    interface "toR7" create
        address 10.1.17.1/30
        sap 1/1/2 create
        exit
    exit
    no shutdown
exit all

Satırlar:

  • customer 10: Servisin sahibi. Bu numara yalnızca PE’nin içinde anlamlı, BGP’de taşınmaz. R1 ile R4’te aynı olmak zorunda değil. Ama 1‘i kullanma: SR OS’ta varsayılan customer o.
  • route-distinguisher: VPN-IPv4 rotasının başına eklenen etiket. İki müşteri aynı prefix’i kullansa bile BGP’de ayırır. Rotanın kime gideceğine karar vermez. Gerçek ağlarda her PE’ye ayrı RD vermek iyi uygulamadır (1.1.1.1:100, 4.4.4.4:100): araya route reflector girince aynı RD’li iki yol tek rota sayılıp birini kaybedebilirsin. Ben bu lab’da iki PE’de de 65000:100 kullandım, tek müşteri ve RR olmadığı için sorun çıkmadı.
  • vrf-target: RT. “Hangi rota hangi VRF’e girer” kararını verir. İki PE’de aynı olmalı: VPN’in iki ucunu birbirine bağlayan bu.
  • auto-bind-tunnel / resolution any: PE’ye “VPN rotasının next-hop’una giderken hangi MPLS tünelini kullanabilirsin” diye söyler. Yazmazsan VPRN, karşı PE’den öğrendiği rotayı çözemez ve VRF’e almaz. Bunu bir kez unuttum, aşağıda.
  • interface ... sap: PE–CE bağlantısı VPRN’in içinde tanımlanır, global router’da değil. Bunu da bir kez yanlış yaptım.

6. CE tarafı: AS, LAN ve policy

R7’de önce AS ve LAN. LAN’ı gerçek bir arayüze bağlamak yerine loopback olarak tanımladım (simülasyonda LAN tarafında host yok):

configure router autonomous-system 65001
configure router interface "LAN" address 192.168.1.1/24
configure router interface "LAN" loopback

interface "LAN" loopback ne işe yarıyor? Gerçek bir sitede CE’nin arkasında switch ve bilgisayarlar olur. Simülasyonda orada host yok, ama BGP’ye verecek bir LAN ağı lazım. loopback olarak tanımlanan arayüz hiçbir porta bağlı olmayan, her zaman “up” duran sanal bir arayüzdür. Üzerine 192.168.1.1/24 verince router bu ağı kendi doğrudan bağlı ağı sayar ve ping’e cevap verir: “CE’nin arkasında bir LAN var” taklidi. Policy’deki protocol direct de bu yüzden onu yakalar.

Burada policy kısmına gelmeden önce bir şeyi netleştirelim.

6.1. Neden policy yazıyoruz?

CE’de BGP komşuluğu açtın ama hiçbir şey yazmadıysan, R7 PE’ye hiçbir rota göndermez. SR OS’ta BGP varsayılan olarak yalnızca BGP’den öğrendiği rotaları dağıtır. Kendi arayüzündeki LAN (bunun adı direct), BGP’ye kendiliğinden girmez. Cisco’daki network komutunun karşılığı yok, ne vereceğini sen açıkça yazarsın.

Bu bir export policy işi: “BGP komşusuna giderken şu rotaları gönder.”

6.2. Policy’yi satır satır

configure router policy-options
    begin
    prefix-list "LAN"
        prefix 192.168.1.0/24 exact
    exit
    policy-statement "EXPORT-LAN"
        entry 10
            from
                protocol direct
                prefix-list "LAN"
            exit
            action accept
            exit
        exit
    exit
    commit
exit all
configure router bgp group "PE" export "EXPORT-LAN"
SatırNe yapar
policy-optionsRouter’ın “kural defteri”. BGP’nin neyi vereceğini ve alacağını burada tanımlarsın.
beginDeğişikliği başlatır. Bundan sonra yazdıkların taslaktır, aktif değildir.
prefix-list "LAN"“LAN” adında bir liste. Tek başına bir şey yapmaz, sadece bir prefix grubudur.
prefix 192.168.1.0/24 exactListeye bir ağ ekler. exact “tam bu ağ” demek: daha geniş ya da daha dar olanlar sayılmaz.
policy-statement "EXPORT-LAN"Kural setinin adı. Bunu sonra BGP’ye bağlayacaksın.
entry 10Kuralın bir maddesi. Birden fazla olursa küçük numara önce bakılır.
fromKoşullar. Altına yazdıkların ve (hepsi birden doğru olmalı) ile bağlanır.
protocol direct“Rota doğrudan bağlı bir arayüzden gelmişse.” Kaynak türünü söyler. Gerçek SR OS’ta kaynağı hiç yazmazsan entry her kaynakla eşleşebilir, ama açıkça yazmak niyeti netleştirir ve BGP’den öğrenilen rotaların yanlışlıkla dışarı çıkmasını önler. Simülatörde bu satır olmadan LAN verilmedi, o yüzden yazıyoruz.
prefix-list "LAN"“Ve rota LAN listesindeyse.”
action acceptEşleşirse kabul et: yani komşuya gönder. Bunu yazmazsan koşullar var ama ne yapılacağı yok, kural hiçbir şey yapmaz.
commitTaslağı aktif eder. Yazmazsan hiçbir şey değişmemiş olur.
export "EXPORT-LAN"Policy’yi BGP group’a bağlar. Policy yazıp bağlamamak çok yapılan bir hata.

Üç farklı rotanın bu policy’den nasıl geçtiğine bak. Yalnızca LAN üç koşulu da sağlıyor:

Export policy üç rotayı nasıl süzer: yalnızca LAN geçer

Bir ipucu: begin…commit bloğunu yazdıktan sonra info ile bak, prefix-list’in içinde prefix, entry’nin içinde action accept görünüyor mu. Boşsa ya exit fazla/eksik yazılmıştır ya da satır yutulmuştur. Aşağıda bunu yaşadım.

6.2.1. İlerisi için: PE tarafında da policy gerekir mi?

Gerçek cihazda PE tarafında da eBGP için policy gerekebilir. Nokia belgelerine göre classic CLI’da eBGP için varsayılan, policy olmadan tüm rotaları alıp vermek. MD-CLI’da ise varsayılan RFC 8212’ye uygun: policy yoksa eBGP komşusundan hiçbir rota alınmaz, hiçbir rota verilmez. Classic’ten dönüştürülmüş konfigürasyonlar eski davranışı korur. İstersen classic’te de bunu zorlayabilirsin:

configure service vprn 100 bgp group "CE" ebgp-default-reject-policy import export

Bu yazıdaki kurulum classic CLI ve varsayılan davranışla çalışıyor. Simülatör bu varsayılan reddetme davranışını modellemiyor, o yüzden orada PE’ye policy yazmadan da rotalar akar. MD-CLI kullanan bir cihazda PE’ye de import ve export policy yazman gerekir. (Nokia: EBGP Default Reject Policy, RFC 8212)

6.3. CE’de BGP

configure router bgp
    group "PE"
        peer-as 65000
        export "EXPORT-LAN"
        neighbor 10.1.17.1
        exit
    exit
    no shutdown
exit all

R5’te aynısı: LAN 192.168.2.1/24, prefix-list’te 192.168.2.0/24, neighbor 10.1.15.1.

7. PE tarafı: VPRN içinde eBGP

PE’de CE komşusu VPRN’in içinde tanımlanır. Global router bgp ise yalnızca PE’ler arası MP-BGP için:

configure service vprn 100
    bgp
        group "CE"
            peer-as 65001
            as-override
            neighbor 10.1.17.2
            exit
        exit
        no shutdown
    exit
exit all

R4’te neighbor 10.1.15.2. as-override PE’ye şunu yaptırır: CE’ye rotayı verirken AS yolundaki müşteri AS’ini kendi AS’iyle (65000) değiştirir. Neden gerektiğini 9.5’te görürsün: kısaca, iki site aynı AS’teyse CE karşı sitenin rotasında kendi AS’ini görüp rotayı döngü sanarak reddeder, as-override buna engel olur.

Komşu neden arayüz IP’si, loopback değil? PE–CE arasında tek bir kablo var, o kablonun IP’leri (10.1.17.1 ↔ 10.1.17.2) komşu olarak yeterince sağlam. eBGP paketleri varsayılan olarak TTL 1 ile çıkar, yani yalnızca bir adım öteye gidebilir; doğrudan bağlı komşuya bu yeter. Loopback ile kurmak istesen iki şey gerekir: iki tarafın birbirinin loopback’ine rotası (statik ya da IGP) ve eBGP’de multihop. Tek bağlantıda kazancı yok, sadece iş ekler. Loopback’in değeri birden fazla yol olduğunda çıkar: bağlantılardan biri kopsa bile loopback’e giden diğer yol sayesinde oturum düşmez. PE’ler arası iBGP’de loopback’i bu yüzden kullanıyoruz: aralarında R2 ve R3 var, yol değişebilir, loopback ise hep ulaşılabilir kalır.

Kontrol:

show router 100 bgp summary

Komşu için Rcv/Act/Sent sütununda 1/1/... görünürse CE’nin LAN’ı PE’ye ulaşmış demektir. 0/0/0 ise oturum açık ama CE hiçbir şey göndermiyor: policy’ye bak.

8. Doğrulama

show router 100 route-table
show router bgp routes vpn-ipv4
ping 192.168.2.1 source 192.168.1.1
  • R1’de 192.168.2.0/24 BGP VPN olarak, next-hop 4.4.4.4 (tunneled) görünmeli.
  • ping R7’den LAN kaynağıyla atılmalı: source 192.168.1.1. Kaynak vermezsen paket PE–CE arayüzünün adresiyle çıkar ve karşı CE’nin dönüş yolu farklı olabilir.

9. Takıldığım yerler

Bu kurulumu sıfırdan yaparken dört yerde takıldım, beşincisi ise klasik bir tuzak. Hepsini aynı sırayla yazıyorum, çünkü belirtilerini bilmek en çok zaman kazandıran şey.

9.1. PE’de Rcv = 0: policy boştu

Belirti: PE’de show router 100 bgp summary komşuyu gösteriyor, oturum açık, ama 0/0/0. CE’de show router bgp neighbor 10.1.17.1 advertised-routes “No Matching Entries Found”.

Sebep: Policy’yi yazmıştım ama info ile baktığımda prefix-list "LAN" içi boştu ve entry 10 altında action accept yoktu. Policy hiçbir şeyi kabul etmiyordu.

Çözüm: begin ile baştan yazıp commit ettim. Sonuç info‘da şöyle görünmeli:

prefix-list "LAN"
    prefix 192.168.1.0/24 exact
exit
policy-statement "EXPORT-LAN"
    entry 10
        from
            prefix-list "LAN"
        exit
        action accept
        exit
    exit
exit

9.2. Policy doğru ama hâlâ boş: protocol direct yoktu

Belirti: Prefix-list dolu, action accept var, commit yapılmış, yine de advertised-routes boş.

Sebep: Policy’de from altında kaynak türünü yazmamıştım. R7 LAN’ı BGP’den öğrenmedi, kendi arayüzünden (direct) biliyor. Simülatörde kural bu kaynağı eşleştirmedi.

Çözüm: from altına protocol direct ekledim. İlk advertised-routes çıktısında 192.168.1.0/24 göründü ve PE’de Rcv 1 oldu.

9.3. Ping yok: haritada “LSP yok”

Belirti: BGP’ler Established, PE’lerde VPN rotaları var, ama R7’den ping gitmiyor. Simülatörün haritasında PE’ler arasında kırmızı bir etiket: LSP yok.

Sebep: VPRN’de auto-bind-tunnel yazmayı unutmuştum. PE rotayı karşı PE’den öğreniyor ama “bu next-hop’a hangi MPLS tüneliyle gideceğim” bilgisi olmadığı için rotayı VRF’e alıp kullanamıyor.

Çözüm: İki PE’de de VPRN’e auto-bind-tunnel + resolution any ekledim. Tünelin kendisi (LDP) çekirdekte hazırdı, kontrol için:

show router ldp session          (komşular Established)
show router tunnel-table         (R1'de 4.4.4.4/32, R4'te 1.1.1.1/32, owner: ldp)

Tunnel-table’da karşı PE yoksa sorun LDP’dedir (çekirdek linklerinde LDP eksik); varsa ve ping yine yoksa auto-bind-tunnel‘a bak.

9.4. Çift arayüz: aynı IP ve port hem global’de hem VPRN’de

Belirti: Bu en ilginç olanı. R1 kendi CE’sine (ping router 100 10.1.17.2) ve R4 kendi CE’sine ping atabiliyor. R1 ile R4 birbirine (VPRN içinde, ping router 100 10.1.15.1) ping atabiliyor. Ama tünelden gelen trafik karşı tarafın CE’sine geçmiyor: R1’den R5’in LAN’ına, R4’ten R7’nin LAN’ına ping timeout.

Sebep: admin display-config‘e bakınca gördüm: PE–CE bağlantısını hem global router’da (interface "toCER7" address 10.1.17.1/30 port 1/1/2) hem VPRN’de (interface "toR7" ... sap 1/1/2) tanımlamışım. Çekirdeği yazarken PE–CE arayüzünü de global’e eklemiş, sonra VPRN’de tekrar yaratmıştım. Aynı IP, aynı port, iki ayrı routing instance’ta. Paket hangisine ait olduğunu şaşırıyor.

Çift arayüz hatası: aynı IP ve port hem global router hem VPRN içinde

Çözüm: Global’deki kopyaları sildim:

configure router
    interface "toCER7" shutdown
    no interface "toCER7"
exit all

R4’te toCER5. Müşteri tarafına bakan arayüzler yalnızca VPRN’in içinde olur. Global router’da PE’nin sadece çekirdek arayüzleri ve system’i var.

Bulmanın yolu ping’lerle daraltmaktı: kendi CE’me gidiyor, karşı PE’ye gidiyor, ama karşı CE’ye gitmiyor. Her iki yönde de aynı noktada kırılıyorsa konfigürasyona bakmak gerekir; admin display-config aynı IP’nin iki yerde geçtiğini gösterdi.

9.5. AS döngüsü: karşı LAN gelmiyor

Bu PE–CE eBGP’nin klasik tuzağı. Ben as-override‘ı baştan yazdığım için kurulumda yaşamadım, ama nedenini bilmen lazım. Denemek istersen PE’lerde as-override‘ı kaldır (no as-override) ve CE’lerin tablosuna bak: karşı site görünmez.

Sebep: R7’nin 192.168.1.0/24’ü PE1 → PE2 → R5’e giderken AS yolu şöyle olur: PE’nin AS’i (65000) ve müşterinin AS’i (65001). R5 rotayı aldığında yolun içinde kendi AS’ini (65001) görür ve eBGP’nin döngü koruması rotayı reddeder: “bu rota bana geri dönmüş”. İki site aynı AS’te olduğu için karşı site rotasını hiç öğrenemez.

as-override olmadan R5 rotayı reddeder, olunca kabul eder

Çözümler (ikisi de çalışır):

  • PE’de as-override: PE, CE’ye rotayı verirken yoldaki müşteri AS’ini kendi AS’iyle değiştirir. Yol “65000 65000” olur, CE kabul eder. Bir kere PE’de yazarsın, tüm sitelere uygulanır.
  • CE’de allow-as-loop: CE kendi AS’ini yolda görünce reddetmez. Her CE’de ayrı ayrı yazman gerekir.

Ben as-override‘ı tercih ediyorum: müşterinin router’larına dokunmuyorsun.

10. Rotanın dinamik tarafı

Statik rotada bir site düşerse rota PE’de kalır, trafik kara delikte kaybolur. BGP’de CE LAN’ını geri çekince (policy’yi çıkarınca ya da arayüzü kapatınca) rota önce R1’in VRF’inden, sonra VPN-IPv4 üzerinden R4’ten, en sonunda R5’in tablosundan kendiliğinden silinir. Denemek için R7’de:

configure router bgp group "PE" no export

yaz, R5’te show router route-table‘a bak, rota kaybolmuş olacak. Geri bağlamak için export "EXPORT-LAN".

11. Özet

  • PE–CE eBGP VPRN’in içinde kurulur (configure service vprn 100 bgp); global BGP sadece PE’ler arasıdır.
  • CE’de BGP açmak yetmez: LAN’ı vermek için export policy şart: prefix-list + policy-statement (from protocol direct, prefix-list, action accept) + group’a export + commit.
  • İki site aynı AS’teyse PE’de as-override ya da CE’de allow-as-loop lazım.
  • VPN rotası için çekirdekte LDP ve VPRN’de auto-bind-tunnel şart.
  • PE–CE arayüzü global router’da değil, sadece VPRN’de tanımlanır.
  • RD benzersizlik içindir, RT (vrf-target) rotanın hangi VRF’e gireceğini belirler.

Bu yazıdaki topolojiyi Simülasyon sayfasında da hazır bulabilirsin: Yeni → Nokia → “PE–CE eBGP: tek müşteri, iki site”. “Konfigle aç” müşteri A’yı tamamen kurulu getirir. Müşteri B’nin (R8 ve R6) kabloları hazır ama konfigürasyonu boş: VPRN 200’ü kendin kurarak yazıdaki adımları pekiştirebilirsin. “Sadece topoloji” ile her şeyi sıfırdan da yazabilirsin.

Aynı kurulumu kendi tarayıcında dene: PE–CE eBGP lab’ı. Çekirdek hazır geliyor, sen CE’de BGP, policy, PE’de VRF içi komşu ve as-override’ı kuruyorsun.

Aynı işin Huawei VRP karşılığı (substitute-as, policy’siz export, VPN instance içinde komşu) Huawei PE–CE eBGP yazısında, Nokia ile farkları da tabloda.