AS210622: cum construiești un sistem autonom multi-homed ca operator mic

Context

Majoritatea companiilor de hosting închiriază totul: serverele, spațiul de adrese, rutarea. Funcționează până în ziua în care upstream-ul tău ia o decizie cu care trebuie să trăiești — o dispută de peering, o schimbare de filtrare, o fereastră de mentenanță care devine o întrerupere. Am vrut ca domeniul de eșec să fie al nostru, așa că ne-am construit propria rețea: AS210622, cu spațiu de adrese provider-independent și propriul nostru edge BGP.

Rezultatul este o rețea ale cărei afirmații pot fi verificate de oricine. Sesiunile, prefixele și upstream-urile noastre sunt vizibile pe bgp.tools — te încurajăm să verifici acolo afirmațiile oricărui operator, inclusiv ale noastre.

Constrângeri

Suntem un operator mic. Nu există un NOC 24/7, nu există o echipă de ingineri de rețea în rotație, nu există buget pentru echipamente care există doar ca să impresioneze într-un tur al datacenter-ului. Fiecare decizie de design decurge din această onestitate:

• Conservator în loc de ingenios. Trei sesiuni de tranzit bine înțelese, despre care putem raționa la 3 dimineața, bat o topologie complicată pe care nu o putem înțelege.
• Automatizare în loc de oameni în plus. Orice lucru făcut de două ori manual este codificat — în filtre generate din date IRR, în monitorizare și, în cele din urmă, în birdy, unealta de administrare BGP pe care am construit-o pentru că aveam nevoie de ea noi înșine.
• Fără capacitate aspirațională. Anunțăm ceea ce putem susține, nu o cifră de marketing.

Abordare

Suntem multi-homed prin trei upstream-uri independente, așa că niciun furnizor nu ne poate scoate singur offline:

Transit:
├── Digi Romania / RCS & RDS (AS8708)  — 10G, primary
├── NAV Communications (AS6718)        — 1G
└── ParadoxNetworks / PDXnet (AS52025) — 1G

Peste acestea stau practicile care păstrează o tabelă de rutare onestă:

• Validare RPKI pe fiecare sesiune — rutele invalide sunt aruncate, nu observate. Aceasta este protecția cu cel mai mare efect împotriva route hijack-urilor.
• Filtrare de prefixe bazată pe IRR — fiecare prefix pe care îl acceptăm este verificat în baza de date IRR a RIPE, iar propriile noastre obiecte sunt menținute astfel încât ceilalți să ne poată filtra la fel de strict.
• Traffic engineering deliberat — local-pref pentru deciziile de ieșire, prepending măsurat și communities pentru intrare. Am descris detaliile în articolul nostru despre BGP traffic engineering.

Edge-ul găzduiește și tooling-ul nostru de securitate: routerele alimentează harta live a amenințărilor de pe acest site, iar aceeași infrastructură a stat la baza posturii DDoS pe care am descris-o în Mitigarea DDoS la marginea rețelei.

Ce a fost greu

Ridicarea primei sesiuni este ușoară; să fii un bun cetățean este munca adevărată. Filtrele, ROA-urile, obiectele IRR și igiena rutelor sunt lipsite de glamour, și nimeni nu le observă până când lipsesc. Le-am tratat ca cerințe de lansare, nu ca sarcini ulterioare.

Traffic engineering-ul pe intrare este negociere, nu control. Poți decide pe unde îți iese traficul; internetul decide pe unde intră. Cu trei upstream-uri de dimensiuni foarte diferite, echilibrarea traficului de intrare a necesitat măsurători și iterații, nu o singură configurare ingenioasă.

Să știm ce nu suntem încă. AS210622 este astăzi transit-only — fără port la IX. Peering-ul la un exchange este locul unde latența și economia tranzitului se îmbunătățesc cu adevărat, și este următorul lucru pe care vrem să îl rezolvăm. O spunem direct, pentru că alternativa — sugerarea unei conectivități pe care nu o avem — este exact genul de afirmație pe care bgp.tools ar contrazice-o dintr-un click.

Unde suntem acum

AS210622 este în producție, multi-homed, validat RPKI și poartă zilnic platforma noastră de hosting și pipeline-ul de securitate de la edge. Povestea completă a construcției este în Construirea unei rețele reziliente, iar tooling-ul operațional rezultat — inclusiv un web UI pentru BIRD care randează întreaga configurare cu un auto-revert armat — este open source.

Dacă vrei un partener de rețea care își operează propria rețea — sau ajutor în proiectarea, automatizarea sau auditarea rețelei tale — vorbește cu noi.