La meg introdusere deg til crewet Info:Systemstøtte. Et relativt ukjent navn for mange, men crewet består av det gamle Info/Core:Systems og den tidligere Driftsgruppa.
Vi er et crew som har ansvar for stort og smått, og vi har et behov for søkere for TG25. Vi trenger folk som kan å programmere PHP, Python, Javascript/React eller noe annet spennende. I tillegg trenger vi UX-designere og mennesker som har lyst å jobbe med support.
Arbeidsoppgaver vil være utvikling av nettsider (TG.no), Wannabe (PHP/Laravel) og diverse andre støttesystemer (Python/Django), samt drift av diverse systemer og servere (Proxmox som virtualiseringsmiljø, Fortinet på nettverk og litt Kubernetes).
Høres dette ut som noe som kan være spennende for deg? Send en søknad på wannabe.gathering.org
En interessert Discord-bruker fyrte av noen gode innspill på hva vi kan skrive om på bloggen. Da følger vi opp, og prøver å skrive noe semifornuftig!
WAN-linken
VI har, som kanskje kjent, en 50 Gbit/s linje fra Telenor. Det er et sponsorat, der vi får kapasitet fra de, mot at vi reklamerer for de.
KANDU, arrangøren av TG, er en LIR hos RIPE. Det vil si at KANDU eier et AS-nummer, med tilknyttet IPv4 og IPv6-prefixer. Via Telenor kan vi annonsere de prefixene KANDU eier. I tillegg har vi fått låne et prefix fra RIPE, og et prefix fra Telenor. Vi har vært heldige, for dette er ingen selvfølge.
Til sammen har vi følgende prefixer vi kan annonsere:
88.92.0.0/17
185.110.148.0/22
151.216.128.0/17
2a06:5840::/29
Det tilsvarer ~65000 IPv4-adresser og ~32 milliarder /64-blokker (ja….)
For å forenkle håndteringen av den (både for Telenor og oss) har vi den levert som 5 x 10 Gbit i et linkaggregat.
Håndtering av DDoS
Vi lever dessverre i en verden der vi må være i stand til å håndtere DDoS. Vi har primært to metoder for å beskytte oss når vi trenger det, og mulighet til å “ringe en venn”.
DDoS-vasking i Telenor sitt nett. Det vil si at Telenor lytter på “flows” (rent volumetrisk), og om de ser en enorm økning av trafikk mot enkeltadresser kobles automagisk “vaskemaskina” til Telenor inn. Den vil da begynne å filtrere.
Vi har også klart ett oppsett for å utføre “remote triggered black hole” via BGP communities. Det gjør at vi enkelt kan ofre en IP-adresse i skipet, ved å via BGP å fortelle at Telenor skal droppe trafikken mot den adressen.
Vi har i tillegg alternativet å kontakte Telenor SOC-en for å håndtere hendelser individuelt.
Vi har noen fornuftige filtere hos Telenor for å police protokoller som er mye benyttet til “DDoS amplification attacks”.
NAT
“This is fine” av Gunshow
Vi vil ikke alltid ha muligheten til å låne IPv4-adresser. Vi ønsker å belage oss på å kun benytte KANDU sitt IPv4 prefix (~1000 adresser), og med det må vi begynne å bruke NAT på IPv4-adresser.
I år gjør vi noe litt utradisjonelt med NAT, med gode grunner.
NAT på wifi
Vi deler ut public adresser fra 151.216.144.0/20 til alle på wifi. Disse public-adressene blir igjen “source NAT-et” bak 85.110.150.0/25. Dette gjør at vi veldig enkelt, uten å vente på at DHCP-leases skal time ut, kan flytte hele nettet inn og ut av NAT.
NAT på kablet nett
Vi vil utover TG23 NAT’e halvparten av deltagerne som er koblet til “multirate 10G”-switchene. Dette for å kunne gjøre en A/B-test av hvor godt det fungerer.
I tillegg vil visse crew NAT-es. Vi får se hvem de heldige blir 🙂
Vi vil source NAT-e disse nettene bak 85.110.150.128/25
Notater om NAT
Vi NAT-er kun IPv4-trafikk
Vi NAT-er ikke trafikk internt i skipet. Kun trafikk som har destination-adresse utenfor skipet blir NAT-et.
Vi ønsker ikke å NAT-e, men ser det som en nødvendig onde. Vi bruker TG23 for å bygge erfaring.
natfw1.tele
Dette er brannmurene vi bruker for å utføre NAT. Det er cluster med 2 x Juniper SRX4600, i et aktiv/passiv-oppsett. Herlighetene ser sånn ut:
PS: Den ene SSD-en sitter veldig løst. _veldig_ løst. Og om man blir fristet til å kjenne etter hvor løst de sitter løst, så blir det stygg kræsj, og noden må formateres. Vi prøvde. To ganger. Så da kommer gaffa til unnsetning.
Det har vært litt frem og tilbake i designet, hovedsakelig rundt følgende
Skal vi terminere L3 for NAT-WIFI og NAT-LAN på r1.tele eller natfw1.tele?
Skal vi ha et “switchelag” mellom natfw1.tele og r1.tele?
Vi får til veldig mye rart, men med mange valg kommer det også en liten haug med pros and cons. Vi valgte å prioritere enkelhet i feilsøk (pga. at flere i tech:net skal kunne feilsøke og jobbe på løsningene), og at provisjoneringssystemene (fap-awx-gondul-tech-template-sammensuriumet) ikke skal bli mer kompliserte enn nødvendige.
Løsningen rent logisk (L3) landet på å bli seende slik ut:
Dette gir oss muligheten til å med én enkelt configlinje velge om et nett skal NAT-es eller ikke. Enten termineres det i VRF:NAT-WIFI eller VRF:NAT-LAN (og dermed NAT-es), eller i “global”, og dermed ikke NAT-es.
Om nettet skal NAT-es styres med denne logikken via én tag i Netbox. Neat stuff!
Wifi vil Martin, med den tyngste Wifi-kompetansen, komme tilbake til 😀
10G til deltagerne kommer vi tilbake til når vi har fått summet oss, og samlet litt mer data. Hittil tilsier statistikken at det er mange med høy båndbredde på NIC-et, men at de gjerne kunne pushet en del mer trafikk. Distroene d1.floor og d2.floor har likt forbruk ingress, mens alle 10G-switchene til deltagerne henger på d1.floor.
Sjekk ut https://tgsp.tg23.gathering.org for å spinne opp din egen Linux VM som kjører på servere fra Nextron og er koblet rett på fibernettet til Telenor. Dette er et prøveprosjekt fra Tech så vi forventer litt problemer. Ikke vær redd for å ta kontakt med oss i Tech:Net for litt bistand. Du finner oss på Discord serveren under #tech.
Tech Stand
Merk at dette kun er et tilbud under The Gathering og alt blir slettet når arrangementet avsluttes..
Deltagere strømmer inn i skipet og finner plassene sine. Vi tech:net ser utover gulvet, og i våre systemer, at vi nok et år har klart å lage et godt nettverk. (jinx’d!).
Dette får vi til pga. en super innsats fra crew, og pga. sponsorer som strekker seg langt ❤️
Jeg vil spesielt trekke frem tech:support, og deres enorme innsats i å håndterminere mange kilometer med nettverkskabel.
En liten (og langt ifra ukomplett) oversikt over hva som har gitt oss i tech:net hodebry under opprigg
Templating, og alle mulige cornercases som må løses på stående fot
DHCPv6 option 18 injection på en del nettverksswitcher, som gjorde at IPv6 DHCP fungerte dårlig på wifi de fleste steder i skipet. DHCPv6 option 18-pakker ble droppet på r1.tele
Redesign av NAT-løsninga flere ganger
I skrivende stund har vi 657 IPv4-klienter og 370 IPv6-klienter på nett, som tygger unna rundt 2,5 Gbit/s ingress/0,5 Gbit egress 😎
PS: Det er 2. april i dag. Dette er altså ikke en aprilsnarrspøk.
Vi sliter med for mange muggabytes i TP-kablene våre. Kablene har rett og slett blitt mugne under kaldlagring de siste årene.
Av helsemessige årsaker vil ikke de mugne kablene benyttes.
Det pågår nå en heftig koordinering mellom leverandører, Tech-crewet og Logistikk-crewet for å fremskaffe såpass mye kabling. Så får vi se om det blir manuell terminering av plugger, eller om de er ferdigterminert. Mange timer jobb blir det uansett.
Til deg som deltager: Dette er ikke noe å bekymre seg for. Vi håndterer dette, og lager tidenes beste TG \o/
Heia bloggen! Tech:net har holdt på i skipet i rundt ett døgn nå, og vi har fått gjort mye.
Status badstue
Vi har løst varmeproblemene på “tele-rommet”; døra står åpen, og noen av boksene er flyttet ut av rommet. Kjølemaskina på rommet er defekt. Hurra!
Her ser vi r1.tele før vi fikk kontroll på temperaturen:
Status natfw1.tele
Dette clusteret (SRX4600) er flyttet ut av tele-rommet for å få ned varmen i rommet. I tillegg har den ene noden i clusteret dødd, og nLogic og Juniper har skaffet ny boks for den defekte. Takk for fin og problemfri støtte ♥
Status d1.roof
Her har den ene Juniper QFX5120-en dødd. Den skulle stått i et virtual-chassis oppe i taket, og fungere som aggregering for alle distroene på gulvet.
Den fungerte fint da vi preprovisjonerte den på Frivillighetshuset i Oslo, men når den skulle bootes på Hamar så er den jojo under boot. Dette er switcher som kommer fra demodepoet til Juniper, så de kan ha blitt hardt håndtert tidligere.
Juniper og nLogic vil forsøke å få erstattet den før onsdags morgen. Om ikke så blir d1.roof bestående av 2 x QFX5110 istedenfor. Me får sjå.
Sist helg hadde Tech:Net en dag i Vikingskipet hvor vi installerte et par rutere og servere. Vi koblet opp Internett linjen og sjekket at servere og utstyr var nåbare fra utsiden.
Det ble kanskje litt vel mye utstyr inne på det lille rommet, for nå er det godt og varmt der inne 🥵
sjurtf@r1.tele> show chassis environment | match Intake CB 0 Intake OK 48 degrees C / 118 degrees F CB 1 Intake OK 49 degrees C / 120 degrees F FPC 2 Intake OK 49 degrees C / 120 degrees F FPC 3 Intake OK 50 degrees C / 122 degrees F FPC 4 Intake OK 50 degrees C / 122 degrees F FPC 5 Intake OK 51 degrees C / 123 degrees F
Selv om det nå er mulig å steke bacon på MXen som står der så har vi fått brukt uken til å gjøre en del forarbeid.
Fredag som kommer så drar vi til Hamar og opprigget vårt starter for fullt lørdag morgen.
Stats og stream
Gondul (Overvåkingsverktøyet) vårt er nå i drift og den offentlige versjonen er tilgjengelig. Vi har også et weathermap som man kan følge med på.
Nytt av året er selvbetjening av VMer, også til deltakere med plass i skipet.
Med en bruker på Geekevents (eller Wannabe for crew) kan du logge inn og opprette både virtuelle maskiner og ferdig oppsatte spillservere.
Alt av detaljer er ikke klart. Planen er å tilby siste Debian, Ubuntu og Rocky Linux. Mangler vi din favoritt distribusjon? Gi beskjed i vår Discord server
Ferdig installert spill-servere leveres via Pterodactyl.
Presise maskinvarespesifikasjoner er fortsatt under utvikling. Målet vårt er å tilby kraftige nok maskiner til å kjøre de fleste spillservere og annen lab, samtidig som vi ønsker så mange brukere som mulig.
Forrige helg hadde Tech-crewet årets store samling, Tech:Gathering, der det var mye møteaktivitet, sosialisering og ymse. Denne helgen, har Tech:Net samlet seg for en ren arbeidshelg. Utstyret fra Juniper har kommet, den første serveren fra Nextron er i hus og vi begynner å konfe utstyr og teste at det vi vil ha fungerer!
Av ting vi har gjort i helga:
Sette opp core-ruteren
Softwareoppgradere distro-svitsjer, sette basisconfig på dem, teste
Forsøke og feile å få opp Mist Edge i en VM (…)
Confe brannvegger
Gjøre klar ringen til bruk
Teste Multirate
Knote med “nytt” southcam
Teste utrullingsautomatikk
Også har vi tatt sikringen på frivillighetshuset på grunn av overbelastning da.
To ganger.
Men uansett sikringer eller ei, vi er straks klar for “pre-opprigget” – en tur opp til vikingskipet for å sette opp utstyr et par uker før det ordinære opprigget til tg starter.
Etter fler år uten å få bygge et stort nettverk i påskehytta vår, Vikingskipet, så er det endelig snart tid for TG igjen.
Partnere
Vi viderefører det gode samarbeidet med våre venner i nLogic og Juniper Networks, og skal i år, som tidligere bygge kjernen i nettverket på Juniper MX-plattformen. Nytt av året så vil Juniper Networks også levere det trådløse nettverket basert med Juniper Mist. Vi gleder oss veldig til å prøve ut dette og det fortjener sin egen blogpost.
Vi fortsetter med Telenor som ISP og de vil som tidligere år levere oss 50G fordelt på 5x10GbE linker mot Telenor sin ruter i Hamar.
Nextron vil som tidligere stå for server leveransene.
Første dataparty med 10G til deltakere på bordene?
Fler og fler hovedkort og laptoper kommer nå med nettverkskort som har NBASE-T støtte. Det vil si at nettverksporten kan oppnå en linkhastighet på 2.5G, 5G og 10G (som regel i tillegg til 10/100/1000). TG var tidlig ute med gigabit til deltakerene, nå vil vi være tidlig med også høyere hastigheter på bordradene. Vi ønsker å se hvor utbredt dette er i utstyret som tas med på TG, og hvordan etterspørselen på dette er, samt legge tilrette for mer bruk av båndbredde i nettverket vårt. Bruk mer båndbredde!
Juniper Networks har derfor latt oss låne et lite knippe EX4300-48MP svitsjer som støtter 2.5GbE, 5GbE og 10GbE i tillegg til gode gamle 1GbE. Noen av disse kommer vi til å plassere ut på noen deltakerbord, såklart uten ekstra kost for deltakeren. Nøyaktig hvilke rader disse blir plassert på håper vi å kunne si noe om innen det åpnes opp for seating, men plasseringen av disse avhenger av hvordan ting blir plassert fysisk i Vikingskipet.
Design
Årets design bygger videre på designet og erfaringer fra TG19, samt planarbeidet vi rakk før TG20 ble avlyst. Justeringer vi har gjort:
Gjøre (omtrent) alt av L3 på MX480 som nå vil stå fysisk plassert på tele (derav nytt navn r1.tele)
Utskutte distribusjonsswitcher fra ringen for å redusere behov for mange lange parallelle kabelstrekk (eksempelvis d1.bird)
Aggregering av uplinkene til distribusjonsswitchene på gulvet med 2 stk QFX5120 i taket (d1.roof) for å redusere fiberstrekk til taket.
Et SRX4600 cluster for å gjøre NAT av ymse og litt eksperimentering.
En av VC-distribusjonsswitchene på gulvet blir basert på EX4300-48MP. Denne skal håndtere uplinkene til tilsvarende switcher på bordene. Denne vil få 2x40G uplink til taket. På tegningen heter denne d1.floor, men det er ikke sikkert den vil stå fysisk der den er tegnet inn.
