Waarom u een internetprobleem niet oplost met een broadcastmindset, en waarom kopiëren zonder begrip altijd mislukt. Door oprichter Stef van der Ziel.

In 2010 gaf ik een presentatie op een telecomcongres. De spreker vóór mij was Cisco, een grote leverancier die CDN-edgelocaties bouwde met complexe, dure appliances: een miljoen euro per zone, zonder enige overkoepelende beheersoftware. Mijn presentatie daarna had als titel: “The appliance is dead.”

Wij hadden net ons Video Exchange-platform ontwikkeld: een control plane bovenop een streaming data plane, beide draaiend op standaardhardware met een standaard softwarestack. Multi-tenant, multi-vendor, multi-pipeline, multi-workflow en centraal beheerd. Internet first, zonder last van achterhaalde broadcasttechniek. De intelligentie zat in de software, waardoor de leveringslaag met goedkope, generieke hardware kon worden gebouwd, voor een fractie van de kosten. Een disruptief andere aanpak: een internetaanpak, geen broadcastaanpak.

De helft van de zaal, de operators, was enthousiast. De andere helft, de hardwareleveranciers, trok wit weg. Zij zagen hun verdienmodel van peperdure appliances namelijk voor hun ogen verdampen.

Jumbo frames

Niet lang daarna kwamen we via een gezamenlijke telecompartner in een project terecht met een van die appliancebouwers, een Zweedse. Hun edgeservers, primair ontworpen voor digitale kabeltelevisie, moesten onderdeel worden van onze stack en ineens ook internetstreaming doen. Dat lukte hun niet: de servers kregen simpelweg geen verbinding met de buitenwereld aan de praat.

We sprongen bij om te helpen debuggen, en toen kwam het probleem boven water: hun TCP-stack was hard ingesteld op jumbo frames.

Voor wie niet dagelijks met netwerken werkt: jumbo frames werken prima in een gesloten, volledig beheerste keten. Op het open internet werken ze niet. En dat is precies de kern. Dit was geen bug, dit was een wereldbeeld, gegoten in code.

Traditionele broadcasttechniek gaat uit van een starre keten die u van begin tot eind beheerst: vaste bitrates, voorspelbare timing, bekende apparatuur en constante omstandigheden. Het internet is daar precies het tegenovergestelde van: dynamisch, onvoorspelbaar, heterogeen en rommelig. Wie voor het internet bouwt, bouwt dus voor variatie. Wie in broadcast denkt, bouwt voor perfectie en gaat stuk bij de eerste afwijking.

Ze moesten hun hele systeem vanaf de kern opnieuw opbouwen. En omdat ze geen kennis hadden van internetstreaming en caching, bouwden wij die toepassingen voor hen in hun product. Ons platform was namelijk al zo ontworpen dat elke willekeurige edge in een mix kon meedraaien. Voor ons was hun server gewoon een van de vele smaken.

De thundering herd

In de begintijd van live streaming met HLS liep vrijwel iedereen tegen hetzelfde probleem aan, alleen had bijna niemand het nog gemerkt. Wij noemden het het thundering herd-probleem. Bij live streaming vragen alle kijkers namelijk vrijwel op hetzelfde moment het nieuwste manifest en de nieuwste chunks op. Dat betekent per definitie een cache miss, en een klassieke cache stuurt dan alle verzoeken door naar de origin. De origin bezwijkt onder de belasting en daardoor valt de stream weg. Caching, de hele reden waarom u een CDN bouwt of gebruikt om de origin te ontlasten en het verkeer op te schalen, werkt dan simpelweg niet.

Omdat wij tot de eersten behoorden die met live HLS werkten, zagen we dit meteen en bouwden we een oplossing voor opensourcecaches: houd alle identieke verzoeken vast, stuur er precies één door naar de origin en verdeel het antwoord over alle wachtende aanvragers. Probleem opgelost. Tegenwoordig is request coalescing, zoals het heet, een standaardfunctie in moderne caches. Destijds was het uniek, en het gaf ons een flinke voorsprong.

We deelden die techniek onder strikte afspraken met die Zweedse partner, uitsluitend voor gezamenlijke projecten en onder NDA. Niet veel later presenteerde diezelfde partner de techniek op een congres, als hun eigen unieke uitvinding. Schandalig. Einde samenwerking.

Kopiëren zonder begrip

U kunt een feature kopiëren. U kunt een demo nabouwen. U kunt zelfs een heel team stagiairs op een kloon zetten, want ook dat zagen we bij die Zweden gebeuren. U kunt proberen iets na te bouwen met AI. Maar wat u niet kunt kopiëren, is het begrip waaruit die feature is ontstaan.

Wie de thundering herd nooit zag aankomen stormen, begrijpt niet waarom de oplossing werkt en waar de edge cases liggen. Wie zijn TCP-stack hard vastzet op jumbo frames, heeft niet één fout gemaakt: hij denkt structureel verkeerd over het medium waarvoor hij bouwt. Zulke partijen lopen altijd één probleem achter. Ze lossen op wat wij eerder al hebben opgelost, en in de toekomst gaan ze stuk op wat wij vandaag oplossen.

Dat patroon zien we zestien jaar later nog steeds. Er zijn nog altijd platforms op de markt die vanuit een broadcastmindset zijn ontworpen, ook al implementeren ze adaptieve internetstreaming. Ze verankeren hun logica in aannames over perfecte, starre input. In de demo en in een gecontroleerde acceptatieomgeving werken ze prima, maar ze worden instabiel zodra de echte wereld binnenkomt met externe bronnen, echte timingjitter en echte netwerkomstandigheden. Precies zoals die edgeserver die in 2010 het internet niet aan de praat kreeg.

Bouwen voor de rommelige werkelijkheid

Onze filosofie is sinds 1994 niet veranderd. Ga ervan uit dat input imperfect is. Ga ervan uit dat netwerken haperen. Ga ervan uit dat er morgen een protocol, een codec of een apparaat verschijnt dat vandaag nog niet bestaat. Ga ervan uit dat u later met nieuwe externe encoders, packagers, origins en CDN's moet samenwerken. Bouw uw intelligentie in de software, houd uw hardware generiek en ontwerp uw architectuur zo dat elk onderdeel vervangbaar is, in plaats van een black box die intern werkt maar stukgaat zodra u moet integreren. Want ook dat hoort bij een digitaal soevereine wereld.

Dat is geen feature die u kunt kopiëren. Dat is een mindset. En die verdient u alleen door de problemen als eerste tegen te komen, ze als eerste te begrijpen en ze als eerste op te lossen.

De appliance is dood. De starre keten is dood. Wie het internet wil bedienen, moet internet denken.

Jet-Stream. Soeverein, duurzaam, toegankelijk. Pioniers sinds 1994.

Terug naar alle blogs