Jet-Stream, de onafhankelijke streamingspecialist met 32 jaar ervaring in streaminginnovatie, heeft een reeks populaire VOD- en live streaming diensten gebenchmarkt op de compliance van hun encoding en packaging.

We hebben de streams gebenchmarkt waar u daadwerkelijk naar kijkt. De meeste zijn niet wat ze beweren te zijn.

Jet-Stream heeft populaire VOD- en live streaming diensten getoetst op één eenvoudige vraag: voldoet de stream die op uw scherm verschijnt aan de HLS-specificatie die hij zegt te volgen?

Niet de marketingpagina, niet het datasheet van de leverancier, maar de echte playlists en segmenten, vastgelegd precies zoals een echte kijker ze ontvangt.

Waarom compliance van encoding en packaging ertoe doet

Elke streamingdienst zegt dat hij “adaptieve HLS van hoge kwaliteit” levert. Vrijwel geen enkele wordt daar ooit echt op gecontroleerd. Wat wordt er dan wel gecontroleerd? Metingen bij echte eindgebruikers, die de prestaties van het CDN toetsen. Toch wordt de kwaliteit van een stream juist bij encoding en packaging bepaald. Een stream die de specificatie op kleine punten schendt, speelt meestal nog gewoon af, op de meeste apparaten. Dat is nu precies het probleem: in de demo zijn de fouten onzichtbaar, in de praktijk wel, of ze belanden op uw rekening voor opslag en CDN.

Packaging die niet aan de specificatie voldoet, veroorzaakt buffering die niemand kan verklaren, weergave die op het ene tv-merk wel en op het andere niet werkt, ondertitels die verschuiven, advertenties die blijven hangen en toegankelijkheidsfuncties die ongemerkt verdwijnen. Bovendien jagen encoding en packaging die niet aan de specificatie voldoen de CDN-rekening op, door slecht opgebouwde bitrateladders en overbodige renditions.

Compliance is geen vinkje. Het is het fundament onder interoperabiliteit, weerbaarheid en onafhankelijkheid. Compliance is daardoor ook essentieel voor digitale soevereiniteit: u wilt namelijk kunnen overstappen zonder op incompatibiliteit te stuiten.

Hoe we het hebben aangepakt

We wilden een methode die iedereen kan herhalen en waar niemand iets tegen kan inbrengen.

  • Echte streams, echte omstandigheden. Elke stream is vastgelegd zoals een gewone abonnee of bezoeker hem ontvangt, ook bij diensten achter een login. Geen testfeeds, geen door leveranciers aangeleverde voorbeelden.
  • Eén meting, één moment. Alle diensten zijn in dezelfde periode vastgelegd, zodat de resultaten dezelfde generatie tooling weerspiegelen.
  • Objectieve criteria, openbare bronnen. Elke controle verwijst naar gedocumenteerde eisen: de HLS-authoringspecificatie van Apple, de HLS-RFC en gepubliceerde best practices voor packaging. Geen meningen, alleen meetbare afwijkingen.
  • Volledig bewijsspoor. Per dienst zijn de bronplaylists en segmenten bewaard. Elke bevinding is terug te voeren op een bestand, en iedereen kan de benchmark eenvoudig reproduceren.
  • Jet-Stream getest als gewone deelnemer. Ons eigen platform heeft precies dezelfde controles doorlopen als alle andere, zonder voorkeursbehandeling.

De benchmark omvatte uiteenlopende streamingketens: publieke en commerciële omroepen, regionale media, nieuws en radio, sportplatforms, wereldwijde abonnementsdiensten, parlementaire uitzendingen en de leveranciers van encoding, packaging en players daarachter.

Wat we hebben gevonden

We publiceren geen scores en noemen geen namen. Deze benchmark is niet opgezet om iemand voor schut te zetten, maar om een feitelijke nulmeting vast te leggen voor een branche die al veel te lang op aannames draait.

Wat we wel kunnen zeggen:

  • “De meeste streams wijken op minstens één punt af van de specificatie, en dat punt raakt de compatibiliteit bij het afspelen.”
  • “Bitrateladders zijn vaak ingericht op het gemak van de encoder, niet op het netwerk van de kijker.”
  • “Compliance hangt niet samen met budget. Enkele van de grootste diensten maakten basisfouten, terwijl sommige van de kleinste vrijwel foutloos waren.”

Het patroon is duidelijk genoeg: de branche heeft stilzwijgend “het speelt af” geaccepteerd als definitie van kwaliteit. Dat zou niet moeten. We hebben namelijk behoorlijk wat fundamentele fouten gevonden in de manier waarop encoders zijn geconfigureerd en packagers zijn ontworpen.

Vijf problemen sprongen het meest in het oog

  1. Configuratie zonder begrip. In veel ketens zijn encoders en packagers duidelijk ingericht door mensen die weten hoe ze een stream aan het afspelen krijgen, maar niet waarom de specificatie zegt wat ze zegt. Standaardinstellingen worden overgenomen, parameters worden gekopieerd uit een ander project, en zodra er beeld is, wordt de klus als klaar beschouwd. De specificatie bestaat juist omdat “het speelt af” niet hetzelfde is als “het is correct”.
  2. Fundamentele fouten in de architectuur. Sommige oplossingen zijn zo ontworpen dat ze alleen werken als alle andere schakels in de keten perfect zijn. Dat gaat misschien goed in een gesloten broadcastnetwerk, maar niet in de echte wereld met lastige bronnen, wisselende netwerkomstandigheden en een mix van leveranciers in één keten. De encoder moet exact zijn, het CDN moet vergevingsgezind zijn en de player moet compenseren. Gaat er iets stuk, dan wijst iedereen naar de volgende partij. We zagen architecturen die geen enkele ruimte laten voor de normale onvolkomenheden van levering in de praktijk, en die onvolkomenheden vervolgens als andermans fout bestempelen, terwijl de rest van de branche juist waarschuwt voor zulke fundamentele architectuurfouten. Ook zagen we architecturen waarin content niet on the fly wordt verpakt, maar vooraf, met packaging die niet aan de specificatie voldoet. Daardoor moet alle content opnieuw worden verpakt om compliant te worden, in plaats van dat een just-in-time packager wordt bijgesteld.
  3. Niemand is eigenaar van het eindresultaat. In een moderne streamingketen worden encoding, packaging, levering en weergave vaak door verschillende leveranciers verzorgd. Ieder test zijn eigen onderdeel. U zou verwachten dat de integrator de uiteindelijke stream vastlegt, analyseert en benchmarkt zoals de kijker hem ontvangt, en hem van begin tot eind op compliance controleert.
  4. Verspilling die niemand opmerkt. Omdat niemand de werkelijke output valideert, blijven inefficiënties jarenlang bestaan: renditions die veel meer data bevatten dan nodig, ladders die kijkers naar een slechter beeld sturen dan hun verbinding toelaat, en herverwerking die ongemerkt de caching ondermijnt. Niets hiervan leidt tot een storing. Het leidt wel tot kosten, energieverbruik en een middelmatige kijkervaring waar iedereen aan gewend is geraakt.
  5. Een gepolijste voorkant, een ongecontroleerde achterkant. De kwaliteit van de website van een dienst, een RUM-analyse van de CDN-prestaties, een playerskin of een salespresentatie zei niets over de compliance van de stream. Enkele van de meest professioneel ogende diensten leverden juist de minst professionele output, en omgekeerd.

Wat dit betekent voor omroepen en platforms

Als u een streamingdienst exploiteert, weet u waarschijnlijk niet hoe compliant uw stream werkelijk is. Uw leverancier zal zeggen dat alles in orde is. Players verbergen de meeste problemen. Uw kijkers merken ze wel, en geven hun internetverbinding de schuld. Ondertussen accepteert u hoge rekeningen voor opslag en dataverkeer, omdat u ervan uitgaat dat de prijs per GB klopt. Intussen worden er echter veel overbodige GB's gegenereerd, waardoor de prijs per GB in feite verdubbelt. Wie verdient er aan uw slecht ingerichte encoding?

Drie dingen die u vandaag kunt doen:

  1. Vraag om bewijs, niet om geruststelling. Vraag een compliancerapport op uw live productiestream, niet op een voorbeeld uit het lab.
  2. Test met meer dan één player. Als uw stream alleen in de player van uw leverancier werkt, heeft u geen stream. U heeft een afhankelijkheid.
  3. Behandel packaging als infrastructuur. De compliance van uw packager verdient dezelfde kritische blik als uw CDN-contract en uw beveiligingsaudit.
  4. Controleer de werkelijke outputstreams. Bewaar manifests en segmenten en analyseer ze op compliance en correctheid.

Waarom we dit hebben gedaan

Jet-Stream bouwt sinds 1994 streaminginfrastructuur. We hebben de branche zien overstappen van propriëtaire formaten naar open standaarden, en we hebben die standaarden zien uithollen door gemakzucht en door leveranciers die baat hebben bij lock-in. Open, compliant streams zijn geen technische luxe. Ze zorgen er juist voor dat Europese media onafhankelijk blijven van welke player, welk platform of welke cloud dan ook.

Ontvang de resultaten van de benchmark

Neem contact met ons op voor een vertrouwelijk gesprek waarin we de resultaten van de benchmark met u delen. We delen ook graag de methodologie, de criteria en een set benchmarkinstructies met elke omroep, elk platform of elke leverancier die de eigen keten wil benchmarken. Daarnaast voeren we graag een compliancecheck uit op uw productiestreams.

Terug naar alle blogs