Hoe gebruik je data om een succesvolle TV show te maken

Leidt het verzamelen van meer data tot het nemen van betere beslissingen? Concurrerende, data-bewuste bedrijven zoals Amazon, Google en Netflix hebben geleerd dat alleen data-analyse niet altijd tot optimale resultaten leidt. In deze talk legt data-wetenschapper Sebastian Wernicke uit wat er fout gaat als we beslissingen nemen die louter op data gebaseerd zijn -- en stelt een slimmere manier voor om ermee om te gaan.

Van Roy Price hebben de meesten van jullie
waarschijnlijk nog nooit gehoord,

hoewel hij verantwoordelijk
kan zijn geweest

voor 22 middelmatige minuten
van je leven, op 19 april 2013.

Hij kan ook verantwoordelijk zijn
geweest voor 22 amusante minuten,

maar niet voor velen van jullie.

Dat had alles te maken met een beslissing

die Roy zo'n drie jaar geleden
moest maken.

Roy Price is senior manager
bij de Amazon Studios,

het televisieproductiebedrijf van Amazon.

Hij is 47 jaar, slank, heeft stekelhaar

en omschrijft zichzelf op Twitter
als "film, tv, technologie, taco's".

Roy Price heeft
een hele verantwoordelijke baan,

want hij moet ervoor zorgen
de goede shows te kiezen,

de originele producties
die Amazon gaat uitbrengen.

Dat is natuurlijk
een zeer concurrerend terrein.

Er zijn al zoveel televisie-shows

dat Roy niet zomaar een show kan kiezen.

Hij moet shows vinden
die echt heel goed zijn.

Met andere woorden,
hij moet shows vinden

die aan de goede kant
van deze curve zitten.

Deze curve toont de
waarderingsverdeling

van zo'n 2500 tv-shows
op de IMDb-website

en de waardering loopt van 1 tot 10.

De hoogte hier toont
hoeveel shows die waardering krijgen.

Als je show dus een waardering krijgt
van 9 punten of meer, dat is een topper.

Dan hoort je show tot de top 2 procent.

Dat zijn shows als 'Breaking Bad',
'Game of Thrones' en 'The Wire',

dus al die shows die verslavend zijn,

shows waarvan je hersenen
aan het einde van het seizoen zeggen:

"Waar kan ik nog meer afleveringen zien?"

Zo'n soort show.

Links, voor de duidelijkheid,
hier aan dit einde,

heb je een show getiteld
'Toddlers and Tiaras' --

(Gelach)

-- dan weet je direct

wat er aan dat eind
van de curve gebeurt.

Roy Price maakt zich geen zorgen
om links op de curve te komen,

omdat je volgens mij
heel intelligent moet zijn

om onder 'Toddlers and Tiaras' te scoren.

Waar hij zich dus zorgen om maakt,
is deze bult in het midden,

de bult van gemiddelde tv,

de shows die niet
echt goed of heel slecht zijn.

Je raakt er niet echt opgewonden van.

Hij moet er dus voor zorgen
dat hij aan de rechterkant komt.

De druk is dus hoog

en het is natuurlijk ook de eerste keer

dat Amazon iets dergelijks doet.

Roy Price wil dus geen risico lopen.

Hij wil succes creëren.

Hij wil gegarandeerd succes

en wat hij dus doet,
is een wedstrijd houden.

Hij neemt een aantal ideeën voor tv-shows

en door evaluatie

kiezen ze acht kandidaten voor tv-shows.

Dan maakt hij de eerste aflevering
van elk van deze shows

en zet ze gratis online,
zodat iedereen ze kan zien.

Als Amazon dingen voor niks weggeeft,

dan wil je het hebben ook, toch?

Dus zien miljoenen kijkers
die afleveringen.

Maar wat ze niet beseffen is dat,
terwijl ze zitten te kijken,

zij zelf ook bekeken worden.

Ze worden bekeken
door Roy Price en zijn team,

die alles opslaan.

Ze slaan op wanneer iemand
op 'afspelen' of op 'pauze' drukt,

welke stukken ze overslaan,
welke worden herhaald.

Ze verzamelen miljoenen gegevens,

omdat ze die data willen hebben

om te kunnen beslissen
welke show ze moeten maken.

Dus verzamelen ze die data

en als die data zijn geanalyseerd
rolt daar een antwoord uit,

en dat antwoord is:

"Amazon moet een serie maken
over vier Republikeinse senatoren".

En dat deden ze.

Weet iemand de naam van de show?

(Publiek) 'Alpha House'.

Ja, 'Alpha House',

maar het lijkt erop dat niet veel mensen
zich die show herinneren,

hij pakte dan ook niet erg goed uit.

Eigenlijk is het maar een doorsnee show,

letterlijk, omdat het gemiddelde
van deze curve hier 7,4 is

en 'Alpha House' kwam op 7,5,

dus net boven het gemiddelde,

zeker niet waar Roy Price
en zijn team op mikten.

In de tussentijd echter,
ongeveer tegelijkertijd,

bij een ander bedrijf,

slaagde een andere manager erin
een topproductie te maken met data-analyse

en zijn naam is Ted.

Ted Sarandos is bij Netflix
hoofd 'eigen productie'

en net als Roy is hij
op een constante missie

die geweldige tv-show te vinden;

hij gebruikt daarbij ook data,

alleen doet hij het een beetje anders.

In plaats van een competitie te houden
keken hij -- en zijn team natuurlijk --

naar alle data die ze al hadden
over Netflix-kijkers,

dus de waarderingscijfers die ze geven,

waar ze meestal naar kijken,
wat ze leuk vinden, enz.

Vervolgens gebruikten ze die data

om elk detail
over het publiek te ontdekken:

welke shows ze leuk vinden,

welke producers, welke acteurs.

Zodra ze al die details bij elkaar hadden,

namen ze een sprong in het diepe

en besloten niet te kiezen
voor een programma over vier senatoren

maar voor een dramaserie over één senator.

Kennen jullie die serie?

(Gelach)

Ja, 'House of Cards', en Netflix
had een voltreffer met die show,

in ieder geval
voor de eerste twee seizoenen.

(Gelach) (Applaus)

'House of Cards' scoort 9.1 op deze curve,

precies waar ze wilden zitten.

De vraag is nu natuurlijk:
wat gebeurde hier?

Je hebt twee concurrerende
data-bewuste bedrijven.

Ze koppelen al deze miljoenen gegevens

en dan pakt dat heel goed uit voor de een,

maar niet voor de ander.

Waarom eigenlijk?

Het lijkt zo vanzelfsprekend
dat dit altijd zou moeten werken.

Ik bedoel, als je miljoenen
gegevens verzamelt

voor een beslissing die je gaat nemen,

dan zou je toch een goede beslissing
moeten kunnen nemen.

Je kunt steunen op 200 jaar statistiek.

Je versterkt het nog
met hele krachtige computers.

Dan mag je toch in ieder geval
wel goede televisie verwachten, niet?

Mocht data-analyse zo niet werken

dan wordt het een beetje griezelig,

want we leven in een tijd
waarin we steeds meer op data afgaan

om serieuze beslissingen te nemen
die televisie ver te boven gaan.

Kent iemand hier het bedrijf
Multi-Health Systems?

Niemand. OK, gelukkig maar.

Multi-Health Systems
is een software-bedrijf

en ik hoop dat niemand hier in deze zaal

ooit in contact komt met die software,

want anders betekent het
dat je in de gevangenis zit.

(Gelach)

Als iemand in de VS in de gevangenis zit
en voorwaardelijk vrij wil komen,

dan is het hoogstwaarschijnlijk
dat data-analysesoftware van dat bedrijf

gebruikt wordt om te bepalen
of die aanvraag wordt gehonoreerd.

Het is dus hetzelfde principe
als bij Amazon en Netflix,

maar in plaats van te beslissen
of een tv-show het goed zal doen,

beslis je nu of een persoon
het goed of slecht gaat doen.

Middelmatige tv, 22 minuten lang,
kan heel slecht zijn,

maar meer tijd in de gevangenis
zelfs slechter, gok ik.

Jammer genoeg zijn er zelfs bewijzen
dat deze data-analyse,

ondanks de beschikbaarheid van veel data,
niet altijd de optimale resultaten geeft.

Dat komt niet omdat een bedrijf
als Multi-Health Systems

niet met data om kan gaan.

Zelfs de slimste data-analisten
kunnen fout zitten.

Ja, zelfs Google zit soms fout.

In 2009 berichtte Google
dat ze met data-analyse

griep-epidemieën konden voorspellen,
het vervelende soort griep,

door data-analyse los te laten
op wat mensen op Google opzochten.

Het pakte wonderwel goed uit
en het werd een hit in het nieuws,

tot en met het toppunt van
wetenschappelijk succes:

een publicatie in het tijdschrift Nature.

Eerst werkte het goed,
jaar na jaar na jaar,

tot het een bepaald jaar niet werkte.

Niemand kon precies zeggen waarom.

Het werkte dat jaar gewoon niet

en dat haalde weer het nieuws natuurlijk,

inclusief het terugtrekken

van een publicatie
in het tijdschrift Nature.

Dus zelfs de grootste data-verzamelaars,
Amazon en Google,

hebben het soms mis.

Ondanks al die mislukkingen

neemt het gebruik van data snel toe
bij beslissingen in het echte leven:

op de werkvloer,

bij wetshandhaving,

de geneeskunde.

We kunnen er dus maar beter voor zorgen
dat die data ook helpen.

Zelf heb ik veel gesteggel gezien
bij het gebruiken van data,

omdat ik werk in de computer-genetica,

wat ook een terrein is
waar veel slimme mensen

ongelooflijke hoeveelheden data gebruiken
om serieuze beslissingen te nemen,

zoals over een kankertherapie
of het ontwikkelen van een medicijn.

Door de jaren heb ik
een patroon zien ontstaan,

of een soort regel als je wilt,
over wat het verschil maakt

tussen succesvolle beslissingen
op basis van data

en niet-succesvolle beslissingen.

Ik vind dit een patroon dat ik wil delen
en het gaat als volgt.

Als je een complex probleem wilt oplossen,

doe je in wezen twee dingen.

Eerst deel je het probleem op
in kleine stukjes,

zodat je die onderdelen
grondig kunt analyseren,

en dan zet je natuurlijk de tweede stap:

je doet al die stukjes weer bij elkaar

en je komt tot een conclusie.

Soms moet je het nog een keer doen,

maar steeds draait het om twee dingen:

uit elkaar halen en terug zetten.

Het cruciale is

dat voor data en data-analyse

alleen het eerste deel werkt.

Data en data-analyse,
hoe indrukwekkend ook,

helpen je alleen een probleem
te ontrafelen en details te begrijpen.

Het is niet geschikt om die stukjes
weer bij elkaar te brengen

en dan tot een conclusie te komen.

Een ander hulpmiddel kan dat wel,
en we hebben het allemaal:

het brein.

Waar het brein echt goed in is,

is stukjes weer bij elkaar brengen,

zelfs als je onvolledige informatie hebt,

en tot een goede conclusie komen,

zeker als het het brein van een expert is.

Daarom geloof ik
dat Netflix zo'n succes had,

omdat ze de data en het brein gebruikten
waar ze in het proces thuishoren.

Ze gebruiken data om eerst veel details
van hun publiek te begrijpen,

details die ze anders nooit zo grondig
hadden kunnen begrijpen.

Maar de beslissing
om al deze losse stukjes

weer bijeen te brengen
en een show als House of Cards te maken,

dat stond nergens in de data.

Ted Sarandos en zijn team namen
de beslissing om die serie goed te keuren,

waarmee ze trouwens ook
een groot persoonlijk risico namen.

Bij Amazon deden ze
het echter omgekeerd, dus fout.

Ze gebruikten steeds data
om hun beslissing te sturen,

eerst toen ze hun wedstrijd
van tv-ideeën hielden,

en later toen ze besloten
'Alpha House' te maken.

Dat was voor hen
een hele veilige beslissing,

omdat ze altijd konden wijzen
naar de data en zeggen:

"Dit zeggen de data ons."

Maar het leidde niet

tot de uitzonderlijke resultaten
die ze hadden gehoopt.

Data zijn dus een enorm nuttig middel
om betere beslissingen te nemen,

maar ik denk dat dingen fout gaan

zodra data die beslissingen
beginnen te sturen.

Hoe sterk ze ook zijn,
data zijn slechts een hulpmiddel

en met dat in je achterhoofd
vind ik dit ding hier heel nuttig.

Velen van jullie zullen .....

(Gelach)

Voordat er data waren,

was dit het hulpmiddel
om beslissingen te nemen.

(Gelach)

Velen van jullie kennen het.

Dit speeltje hier heet de Magic 8 Ball,

heel verbazingwekkend,

omdat als je een besluit moet nemen,
een ja of nee vraag,

je alleen de bal maar hoeft te schudden
en dan krijg je het antwoord

-- "Hoogstwaarschijnlijk" --
hier in dit venster, hier en nu.

Ik laat hem straks
rondgaan ter demonstratie.

(Gelach)

Wat ik natuurlijk wil zeggen is
dat ik besluiten heb genomen in mijn leven

waarbij ik achteraf toch naar de bal
had moeten luisteren.

Maar als je de data
tot je beschikking hebt,

wil je zo'n bal door iets
veel geavanceerders vervangen,

zoals data-analyse,
om tot een besluit te komen.

Maar fundamenteel verandert er niets.

De bal kan slimmer
en slimmer en slimmer worden,

maar ik denk dat wij nog steeds
de beslissingen moeten nemen

als we iets buitengewoons willen bereiken

aan de rechterkant van de curve.

Ik vind dat eigenlijk
een hele bemoedigende boodschap,

dat het zelfs onder het oog
van grote hoeveelheden data

loont om besluiten te nemen,

om expert te zijn bij wat je doet

en om risico's te nemen.

Want uiteindelijk zijn het niet de data

maar de risico's die je doen belanden
aan de rechterzijde van de curve.

Dank je wel.

(Applaus)