0:00:01.373,0:00:04.722
De flesta tänker på rörelse[br]som en visuell sak.
0:00:05.889,0:00:10.807
Om jag går över scenen[br]eller gestikulerar medan jag talar,
0:00:10.807,0:00:13.238
är det rörelser som du kan se.
0:00:14.255,0:00:19.737
Men det finns en hel värld av rörelser[br]som är för små för det mänskliga ögat,
0:00:19.737,0:00:23.598
och de senaste åren har vi[br]upptäckt att kameror
0:00:23.775,0:00:27.185
ofta kan se sådana rörelser[br]som människor inte kan.
0:00:28.305,0:00:30.066
Låt mig visa vad jag menar.
0:00:30.437,0:00:33.609
Till vänster ser du en film på en handled,
0:00:34.059,0:00:37.486
och till höger ser du[br]en film på en sovande bebis,
0:00:37.486,0:00:40.422
men om jag inte hade sagt[br]att det var filmer,
0:00:40.422,0:00:44.043
hade du kunnat tro att[br]det var stillbilder du såg,
0:00:44.043,0:00:49.805
för i båda fallen[br]verkar filmerna nästan helt stilla.
0:00:50.175,0:00:53.580
Men det pågår en hel del små rörelser,
0:00:53.850,0:00:56.232
och hade du känt på[br]handleden till vänster,
0:00:56.232,0:00:58.248
hade du känt en puls,
0:00:58.248,0:01:00.933
och hade du hållit i bebisen till höger,
0:01:00.933,0:01:05.224
hade du känt hennes bröstkorg[br]röra sig när hon andades.
0:01:05.592,0:01:12.048
Dessa rörelser har stor betydelse,[br]men är oftast för små för att synas.
0:01:12.441,0:01:17.927
så vi måste uppfatta dem genom beröring.
0:01:18.952,0:01:24.667
Men för några år sedan utvecklade MIT[br]ett så kallat rörelsemikroskop.
0:01:24.667,0:01:28.861
Det är en mjukvara som hittar[br]dessa små rörelser på film
0:01:28.861,0:01:32.613
och förstorar dem så att vi kan se dem.
0:01:33.416,0:01:36.389
Så om vi använder mjukvaran[br]på den vänstra filmen,
0:01:36.899,0:01:39.889
kan vi se pulsen i handleden,
0:01:39.889,0:01:44.604
och om vi skulle räkna pulsslagen,[br]skulle vi veta hjärtfrekvensen.
0:01:45.034,0:01:47.880
Och om mjukvaran används[br]på den högra filmen,
0:01:47.880,0:01:51.387
låter den oss se varje andetag[br]som bebisen tar.
0:01:51.387,0:01:55.524
Det kan användas för att beröringsfritt[br]övervaka andningen.
0:01:56.684,0:02:01.652
Denna teknik är mycket kraftfull[br]för den tar dessa fenomen
0:02:01.652,0:02:04.369
som vi brukar behöva[br]uppleva genom beröring
0:02:04.369,0:02:07.556
och fångar dem visuellt utan att inkräkta.
0:02:08.854,0:02:13.315
För ett par år sedan började jag arbeta[br]med dem som gjorde mjukvaran,
0:02:13.315,0:02:16.602
och vi beslöt att prova en galen idé.
0:02:16.602,0:02:19.415
Det var fantastiskt att använda mjukvaran
0:02:19.415,0:02:22.170
för att synliggöra pyttesmå rörelser,
0:02:22.170,0:02:26.338
och man kan nästan se det som[br]ett sätt att förlänga känseln.
0:02:26.978,0:02:31.227
Men tänk om man kunde göra[br]på samma sätt med hörseln!
0:02:32.298,0:02:36.573
Tänk om vi kunde använda video[br]för att fånga ljudets vibrationer,
0:02:37.173,0:02:39.520
som också är en sorts rörelser,
0:02:40.000,0:02:43.346
och använda allt vi kan se[br]som mikrofon.
0:02:44.236,0:02:48.507
Det här är en märklig idé,[br]låt mig sätta den i perspektiv.
0:02:49.523,0:02:52.771
Vanliga mikrofoner överför rörelsen
0:02:52.771,0:02:55.990
hos ett inbyggt membran[br]till en elektrisk signal,
0:02:56.450,0:03:00.598
och det membranet är konstruerat[br]för att enkelt röra sig med ljudet
0:03:00.598,0:03:04.805
så att dess rörelse kan tolkas som ljud.
0:03:05.445,0:03:08.923
Men ljud får alla saker att röra sig.
0:03:09.163,0:03:14.303
Det är bara det att vibrationerna är[br]för små och snabba för oss att se.
0:03:14.703,0:03:18.421
Men tänk om vi filmar dem med[br]en höghastighetskamera
0:03:18.421,0:03:23.567
och använder mjukvara för att ta fram[br]pyttesmå rörelser från filmen,
0:03:24.037,0:03:28.561
och analyserar rörelserna för att räkna ut[br]vilka ljud som åstadkom dem.
0:03:29.659,0:03:35.308
Då skulle synliga föremål bli[br]visuella mikrofoner på avstånd.
0:03:37.080,0:03:40.700
Så vi provade detta,[br]och här är ett av våra experiment.
0:03:40.700,0:03:46.347
Vi tog en krukväxt, till höger,[br]och filmade med höghastighetskamera,
0:03:46.347,0:03:50.106
medan en högtalare i närheten[br]spelade detta ljud.
0:03:50.446,0:03:53.430
(Musik: Mary had a little lamb)
0:03:59.680,0:04:06.264
Här är filmen som vi spelade in, med[br]tusentals bilder per sekund,
0:04:06.264,0:04:10.491
men även om du tittar riktigt nära,[br]ser du bara några blad
0:04:10.491,0:04:13.906
som inte verkar göra något särskilt.
0:04:13.906,0:04:18.712
För ljudet får bladen att röra sig[br]bara ungefär en mikrometer.
0:04:19.103,0:04:22.869
En tiotusendels centimeter.
0:04:23.189,0:04:29.485
Mellan en hundradels och[br]en tusendels pixel i bilden.
0:04:29.881,0:04:36.248
Hur mycket du än kisar,[br]så kan du inte uppfatta så små rörelser.
0:04:37.407,0:04:41.824
Men det visar sig att det som är[br]omöjligt att uppfatta
0:04:41.824,0:04:44.453
ändå kan vara numeriskt signifikant.
0:04:44.453,0:04:49.625
Med de rätta algoritmerna kan vi ta[br]denna tysta, till synes stilla film-
0:04:50.082,0:04:51.849
-och återskapa detta ljud.
0:04:52.690,0:04:55.674
(Musik: Mary had a little lamb)
0:04:59.374,0:05:02.352
(Applåder)
0:05:09.988,0:05:11.777
Hur är det möjligt?
0:05:11.777,0:05:16.341
Hur kan vi få så mycket information[br]från så lite rörelse?
0:05:16.341,0:05:21.702
Jo, låt oss säga att bladen rör sig[br]en enda mikrometer,
0:05:21.702,0:05:26.010
och att det förskjuter bilden[br]en tusendels pixel.
0:05:27.269,0:05:33.891
Det låter inte mycket, men en enda[br]bildruta består av hundratusentals pixlar,
0:05:34.894,0:05:40.468
och om vi kombinerar alla[br]pyttesmå rörelser från hela bilden,
0:05:40.846,0:05:46.269
kan en tusendels pixel läggas ihop[br]till något ganska märkbart.
0:05:46.870,0:05:50.505
Jag måste tillstå att vi blev[br]rätt häpna när vi upptäckte det.
0:05:50.505,0:05:52.825
(Skratt)
0:05:54.185,0:05:58.858
Men även med rätt algoritm[br]saknades en viktig bit av pusslet.
0:05:59.695,0:06:05.059
Många faktorer påverkar när och hur bra[br]den här metoden fungerar.
0:06:05.296,0:06:08.280
Dels föremålet och hur långt bort det är.
0:06:08.280,0:06:10.894
Dels kameran och objektivet.
0:06:10.894,0:06:14.985
Dels ljuset på föremålet[br]och hur starkt ljudet är.
0:06:15.945,0:06:22.010
Och även med rätt algoritm var det noga[br]vid våra första experiment,
0:06:22.460,0:06:25.102
för om en av dessa faktorer var fel
0:06:25.102,0:06:27.470
gick det inte att säga[br]vad som var problemet.
0:06:27.470,0:06:29.867
Vi fick bara brus.
0:06:29.867,0:06:33.437
Därför såg många av våra[br]tidiga experiment ut så här.
0:06:33.437,0:06:35.643
Här är jag,
0:06:35.643,0:06:39.403
och nere till vänster skymtar[br]höghastighetskameran
0:06:39.403,0:06:41.626
som är riktad mot en chipspåse
0:06:41.626,0:06:44.815
som belyses med starka lampor.
0:06:44.815,0:06:49.180
Som sagt måste vi vara mycket noggranna[br]vid dessa tidiga experiment.
0:06:49.180,0:06:51.688
Så här gick det till.
0:06:51.688,0:06:55.449
(Film) Tre, två, ett...
0:06:55.449,0:07:00.836
Mary had a little lamb![br]Little lamb! Little lamb!
0:07:00.836,0:07:03.816
(Skratt)
0:07:05.336,0:07:08.150
Det här experimentet verkar störtlöjligt.
0:07:08.150,0:07:09.938
(Skratt)
0:07:09.938,0:07:12.283
Jag skriker åt en chipspåse...
0:07:12.283,0:07:13.834
(Skratt)
0:07:13.834,0:07:15.951
... och vi brassar på med så mycket ljus-
0:07:15.951,0:07:20.430
att den första chipspåsen[br]bokstavligen smälte. (Skratt)
0:07:20.525,0:07:25.357
Men, löjligt eller inte,[br]det var ett viktigt experiment.
0:07:25.357,0:07:28.513
För vi kunde återskapa detta ljud.
0:07:28.513,0:07:33.225
(Ljud) Mary had a little lamb![br]Little lamb! Little lamb!
0:07:33.225,0:07:36.223
(Applåder)
0:07:37.163,0:07:39.014
Och detta var betydelsefullt,
0:07:39.014,0:07:43.313
för det var den första gången[br]som vi återskapade mänskligt tal
0:07:43.424,0:07:45.765
från ljudlös film av ett föremål.
0:07:45.765,0:07:48.156
Så vi fick en referenspunkt,
0:07:48.156,0:07:52.026
och successivt kunde vi[br]förändra experimentet,
0:07:52.026,0:07:55.661
med olika föremål, olika långt borta,
0:07:55.661,0:07:58.681
mindre ljus, tystare ljud.
0:07:59.797,0:08:02.761
Vi analyserade alla experiment
0:08:02.761,0:08:05.913
tills vi kände till[br]metodens begränsningar,
0:08:06.173,0:08:10.443
för när vi kände gränserna,[br]kunde vi räkna ut hur vi skulle tänja dem.
0:08:10.579,0:08:13.570
Det ledde till sådana här experiment.
0:08:13.570,0:08:16.499
Återigen pratar jag med en chipspåse,
0:08:16.499,0:08:21.199
men nu har vi flyttat kameran fem meter,
0:08:21.199,0:08:24.262
utomhus, bakom ett ljudisolerat fönster,
0:08:24.262,0:08:27.065
och ljuset är naturligt solljus.
0:08:28.409,0:08:30.684
Här är filmen som vi spelade in.
0:08:32.330,0:08:36.599
Så här lät det inomhus, intill chipspåsen.
0:08:37.009,0:08:41.717
(Ljud) Mary had a little lamb[br]whose fleece was white as snow
0:08:41.717,0:08:47.026
and everywhere that Mary went,[br]that lamb was sure to go.
0:08:47.666,0:08:51.103
Och detta lyckades vi återskapa[br]från den ljudlösa filmen
0:08:51.103,0:08:53.808
tagen utomhus bakom fönstret.
0:08:53.808,0:08:58.253
(Ljud) Mary had a little lamb[br]whose fleece was white as snow
0:08:58.253,0:09:03.920
and everywhere that Mary went,[br]that lamb was sure to go.
0:09:03.920,0:09:06.901
(Applåder)
0:09:10.151,0:09:13.593
Och det finns andra sätt som vi kan[br]tänja gränserna på.
0:09:13.593,0:09:17.681
Här är ett tystare experiment[br]där vi filmade ett par hörlurar,
0:09:17.681,0:09:19.731
inkopplade i en dator.
0:09:19.731,0:09:23.981
Här var målet att återskapa musiken[br]som spelades på datorn
0:09:23.981,0:09:28.250
utifrån ljudlös film [br]på dessa små hörlurar.
0:09:28.627,0:09:30.970
Vi lyckades så bra
0:09:30.970,0:09:33.431
att Shazam kände igen resultatet.
0:09:33.431,0:09:35.842
(Skratt)
0:09:37.191,0:09:40.185
(Musik: "Under Pressure" av Queen)
0:09:49.615,0:09:52.594
(Applåder)
0:09:54.584,0:09:59.135
Och vi kan tänja gränser[br]genom att ändra utrustningen.
0:09:59.135,0:10:01.596
För alla experiment[br]som jag har visat hittills
0:10:01.596,0:10:03.918
gjordes med höghastighetskamera,
0:10:03.918,0:10:08.377
som kan spela in runt 100 gånger snabbare[br]än de flesta mobiler.
0:10:08.724,0:10:13.603
Men vi hittade ett sätt att[br]använda metoden med vanliga kameror,
0:10:13.603,0:10:17.832
genom att utnyttja så kallade[br]rullande slutare.
0:10:17.832,0:10:22.630
De flesta kameror spelar in[br]filmens bilder en pixelrad åt gången,
0:10:22.630,0:10:28.332
och om ett föremål rör sig[br]medan en enda bild spelas in
0:10:28.344,0:10:31.061
gör den lilla fördröjningen[br]mellan varje rad
0:10:31.061,0:10:37.188
att det blir små artefakter[br]som syns i varje bild i filmen.
0:10:37.701,0:10:41.507
Vi upptäckte att genom att[br]analysera dessa artefakter,
0:10:41.507,0:10:46.122
kan vi återskapa ljud med en[br]ändrad version av vår algoritm.
0:10:46.122,0:10:51.224
Här är ett experiment där vi filmade[br]en godispåse medan en högtalare spelade
0:10:51.470,0:10:54.442
samma "Mary had a little lamb" som innan
0:10:54.442,0:10:58.645
men nu med en helt vanlig kamera.
0:10:58.645,0:11:01.089
Nu ska jag spela upp [br]ljudet vi återskapade,
0:11:01.089,0:11:03.669
och det kommer att låta förvrängt nu,
0:11:03.669,0:11:06.705
men lyssna och hör om ni kan[br]känna igen musiken.
0:11:07.723,0:11:10.716
(Ljud: "Mary had a little lamb")
0:11:25.527,0:11:28.992
Som sagt, ljudet är förvrängt,
0:11:28.992,0:11:33.378
men det fantastiska är att[br]vi fick detta resultat
0:11:33.378,0:11:37.724
med utrustning som man kan[br]köpa på Elgiganten.
0:11:39.122,0:11:44.725
Många som ser det här[br]tänker genast på övervakning.
0:11:45.542,0:11:49.137
Och i ärlighetens namn[br]är det lätt att föreställa sig
0:11:49.217,0:11:52.060
hur tekniken kan användas[br]till att spionera.
0:11:52.060,0:11:57.657
Men kom ihåg att det redan finns[br]gott om mogen teknik för att spionera.
0:11:57.946,0:12:03.046
Man har använt laser för att tjuvlyssna[br]via föremål på avstånd i decennier.
0:12:04.083,0:12:11.248
Det nya nu är att vi kan[br]avbilda vibrationer hos ett föremål,
0:12:11.548,0:12:14.911
vilket ger oss en ny lins som[br]vi kan betrakta världen genom.
0:12:14.911,0:12:16.661
Och vi kan använda denna lins
0:12:16.661,0:12:21.560
för att lära oss inte bara om krafter,[br]som ljud, som orsakar vibrationer,
0:12:21.560,0:12:23.848
utan även om föremålet självt.
0:12:24.968,0:12:30.697
Låt oss backa ett steg och fundera hur[br]det kan ändra sättet vi använder film på.
0:12:30.697,0:12:34.270
Vi brukar använda film för att[br]betrakta föremål,
0:12:34.270,0:12:38.092
och jag har nyss visat hur det[br]kan användas för att lyssna på saker.
0:12:38.459,0:12:42.420
Men det finns ett annat viktigt sätt[br]att undersöka omvärlden:
0:12:42.420,0:12:44.675
Genom att interagera med den.
0:12:44.675,0:12:47.836
Vi trycker och drar och petar på saker.
0:12:47.836,0:12:51.047
Vi skakar dem och ser vad som händer.
0:12:51.047,0:12:55.190
Det är något som vi inte[br]kan göra med en film.
0:12:55.190,0:12:57.596
Åtminstone inte hittills.
0:12:57.686,0:13:02.213
Jag vill visa vårt senaste arbete, en idé[br]som jag fick för bara några månader sedan.
0:13:02.213,0:13:05.514
Det här är första gången jag[br]visar det för allmänheten.
0:13:05.514,0:13:10.877
Idén är att vi ska använda[br]vibrationerna i en film
0:13:10.877,0:13:15.358
för att spela in föremål på ett sätt[br]så att vi kan interagera med dem,
0:13:15.358,0:13:17.332
och se hur de reagerar på oss.
0:13:19.120,0:13:20.754
Här är ett föremål,
0:13:20.754,0:13:24.506
i detta fall en trådskulptur[br]av en människa,
0:13:24.506,0:13:27.634
och vi filmar den med en vanlig kamera.
0:13:27.634,0:13:32.108
Det är inget särskilt med kameran,[br]vi har faktiskt använt min mobil förut.
0:13:32.689,0:13:35.194
Men vi vill att föremålet ska vibrera.[br]
0:13:35.194,0:13:40.720
Så vi slår lätt på ytan det står på,[br]medan vi spelar in denna film.
0:13:47.138,0:13:52.879
Det är allt: Fem sekunder vanlig film,[br]medan vi slår på ytan,
0:13:53.085,0:13:56.558
och vi använder vibrationerna från filmen
0:13:56.558,0:14:01.052
för att lära oss konstruktionen[br]och materialens egenskaper i föremålet,
0:14:01.052,0:14:06.096
och vi använder den informationen[br]för att skapa något nytt, interaktivt.
0:14:12.866,0:14:17.559
Här är resultatet.[br]Det ser ut som en vanlig stillbild.
0:14:17.748,0:14:20.859
Men det är ingen stillbild,[br]och det är ingen film.
0:14:20.859,0:14:25.987
För nu kan jag ta musen[br]och börja interagera med föremålet.
0:14:32.936,0:14:37.523
Vad ni ser är en simulering av[br]hur föremålet
0:14:37.615,0:14:41.873
skulle reagera på krafter[br]som vi aldrig sett förut.
0:14:41.873,0:14:45.706
Och vi skapade den utifrån[br]bara fem sekunder vanlig film.
0:14:47.249,0:14:50.234
(Applåder)
0:14:57.421,0:15:00.458
Så detta är ett kraftfullt sätt[br]att se på omvärlden,
0:15:00.458,0:15:05.220
för det låter oss förutse hur föremål[br]kommer reagera på nya situationer,
0:15:05.443,0:15:08.916
och man kan tänka sig, exempelvis,[br]att man tittar på en gammal bro
0:15:08.916,0:15:14.883
och undrar om den kommer hålla[br]om jag skulle köra bil över den.
0:15:15.276,0:15:20.700
Det är en fråga som du förmodligen[br]vill besvara innan du kör över bron.
0:15:21.858,0:15:25.040
Självklart finns det[br]begränsningar i tekniken,
0:15:25.040,0:15:27.462
precis som med den visuella mikrofonen,
0:15:27.462,0:15:32.383
men vi upptäckte att det fungerar[br]i många oväntade situationer,
0:15:32.698,0:15:35.326
i synnerhet om du använder längre filmer.
0:15:35.326,0:15:39.934
Exempelvis denna film[br]på en buske utanför mitt hus,
0:15:40.233,0:15:45.691
och jag gjorde inget med busken,[br]förutom att filma den i en minut.
0:15:46.146,0:15:49.284
En lätt vind gav nog med vibrationer
0:15:49.284,0:15:53.111
för att ge oss information[br]till den här simuleringen.
0:15:55.270,0:15:58.242
(Applåder)
0:16:01.412,0:16:04.224
Tänk dig detta i händerna[br]på en filmregissör,
0:16:04.224,0:16:06.103
som kan kontrollera, till exempel,
0:16:06.103,0:16:11.025
styrkan och riktningen på en vind[br]i en tagning efter att den blivit filmad.
0:16:12.810,0:16:17.215
Eller, som här, när vi riktade kameran[br]mot ett hängande skynke,
0:16:17.215,0:16:23.854
man kan inte se några rörelser i filmen,[br]men genom att filma i två minuter,
0:16:24.179,0:16:30.857
gav naturliga luftströmmar upphov till[br]nog med omärkliga rörelser och vibrationer
0:16:31.257,0:16:33.814
för att möjliggöra denna simulering.
0:16:36.243,0:16:43.859
Ironiskt nog är vi vana vid interaktivitet[br]när det gäller virtuella föremål.
0:16:44.344,0:16:47.531
Videospel och 3D-modeller.
0:16:47.531,0:16:52.045
Men att kunna fånga den här informationen[br]från verkliga föremål i omvärlden,
0:16:52.045,0:16:54.652
med bara vanlig videoupptagning,
0:16:54.652,0:16:57.045
är nytt och har stor potential.
0:16:58.410,0:17:03.314
Här är de fantastiska människor[br]som arbetat med mig.
0:17:04.057,0:17:07.043
(Applåder)
0:17:12.819,0:17:15.626
Vad jag visat idag är bara början.
0:17:15.626,0:17:20.389
Vi har bara skrapat på ytan av vad man kan[br]göra med denna typ av avbildning,
0:17:20.792,0:17:28.066
för den ger nya sätt att fånga vår[br]omgivning med vanlig, tillgänglig teknik.
0:17:28.066,0:17:30.585
Framtiden är spännande,[br]
0:17:30.595,0:17:33.888
när vi utforskar vad detta[br]kan lära oss om världen.
0:17:34.381,0:17:35.585
Tack!
0:17:35.610,0:17:38.587
(Applåder)