Jared Ficklin: Novi načini da se glazba vidi (u boji! s vatrom!)

Dizajner Jared Ficklin kreira divlje vizualizacije koje nam dozvoljavaju da vidimo glazbu, koristeći boje i vatru (prvi put na TED pozornici) kako bi analizirao kako se osjećamo zbog zvuka. On radi kratku digresiju kako bi analizirao zvukove skate parka -- i kako nas zvuk može voditi ka razvitku naše kreativnosti.

Moje strasti

su glazba, tehnologija i pravljenje stvari.

I kombinacija ovih stvari

dovela me je do hobija vizualizacije zvuka,

i, ponekad, dovelo me da se igram s vatrom.

Ovo je Rubenova cijev. To je jedna od mnogih koje sam napravio s godinama

i imam jednu ovdje večeras.

To je cijev od metala duga 8 stopa,

ima stotinu ili više rupa na vrhu,

i sa strane je zvučnik, i ovdje

imamo cijevi iz laboratorija, povezanih s ovim spremnikom

propana.

Pa, upalimo ga da vidimo što radi.

Zasvirajmo frekvenciju od 550 herca

i pogledajmo što se događa.

(Frekvencija)

Hvala vam. (Pljesak)

U redu je zapljeskati zakonima fizike,

ali ono što se zapravo događa

-- (Smijeh) --

je da energija iz zvuka putem molekula zraka i plina

utječe na zapaljiva svojstva propana,

stvarajući vidljiv oblik valova,

i možemo vidjeti izmjenjujuća područja kompresije

i frekvenciju,

i visinu koja nam pokazuje amplitudu.

Dakle, promijenimo frekvenciju zvuka,

i pogledajmo što se događa s vatrom.

(Viša frekvencija)

Tako kad god pogodimo rezonantnu frekvenciju dobijemo stojeći val

i tu uzlaznu krivulju vatre.

Isključimo sad to. Nalazimo se unutra.

Hvala vam. (Pljesak)

Također imam sa sobom i vatreni stol.

Vrlo je sličan Rubensovoj cijevi, i također je rabljen

za vizualizaciju fizičkih osobnosti zvuka,

pa upalimo ga

i vidimo što radi.

Ooh. (Smijeh)

Okej. Sad, dok stol dolazi do pritiska,

samo da napomenem kako zvuk ne putuje

u savršenim linijama. On zapravo putuje u svim smjerovima,

i rubensova "cijev" radi disekciju tih valova

linijom, a vatreni stol

radi disekciju tih valova po ravnini,

i može nam pokazati malo suptilne složenosti, zašto

volim koristiti to kako bih gledao Geoff Farinu kako svira gitaru.

(Glazba)

Dakle, to je složen ples.

Ako gledate pažljivo --- (Pljesak)

ako gledate pažljivo, možda ste vidjeli

neke od eigenmodova, ali možda ste vidjeli i to

da je jazz glazba bolja s vatrom.

Zapravo, puno stvari je bolje s vatrom u mom svijetu,

ali vatra je samo osnova.

Pokazuje vrlo dobro da oči mogu čuti,

i ovo je meni zanimljivo zato što

nam tehnologija dozvoljava da predstavimo zvuk očima

na način koji naglašava snagu očiju

kako bi vidjele zvuk, kao što je izmicanje vremena.

Dakle, ovdje koristimo algoritam kako bismo naslikali

frekvencije pjesme "Smells Like Teen Spirit"

na način na koji ga oči mogu primiti

kao jednu vizualnu impresiju, i tehnika

će također pokazati snage vizualnog korteksa

za prepoznavanje uzoraka.

Pa ako vam pokažem još jednu pjesmu s ovog albuma,

i još jednu, vaše oći će lako moći razabrati

korištenje ponavljanja od strane Nirvane,

i u distribuciji frekvencija, u bojama,

možete vidjeti čisti-prljavi-čisti zvuk

po kojem su poznati,

i ovdje je cijeli album kao jedna vizualna impresija,

i mislim da je ova impresija vrlo moćna.

Barem, dovoljno je jaka kako bi

ako vam pokažem ove četiri pjesme,

i podsjetim vas da je ovo "Smells Like Teen Spirit,"

možete vrlo vjerojatno točno pogoditi, bez slušanja

glazbe, da će pjesma

u kojoj će uživati pravi fanovi Nirvane je ova pjesma,

"I'll Stick Around" od Foo Fightersa,

čiji je pjevač Dave Grohl,

koji je bio bubnjar u Nirvani.

Pjesme su pomalo slične, ali najviše

me zanima ideja da ćemo jednog dana možda

moći kupiti pjesmu jer nam se sviđa kako izgleda.

U redu, pogledajte sada malo više zvukovnih podataka.

Ovo je podatak iz skate parka,

i ovo je Mabel Davis skate park

u Austinu, Texas. (Zvuk skejta)

I zvukovi koje čujete dolaze iz osam

mikrofona spojenih na rampe po parku,

i zvuči kao kaos, ali zapravo

trikovi počinju sa vrlo određenim udarcem,

ali uspješni trikovi završavaju s pucketanjem,

gdje neuspješni trikovi

završe sa grebanjem i udaranjem,

dok trikovi na šipci zvone kao gong, i

glasovi su na jedinstvenoj frekvenciji u skate parku.

Pa ako bismo vizualno prikazali ove zvukove,

možda ćemo završiti s nečim kao što je ovo.

Ovo je svih 40 minuta snimke,

i odmah nam algoritam govori

da ima više neuspjelih nego uspjelih trikova,

i da će trik na šipci vrlo vjerojatno

izazvati poklike, i ako pogledate pažljivo,

možemo izvući uzorke prometa.

Vidite, skejteri često rade trikove u tom smjeru. Rampe su lakše.

I usred snimanja, mikrofoni pokupe ovo,

ali kasnije u snimci, ovaj klinac se pojavi,

i počinje koristiti smjer na vrhu parka

kako bi napravio neke napredne trikove na nečem

što se zove visoka šipka.

I to je fascinantno. U ovom trenutku u vremenu,

svi ostali skejteri okreću svoj smjer kretanja za 90 stupnjeva

kako bi mu se maknuli s puta.

Vidite, postoji suptilna pristojnost u parku,

i vode ju glavni nositelji utjecaja,

i to su najčešće djeca koja mogu raditi najbolje trikove,

ili nose crvene hlače, i ovog dana mikrofoni su to primjetili.

Od fizike skejta do teoretske fizike.

Ja sam veliki fan Stephen Hawkinga,

i htio sam iskoristiti svih osam sati

njegovog predavanja na Cambridgeu kako bih stvorio posvetu.

Sada, u ovoj seriji on govori uz pomoć računala,

što zapravo omogućuje identifikaciju krajeva rečenica

dosta jednostavno. Pa sam stvorio skretajući algoritam.

On sluša predavanje, i onda koristi

amplitude svake riječi kako bi pomaknuo točku na x osi,

i koristi modulaciju rečenica

kako bi pomaknuo istu točku gore i dolje po y osi.

I ove linije, kao što vidite, ostavljaju više pitanja

nego odgovora u zakonima fizike,

i kad dođemo do kraja rečenice,

stavljamo zvjezdicu na tu lokaciju.

Dakle postoji puno rečenica, pa puno zvijezda,

i nakon renderiranja sveg zvuka, ovo je što dobijemo.

Ovo je svemir Stephena Hawkinga.

(Pljesak)

Ovo je svih osam sati predavanja sa Cambridgea

prikazanih u jednoj vizualnoj impresiji,

i stvarno mi se sviđa ova slika,

ali mnogo ljudi misli da je ovo lažno.

Pa sam stvorio interaktivniju verziju,

a to sam učinio tako što sam koristio njihov položaj u vremenu

u predavanju kako bih postavio ove zvijezdice u 3D prostoru,

i s nešto posebnog softwarea i Kinectom,

mogu ušetati u predavanje.

Mahnut ću kroz Kinect ovdje

i preuzeti kontrolu, i sada ću posegnuti

i dodirnuti zvjezdu, i kada to učinim,

pustit će rečenicu

koja je stvorila tu zvjezdu.

Stephen Hawking: Postoji jedan, i samo jedan, aranžman

u kojem dijelovi čine čitavu sliku.

Jared Ficklin: Hvala vam. (Pljesak)

Postoji 1.400 zvjezda.

To je zaista zanimljiv način za istraživanje predavanja,

i, nadam se, dostojna posveta.

U redu. Dopustite da završim sa radom koji je u tijeku.

Mislim, nakon 30 godina, da postoji prilika

za stvaranje poboljšane verzije zatvorenog titlovanja.

Sad, puno nas je vidjelo puno TED govora online,

pa pogledajmo jedan bez zvuka

i uključenim sustavom zatvorenog titlovanja.

Ne postoji zatvoreno titlovanje za TED pjesmu,

i nedostaje nam, ali ako ste pogledali dovoljno ovoga,

čujete ju u vašem uhu,

i onda pljesak počinje.

Obično počinje ovdje, i raste a zatim pada.

Nekad dobijete pljesak male zvjezde,

i onda mislim da čak i Bill Gates nervozno udahne,

i govor počne.

Dobro, pogledajmo ovaj isječak ponovno.

Ovoga puta, neću uopće govoriti.

I dalje neće biti zvuka,

ali ono što ću ja učiniti je prevesti zvuk

vizualno u realnom vremenu na dnu ekrana.

Gledajte pažljivo i vidite što vaše oči mogu čuti.

Ovo je poprilično zadivljuuće za mene.

Čak i na prvi pogled, oči će uspješno

izabrati uzorke, no u opetovanim gledanjem,

vaš mozak zapravo postaje bolji

u pretvaranju ovih uzoraka u informacije.

Možete osjetiti ton i boju zvuka

i brzinu govora,

stvari koje ne možete dobiti iz zatvorenog titlovanja.

Ona poznata scena u horor filmovima

gdje netko dolazi straga

je nešto što možete vidjeti,

i vjerujem da je ova informacija nešto

što je korisno kada je isključen zvuk

ili nije čuo uopće, i pretpostavljam da će gluha publika

možda biti i bolja

u viđenju zvuka nego publika koja čuje.

Ne znam. Za sada je to samo teorija.

Zapravo, to je sve samo ideja.

I dopustite da završim s tim da se zvuk kreće u svim smjerovima,

a tako se kreću i ideje.

Hvala vam. (Pljesak)