רובנו חושבים על תנועה כמשהו מאוד ויזואלי.
אם אני אלך ברחבי הבמה או אחווה בידיי בעודי מדבר,
התנועה היא משהו שאתם יכולים לראות.
אבל יש עולם של תנועות חשובות שהן עדינות מדי לעין האנושית,
ובמהלך השנים האחרונות,
התחלנו לגלות שמצלמות
יכולות הרבה פעמים לראות את התנועה הזו אפילו כשאנשים לא.
אז תנו לי להראות לכם למה אני מתכוון.
מצד שמאל פה, אתם רואים סרטון של פרק כף יד של אדם,
ומימין אתם רואים סרטון של תינוקת ישנה,
אבל אם לא הייתי אומר לכם שאלה סרטונים,
אולי הייתם מניחים שאתם מביטים בשתי תמונות רגילות,
מפני שבשני המקרים,
הסרטונים האלה נראים כמעט לגמרי נייחים.
אבל יש למעשה הרבה תנועות עדינות שמתרחשות שם,
ואם הייתם נוגעים בפרק היד משמאל,
הייתם מרגישים דופק,
ואם הייתם מחזיקים את התינוקת מימין,
הייתם מרגישים את העליה והירידה של החזה שלה
כשהיא לוקחת כל נשימה.
והתנועות האלו בעלות משמעות גדולה מאוד,
אבל הן בדרך כלל עדינות מדי כדי שנוכל לראות אותן,
אז במקום, אנחנו צריכים לצפות בהן
דרך מגע ישיר, דרך מגע.
אבל לפני כמה שנים,
העמיתים שלי ב MIT פיתחו מה שהם קוראים לו מיקרוסקופ תנועה,
שהוא תוכנה שמגלה את התנועות העדינות האלו בסרטון
ומגבירה אותן כך שהן הופכות לגדולות מספיק כדי שנראה אותן.
וכך, אם נשתמש בתוכנה שלהם על הסרטון השמאלי,
זה נותן לנו לראות את הדופק בפרק היד,
ואם היינו סופרים את הדופק הזה,
נוכל אפילו לדעת מה הדופק של האדם הזה.
ואם היינו משתשמים באותה תוכנה על הסרטון הימני,
זה נותן לנו לראות כל נשימה שהתינוקת הזו לוקחת,
ואנחנו יכולים להשתמש בזה כדרך נטולת מגע כדי לנטר את הנשימה שלה.
וכך הטכנולוגיה הזו היא ממש חזקה מפני שהיא לוקחת את התופעה הזו
שאנחנו בדרך כלל חווים דרך מגע
והיא מאפשרת לנו ללכוד אותה ויזואלית וללא פלישה.
אז לפני כמה שנים, התחלתי לעבוד עם האנשים שיצרו את התוכנה הזו,
והחלטנו לנסות רעיון משוגע.
חשבנו, זה מגניב שאנחנו יכולים להשתמש בתוכנה
כדי לדמות תנועות זעירות כמו אלו,
ואתם יכולים כמעט לחשוב על זה כדרך להרחיב את חוש המגע שלנו.
אבל מה אם נוכל לעשות אותו הדבר עם היכולת לשמוע?
מה אם נוכל להשתמש בסרטון כדי ללכוד את הרעידות של הצלילים,
שהן פשוט עוד סוג של תנועה,
ולהפוך כל מה שאנחנו רואים למיקרופון?
עכשיו, זה רעיון מעט מוזר,
אז תנו לי לשים את זה בפרספקטיבה בשבילכם.
מיקרופונים מסורתיים עובדים על ידי המרת התנועה
של דיאפרגמה פנימית לאות חשמלי,
והדיאפרגמה מתוכננת לנוע בקלות עם קול
כך שהתנועה תוכל להיות מוקלטת ומתורגמת לאודיו.
אבל צלילים גורמים לכל העצמים לרטוט.
הרטיטות האלו הן פשוט בדרך כלל עדינות ומהירות מדי כדי שנוכל לראות אותן.
אז מה אם נקליט אותן עם מצלמה במהירות גבוהה
ואז נשתמש בתוכנה כדי ללכוד תנודות זעירות
מהוידאו במהירות גבוהה שלנו,
וננתח את התנועות האלו כדי להבין איזה צלילים יצרו אותן?
זה יתן לנו להפוך עצמים נראים למיקרופונים ויזואליים ממרחק.
וכך ניסינו את זה,
והנה אחד הניסויים,
בו לקחנו צמח בעציץ שאתם רואים מימין
וצילמנו אותו עם מצלמה במהירות גבוהה
בעוד רמקול ביתי ניגן את הצליל הזה.
(מוזיקה: "למרי היה טלה קטן")
והנה הסרטון שהקלטנו,
והקלטנו את זה באלפי פריימים בשניה,
אבל אפילו אם תביטו מקרוב,
כל מה שאתם רואים זה כמה עלים
שפשוט יושבים שם ולא עושים כלום,
מפני שהצליל שלנו הזיז את העלים האלה בערך במיקרו מטר.
זה עשירית אלפית של סנטימטר,
שמתרחבת למאית או אלפית
של פיקסל בתמונה הזו.
אז אתם יכולים למצמץ כמה שאתם רוצים,
אבל תנועה כל כך קטנה היא בלתי נראית תפיסתית.
אבל מסתבר שמשהו יכול להיות בלתי נראה תפיסתית
ועדיין להיות משמעותית מספרית,
מפני שעם האלגוריתמים הנכונים,
אנחנו יכולים לקחת את הסרטון השקט הזה, שנראה דומם
ואנחנו יכולים לשחזר את הצליל.
(מוזיקה: "למרי היה טלה קטן")
(מחיאות כפיים)
אז איך זה אפשרי?
איך אנחנו יכולים לקבל כל כך הרבה מידע מכל כך מעט תנועה?
ובכן, בואו נגיד שהעלים האלה זזים במיקרומטר אחד בלבד,
ובואו נגיד שזה מזיז את התמונה שלנו רק באלפית פיקסל.
זה אולי לא נראה הרבה,
אבל בפריים יחיד של סרטון
יש אולי מאות אלפי פיקסלים,
וכך אם נשלב את כל התנועות הזעירות האלו שאנחנו רואים
ברחבי כל התמונה,
אז פתאום אלפית פיקסל
יכולה להתווסף למשהו די משמעותי.
בנימה אישית, די התלהבנו כשהבנו את זה.
(צחוק)
אבל אפילו עם האלגוריתם הנכון,
עדיין היה חסר לנו חלק די חשוב של הפאזל.
אתם מבינים, יש הרבה משתנים שמשפיעים על מתי וכמה טוב
השיטה הזו תעבוד.
יש את העצם וכמה רחוק הוא;
יש את המצלמה והעדשה בהם אתם משתמשים;
כמה אור מאיר על העצם וכמה חזק הצליל.
ואפילו עם האלגוריתם הנכון,
היינו צריכים להיות מאוד זהירים עם הניסויים הראשונים,
מפני שאם אחד המשתנים האלה היה שגוי
לא היתה דרך לדעת מה הבעיה.
פשוט היינו מקבלים רעש.
וכך הרבה מהניסויים הראשונים נראו כך.
אז הנה אני,
ומשמאל למטה, אתם סוג של יכולים לראות את המצלמה המהירה שלנו,
שמצביעה על שקית צ'יפס,
וכל זה מואר על ידי המנורות הבוהקות האלו.
וכמו שאמרתי, היינו צריכים להיות מאוד זהירים בניסויים הראשונים האלה,
אז כך זה התרחש.
(סרטון)אייס דייויס: שלוש, שתיים, אחד, גו.
למרי היה טלה קטן! טלה קטן! טלה קטן!
(צחוק)
א.ד: אז הניסוי הזה נראה מגוחך לגמרי.
(צחוק)
אני מתכוון, אני צורח על שקית צי'פס --
(צחוק) --
ואנחנו מפציצים אותה בכל כך הרבה אור,
שלמעשה המסנו את השקית הראשונה שניסינו עליה את זה. (צחוק)
אבל מגוחך ככל שזה נשמע,
זה היה למעשה מאוד חשוב,
מפני שהיינו מסוגלים לשחזר את הצליל הזה.
(אודיו) למרי היה טלה קטן! טלה קטן! טלה קטן!
(מחיאות כפיים)
א.ד: וזה היה ממש משמעותי,
מפני שזו היתה הפעם הראשונה ששחזרנו דיבור אדם מובן
מסרטון דומם של עצם.
אז זה נתן לנו נקודת התייחסות,
ולבסוף נוכל להתחיל לשנות את הניסוי,
בשימוש בעצמים שונים או להרחיק את העצמים,
שימוש בפחות אור או צלילים שקטים יותר.
וניתחנו את כל הניסויים האלה
עד שבאמת הבנו את המגבלות של השיטה שלנו,
מפני שברגע שהבנו את המגבלות האלו,
יכולנו להבין איך לדחוף אותן.
וזה הוביל לניסויים כמו זה,
כששוב, אני עומד לדבר לשקית צ'יפס,
אבל הפעם הזזנו את המצלמה למרחק 5 מטר,
בחוץ, מאחורי חלון אטום לצלילים,
וכל זה מואר באור שמש טבעי.
וכך הנה הסרטון שלכדנו.
וכך נשמעו הדברים מבפנים, ליד שקית הצ'יפס.
(אודיו) למרי היה טלה קטן שצמרו היה לבן כשלג,
ולכל מקום שמרי הלכה, הטלה היה איתה.
א.ד: והנה מה שהיינו מסוגלים לשחזר מהסרטון הדומם שלנו
שצולם בחוץ מאחורי החלון ההוא.
(אודיו) למרי היה טלה קטן שצמרו היה לבן כשלג,
ולכל מקום שמרי הלכה, הטלה היה איתה.
(מחיאות כפיים)
א.ד: ויש דרכים אחרות שגם איתן אנחנו יכולים לדחוף את המגבלות.
אז הנה ניסוי שקט יותר
בו צילמנו אוזניות מחוברות למחשב נייד,
ובמקרה הזה, המטרה שלנו היתה לשחזר את המוזיקה שנוגנה במחשב הנייד
מסרטון דומם בלבד
של שתי האוזניות הפלסטיות הקטנות האלו,
והיינו מסוגלים לעשות זאת כל כך טוב
שאפילו יכולתי להריץ את התוצאה בשזאם.
(צחוק)
(מוזיקה: "תחת לחץ" של קווין)
(מחיאות כפיים)
ואנחנו יכולים גם לדחוף דברים על ידי שינוי החומרה בה אנחנו משתמשים.
מפני שהניסוים שהראתי עד עכשיו
נעשו עם מצלמה, מצלמה מהירה,
שיכולה להקליט סרטונים במהירות גדולה פי 100 בערך
מרוב הטלפונים הסלולוריים,
אבל גילינו גם דרך להשתמש בטכניקה
עם מצלמות רגילות יותר,
ואנחנו עושים את זה על ידי ניצול מה שנקרא צמצם מתגלגל.
אתם מבינים, רוב המצלמות מקליטות תמונות שורה אחת אחרי השניה,
וכך אם העצם נע במהלך הקלטת תמונה אחת,
יש עיכוב זמן קטן בין כל שורה,
וזה גורם לפגמים קלים
שמקודדים לכל פריים של הסרטון.
וכך מה שגילינו זה שעל ידי ניתוח הפגמים האלה,
אנחנו יכולים למעשה לשחזר צליל בשימוש בגרסה מעודכנת של האלגוריתם שלנו.
אז הנה דוגמה שעשינו
בה צילמנו שקית סוכריות
בעוד רמקול קרוב ניגן
את אותה מוזיקה של "למרי היה טלה קטן" כמו מקודם,
אבל הפעם, השתמשנו במצלמה רגילה שנקנתה בחנות,
וכך עוד רגע, אני אשמיע לכם את הצליל ששחזרנו,
וזה עומד להשמע מעוות הפעם,
אבל האזינו ותראו אם אתם יכולים עדיין לזהות את המוזיקה.
(אודיו: למרי היה טלה קטן")
וכך, שוב, זה נשמע מעוות,
אבל מה שבאמת מדהים פה זה שהיינו מסוגלים לעשות זאת
עם משהו שאתם באמת יכולים לצאת
ולקנות בבסט ביי.
אז בנקודה הזו,
הרבה אנשים רואים את העבודה הזו,
והם מייד חושבים על מעקב.
ולהיות כנים,
זה לא קשה לדמיין איך תוכלו להשתמש בטכנולוגיה הזו לרגל על מישהו.
אבל זכרו שיש כבר הרבה טכנולוגיות בשלות
שקיימות למעקב.
למעשה, אנשים השתמשו בלייזרים
כדי לצותת לעצמים ממרחק במשך עשורים.
אבל מה שבאמת חדש פה,
מה שבאמת שונה,
זה שעכשיו יש לנו דרך לצלם תמונות של עצם,
מה שנותן לנו עדשה חדשה דרכה להסתכל על העולם,
ואנחנו יכולים להשתמש בעדשה הזו
כדי ללמוד לא רק על הכוחות כמו צליל שגורמים לעצם לנוע,
אלא גם על העצם עצמו.
אז אני רוצה לקחת צעד אחורה
ולחשוב על איך זה אולי ישנה את הדרך בה אנחנו משתמשים בסרטונים,
מפני שאנחנו בדרך כלל משתמשים בסרטונים כדי להביט בדברים,
ורק הראתי לכם איך אנחנו יכולים להשתמש בזה
כדי להקשיב לדברים.
אבל יש דרך חשובה נוספת שאנחנו יכולים ללמוד על העולם:
זה על ידי השפעה עליו.
אנחנו דוחפים ומושכים ודוחפים וממששים עצמים.
אחננו מנערים ורואים מה קורה.
וזה משהו שוידאו עדיין לא נותן לנו לעשות,
לפחות לא באופן מסורתי.
אז רציתי להראות לכם קצת מהעבודה החדשה שלי,
וזה מבוסס על רעיון שהיה לי רק לפני כמה חודשים,
אז זאת למעשה הפעם הראשונה שאני מראה את זה לציבור.
והרעיון הבסיסי הוא שאנחנו עומדים להשתמש ברעידות בסרטון
כדי ללכוד עצמים בדרך שתיתן לנו להשפיע עליהם
ולראות איך הם מגיבים לנו.
אז הנה עצם,
ובמקרה הזה, זה דמות חוט בצורה של אדם,
ואנחנו הולכים לצלם את העצם עם מצלמה רגילה.
אז אין שום דבר מיוחד במצלמה הזו.
למעשה, עשיתי את זה עם מצלמת הסלולרי שלי לפני כן.
אבל אנחנו רוצים לראות את האובייקט רוטט.
אז כדי לגרום לזה לקרות,
אנחנו פשוט דופקים מעט על המשטח עליו הוא מונח
בעוד אנחנו מקליטים את הסרטון הזה.
אז זהו, רק חמש שניות של סרטון רגיל,
בעוד אנחנו דופקים על המשטח הזה,
ואנחנו עומדים להשתמש ברעידות בסרטון
כדי ללמוד על התכונות המבניות והחומריות של העצם שלנו,
ואנחנו הולכים להשתמש במידע הזה כדי ליצור משהו חדש ואינטראקטיבי.
והנה מה שיצרנו.
וזה נראה כמו תמונה רגילה,
אבל זו לא תמונה, וזה לא סרטון,
מפני שעכשיו אני יכול לקחת את העכבר שלי
ואני יכול להתחיל להשפיע על העצם.
וכך מה שאתם רואים פה
זה הדמייה של איך העצם הזה
יגיב לכוחות חדשים שמעולם לא ראינו לפני כן,
ויצרנו את זה רק מחמש שניות של סרטון רגיל.
(מחיאות כפיים)
וזו דרך באמת חזקה להביט בעולם,
מפני שהיא מאפשרת לנו לחזות איך עצמים יגיבו
למצבים חדשים,
ואתם יכולים לדמיין, לדוגמה, שתביטו בגשר ישן
ותתהו מה יקרה, איך הגשר יחזיק
אם מכונית תיסע עליו.
וזו שאלה שאתם כנראה רוצים לענות עליה
לפני שאתם מתחילים לנסוע לאורך הגשר.
וכמובן, יהיו מגבלות על השיטה הזו,
ממש כמו שיש עם המיקרופון הויזואלי,
אבל גילינו שזה עובד בהרבה מקרים
שאולי לא הייתם מצפים,
בעיקר אם אתם נותנים לזה סרטון ארוך יותר.
אז לדוגמה, הנה סרטון שצילמנו
של שיח מחוץ לדירה שלי,
ולא עשיתי כלום לשיח הזה,
אבל על ידי צילום של סרטון באורך של דקה,
רוח קלה גרמה למספיק רעידות
שיכולנו ללמוד מספיק על השיח הזה כדי ליצור את הדמייה הזו.
(מחיאות כפיים)
וכך תוכלו לדמייין שתתנו את זה לבמאי סרטים,
ותתנו לו שליטה, נגיד,
בעוצמה ובכיוון של הרוח בצילום לאחר שהוא הוקלט.
או, במקרה הזה, כיוונו את המצלמה לוילון תלוי,
ואתם לא יכולים אפילו לראות תנועה בסרטון הזה,
אבל על ידי הקלטת סרטון של שתי דקות,
זרמי אויר טבעיים בחדר הזה
יצרו מספיק תנועות ורעידות עדינות ובלתי נקלטות
שיכולנו ללמוד מספיק כדי ליצור את ההדמיה הזו.
ובאופן אירוני,
אנחנו די רגילים שיש לנו את יכולת ההשפעה הזו
כשזה מגיע לעצמים וירטואלים,
כשזה מגיע למשחקי מחשב ומודלים תלת מימדיים,
אבל כדי להיות מסוגלים ללכוד את המידע הזה מעצמים אמיתיים בעולם האמיתי
בשימוש בסרטון פשוט ורגיל,
זה משהו חדש שיש לו פוטנציאל גדול.
אז הנה האנשים המדהימים שעבדו איתי על הפרוייקטים האלה.
(מחיאות כפיים)
ומה שהראתי לכם היום זו רק ההתחלה.
רק התחלנו לגרד את פני השטח
של מה אפשר לעשות עם תמונות מסוג זה,
מפני שזה נותן לנו דרך חדשה
ללכוד את הסביבה שלנו עם טכנולוגיה נפוצה ונגישה.
ובציפיה לעתיד,
זה עומד להיות מאוד מרגש לחקור
מה זה יכול להגיד לנו על העולם.
תודה לכם.
(מחיאת כפיים)