לפני עשר שנים,
מדעני ראייה ממוחשבת חשבו שלגרום למחשב
להבדיל בין חתול לכלב
יהיה כמעט בלתי אפשרי,
אפילו עם התקדמות משמעותית במצב של הבינה המלאכותית.
עכשיו אנחנו יכולים לעשות זאת ברמת דיוק של למעלה מ 99 אחוז.
זה נקרא סיווג תמונה --
מעלים תמונה ושמים עליה תווית --
ומחשבים מכירים אלפי קטגוריות אחרות גם כן.
אני סטודנט לתואר שני באוניברסיטת וושינגטון,
ואני עובד על פרויקט שנקרא "דארקנט",
שהוא מסגרת של רשת עצבית
להכשרה ובדיקת מודלים של ראייה ממוחשבת.
אז בואו ונראה מה "דארקנט" חושבת
על תמונה זו שיש לנו.
כאשר אנו מפעילים את המסווג שלנו
על התמונה הזו,
רואים שלא רק מקבלים חיזוי של כלב או חתול,
אנחנו למעשה מקבלים תחזיות של גזע ספציפי.
זוהי רמת הפירוט שיש לנו עכשיו.
והיא נכונה.
הכלב שלי למעשה הוא מלמוט.
אז עשינו צעדים מדהימים בסיווג תמונות,
אבל מה קורה כשאנו מפעילים את המסווג
על תמונה שנראית כמו זו?
טוב ...
אנו רואים שהמסווג נותן תחזית די דומה.
וזה נכון. יש מלמוט בתמונה.
אבל רק בהתחשב בתווית זו, איננו ממש יודעים כל כך הרבה
על מה שקורה בתמונה.
אנחנו צריכים משהו חזק יותר.
אני עובד על בעיה שנקראת זיהוי אובייקט,
שבה אנו מסתכלים על תמונה ומנסים למצוא את כל האובייקטים,
שמים קופסאות תוחמות סביבם
ואומרים מה הם אובייקטים אלה:
אז זה מה שקורה כשאנו מפעילים גלאי על התמונה הזאת.
עכשיו, עם סוג זה של תוצאה,
נוכל לעשות הרבה יותר עם האלגוריתמים של הראייה הממוחשבת.
אנחנו רואים שהוא מזהה שיש חתול וכלב.
הוא יודע את המקומות היחסיים שלהם,
את גודלם.
הוא אולי אפילו יודע עוד מידע נוסף כלשהו.
יש ספר שמונח ברקע.
ואם רוצים לבנות שיטה על גבי ראייה ממוחשבת,
למשל, רכב נהיגה עצמית או מערכת רובוטית,
זה סוג המידע שמעונינים בו.
רוצים משהו שיאפשר לתקשר עם העולם הפיזי.
עכשיו, כשהתחלתי לעבוד על זיהוי אובייקט,
לקח 20 שניות כדי לעבד תמונה בודדת.
וכדי לקבל תחושה לסיבה שמהירות כה חשובה בתחום זה,
הנה דוגמה של גלאי אובייקט
שלוקח לו שתי שניות לעבד תמונה.
אז זה פי 10 מהר יותר
מה20 שניות לתמונה של גלאי תמונה,
ואתם יכולים לראות שעד שזה עושה תחזיות,
המצב כולו של העולם השתנה,
וזה לא יהיה מאוד שימושי
עבור יישום.
אם נאיץ את זה לפי מקדם נוסף של 10,
זה יהיה גלאי שרץ בחמש מסגרות לשנייה.
זה הרבה יותר טוב,
אבל לדוגמה,
אם יש תנועה משמעותית,
לא הייתי רוצה שמערכת כזו תנהג במכונית שלי.
זוהי מערכת האיתור שלנו שרצה בזמן אמת על המחשב הנייד שלי.
כך היא עוקבת אחרי בצורה חלקה כשאני זז סביב המסגרת,
והיא חסינה למגוון רחב של שינויים בגודל,
העמדה,
קדימה, אחורה.
זה נהדר.
זה מה שאנחנו באמת צריכים
אם אנחנו הולכים לבנות מערכות על גבי ראייה ממוחשבת.
(מחיאות כפיים)
אז תוך שנים אחדות,
עברנו מ -20 שניות לתמונה
ל 20 אלפיות השנייה, פי אלף יותר מהר.
איך הגענו לזה?
בעבר, מערכות לאיתור אובייקטים
היו לוקחות תמונה כמו זו
ומפצלות אותה לקבוצה של אזורים
ולאחר מכן מפעילות מסווג על כל אחד מאזורים אלה,
וציונים גבוהים עבור מסווג זה
ייחשבו זיהויים בתמונה.
אבל זה כרוך בהפעלת מסווג אלפי פעמים על תמונה,
אלפי הערכות של רשת עצבית כדי לייצר זיהוי.
במקום זה, הכשרנו רשת אחת לעשות את כל הזיהוי עבורנו.
היא מייצרת את כל תיבות התחימה ואת סוג ההסתברויות בו זמנית.
עם המערכת שלנו, במקום להסתכל על תמונה אלפי פעמים
כדי לייצר זיהוי,
מסתכלים רק פעם אחת,
ולכן אנחנו קוראים לזה שיטת YOLO לזיהוי אובייקט.
אז עם מהירות זו, איננו מוגבלים רק לתמונות;
אנו יכולים לעבד וידאו בזמן אמת.
ועכשיו, במקום לראות רק את החתול והכלב האלה,
אנחנו יכולים לראות אותם נעים סביב ומתקשרים אחד עם השני.
זהו גלאי שאימנו
על 80 סוגים שונים
במערך הנתונים COCO של מיקרוסופט.
יש בו כל מיני דברים כמו כף ומזלג, קערה,
חפצים רגילים כאלה.
יש לו מגוון של דברים אקזוטיים יותר:
חיות, מכוניות, זברות, ג'ירפות.
ועכשיו אנחנו הולכים לעשות משהו מהנה.
אנחנו פשוט יוצאים אל הקהל
כדי לראות איזה סוג של דברים נוכל לזהות.
האם מישהו רוצה בובת חיה?
יש כמה בובות דובי שם.
ואנחנו יכול להנמיך מעט את סף הזיהוי שלנו,
כדי שנוכל למצוא יותר אנשים מביניכם, בקהל.
בואו ונראה אם נוכל לתפוס תמרורי עצור אלה.
אנחנו מוצאים כמה תרמילי גב.
בואו פשוט נגדיל קצת.
וזה נהדר.
וכל העיבוד קורה בזמן אמת
על המחשב הנייד.
וחשוב לזכור
שזוהי מערכת זיהוי אובייקט למטרה כללית,
כך שנוכל להכשיר אותה עבור תמונה מכל תחום.
אותו קוד שבו אנו משתמשים
כדי למצוא שלטי עצור או הולכי רגל,
אופניים ברכב לנהיגה עצמית,
יכול לשמש כדי למצוא תאים סרטניים
בביופסיה של רקמה.
ויש חוקרים ברחבי העולם שכבר משתמשים בטכנולוגיה זו
לקדם תחומים כמו רפואה, ורובוטיקה.
הבוקר קראתי עיתון
שבו ערכו מפקד של בעלי חיים בפארק הלאומי של ניירובי
עם YOLO כחלק של מערכת זיהוי זו.
וזה בגלל ש "דארקנט" הוא קוד פתוח
עבור רשות הרבים, וללא תשלום, לכל מי שרוצה להשתמש,
(מחיאות כפיים)
אבל רצינו לעשות את הזיהוי לאפילו יותר נגיש ושמיש,
כך שבאמצעות שילוב של אופטימיזציה של המודל,
בינאריזציה ואומדנות של רשת,
יש לנו למעשה זיהוי אובייקט שרץ בטלפון.
(מחיאות כפיים)
ואני באמת מתרגש כי עכשיו יש לנו פתרון די חזק
לבעיית ראייה ממוחשבת ברמה נמוכה זו.
וכל אחד יכול לקחת את זה ולבנות עם זה משהו.
אז עכשיו כל השאר תלוי בכם
ובאנשים ברחבי העולם עם גישה לתוכנה זו,
ואני לא יכול לחכות לראות מה אנשים יבנו עם טכנולוגיה זו.
תודה רבה.
(מחיאות כפיים)