Data Science в образовании | Александр Ларьяновский | TEDxPokrovkaStED

Почему методики обучения должны быть основаны на анализе данных?

Александр — управляющий партнер онлайн-школы английского языка Skyeng. Ранее работал директором по международному развитию компании Yandex.
В школе Skyeng методики обучения основаны на анализе данных — все уроки проводятся на интерактивной платформе, которая отслеживает поведение ученика и подсказывает учителю оптимальную методику преподавания для каждого конкретного учащегося.

This talk was given at a TEDx event using the TED conference format but independently organized by a local community. Learn more at http://ted.com/tedx

Образование находится примерно там же,
где и было тысячу лет назад.

Кстати говоря, не одно образование —
медицина тоже недалеко ушла

от того знахарства, которым была.

Очень много услуг находятся
на том же уровне, на котором возникли,

начиная с тех же самых парикмахеров.

Нет, не все услуги остаются там же,
где возникли, —

во многих происходят метаморфозы —

но вот эти точно там. Почему?

Потому что в них никто
не отвечает за результат.

Никто не знает, что получится в конце.

Понятия не имеют, сколько нужно времени,
денег, усилий и каков будет результат.

Любая услуга с этого начинается —

где-нибудь здесь, в Марьиной роще, 100 лет
назад сидел ростовщик и выдавал кредиты.

Приходил человек, тот смотрел:
во что он был одет, на чём приехал,

что у него за душой,

и говорил, что можно дать...
пусть сотню алтын.

Причём, замечу, 100 лет назад
уже электромобили были,

паровозы, пароходы, самолёты летали.

Ему можно было сказать:
«Знаешь, пройдёт 100 лет,

и за тебя это будет делать железка».

Он бы сказал: «Понимаешь, наверное,
всё возможно, но железка...

А как же в душу человеку заглянуть?
Как же почувствовать его?»

Но ничего, прошло 100 лет,
и железка с этим справляется,

люди уже не нужны.

Скоринговые алгоритмы выдают на-гора
кредитоспособность каждого из нас.

Так вот, в образовании никто за результат
не отвечает. Совсем никто.

Ещё раз говорю, вы не знаете,
сколько денег, усилий надо

и что получится в конце.

Образование... Есть такой
программистский анекдот.

Программист на стрельбище стреляет.

Его спрашивают: «Почему ты не попал?»

Он смотрит: «Нет,
с моей стороны пули вылетели,

всё нормально,
проблемы на стороне мишени».

Вот то же самое со знаниями.

То, что вам их дали, совершенно не значит,

что они у вас есть
и вы ими можете пользоваться.

Но там не только с результатом,
там ещё и с процессом большие проблемы.

У нас школа английского языка.

Я встречаюсь с людьми,
которые делают учебники.

Нет, если пойти в книжный магазин,
то авторских методик там можно набрать

ровно столько, сколько у вас денег, —
и несколько кубометров унести с собой.

Нет, я сейчас говорю не про методики
из серии «Я так вижу»,

а про те, где стои́т
некий штамп «Апробировано»,

условно — из издательств Оксфорда,
Пирсона, этакие солидные ребята.

Я их спрашиваю: «Как вы пишете учебники?»

Они говорят: «У нас есть план,
мы по нему что-то как-то делаем».

«А как упражнения?»

«Ну а что? Нормальные упражнения,
сюда подставить, в чём проблема?»

Да, за этим стоит наука, методология.

Но там вкусовщины огромное количество.

Про методологию. Что это такое?

Это наука, которая объясняет,
как нужно рассказывать что-то.

Я сейчас очень грубо,
но как создаётся методика?

Садятся специально
обученные люди — методисты,

думают, делают некоторые
предположения, строят курс,

проходит учебный курс,

они собирают в ходе него
и после него некоторые знания,

делают на основании этого какие-то выводы,

что-то меняют дальше,
идёт непрерывный процесс.

Так вот, традиционно он был ограничен тем,

сколько студентов у тебя есть,
на которых ты можешь сделать эту выборку,

сколько времени ты можешь потратить —
этими всеми ресурсами.

В результате это всё делается
достаточно долго, медленно

и на не очень больших объёмах.

К счастью, онлайн-образование
стало побеждать,

его становится всё больше и больше —

даже у нас в школе учится сейчас
одновременно почти 3000 человек.

Мы поняли, что есть большая проблема:

всё, что казалось незыблемым —

что есть методики,
по которым можно учить людей,

но которые на самом деле
таковыми не являются, —

мы поняли, что нужно включать науку
и заниматься всем этим по уму.

Из всех студентов, условно,
на разговорном английском

учится половина, из них треть —
на уровне intermediate, среднем уровне.

И мы взяли этих ребят,
взяли своих методистов и говорим:

вот книга, вот методика, всё хорошо.

Давайте поймём, какие, по-вашему,
здесь есть допущения, что можно улучшить.

Это тоже будет, на их взгляд, ненаучно,

но давайте выдвинем некоторое количество
гипотез, что можно улучшить.

Вот это, вот это и вот это.
Хорошо.

Теперь давайте сделаем скоринговую модель:
что даст воплощение каждой гипотезы.

Мы сделали некоторые предположения.
Теперь берём этих 500 студентов,

делим на статистически значимые группы.

Одна группа контрольная, а в остальных
начинаем делать эти маленькие эксперименты

и начинаем смотреть.

Что такое эксперимент?

Например, вы берёте книжку,

читаете правило, видите примеры,
видите задачку.

Вы начинаете решать задачку,
видя перед собой правило и примеры.

А что будет, если вы их не будете видеть,
если перевернуть страницу?

Лучше будет или хуже?

Больше напряжётся память,
сильнее надо будет вдумываться —

это хорошо или плохо?

Или, например, сколько минут видео
должно быть в уроке?

Или — обязательно надо
возвращаться к предыдущим темам,

которые проходили на предыдущих
уроке, неделе, месяце,

для того, чтобы закрепить материал, —

а в какой пропорции и как часто
это надо делать?

А как это зависит от уровня человека?

А сколько времени нужно
на разогрев студента?

На каждом конкретном занятии,
не только на индивидуальном.

Это всё является объектом эксперимента.

Мы начинаем делать такие изменения,
начинаем смотреть.

Первое, на что мы смотрим,
в аналитике называют винтажными кривыми.

В момент 0 начали заниматься
100% студентов каждый год.

Через месяц в какой-то группе
остаётся 90%, в какой-то 85%, 72%, 98%,

и дальше мы смотрим, месяц за месяцем,
как они у нас отваливаются.

Это первая история: смотрим,
что выше нормы, а что ниже

относительно контрольной группы.

Понимаем, какие эксперименты работают,
начинаем обкатывать на всех.

Смотрим: повторяется, всё нормально.

Мы вычислили, это работает,
можно начинать следующий эксперимент.

Это становится непрерывным процессом.

Есть более короткие эксперименты.

Например, можно взять классический текст,

можно взять текст конъюнктурный —
про то, что происходит сегодня,

если кроме политики, то про какие-нибудь
футбольные чемпионаты.

И посмотреть: будет это человеку
более интересно или нет?

Это связано с его мотивацией?

Проходим тему «Спорт» —

можно из учебника взять тему
про бейсбол или гольф,

а можно про то, чем человек действительно
интересуется, про дайвинг или хоккей.

И смотреть: насколько человеку
понравилось — не понравилось.

Понятно, «понравилось — не понравилось»
не связано с эффективностью.

Поэтому тесты, которые проходят независимо
от «понравилось — не понравилось»,

позволяют нам оценивать усвояемость,

короткие тесты — мотивацию,

а длинные — насколько человек
видит результат, его результативность,

и продолжает у нас учиться.

Когда мы всё это собираем в кучу,

получается, мы начинаем
воссоздавать методику заново,

но уже основываясь
на достаточно понятных нам

статистически, научно выверенных
цифрах и подходах.

И мы начинаем её дальше делать.

Но оказалось ещё одно слабое звено.

У нас почти 300 учителей,
естественно, всё удалённые.

Ты им говоришь: «Вот такой эксперимент,
надо делать так, понятно?» — «Понятно».

«Будете делать?» — «Будем».

Что они делают дальше,
в принципе, непонятно.

А какой же это эксперимент,
если сам экспериментатор делает то,

что ему в данный момент
кажется наиболее правильным?

Поэтому пришлось и здесь
встраивать систему контроля.

Сначала руками, по чек-листу:

контролёры, слушая запись урока,
делают пометки «это сделано».

Сейчас это уже делают алгоритмы.

Они понимают, сколько минут
ученик с учителем находятся на слайде,

сколько минут уделили
конкретному упражнению,

сколько секунд человек
думал после вопроса,

на каком языке говорили,

сколько времени говорил учитель,
сколько — ученик.

И такой же скоринговый алгоритм
начинает считать:

что-то пошло не так,
урок не похож на типовой.

И он включает красную лампочку:

дорогие методисты, посмотрите,
что-то у учителя было не так.

И они уже смотрят пристально,
разбираются с учителем:

то ли он делал не то, что хотел,
то ли действительно что-то пошло не так.

Таким образом, мы получили
чистоту эксперимента, когда мы знаем,

что экспериментатор — учитель,

даже если он не знает,
что является экспериментатором, —

делает то, что мы задумали,

и наши методики становятся
гораздо более чистыми.

В результате это потихоньку
нас приводит к тому,

что мы начинаем отвечать за процесс,
мы точно знаем, что мы делаем.

Мы можем объяснить любому,
почему у нас именно это именно так —

не потому что это
напечатано в учебнике,

а потому что мы это посчитали.

И в конечном итоге, я надеюсь,

что все эти большие данные
приведут к тому,

что мы сможем отвечать за результат.

Мы сможем сказать, что человек научился:

знания у него долгосрочные,
он ими пользуется — это очень важно.

И мы ему можем сказать наперёд,
сколько времени и денег

ему нужно потратить,
чтобы добиться своей цели.

Как сейчас мы это легко делаем
в случае авиаперелёта

из Москвы в Санкт-Петербург.

Хотя ещё 100-150 лет назад никто не знал,
сколько времени занимает это путешествие:

«Садись, когда-нибудь доберёмся, известно,
что некоторым удавалось за 30 дней,

а так-то чёрт знает».

И ровно это мы хотим,
чтобы случилось в образовании:

когда был бы гарантированный результат,

предсказуемый по качеству,
времени и деньгам.

Спасибо.

(Аплодисменты)