Как машинное обучение проливает свет на обучение человека

Автор: Павел Войтовский | 15 сентября 2016, 10:20

В 2015 году исследовательская компания «Гартнер» поместила машинное обучение почти на вершину своей «кривой ажиотажа» — графика, показывающего самые быстро развивающиеся технологии. Однако вопросов в этой области до сих пор больше, чем ответов. Не пора ли исследователям искусственного интеллекта уходить от методов «грубой силы» и искать новые пути? Есть ли в машинном обучении место интуиции? Может ли то, как робот усваивает знания, рассказать нам больше о процессе обучения у человека? В своей статье для интернет-журнала «Наутилус» журналист Алан Браун на все эти вопросы отвечает твердое «да». А в основе его убежденности лежат работы российско-американского ученого Владимира Вапника.

К моменту своей кончины в 1944 скрипач Петр Столярский считался величайшим музыкальным педагогом в России. Среди его учеников — плеяда звезд, в том числе, Давид Ойстрах и Натан Мильштейн. В 1933 году в честь Столярского назвали школу для талантливых музыкантов, открытую в его родной Одессе. Однако Столярский и близко не владел скрипкой так хорошо, как его лучшие студенты. Что он мог, так это нашептывать им метафоры. Например, учитель мог приблизиться к ученику и объяснить, как его мать готовила трапезу перед шаббатом (в сам шаббат готовить горячую еду нельзя, поэтому приходиться проявлять изобретательность). Такой совет не содержал инструкций, под каким углом держать смычок или как двигать пальцами левой руки, чтобы создать вибрато. Вместо этого Столярский суммировал опыт игры на скрипке в метафорах, которые ученики могли понять на глубинном уровне.

Педагог Петр Столярский в окружении учеников, в том числе скрипача Давида Ойстраха

Когда Владимир Вапник обучает свои компьютеры распознаванию рукописного текста, он делает нечто похожее. Хотя исследователь не нашептывает им истории из еврейского быта, Вапник тоже передает «приоритетную информацию». Это сведения, которые переходят от учителя к ученику, от родителей к ребенку, от профессионала к профессионалу. Приоритетная информация кодирует знание, извлеченное из опыта.

Чтобы добыть приоритетную информацию, нужно искать в неожиданных местах. Именно поэтому Вапник для обучения своих программ заручился поддержкой Натальи Павлович, российского филолога и создательницы «Словаря поэтических образов». В ее задачу входило написать стихотворения о цифрах 5 и 8. Результат получился довольно необычным, особенно в рамках традиционного подхода к программированию. Например, в одном из стихотворений, посвященных пятерке, читаем:

Он бежит. Он летит. Он смотрит вперед. Он быстр. Он кидает копье. Он опасен. Оно перекошено вправо. Хорошая змеиность. Змея нападает. Она собирается прыгнуть и укусить…

Павлович написала около 100 подобных стихотворений. Каждое из них было посвящено своей рукописной пятерке или восьмерке. Некоторые из цифр были написаны искусно, другие — небрежно. Одна пятерку удостоилась эпитетов «сильная, оптимистичная и добрая», другая показалась «готовой броситься и напасть на кого-нибудь». Затем Павлович оценила каждую цифру по 21 параметру, которые упоминались в стихах. Например, один рукописный пример мог показывать «агрессию» 2 из 2, другой демонстрировал «стабильность» 2 из 3.

Проинструктированный таким образом, компьютер Вапника смог с легкостью распознать рукописные цифры. Более того, обучение длилось меньше, чем обычно. Вместо 100000 образцов усвоение навыка потребовало всего 300. При этом ускорение не зависело от стиля поэзии. Когда Павлович написала второй набор стихотворений, основанных на противоположностях в духе Инь и Ян, методика сработала примерно с тем же успехом. Вапник даже не уверен, что учитель должен давать корректную информацию, хотя последовательность играет большую роль.

Владимир Вапник

В основе новаторского подхода Вапника и его единомышленников — простая идея, которую знали великие учителя всех эпох. Между учителем и учеником происходит нечто, что выходит за рамки передачи сухих фактов. Это особый, очень ценный вид коммуникации. Похоже, в нем есть многое от «интуиции». Ученые в сфере ИИ все больше интересуются проявлением того же феномена в мире роботов. А «машинная интуиция», в свою очередь, открывает новую область исследования образовательных практик, к которым теперь можно применить количественные модели.

«Искусственный интеллект привносит нечто новое, он заставляет нас разбираться в деталях того, как работают разные элементарные процессы», — говорит Джон Лэйрд, компьютерный теоретик из Мичиганского университета.

Если до сих пор могли быть сомнения, что хорошие учителя — это очень важно, машинное обучение позволяет их развеять.

Учитель передает знания ученику, пользуясь неким кодом. Его создание обусловлено огромной сложностью реального мира и тех навыков, которым предстоит научиться. Эта сложность всегда мучала исследователей ИИ. Является ли данная плоская поверхность столом? Стулом? Полом? Что если она частично в тени или заслонена другим предметом? Найти простые ответы на подобные вопросы не удалось, и в последнее время ИИ-сообщество постепенно приходит к тому, что сложность реального мира, по большей части, нередуцируема — ее нельзя свести к чему-то более простому.

В теории ИИ есть классическая проблема: необходимо предсказать распределение деревьев в лесу на основе географических данных, таких как высота над уровнем моря и крутизна склона. Джок Блэкард и Денис Дин произвели подсчеты в 1999 году и опубликовали общедоступную базу данных. По словам Владимира Вапника, компьютеры, натренированные на 15000 примеров, давали верные предсказания в 85-87% случаев. Неплохой результат. Но когда им скармливали полмиллиона примеров, они выводили более сложные правила для распределения деревьев, и надежность прогнозов увеличивалась до 98%.

«Это значит, что хорошее правило для принятия решений не должно быть простым. Оно должно включать большое количество параметров», — говорит Вапник.

Более того, он считает, что использование множества слабых предикторов (параметров прогнозирования) всегда даст лучшие результаты, чем использование нескольких сильных. Есть подход, при котором компьютерам дают сотни тысяч, даже миллионы точек данных (одиночных значений статистических параметров). Использование «грубой силы» до сих пор показывало себя неплохо, и именно этой методикой пользуются большинство коммерческих компаний в области Больших данных. Даются терабайты информации, программы «плавают» в них — и сами разбираются в этой области, будь то научная задача или поведение покупателей. Кстати, Вапник стоял у истоков одной из главных технологий Больших данных, так называемого Метода опорных векторов. Однако технологии «грубой силы» медленны, неэффективны и даже бесполезны в случаях, когда информации очень много, например, когда изучаются в результатах биопсии ищут следы раковой опухоли.

Вапник описывает приоритетную информацию как второй вид языка, которым можно обучать компьютеры. Язык обучения методами «грубой силы» состоит из технических характеристик, таких как формы, цвета, силы и количество денег, оставленных нами в супермаркете. В то же время приоритетная информация опирается на метафору. Именно использование метафор разделяет науку «грубой силы» и «умную» науку.

Чтобы увидеть приоритетную информацию в работе, достаточно посмотреть на человеческое тело (или тело робота). Тело необычно тем, что у него есть свои особенные способы взаимодействия с окружением. Комната, заставленная стульями, воспринимается по-разному человеком с ногами и роботом без ног. Тысячи точек сырых данных, описывающих комнату, сжимаются до нескольких простых идей, если подчинить их ограничениям и потребностям физического тела. Если учитель знает, на что это похоже — иметь тело, — он может передать ученику идею в виде приоритетной информации, создав эффективное описание сложного окружения.

Исследователи ИИ всё больше признают важность тела и его центральную роль в создании и трактовке приоритетной информации. В своей лаборатории Лэйрд обучает робота манипулировать пеноблоками, используя язык команд. Когда робот впервые попытался поднять предмет, его собственная рука заслонила обзор камерам, и объект пропал из поля зрения. Роботу необходимо было преподать урок о том, что такое его собственное тело и как оно работает.

Это может звучать как болезнь роста, специфическая для роботов, но люди тоже должны учиться взаимодействовать с окружением. Линда Смит, психолог из Индианского университета в Блумингтоне, говорит, что люди фокусируют свое внимание подобно лучу фонарика. Предметы в одном пятне света связываются друг с другом в рабочей памяти. Смит обнаружила, что дети в возрасте от 16 до 24 месяцев могут связывать друг с другом предметы и их названия в рабочей памяти, но только если предметы неподвижны. Если же их положение меняется, визуальный «шум» мешает воспоминаниям сформироваться.

Робот-ребенок iCub

Но что если двигается ребенок, а не предмет? Тони Морс, исследователь из Плимутского университета в Великобритании, изучил вопрос на примере робота iCub, обладающего 53 моторами и способного двигаться подобно ребенку. Результат был неожиданным: робот не мог поддерживать связь между предметом и его названием после того, как менял позу и снова смотрел на предмет. Робот использовал собственное тело как своего рода дорожный указатель, оно помогало определить местоположение и уменьшало сложность окружающей обстановки.

Результаты из области робототехники подвигли Линду Смит посмотреть на аналогичное поведение у детей. Психолог обнаружила тот же феномен:

«Предсказание было новаторским, но оно оказалось совершенно точным. Эта работа привело меня к целой серии новых исследований роли движений в нарушениях детской памяти».

Получается, что фраза «сидите спокойно», которая нередко раздается в школьных классах, имеет под собой веские основания. Будешь двигаться — помешаешь формированию краткосрочных воспоминаний. Это и есть приоритетная информация.

Объяснить, в чем заключается приоритетная информация, не всегда легко. Пэтрис Майклс, исследующая вокал в Чикагском университете, приводит пример из своей области. Есть такие тонкости пения, о которых долгое время говорили, что им невозможно научить. Однако сегодня это — обязательная часть вокального обучения. Техника основана на том, что ученик подстраивается под гармонию того или иного композитора. «Есть разница в том, как вы поете соль-диез, который ведет к ля, и соль-диез, который ведет к фа. Высота тона одинаковая, но исполнение зависит от того, к чему вы ведете», — говорит Майклс. Объяснить разницу непросто, однако теперь понимание этого сложно не остается на совести учеников, а становится частью учебного курса.

Японский робот Robear

Использование приоритетной информации может открыть целые пещеры Аладдина. И неудивительно, что эта идея представляет большой интерес для исследователей ИИ. Почти 30 лет назад Джордж Рик и Нобелевский лауреат Джеральд Эдельман показали, что системы искусственного интеллекта, которым позволяли с помощью роботизированной руки обводить очертания букв, с большей легкостью распознавали разные рукописные стили, чем их собратья, ограниченные визуальным обучением. Ну а сегодня Джорджо Метта, построивший робота iCub в Итальянском институте технологии, активно задействует телесность в интересах обучения.

«Зачастую люди используют свое знание физических действий, чтобы распознать эти действия у других людей, — говорит Метта. — Если робот знает, как хватать, он легче распознаёт хватательные движения человека».

Инженер делает следующий шаг и обучает iCub социальным сигналам. Например, если вы смотрите на что-то, робот посмотрит в направлении вашего взгляда. Такие подсказки становятся дополнительным каналом для сбора приоритетной информации.

В 2012 году Владимир Вапник, выступая перед группой философов в Университете Карнеги-Меллон, сформулировал свое кредо: