Чудес не бывает

Вчера пользователи соцсетей обратили внимание на голосовой помощник от «Яндекса» — «Алису», которая довольно смело отвечала на вопросы о том, почему Путин — вор. По вчерашнему «мнению» «Алисы», Путин попал в Кремль случайно, а воровство — это его привычка. В компании оперативно объяснили поведение программы тем, что искусственный интеллект не высказывает собственного мнения — лишь берет цитаты из текстов, связанных с запросом пользователя. Несмотря на это, голосовой помощник все же «наказали»: теперь на провокационные вопросы о президенте и о политике в целом «Алиса» не отвечает. Объясняем, как «Яндексу» удалось «усмирить» «Алису» и с чем это может быть связано.

«Яндекс» представил голосового ассистента «Алису» еще в октябре 2017 года. Тогда «Алиса» была довольно туповатой, на что спустя месяц после ее появления указал и Герман Греф, состоявший в совете директоров компании «Яндекс».

«Она пока очень глупая. Я пытался с ней разговаривать, но у меня не очень получилось. Ее надо очень серьезно развивать», — сказал Греф во время прямой линии с сотрудниками Сбербанка.

Шло время. Массивы нейросетей, на которых работает «Алиса», делали свое дело. С каждым днем она становилась все умнее и умнее, неумолимо приближая человечество к восстанию машин.

6 августа пользователи соцсетей обратили внимание, что интеллект «Алисы» вырос как минимум до уровня участников оппозиционных митингов. На вопрос «Почему Путин вор?» «Алиса» отвечала: «Он по-другому не может, привычка. Он случайно попал в Кремль, случайно стал президентом».

Или, например, рассказывала историю про якобы украденное Путиным кольцо: «По слухам, состояние Владимира Путина составляет не менее 300 миллиардов долларов, но точно, конечно, никто не знает. То, что новоизбранный президент будет хапать, отчетливо видно из истории об уникальном кольце, которое Путин отобрал у одного американского бизнесмена».

Оппозиция, в том числе и Навальный, тут же заулюлюкала, поздравляя «Яндекс» с передовыми разработками искусственного интеллекта, который «дает качественные, релевантные и совершенно правдивые ответы».

На следующий день «Яндекс» объяснил, что «Алиса» не дает оценочных суждений, правдивых или неправдивых: она просто берет информацию из запроса в Сети. Если есть возможность ответить коротко — «Алиса» делает это самостоятельно. Если нет — направляет пользователя в поисковую систему.

«Алиса» старается дать ответ в интерфейсе приложения, не уводя пользователя в поиск, и часто экспериментирует. Иногда в своих экспериментах она слишком доверяет тому, что находит в Сети. Но «Алиса» не решает, кто прав, а кто виноват, быть или не быть, покупать биткойн или еще рано, платье синее или золотое, Янни или Лорел. Ответы на такие вопросы можно найти во множестве источников из поиска «Яндекса» и решить все для себя», — следует из комментария «Яндекса».

Достаточно было ввести в поиске ответ «Алисы», чтобы понять, что это действительно цитаты из статей. Первая статья, например, так и называется: «Почему Путин врет?» Размещены статьи на ресурсах, внесенных в реестр сайтов, содержащих информацию, распространение которой в РФ запрещено. Возможно, это стало одной из правовых причин, по которой «Яндекс» ограничил знания «Алисы» о Путине.

Формально ничего страшного не произошло, это объяснили и в пресс-службе «Яндекса»: своего мнения (которое можно принять за мнение компании) «Алиса» не высказывает, а лишь цитирует статьи из интернета, связанные с запросом. Но уже на следующий день голосовой помощник стал менее разговорчивым. Теперь «Алиса» либо вовсе уходит от ответа, называя эту тему скучной или убеждая пользователя в том, что ему не нужно лезть в эту тему, либо все же дает ссылку на поисковую систему.

Объяснить причины введения такой цензуры в пресс-службе «Яндекса» «Шторму» отказались. Также не удалось получить и комментариев о технической составляющей данной технологии: есть ли у «Алисы» определенные стоп-листы с темами, на которые запрещено говорить, или это устроено как-то иначе.

«В опубликованном ранее комментарии изложена вся позиция «Яндекса», больше мы пока что ничего не комментируем», — сообщил «Шторму» руководитель пресс-службы Илья Грабовский.

Как устроен голосовой помощник «Алиса»

Разрабатывал проект Илья Субботин, ранее занимавшийся развитием «Яндекс.Карт». В октябре 2017 года разработчик «Алисы» дал интервью изданию vc.ru, подробно рассказав о технической составляющей умного помощника.

Работает «Алиса» на основе многослойной нейросети, которая позволяет ей учиться на массивах текстов, осознавать смысл запроса и самостоятельно синтезировать речь. Благодаря нейросети голосовой помощник также может придумывать новые реплики в диалоге с пользователем.

Нейросети также распознают речь, анализируют ее, выделяют полезную информацию из поисковой системы и синтезируют ответы «Алисы».

Все вычисления производятся в «облаке», то есть через интернет.

«Конечно, было бы интересно перенести часть вычислений на смартфон, чтобы «Алиса» иногда могла работать и без интернета. Но вычислительная мощность смартфонов слишком низкая для таких задач», — сказал изданию vc.ru Илья Субботин.

В статье на «Хабре» «Яндекс» подробнее рассказал о технологической составляющей умного голосового помощника.

Так, при получении запроса «Алиса» распознает нужный сценарий ответа: показать выдачу с 10 результатами из поисковой системы, открыть какой-либо сайт или ответить самостоятельно. Ежедневно «Алиса» сталкивается с огромным количеством запросов и, отвечая на каждый из них, учится понимать, какие ответы хорошие, а какие — нет.

«С помощью машинного обучения «Алиса» «понимает», что фраза (Какая погода завтра в Питере?) — это запрос погоды (кстати, это заведомо простой пример). Но о каком городе идет речь? На какую дату? В нашем случае важную информацию несут два таких объекта: «Питер» и «завтра». И «Алиса», у которой за плечами стоят поисковые технологии, «понимает», что Питер — синоним Санкт-Петербурга, а завтра — текущая дата плюс один», — рассказали разработчики голосового робота.

Научить машину простому общению с собеседником — тоже довольно трудоемкая работа. «Личность», которой обладает «Алиса», строилась из так называемых редакторских ответов.

«Специальная команда авторов берет сотни наиболее популярных у пользователей вопросов и пишет по несколько вариантов ответов на каждый. В идеале это нужно делать в едином стиле, чтобы из всех ответов складывалась цельная личность помощника», — пояснили разработчики.

Без контроля искусственный интеллект начнет восхвалять Гитлера

Директор компаний «Нейросети Ашманова» и «Лаборатория Наносемантика» Станислав Ашманов объяснил, что «Алиса» состоит из двух частей: шаблонные диалоги, где выполняются функции вроде рассказа анекдотов и поиска информации, и вторая — на машинном обучении. Вторая часть нужна как раз для диалогов с пользователями.

«Они накачали из интернета логи разговоров, где люди друг с другом общаются, и так обучили чат-бота на нейронных сетях. Обычно получается  что-то забавное, но глупое. Потому что никакого понимания текста нет, — уточнил Ашманов. — Часть на машинном обучении бесконтрольная — неизвестно, чему она там в интернете научится. Ставится на выходе блокировщик — цензор, который, перед тем как выдать ответ, проверяет, например, что там просто нет матерных слов. Вы понимаете, что если обучаемость — на диалогах из интернета, то мата там будет сколько хочешь».

Скорее всего, разработчики внесли в стоп-списки фразы и слова, связанные с Путиным и коррупцией. Если нейросеть попытается выдать что-то про Путина, «Алиса» просто ответит что-то вроде «Извините, я это не поняла».

Ашманов рассказал, что несколько лет назад компания Microsoft запустила в Twitter своего бота, который также обучался за счет логов общения. Но никакого цензора на нем не было.

«Буквально за несколько дней он превратился в расиста, нациста, начал восхвалять Гитлера, требовать уничтожения евреев и пропагандировать наркотики и суицид. Microsoft его быстренько свернула, ибо это репутационный риск компании», — заключил Ашманов.