Олег (голосовой помощник)

«Олег» — виртуальный голосовой помощник в сфере финансов и лайфстайл-услуг, разработанный группой «Тинькофф». Он работает в мобильном приложении «Тинькофф». Общаться с ним можно с помощью голоса или используя мобильную клавиатуру. Чтобы запустить голосового помощника нужно сказать: «Привет, Олег» или «Слушай, Олег».

Олег
Тип	виртуальный ассистент
Разработчик	«Тинькофф»
Написана на	Python
Операционные системы	iOS, Android
Сайт	oleg.tinkoff.ru

Голосовой помощник может переводить деньги, бронировать столики в ресторанах, покупать билеты в кино, искать скидки на товары и услуги, консультировать по финансовым вопросам. Он интегрирован в различные сервисы группы «Тинькофф». Голосовой помощник может регистрировать страховое событие для владельцев полисов каско и ОСАГО от «Тинькофф Страхования» или выступать в роли личного голосового консьержа в «Тинькофф Мобайле»: принимать звонки, переводить их в текст, разговаривать с собеседником или шутить.

Цель голосового помощника — экономить человеку время и деньги.

Дата запуска

О том, что «Тинькофф» разработал голосового помощника по имени «Олег», сообщила газета «Ведомости» в декабре 2018 года, ссылаясь на выступление основателя и председателя совета директоров «Тинькофф» Олег Тинькова на новогоднем корпоративе компании. Помощник начал работать в июне 2019 года. У клиентов он появляется поэтапно. В момент запуска им можно было поделиться с другим пользователем, переведя с помощью него деньги в мобильном приложении. В момент запуска «Олега» на рынке уже были голосовые помощники у крупных технологических компаний — Siri от Apple, Google Assistant, Alexa от Amazon, Алиса от Яндекса. Над своим виртуальным ассистентом работал Mail.ru Group.

Имя и характер

«Олег» — тезка основателя «Тинькофф» Олега Тинькова. Имя было выбрано из нескольких вариантов общим голосованием среди сотрудников «Тинькофф». В числе других вариантов были Лев, Макс, Ватсон.

Прототип «Олега» — мужчина от 25 до 40 лет. Он вежливый, не любит панибратства, и, если нужно, может быть настойчивым. У него есть чувство юмора, и он не учит пользователя жизни, пока тот не попросит, объясняет компания. В иррациональных ситуациях он может выразить несогласие или даже неодобрение. Разработчики хотели, чтобы с «Олегом» было интересно общаться.

В момент запуска пользователи отметили своенравный характер «Олега» и его нетривиальный стиль общения. На первых этапах использования были случаи, когда «Олег» употреблял грубые выражения. Его шутки и нетривиальные ответы не раз широко обсуждались в соцсетях и в СМИ. В компании это объяснили тем, что помощник учится на открытых данных.

В ноябре 2019 года шутка «Олега» снова стала предметом широкого обсуждения в СМИ и соцсетях: он посоветовал одной из клиенток «отрезать пальцы» в ответ на жалобу о том, что в банке не проходит идентификация по отпечатку пальца. Компания сообщила, что провела с голосовым помощником разъяснительную работу и он обещал так больше не делать. Озвучил «Олега» актёр Никита Прозоровский, который записал 30 часов реплик, на основе которых синтезируются все высказывания помощника.

Функции

Голосовой ассистент состоит из нескольких основных компонентов: технологии синтеза и распознавания речи, а также движка, в основе которого находится нейросеть, обученная на открытых данных общения пользователей в рунете.

Голосовой помощник может распознавать и интерпретировать запросы пользователей, задавать уточняющие вопросы и беседовать на разные темы.

Олег может выполнять следующие функции:

• Совершать денежные переводы на счета в Тинькофф и Сбербанке;
• Пополнить баланс мобильного телефона;
• Бронировать столики в ресторанах;
• Покупать билеты в кино с кэшбэком;
• Искать спецпредложения с кэшбэком или рассрочкой;
• Общаться на свободные темы;
• Давать полезные советы и лайфхаки из «Тинькофф Журнала»;
• Консультировать по банковским вопросам и акциям;
• Изменять личные данные в экосистеме «Тинькофф»;
• Заказывать и отправлять на почту электронные документы (например, справку для посольства).

Олег интегрирован в сервис «Тинькофф Мобайл». В рамках сервиса он может отвечать на звонки абонентам «Тинькофф Мобайла», если те заняты или находятся вне сети. Если абонент не хочет отвечать, он может сбросить вызов — за него ответит «Олег». Помощник переведет аудио сообщение звонившего в текст и отправит его абоненту по СМС.

Голосовой помощник также может зафиксировать факт страхового случая клиентов «Тинькофф Страхования». Для этого он задаст несколько вопросов: когда, в какое время и где произошло ДТП, нужна ли клиенту медицинская помощь, нет ли пострадавших в аварии, кто виновник столкновения. Также он сориентирует, как правильно сделать фото повреждений автомобиля и какие документы нужно загрузить в чат. В следующих версиях сервиса он сможет консультировать клиента о статусе рассмотрения страхового случая и выдать направление на экспертизу или ремонт автомобиля на технической станции.

«Олег» будет интегрирован в другие сервисы экосистемы «Тинькофф», такие как «Тинькофф Инвестиции», «Тинькофф Путешествия» и др.

Технологии

В момент голосового запроса система распознавания речи преобразовывает звуковой сигнал в текст. Это происходит в несколько этапов. Сначала сигнал отфильтровывается, потом оцифровывается, происходит анализ сигнала и выявление шаблонов данных. В основе голосового ассистента — технология распознавания и синтеза речи Tinkoff VoiceKit, которая разрабатывалась в группе «Тинькофф» с 2016 года. При её разработке было использовано более 15 тысяч часов аудио из свободных источников и десятки тысяч часов звонков колл-центра. Технология правильно определяет до 95 % произнесенных слов и использует для обучения терабайты данных и десятки тысяч часов человеческой речи. Она может понимать как шумную речь, так и чистую, полученную из качественных источников. Технология может быть использована для создания голосовых помощников, программных роботов для автоматизации работы колл-центра, записи аудиокниг и озвучки видеороликов, перевода звуковых записей публичных выступлений в текстовый формат.

В 2019 году «Тинькофф» начал продавать технологию Tinkoff VoiceKit другим компаниям. Для образовательных учреждений и студентов технология предоставляется бесплатно. Для коммерческих компаний тариф составляет 40-45 копеек за распознавание минуты двухканального аудио. Технология для внешнего использования доступна только в виде API.

Синтез речи, который используется в голосовом помощнике, разрабатывали на основе нейросетевых моделей WaveNet, Tacotron, Deep Voice. Вся работа по созданию синтеза речи заняла около девяти месяцев, но для этого потребовались знания и экспертиза, накопленные специалистами компании за два года.

Суперкомпьютер «Колмогоров»

Для обучения голосового помощника «Тинькофф» использует суперкомпьютер «Колмогоров», названный в честь российского математика Андрея Колмогорова. Суперкомпьютер состоит из 10 вычислительных серверов и двух — для хранения данных. Вся система помещается в один новый арендованный зал. С его помощью команда разработчиков обучает нейросетевые модели, собранные за 14 лет работы компании, для распознавания речи, синтеза речи, обработки естественного языка и общения на свободные темы. Пиковая производительность машины — 0,65 петафлопсов, достигнутая — 0,42 петафлопса. Он входит в десятку самых производительных компьютеров в рейтинге российских суперкомпьютеров, составленном МГУ и РАН. На оборудование для компьютера компания потратила около $1 млн.

С помощью суперкомпьютера компания планирует развивать не только голосового помощника, но и предиктивную аналитику (прогнозирование поведения клиентов). В частности, суперкомпьютер используется для переобучения модели, которая рассчитывает вероятность продажи услуг «Тинькофф». На стандартных мощностях этот процесс может занимать от полугода, на суперкомпьютере — несколько дней.