Википедия

Neurodata Lab

Neurodata Lab — проектная компания и исследовательская лаборатория в области аффективных наук и когнитивных технологий[1]. Neurodata Lab специализируется на разработке систем для распознавания и синтеза эмоций, детекции и анализа движений, неинвазивных методов измерения физиологических сигналов, сборе и анализе аффективных данных[2].

Neurodata Lab
Отрасль Программное обеспечение
Число сотрудников 1-50
Сайт neurodatalab.com

Описание и история править

  • Neurodata Lab была основана в апреле 2016 года. Компания является центром компетенций в области эмоционального искусственного интеллекта и аффективных наук и осуществляет деятельность на международных рынках, имеет представительства в России, Италии, Швейцарии и США[1].
  • В июле 2017 года компания привлекла 1,3 млн долларов США[3].
  • В марте 2018 года Neurodata Lab совместно с университетом ИТМО провела первую в России конференцию по эмоциональному искусственному интеллекту[4].
  • 9 октября 2018 года Neurodata Lab объявила о партнерстве с робототехнической компанией Promobot. Нейросетевые технологии Neurodata Lab позволят роботам Promobot распознавать 20 эмоций и когнитивных состояний, адаптировать стратегию общения в зависимости от эмоционального состояния собеседника, а также отвечать в более живой манере благодаря технологии синтеза эмоционального ответа[5][6][7][8]. 1 ноября робот определял 7 эмоций посетителей выставки TechDay Росбанка[9].
  • 14 февраля 2019 года Росбанк начал тестирование нейросетевой технологии распознавания эмоций в голосе клиента, разработанной компанией Neurodata Lab, как часть пилотного проекта по анализу удовлетворенности клиентским сервисом в режиме реального времени[10].
  • 26 сентября 2019 года опубликована препринт-версия[11] совместного исследования ирландских (Dublin City University, Queen’s University Belfast), британских (University College London) и немецких (University of Bremen) ученых под общим руководством Дамьена Дюпре (Damien Dupré), посвященного анализу и сравнению существующих решений в области детекции и распознавания эмоций по лицу (при этом учитывались как сыгранные, так и спонтанные экспрессии), разрабатываемых компаниями — лидерами на рынке Emotion AI. Алгоритмы от Neurodata Lab по результатам исследования вошли в глобальный топ-3[12] по полноте, точности и корректности распознавания.

Технологии править

Программное обеспечение Neurodata Lab для распознавания эмоций не требует носимых датчиков или специального оборудования, кроме веб-камеры и микрофона. Технология обнаруживает, распознает и анализирует эмоциональное и социальное поведение, используя нейронные сети, компьютерное зрение и методы глубокого обучения.

Эмоциональные вычисления править

Эмоции могут проявляться по нескольких каналам (модальностям): мимике и микроэкспрессиям лица, глазодвигательной активности, голосовым характеристикам, движениям и позиции тела, а также выражаться через физиологию вроде учащенного сердцебиения[13]. Точность распознавания эмоций по каждой модальности в отдельности в среднем на 9,8 % ниже точности в системах для совокупного анализа данных, поступающих по всем каналам одновременно (в 85 % случаев)[14]. Такой мультимодальный подход положен в основу технологий Neurodata Lab.

Индустрия технологий для детекции эмоций и сформировавшийся под нее рынок получили название эмоциональных, или аффективных, вычислений[15]. В более широком понимании обучение машин распознаванию и синтезу эмоций является частью большого проекта по созданию эмоционального искусственного интеллекта.

Бизнес-применение править

Технологии распознавания эмоций применяются в различных сферах: банковской и страховой отраслях, ритейле, автомобильной отрасли, игровой индустрии, коммуникациях, робототехнике, нейромаркетинге, безопасности, цифровой медицине[16][17].

Проекты и продукты править

Распознавание эмоций править

Ключевая технология Neurodata Lab позволяет распознавать 20 аффективных и когнитивных состояний.

Трекинг править

Несколько трекеров составляют основу технологии Neurodata Lab для распознавания эмоций:

  • Face Tracker: распознавание лица в кадре, а также его отдельных элементов (положения глаз, рта, носа, и других нейросетевых признаков, не поддающихся общепринятой трактовке).
  • Диаризация для определения наличия человеческой речи в аудиопотоке, а также вычленения голоса говорящего, если в момент речи присутствует несколько голосов.
  • Body Tracker: отслеживание движений тела и рук в видеопотоке.
  • Eye Tracker: Извлечение данных о движении глаз.
  • Heart Rate Tracker: Определение пульса с помощью видеокамеры.
  • Respiration Rate Tracker: Определение частоты дыхания с помощью видеокамеры.

Онлайн платформы править

Emotion Miner — глобальная платформа по онлайн-аннотированию видеофайлов — сбора, разметки, анализа и процессинга эмоциональных данных на основе англоязычных видеофрагментов, извлеченных из существующего публичного контента (интервью, дебаты, ток-шоу и др.)[18].

Аффективные датасеты править

RAMAS — первый в мире русскоязычный мультимодальный аффективный набор данных[19]. Доступен для бесплатного использования для академических учреждений, университетов, лабораторий и некоммерческих организаций в исследовательских целях.

Emotion Miner Data Corpus — датасет, собранный по итогам работы платформы Emotion Miner. На сегодняшний день Emotion Miner Data Corpus — один из крупнейших размеченных мультимодальных эмоциональных видеодатасетов.

Научная деятельность править

С момента создания Neurodata Lab выстраивает коллаборации с академическими институтами, университетами, лабораториями и профильными центрами компетенций в США, Европе и России, и активно участвуют в крупных зарубежных конференциях, публикуют академические статьи. По состоянию на 2018 год компания развивала несколько коллабораций с рядом университетов и научных лабораторий, как в России, так и за рубежом, в том числе вела совместные проекты с ВШЭ, МГУ, ИТМО, СколТехом и университетами Ульма, Глазго, Женевы, Генуи.

Публикации и конференции править

Примечания править

  1. ↑ 1 2 Эмоциональный ИИ подскажет, когда на работе лучше пойти попить чай, и поможет бороться со стрессом. news.ifmo.ru. Дата обращения: 11 октября 2018. Архивировано 29 сентября 2018 года.
  2. ↑ "7 полезных российских ИИ-разработок, о которых вы могли не знать | Rusbase". Rusbase. Архивировано из оригинала 13 февраля 2019. Дата обращения: 11 октября 2018.
  3. ↑ Neurodata Lab LLC | Crunchbase. Crunchbase (13 сентября 2018). Дата обращения: 11 октября 2018. Архивировано 22 июня 2020 года.
  4. ↑ Конференция «Эмоциональный искусственный интеллект: новые вызовы для науки и образования, новые возможности для бизнеса». news.ifmo.ru. Дата обращения: 11 октября 2018. Архивировано 7 октября 2018 года.
  5. ↑ Швыркова, Анна. "Российский стартап Promobot научит роботов утешать и ободрять людей". Архивировано из оригинала 28 октября 2020. Дата обращения: 11 октября 2018.
  6. ↑ Прогова, Людмила. [rueconomics.ru/354258-v-rossii-razrabatyvayut-robota-s-emocionalnym-intellektom "В России разрабатывают робота с эмоциональным интеллектом"]. ФБА «Экономика сегодня». Архивировано из оригинала 19 сентября 2020. Дата обращения: 11 октября 2018. {{cite news}}: Проверьте значение |url= (справка)
  7. ↑ Пермский стартап Promobot научит роботов распознавать эмоции человека. Хайтек. Дата обращения: 11 октября 2018.
  8. ↑ "В России создают робота с эмоциональным ИИ | 5g future". 5g future. 2018-10-09. Архивировано из оригинала 13 октября 2018. Дата обращения: 11 октября 2018.
  9. ↑ Как эмоциональная аналитика меняет финтех - IKSMEDIA.RU. IKSMEDIA.RU - деловой портал для бизнеса в телекоме, ИТ, медиа. Дата обращения: 13 ноября 2018. Архивировано 10 ноября 2018 года.
  10. ↑ Росбанк начал тестирование технологии распознавания эмоций в голосе. Банки.ру. Дата обращения: 15 апреля 2019. Архивировано 14 февраля 2019 года.
  11. ↑ Dupré, D., Krumhuber, E., Küster, D., & McKeown, G. J. Emotion recognition in humans and machine using posed and spontaneous facial expression. https://doi.org/10.31234/osf.io/kzhds. psyarxiv.com. Дата обращения: 9 октября 2019. Архивировано 9 октября 2019 года.
  12. ↑ Российская ИИ-система распознавания эмоций вошла в топ-3 мировых лидеров. Дата обращения: 9 октября 2019. Архивировано 9 октября 2019 года.
  13. ↑ Цена улыбки: зачем системы искусственного интеллекта учатся распознавать эмоции. Фото | Технологии | Forbes.ru (англ.). www.forbes.ru. Дата обращения: 11 октября 2018. Архивировано 29 сентября 2018 года.
  14. ↑ Sidney K. D'mello, Jacqueline Kory. A Review and Meta-Analysis of Multimodal Affect Detection Systems // ACM Computing Surveys (CSUR). — 2015-04-16. — Т. 47, вып. 3. — С. 43. — ISSN 0360-0300. — doi:10.1145/2682899.
  15. ↑ "Как технологии распознают наши эмоции и почему это так перспективно | Rusbase". Rusbase. Архивировано из оригинала 29 октября 2018. Дата обращения: 11 октября 2018.
  16. ↑ Плиев, Георгий. "Зачем искусственному интеллекту человеческие эмоции (и как они изменят бизнес)". Архивировано из оригинала 9 октября 2019. Дата обращения: 11 октября 2018.
  17. ↑ "Наука эмоций: как умные технологии учатся понимать людей". Архивировано из оригинала 1 октября 2020. Дата обращения: 11 октября 2018.
  18. ↑ "Get paid $6 to $100 with emotions". The wise half (англ.). 2018-01-12. Дата обращения: 11 октября 2018.
  19. ↑ Olga Perepelkina, Evdokia Kazimirova, Maria Konstantinova. RAMAS: Russian Multimodal Corpus of Dyadic Interaction for Affective Computing (англ.) // Speech and Computer. — Cham: Springer International Publishing, 2018. — P. 501—510. — ISBN 9783319995786, 9783319995793. — doi:10.1007/978-3-319-99579-3_52.
Источник — https://ru.wikipedia.org/w/index.php?title=Neurodata_Lab&oldid=132327801