Разработка анализирует видео, голос и речь одновременно
Российские ученые разработали нейросеть, которая одновременно распознаёт эмоции, оценивает черты личности и определяет неуверенность или противоречивость в поведении человека. Модель обрабатывает сразу несколько потоков данных: видео, голос, содержание речи, а также анализ мимики, взгляда, позы и жестов. Как сообщают РИА Новости, система обучалась на суперкомпьютере «Харизма». Для каждой из трёх задач использовались разные массивы данных с собственной разметкой.
Сложность заключалась в том, что для разных задач важны разные каналы восприятия: для оценки личности - видео, для выявления амбивалентности - смысл речи, для эмоций - всё сразу. Разработчики решили это, объединив в модели общие компоненты. Так она смогла учиться на всех данных одновременно и лучше распознавать эмоции даже на незнакомых примерах.
В перспективе технология может применяться в образовательных системах, интеллектуальных интерфейсах и сервисах поддержки пользователей. Следующий шаг - создание нейросетевых экспертов, которые будут адаптировать анализ под конкретную задачу. Параллельно учёные работают над персонализированными аватарами, способными менять мимику, речь и поведение в зависимости от состояния человека.
(0)Comments