ПУЛЬС АУДИТОРИИ

Описание подхода

Подход основан на анализе ключевых точек facial landmarks, которые размечают и привязывают к положению бровей, глаз, губ, носа и челюсти.

Классификаторы, используемые для распознавания эмоций по изменениям в микровыражениях лица, основаны на сверточных нейронных сетях (CNN).

Такие системы могут точно подмечать мельчайшие изменения в микровыражениях лица, оценивать их интенсивность и преобладающую эмоцию.

Литература

• Verma, R. (2020). Fer2013. Kaggle.com.
• Каскады Хаара.

Что анализируется

1. Длительность фиксации зрачков.
2. Амплитуда и динамика быстрых движений глаз.
3. Изменения в диаметре зрачков.
4. Частота моргания.

Реализовано у нас

С помощью ключевых точек анализируем, открыты или закрыты глаза, через сравнение относительно крайних точек.

Недостаток метода

Необходимость высокого качества кадра.

Литература

• Fabio, Rosa Angela & Gullà, Iconia & Errante, Antonino. (2015). Emotions and eye movements: eye tracker and mnestic parameters.
• Skaramagkas, V.; Ktistakis, E.; Manousos, D.; Kazantzaki, E.; Tachos, N.S.; Tripoliti, E.; Fotiadis, D.I.; Tsiknakis, M. eSEE-d: Emotional State Estimation Based on Eye-Tracking Dataset. Brain Sci. 2023, 13, 589.

Описание подхода

Определение человеческих эмоций с помощью фонетической составляющей речи без привязки к ее смысловой составляющей, то есть по самому голосу.

Основные голосовые характеристики

1. Громкость.
2. Скорость речи.
3. Тон.
4. Прерывистость пауз.
5. Интонация.
6. Ритмичность речи.

Valence-Arousal-Dominance (VAD)

• arousal - интенсивность эмоциональной реакции при восприятии слова.
• dominance - ощущение силы или слабости при восприятии слова.
• valence - позитивность или негативность слова.

Инструменты автоматического распознавания речи

Текстовая модальность начинается с автоматического распознавания речи: аудиопоток переводится в текст, который затем становится основой для дальнейшего анализа.

Определение тональности текста

После транскрибации система оценивает эмоциональную окраску текста, выделяя позитивные, негативные и нейтральные паттерны в высказываниях.

NLP - Natural Language Processing

Область искусственного интеллекта, объединяющая лингвистику и машинное обучение для понимания, интерпретации и генерации человеческой речи.

Технологии NLP позволяют компьютерам работать с текстовыми и голосовыми данными, включая перевод, анализ тональности, классификацию документов и чат-ботов, используя современные нейросети и трансформеры.

Литература

• Smadi, T., Al Issa, H., Trad, E. and Smadi, K. (2015). Artificial Intelligence for Speech Recognition Based on Neural Networks. Journal of Signal and Information Processing, 06(02), pp.66-72.
• Nassif, A., Shahin, I., Attili, I., Azzeh, M. and Shaalan, K. (2019). Speech Recognition Using Deep Neural Networks: A Systematic Review. IEEE Access, 7, pp.19143-19165.

Описание подхода

Мониторинг и анализ физиологического состояния.

С помощью специального оборудования или электронных устройств.

Основные анализируемые признаки

В этом направлении анализируются пульс, артериальное давление, активность мозга и лицевых мышц, колебания кровотока лицевых мышц и другие физиологические показатели.

Литература

• P. R. Chakraborty, D. W. Tjondronegoro, L. Zhang and V. Chandran, Towards Generic Modelling of Viewer Interest Using Facial Expression and Heart Rate Features. IEEE Access, vol. 6, pp. 62490-62502, 2018.
• Kolodyazhniy, Vitaliy. An Affective Computing Approach to Physiological Emotion Specificity: Toward Subject-Independent and Stimulus-Independent Classification of Film-Induced Emotions. Psychophysiology, 2011.
• Adam Anderson, Thomas Hsiao, and Vangelis Metsis. (2017). Classification of Emotional Arousal During Multimedia Exposure. In Proceedings of the 10th International Conference on PErvasive Technologies Related to Assistive Environments (PETRA '17), 181-184.