Описан прототип системы, использующей видео-, аудио- и текстовые данные для распознавания состояния усталости и низкой работоспособности человека. Для этого также была изучена и подробно описана задача VQA, а также особенности ее реализации на примерах из других исследований. Проведены эксперименты на наборах с большой вариацией задач: стандартная задача VQA на наборе VQA v2, сложные сцены CLEVR CoGenT, анализ кассовых чеков Receipt-AVQA-2023.