С развитием технологий автоматического распознания речи, развивается интеграция визуальных компонентов коммуникации. В данной работе представлен принцип построения программного обеспечения, направленного на создание системы визуального распознания жестикуляции и артикуляции речевого аппарата. Исследование предполагает применение машинного обучения для анализа произносимых слов, основанное на методах компьютерного зрения, включая систему захвата данных, обработки и интеграции, а также воспроизведение речи с применением технологий синтеза.
