Система машинного чтения по губам с использованием  алгоритмов глубокого обучения

Яценко, Д. В.; Ивашенко, В. П.

Система машинного чтения по губам с использованием алгоритмов глубокого обучения

Дата публикации: 2018

Дата публикации в реестре: 2021-08-05T17:40:18Z

Аннотация:

Чтение по губам — это задача распознавания текста по движению губ. Развитие компьютерной техники ведет к совершенствованию интерфейсов между человеком и компьютером. Один из важнейших способов человеческой коммуникации — речь, поэтому способность распознавания речи является важным направлением совершенствования человеко-машинных интерфейсов. Разрабатываемая модель преобразовывает последовательность видеофрагментов с переменной длиной слова в текст, используя пространственно-временные свёртки, рекуррентную нейронную сеть и функцию потерь нейросетевой временной классификации. Визуальное распознавание речи может применяться в биометрической идентификаций, распознавании речи двух и более человек, разработке улучшенных слуховых аппаратов, управлении интеллектуальными системами и т.д.

Ключевые слова:
материалы конференций, чтение по губам, алгоритмы глубокого обучения, свёрточные нейронные сети, рекуррентные нейронные сети, Keras, Python, виземы, долгая краткосрочная память

Тип: Статья