Анализ эффективности трансформеров для решения некоторых задач NLP

Proshina M.B.; Vinogradov A.N.

Анализ эффективности трансформеров для решения некоторых задач NLP

Дата публикации в реестре: 2024-03-01T14:31:20Z

Аннотация:

Архитектура «Трансформер» (включает механизм внимания) представляет собой одну из самых передовых архитектур нейронных сетей для решения задач обработки естественного языка. Она позволяет работать моделям (трансформерам) со всем текстом одновременно (параллельно), исключая необходимость учёта последовательности (порядка) слов в нём. Архитектура данной сети была опубликована в 2017 году, а уже в 2018 появились 2 большие предобученные модели - GPT и BERT, а в дальнейшем - различные модификации этих подходов. GPT-подобные модели часто называют авторегрессионными трансформерами, в то время как BERT-подобные модели - автокодирующими трансформерами. В данной работе рассмотрены (проведён сравнительный анализ) актуальные подходы к решению некоторых задач обработки естественного языка, а также продемонстрирована целесообразность использования данных методов и возможности оптимизации.

Ключевые слова:
nlp, NLU, language models, pre-trained models, transformers, языковые модели, предобученные модели, трансформеры

Тип: Article

Права: open access

Источник: Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем