Данная работа посвящена задаче языкового моделирования. Анализ естественного языка применительно к построению различных информационных моделей применяется в целом ряде практических задач. Три основных направления, это - генерация осмысленного текста по заданным исходным данным, визуализация текстов на естественном языке (например, в виде изображений) и построение текстового описания различных объектов и процессов. В последнее время активно и крайне успешно идут исследования в этом направлении, и создаются все новые и более эффективные решения в области машинного обучения, которые демонстрируют высокую результативность. Целью данной работы является сравнение эффективности различных архитектур языковых моделей машинного обучения.