Анализируется опыт создания языковых моделей на основе трансформеров для исторических языков, поскольку текстовые данные являются базой для большинства исторических исследований, что делает особенно значимым для развитие методов и технологий обработки естественного языка исторической науки. Рассмотрены возможные риски и перспективы внедрения подобных языковых моделей.