Трёхуровневая токенизация для автоматического реферирования текста

Капелько, И. В.; Шиман, Д. В.

Трёхуровневая токенизация для автоматического реферирования текста

Дата публикации: 2019

Дата публикации в реестре: 2020-02-28T10:31:02Z

Аннотация:

Автоматическое реферирование – это составление коротких изложений материалов, дайджестов, т. е. извлечение наиболее важных сведений из одного или нескольких документов и генерация на их основе лаконичных отчетов. В основе алгоритма лежит метод TF-IDF (от англ. TF - term frequency, IDF - inverse document frequency) – статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса.

Ключевые слова:
автоматическое реферирование, метод TF-IDF, методы реферирования, трехуровневая токенизация, токены

Тип: Article