Продолжаю свои короткие исследования интересных технологий и инструментов. Одна из таких технологий – резюмирование текстов. В этом посте я попытался оценить возможности некоторых open source моделей для выполнения этой задачи. Все мои исследования выполняются с позиций любопытного и активного пользователя, стремящегося применить современные достижения ИТ в своей повседневной практике. Они касаются прежде всего баз данных и нейронных сетей. См., например, это исследование или это.

Оглавление

Цель
Выбор моделей для оценки
Тексты для резюмирования
Программное обеспечение для экспериментов
Результаты резюмирования стихотворения А.А. Блока
Результаты резюмирования описания приложения Текстоматика
Обсуждение и заключение

Цель

Цель этого исследования я сформулировал таким образом. Необходимо дать сравнительную оценку возможностям бесплатных open source моделей для суммаризации или резюмирования текстов. При анализе результатов обращать внимание не на формальные метрики (такие как BLEU, METEOR и другие), а на пользовательские субъективные оценки. Как итог, понять – могут ли эти модели хоть как-то конкурировать с LLM класса GPT4, GigaChat или YandexGPT.

Выбор моделей для оценки

Платформа Hugging Face на 02.04.2024 г. содержит 579,618 (!) моделей машинного обучения для решения множества задач. Из них для решения NLP-задачи суммаризации или резюмирования текстов заявлено 1623 модели. А для решения этой задачи, ориентированной на русскоязычные тексты, имеется всего 27 моделей. Не густо, но будем работать с тем, что есть.

Если отсортировать список отобранных моделей по соответствию текущим тенденциям (количеству положительных оценок за последний месяц) и взять первые пять моделей, то получим следующий список:

Как видно модели достаточно свежие и находят своих пользователей. Эти модели и будем сравнивать и анализировать.

Тексты для резюмирования

• Стихотворение А.А. Блока “О подвигах, о доблести, о славе…” (117 токенов). Выбор этого текста основывается на предположении, что обучающие наборы для всех моделей точно не были подготовлены на базе стихов русской классики. Следовательно, все модели с точки зрения их обучения находятся в одинаковых условиях.
• Общее описание Приложения Текстоматика (996 токенов). Текст представляет собой описание программного продукта, содержит несколько тематических разделов со специфическими техническими терминами прикладного домена. Полезно понять, как модели справятся с потенциально непростым резюме.

Программное обеспечение для экспериментов

Для проведения экспериментов использовался модуль на Python, разработанный мной. Состоит из:

• Управляющей части: задание параметров, чтение текстов для резюмирования, последовательный запуск соответствующих компонентов каждой модели.
• Функциональной части: коды на Hugging Face предоставлены разработчиками; использовались с небольшими доработками.

Исходный текст модуля могу послать по запросу в комментариях к этому посту.

Результаты резюмирования стихотворения А.А. Блока

Результаты резюмирования текста стихотворения А.А. Блока обсуждаемыми моделями см. ниже в этом разделе поста. Условие для длины текста резюме: от 40 до 70 токенов.

Я прошу оценить, если не трудно, каждое резюме. Нужно поставить баллы и нажать на кнопку Отправить.

Посмотреть и оценить резюме

Для заполнения данной формы включите JavaScript в браузере.

mbart_ru_sum_gazeta:О доблестях, о подвигах, о славе Я забывал на горестной земле, Когда твое лицо в простой оправе Перед мной сияло на столе. Но час настал, и ты ушла из дому. Я бросил в ночь заветное кольцо.

Оценка резюме mbart_ru_sum_gazeta:

• 1
• 2
• 3
• 4
• 5

Оценка резюме mbart_ru_sum_gazeta

rut5_base_absum:На горестной земле, когда твое лицо в простой оправе Перед мной сияло на столе. Но час настал, и ты ушла из дому. Я забыл прекрасное лицо.

Оценка резюме rut5_base_absum:

• 1
• 2
• 3
• 4
• 5

Оценка резюме rut5_base_absum

mT5_multilingual_XLSum:Я забыл прекрасное лицо, когда твое лицо в простой оправе отдал свою судьбу другому, И сказал мне, как молодость прошла.

Оценка резюме mT5_multilingual_XLSum:

• 1
• 2
• 3
• 4
• 5

Оценка резюме mT5_multilingual_XLSum

summary_en_ru_zh_base_2048:В сырую ночь ты из дома ушла, и я крепко спит, мне снится плащ своего синий, в котором ты в сырую ночь ушла. Я крепко спит

Оценка резюме summary_en_ru_zh_base_2048:

• 1
• 2
• 3
• 4
• 5

Оценка резюме summary_en_ru_zh_base_2048

rubert_telegram_headlines:"Мы помним тебя!": как я звала тебя в этот день (фото, видео), и вот как она выглядит сегодня (ФОТО, ВИДЕОБЛИЦ)

Оценка резюме rubert_telegram_headlines:

• 1
• 2
• 3
• 4
• 5

Оценка резюме rubert_telegram_headlines

Отправить

Результаты резюмирования описания приложения Текстоматика

А здесь см. результаты резюмирования текста описания приложения Текстоматика. Условие для длины текста резюме: от 150 до 200 токенов.

Также прошу оценить каждое резюме. Нужно поставить баллы и опять нажать на кнопку Отправить.

Посмотреть и оценить резюме

Для заполнения данной формы включите JavaScript в браузере.

mbart_ru_sum_gazeta:В приложении Текстоматика, предназначенном для интеллектуальной оценки структуры и содержания текстовых документов, вычисляются количественные значения заданных показателей качества текста. Набор показателей качества текста задается в так называемой «модели оценки». Кому и зачем надо оценивать тексты? Профессиональная экспертиза текстовых документов является важной составляющей деятельности квалифицированных специалистов во многих областях, в том числе и в университетах и в научно-техническом сообществе, а также в научно-технических лабораториях и лабораториях. В приложении есть и другие инструменты, позволяющие оценивать качество текстов в университете и вузе, в частности, в колледже и на промышленном комплексе.

Оценка резюме mbart_ru_sum_gazeta:

• 1
• 2
• 3
• 4
• 5

Оценка резюме mbart_ru_sum_gazeta

rut5_base_absum:Профессиональная экспертиза текстовых документов осуществляется по количественным значениям. Набор показателей качества текста задается в так называемой "модели оценки". Приложение Текстоматика используется для исследования структуры и содержания textовых документов, подлежащих экспертизе. Улучшает тексты своих учебных и методических материалов с целью их совершенствования. Оценивание текста производится на основе заданных показателей какого-нибудь материала. Содержание документа превышает допустимый объем; состав реквизитов, размер документа (размер документа) – Формирует и обосновывает итоговую оценку проверенной работы.

Оценка резюме rut5_base_absum:

• 1
• 2
• 3
• 4
• 5

Оценка резюме rut5_base_absum

mT5_multilingual_XLSum:Приложение Текстоматика для интеллектуальной оценки структуры и содержания текстовых документов опубликовано на сайте Института оценки качества и качества (ИВК) в Москве. Что такое и зачем нужно оценивать текст и как его оценивать? Что означает это приложение и кто и. . . Как и почему это происходит и как это происходит? Что это означает и за что нужно оценить текст? . .. . ( ) . ( . ) - и куда и

Оценка резюме mT5_multilingual_XLSum:

• 1
• 2
• 3
• 4
• 5

Оценка резюме mT5_multilingual_XLSum

summary_en_ru_zh_base_2048:Запустите приложение Текстоматика. Нажмите на значок в виде буквы, буквы и т.п. Найдите нужную модель оценки. Назовите модель оценки и задайте ей характеристики текста, интересующие вас в данном случае. Проверьте интеллектуальную оценку текста, которую вычислили в приложении Текстоматтика. Проверяем текстуру текстовых документов. Проверят ли вы текст в соответствии с требованиями существующих стандартов? Проверяты ли тексты? Проверили ли вы текст на соответствие требованиям существующих стандартов? И какие именно критерии оценки необходимы для оценки? Проверит ли мы точность оценок? Проверила ли мы интеллектуальная модель оценки?

Оценка резюме summary_en_ru_zh_base_2048:

• 1
• 2
• 3
• 4
• 5

Оценка резюме summary_en_ru_zh_base_2048

rubert_telegram_headlines:Текстовая экспертиза: что такое Текстографика и что нужно знать при оценке текста и содержания документа (ИНФОГРАФИКА; ОБЪЯЗАТЕЛЬСТВО; ОБНОВЛЯЕТСЯ ВЫДЕЛЕННОЙ ОБЗОРНОЙСЛЯЦИИ; ОБЯЗАЮТСЯТЛЯТЬЯТЯ В ОБЛЯЛЕНЕННОМ ВЫСЯЦЕНИИ) - 2020 ГОДОВЯТЕЛЬНОМ ПОСТЯТЕ В СИЗНЯТНОМ УЧАСТИЯТелеЦИОНАЛЬНОМ РАБОТелеграфии ПЕРИОНАЦИЙ ВЫЯВЛЕНИЯ)

Оценка резюме rubert_telegram_headlines:

• 1
• 2
• 3
• 4
• 5

Оценка резюме rubert_telegram_headlines

Отправить

Обсуждение и заключение

По А.А. Блоку:

• Все модели выдали резюме с количеством слов меньшим, чем заданная минимальная величина. Не могу точно сказать с чем это связано, возможно с особенностями подсчета токенов.
• Первые четыре модели вроде передают пафос стихотворения.
• Модели mT5_multilingual_XLSum путает роды, а t5_summary_en_ru_zh_base_2048 – времена.
• Забавно выглядит резюме от модели rubert_telegram_headlines. Хотя суть стихотворения передается верно.
• Мои оценки моделей: mbart_ru_sum_gazeta – 3, rut5_base_absum – 2, mT5_multilingual_XLSum – 3, t5_summary_en_ru_zh_base_2048 – 2, rubert_telegram_headlines – 1.

По описанию Текстоматики:

• Лучшим резюме выглядит текст от модели mbart_ru_sum_gazeta.
• В первых трех резюме общий дефект – невнятно формулируется вторая половина. А начало более-менее приемлемое.
• Резюме от t5_summary_en_ru_zh_base_2048 похоже на простой набор терминов из заданной предметной области. Не передает сути документа.
• Также неожиданно выглядит резюме от модели rubert_telegram_headlines. Но даже суть текста не отражена.
• Мои оценки моделей: mbart_ru_sum_gazeta – 3, rut5_base_absum – 3, mT5_multilingual_XLSum – 2, t5_summary_en_ru_zh_base_2048 – 2, rubert_telegram_headlines – 1.

Общee:

Результаты первых трех моделей из списка с большой натяжкой можно признать удовлетворительными. Две последние модели не справились с заданием. Очевидно, что все модели требуют переобучения на датасетах того домена, где их предполагается применять. Собственно, это было ожидаемо и здесь просто подтверждено. Тем не менее, было интересно узнать, насколько они не совсем хороши.

Мы также можем предположить, что LLM класса GPT4, GigaChat или YandexGPT будут выглядеть много лучше. Покажем это в следующей части нашего исследования.