Продолжаю исследование моделей для резюмирования текстов, начатое ранее. Иметь под рукой такие модели хорошо, особенно если этот инструмент бесплатный. Технология резюмирования текстов – это непростая задача для ИИ (да и для человека тоже). В предыдущей части исследования мы посмотрели как с этой задачей справляются специализированные модели. Здесь мы рассмотрим результаты, показанные большими генеративными языковыми моделями. Все мои исследования выполняются с позиций любопытного и активного пользователя, стремящегося применить современные достижения ИТ в своей повседневной практике. Они касаются прежде всего баз данных и нейронных сетей.

См. часть 1

Оглавление

Введение
Тексты для резюмирования
Результаты резюмирования стихотворения А.А. Блока
Результаты резюмирования описания приложения Текстоматика
Обсуждение
Заключение

Введение

Напомню, что целью этого исследования является попытка дать сравнительную оценку возможностям бесплатных open source моделей для суммаризации или резюмирования текстов. При этом анализ результатов должен быть основан на пользовательских субъективных оценках. В этой части исследования обсуждается возможная конкуренция бесплатных open source моделей с LLM класса GPT4, GigaChat и YandexGPT.

Тексты для резюмирования

Тексты для резюмирования те же, что и в предыдущей части:

• Стихотворение А.А. Блока “О подвигах, о доблести, о славе…” (117 токенов).
• Общее описание Приложения Текстоматика (486 токенов). Из исходного текста описания были удалены разделы не относящиеся напрямую к содержанию: Кому и зачем надо оценивать тексты?, Примеры результатов оценки, Начать работу с Текстоматика, Разработка.

Результаты резюмирования стихотворения А.А. Блока

Условие для длины текста резюме: от 40 до 70 токенов.

Любовная скорбь поэта отражена в строках о доблести, подвиге и славе, которые он забыл, когда смотрел на её портрет. Она покинула дом, и он выбросил кольцо. Он вспоминает её перед алтарём и зовёт, как свою молодость, но она не отвечает. Он спит, видя её уход в синем плаще. Поэт говорит, что всё прошло, и убирает портрет со стола.

Я забывал о доблестях и подвигах, когда твое лицо сияло для меня. Но ты ушла, и я бросил кольцо в ночь. Я забыл твое прекрасное лицо и страдал от вина и страсти. Вспомнил тебя перед аналоем и звал, как свою молодость. Я звал тебя, но ты не оглянулась. Ты печально завернулась в синий плащ и ушла в сырую ночь. Не знаю, где ты нашла приют для своей гордыни. Мне снится твой синий плащ, в котором ты ушла в сырую ночь, и не мечтать о нежности.

Увядания славы: лицо вне оправы, прощание с прошлым, тоска по ушедшей молодости. Воспоминания о любви, утраченной страсти и невозвратных моментах. Сожаление о потерянной любви, оставшееся лишь в воспоминаниях, но без надежды на возвращение ушедшего. Горькое признание во временных утратах и фатальном обороте судьбы.

Результаты резюмирования описания приложения Текстоматика

Используемый промпт: Выдели основное в тексте ниже. Используй не более 100 слов

Приложение «Текстоматика» предназначено для интеллектуальной оценки структуры и содержания текстовых документов. Оценка производится по различным показателям, включая удобочитаемость, соответствие заголовку, смысловую нагрузку и другие. Для этого используется модель оценки, которая определяет характеристики текста, интересующие пользователя, и выполняет настройку параметров алгоритмов оценки. Результаты оценки формируются в отчет, который содержит рекомендации по улучшению текста.

Приложение «Текстоматика» предназначено для интеллектуальной оценки структуры и содержания текстовых документов. Оно оценивает текст по различным показателям, таким как удобочитаемость, смысловая нагрузка, внутренняя структура и соответствие стандартам. Оценка производится с использованием моделей и методов искусственного интеллекта и машинного обучения.

Приложение Текстоматика предназначено для интеллектуальной оценки структуры и содержания текстовых документов. Оценка текста производится по различным показателям качества, включая объем, количество ошибок, соответствие заголовку, удобочитаемость и другие характеристики. Модель оценки необходима для определения, какие характеристики оценивать, настройки параметров алгоритмов и определения важности каждой характеристики. Оценка включает группы показателей, такие как содержание, текст, представление и соответствие стандартам. Процесс оценки включает загрузку документов, их анализ по заданным показателям и формирование отчета с рекомендациями.

Обсуждение

По А.А. Блоку:

• YandexGPT выдала резюме с количеством слов большим, чем заданный верхний предел (86 против 70).
• Интересны содержание резюме. GigaChat рассказал историю главного героя. GPT4 передал чувства героя. А YandexGPT просто пересказал содержание стихотворения, сократив исходные фразы.
• Мои оценки моделей: GigaChat – 5, GPT4 – 5, YandexGPT – 3. Согласны? Пишите в комментариях свои оценки.

По описанию Текстоматики:

• Лучшим резюме с моей точки зрения безусловно выглядит текст от GPT4. Описаны назначение приложения, показатели и группы показателей качества текста, модель оценки, процесс оценки и его результаты.
• Резюме от GigaChat содержит назначение приложения, показатели показателей качества текста, модель оценки, результаты оценки.
• YandexGPT создал резюме, которое включает только описания назначения и показателей оценки. Также упоминается использование моделей и методов ИИ и МО.
• Все модели поскупились на объем своих резюме, но наиболее многословной была GPT4 (71 слово).
• Мои оценки моделей: GPT4 – 5, GigaChat – 4, YandexGPT – 3. Согласны? Пишите в комментариях свои оценки.

Заключение

По сравнению с открытыми open source моделями:

• Отметим, что резюме стихотворения Блока от GPT4 – 5 и GigaChat – это продукты существенно переработки текста и представляют собой новые тексты. А резюме отYandexGPT по большому счету мало чем отличается от лучшего резюме от open source моделей (модель mbart_ru_sum_gazeta). Оно практически в два раза больше по числу слов, но это вопрос более точной параметризации. По сути содержание сходное – цитирование ключевых фраз. То есть, модель mbart_ru_sum_gazeta даже с исходным обучением на этом фоне выглядит неплохо.
• Мы также можем предположить, что open source модели, рассмотренные ранее, после дообучения на корпусе текстов из классической русской литературы покажут результаты, сравнимые с GPT4 и GigaChat.
• Модели mbart_ru_sum_gazeta и rut5_base_absum справились с генерацией резюме описания приложения “Текстоматика” не хуже, чем GPT4 , GigaChat илиYandexGPT. Думаю, что модели, дообученные на данных определенного домена, покажут еще более сопоставимые результаты.

В следующей части нашего исследования мы посмотрим на что способны модели, использующие экстрактивный подход. Покажем, как справляются с задачей резюмирования текстов алгоритмы из одной из лучших реализаций такого подхода – библиотеки sumy,