Вы здесь ▸ Экспертиза ▸
Кому нужна оценка качества текстов: ответы искусственного интеллекта как индикатор мнения большинства. Часть 2
В предыдущем посте на тему “качество текстов” я попытался сформулировать и обосновать мысль о том, что средний уровень компетенций по какой-либо проблеме достаточно точно определяется большими языковыми моделями. Составив соответствующий запрос, можно получить оценку востребованности, применимости, контингента пользователей для заданных технологий. Здесь мы ведем речь об оценке качества текстов. Ниже я пытаюсь обобщить информацию о категориях пользователей этой технологии, полученную от ИИ. Это небольшое исследование сделано в ходе работы над приложением Текстоматика.
Обобщение результатов
Я вручную обобщил мнения моделей YaGPT, GigaChat и ChatGPT о тех, кому важно повышать качество текстов документов. Вот, что получилось:
Обобщение результатов с GigaChat
А потом я поручил эту же задачу языковой модели GigaChat в конфигурации GigaChain. Дополнительно я использовал собственный модуль ivkgiga, который был описан ранее в этом блоге. А вот примененный промпт: “Выдели основные мысли и факты из текста. Размер текста не ограничен“.
Код Python
import ivkgiga
gc = ivkgiga.ivkgiga()
...
text = '<тексты ответов YaGPT, GigaChat и ChatGPT>'
gc.set_map_prompt('Выдели основные мысли и факты из текста. Размер текста не ограничен')
text_after = gc.get_summary(text = text, verbose = True)
...Результат следующий:
Выводы
- GigaChat оказался склонен к общим фразам (пункты 1, 3, 4 в результатах GigaChat). Я нет.
- GigaChat пропустил недопустимо большое количество категории специалистов, которым важно качество текстов. Это маркетологи, PR-специалисты, специалистам по контент-маркетингу, научные работники, студенты, переводчики, редакторы, лингвисты, филологи.
- GigaChat сократил детальное описание причин важности качества текстов.