Предлагаю обратить внимание на материал, который может иметь практическую полезность в работе со средствами генеративного искусственного интеллекта (GenAI). Это обзор, в котором описаны методы работы с подсказками или промптами – The Prompt Report: A Systematic Survey of Prompting Techniques. Обзор доступен в репозитории https://arxiv.org – ArXiv:2406.06608v1 [cs.CL] 6 Jun 2024.

В работе над этим отчетом приняли участие 22 автора из 12 компаний и университетов, среди которых: University of Maryland, OpenAI, Stanford, Microsoft, Vanderbilt, Princeton, Texas State University, Icahn School of Medicine, ASST Brianza, Mount Sinai Beth Israel, Instituto de Telecomunicações, University of Massachusetts Amherst. Наибольший вклад внесли сотрудники: University of Maryland (19 чел.), Icahn School of Medicine (2 чел.), из остальных организаций по 1 чел.)

Designed by Freepik

Введение

Разработчики и конечные пользователи взаимодействуют с GenAI с помощью подсказок — промптов. Авторы обзора отмечают: “несмотря на то, что подсказка является широко распространенным и хорошо изученным понятием, существует противоречивая терминология и слабое онтологическое понимание того, что представляет собой подсказка”. Ведь понятийная область новая. В обзоре описывается структурированное понимание подсказок через таксономию методов их использования. Представлен полный словарь терминов, таксономия из текстовых подсказок и методики для других режимов работы. Представляет интерес анализ литературы по использованию конструкций естественного языка, изменяющих значение подсказки (префиксов).

Основное в обзоре

• Представленный каталог методов подсказок, ориентирован на быстрое понимание и легкое внедрение в эксперименты разработчиков и исследователей.
• Исследование сфокусировано на дискретных префиксных подсказках, так как современные архитектуры LLM (особенно модели с декодером) используют именно префиксные подсказки.
• Акцент сделан на жестких (дискретных) подсказках.
• Исследование методов, не зависящих от задач. Это позволяет сделать обзор более доступным для читателей, не обладающих техническими знаниями.

Ключевые разделы обзора

Раздел 2.1. Систематический обзор и определение 58 различных текстовых подсказок,

Раздел 2.2. На их основе создана таксономия с соответствующей терминологией.

Раздел 3.1. Обсуждение многоязычных подходов, хотя большая часть литературы по подсказкам относится к настройкам только на английском языке.

Раздел 3.2. Отдельно описана сфера применения мультимодальных подсказок, которые могут включать в себя такие мультимедийные средства как изображения.

Раздел 4.1. Внешние инструменты или агенты, такие как средства просмотра веб-страниц и калькуляторы.

Раздел 4.2. Способы оценки результатов работы агентов подсказок, для обеспечения точности и избежания галлюцинаций.

Раздел 5.1. Безопасность.

Раздел 5.2. Меры безопасности для разработки подсказок, которые снижают риск причинения вреда компаниям и пользователям.

Раздел 6.1. Применение методов подсказок в двух тематических исследованиях. В первом тестируется ряд методов подсказок на основе широко используемого эталонного MMLU. Во втором рассмотрен пример ручного управления подсказками в значимом реальном случае использования.

Раздел 8. Обсуждение природы подсказок и их развития.

Текст обзора

Отмечу, что методы работы с подсказками или промптами довольно актуальны сегодня. Надеюсь, что и сам обзор и мой реферат будут полезны. Как и мои продукты, посты блога, публикации.