Техника подсказок

Те́хника подска́зок, те́хника запро́сов также инжене́рия подска́зок или про́мпт-инжини́ринг (от англ. Prompt [pɹɒmpt] «запрос», «подсказка», «оперативный отклик») — концепция искусственного интеллекта, в частности обработки естественного языка (НЛП). В технике подсказок описание задачи встраивается во входные данные, например, в виде вопроса, а не даётся неявно. Техника подсказок обычно работает путём преобразования одной или нескольких задач в набор данных на основе подсказок и обучения языковой модели с помощью «обучения на основе подсказок» (англ. prompt-based learning) или просто «обучения c подсказками» (англ. prompt learning)^[1][2]. Инжини́ринг подсказок может работать с большой «замороженной» предварительно обученной языковой моделью, где изучается (то есть оптимизируется) только представление подсказки с использованием таких методов, как «настройка префикса» (англ. prefix-tuning) или «настройка с подсказками» (англ. prompt tuning)^[3][4].

Языковые модели GPT-2 и GPT-3^[5] были важными шагами в технике подсказок. В 2021 году разработка многозадачных подсказок с использованием нескольких наборов данных обработка естественного языка показала хорошую производительность при решении новых задач^[6]. В методе, называемом подсказкой по цепочке рассуждений, языковой модели даются несколько примеров задачи, что улучшает их способность проводить рассуждения^[7]. Подсказки по цепочке рассуждений также можно выполнять как задачу обучения с нулевым выстрелом, добавляя к подсказке текст, который поощряет цепочку мыслей (например, «Давайте думать шаг за шагом»), что также может повысить производительность языковой модели в многошаговых задачах требующих рассуждений^[8]. Широкая доступность этих инструментов была обусловлена публикацией нескольких интерактивных блокнотов с открытым исходным кодом и проектов по синтезу изображений под руководством сообщества^[9].

В описании обработки подсказок сообщается, что в феврале 2022 года было доступно более 2000 общедоступных подсказок для примерно 170 наборов данных^[10].

В 2022 году были выпущены модели машинного обучения, такие как DALL-E 2, Stable Diffusion и Midjourney. Эти модели принимают текстовые подсказки в качестве входных данных и используют их для создания изображений, что вводит новую категорию разработки подсказок, связанную с подсказками преобразования текста в изображение^{[англ.][11]}.

Практическое применение и появление профессии «промпт-инженер»

Техника подсказок используется во множестве прикладных задач, включая обработку естественного языка, генерацию кода, автоматизированный анализ данных и создание контента.

В сфере бизнеса она позволяет оптимизировать работу чат-ботов и виртуальных ассистентов, автоматизировать документооборот и персонализировать пользовательский опыт. В научных исследованиях промпты применяются для извлечения информации из больших массивов текстов, генерации гипотез и моделирования сложных процессов. В образовании — техника подсказок помогает создавать адаптивные учебные программы и интеллектуальные системы проверки знаний. В креативных индустриях модели, управляемые промптами, используются для генерации текстов, изображений, музыки и видеоконтента, что открывает новые возможности для автоматизированного творчества.

С ростом сложности языковых моделей и расширением их применений сформировалась отдельная специализация — промпт-инженер, направленная на разработку и оптимизацию текстовых запросов для управления поведением ИИ. Промпт-инженеры используют знания в области лингвистики, логики и машинного обучения для структурирования входных данных таким образом, чтобы добиться от модели высокой точности, когерентности и предсказуемости. При этом, официально в России этой профессии не существует — для этого должен быть утверждён профессиональный стандарт, которого на текущий момент нет.^[12] Тем не менее, вакансии промпт-инженера на рекрутинговых сервисах появляются регулярно, начиная с 2023 года.^[12]

Промпт-инжиниринг активно применяется в автоматизированных системах поддержки клиентов, информационных поисковых системах, кодогенерации, контентном продакшене и креативных индустриях. В бизнес-среде разработка эффективных промптов снижает нагрузку на операторов, оптимизирует затраты на взаимодействие с клиентами и повышает качество аналитики. В научных исследованиях техника подсказок применяется для систематизации данных, извлечения информации и генерации гипотез, а в образовании — для создания адаптивных учебных материалов^[13].

Эффективность промптов во многом определяется выбором стратегии взаимодействия с моделью: от простых инструкций до многоуровневых контекстуальных цепочек (например, few-shot learning или chain-of-thought prompting). Внедрение методов оптимизации подсказок, таких как prompt tuning и prefix tuning, позволяет адаптировать большие предварительно обученные модели к специфическим задачам без их полной дообучаемости.^[13]

С развитием мультимодальных ИИ-систем промпт-инженеры работают не только с текстом, но и с генерацией изображений, звука и видео, что расширяет их роль в технологических и креативных сферах. Крупные IT-компании формируют отдельные команды, специализирующиеся на промпт-инженеринге, а образовательные инициативы начинают включать его в программы подготовки специалистов по работе с искусственным интеллектом.^[14]

Вредоносное применение

Техника подсказок — это семейство связанных эксплойтов компьютерной безопасности, осуществляемых путём получения моделей машинного обучения (например, большой языковой модели), которые были обучены следовать инструкциям человека, чтобы следовать инструкциям, предоставленным злоумышленником, что противоречит предполагаемой операции, систем, следующих за инструкциями^{[прояснить]}, в которых модель машинного обучения предназначена только для выполнения доверенных инструкций (подсказок), предоставляемых оператором модели машинного обучения^[15][16][17].

Распространёнными типами атак с внедрением подсказок являются взлом, который может включать в себя отыгрыш персонажей^{[неизвестный термин]}, убеждение модели^{[прояснить]} отвечать аргументами или притворяться, что она превосходит инструкции модерации^[18], и утечка подсказок, которые просто позволяют пользователям прочитать подсказку, обычно скрытую от них^[19]. Другой тип джейлбрейк-атаки, когда скверная подсказка^{[неизвестный термин]} заключена в задачу написания кода, называется контрабандой токенов^[20].

Внедрение подсказок можно рассматривать как атаку с внедрением кода с использованием состязательной разработки подсказок. В 2022 году NCC Group^[англ.] охарактеризовала внедрение подсказок как новый класс уязвимости систем искусственного интеллекта и машинного обучения^[21].

Атаки с внедрением подсказок были впервые обнаружены конторой Preamble, Inc. в мае 2022 года, которая предоставила отчёт OpenAI^[21].

В начале 2023 года внедрение подсказок было замечено «в дикой природе^{[прояснить]}» в незначительных эксплойтах против ChatGPT, Bing и подобных чат-ботов, например, для выявления скрытых начальных подсказок систем^[22] или для того, чтобы заставить чат-бота участвовать в разговорах, которые нарушают контентную политику чат-бота^[23]. Одна из этих подсказок известна её практикам как «Сделай что-нибудь сейчас» (англ. Do Anything Now, DAN)^[24].