QueryPort

Что стоит за словами в коммерческом предложении

Восемь слов, которые чаще всего встречаются в разговоре про внедрение ИИ, объяснённых без маркетинга: шлюз, профиль маршрутизации, запасной путь, токен, время до первого символа, подсказочная инъекция, поиск по своим данным, аудит задачи.

Эти слова встречаются в любом разговоре про внедрение и почти всегда означают у разных людей разное. Здесь они объяснены так, как мы их употребляем в сметах, разборах и переписке, — чтобы на встрече не выяснилось, что запасным путём вы называли резервную копию, а мы поведение при отказе поставщика.

Словарь

Шлюз
Единая точка входа между вашим кодом и поставщиками моделей. Приложение обращается к одному адресу, а какая модель ответит, решает правило маршрутизации — менять его можно без правки приложения.
Профиль маршрутизации
Именованный набор правил под тип задачи: разбор текста, распознавание изображения, озвучивание. У профиля свой порядок моделей, свои ограничения и своя стоимость запроса.
Запасной путь
Что происходит, когда основной поставщик отвечает ошибкой или молчит. Без него отказ у поставщика превращается в отказ вашего продукта — и, как правило, именно в час пик.
Токен
Единица, в которой модель считает и текст запроса, и текст ответа. Счёт приходит за токены, поэтому длина системной подсказки — статья расходов, а не деталь оформления.
Время до первого символа
Задержка от запроса до начала ответа. Для интерфейса она важнее полного времени: ответ, который начал печататься, воспринимается как быстрый, даже если целиком идёт дольше.
Подсказочная инъекция
Приём, при котором текст, пришедший от пользователя или из документа, содержит команду для модели и подменяет ваши инструкции. Лечится разделением ролей и проверкой того, что модель вернула, а не доверием к ней.
Поиск по своим данным
Схема, при которой перед ответом из вашей базы достаются подходящие фрагменты и передаются модели. Качество здесь определяет поиск, а не модель, — и ломается обычно именно поиск.
Аудит задачи
Первый шаг: разбор того, что вы хотите получить, чем это измерить и решается ли это без ИИ. Заканчивается сметой и оценкой стоимости одного запроса, а иногда — рекомендацией не делать.

Читать дальше