Управление контекстом

Представьте, что вы общаетесь с человеком. Чтобы разговор был связным, ему нужно помнить, о чем вы говорили минуту назад. Контекст для нейросети — это её «кратковременная память». Или просто контекст — это история общения.

Когда вы включаете опцию «Контекст», вы разрешаете нейросети перед каждым ответом заново перечитывать всю вашу переписку в этом конкретном чате.

Зачем это нужно?

Благодаря этому нейросеть:

• Понимает, о ком или о чем идет речь, даже если вы используете местоимения («он», «она», «этот метод»).
• Продолжает развивать идею, которую вы обсуждали ранее.
• Учитывает все детали, правки и уточнения, которые вы давали в предыдущих сообщениях.
• Может писать код, рассказ или статью по частям, не теряя нить повествования.

Как контекст влияет на стоимость?

Стоимость работы нейросети напрямую зависит от объема текста, который она обрабатывает (и вашего запроса, и своего ответа).

• С выключенным Контекстом: Нейросеть обрабатывает только ваш последний запрос. Стоимость минимальна и зависит только от длины этого запроса.
• С включенным Контекстом: Нейросеть обрабатывает всю историю чата + ваш новый запрос.

Пример:

• Ваше 1-е сообщение (100 символов): Стоимость рассчитывается из ~100 символов.
• Ваше 2-е сообщение (150 символов): Нейросеть обработает [1-е сообщение (100) + 2-е сообщение (150)]. Стоимость будет рассчитана уже из ~250 символов.
• Ваше 10-е сообщение: Нейросеть обработает [все 9 предыдущих сообщений + ваш новый запрос]. Объем текста будет большим, и стоимость генерации этого ответа будет значительно выше, чем у первого.

Проще говоря, чем длиннее становится ваш диалог, тем дороже обходится каждый следующий ответ при включенном Контексте.

Как экономить, не теряя в качестве?

Мы рекомендуем использовать контекст осознанно. Вот три простых способа управлять стоимостью:

• Создавайте новый чат для новой задачи. Это лучший способ. Планируете поездку в Италию в одном чате, а пишете код для сайта — в другом. Так история не будет смешиваться и разрастаться, а стоимость будет минимальной в начале каждого диалога.
• Отключайте Контекст для одиночных запросов. Нужно быстро перевести фразу, узнать столицу Гондураса или найти синоним к слову? Смело отключайте Контекст. Нейросеть не нужно помнить предыдущую беседу для таких задач.
• Чистите историю чата. Если вы ведете долгий диалог, но понимаете, что первые сообщения уже не актуальны, вы можете удалить их. Это сократит объем контекста, передаваемого нейросети, и уменьшит стоимость следующих генераций в этом же чате.