Контекст
Бонус за регистрацию!
новые тарифы и нейросети
Контекст — в языковых моделях это информация (текст), которая окружает целевой фрагмент и необходима для его правильного понимания или предсказания. Например, слово «ключ» имеет разный смысл в контексте «дверной замок» и «родник». Способность модели учитывать широкий контекст (длинное контекстное окно) является ключевым фактором её «интеллекта» и связности генерации.
Что такое «Контекст» простыми словами
Одно слово может значить разное. «Коса» у девушки и «коса» у реки. Чтобы понять смысл, нужно прочитать соседние слова. В языковых моделях «контекст» — это тот кусок текста, который модель видит и помнит прямо сейчас. Чем больше контекста модель может удержать в голове, тем точнее и умнее будут её ответы.
Вопросы и ответы
Длина контекста определяет, сколько предыдущей информации «помнит» модель. Большой контекст позволяет LLM писать связные длинные тексты, анализировать книги и поддерживать долгие диалоги.
Модели типа BERT используют механизм внимания, чтобы посмотреть на все слова в предложении. В контексте «стрелять из...» слово «лук» получит вектор, близкий к «оружию», а в «резать...» — к «овощу».
Word2Vec дает один вектор на слово («банк» всегда одинаков). ELMo и BERT генерируют вектор слова динамически, учитывая всё предложение. Вектор «банка» в «банк реки» и «банк денег» будет совершенно разным.
