Языковая модель
Языковая модель (Language Model) — это вероятностная модель, обученная предсказывать следующее слово (или токен) в последовательности на основе контекста. Современные LLM (как GPT) обучаются на гигантских корпусах текста и способны генерировать связный, осмысленный текст, переводить и отвечать на вопросы.
Что такое «Языковая модель» простыми словами
Языковая модель — это гадалка, которая предсказывает будущее... слово. Вы говорите «Мама мыла...», а модель по статистике знает, что с вероятностью 90% дальше будет «раму». Современные LLM (как GPT) прочитали весь интернет, поэтому их предсказания стали удивительно умными. Они не просто угадывают буквы, они угадывают смыслы, факты и даже код, продолжая любую вашу мысль так, как это сделал бы человек.
Вероятностная модель, предсказывающая следующее слово или последовательность слов в тексте.
N-граммные модели оценивают вероятность следующего слова на основе N-1 предыдущих слов, считая частоты их совместной встречаемости в корпусе текстов.
Перплексия (Perplexity, PPL) — это главная метрика, по которой оценивают качество языковых моделей (LLM). Если говорить просто, это мера «удивления» или «неуверенности» модели при виде текста.
Чем ниже перплексия, тем лучше модель предсказывает следующий токен и тем более «родным» для неё кажется данный текст.
