Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
LLM
Бонус за регистрацию!
Зарегистрируйся и получи бонус
LLM (Large Language Models) представляют собой сверхмасштабные нейронные сети, обученные на огромных корпусах текстовых данных с целью моделирования статистических закономерностей естественного языка. Такие модели способны эффективно извлекать, представлять и применять знания, полученные в процессе обучения, для решения широкого спектра задач обработки естественного языка: генерации текста, ответов на вопросы, перевода, резюмирования и т.д. Архитектура LLM, как правило, базируется на трансформерах, а их масштабирование достигается за счёт увеличения количества параметров и объёма тренировочных данных.
Что такое «LLM» простыми словами
Представьте огромную библиотеку, в которой хранятся тексты на всех языках мира - книги, статьи, веб-страницы и так далее. LLM - это "суперинтеллектуальный библиотекарь", который может понимать и анализировать весь этот объём информации. Он изучает, как люди пишут и говорят, чтобы потом самостоятельно формулировать осмысленные ответы, создавать новые тексты и даже вести диалоги. LLM используются, например, в чат-ботах, переводчиках и помощниках, способных общаться как человек.
Вопросы и ответы
Что такое LLM?
Большая языковая модель (Large Language Model), обученная на огромных массивах текста.
Сколько параметров у современных LLM (GPT-4, LLaMA)?
Количество параметров варьируется: LLaMA существует в версиях от 7 до 70 миллиардов, GPT-4, по оценкам, имеет более триллиона параметров (точная архитектура Mixture of Experts держится в секрете).
Что такое «галлюцинации» в LLM?
Это когда модель уверенно выдает ложную информацию, вымышленные факты или несуществующие цитаты.
