Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
BERT
Бонус за регистрацию!
Зарегистрируйся и получи бонус
BERT (Bidirectional Encoder Representations from Transformers) — это прорывная языковая модель от Google, основанная на архитектуре Трансформер. Ключевая инновация BERT — двунаправленное обучение, позволяющее модели учитывать контекст слова как слева, так и справа одновременно. BERT стал стандартом для множества задач NLP, включая ответы на вопросы и классификацию.
Что такое «BERT» простыми словами
До BERT нейросети читали текст как люди — слово за словом, слева направо. Но чтобы понять смысл слова «замок», нужно знать контекст («дверной замок» или «средневековый замок»). BERT научился читать предложение целиком, сразу во всех направлениях. Он видит все слова одновременно. Это дало ему суперспособность понимать смысл, сарказм и сложные связи в языке лучше, чем любой алгоритм до него.
Вопросы и ответы
Как устроена модель BERT?
Трансформер от Google (Bidirectional), революционизировавший понимание контекста в NLP.
Как маскирование слов (Masked LM) обучает BERT?
BERT маскирует (скрывает) 15% слов в предложении и пытается их предсказать, используя контекст с обеих сторон. Это учит модель глубокому пониманию языка.
Что такое токен [CLS] в BERT?
Токен [CLS] (Classification) в BERT — это специальный служебный токен, добавляемый в начало каждого предложения. После прохождения через все слои трансформера вектор этого токена считается агрегированным представлением смысла всей последовательности. Именно этот вектор подается на классификатор для задач уровня предложения (sentiment, entailment).
