Информационная энтропия

Информационная энтропия является фундаментальной мерой неопределённости или случайности в наборе данных, которая количественно определяет среднее количество информации, содержащееся в сообщении или наборе данных. В контексте машинного обучения энтропия используется для оценки качества разбиения данных при построении деревьев решений, для измерения информативности признаков, а также как компонент различных функций потерь. Она играет ключевую роль в алгоритмах сжатия данных и оптимизации моделей, помогая определить оптимальное количество битов, необходимых для кодирования информации.

Что такое «Информационная энтропия» простыми словами

Представь, что ты играешь в игру "Угадай число от 1 до 100". Если собеседник отвечает только "больше" или "меньше", то количество неопределённости (энтропия) постепенно уменьшается с каждым вопросом. Информационная энтропия измеряет именно эту неопределённость: чем она выше, тем больше "сюрпризов" или неожиданной информации содержится в данных. Это как мера хаотичности: предсказуемое сообщение вроде "солнце встает утром" имеет низкую энтропию, а случайный набор букв - высокую.