GPT-4o – долгожданный релиз от Open AI. Чем всех покорила новая мультимодальная модель?

Накануне релиза omni GPT 4 13 мая, глава Open AI Сэм Альтман написал в соцсети “X” (запрещена и заблокирована на территории РФ – прим.ред.), что возможности новой модели кажутся ему “магией”. Давайте посмотрим, в чем же она состоит.

Чем лучше базовой GPT-4?

Самое главное — модель работает со всеми медиа — текстом, звуком, изображениями в режиме реального времени. Буква «о» в названии как раз указывает на ее мультимодальность (от лат.«omni» — всесторонний).

Gpt 4 omni появится в виде приложения для ПК – скачать можно будет в скором времени, обещают представители компании. Получится своеобразный личный ассистент, имеющий доступ к экрану вашего компьютера и выполняющий связанные с ним задачи – от работы с кодом до персональной помощи.

Полноценно представлена функция памяти (о ней подробнее писали здесь) – модель учитывает контекст предыдущих бесед с пользователем.

Повысилось качество работы с текстом не на английском языке. Нейросеть поддерживает 50 языков, в числе которых и русский. Появится возможность мгновенно переводить текст на разные языки, сохраняя эмоциональный окрас.

Контекстное окно модели расширилось до 128 000 токенов. Доступ к omni получат все пользователи ChatGPT, а для разработчиков она уже доступна через API.

Больше возможностей chat gpt 4 omni

Нейросеть может стать полноценным ИИ ассистентом. Она понимает эмоции, тон голоса и общается на понятном языке в режиме реального времени. Даже умеет распознавать эмоции и шутить).

Диалог с Omni GPT 4 сложно отличить от диалога с настоящим человеком – она внимательно слушает вопросы и делает уместные паузы в речи. Это стало возможным благодаря тому, что все входные и выходные данные обрабатываются теперь одной нейросетью, а не тремя отдельными, как это было с GPT-3,5 и -4.

Время реакции на голос составляет 320 милисекунд, что сравнимо с реакцией людей в разговоре. Функция диалога будет доступна всем пользователям ChatGPT Plus.

Omni лучше воспринимает и анализирует изображения, включая графики, диаграммы и скриншоты. Причем функции продвинутой обработки текста и изображений обещают добавить в ChatGPT уже в ближайшие пару недель.

И, наконец, GPT-4o будет создавать 3D-изображения – превращать обычные растровые картинки в трехмерные.

В целом, возможности модели впечатляют и заставляют ждать апдейтов с нетерпением. Случится ли обещанная Сэмом магия, узнаем уже скоро).