Накануне релиза omni GPT 4 13 мая, глава Open AI Сэм Альтман написал в соцсети “X” (запрещена и заблокирована на территории РФ – прим.ред.), что возможности новой модели кажутся ему “магией”. Давайте посмотрим, в чем же она состоит.
Чем лучше базовой GPT-4?
Самое главное — модель работает со всеми медиа — текстом, звуком, изображениями в режиме реального времени. Буква «о» в названии как раз указывает на ее мультимодальность (от лат.«omni» — всесторонний).
![GPT 4o превосходит другие модели по результатам тестов](https://ai.mitup.ru/journal/wp-content/uploads/2024/05/unnamed.jpg)
Gpt 4 omni появится в виде приложения для ПК – скачать можно будет в скором времени, обещают представители компании. Получится своеобразный личный ассистент, имеющий доступ к экрану вашего компьютера и выполняющий связанные с ним задачи – от работы с кодом до персональной помощи.
Полноценно представлена функция памяти (о ней подробнее писали здесь) – модель учитывает контекст предыдущих бесед с пользователем.
Повысилось качество работы с текстом не на английском языке. Нейросеть поддерживает 50 языков, в числе которых и русский. Появится возможность мгновенно переводить текст на разные языки, сохраняя эмоциональный окрас.
Контекстное окно модели расширилось до 128 000 токенов. Доступ к omni получат все пользователи ChatGPT, а для разработчиков она уже доступна через API.
![Характеристики omni GPT 4](https://ai.mitup.ru/journal/wp-content/uploads/2024/05/unnamed-1.jpg)
Больше возможностей chat gpt 4 omni
Нейросеть может стать полноценным ИИ ассистентом. Она понимает эмоции, тон голоса и общается на понятном языке в режиме реального времени. Даже умеет распознавать эмоции и шутить).
Диалог с Omni GPT 4 сложно отличить от диалога с настоящим человеком – она внимательно слушает вопросы и делает уместные паузы в речи. Это стало возможным благодаря тому, что все входные и выходные данные обрабатываются теперь одной нейросетью, а не тремя отдельными, как это было с GPT-3,5 и -4.
Время реакции на голос составляет 320 милисекунд, что сравнимо с реакцией людей в разговоре. Функция диалога будет доступна всем пользователям ChatGPT Plus.
Omni лучше воспринимает и анализирует изображения, включая графики, диаграммы и скриншоты. Причем функции продвинутой обработки текста и изображений обещают добавить в ChatGPT уже в ближайшие пару недель.
И, наконец, GPT-4o будет создавать 3D-изображения – превращать обычные растровые картинки в трехмерные.
В целом, возможности модели впечатляют и заставляют ждать апдейтов с нетерпением. Случится ли обещанная Сэмом магия, узнаем уже скоро).