Возможности
Возможности GPT-4 улучшены по сравнению с предыдущей моделью, GPT-3.5, в плане надежности, креативности и работы с нюансами инструкций. OpenAI протестировал модель на различных эталонах, включая симулированные экзамены, разработанные для людей, и обнаружил, что GPT-4 превосходит существующие большие языковые модели. Она также хорошо работает на других языках, помимо английского, включая языки с низким уровнем ресурсов, такие как латышский, валлийский и суахили.
Визуальные входы
GPT-4 может принимать в качестве входных данных как текст, так и изображения, что позволяет ему генерировать текстовые выходные данные на основе входных данных, состоящих как из текста, так и из изображений. Хотя возможность визуального ввода данных в модели все еще находится на стадии предварительных исследований, она продемонстрировала возможности, схожие с возможностями ввода только текста.
Управляемость
OpenAI работает над каждым аспектом плана, изложенного в его сообщении об определении поведения ИИ, включая управляемость. Теперь разработчики могут прописать стиль и задачу своего ИИ, описав направления в сообщении "system". Пользователи API могут настраивать опыт своих пользователей в пределах границ, что позволяет значительно персонализировать их.
Ограничения
GPT-4 не совершенен и имеет те же ограничения, что и более ранние модели GPT. Она все еще может "галлюцинировать" факты и допускать ошибки в рассуждениях, поэтому следует проявлять осторожность при использовании результатов языковой модели, особенно в условиях высоких ставок. GPT-4 не знает о событиях после сентября 2021 года, что может привести к простым ошибкам в рассуждениях и принятию ложных утверждений за истинные. Он также может не справиться с такими сложными проблемами, как люди, например, внести в свой код проблемы безопасности. GPT-4 может делать уверенные, но неверные прогнозы и не всегда тщательно проверяет свою работу. Интересно, что базовая модель хорошо предсказывает точность своих ответов, но эта способность снижается после посттренировочного обучения.
Риски и меры по их снижению
Хотя возможности GPT-4 значительны, он создает новые риски, такие как генерация вредных советов, баг-кода или неточной информации. OpenAI работает над снижением этих рисков, привлекая более 50 экспертов к неблагоприятному тестированию модели и собирая дополнительные данные для улучшения способности GPT-4 отклонять опасные запросы. В результате OpenAI внесла множество улучшений в GPT-4, чтобы сделать его более безопасным, чем GPT-3.5. GPT-4 на 82% реже выдает неподходящий контент, чем предыдущая версия, и лучше следует политике в отношении таких деликатных тем, как медицинские советы и самоповреждения. Хотя OpenAI сделал модель более устойчивой к плохому поведению, создание контента, противоречащего правилам использования, все еще возможно. GPT-4 может быть полезным или вредным для общества, говорит OpenAI, поэтому она работает с другими исследователями, чтобы понять потенциальные последствия.
Процесс обучения
Как и предыдущие модели GPT, базовая модель GPT-4 была обучена предсказывать следующее слово в документе, используя общедоступные данные и данные, лицензированные OpenAI. Тонкая настройка поведения модели с помощью обучения с подкреплением и обратной связью с человеком (RLHF) привела ее в соответствие с намерениями пользователя в пределах ограждений.
Предсказуемое масштабирование
Значительное внимание в проекте GPT-4 уделяется созданию стека глубокого обучения, который предсказуемо масштабируется. OpenAI разработала инфраструктуру и оптимизацию с предсказуемым поведением в различных масштабах и может точно предсказать конечный проигрыш GPT-4 во время обучения.
Доступность
Microsoft подтверждает, что новый поисковый опыт Bing теперь работает на GPT-4. Хотя он имеет ограничение по использованию, вы также можете получить доступ к GPT-4 с подпиской ChatGPT Plus. OpenAI может регулировать лимит использования в зависимости от спроса и производительности системы. Компания рассматривает возможность добавления еще одного уровня подписки, чтобы обеспечить более широкое использование GPT-4. Чтобы получить доступ к API GPT-4, необходимо записаться в лист ожидания.
Заключение
Создание GPT-4 знаменует собой важную веху в усилиях OpenAI по расширению масштабов глубокого обучения. Несмотря на свое несовершенство, он показал результаты на уровне человека в различных академических и профессиональных тестах, что делает его мощным инструментом. Однако следует проявлять осторожность при использовании результатов языковых моделей в контекстах с высокими ставками. OpenAI работает над снижением рисков и созданием стека глубокого обучения, который предсказуемо масштабируется, что будет иметь решающее значение для будущих систем ИИ.
Источник: searchenginejournal.com
