Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».
Источник изображения: Growtika / unsplash.com
Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.
Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.
Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.