OpenAI включила в совет своей некоммерческой структуры Пола Кристиано – специалиста по безопасности искусственного интеллекта, который ранее предупреждал о потенциально катастрофических последствиях развития передовых моделей ИИ, пишет газета Financial Times.
Кристиано работает старшим техническим советником в Центре стандартов и инноваций в области искусственного интеллекта при Министерстве торговли США. Ранее он руководил направлением безопасности ИИ в этой организации, где участвовал в государственных испытаниях наиболее современных моделей ведущих компаний и оценивал связанные с ними риски для национальной безопасности.
Объявляя о новом назначении, Кристиано заявил, что вероятность потери контроля над системами ИИ "сейчас стала острой". По его оценке, создание сверхинтеллекта без более надёжных механизмов согласования с человеческими интересами может привести к тому, что люди окончательно утратят возможность управлять технологией.
"Если это произойдёт, большинство людей может погибнуть", – заявил специалист. Он также отметил необходимость координации действий на национальном и международном уровнях для снижения рисков.
Кристиано считает, что ускорение развития возможностей ИИ уже в ближайшее время может привести к "катастрофической и необратимой потере контроля". При этом он заявил, что нынешние меры безопасности в индустрии, включая OpenAI, по его мнению, пока не позволяют снизить угрозу до приемлемого уровня.
В OpenAI сообщили, что Кристиано будет входить в совет OpenAI Foundation – некоммерческой структуры, контролирующей коммерческое подразделение компании. Он также присоединится к комитету по безопасности и защите и станет наблюдателем без права голоса в совете директоров OpenAI PBC.
При рассмотрении вопросов, связанных с OpenAI, включая оценку её моделей, Кристиано будет отстраняться от соответствующей работы в качестве советника государственного центра.
Назначение произошло после ряда инцидентов, связанных с безопасностью ИИ. В частности, независимая организация Model Evaluation & Threat Research, созданная на базе основанного Кристиано Alignment Research Center, в прошлом месяце опубликовала первый независимый аудит кибератаки ИИ-агентов OpenAI на стартап Hugging Face, работающий с моделями и наборами данных.
Кристиано считается одним из специалистов, сыгравших заметную роль в исследованиях безопасности ИИ. В 2021 году он основал Alignment Research Center. С 2017 по 2021 год Кристиано работал в команде безопасности OpenAI и участвовал в разработке методов обучения с подкреплением на основе обратной связи от человека.
Назначение также стало частью более широкого процесса привлечения технологическими компаниями специалистов из государственных структур, академической среды и политики. В OpenAI ранее перешли бывший советник Белого дома Дин Болл, экс-помощник Билла Клинтона Крис Лихейн и бывший канцлер Великобритании Джордж Осборн.