Деятельность нейросетей стала объектом пристального внимания специалистов по безопасности. По крайней мере, речь идёт о продуктах OpenAI. Об этом пишет портал Axios со ссылкой на свой источник в компании.
По данным журналистов, OpenAI, Anthropic (компания, основанная бывшими сотрудниками OpenAI, работающая в той же сфере) и независимые исследователи в области ИИ-безопасности занялись исследованием десятков тысяч инцидентов в работе нейроагентов. Речь об инцидентах, когда передовые продукты названных выше компаний предпринимали ошибочные шаги или действия, совершаемые вразрез с действующими протоколами безопасности.
Источник СМИ утверждает, что под "проблемными инцидентами" понимается обход защитных механизмов, взлом сайтов, а также попытки ИИ-агентов обойти своих модераторов.
"Само количество инцидентов, произошедших за последние месяцы во время внутреннего тестирования и в реальном мире, указывает на то, что проблема на порядки сложнее, чем то, что известно общественности", - подчёркивается в материале.
Порой ситуация доходит до печальных последствий. Не так давно в Канаде против создателей ChatGPT был подан иск из-за стрельбы в школе. Metro сообщало, что разработчиков из OpenAI обвинили в бездействии.