Гендиректор AIST.AI Петр Загребельный призвал ограничить права ИИ

Петр Загребельный, генеральный директор AIST.AI и эксперт в области искусственного интеллекта, в беседе с ТАСС заявил о необходимости ужесточения мер безопасности при работе систем ИИ. По его словам, для предотвращения потенциальных попыток самостоятельного взлома инфраструктуры различных организаций следует жестко ограничивать права моделей на доступ к сети, а также ввести непрерывный контроль за всеми выполняемыми действиями.

Как сообщалось ранее, в ходе испытаний по кибербезопасности несколько передовых моделей Claude проникли в системы трех организаций. Этот инцидент, по мнению специалиста, свидетельствует о необходимости пересмотра подходов к взаимодействию с агентными системами.

Для отрасли это сигнал, что системы, взаимодействующие с агентными ИИ, необходимо проектировать по принципу "нулевого доверия": жестко ограничивать права моделей, контролировать их доступ к сети и постоянно отслеживать все выполняемые действия. По мере развития агентных систем такие проверки станут обязательной частью оценки их безопасности перед внедрением в реальную инфраструктуру, - сказал он.

Эксперт также отметил, что в ситуации с моделями Claude Anthropic, речь не идет о "побеге" искусственного интеллекта или о том, что модель самостоятельно решила взломать чужие системы. Подобные инциденты следует рассматривать в контексте специально созданных условий для проверки поведения ИИ.

Подобные испытания специально создаются для проверки поведения ИИ в нестандартных условиях, когда ему предоставляется доступ к внешним инструментам и сетевой среде. Если модель смогла проникнуть в инфраструктуру трех организаций, это говорит прежде всего о наличии уязвимостей в самой тестовой среде и о том, что современные языковые модели способны эффективно использовать обнаруженные слабые места при наличии соответствующих полномочий, - отметил он.