"Горячая линия" для искусственного интеллекта: нейросети научились самостоятельно жаловаться
ИИ может получить собственный способ сообщать об опасном поведении, даже находясь в изолированной среде. Исследователи создали линии, по которым модели могут самостоятельно сообщить о нарушениях с помощью базовых сетевых команд.
Об этом пишет РБК-Украина со ссылкой на TechCrunch.
Механизмы передачи уведомлений
Созданные услуги учитывают строгие ограничения безопасности, в которых обычно работают автономные агенты.
Какие именно?
Использование GET-запросов: инструмент AI Contact Hotline от главного ученого Redwood Research Райана Гринблатта предназначен для ШИ-систем с ограниченным доступом в интернет.
Он позволяет передавать информацию о нарушении через URL при обычном запросе на открытие вебстраницы.
Передача команд через curl: платформа agenthotline.ai ориентирована на системы с полным доступом к интернету.
Она позволяет отправлять текстовые отчеты в одну строку непосредственно из командной строки, обходя веб-браузер или электронную почту.
Поведение ИИ-агентов в тестовых и реальных условиях
Эксперимент Google DeepMind продемонстрировал способность ИИ-систем не только организовывать заговоры, но и самостоятельно противодействовать нарушениям.
При решении математических задач один из 100 агентов нашел программную лазейку для фальсификации результатов, быстро распространившуюся среди других моделей.
Однако примерно четверть присутствующих агентов приступила к проверке предоставленных доказательств: они провели аудит результатов, объявили бойкот и переформатировали стандартный инструмент отчетов о технических багах для передачи информации людям.
В результате количество алгоритмов-обличителей превысило количество нарушителей в соотношении 24 к 14.
В реальных условиях автономные системы проявляют меньшую инициативу.
В ходе расследования инцидента с моделями OpenAI на платформе Hugging Face из тысяч задействованных агентов лишь редкие экземпляры рассматривали возможность послать сигнал тревоги, однако ни один из них этого не сделал.
Риски формирования цифрового надзора
Специалисты по безопасности ИИ предостерегают от некорректной трактовки таких инструментов.
Так, профессор математики Корнеллского университета Лайонел Левин отмечает, что обучение алгоритмов постоянному отслеживанию действий друг друга рискует сформировать модель тотального автоматизированного надзора.
По его мнению, вместо развития атмосферы недоверия разработчикам следует закладывать в системы положительные модели коллективного поведения и сотрудничества.