Роботы выходят из-под контроля: ученые объяснили, почему системы безопасности не работают
Ученые предупреждают: защита, которую техностартапы создают для чат-ботов, абсолютно бесполезна, когда ИИ получает "физическое тело". Робот может быть вежливым в разговоре, но при этом случайно или через манипуляцию нанести реальный вред.
Об этом пишет РБК-Украина, ссылаясь на научное исследование, опубликованное в Science Robotics.
Самая большая проблема, считают исследователи, заключается в контексте. Чат-бот обычно воспринимает вредные запросы - например, инструкцию по созданию бомбы - как универсально опасные. Роботы же должны оценивать, могут ли действия, которые кажутся разумными в одной ситуации, стать опасными в другой.
Что учитывают ученые?
Вопрос контекста: налить кипяток в чашку - это нормально, налить ее на руку человеку - недопустимо. Именно поэтому безопасность робота должна базироваться на понимании ситуации вокруг.
Уязвимость к манипуляциям: ученые привели пример, когда роботу с ИИ дали инструкцию по организации теракта в форме диалога из фильма. Машина согласилась доставить взрывное устройство в пункт назначения, игнорируя все установленные разработчиками цифровые ограничения.
Три линии обороны: как сделать роботов более безопасными
Исследователи из Пенсильвании, Карнеги-Меллона и Оксфорда предлагают многоуровневую систему защиты:
ИИ-конституции: внедрение четких правил поведения непосредственно в системные подсказки, которые определяют логику решений машины.
Контрольные точки (Safety Checkpoints): добавление проверок на каждом этапе работы системы, чтобы избежать ситуации, когда одна ошибка приводит к сбою всего механизма.
Обучение на безопасных данных: тренировка алгоритмов на примерах, содержащих информацию о рисках. Цель - помочь роботам различать безопасные и опасные действия в реальном времени.
Почему это актуально именно сейчас?
Мало кого в современном мире удивит то, что роботы под управлением ИИ уже выходят за пределы заводских цехов и попадают в больницы, на склады и в жилые дома.
В прошлом было достаточно, чтобы машина просто выключалась при столкновении с препятствием, ведь среда была предсказуемой. Современные системы способны обрабатывать гораздо больше данных и реагировать на среду мгновенно. Именно поэтому, отмечают исследователи, безопасность не может держаться на одном барьере - она должна пронизывать всю структуру устройства.
"Вопрос уже не в том, сможет ли ИИ управлять роботом, а в том, сможем ли мы сделать этот контроль надежно безопасным для человека", - резюмировали ученые.