OpenAI научила Astra думать иначе: эксперты боятся потерять контроль
OpenAI испытывает технологию, скрывающую ход мыслей новой Astra (фото: Pexels)
OpenAI опробовала в новой модели Astra технологию, которая может сделать мышление ИИ значительно более сложным для контроля. Новый метод заставляет алгоритм многократно обрабатывать один запрос, и это уже вызывало беспокойство экспертов по кибербезопасности.
Об этом пишет РБК-Украина со ссылкой на The Information.
Риски скрытого мышления и реакция экспертов
Обычно последовательная цепь мыслей (Chain of Thought) является основным инструментом для отслеживания ошибок, манипуляций и опасного поведения искусственного интеллекта.
Новая технология "непрозрачной рекуррентности" делает этот процесс значительно сложнее, ведь анализ действий алгоритма становится почти невозможным для внешних наблюдателей.
Эксперты из области ИИ-безопасности остро отреагировали на утечку информации:
Баг Шлегерис (CEO Redwood Research) выразил глубокую встревоженность и отметил, что дальнейшее масштабирование этой технологии может полностью уничтожить возможность мониторинга ИИ.
Цви Мушовиц (специалист по безопасности ИИ) призвал к законодательному регулированию, чтобы остановить опасную гонку между лабораториями и сохранить прозрачность алгоритмов.
Райан Гринблат (главный ученый Redwood Research) выразил опасение, что ИИ полностью перейдет на мышление в скрытом латентном пространстве без доступных для человека логов.
Также стало известно, что использование подобных подходов уже обсуждается в компаниях Anthropic и Google DeepMin .
Позиция OpenAI и будущее технологии
В ответ на обеспокоенность сообщества главный научный сотрудник OpenAI Якуб Пачоцкий подчеркнул, что компания остается приверженной сохранению прозрачных и понятных цепей мнений.
Представители разработчика подчеркивают, что использование нелинейного мышления в Astra ограничено, а сама модель будет оставаться читабельной для мониторинга.
OpenAI также заверили, что не планируют полностью переходить на закрытые форматы мышления и продолжают разработку масштабных систем надзора за безопасностью своих продуктов.
