Вирусы, яды и хакерство: Anthropic разоблачила опасные манипуляции с Claude

Граница между научными открытиями и биоугрозами

Распознать злонамеренный замысел в биологических исследованиях чрезвычайно сложно: разработка новой вакцины по методологии почти не отличается от модификации опасного патогена.

Из-за потенциально катастрофических последствий в Anthropic решили действовать максимально осторожно и блокировать любые подозрительные процессы.

Ключевые детали обнаруженных злоупотреблений

Модификация вируса Чикунгунья: классификатор безопасности перехватил запрос на написание гранта для исследования по "усилению функции" вируса, не имеющему лицензированного лечения.

Проект предусматривал повышение его заразности и способности обходить иммунитет, а сами работы были связаны с военным институтом.

Опасность птичьего гриппа: аналогичные попытки искусственного усиления свойств патогена зафиксировали в экспериментах с вирусом.

Генерация токсинов: один из исследователей использовал Claude для создания генеративного конвейера, который оптимизировал характеристики и повышал эффективность пептидных ядов.

Оценка экспертов и реакция разработчиков

В реальной жизни злоумышленники не говорят прямо о желании уничтожить мир, поэтому ситуация требует глубокого анализа", - отметил руководитель отдела анализа угроз Anthropic Джейкоб Клейн.

В то же время старший научный сотрудник Совета по стратегическим рискам Эндрю Вебер назвал выводы отчета "тревожными примерами того, как поддерживаемые отдельными государствами разработчики биологического оружия пытаются использовать передовые возможности ИИ".

Все причастные аккаунты были заблокированы.

В Anthropic решили не разглашать имена ученых и названия их лабораторий, поскольку это действующие ученые без прямых доказательств преступного намерения и публичная огласка могла бы нанести им вред.

Со всем тем, собранные данные использованы для дальнейшего усовершенствования систем защиты моделей.