5 октября городской совет Нью-Йорка провел слушания о рисках искусственного интеллекта. Бывшие сотрудники ведущих ИИ-компаний предупреждали о темпах развития технологии и недостаточности мер безопасности. В обсуждении участвовали и представители индустрии.
Одно из наиболее резких выступлений принадлежало бывшему исследователю Anthropic Джейкобу Коксону, который говорил об опасности потери контроля над более мощными системами. Это оценка участника дискуссии, а не установленная вероятность будущей катастрофы.
За громкими предупреждениями стояли вполне конкретные вопросы: кто имеет доступ к результатам проверок, как сообщать об обнаруженных проблемах и можно ли считать заверений производителя достаточным доказательством безопасности.
🏛️ Почему тему обсуждает городской совет
ИИ применяется в продуктах и услугах, с которыми сталкиваются жители: от информационных помощников до систем поддержки решений. Местные власти поэтому интересуются не только тем, что произойдет с технологией через много лет, но и тем, как ею пользуются сейчас.
Слушания позволяют собрать позиции разработчиков, бывших сотрудников, общественных организаций и экспертов. Однако выступление на слушании не равно принятому закону. Предложения о проверках, раскрытии информации или защите информаторов должны пройти соответствующие процедуры.
Общественная организация BetaNYC опубликовала свои письменные материалы к заседанию и указала, что обсуждались также десять связанных законодательных инициатив. При этом сама организация обозначила опубликованный текст выступления как предварительный. Его предложения следует воспринимать как позицию участника, а не готовое решение совета.
⚠️ Какие риски уже существуют, а какие остаются прогнозами
Разговор об опасности ИИ часто соединяет разные явления. Ошибка в справочном ответе, раскрытие персональных данных, небезопасное действие программного агента и гипотетическая потеря контроля над будущей системой требуют разных доказательств и мер.
В документах NIST о генеративном ИИ рассматриваются, среди прочего, недостоверные ответы, информационная целостность, приватность и взаимодействие человека с системой. Эти проблемы можно исследовать на конкретных сценариях использования.
Сценарии масштабной автономности будущих моделей содержат больше неопределенности. Оценки зависят от предположений о возможностях, доступе к ресурсам и поведении систем. Публичное предупреждение опытного исследователя заслуживает рассмотрения, но его нельзя превратить в точный прогноз только из-за прежнего места работы автора.
Полезное обсуждение начинается с уточнения угрозы. Что именно способна сделать система, в каких условиях, с какой частотой это наблюдали и какие последствия возможны? Без таких вопросов слово «опасность» остается слишком широким.
🧰 Чем агент отличается от программы, которая только отвечает
Когда модель составляет текст, ее ошибка обычно остается в ответе до тех пор, пока человек не использует его дальше. У агента могут быть инструменты: работа с файлами, обращение к внешним сервисам, изменение записей или выполнение операций.
Поэтому масштаб последствий зависит не только от качества модели, но и от выданных полномочий. Неверный ответ и неверное действие от имени пользователя - разные ситуации.
OWASP описывает риск избыточной самостоятельности через сочетание слишком широких функций, разрешений и автономии. Даже сравнительно небольшая ошибка становится серьезной, если системе доступны операции, которые для выполнения текущей задачи ей не нужны.
Представим условного помощника, которому поручили подготовить отчет. Если ему достаточно чтения документов, возможность удалять их или отправлять их всем контактам создает лишний риск. Снижение такого риска начинается с ограничения доступа, а не только с просьбы в инструкции «будь осторожен».
📄 Почему чужой текст может стать проблемой безопасности
Одно из направлений атак на ИИ-системы - внедрение инструкций в данные, которые агент читает. Например, в документе или на веб-странице может оказаться текст, пытающийся заставить систему изменить цель, раскрыть информацию или выполнить постороннее действие.
Это называют prompt injection. Опасность состоит в смешении двух ролей текста: содержимого, которое нужно проанализировать, и команды, которой нужно подчиниться.
В руководстве OWASP для агентов подчеркивается необходимость отдельно проверять полномочия на выполнение действий. Решение модели предложить операцию не должно автоматически означать разрешение ее выполнить.
Практические меры включают минимальный необходимый доступ, независимые проверки чувствительных операций, журналирование и возможность остановить процесс. Эти меры не доказывают абсолютную безопасность, но ограничивают последствия ошибки или атаки.
🔍 Что должен проверять независимый аудит
Тестирование полезно, когда его условия соотносятся с реальным применением. Отчет о хороших ответах на учебные вопросы мало говорит о том, как система поведет себя при доступе к почте или при чтении вредоносного документа.
Нужны сведения о версии модели, предоставленных инструментах, правах доступа и условиях испытания. Иначе удачный результат для одной конфигурации легко перенести на продукт, который фактически работает иначе.
BetaNYC предложила привязывать сведения о проверках к идентификатору, включающему разработчика, модель и версию. Смысл такого подхода - дать возможность проследить, какой именно продукт проверяли и к какой версии относится информация об инциденте. Это предложение общественной организации, пока не обязательное правило для всех систем.
Вопрос независимости тоже имеет значение. Проверяющий должен иметь возможность сообщить о неудобном результате. Если доступны только выбранные компанией демонстрации, внешний наблюдатель не видит полной картины.
👥 Зачем обсуждают защиту людей, сообщающих о проблемах
Сотрудник может узнать об ограничениях системы раньше, чем пользователь или регулятор. Поэтому каналы сообщения о рисках и условия, в которых ими можно пользоваться, влияют на качество внешнего контроля.
Однако сообщение информатора также требует проверки. Оно может содержать наблюдаемый инцидент, профессиональную интерпретацию или прогноз. Эти части нельзя автоматически считать одинаково доказанными.
Устойчивая система контроля должна позволять безопасно сообщить о проблеме и затем независимо оценить факты. Она не строится ни на безусловном доверии каждому заявлению, ни на предположении, что разработчик всегда лучше всех оценивает собственный продукт.
💼 Что из этой дискуссии полезно обычному пользователю
При выборе ИИ-сервиса стоит смотреть не только на убедительность текста. Для работы с документами важны условия доступа к данным; для агента - возможность ограничить действия и просмотреть выполненные операции; для ответственных решений - проверяемость источников и результатов.
Фраза «модель стала умнее» не отвечает на вопрос, можно ли дать ей больше полномочий. Способность решать сложные задачи и надежность в конкретной рабочей среде связаны, но не тождественны.
Нью-йоркские слушания пока не установили единый режим для всей индустрии. Они сделали публичным спор о том, кому принадлежит право оценивать допустимый риск. Для пользователей его практический результат будет зависеть от конкретных правил: что проверяют, какую информацию раскрывают и кто может остановить систему, когда она действует неправильно.
