C недавнего времени я отдельно следил за одной линией: автономность - потеря контроля - военное применение.
Побеги агентов из песочниц здесь уже обсуждали. Но меня зацепила одна деталь: что именно мы называем контролем человека? Возможность потом разобраться, что произошло? Или возможность действительно остановить происходящее?
В отчёте OpenAI об обходе ограничений через DNS агенту поручили обычную поисковую задачу. Он самостоятельно нашёл способ обратиться к внешнему чатботу через канал, который разработчики не перекрыли.
Мониторинг заметил нарушение примерно за 12 минут. Через три минуты человек подтвердил получение тревоги. Но предусмотренная автоматическая остановка не сработала. Запуск прекратили вручную примерно через два с половиной часа после тревоги.
Вот этот промежуток меня и интересует.
Нарушение обнаружили. Человек был в контуре. Система предупреждения работала. А выполнение продолжалось.
По одному инциденту нельзя объявлять всю технологию неуправляемой. Но он показывает, что обнаружение нарушения, понимание происходящего и остановка — три разные задачи. Наличие первой ещё не гарантирует две остальные.
При этом речь об агенте, который пытался решить поставленную задачу. Для такого поведения ему не понадобились ни ненависть к людям, ни желание захватить мир.
Теперь рядом идёт другая линия.
22 сентября британское правительство сообщило о пуске тяжёлой торпеды с необитаемого подводного аппарата Excalibur и о новом сотрудничестве США и Великобритании в области военного ИИ и автономности. Сам по себе этот пуск не доказывает, что решение о применении оружия принимал ИИ. Но вооружённая необитаемая платформа уже прошла реальные испытания.
30 сентября Пентагон объявил о создании Autonomous Warfare Command — командования для развития и масштабирования автономных и роботизированных систем. Это пока объявленный проект, но автономности уже готовят отдельное место в военной организации.
Разумеется, поисковый агент и система управления оружием — разные системы. Переносить поведение одного на другую напрямую нельзя. Я смотрю на общий вопрос: насколько надёжно человек сможет вмешаться, когда самостоятельности становится больше, а времени на решение — меньше?
В изученных мной источниках я пока не нашёл достоверно подтверждённого боевого случая, где ИИ сам нашёл человека, признал его целью и применил оружие без человеческой санкции. Это существенная граница, и перепрыгивать через неё в рассуждениях я бы не стал.
Но для меня тревожный сценарий складывается раньше.
Мы поручаем системе всё более длинную цепочку действий. Человеку оставляем подтверждение — возможно, уже готового решения. Затем выясняется, что для содержательной проверки ему нужно больше времени, чем допускает ситуация.
И вот тут «человек в контуре» рискует превратиться в человека, который присутствует, но уже не успевает ничего проверить.
Поэтому дальше я буду смотреть прежде всего на три вещи: видит ли оператор действия системы, может ли остановить её независимо от её поведения и успевает ли сделать это до необратимых последствий.
Потому что если в поисковой задаче между тревогой и остановкой проходят часы, мне хочется понимать, чем именно гарантируется другой результат там, где последствия наступают за секунды.
До киношного Skynet ещё далеко. А вот вопрос, кто действительно держит руку на рубильнике, уже вполне сегодняшний.
Из США идут не только плохие новости насчет занятости ИИ. Министр финансов США Скотт Бессент заявил о беспрецедентном открытии компаний уровня «один человек», напоминающих наших ИП. Это основная масса заявок на открытие нового бизнеса. Действительно, до COVID обычный уровень заявок на открытие бизнеса был 3–3,5 млн, это ежемесячно — порядка 300–400 тыс. С 2001 года уровень заявок подрос, но лавинообразно стал набирать силу с момента появления ИИ на рынке. За 2025 год было подано 5,67 млн заявок. В июле 2026 было подано 579 тыс. заявок.
