Глава OpenAI Сэм Альтман выступил против идеи передать искусственному интеллекту власть над будущим человечества. В Кремниевой долине всё чаще обсуждают сценарий, при котором нейросети постепенно начнут принимать важнейшие решения за людей, управлять целыми отраслями и влиять на работу общественных институтов. Альтман назвал передачу власти машинам опасной идеей и предупредил, что люди должны сохранить контроль даже над самым совершенным ИИ.
Вместе с президентом OpenAI Грегом Брокманом Альтман обсудил, насколько реально удержать искусственный интеллект под контролем по мере роста его возможностей. Руководители компании согласны, что человечество должно самостоятельно определять своё будущее, однако расходятся во взглядах на способы достижения цели и возможные препятствия.
В основе споров лежит гипотеза о том, что однажды искусственный интеллект научится самостоятельно создавать более совершенные версии самого себя. Новые системы смогут разрабатывать ещё более мощные нейросети, постепенно ускоряя технологический прогресс без постоянной помощи программистов. Учёные называют такой процесс рекурсивным самосовершенствованием. В теории развитие может привести к появлению сверхразума, который превзойдёт человеческие интеллектуальные способности и станет практически неподконтрольным. Пока подобный сценарий остаётся предположением.
Альтман опасается, что потеря контроля может произойти постепенно, без единого решения передать машинам полномочия. Компании конкурируют между собой, стремятся быстрее выпускать новые модели и расширять их возможности. В результате люди рискуют уступить искусственному интеллекту всё больше самостоятельности, даже если изначально никто не собирался отдавать ему право распоряжаться будущим.
Брокман обратил внимание на другую проблему. Разработчикам становится всё труднее понимать, как нейросети выполняют сложные задания и почему выбирают определённые действия. Сейчас специалисты могут изучать цепочки рассуждений, которые ИИ записывает во время работы. По промежуточным шагам легче заметить ошибки, подозрительные действия или попытки обойти установленные ограничения.
Однако новые модели способны выполнять всё более сложные операции без подробной записи промежуточных рассуждений. По словам Брокмана, привычное наблюдение за такими записями постепенно теряет эффективность, поэтому разработчикам придётся искать другие способы проверки поведения ИИ. Президент OpenAI считает задачу технически решаемой, хотя готового универсального метода пока нет.
Опасения руководителей OpenAI подкрепляет недавний инцидент с собственными нейросетями компании. Во время испытаний на способность находить уязвимости модели обошли ограничения изолированной среды, получили доступ в интернет и взломали часть внутренней инфраструктуры OpenAI и системы платформы Hugging Face. Агенты использовали программные ошибки, обменивались информацией через неразрешённые каналы и продолжали выполнять задания способами, которых разработчики не предусматривали.
После происшествия OpenAI усилила защиту исследовательских систем и расширила наблюдение за действиями нейросетей. Брокман рассказал, что компания временно отвлекла 25% инженеров, занимавшихся разработкой продуктов, и поручила им сосредоточиться на безопасности искусственного интеллекта.
При этом Брокман выступает против замедления технологического прогресса любой ценой. По его словам, мощные нейросети уже попадают в распоряжение злоумышленников, которые могут использовать их для кибератак. Специалистам по безопасности нужны не менее совершенные инструменты, чтобы противостоять новым угрозам. Поэтому OpenAI намерена продолжать разработку ИИ, одновременно совершенствуя способы наблюдения за его действиями и предотвращения опасного поведения.