145-страничный доклад DeepMind о безопасности AGI
В среду компания Google DeepMind опубликовала исчерпывающую статью о своем подходе к безопасности AGI, который можно приблизительно определить как искусственный интеллект, способный выполнить любую задачу, которую может выполнить человек.
AGI — это довольно спорная тема в области ИИ, скептики предполагают, что это не более чем несбыточная мечта. Другие, включая крупные лаборатории ИИ, такие как Anthropic, предупреждают, что это не за горами, и может привести к катастрофическим последствиям, если не будут приняты меры по внедрению соответствующих мер безопасности.
145-страничный документ DeepMind, соавтором которого является соучредитель DeepMind Шейн Легг, предсказывает, что AGI может появиться к 2030 году и что это может привести к тому, что авторы называют «серьезным вредом». В статье не дается конкретного определения этого явления, но приводится алармистский пример «экзистенциальных рисков», которые «навсегда уничтожат человечество».
«[Мы ожидаем] разработки исключительного AGI до конца текущего десятилетия», — пишут авторы. «Исключительный AGI — это система, которая имеет возможности, соответствующие по крайней мере 99-му процентилю квалифицированных взрослых в широком спектре нефизических задач, включая метакогнитивные задачи, такие как обучение новым навыкам».
Сразу же в статье сравнивается подход DeepMind к снижению рисков AGI с подходами Anthropic и OpenAI. Anthropic, как говорится в статье, уделяет меньше внимания «надежному обучению, мониторингу и безопасности», в то время как OpenAI чрезмерно оптимистично настроена по поводу «автоматизации» формы исследования безопасности ИИ, известной как исследование выравнивания.
В статье также ставится под сомнение жизнеспособность сверхразумного ИИ — ИИ, который может выполнять работу лучше любого человека. (OpenAI недавно заявила, что меняет свою цель с ИИОН на сверхразум.) При отсутствии «значительных архитектурных инноваций» авторы DeepMind не убеждены, что сверхразумные системы появятся в ближайшее время — если вообще появятся.
Однако в статье находит правдоподобным, что текущие парадигмы позволят «рекурсивное улучшение ИИ»: положительная обратная связь, в которой ИИ проводит собственные исследования ИИ для создания более сложных систем ИИ. И это может быть невероятно опасно, утверждают авторы.
На высоком уровне статья предлагает и отстаивает разработку методов, которые блокируют доступ злоумышленников к гипотетическому AGI, улучшают понимание действий систем ИИ и «укрепляют» среду, в которой может действовать ИИ. Она признает, что многие из методов находятся в зачаточном состоянии и имеют «открытые исследовательские проблемы», но предостерегает от игнорирования проблем безопасности, которые могут появиться на горизонте.
«Трансформационная природа AGI имеет потенциал как для невероятных преимуществ, так и для серьезного вреда», — пишут авторы. «В результате, чтобы создавать AGI ответственно, разработчикам передового ИИ крайне важно заранее планировать смягчение серьезного вреда».
Однако некоторые эксперты не согласны с положениями статьи.
Хайди Кхлааф, главный научный сотрудник по ИИ в некоммерческой организации AI Now Institute, заявила TechCrunch, что, по ее мнению, концепция AGI слишком плохо определена, чтобы ее можно было «строго оценить с научной точки зрения». Другой исследователь ИИ, Мэтью Гуздиал, доцент Университета Альберты, сказал, что в настоящее время не считает, что рекурсивное улучшение ИИ реалистично.
«[Рекурсивное улучшение] является основой аргументов о сингулярности интеллекта, — сказал Гуздиал TechCrunch, — но мы никогда не видели никаких доказательств того, что это работает».
Сандра Вахтер, исследователь, изучающий технологии и регулирование в Оксфорде, утверждает, что более реалистичной проблемой является усиление ИИ с помощью «неточных результатов».
«С распространением генеративных результатов ИИ в Интернете и постепенной заменой подлинных данных модели теперь учатся на собственных результатах, которые пронизаны ложью или галлюцинациями», — сказала она TechCrunch. «На данном этапе чат-боты в основном используются для поиска и установления истины. Это означает, что мы постоянно рискуем получить ложь и поверить в нее, потому что она представлена очень убедительно».
Несмотря на всю полноту доклада DeepMind, он вряд ли положит конец спорам о том, насколько реалистичен ИИ, а также о тех областях безопасности ИИ, которые требуют наибольшего внимания.