Безопасность и управление AGI

Уровень 0 · материалов: 2

В кластер входят документы о рисках возникновения сверхразума и методах обеспечения контроля над AGI, но не документы об экономике и коммерциализации его разработки.

Общие признаки: общий искусственный интеллект (AGI), риски потери контроля, механизмы безопасности, стратегии сдерживания

Группа выше: Экзистенциальные риски и контроль над ИИ

Материалы

• #3387 — Analysis of Leopold Aschenbrenner's AGI Forecasts — Представитель этого кластера

  Разбор документа про AGI от Леопольда Ашенбреннера, бывшего сотрудника OpenAI — jstmeowme

  Смысл: The main idea is that AGI is imminent (by 2027) and will trigger a rapid escalation to superintelligence, necessitating a massive national security mobilization by the US to secure infrastructure and ensure the technology is developed safely and remains under democratic control.

  Former OpenAI employee Leopold Aschenbrenner warns that AGI will arrive by 2027, leading to a superintelligence explosion that requires trillion-dollar infrastructure and urgent military-grade security to prevent global catastrophe or authoritarian dominance.

• #18272 — Google DeepMind's 'Big Red Button' for AI Control

  Скайнет не пройдет. Google DeepMind разрабатывает «большую красную кнопку» для отключения искусственного интеллекта — marks

  Смысл: The main idea is that as we progress toward Strong AI and the possibility of an intelligence explosion, it is critical to develop foolproof safety mechanisms (like the 'big red button') to ensure humans retain the ability to shut down autonomous systems before they become uncontrollable.

  Researchers from Google DeepMind and Oxford are creating a fail-safe 'off switch' to prevent future super-intelligent AI from ignoring human commands or becoming a threat to humanity.