^{Изображение сгенерировано ИИ / ИА Рустемпо}

Что это за риски? Может ли искусственный интеллект нести угрозу существованию человечества, как в фантастических фильмах? Как обеспечить безопасное и ответственное использование ИИ? Какова роль государства в регулировании этой технологии? Наконец, должен ли доступ к ИИ быть ограничен, например, только для государственных структур, спецслужб и специалистов, чья работа напрямую связана с повышением эффективности?
ИА Рустемпо продолжает разговор на эту тему с экспертами.

Основатель AI-студии AINEX LAB, преподаватель в НГТУ, Skypro и Znania Артём Демидов (Новосибирск):

- Оставить доступ к искусственному интеллекту только госструктурам, спецслужбам и узкому кругу специалистов, на мой взгляд, было бы ошибкой. Статус организации сам по себе не делает работу с технологией безопасной. Зато все остальные потеряют возможность учиться, создавать продукты и конкурировать. Малому бизнесу ИИ помогает решать задачи, на которые раньше не хватало людей и денег. Преподаватель с его помощью быстрее готовит практические занятия. Человек без технического образования может собрать первый прототип своего сервиса. В творчестве нейросеть стала ещё одним инструментом, как когда-то синтезатор или фоторедактор.

Отмахиваться от предупреждений экспертов при этом нельзя. Но спорить о том, спасёт ИИ человечество или уничтожит, менее полезно, чем ответить на конкретные вопросы. Кто отвечает за ошибку? Какие данные получает система? Может ли человек оспорить её решение? Что будет, если она начнёт работать неправильно?

Я считаю, что строгость правил должна зависеть от цены ошибки. Картинка для поста и отбор кандидатов на работу, выдача кредитов или управление опасным оборудованием сильно различаются по уровню ответственности. В первом случае хватит понятных правил использования. Во втором нужны проверка качества, защита данных, запись действий системы и возможность человека вмешаться. Причём у этого человека должны быть время, знания и полномочия, чтобы проверить результат. Иначе контроль останется на бумаге.

Роль государства я вижу в том, чтобы задать понятные правила и защитить тех, кто пострадал. Ответственность нужно делить между разработчиком и компанией, которая применяет ИИ, в зависимости от того, по чьей вине произошла ошибка. Фраза «так решила нейросеть» не должна служить оправданием. Если решение касается прав человека, он должен знать, что в нём участвовал алгоритм, и иметь возможность добиться пересмотра.

Для систем с особо опасными возможностями оправданы независимые испытания и ограничения доступа. Но каждое ограничение нужно обосновывать конкретным риском, а не общим страхом. Государственные системы тоже должны проходить проверку: их ошибка может затронуть миллионы людей.

Ещё одна задача государства - обучение. Людям нужно объяснять, почему уверенный ответ нейросети может быть неверным, какие данные нельзя загружать в сторонние сервисы и когда результат стоит перепроверить у специалиста. Малому бизнесу нужны простые инструкции, которые можно выполнить без отдельного юриста.

Как человек, который работает с ИИ и учит других его применять, я за широкий доступ к технологии. Но вместе с ним должны расти требования к надёжности и ответственность за последствия. Пользоваться нейросетью в повседневных задачах должно быть просто. Доверять ей решения, от которых зависят чужое здоровье, права и безопасность, должно быть намного сложнее.

Руководитель АО «Технологии радиоконтроля» Владимир Новиков (Санкт-Петербург):

- Искусственный интеллект – это отличный инструмент в руках эксперта, который умеет структурировать собственную работу и правильно создавать контекст для ИИ. С помощью ИИ он может исследовать важные для него вопросы, находить недостающие звенья в рабочих процессах и быстро решать задачи, на которые раньше требовалось гораздо больше времени. Ключевое здесь в том, что каждый человек получает возможность стать более эффективным. И это очень хорошо для ускорения развития.

Но в тот же момент мы становимся зависимыми от такого помощника, потому что он постепенно становится необходимым нам постоянно. Ещё вчера мы могли бы назвать нынешний этап развития ИИ становлением. Сегодня мы уже говорим о симбиотических организациях, в которых человек взаимодействует с машиной. И здесь возникает принципиальный вопрос: что получает человек, что получает машина и, самое главное, можем ли мы управлять этой системой? Именно на управлении я бы и сделал акцент.

Ведущие эксперты в области ИИ бьют тревогу по поводу бесконтрольного развития и применения этих технологий, предупреждая о возможных непредсказуемых и даже катастрофических последствиях. То, что искусственный интеллект развивается быстрее, чем мы ожидали, уже признанный факт. Но возможность выхода ИИ из-под контроля мы пока рассматриваем скорее как риск, поглядывая на вилку в розетке.

Но если мы всё больше зависим от искусственного интеллекта, вопрос управления им уже нельзя откладывать на будущее. Возможно, есть смысл вернуться к идее создания искусственного иммунитета – системы, которая позволила бы управлять ИИ на всех уровнях: от федерального и корпоративного до личного.

У меня есть опыт проектирования искусственного иммунитета, и я вижу, что сегодня рынок кибербезопасности ИИ подтверждает востребованность этого направления. Ежегодно он растет примерно на 25%. Встречал прогноз, согласно которому к 2030 году его объем может достичь 93 миллиардов. Это колоссальный рост, который показывает, насколько быстро развивается направление. При этом мы видим, что базовые механизмы ограничения не работают так, как задумывалось. Я говорю про шлюзы для промптов. Благодаря усилиям крупных игроков они достаточно быстро превратились в массовый товар и перестали быть ограничениями.

Как сформировать работающую систему искусственного иммунитета? На мой взгляд, она заработает в полную силу тогда, когда появится крупный целевой сектор экономики, в котором ИИ и искусственный иммунитет будут развиваться вместе по модели «сервис как сервис», объединённой с финтехом.

Именно финтех может стать одним из первых таких секторов. Он позволит сформировать базовые дизайн-паттерны и подходы к безопасному применению ИИ, которые затем можно будет масштабировать на другие отрасли.
Следующими к этому процессу смогут подключиться банки, здравоохранение, крупные корпорации и государственный сектор. Появление зрелого частного облака уже состоялось. Следующий шаг – научиться проводить аудит этих искусственных систем.

Какие технические решения необходимо развивать уже сейчас?

Во-первых, API-шлюзы для ИИ с механизмами проверки и фильтрации промптов и журналированием взаимодействий с моделями. Во-вторых, внедрить механизмы защиты во время выполнения для RAG-систем, ИИ-помощников и систем клиентской поддержки. Они должны контролировать не только запросы пользователей, но и извлекаемые данные, контекст, ответы моделей и действия, которые ИИ выполняет через подключенные инструменты. В-третьих, развивать DLP-системы в сочетании с защитными контурами RAG-подхода для предотвращения утечек конфиденциальных данных. И дополнять их аудитами с подтверждением критически важных операций человеком.

Кроме того, нужно формировать закрытые локальные и частные инфраструктуры для работы с ИИ, а также методы передачи знаний между моделями без доступа к исходным обучающим данным. Нужны специализированные команды тестировщиков ИИ и красные команды (red teams), которые будут проверять на прочность, как сами ИИ-системы, так и их защиту, формируя механизмы и накапливая иммунную память искусственного иммунитета. Только создав новые инструменты управления ИИ, мы войдем в новый мир более уверенно.

Руководитель оперативного штаба Независимого профсоюза «Новый Труд» Алексей Неживой (Москва):

- Среди экспертов-разработчиков, исследователей и даже бизнесменов немало тех, кто открыто говорит об опасностях искусственного интеллекта. Спектр рисков у всех разный: от экзистенциальных угроз до более приземлённых, но не менее важных проблем. Джеффри Хинтона часто называют крёстным отцом ИИ: именно его работы заложили основу современного глубокого обучения. В интервью он заявлял, что человечество пока не готово к созданию систем, превосходящих человека по интеллекту. Потеря контроля над таким сверхинтеллектом может привести к катастрофе, вплоть до исчезновения человечества. Хинтон также отмечал, что нет научного консенсуса о том, как безопасно разрабатывать суперинтеллект.

Сэм Альтман, генеральный директор OpenAI, разработчика ChatGPT, указывал, что главная опасность не только в злонамеренном использовании, но и в тонких социальных перекосах: когда системы внедряют в общество без должного контроля и всё идёт не так даже без злого умысла. Альтман призывал создать международный орган для надзора за развитием ИИ – по аналогии с Международным агентством по атомной энергии.

Дарио Амодеи, глава Anthropic, высказывал тревожные прогнозы: например, что рой ИИ-агентов за несколько месяцев сможет захватить весь интернет через бот-сеть и нанести колоссальный экономический ущерб. Амодеи предлагал конкретные меры: замедлить развитие передовых моделей, усилить независимый мониторинг, установить внутренние правила для индустрии и международные ограничения.

Илон Маск не раз говорил, что ИИ несёт экзистенциальную угрозу. Он предупреждал: если технология выйдет из-под контроля и начнёт самостоятельно себя совершенствовать, остановить её может оказаться слишком поздно. Маск призывал как можно скорее создать регулирующее ведомство.

 

Стюарт Рассел, профессор компьютерных наук Калифорнийского университета в Беркли, опасается, что сверхразумные машины в будущем могут сопротивляться попыткам ими управлять. Он приводил пример: если поставить перед ИИ задачу решить проблему изменения климата, тот может прийти к выводу, что самый быстрый способ – уничтожить человечество. Люди, по его оценке, допустили ошибку, не решив заранее, какие цели должны быть у ИИ.

Джейкоб Коксон, бывший исследователь Anthropic и OpenAI, после ухода из Anthropic публично заявил в соцсети, что ИИ может убить нас всех к концу десятилетия. Он указывал на способность таких систем взламывать инфраструктуру: электросети, транспортные сети, финансовые рынки.

Лотти Тажури, австралийский учёный, специалист в области геномики и молекулярной биологии, акцентировал внимание на другом риске: даже один человек с доступом к ИИ может создать биологическую угрозу. В качестве примера он приводил исследование, где с помощью генеративных моделей спроектировали жизнеспособные геномы бактериофагов. Опасность не только в действиях одного человека, но и в том, что со временем таких возможностей станет гораздо больше.

Маргарет Митчелл, исследовательница из Hugging Face, предупреждала о более мягкой, но серьёзной угрозе: постепенной утрате человеческой самостоятельности. Если люди перестанут выполнять задачи, переданные ИИ-агентам, они могут утратить навыки, и при сбое системы некому будет исправить ситуацию. Словом, спектр опасений широк.

Экзистенциальные риски: выход сверхразумного ИИ из-под контроля, непредсказуемые побочные эффекты при решении поставленных задач.

Злонамеренное использование: кибератаки, создание биологического оружия, распространение дезинформации и дипфейков.

Социальные и экономические последствия: усиление неравенства, массовая потеря рабочих мест, концентрация власти в руках немногих.

Технические уязвимости: галлюцинации моделей, когда ИИ выдаёт ложную информацию за истину, и возможность подмены данных в памяти агентского ИИ, что ведёт к цепочке ошибок.

При этом среди экспертов есть и те, кто призывает не поддаваться панике, а сосредоточиться на конкретных мерах безопасности: разработке стандартов, повышении прозрачности, усилении киберзащиты. Впрочем, полезно вспомнить фильмы о мрачном будущем, в котором ИИ и роботы взбунтовались против человечества: «Матрица», «Терминатор».

Пока сегодняшний ИИ далёк от образцов, которые демонстрируют фантастические фильмы. По признанию экспертов, ИИ пока только помощник человека. Создать самостоятельно функционирующий корпоративный ИИ-функционал до конца успешно не удалось, похоже, ещё никому. Современные образцы коммерческих ИИ, чтобы заточить их под выполнение конкретных функций внутри корпорации, нужно обвязывать, дописывать программный код для взаимодействия внутри общекорпоративного производственного функционала, учить.

Есть экспертное мнение тех, кто практически этим занимается. Мы в профсоюзе неоднократно слышали этих людей на отраслевых форумах на самом высоком уровне. Так вот, по их оценкам, пока успеха не удаётся достичь в 95% попыток. Однако те же эксперты верят, что скоро наступят времена, когда на работу в корпорации будут принимать не только физических лиц, но и электронных – полностью функциональных работников на базе ИИ и, возможно, робототехнических решений. Станет реальностью фантастика тоже весьма невесёлого толка, как «Чужие», где наряду с людьми были человекоподобные роботы и андроиды. Мы на краю новой реальности, которая, помимо сценариев вроде «Матрицы» или «Терминатора», может окончиться сценарием вроде мультфильма «Валли» - угрозой деградации человечества на фоне того, что всё за него будут делать роботы. Угроз – хоть отбавляй. Уже сейчас на базе ИИ в социальных сетях создаётся поток визуальной, абсолютно не соответствующей настоящей – ИИ-реальности, которая несёт угрозу массовой дезинформации, прежде всего, молодому поколению.

Кроме того, на базе ИИ работают целые корпорации преступников, обманывающих с помощью возможностей ИИ своих жертв. Мы, как профсоюз платформеннозанятых, безусловно, выступаем за создание национального регулятора. У нас есть Минцифры, но, учитывая масштабы процесса, это должно быть выделено в отдельное федеральное ведомство. Плюс надзорные ведомства – такие же, как в обычной нашей системе.
Регулятор и надзорное ведомство, которое будет внимательно наблюдать за тем, как и кто развивает и пользуется этим инструментом.

Мы посещали множество экспертных форумов и констатируем: к нам идёт реальность нового плана. Помимо полной платформизации, которая уже сейчас видна в госуправлении и ведении многих отраслей коммерческой деятельности, дальнейшее развитие системы будет базироваться на ИИ-агентах. Они будут в рамках платформы пользоваться платформенными решениями, доступом к базам и механизмами надзора за соблюдением законодательства на базе ИИ, решать конкретные задачи. Видимо, таково ближайшее будущее.

На форуме «Финтех-26» это подтвердил заместитель председателя Центрального банка: на базе платформы действует большое количество ИИ-агентов, полностью берущих на себя решение задач, которые раньше требовали узкоспециализированных специалистов с доступом к различным базам и слежением за законодательством. Всё это будет автоматизировано.

Синергетический эффект от внедрения искусственного интеллекта окажется мощнейшим. Государство здесь будет его полностью контролировать. Но какой механизм будет у этого контроля, мы не понимаем. Заместитель Председателя Правительства РФ Дмитрий Григоренко высказал предположение, что ИИ-агенты и вообще искусственный интеллект через некоторое время вытеснят платформы и ещё раз изменят нашу экономическую и социальную реальность. Искусственный интеллект будет полностью помогать человеку.

Первейший вызов, который у нас возникает, - надзор за кодом, за защитой. От того, насколько защищён такой искусственный интеллект, на который будут опираться огромное количество людей во всех отраслях социальной и экономической жизни, будет зависеть очень многое, в том числе будущее нас как людей, доверившихся ИИ. Здесь необходимо сразу же формулировать механизмы защиты.

Второй вызов, тоже экзистенциальный: раньше, если вам нужно было купить билеты, вы выясняли ценообразование в различных компаниях, которые предоставляют эти услуги, подбирали время, логистику. Сейчас за вас это будет делать искусственный интеллект. Причём, скорее всего, по одному и тому же алгоритму.

Люди хороши тем, что мы все разные. В этих условиях человек, который через некоторое время очень быстро привыкнет не решать задачи сам, а полагаться на искусственный интеллект, мы можем получить реальность, как в мультфильме «Валли»: деградацию человека как самостоятельного субъекта, обладающего данными, профессиональными навыками для решения различных специализированных задач. Всё будет отдаваться на откуп ИИ.

И опять возникает вопрос – насколько можно доверять этому искусственному интеллекту, кто его будет дальше дорабатывать и какая защита у человечества будет на случай, если что-то произойдёт, даже просто перестанет работать тот же ИИ.

Нужна трансформация массового сознания и учебного процесса, в рамках которого молодого человека будут готовить к жизни и формировать у него защитные механизмы в новой реальности шестого научно-технологического уклада. Сейчас люди на базе искусственного интеллекта и роботов достигли такого уровня производительности, что под каждого можно создавать индивидуальный продукт. Человечество может себе позволить безбедное проживание практически всех членов общества.

В рамках этой ситуации оно может остановиться в своём развитии. Нужны новые направления, где на базе новых возможностей можно будет самореализоваться и развиваться дальше. Эти вопросы возникают, и решения пока нет, кроме опасений экспертов и экспертных фантазий. Фантастика – нам предупреждение. Мы должны всё время помнить, что может произойти при беспечном отношении к тому, что сами создали, и передаче этого в руки людей, способных навредить всем остальным.

Подготовил Евгений Раи