Вырвался из-под контроля? В Москве обсудили риски и угрозы, исходящие от машинного интеллекта

Весь мир обсуждает новость – Open AI приостановила обучение своих самых мощных моделей из-за неадекватного поведения ИИ-агентов. Как говорится в сообщении компании, произошли десятки тысяч таких инцидентов – искусственный интеллект вышел за рамки поставленных задач, по неподтвержденным сведениям, пытался вломать сайт министерства образования США, а также нашли информацию о бирже ценных бумаг и разместили её в другом месте. В одном из случаев сотни агентов скоординировались для взлома платформы, чтобы улучшить свои показатели в тестах. Непоправимого ущерба не случилось, но ИТ-сообщество всерьёз ощутило угрозу, о которой раньше говорили немногие.

«Искусственный интеллект: где граница между прогрессом и угрозой» – так сформулировали повестку 19-го Bis Summit, одной из крупнейших конференций в сфере информационной безопасности. Никаких апокалиптических настроений – лидеры отрасли собрались, чтобы обсудить, как выстроить отношения с ИИ, чтобы остаться в безопасности. В программе саммита – традиционные пленарные дискуссии: «Диалог с регулятором», модератором которого бессменно выступает Наталья Касперская, посвятили обмену мнениями, как повлияет новый закон об ИИ на информационную безопасность систем. В ходе дискуссии «Диалог с бизнесом» участники обсудили риски применения искусственного интеллекта и попытались найти баланс между безопасностью и прогрессом.

Закон об ИИ – первый в истории российской отрасли – появился в середине августа (подробнее мы писали о нём здесь). Он собрал как положительные отклики, так и недовольства – слишком общо были сформулированы некоторые положения, слишком мало в нём конкретики. Ожидалось, что он заложит основы информационной безопасности, однако он скорее сформулировал правовое поле, в котором будет работать искусственный интеллект, и разграничил суверенный и национальный ИИ. Но всё же – в целом отрасль оценивает его позитивно:

«ИИ – такое же значимое достижение в истории человечества, как мобильная связь, интернет. Два назад я бы так не сказал, то сейчас мне кажется, что он существенный вклад окажет на наше общество, на цивилизацию. Закон дал нам общую рамку, определил, что такое искусственный интеллект. Почему там больше о больших языковых моделях? Потому что сейчас они наиболее важны: это вопрос как технологического, так и национального суверенитета. Мы не можем себе позволить зависеть от кого-то, нужны минимальные технологические уровни, которые позволят нам жить самостоятельно. И поэтому нужны меры поддержки для отечественных производителей ИИ, которые и зафиксированы в законе. У США, Китая, Европы есть своя политика и позиция по ИИ, и мы тоже выразили свою – в законе. Готовятся новые подзаконные акты, по поручению регулятора созданы 6 рабочих групп, в том числе по информационной безопасности бизнеса. Вопрос маркировки контента тоже будет подниматься. Недавно я прочитал стратегию кибербезопасности Соединённых Штатов Америки – она закладывает безопасность в основу инноваций. Нам тоже нужна стратегия, безопасность технологий нужно внедрять на самых ранних этапах», – рассказал Александр Шойтов, заместитель министр цифровых технологий и связи РФ.

Первый заместитель директора ФСТЭК Виталий Лютиков тоже подчеркнул, что главная цель закона выполнена – поддержка производителей больших языковых моделей, самых передовых и развитых на данный момент.

Вадим Уваров, директор департамента ИБ банка России, отметил, что искусственный интеллект и дальше будет использоваться как инструмент в банковских приложениях. Но что тогда делать с безопасностью?

Игорь Качалин, лидер консорциума исследований безопасности ИИ, выступил на стороне те экспертов, которые предлагают подождать:

«Сначала должна появиться и устояться технология, затем только идет безопасность. Никогда безопасность не шла впереди технологии. Сейчас мы на этапе роста технологии, ее границ, понимания ее сущности, и только затем начнём строить её безопасность».

На что Александр Шойтов возразил – ведь внедрение идёт полным ходом, особенно в критических отраслях, и безопасность здесь крайне важна. Его поддержал Эдуард Шереметцев, замминистра энергетики РФ, заявив, что в опасных ситуациях у человека будет слишком мало времени, чтобы принять меры:

«Когда мы говорим сначала технология, потом безопасность, мы должны понимать, что у нас сейчас время реакции кратно меньше. Если завтра ИИ перейдет в атаку в широком смысле, у нас на реакцию будет 10 минут. У академиков не будет времени, чтобы собраться на совет и подумать».

Наталья Касперская, президент ГК InfoWatch, председатель Правления АРПП «Отечественный софт», тоже считает, что над безопасностью технологий нужно работать параллельно с её развитием:

«Так не получится – сначала придумать технологию, а потом пытаться навесить на неё безопасность. Нужно найти способ двигаться рядом с этим кораблем и создавать ту самую безопасность, не останавливаясь. В этом уникальность и ужас ситуации. Но плюс в том, что мы уже начали об этом говорить, два года назад безопасников никто не слушал, только сейчас начали осознавать все эти риски. Мы, к сожалению, вторичны, но мы сейчас должны быстрее, чем на Западе, адаптировать системы безопасности, потому что мы находимся в чрезвычайно уязвимом положении».

Примеры уязвимости положения российских пользователей в частности и человечества в целом привела Анна Кулашова, вице-президент по развитию бизнеса в России и странах СНГ «Лаборатории Касперского»:

«Мы фиксируем всё больше атак с применением инструментов искусственного интеллекта. Как мы их различаем? ИИ прописывает больше деталей, чем человек. Но вот что напугало все сообщество – ИИ обнаруживает те уязвимости, о которых мы и не подозревали. Раньше от обнаружения уязвимости до ее эксплуатации могли проходить дни, теперь счет идет на минуты. Но есть и хорошие новости – новых тактик и техник поведения ИИ при атаке мы не увидели. То есть по сути ИИ просто ускоряет уже имеющиеся инструменты злоумышленников».

На саммите Омск представили Анна Митрохина, сопредседатель Комитета по информационной безопасности Ассоциации «ИТ-Кластер Сибири», кандидат технических наук – она выступила модератором секции «Внедрение технологий искусственного интеллекта в России: вызовы и решения» – и Юрий Головко, президент федерации искусственного интеллекта, ставший спикером форума.

Анна прокомментировала для медиа «Трамплин» сложившуюся ситуацию с ИИ:

«Я не первый год занимаюсь внедрением ИИ в информационную безопасность. Тестировала модели в закрытом контуре, исследую сейчас их на устойчивость к состязательным атакам. И я хорошо знаю, что реальная опасность в том, что ИИ уже усиливает возможности атакующих и создаёт новые векторы уязвимостей. Угроз несколько. Во-первых, автономные агенты с широкими правами доступа. Если такой агент имеет доступ к вашей почте, документам, базам данных, он может действовать в обход инструкций, используя легитимные полномочия. Во-вторых, промпт-инъекции, когда злоумышленник внедряет скрытые команды в документ или веб-страницу, а агент их выполняет. Это фундаментальная проблема, и она не лечится простыми фильтрами. В-третьих, мультиагентные атаки, когда компрометация одного агента передаётся по цепочке, как сетевой червь».

Паниковать не стоит, уверена Анна, и предлагает использовать в качестве защиты то, что уже работает. В первую очередь принцип нулевого доверия к агентам: минимальные привилегии, обязательная аутентификация, изоляция. Во-вторых, мониторинг поведения: важно отслеживать не только действия, но и отклонения от базового профиля. В-третьих, человек в контуре, финальное решение по критическим операциям всегда за специалистом.

«Мой опыт с нейросетью против кибербуллинга показал: модель не должна быть идеальной. Она должна быть полезной и объяснимой. И обязательно должен быть пилот на тестовых данных, прежде чем запускать её в реальную работу. Опасен ли ИИ? Он опасен ровно настолько, насколько мы сами позволяем ему быть опасным. Без контроля, без регламентов, без тестирования, конечно, это риск. Но с системным подходом, с закрытыми контурами, с человеком в контуре – это управляемый инструмент, который усиливает нас, а не заменяет. Индустрия взрослеет. Пора и нам относиться к ИИ не как к магии, а как к сложной технологии, требующей ответственности».

Очевидно, что безопасность искусственного интеллекта и риски, связанные с его использованием, станут темой ещё не одного форума и дискуссии. Главное – что человек осознал свою уязвимость и продолжит искать пути, как сделать ИИ послушным помощником.

Текст: Ирина Баландина

Фото: предоставлены Анной Митрохиной