.png)
ИИ вне закона: как бизнес теряет данные и доверие
Открывая дискуссию, модератор встречи - президент ГК InfoWatch Наталья Касперская - представила результаты свежего исследования, проведенного ассоциацией Business Information Security. В опросе приняли участие профильные специалисты по информационной безопасности.
Главные выводы исследования:
Основной страх бизнеса - это утечка конфиденциальных данных через ИИ-инструменты. Реальный опыт: 23% компаний уже лично столкнулись с угрозами безопасности из-за использования нейросетей, 54% пока не столкнулись с угрозами безопасности, а остальные слышали о таких инцидентах от коллег по рынку. Регулирование: большинство экспертов считают, что для безопасности нужен баланс: законы на уровне государства, жесткие внутренние правила внутри самих компаний плюс постоянное обучение сотрудников. Польза против рисков: несмотря на опасения, бизнес настроен оптимистично. Большинство опрошенных уверены, что польза от ИИ перевешивает возможные риски.Для снижения рисков компании чаще всего идут двумя путями: обучают персонал правилам работы с нейросетями или внедряют специальные технические ИТ-инструменты контроля.
Дмитрий Лазаренко (VK Tech): Главный тренд и скрытая угроза - неуправляемые ИИ-агенты
За последние два года стоимость работы генеративного ИИ снизилась в 280 раз. Технология стала доступной, базовые нейросети превратились в привычный массовый товар, который обновляется каждые полгода.
Но здесь кроется важная деталь: по статистике, около 88% компаний пытаются использовать искусственный интеллект, но реальный экономический эффект видят пока единицы. И дело не в том, что у них «какие-то не такие» нейросети. Дело в обвязке - в инфраструктуре, правилах и процессах, которые строятся вокруг ИИ.
Сегодня компании переходят от простых чат-ботов к созданию ИИ-агентов - умных цифровых помощников, которым поручают автоматическое выполнение конкретных бизнес-задач. И это главный риск на ближайшие годы.
«Каждый сотрудник заходит в корпоративные системы под своим логином и паролем и имеет строго ограниченные права. Но у ИИ-агентов сегодня часто оказывается гораздо больше доступов к коммерческой тайне, чем у любого человека», - подчеркнул Дмитрий Лазаренко.
В качестве примера эксперт привел критическую уязвимость в системе Microsoft: злоумышленники просто отправили электронное письмо. Корпоративный ИИ-агент обработал его в фоновом режиме и сам, без ведома человека, открыл хакерам доступ ко всем внутренним файлам компании. В среднем на мировом рынке устранение подобных уязвимостей в «неуправляемом» ИИ обходится компаниям на 700 тысяч долларов дороже, чем в контролируемых системах.
Как бизнесу обезопасить себя при работе с ИИ?
Эксперт выделил три ключевых правила для защиты компании:
1. Изменение оргструктуры и реестр агентов. Нельзя просто запустить ИИ-помощника в сеть. В компании должен быть четкий реестр всех ИИ-агентов, и за каждым из них должен быть закреплен конкретный человек. Робота нельзя уволить или оштрафовать за ошибку, поэтому ответственность всегда лежит на человеке.
2. Журнал решений (Аудит). Все действия и решения, которые принимает искусственный интеллект, должны непрерывно записываться в специальный журнал, чтобы служба безопасности могла в любой момент проверить их корректность.
3. Жесткие границы доступов и «красная кнопка». ИИ должен иметь доступ только к тем данным, которые необходимы ему для работы. И самое главное - у руководства под рукой всегда должен быть «рубильник», способный мгновенно отключить вышедшего из-под контроля цифрового агента.
Для российского рынка ИИ-агенты - это пока развивающееся будущее. Крупный бизнес только экспериментирует: VK Tech за полтора года провел около 90 пилотных проектов в крупных компаниях. Многие из них буксуют из-за того, что бизнес-процессы внутри компаний еще не перестроены под новую реальность, но именно за управляемыми ИИ-помощниками стоит следующий шаг в автоматизации.
Виктор Бобыльков (MWS-Cloud): ИИ-трансформация уже произошла, но бизнес к ней не готов
Пока руководители и генеральные директора только планируют масштабную трансформацию своего бизнеса, их сотрудники ее уже провели. Из 8,5 миллиардов человек на Земле около 1,5 миллиарда регулярно используют искусственный интеллект для работы и личных задач. Он встроен в наши смартфоны, компьютеры и поисковые системы: когда мы ищем что-то в интернете, нам уже отвечают нейросети.
При этом платными корпоративными версиями топовых нейросетей пользуются всего около 10 миллионов компаний по всему миру. Это означает, что сотрудники массово используют бесплатные, личные и часто незащищенные аккаунты прямо на рабочих местах.
Опросы показывают, что нейросети стали повседневным инструментом. В ИТ-сфере разработчики пишут с их помощью код, ищут ошибки в логах и автоматически тестируют программы. В офисах ИИ используют для генерации текстов, поиска и анализа больших массивов информации.
Помимо того, что нейросети иногда ошибаются, путают факты или «галлюцинируют», главная проблема для компании - утечка корпоративных данных. Сотруднику проще и быстрее скопировать рабочий код, финансовый отчет или базу клиентов и отправить это в условный ChatGPT, чтобы модель быстро сделала аналитику. В этот момент коммерческая тайна улетает на сторонние серверы.
«Запрещать ИИ бессмысленно - люди все равно найдут способ им пользоваться в личных телефонах. Проблема решается через удобство. Компании нужно создать безопасный корпоративный шлюз для работы с нейросетями. Грубо говоря, сделать для сотрудников единое и защищенное "окно" доступа к искусственному интеллекту, где будут автоматически отсекаться любые попытки слить важную информацию наружу», - объясняет Виктор Бобыльков.
Эксперт предлагает разделять риски безопасности ИИ на три ключевых направления:
1. Безопасность ИТ-инфраструктуры. Как именно компания разворачивает ИИ: пользуется ли она сторонним облаком или покупает собственные дорогие видеокарты и запускает открытые модели у себя на серверах. Каждому подходу нужны свои меры защиты.
2. Безопасность самих моделей. Риск того, что нейросеть выдаст ложную информацию, ошибется или ее намеренно запутают пользователи, тоже никуда не делся.
3. Безопасность данных внутри компании. Большинство компаний не умеют правильно настраивать потоки информации. Если внутри корпоративного контура не разграничить права доступа к данным для ИИ, то случится катастрофа. Например, робот, к которому обратился обычный программист, может случайно выдать ему конфиденциальные данные из папки отдела кадров или бухгалтерии, потому что ИИ имеет доступ ко всему сразу.
На вопрос Натальи Касперской о том, существуют ли уже готовые методики защиты, Виктор Бобыльков отметил, что индустрия не гадает на кофейной гуще. Международные консорциумы по кибербезопасности уже разработали официальные списки топ-10 главных угроз для больших языковых моделей и ИИ-агентов. В них подробно описаны и задокументированы все основные риски: от намеренного взлома нейросетей через текстовые запросы до подмены обучающих данных. База для защиты уже есть, компаниям нужно просто начать ее внедрять.
Сергей Сидоренко (ГК InfoWatch): Как благие намерения сотрудников превращают ИИ в канал утечки данных
Искусственный интеллект - великолепный двигатель прогресса. Он мгновенно находит инсайты, обрабатывает тонны информации и автоматизирует рутину. Но в быту мы чаще говорим «сделать при помощи ИИшки», и за этой формулировкой кроется главная угроза. Сотрудники используют нейросети не со зла, а просто чтобы сделать свою работу быстрее и лучше.
Эксперт выделил несколько самых распространенных и опасных ситуаций, когда конфиденциальная информация утекает в сеть через искусственный интеллект:
1. Анализ клиентских баз. Зачем нанимать аналитиков, если можно взять Excel-файл с данными клиентов, загрузить его в условный ChatGPT или Claude и через две минуты получить готовый отчет? База клиентов при этом навсегда улетает на внешние серверы.
2. Разработка стратегий. Руководство условной компании хочет составить план развития компании на пять лет. В нейросеть загружаются внутренние финансовые планы и аналитика, а ИИ выдает красивую стратегию. В итоге ключевые коммерческие тайны оказываются в общем доступе.
3. Написание и проверка кода. Программисты массово используют ИИ, чтобы ускорить свою работу. Спринт, который раньше занимал неделю, теперь закрывается за пару часов. Но исходный код продукта становится достоянием сторонней ИИ-платформы. К слову, в практике уже был случай, когда сотни тысяч приватных чатов ИИ-сервиса Grok утекли в сеть и были проиндексированы обычным поисковиком Google. А компания Anthropic случайно выложила 500 тысяч строк своего исходного кода.
4. Суммаризация документов. Кому хочется читать длинные, написанные канцеляризмами отчеты? Сотрудники пачками загружают служебные документы в нейросети, чтобы те выдали краткую выжимку. Был даже случай, когда Агентство по кибербезопасности США загрузило в публичный ChatGPT служебные документы с пометкой «Только для служебного использования».
Чтобы контролировать эти процессы, ГК InfoWatch использует специальные защитные системы, которые работают на трех уровнях: перехватывают и блокируют опасные действия, анализируют поведение пользователей и проводят детальное расследование инцидентов.
Эксперт предложил несколько решений для бизнеса по укрощению ИИ:
Развивайте культуру безопасности. Обучайте сотрудников. Сегодня в сети полно фальшивых сайтов, которые мимикрируют под ChatGPT только для того, чтобы воровать данные пользователей и компаний. Посещение таких ресурсов нужно жестко отсекать на уровне корпоративного периметра. Внедряйте маскирование данных. Если сотрудникам действительно нужно работать с ИИ, персональные данные, имена клиентов и финансовые цифры должны автоматически шифроваться или заменяться «пустышками» перед отправкой в сеть. Внимательно выбирайте ИТ-сервисы. ИИ сейчас встроен в каждое второе офисное приложение. Хорошим тоном со стороны разработчиков становится открытое заявление на сайте: «Мы не используем данные клиентов для обучения своих нейросетей». Если такой плашки нет - ваши корпоративные данные под угрозой. Обращайте внимание на аномалии. Есть подозрительные сценарии, которые обычный сотрудник никогда не сделает случайно. Например, попытки «взломать» внутренний ИИ хитрыми текстовыми запросами, чтобы выудить из него секретные документы, на которых он обучался. Или появление на компьютере странных служебных файлов математического формата нейросетей. Если служба безопасности видит такое - сотрудника нужно сразу «брать на карандаш». Принцип «Нулевого доверия». Разрешено должно быть только то, что официально проверено и одобрено ИТ-отделом. А если другие методы контроля не помогают - вводите жесткие ограничения или полный запрет, как это в свое время сделал Samsung.Мировая практика показывает, что этот список угроз далеко не полон. Новые лазейки появляются каждый день, поэтому защита компании должна быть гибкой.
Илья Башкиров (ГК InfoWatch): Судам неважен сам ИИ, им важен факт ущерба и нарушения границ
Многие эксперты пугают бизнес грядущим жестким регулированием нейросетей, однако законодательная база в России уже сейчас активно формируется. Если сопоставить международную карту рисков ИИ с нашими реалиями, то на бумаге почти все угрозы закрыты. У ФСТЭК России есть официальные требования по защите информации, а Минцифры разработало проект федерального закона об искусственном интеллекте.
Правда, пока эти документы носят скорее рамочный характер и требуют уточнений. Жизнь меняется быстрее законов, поэтому гораздо интереснее посмотреть на то, как прямо сейчас складывается реальная судебная практика в России. Здесь можно выделить два важнейших вывода для бизнеса.
1. Нейросеть не освобождает от ответственности
Российские суды сегодня смотрят не на саму технологию, а на реальные процессы, в которых она участвует. ИИ для судьи - лишь инструмент.
Трудовые споры: Сегодня суды завалены исками, где трудовые отношения и ИИ идут рука об руку (например, когда сотрудников пытаются незаконно сократить или заменить алгоритмами). Суды в таких делах всегда жестко встают на защиту прав человека и Трудового кодекса. Защита прав потребителей: Если корпоративный чат-бот введет клиента в заблуждение, отвечать будет компания. Более того, если юрист принесет в суд документы или «факты», которые на самом деле сгенерировала нейросеть, то за попытку обмана суда компания получит реальный судебный штраф. Верховный суд РФ уже сейчас требует четко раскрывать информацию о том, какие данные были получены с помощью искусственного интеллекта.2. Сбои ИИ и галлюцинации - это коммерческий риск самой компании
Кто виноват, если искусственный интеллект ошибся, некорректно заблокировал операцию или из-за его уязвимости произошел киберинцидент?
Судебная практика непоколебима: любые технические сбои ИИ-систем - это обычный предпринимательский риск, который компания берет на себя. Оправдание в стиле «это не мы, это робот ошибся» или «нас атаковали хакеры» в суде не сработает. Доказать, что сбой ИИ был форс-мажором, в юридической практике удалось всего один раз - и то лишь потому, что владелец системы смог доказать, что сделал абсолютно всё возможное для защиты и минимизации вреда. Во всех остальных случаях (особенно если пострадали персональные данные людей) виновной признают компанию.
Главный юридический итог: В российском праве железно закрепился «принцип периметра». Суду неважно, как именно утекли секретные документы компании - скопировал ли их злоумышленник на флешку или сотрудник скормил их нейросети для красивого отчета. Важен сам факт: информация пересекла защищенный периметр. Если это случилось - компания виновна и понесет наказание.
Дмитрий Солженикин (Консорциум исследования безопасности технологий ИИ): Иллюзия «черного ящика» и сказки недобросовестных подрядчиков
Когда заходит речь о доверенном и безопасном искусственном интеллекте, многим кажется, что это абсолютно новая, еще не изученная тема. На самом деле официальное определение ИИ закреплено в российской стратегии развития технологий еще в 2020 году. База есть, но вот то, с чем сталкивается Консорциум при реальной проверке ИИ-систем в регионах страны, напоминает настоящий детектив.
В 2025 году в проверках и ИИ-экспериментах участвовали всего 6 российских регионов, а к 2026 году их число выросло до 16. Руководители на местах - министры и замгубернаторы - искренне хотят разобраться, как работают технологии, за которые они платят бюджетные деньги. И тут вскрываются три главные проблемы:
1. Разработчики скрывают детали. Заказчики (госорганы и операторы систем) часто вообще не понимают, что за «начинку» им продал вендор.
2. Ошибки и путаница в документах. Подрядчики составляют настолько путаные описания своих продуктов, что диву даешься.
3. Обман с архитектурой. Заявленные технологии часто не совпадают с тем, что установлено на серверах.
Дмитрий Солженикин поделился реальными, почти анекдотичными кейсами из практики проверок Консорциума:
Кейс №1: Один из региональных ИТ-подрядчиков прислал официальный отчет, где перечислил уязвимости своей системы. Эксперты проверили список и обомлели - таких уязвимостей в природе не существует. Вендор просто поленился писать отчет сам, скормил задачу какой-то бесплатной нейросети, а та их просто выдумала.
Кейс №2: Разработчик уверял руководство региона, что создал сверхмощную ИИ-систему на базе передового зарубежного софта и перечислил все модные типы нейросетей, которые только смог скопировать из интернета. Эксперты приехали с проверкой и задали простой инженерный вопрос: «У вас на балансе 24 сервера и ровно ноль специализированных видеокарт. На каком железе вся эта магия вообще должна крутиться?». Подрядчика, мягко говоря, вынудили раскрыть карты.
Кейс №3: Разработчик просит увеличить бюджет, уверяя, что система невероятно загружена и ей пользуются тысячи людей на куче мощных серверов. Эксперты Консорциума делают банальный технический тест и видят: указанные сервера в реальности вообще простаивают и не включены в работу.
Из-за таких моментов уровень реального доверия к ИИ-систем в регионах находится на очень низком уровне.
Эксперт подчеркнул: разработчики очень любят напускать туман и говорить, что ИИ - это «черный ящик» с непостижимой внутренней магией. Это миф. Любая нейросеть от интерфейса до серверов абсолютно прозрачна, понятна и должна контролироваться стандартными, грамотными методами защиты информации.
Зачем чиновникам и бизнесу так глубоко в этом копаться? Всё просто. Большинство государственных информационных систем относятся к объектам критической инфраструктуры. За сбои и халатность в этой сфере в Уголовном кодексе РФ есть статья, предусматривающая вполне реальные сроки. Никто из руководителей не хочет нести ответственность из-за ошибок робота, поэтому отношение к вендорам становится жестким: их заставляют полностью раскрывать карты.
Роман Поршнев
Комментарии