Управление рисками в ИИ-гигантах тоже бывает.

Ещё не выпущенная Anthropic модель Claude Mythos, по собственной оценке компании, в поиске уязвимостей работает на уровне лучших специалистов отрасли. Таких людей на всю индустрию единицы.

За несколько недель Mythos нашла тысячи ранее неизвестных уязвимостей в OpenBSD, FFmpeg и ядре Linux:

— 27-летнюю уязвимость в OpenBSD, одной из самых защищённых операционных систем в мире — 16-летнюю уязвимость в FFmpeg (библиотеке почти всего видео в сети), которую 5 миллионов автоматических тестов проглядели — Цепочку в ядре Linux, дающую полный контроль над машиной

Раньше от обнаружения уязвимости до её использования проходили месяцы и годы. Теперь, по словам CrowdStrike, «месяцы превратились в минуты».

Перед публичным выпуском Mythos Anthropic запустили инициативу Project Glasswing: модель на несколько месяцев раньше получают партнёры проекта - AWS, Apple, Google, Microsoft, NVIDIA, Cisco, CrowdStrike, Linux Foundation и ещё более 40 компаний. Плюс $100 млн кредитов на использование модели и $4 млн прямых пожертвований проектам по безопасности с открытым исходным кодом. Через 90 дней - публичный отчёт о результатах.

В анонсе Glasswing Anthropic об этом пишет: инструмент такого класса неизбежно окажется и у тех, кто будет использовать его для атак. Единственный рычаг компании - дать защитникам фору до того, как модели этого уровня станут массовыми.

Когда два года назад я проходил Oxford AI Programme в Said Business School, отдельный модуль у нас был посвящён рискам и этическим вопросам внедрения ИИ. Будучи теоретическими, эти темы было немного сложно приземлить на реальность.

В сегодняшней ИИ-гонке ни Anthropic, ни их конкурентов нельзя назвать большими приверженцами управления ИИ-рисками. Но радует, что компании иногда задумываются о последствиях.

#ai #стратегия