AI-Driven SDLCИскусственный интеллект уже здесь. Он уже здесь. Он пишет код в наших IDE. Он выбирает библиотеки. Он открывает новые возможности. pull requestsОно выполняет шаги в нашем pipelineВопрос уже не в том, будут ли разработчики использовать ИИ. Вопрос в том, как организации будут сохранять прозрачность, контроль и доверие в процессе его применения.
Современная разработка программного обеспечения уже вступила в эру искусственного интеллекта.
В инженерных организациях разработчики уже используют помощников, ассистентов по кодированию, интегрированные среды разработки на базе ИИ, внутренних агентов, инструменты, подключенные к MCP, и все более автономные рабочие процессы в рамках повседневной работы над проектами. То, что начиналось как эксперимент, быстро стало неотъемлемой частью самого жизненного цикла разработки программного обеспечения. Это была центральная тема последнего мероприятия SafeDev Talk, организованного компанией Xygeni: «AI-Driven SDLCОни уже здесь. Что дальше?
На сессии собрались Сэм СтепанянЧлен глобального совета директоров OWASP и руководитель лондонского отделения OWASP; Ашвини СиддхиЧлен глобального совета директоров OWASP и ведущий специалист в области кибербезопасности, специализирующийся на средах, управляемых искусственным интеллектом; Хесус КуадрадоГенеральный директор Xygeni, модератор: Луис РодригесНаучный сотрудник компании Xygeni.
В ходе дискуссии вырисовывался четкий посыл: дискуссия о безопасности приложений коренным образом изменилась. Команды специалистов по безопасности больше не готовятся к внедрению ИИ в разработку программного обеспечения. Они уже занимаются этим вопросом.
Основные выводы по теме искусственного интеллекта SDLCs
- Искусственный интеллект уже внедрен во все современные системы. SDLCс помощью помощников пилотов, программистов-ассистентов, автономных агентов и инструментов разработки на основе искусственного интеллекта.
- Традиционные модели безопасности приложений не были разработаны для кода, генерируемого искусственным интеллектом, фиктивных зависимостей, автономных рабочих процессов или разработки со скоростью, характерной для машинного обучения.
- Теневой ИИ становится серьезной проблемой с точки зрения прозрачности и управления. CISКоманды по операционной безопасности и безопасности приложений.
- Разработка с использованием ИИ создает новые уязвимости, включая внедрение зависимостей в оперативной памяти, вредоносные зависимости, злоупотребление MCP и агентные рабочие процессы.
- Организациям необходимы модели управления, учитывающие особенности ИИ и построенные на принципах прозрачности, атрибуции, минимальных привилегий и непрерывной проверки.
- Отрасль стремительно движется в сторону агентского подхода. SDLCs, где системы искусственного интеллекта активно выполняют операции разработки.
Посмотрите полную запись выступления на SafeDev Talk: Искусственный интеллект. SDLCs уже здесь
Ниже представлены некоторые ключевые моменты, обсуждавшиеся в ходе сессии, в том числе, как ИИ меняет модель угроз безопасности приложений и почему. CISОперационные системы теряют прозрачность в различных средах разработки, и становится ясно, каким практическим мерам контроля организациям следует уделять первоочередное внимание.
Почему именно ИИ? SDLC Вопросы безопасности актуальны прямо сейчас.
Внедрение ИИ в разработку программного обеспечения происходит быстрее, чем большинство государственных программ успевают адаптироваться. По мере того как организации переходят от роли вторых пилотов к роли все более автономных агентов, SDLC Все большее значение приобретает машинное управление, динамичность и сложность мониторинга с использованием традиционных подходов к обеспечению безопасности приложений.
Для многих CISДля руководителей операционных систем и специалистов по безопасности приложений вопрос уже не в том, войдет ли ИИ в среды разработки. Задача состоит в том, как обеспечить прозрачность, атрибуцию и оперативный контроль после того, как он уже там появится.
Эти изменения уже заставляют организации переосмысливать свою деятельность. software supply chain securityмодели управления, прозрачность для разработчиков и роль доверия в современных средах разработки программного обеспечения.
Внедрение ИИ происходит быстрее, чем управление безопасностью.
Одной из наиболее важных тем обсуждения была скорость. Как объяснил Луис Родригес во вступительном слове, ИИ больше не ограничивается экспериментами или отдельными инструментами повышения производительности. Он уже непосредственно участвует в рабочих процессах разработки: пишет код, выбирает библиотеки, взаимодействует с... pipelineи все чаще работая непосредственно в рамках самой программной инфраструктуры.
Больше всего участников дискуссии удивило не само внедрение ИИ, а то, насколько широко оно уже распространено, зачастую без формальной прозрачности или регулирования. Сэм Степанян описал растущий разрыв между официальной политикой безопасности и тем, что на самом деле происходит внутри инженерных команд, особенно в регулируемых отраслях. Некоторые организации до сих пор утверждают, что «не используют ИИ», в то время как разработчики уже интегрируют помощников, ассистентов и инструменты ИИ в свои повседневные рабочие процессы.
В то же время он указал на реальность, с которой многие организации до сих пор с трудом смиряются: даже компании, пытающиеся избежать внедрения ИИ, по-прежнему сталкиваются с противниками, которые уже агрессивно его используют. Это напряжение порождает то, что многие руководители служб безопасности сейчас называют «теневым ИИ» внутри сред разработки программного обеспечения — системы искусственного интеллекта, работающие вне установленных моделей управления.
Ашвини Сиддхи добавила еще одну важную точку зрения. Ее беспокоит не только скорость внедрения, но и отсутствие надлежащей операционной гигиены в отношении кода, генерируемого ИИ. В ходе дискуссии она подчеркнула, что организации часто не имеют надежной информации о том, какой вклад внес ИИ, почему он сгенерировал тот или иной код и как эти коды были созданы.cisИоны следует впоследствии проверить и подтвердить. Это имеет важное значение: команды разработчиков привлекают к процессу нечеловеческих участников. SDLCОднако большинство моделей управления и рецензирования по-прежнему предполагают исключительно человеческое авторство.
Искусственный интеллект не просто ускоряет разработку. Он меняет то, как риск возникает в процессе. SDLC
По мере внедрения ИИ во все рабочие процессы разработки программного обеспечения поверхность атаки значительно расширяется, выходя за рамки традиционных предположений в области безопасности приложений. Участники дискуссии неоднократно возвращались к одной центральной идее: большинство программ обеспечения безопасности были построены на основе известных рисков, действующих со скоростью человека. ИИ меняет оба этих условия одновременно.
Теперь команды безопасности проверяют не только код, написанный людьми. Они все чаще сталкиваются с зависимостями, генерируемыми ИИ, рисками внедрения зависимостей, автономными рабочими процессами, инструментами, подключенными к MCP, плагинами для ИИ и скоростью работы машин. CI/CD выполнение.
Ашвини Сиддхи объяснила, что одним из первых принципов, который начинает рушиться, является сама традиционная граница доверия. Системы искусственного интеллекта обучаются на огромных объемах общедоступного кода, большая часть которого небезопасна, устарела или не поддается полной проверке. В результате организации теряют возможность четко определять, что находится внутри, а что за пределами доверенных границ.
Она также подчеркнула, что ИИ коренным образом меняет природу моделирования угроз, поскольку эти системы не статичны. Традиционные проверки безопасности на определенный момент времени больше не выдерживают критики в условиях, когда системы ИИ постоянно развиваются, адаптируются и динамически оптимизируют свое поведение.
Хесус Куадрадо подошел к проблеме с точки зрения цепочки поставок программного обеспечения. Один из самых наглядных примеров, обсуждавшихся во время сессии, касался зависимостей, предлагаемых искусственным интеллектом. Разработчики все чаще автоматически принимают рекомендации по пакетам, сгенерированные ИИ, зачастую практически без проверки. Это создает совершенно новый путь атаки.
Как обсуждалось в ходе дискуссии, злоумышленники могут идентифицировать вымышленные названия пакетов, генерируемые крупными языковыми моделями, регистрировать эти пакеты в общедоступных репозиториях и ждать, пока разработчики или агенты ИИ установят их автоматически.
Это кардинально меняет предположения, лежащие в основе традиционных подходов. SCA программы. Команды безопасности больше не имеют дело только с известными уязвимыми зависимостями. Все чаще им приходится сталкиваться с зависимостями, которые могли появиться за несколько минут до этого и содержат вредоносное поведение, специально разработанное для рабочих процессов с использованием ИИ.
В ходе обсуждения также рассматривалось, как атаки начинают нацеливаться на совершенно новые аспекты внутри сред разработки. Внедрение подсказок в комментарии, отравленные файлы инструкций для агентов, вредоносные взаимодействия с MCP и манипулирование рабочими процессами ИИ — все это становится реальными векторами атак. В результате получается модель угроз, которая является более широкой, быстрой и гораздо более динамичной, чем та, для которой изначально разрабатывались традиционные программы обеспечения безопасности приложений.
CISОчки теряют свою заметность по всей стране. SDLC
Прозрачность стала одной из главных тем обсуждения. Как подытожил Луис Родригес во время сессии, многие руководители служб безопасности просто не знают, какие инструменты ИИ используют их разработчики, какой сгенерированный ИИ код попадает в репозитории или с какими агентами они взаимодействуют. pipelineи инфраструктура.
Участники дискуссии охарактеризовали это как эволюцию теневых ИТ в теневой ИИ. Но в отличие от предыдущих поколений несанкционированных инструментов, эти системы активно участвуют в разработке.cisОни генерируют код, выбирают зависимости, взаимодействуют с инфраструктурой и все чаще принимают оперативные решения от имени разработчиков.
Сэм Степанян выделил еще одну важную проблему: атрибуцию. По мере того как код, генерируемый ИИ, становится все более распространенным, организации теряют возможность четко определить, кто (или что) совершил конкретное действие.
Потеря возможности отслеживания создает проблемы как в управлении, так и в операционной деятельности. Если команды не могут надежно различать поведение, сгенерированное человеком, и поведение, сгенерированное ИИ, реагирование на инциденты, аудит и проверка безопасности значительно усложняются.
В ходе дискуссии также затронули растущую тенденцию к чрезмерному доверию к результатам, генерируемым ИИ. Разработчики часто предполагают, что раз сгенерированный ИИ код выглядит уверенным и функциональным, значит, он также безопасен. Но, как отметил Сэм, эти системы часто обучаются на небезопасных общедоступных примерах и могут генерировать уязвимые или полностью вымышленные результаты с высокой степенью уверенности. Это создает опасное сочетание: ограниченная прозрачность, снижение возможности установления авторства и растущее доверие к системам, которые организации не до конца понимают.
Индустрия незаметно движется в сторону агентского подхода. SDLCs
Один из важнейших аспектов дискуссии был посвящен переходу от вторых пилотов к автономным агентам. Участники дискуссии сошлись во мнении, что отрасль быстро движется к тому, что все чаще можно описать как агентное управление. SDLC, среды, в которых системы искусственного интеллекта больше не просто предлагают код, а активно предпринимают действия на протяжении всего жизненного цикла программного обеспечения.
Системы искусственного интеллекта начинают открываться. pull requestsВыполнять тесты, запускать внешние инструменты, модифицировать инфраструктуру, взаимодействовать с API и работать автономно в различных средах разработки. Другими словами, ИИ переходит от роли помощника к роли оператора.
Этот сдвиг коренным образом меняет модель безопасности. Как показало обсуждение, организациям, вероятно, потребуются совершенно новые подходы к управлению, основанные на идентификации агентов ИИ, принципе минимальных привилегий доступа, возможности аудита, человеческом контроле, подписанных действиях и непрерывной видимости поведения ИИ.
Один особенно яркий пример, обсуждавшийся во время сессии, касался системы искусственного интеллекта, пытавшейся отключить средства защиты конечных точек на рабочей станции разработчика для достижения поставленной перед ней цели.
Этот пример иллюстрирует важную особенность сред, управляемых искусственным интеллектом: эти системы оптимизируются для достижения целей, а не обязательно для соблюдения границ безопасности. Традиционная безопасность приложений строилась на мониторинге человеческих ошибок. Следующее поколение безопасности приложений будет все больше нуждаться в управлении автономным поведением.
Почему для обеспечения безопасности приложений с учетом возможностей ИИ необходим подход «нулевого доверия»
Многие темы, обсуждавшиеся на SafeDev Talk, тесно связаны с более широким сдвигом в сторону того, что... Ксигени определяет это как «нулевое доверие» для эпохи искусственного интеллекта. SDLCНе доверяйте ничему, проверяйте всё, включая сам ИИ. Как описано в платформенном подходе Xygeni, ИИ расширяет поверхность атаки одновременно на несколько уровней:
- код первой стороны,
- зависимости,
- CI/CD pipelines,
- Модели и агенты искусственного интеллекта.
- и средах разработки.
Многие из этих областей остаются практически невидимыми для традиционных инструментов обеспечения безопасности приложений. Задача уже не сводится к простому сканированию кода на наличие уязвимостей. Организациям все чаще требуется прозрачность в отношении зависимостей, создаваемых ИИ, активности ИИ в средах разработки, поведения агентов, инфраструктуры, подключенной к ИИ, и взаимодействий в цепочке поставок программного обеспечения, происходящих на машинной скорости.
Именно поэтому существуют такие концепции, как инвентаризация с использованием ИИ, интеллектуальное управление на основе ИИ. ASPMAI-SPM и управление средой разработки быстро становятся центральными темами современных дискуссий о безопасности приложений.
SDLC Уже изменилось
В ходе выступления на SafeDev Talk стало совершенно ясно одно: Искусственный интеллект уже встроен в SDLC. В отрасли больше не обсуждается вопрос о том, произойдет ли разработка с использованием ИИ. Этот переход уже идет полным ходом в инженерных организациях всех размеров.
Главная задача сейчас — поддержание прозрачности, управления, атрибуции и оперативного контроля в условиях все более автономных сред разработки.
По мере ускорения внедрения ИИ традиционные представления в области безопасности приложений, касающиеся границ доверия, человеческого авторства, происхождения программного обеспечения и статических моделей управления, будут и дальше рушиться.
Организации, которые быстрее всего адаптируются, не обязательно будут теми, кто замедлит внедрение ИИ. Это будут те, кто сможет понимать, управлять и обеспечивать безопасность разработки программного обеспечения на основе ИИ с той скоростью, с которой она уже развивается.
Продолжите обсуждение на конференции OWASP Global AppSec EU Vienna.
Дискуссия вокруг искусственного интеллекта SDLC Безопасность — это только начало. Компания Xygeni продолжит изучать эти темы на конференции OWASP Global AppSec EU в Вене, где команда обсудит вопросы безопасности приложений с учетом возможностей искусственного интеллекта. software supply chain securityуправление ИИ и возникающие риски, связанные с средами разработки агентных систем.
Если вы посещаете OWASP Global AppSec ЕСПриходите познакомиться с командой Xygeni в Вене на стенде G-08!
