Открытый исходный код стал основой современной разработки программного обеспечения. Практически каждое приложение сегодня опирается на сложную сеть сторонних библиотек, фреймворков, моделей и инструментов сборки. Уже сама эта реальность вносит существенный вклад в развитие программного обеспечения. software supply chain security проблемы. В то же время искусственный интеллект проник в... жизненный цикл разработки программного обеспечения в качестве мощного ускорителя, генерирующего код, предлагающего зависимости, автоматизирующего исправления и даже влияющего на архитектурное проектирование.cisионов. Вместе открытый исходный код и ИИ изменили способы создания программного обеспечения и, неизбежно, способы его атак. Пересечение вопросов безопасности ИИ, безопасности ИИ и программного обеспечения, а также software supply chain security Это уже не теория. Сейчас это один из основных источников рисков в цепочке поставок программного обеспечения, с которыми сталкиваются инженерные организации.
Именно эта реальность легла в основу нашей недавней дискуссии на SafeDev Talk: Открытый исходный код, ИИ и новая поверхность атаки: код, превращенный в оружие, более интеллектуальная защита.В дискуссии приняли участие руководители служб безопасности из Red Hat, TikTok и Xygeni. Основное внимание было уделено проблемам, с которыми уже сталкиваются команды специалистов по безопасности и инженеров в производственных средах, в частности, атакам на цепочки поставок программного обеспечения с открытым исходным кодом, вредоносным пакетам с открытым исходным кодом и растущему напряжению между скоростью и контролем в разработке программного обеспечения на основе ИИ. В итоге сложилась четкая картина: поверхность атаки расширяется быстрее, чем традиционные модели безопасности успевают за ней, а ИИ выступает одновременно и как множитель силы, и как стресс-тест для давних предположений в области безопасности ИИ. software supply chain security.
Если это описание кажется вам подозрительно похожим на то, как ваша организация сейчас разрабатывает программное обеспечение, это не совпадение. Многие команды понимают, насколько доверие сместилось в сторону автоматизации, только когда что-то ломается.
Безопасность ИИ и Software Supply Chain Security Теперь та же проблема?
Одной из повторяющихся тем в ходе дискуссии было то, что безопасность ИИ больше нельзя рассматривать как отдельную дисциплину. software supply chain securityСистемы искусственного интеллекта не работают изолированно; они создаются, обучаются, развертываются и интегрируются с помощью одной и той же системы. pipelines, зависимости и реестры, которые уже испытывают трудности с атаками на цепочки поставок с открытым исходным кодом.
В разработке программного обеспечения с использованием искусственного интеллекта модели предлагают варианты кода, генерируют исправления и автоматически выбирают зависимости. Эти модели позволяют автоматически предлагать варианты кода, генерировать исправления и выбирать зависимости.cisионы оказывают прямое воздействие управление зависимостями с открытым исходным кодомЗачастую без явного участия человека. В результате риск возникновения зависимостей определяется уже не только выбором разработчика; он все чаще формируется поведением ИИ.
Эта конвергенция означает, что сбои в безопасности ИИ и программного обеспечения часто проявляются как традиционные инциденты в цепочке поставок: скомпрометированные зависимости, поврежденные артефакты сборки или уязвимости. CI/CD процессы. Инструментарий может быть новым, но риск, связанный с цепочкой поставок программного обеспечения, очень реален и его становится все сложнее оценить.
Если ваши модели угроз по-прежнему разделяют «риски, связанные с ИИ» и «риски, связанные с цепочкой поставок», возможно, стоит пересмотреть, где именно эта граница проходит в ваших рабочих процессах сборки и развертывания.
Атаки на цепочки поставок с использованием открытого исходного кода на машинной скорости
Атаки на цепочки поставок с открытым исходным кодом не новы, но ИИ меняет их экономику. Злоумышленникам не нужны новые методы; им нужен масштаб. ИИ позволяет быстро анализировать экосистему, автоматически обнаруживать слабые зависимости и быстро совершенствовать полезные нагрузки атак.
С точки зрения наступления, эта индустриализация разведки значительно повышает вероятность успеха атак с использованием вредоносных пакетов с открытым исходным кодом. Компоненты, которые ранее оставались бы незамеченными, теперь могут быть обнаружены, проанализированы и использованы быстро, зачастую еще до того, как защитники поймут, что они используются.
Вот почему software supply chain security Нельзя полагаться только на сигналы с задержкой. Реестры, рекомендации и постфактумные раскрытия информации работают в масштабах, характерных для человеческого времени, в то время как злоумышленники все чаще действуют со скоростью машин. Образовавшееся окно уязвимости напрямую способствует росту рисков в цепочке поставок программного обеспечения.
Если ваш основной сигнал обнаружения — «реестр удалил пакет», значит, вы уже действуете на опережение злоумышленника.
Хотите подробно изучить атаки на цепочку поставок программного обеспечения с открытым исходным кодом?
Риск зависимости в разработке программного обеспечения с использованием ИИ
Одним из наиболее очевидных рисков, обсуждавшихся на конференции SafeDev Talk, был риск зависимостей, особенно в средах, в значительной степени зависящих от разработки программного обеспечения с использованием ИИ. ИИ-помощники в программировании оптимизированы для удобства и скорости, а не для минимизации поверхности атаки.
На практике это приводит к агрессивному внедрению зависимостей. Вместо повторного использования существующей функциональности добавляются новые библиотеки. транзитивные зависимости Развивайтесь незаметно и открывайте исходный код управление зависимостями Это становится реактивным, а не целенаправленным действием. Со временем команды теряют способность рассуждать о том, что они на самом деле делают.
Это не просто вопрос гигиены. Каждая новая зависимость вносит дополнительные риски в цепочку поставок программного обеспечения, новые предположения о доверии и новые возможности для атак на цепочку поставок открытого исходного кода. Когда зависимость...cisПоскольку ионы автоматизированы и анализируются поверхностно, риск зависимости становится системным, а не случайным.
Если ваша сеть зависимостей разрастается быстрее, чем ваша команда способна её объяснить, это не проблема инструментов, а проблема доверия.
Искусственный интеллект в качестве помощника при программировании, безопасность и крах системы проверки кода.
Ещё одним обсуждаемым сбоем стало ослабление процесса рецензирования в присутствии кода, сгенерированного ИИ. В случае с помощниками по программированию на основе ИИ безопасность — это не только внедрение кода в систему или неправильное использование моделей; это также вопрос о том, сколько непроверенной логики попадает в производственные системы.
Изменения, вносимые искусственным интеллектом, часто бывают масштабными, логичными и сложными для проверки в условиях нехватки времени. В результате экспертная оценка становится поверхностной или символической. Этот незаметный коллапс устраняет один из наиболее эффективных механизмов контроля. software supply chain security.
Проблема не в халатности разработчиков. Проблема в несогласованности рабочих процессов. Когда скорость поощряется, а сложности наказываются, средства защиты ИИ и программного обеспечения, зависящие от человеческого фактора, неизбежно ослабевают. Злоумышленникам не нужно обходить проверку, если проверка больше не служит барьером.
Многие команды считают, что проверка по-прежнему работает, потому что этот процесс существует. Меньше людей задаются вопросом, продолжает ли она функционировать как эффективный инструмент контроля.
Вредоносные пакеты с открытым исходным кодом и миф о популярности
В сфере управления зависимостями в проектах с открытым исходным кодом распространено мнение, что популярные проекты безопаснее. В действительности же популярность часто увеличивает риск утечки информации. Широко используемые библиотеки являются ценными объектами для... атаки на цепочки поставок с открытым исходным кодом, дляcisПотому что компромисс имеет широкое влияние на последующие этапы.
Многие популярные проекты поддерживаются небольшими командами или отдельными лицами. Даже при обнаружении проблем вредоносные пакеты с открытым исходным кодом часто остаются доступными в течение нескольких часов или дней, прежде чем их удалят. В это время организации продолжают загружать их посредством автоматизированных сборок.
Эта задержка подчеркивает необходимость принятия упреждающих мер. software supply chain security контроль. Полагаться только на популярность, репутацию или действия реестра недостаточно при столкновении с современными рисками в цепочке поставок программного обеспечения.
«Широко используется» — это не то же самое, что «активно защищается», и такое отношение к нему является одним из наиболее распространенных заблуждений в цепочках поставок.
Происхождение программного обеспечения в цепочках поставок и безопасность ИИ
В ходе обсуждения неоднократно поднимался вопрос о необходимости отслеживания происхождения программного обеспечения в цепочках поставок. В средах, использующих искусственный интеллект, вопрос об авторстве становится размытым. Код может быть сгенерирован моделью, изменен человеком, объединен автоматизированным способом и развернут без четкой ответственности.
Без проверяемого происхождения организации вынуждены безоговорочно доверять артефактам. Безопасность ИИ требует перехода от доверия к проверке: подписанные артефакты, build attestationsи отслеживаемое происхождение. Хотя отслеживание происхождения не предотвращает вредоносные действия полностью, оно значительно уменьшает неопределенность и ограничивает возможности злоумышленника.
Это в равной степени относится к моделям, данным и коду. В разработке программного обеспечения с использованием ИИ происхождение данных является основополагающим требованием как для безопасности ИИ, так и для безопасности программного обеспечения.
SBOM и безопасность ИИ в современном Pipelines
Роль SBOM А еще одной неявной темой была безопасность ИИ. SBOMобеспечивают наглядность графов зависимостейОднако одной лишь видимости недостаточно. В средах с интенсивным использованием ИИ, SBOMНеобходимо развиваться, чтобы охватывать не только библиотеки, но и модели, этапы сборки и автоматизированное проектирование.cisионов.
В сочетании с анализ поведения и происхождение, SBOM Безопасность ИИ становится мощным инструментом для снижения рисков в цепочке поставок программного обеспечения. Она позволяет организациям выявлять неожиданные изменения, оценивать их последствия и более эффективно реагировать на атаки на цепочки поставок с использованием открытого исходного кода.
CI/CD Pipeline Security Под давлением автоматизации
Наконец, CI/CD pipeline security возникла как критически важная плоскость управления. Pipelineвсе чаще выполняются действия, предложенные или инициированные системами искусственного интеллекта. Если эти действия pipelineПоскольку в них отсутствуют надежные средства контроля идентификации, проверки артефактов и обеспечения соблюдения политик, они становятся идеальными точками входа для злоумышленников.
неадекватный CI/CD pipeline security Это позволяет вредоносным пакетам с открытым исходным кодом влиять не только на производственные системы, но и на среды разработки и инфраструктуру сборки. По мере роста автоматизации, pipelineК таким активам следует относиться как к высокоценным активам. software supply chain security программ.
Посмотрите выступление на SafeDev.
Чтобы узнать больше обо всех этих идеях непосредственно от практикующих специалистов, формирующих эту область, посмотрите полную версию. SafeDev Talk: Открытый исходный код, ИИ и новая поверхность атаки: код, превращенный в оружие, более интеллектуальная защита., Показывая Роман Жуков (Красная Шапка), Леон Джонсон (TikTok) и Луис Родригес Берсоса (Ксигени).
Практические последствия для безопасности ИИ и Software Supply Chain Security
Практические последствия этих изменений выходят за рамки инструментов. Организации должны понимать, что безопасность ИИ, безопасность ИИ и программного обеспечения, а также software supply chain security Теперь они тесно переплетены.cisОбновления зависимостей, генерация кода и автоматизация, которые когда-то считались низкорисковыми, теперь несут в себе значительный риск для цепочки поставок программного обеспечения, особенно когда эти процессы...cisИоны образуются неявно с помощью инструментов, а не явно людьми.
В ходе выступления на конференции SafeDev Talk этот момент был кратко и ясно сформулирован. Как выразился один из докладчиков: Когда системы искусственного интеллекта участвуют в разработке программного обеспечения, команды безопасности перестают просто защищать код; они защищают разработку.cisионами. Автоматизация не снимает ответственность; она перераспределяет её.
На практике это означает восстановление целенаправленности там, где удобство взяло верх. Управление зависимостями в проектах с открытым исходным кодом должно учитывать поведение, обусловленное ИИ, а не предполагать человеческое мышление. Риск зависимостей больше нельзя рассматривать как периодическую проверку.cise. CI/CD pipeline security Необходимо обеспечить проверку, а не предполагать доброжелательный ввод данных. И отслеживание происхождения программного обеспечения в цепочках поставок должно перейти от желаемого результата к базовому уровню.
Ещё один вывод из дискуссии заключался в том, что скорость сама по себе больше не является нейтральным фактором. Большинство сбоев в цепочках поставок не вызваны одной-единственной катастрофической ситуацией.cisИон, но из множества мелких автоматизированных решений, которые никто явно не одобрил. Это предварительно.cisПочему традиционные модели доверия терпят неудачу при разработке программного обеспечения с использованием искусственного интеллекта.
Всё это вовсе не означает отказа от открытого исходного кода или ИИ. Напротив, это признаёт их центральную роль в современной инженерии. Но без развития представлений о безопасности организации рискуют позволить автоматизации определять уровень доверия по умолчанию.
Заключить…
Полезный способ осмысления этого сдвига заключается в следующем: software supply chain security Речь идёт уже не только о защите артефактов. Речь идёт о защите decisионные путиВ мире, где используется искусственный интеллект, наиболее важными вопросами безопасности являются не только «Уязвим ли этот компонент?», но и «Почему он был внедрен, кем или чем, и при каких ограничениях?». Организации, которые адаптируются к такому подходу, не устранят риски полностью, но будут гораздо реже сталкиваться с ними неожиданностями.
