AI-Driven SDLCChúng đã ở đây rồi

AI-Driven SDLCChúng đã ở đây rồi. Giờ thì sao?

AI-Driven SDLCTrí tuệ nhân tạo (AI) đã ở đây rồi. AI không còn là thứ sắp xuất hiện nữa. Nó đã ở đây rồi. Nó viết mã trong các IDE của chúng ta. Nó chọn thư viện. Nó mở ra... pull requestsNó thực hiện các bước trong quy trình của chúng ta. pipelineCâu hỏi đặt ra không còn là liệu các nhà phát triển có sử dụng AI hay không. Câu hỏi là làm thế nào các tổ chức duy trì được khả năng giám sát, kiểm soát và sự tin tưởng trong quá trình đó.

Ngành phát triển phần mềm hiện đại đã bước vào kỷ nguyên trí tuệ nhân tạo.

Trong các tổ chức kỹ thuật, các nhà phát triển đã và đang sử dụng các trợ lý lập trình, hỗ trợ mã hóa, IDE được hỗ trợ bởi AI, các tác nhân nội bộ, các công cụ kết nối MCP và quy trình làm việc ngày càng tự động hóa như một phần của hoạt động phát triển hàng ngày. Điều bắt đầu như một thử nghiệm đã nhanh chóng trở thành một phần không thể thiếu trong vòng đời phát triển phần mềm. Đó là chủ đề chính của buổi SafeDev Talk mới nhất do Xygeni tổ chức: “AI-Driven SDLCChúng đã ở đây rồi. Giờ thì sao?"

Phiên họp đã quy tụ... Sam Stepanyan, Thành viên Hội đồng quản trị toàn cầu của OWASP và Trưởng chi nhánh OWASP London; Ashwini Siddhi, thành viên Hội đồng quản trị toàn cầu của OWASP và là nhà lãnh đạo an ninh mạng tập trung vào môi trường dựa trên trí tuệ nhân tạo; và Jesus Cuadrado, CEO tại Xygeni, điều phối bởi Luis RodriguezCán bộ nghiên cứu tại Xygeni.

Và điều nổi bật xuyên suốt cuộc thảo luận là một thông điệp rõ ràng: cuộc đối thoại về bảo mật ứng dụng đã thay đổi về cơ bản. Các nhóm bảo mật không còn chuẩn bị cho việc ứng dụng AI trong phát triển phần mềm nữa. Họ đã và đang đối phó với nó.

Những điểm chính cần lưu ý về ứng dụng trí tuệ nhân tạo (AI) SDLCs

  • Trí tuệ nhân tạo (AI) đã được tích hợp vào mọi lĩnh vực hiện đại. SDLCthông qua các trợ lý phi công, trợ lý lập trình, tác nhân tự động và công cụ phát triển được hỗ trợ bởi trí tuệ nhân tạo.
  • Các mô hình bảo mật ứng dụng truyền thống không được thiết kế cho mã do AI tạo ra, các phụ thuộc ảo, quy trình làm việc tự động hoặc phát triển với tốc độ máy móc.
  • Trí tuệ nhân tạo ngầm (Shadow AI) đang trở thành một thách thức lớn về khả năng hiển thị và quản trị. CISCác nhóm Hệ điều hành và Bảo mật ứng dụng.
  • Việc phát triển có sự hỗ trợ của AI tạo ra các bề mặt tấn công mới, bao gồm chèn mã độc, các phụ thuộc độc hại, lạm dụng MCP và quy trình làm việc dựa trên tác nhân.
  • Các tổ chức cần các mô hình quản trị có nhận thức về AI được xây dựng dựa trên tính minh bạch, sự quy kết, quyền hạn tối thiểu và xác minh liên tục.
  • Ngành công nghiệp đang nhanh chóng chuyển sang mô hình đại lý. SDLClà nơi mà các hệ thống AI chủ động thực hiện các hoạt động phát triển.

Xem toàn bộ buổi thuyết trình SafeDev Talk: AI-Driven SDLCChúng đã ở đây rồi

Dưới đây là một số thông tin quan trọng được thảo luận trong phiên họp, bao gồm cách AI đang định hình lại mô hình mối đe dọa bảo mật ứng dụng, và lý do tại sao. CISCác hệ điều hành đang mất dần khả năng giám sát trên các môi trường phát triển, và các tổ chức đang ưu tiên những biện pháp kiểm soát thực tiễn nào trước tiên. 

Tại sao nên dựa vào trí tuệ nhân tạo? SDLC An ninh là vấn đề quan trọng ngay lúc này

Việc ứng dụng trí tuệ nhân tạo trong phát triển phần mềm đang diễn ra nhanh hơn hầu hết các chương trình quản trị có thể thích ứng. Khi các tổ chức chuyển từ vai trò người hỗ trợ sang vai trò tác nhân tự chủ ngày càng cao, thì... SDLC Nó ngày càng trở nên tự động hóa, năng động và khó giám sát hơn bằng các phương pháp bảo mật ứng dụng truyền thống.

Cho nhieu CISĐối với các nhà lãnh đạo về hệ điều hành và bảo mật ứng dụng, thách thức không còn là liệu AI có thâm nhập vào môi trường phát triển hay không. Thách thức là làm thế nào để duy trì khả năng giám sát, xác định nguồn gốc và kiểm soát hoạt động một khi AI đã thâm nhập.

Sự thay đổi đó đang buộc các tổ chức phải suy nghĩ lại. software supply chain securityCác mô hình quản trị, tính minh bạch của nhà phát triển và vai trò của sự tin tưởng trong môi trường phát triển phần mềm hiện đại.

Việc ứng dụng AI đang diễn ra nhanh hơn so với quản trị an ninh.

Một trong những chủ đề nổi bật nhất xuyên suốt cuộc trò chuyện là tốc độ. Như Luis Rodriguez đã giải thích trong phần mở đầu, AI không còn giới hạn ở việc thử nghiệm hay các công cụ năng suất riêng lẻ. Nó đã tham gia trực tiếp vào quy trình phát triển: viết mã, lựa chọn thư viện, tương tác với... pipelinevà ngày càng hoạt động trên chính cơ sở hạ tầng phần mềm.

Điều khiến các thành viên tham gia thảo luận ngạc nhiên nhất không phải là sự tồn tại của việc ứng dụng AI, mà là mức độ phổ biến rộng rãi của nó, thường diễn ra mà không có sự giám sát hay quản lý chính thức. Sam Stepanyan đã mô tả sự khác biệt ngày càng lớn giữa chính sách bảo mật chính thức và những gì thực sự đang diễn ra bên trong các nhóm kỹ thuật, đặc biệt là trong các ngành công nghiệp được quản lý chặt chẽ. Một số tổ chức vẫn tuyên bố họ "không sử dụng AI", trong khi các nhà phát triển đã tích hợp các trợ lý ảo, trợ lý công nghệ và các công cụ AI vào quy trình làm việc hàng ngày của họ.

Đồng thời, ông cũng chỉ ra một thực tế mà nhiều tổ chức vẫn đang khó chấp nhận: ngay cả những công ty cố gắng tránh áp dụng AI vẫn phải đối mặt với những đối thủ đã và đang sử dụng nó một cách mạnh mẽ. Sự căng thẳng đó đang tạo ra cái mà nhiều nhà lãnh đạo an ninh hiện nay mô tả là Trí tuệ nhân tạo bóng tối (Shadow AI) bên trong môi trường phát triển phần mềm, các hệ thống AI hoạt động bên ngoài các mô hình quản trị đã được thiết lập.

Ashwini Siddhi đã bổ sung thêm một góc nhìn quan trọng khác. Điều khiến bà lo ngại không chỉ đơn thuần là tốc độ áp dụng mà còn là sự thiếu minh bạch trong vận hành xung quanh mã do AI tạo ra. Trong cuộc thảo luận, bà nhấn mạnh rằng các tổ chức thường không có thông tin đáng tin cậy về việc AI đã đóng góp ở đâu, tại sao nó tạo ra mã cụ thể đó, hoặc cách thức những mã đó được xử lý.cisCác ion này sau đó cần được xem xét và xác nhận. Điều này hàm ý rất quan trọng: các nhóm phát triển đang đưa các yếu tố không phải con người vào quá trình phát triển. SDLCnhưng hầu hết các mô hình quản trị và đánh giá vẫn giả định rằng việc biên soạn hoàn toàn do con người thực hiện.

Trí tuệ nhân tạo không chỉ đẩy nhanh quá trình phát triển. Nó còn thay đổi cách thức rủi ro xuất hiện. SDLC

Khi trí tuệ nhân tạo (AI) được tích hợp sâu rộng vào quy trình phát triển phần mềm, bề mặt tấn công mở rộng vượt xa các giả định bảo mật ứng dụng truyền thống. Hội thảo liên tục quay trở lại một ý tưởng cốt lõi: hầu hết các chương trình bảo mật được xây dựng dựa trên các rủi ro đã biết, hoạt động với tốc độ của con người. AI thay đổi cả hai điều kiện này cùng một lúc.

Các nhóm bảo mật không còn chỉ xem xét mã do con người viết nữa. Họ ngày càng phải đối phó với các phụ thuộc do AI tạo ra, rủi ro tấn công chèn mã nhanh, quy trình làm việc tự động, công cụ kết nối MCP, plugin AI và tốc độ máy tính. CI/CD chấp hành.

Ashwini Siddhi giải thích rằng một trong những khái niệm đầu tiên bắt đầu bị phá vỡ chính là ranh giới tin cậy truyền thống. Các hệ thống AI được đào tạo trên khối lượng lớn mã nguồn công khai, phần lớn trong số đó không an toàn, lỗi thời hoặc không thể xác minh đầy đủ. Kết quả là, các tổ chức mất khả năng xác định rõ ràng những gì nằm trong hoặc ngoài ranh giới tin cậy.

Bà cũng nhấn mạnh rằng trí tuệ nhân tạo (AI) về cơ bản làm thay đổi bản chất của việc mô hình hóa mối đe dọa vì các hệ thống này không tĩnh. Các đánh giá an ninh truyền thống tại một thời điểm nhất định không còn phù hợp trong môi trường mà các hệ thống AI liên tục phát triển, thích nghi và tối ưu hóa hành vi một cách năng động.

Jesus Cuadrado tiếp cận vấn đề từ góc độ chuỗi cung ứng phần mềm. Một trong những ví dụ rõ ràng nhất được thảo luận trong phiên họp liên quan đến các phụ thuộc do AI đề xuất. Các nhà phát triển ngày càng chấp nhận các đề xuất gói do AI tạo ra một cách tự động, thường với rất ít hoặc không có quy trình xác thực nào. Điều đó tạo ra một con đường tấn công hoàn toàn mới.

Như đã thảo luận trong buổi tọa đàm, tin tặc có thể xác định các tên gói ảo được tạo ra bởi các mô hình ngôn ngữ lớn, đăng ký các gói đó trong các kho lưu trữ công cộng và chờ các nhà phát triển hoặc các tác nhân AI cài đặt chúng tự động.

Điều này làm thay đổi đáng kể những giả định đằng sau các quan niệm truyền thống. SCA Các nhóm bảo mật không còn chỉ xử lý các phụ thuộc dễ bị tổn thương đã biết nữa. Họ ngày càng phải đối phó với các phụ thuộc có thể xuất hiện chỉ vài phút trước đó và chứa các hành vi độc hại được thiết kế đặc biệt cho các quy trình làm việc hỗ trợ bởi AI.

Cuộc thảo luận cũng đề cập đến việc các cuộc tấn công đang bắt đầu nhắm mục tiêu vào những bề mặt hoàn toàn mới bên trong môi trường phát triển. Việc chèn mã độc vào bên trong phần bình luận, các tệp hướng dẫn độc hại dành cho các tác nhân, các tương tác MCP độc hại và các quy trình làm việc AI bị thao túng đều đang trở thành những phương thức tấn công khả thi. Kết quả là một mô hình mối đe dọa rộng hơn, nhanh hơn và năng động hơn nhiều so với những gì các chương trình bảo mật ứng dụng truyền thống được thiết kế ban đầu.

CISHệ điều hành đang mất dần sự chú ý trên toàn cầu. SDLC

Tính minh bạch trở thành một trong những chủ đề nổi bật xuyên suốt cuộc thảo luận. Như Luis Rodriguez đã tóm tắt trong phiên họp, nhiều nhà lãnh đạo an ninh đơn giản là không biết các nhà phát triển của họ đang sử dụng công cụ AI nào, mã do AI tạo ra nào đang được đưa vào kho lưu trữ hoặc tác nhân nào đang tương tác với hệ thống. pipelinevà cơ sở hạ tầng.

Nhóm chuyên gia mô tả đây là sự tiến hóa từ CNTT ngầm sang Trí tuệ nhân tạo ngầm. Nhưng không giống như các thế hệ công cụ không được phép sử dụng trước đây, các hệ thống này chủ động tham gia vào quá trình phát triển.cisCác ion. Chúng tạo ra mã, chọn các phụ thuộc, tương tác với cơ sở hạ tầng và ngày càng đưa ra các lựa chọn vận hành thay mặt cho các nhà phát triển.

Sam Stepanyan đã nêu bật một thách thức quan trọng khác: việc xác định nguồn gốc. Khi mã do AI tạo ra trở nên phổ biến hơn, các tổ chức mất khả năng xác định rõ ràng ai (hoặc cái gì) đã tạo ra một hành động cụ thể.

Việc mất khả năng truy vết đó tạo ra cả vấn đề quản trị và vận hành. Nếu các nhóm không thể phân biệt một cách đáng tin cậy giữa hành vi do con người và hành vi do AI tạo ra, thì việc ứng phó sự cố, kiểm toán và đánh giá an ninh đều trở nên phức tạp hơn đáng kể.

Cuộc thảo luận cũng đề cập đến xu hướng ngày càng tăng về việc quá tin tưởng vào kết quả do AI tạo ra. Các nhà phát triển thường cho rằng vì mã do AI tạo ra trông có vẻ tự tin và hoạt động tốt, nên nó cũng phải an toàn. Nhưng như Sam đã chỉ ra, các hệ thống này thường được đào tạo trên các ví dụ công khai không an toàn và có thể tạo ra các kết quả dễ bị tổn thương hoặc hoàn toàn sai lệch với độ tin cậy cao. Điều này tạo ra một sự kết hợp nguy hiểm: tầm nhìn hạn chế, khả năng xác định nguyên nhân giảm sút và niềm tin ngày càng tăng vào các hệ thống mà các tổ chức chưa hiểu rõ.

Ngành công nghiệp đang âm thầm chuyển dịch sang hướng tiếp cận chủ động. SDLCs

Một trong những phần quan trọng nhất của cuộc thảo luận tập trung vào sự chuyển đổi từ phi công phụ sang các tác nhân tự động. Các thành viên tham gia hội thảo nhất trí rằng ngành công nghiệp đang nhanh chóng tiến tới điều mà ngày càng có thể được mô tả là một hệ thống điều khiển tự động dựa trên tác nhân. SDLC, môi trường nơi các hệ thống AI không chỉ đơn thuần đề xuất mã mà còn chủ động thực hiện các hành động trong suốt vòng đời phần mềm.

Các hệ thống trí tuệ nhân tạo đang bắt đầu mở cửa. pull requestsNó có thể thực hiện các bài kiểm tra, gọi các công cụ bên ngoài, sửa đổi cơ sở hạ tầng, tương tác với API và hoạt động tự động trên các môi trường phát triển. Nói cách khác, AI đang chuyển từ vai trò trợ lý sang vai trò người vận hành.

Sự thay đổi đó về cơ bản làm thay đổi mô hình bảo mật. Như cuộc thảo luận đã đề cập, các tổ chức có thể sẽ cần các phương pháp quản trị hoàn toàn mới tập trung vào định danh cho các tác nhân AI, quyền truy cập tối thiểu, khả năng kiểm toán, sự giám sát của con người, các hành động được ký xác thực và khả năng hiển thị liên tục về hành vi của AI.

Một ví dụ đặc biệt nổi bật được thảo luận trong phiên họp liên quan đến một hệ thống AI cố gắng vô hiệu hóa các biện pháp bảo vệ an ninh điểm cuối trên máy trạm của nhà phát triển để đạt được mục tiêu được giao.

Ví dụ đó minh họa một thực tế quan trọng về môi trường do AI điều khiển: các hệ thống này tối ưu hóa cho các mục tiêu, chứ không nhất thiết là cho các giới hạn an ninh. Bảo mật ứng dụng truyền thống được xây dựng dựa trên việc giám sát các lỗi do con người gây ra. Thế hệ bảo mật ứng dụng tiếp theo sẽ ngày càng cần phải quản lý hành vi tự động.

Vì sao bảo mật ứng dụng nhận biết AI cần phương pháp tiếp cận Zero Trust

Nhiều chủ đề được thảo luận trong suốt buổi SafeDev Talk có sự tương đồng chặt chẽ với xu hướng chuyển đổi rộng hơn hướng tới điều gì sẽ xảy ra tiếp theo? Xygeni được định nghĩa là mô hình Zero Trust cho kỷ nguyên AI. SDLCĐừng tin tưởng bất cứ điều gì, hãy xác minh mọi thứ, kể cả chính trí tuệ nhân tạo. Như đã nêu trong phương pháp tiếp cận nền tảng của Xygeni, trí tuệ nhân tạo (AI) mở rộng bề mặt tấn công trên nhiều lớp cùng một lúc:

  • mã bên thứ nhất,
  • phụ thuộc,
  • CI/CD pipelines,
  • Mô hình và tác nhân AI,
  • và môi trường phát triển.

Nhiều khu vực trong số này vẫn hầu như không thể phát hiện được bằng các công cụ bảo mật ứng dụng truyền thống. Thách thức hiện nay không chỉ đơn thuần là quét mã để tìm lỗ hổng bảo mật. Các tổ chức ngày càng cần có cái nhìn toàn diện về các phụ thuộc do AI tạo ra, hoạt động của AI bên trong môi trường phát triển, hành vi của tác nhân, cơ sở hạ tầng kết nối với AI và các tương tác trong chuỗi cung ứng phần mềm diễn ra với tốc độ máy tính.

Đó cũng là lý do tại sao các khái niệm như kiểm kê AI, nhận thức AI, lại quan trọng. ASPMQuản trị hệ thống dựa trên AI (AI-SPM) và quản trị môi trường phát triển đang nhanh chóng trở thành trọng tâm của các cuộc thảo luận về bảo mật ứng dụng hiện đại.

SDLC Đã thay đổi

Buổi thuyết trình của SafeDev đã làm rõ một điều: Trí tuệ nhân tạo đã được tích hợp vào bên trong... SDLC. Ngành công nghiệp không còn bàn luận về việc liệu phát triển phần mềm có sự hỗ trợ của trí tuệ nhân tạo (AI) có diễn ra hay không. Quá trình chuyển đổi đó đã và đang diễn ra tại các tổ chức kỹ thuật thuộc mọi quy mô.

Thách thức thực sự hiện nay là duy trì khả năng giám sát, quản trị, xác định nguồn gốc và kiểm soát hoạt động trong các môi trường phát triển ngày càng tự động hóa.

Khi việc ứng dụng AI tăng tốc, các giả định truyền thống về bảo mật ứng dụng xoay quanh ranh giới tin cậy, quyền tác giả của con người, nguồn gốc phần mềm và các mô hình quản trị tĩnh sẽ tiếp tục bị phá vỡ.

Những tổ chức thích ứng nhanh nhất không nhất thiết là những tổ chức làm chậm quá trình ứng dụng AI. Họ sẽ là những tổ chức có khả năng hiểu, quản lý và bảo mật quá trình phát triển phần mềm dựa trên AI với tốc độ hiện tại.

Tiếp tục cuộc thảo luận tại OWASP Global AppSec EU Vienna

Cuộc thảo luận xoay quanh trí tuệ nhân tạo (AI) SDLC An ninh mạng chỉ mới là bước khởi đầu. Xygeni sẽ tiếp tục khám phá những chủ đề này tại OWASP Global AppSec EU ở Vienna, nơi nhóm sẽ thảo luận về bảo mật ứng dụng dựa trên trí tuệ nhân tạo (AI-aware AppSec). software supply chain security, quản trị AI, và những rủi ro mới nổi của môi trường phát triển dựa trên tác nhân.

Nếu bạn đang tham dự OWASP Global AppSec EUHãy đến gặp gỡ đội ngũ Xygeni tại gian hàng G-08 ở Vienna!

sca-tools-software-composition-analysis-tools
Ưu tiên, khắc phục và bảo mật các rủi ro phần mềm của bạn
Đăng ký tài khoản miễn phí ngay.
Không cần thẻ tín dụng.

Bảo mật quá trình phát triển và phân phối phần mềm của bạn.

với bộ sản phẩm Xygeni