Integrazione cuntinua è consegna cuntinua (CI/CD) pipelineI software sò a basa di ogni urganizazione chì custruisce software in modu "mudernu". L'automatizazione furnisce una grande putenza, ma a maiò parte di i sviluppatori ùn capiscenu micca a rispunsabilità chì implica.
DocumentalisteIè, pigliemu CI/CD sicurità seriamente è avè un forte cuntrollu nantu à i mantenitori di u codice, rivede commits prima di e fusioni; impieghi è pipelinesò mantenuti da u persunale senior, si occupanu di ùn divulgà sicreti in u pipelines. È u strumentu hè statu stallatu da persunale chì cunnosce a cosa. Chì pò andà male ?
Caru sviluppatore, CI/CD I sistemi sò cumplessi. A so larga superficia d'attaccu hà attrattu attori maligni. Hè megliu esse prudenti è ùn avè mai troppu fiducia in sè stessu.
A cunfigurazione predefinita hè qualchì volta mantenuta è diventa a megliu amica per i pirati informàtichi. Difetti critichi ponu esse presenti in CI/CD pipeline surghjenti, in a cunfigurazione di u sistema, o intornu à u prucessu è u cuntestu di u pipeline è cumu si scatena.
In questu articulu ci metteremu in i panni di i cattivi attori. Imaginemu chì stemu leghjendu e riflessioni di M3M3N70 (Memento Mori ?) è Furia di a Palude in qualchì locu in a dark web, probabilmente in una lingua micca occidentale, ma ùn vi scurdate mai chì u male hè spargugliatu in u mondu sanu.
In i boni tempi antichi era cusì faciule…
M3M3N70À i boni vechji tempi, a nostra attività era cusì faciule... I zero-day eranu frutti à portata di manu, l'applicazioni eranu spalancate cù vulnerabilità facili da sfruttà, è pudemu spustà ci lateralmente in un mumentu.
Furia di a Palude: Fo#@Hell ! Certi sò digià stati scemi, ma e cose sò cambiate. I grossi anu messu assai curagiu in quella roba d'AppSec.
M3M3N70Iè. Ma i novi scemi sò i sviluppatori. Per noi, hè statu più faciule d'andà à l'arnesi chì sti tippi utilizanu. L'IC, in particulare, hè una miniera d'oru! Gettoni d'accessu à u cloud, SCM credenziali, password di a basa di dati di pruduzzione, chjave private SSH, credenziali di altri utilizatori CI... Saltà da e cose noiose di sviluppu à a vera carne era piuttostu triviale.
Automatizazione per a custruzzione, a prova è u sviluppu di software cù un CI/CD U strumentu hà spessu bisognu di passà sicreti à i cumandamenti in passi. È spessu sò filtrati, cù cunsequenze infami.
Pipelineanu bisognu di sicreti chì qualchì volta sò filtrati
M3M3N70: The code monkeys slipped their AWS keys in a pipeline on a GitHub commit, later they removed the thing but not changed git history. For our scripts it was trivial to scan the history, grab the key and wreak havoc.
Forse i boni tempi antichi eranu di truvà in a storia di Git un .env schedariu (u sviluppatore hà scurdatu di aghjunghje lu à .gitignore):
AWS_ACCESS_KEY_ID=AKIA...AWS_SECRET_ACCESS_KEY=wJalrXUtn...AWS_REGION=us-east-1APP_FOLDER=...S3BUCKET=...
chì hè statu utilizatu in un flussu di travagliu GitHub .github/deploy.yaml chì cuntene qualcosa cum'è questu:
jobs:
build:
name: Automated build and deployment into AWS
runs-on: ubuntu-22.04
steps:
# Load environment from .env file
- id: dotenv
uses: falti/dotenv-action@v1.0.2
- name: Configure AWS Credentials
uses:
with:
args: --acl public-read --follow-symlinks --delete
aws-access-key-id: $
aws-secret-access-key: $
aws-region: $
# ... build steps skipped ...
- name: Upload compiled code for deployment
working-directory: $/packaged_app
run: aws s3 cp my-app.zip s3://$
- name: Deploy the app
run: aws deploy create-deployment ...
M3M3N70: wow! Quelle chjave aws funzionavanu! Avemu prima pruvatu un cambiamentu inocuu in l'app, dopu aghjustatu u sting postu chì quelli tippi parevanu inconscienti. Bingo! Chì campagna...
U malfattore hà simpliciamente utilizatu e chjave AWS per caricà una applicazione mudificata cù malware è dopu hà eseguitu u cumandamentu di deploy cù tali credenziali. I sicreti filtrati, inseme cù l'infurmazioni cuntenute in u pipeline« Chì campagna ! » significa probabilmente chì Memento hà fattu ravagii in a povera vittima.
Ciò chì Memento ci dice quì hè chì una volta chì hè accaduta una fuga secreta, cum'è e chjave d'accessu AWS in l'esempiu, duvete revucà u sicretu (rotate e chjave sopra). subituCi hè sempre un finestra di esposizione trà e perdite commit è l'invalidazione secreta; Riscrive a storia di Git hè difficiule (ancu u statu autoritariu u più duru hà pruvatu una tale riscrittura di a storia, senza successu) è probabilmente inefficace (i nostri amichi puderanu avè clonatu prima di u repositoriu cù a fuga secreta commitGirate subitu e chjave, è pregate mentre leghjite i registri di attività per u contu miratu durante a finestra di esposizione!
Probabilmente l'urganisazioni devenu pruibisce l'usu di secreti à longu andà in CI/CD pipelines, è rimpiazzalli cù credenziali tempurali. In l'esempiu precedente cù e chjave AWS in l'azzioni GitHub, hè più sicuru aduprà un Fornitore OpenID Connect (OIDC) per ottene credenziali di corta durata necessarie per l'azzioni.
Furia di a PaludeAvete avutu tanta furtuna! A fuga di script cù chjave codificate in modu duru era una pratica cumuna in i tempi antichi, ancu nantu à i bucket S3 accessibili publicamente. Tuttu ciò chì avete bisognu di fà hè di attraversà l'uggetti in u bucket è fà un pocu di grepping per truvà cose interessanti.
Calchì volta l'area aduprata per u spiegamentu (un bucket AWS S3 in questu esempiu) era aperta per a lettura da i furesteri, per via di un difettu di cunfigurazione (chì ùn hè statu rilevatu). Chì Furia di a Palude adupratu era qualcosa cusì:
aws s3 ls --recursive s3://<bucket_name>/<path>/ | \
awk '{print $4}' | \
xargs -I FNAME sh -c "echo FNAME; \
aws s3 cp s3://<bucket_name>/FNAME - | \
grep '<regex_pattern>'"
U bucket hè statu probabilmente creatu in un mudellu di provisioning chì puderia esse scansionatu automaticamente per difetti di sicurezza.
A cunfigurazione predefinita di u strumentu era un ghjoculu per noi
Per dà esempi concreti parlemu di Jenkins, unu di i strumenti CI più populari.
Furia di a PaludeTi ricordi di quella casella di cuntrollu "Attivà a Sicurezza" in Jenkins, è quante urganisazioni anu sceltu di ùn attivalla per comodità? È quelle "Chiunque pò fà tuttu"cumbinazioni di permessi per difettu? È quelli plugins Jenkins fastidiosi, cum'è u Plugin OAuth di GitHubU tippu chì l'hà cunfiguratu hà sceltu tramindui "Cuncede permessi di LETTURA à tutti l'utilizatori autenticati" è "Utilizà i permessi di u repositoriu GitHub", denduci accessu à tutti i so prughjetti.
(Scusate, Jenkins, per avè vi messu cum'è esempiu 😉)
Mantenete adepti (ancu dipendenti) à i principii di sicurezza. Unu hè u Secure per difettu principiu: i cuntrolli devenu esse impostati per difettu nantu à i paràmetri i più sicuri pussibuli. A sicurità deve esse integrata CI/CD arnesi è pipelines da zero, invece di esse un pensamentu dopu. Ma a facilità d'usu è a cunvenienza si scontranu spessu cù a sicurezza.
Per u casu Jenkins, l'autentificazione integrata hè troppu fragile: ùn aduprate mai i mecanismi d'autentificazione integrati in JenkinsHè megliu optà per un mecanismu di terze parti (SAML, LDAP, Google…), cù u plugin di Strategia d'Autorizazione Basata nantu à i Ruoli ("RBAC"). È esse assai prudenti cù u admin contu.
Pigliate cura di cumu si travaglia è pipeline i fugliali in Jenkins sò trattati. U listessu cù Plugin di cunfigurazione cum'è codice è i so fugliali di cunfigurazione, chì s'applicanu à a cunfigurazione di Jenkins.
Passà da l'autoospitazione CI/CD I sistemi SaaS basati nantu à u cloud eliminanu alcuni risichi putenziali chì permettenu u muvimentu laterale in a rete di l'urganizazione, ma ne anu aghjustatu altri, cum'è avè da apre cunnessione esterne trà i sistemi interni esistenti è quelli esternalizati. CI/CD strumentu.
L'urganisazioni devenu fà eserciziucisa cura dovuta in l'indurimentu di u CI/CD sistema, cuminciendu cù i paràmetri i più restrittivi è aprendu gradualmente cù i permessi minimi richiesti per u pipeline passi.
Cunfigurazione di a sicurità in CI/CD L'arnesi puderanu esse un'impresa cumplessa. Parechji anu plugins o estensioni chì anu a maiò parte di e vulnerabilità è devenu esse aggiornate.
I scanner di cunfigurazione sbagliata di sicurezza per strumenti cusì cumplessi, o i benchmark ponu aiutà.
Iniezione di codice in pipeline cumandamenti per piacè è prufittu
M3M3N70Avete mai utilizatu Untrusted Code Checkouts, chì sò azzioni è script vulnerabili vulnerabili à l'iniezione di cumandamenti?
Questa sezione mostra chì u pipeline ellu stessu puderia avè errori di codificazione chì permettenu à i malfattori d'injectà l'esecuzione di codice arbitrariu in u pipeline senza cambià u pipeline a fonte stessaPer esempiu, aduprendu una PR
Un primu esempiu di flussu di travagliu GitHub sfurtunatu:
# INSECURE. Provided as an example only.
on:
pull_request_target #1
jobs:
build:
name: Build and test
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
with:
ref: $ #2
- uses: actions/setup-node@v1
- run: |
npm install #3
npm build
# ... more steps ...
Cumbattinu pull_request_target U trigger di u flussu di travagliu cù un checkout esplicitu di una PR micca affidabile hè una pratica periculosa chì pò purtà à una compromissione di u repositoriu. In l'esempiu, a cumminazione sfortunata di:
pull_request_targetavvenimentu, chì per difettu hà permessu di scrittura à u repositoriu di destinazione è i sicreti di u repositoriu di destinazione, ancu da fork esterni, è funziona in u cuntestu di u repositoriu di destinazione di u PR,- verificate u codice PR da a fonte, repositoriu micca affidabile,
- attivà qualsiasi script chì pò operà nantu à cuntenuti cuntrullati da PR, cum'è in u casu di
npm install, e - ùn aduprà micca una cundizione per attivà
pull_request_targetl'eventu da eseguisce solu s'è qualchì tipu d'etichetta "questa PR hè stata verificata" hè assignata à a PR (l'utilizatori esterni ùn ponu micca assignà etichette à a PR).
Un secondu esempiu piglia input micca affidabile (da un prublema, cummentariu o pull request) cum'è fonte per l'argumenti passati à un pipeline cumanda per via di spressioni. Questu hè u pipeline versione di a vulnerabilità di l'iniezione di cumandamenti di u sistema operatore.
- name: Check title
run: |
title="$"
if [[ ! $title =~ ^.*:\ .*$ ]]; then
echo "Bad issue title"
exit 1
fi
L'operazione d'esecuzione genera un script di shell tempurale basatu annantu à u mudellu, cù $ sustituitu, rendendulu vulnerabile à l'iniezione di cumandamenti di shell. Un attaccante cù un contu GitHub falsu puderia creà un prublema cù un titulu a"; bad_code_goes_here;#, è boum !
Furia di a PaludeOh, quelli ragazzi stavanu aprendu a porta per l'iniezione di cumandamenti aprendu solu un prublema...
Ci eranu vulnerabilità di esecuzione di codice in l'azzioni di GitHub, cum'è cummentariu di gajira, avà riparatu. Leghjite puru "Input micca affidabile in i flussi di travagliu GitHub" per i detti tutti.
A morale di a storia: Ùn verificate mai è ùn custruite mai PR da fonti micca affidabili senza prima rivedere a PR. "Micca fidatu" quì, salvu sottu à un'autenticazione draconiana di a pruvenienza, puderia significà qualsiasi contu di sviluppatore potenzialmente dirottatu.
Implementazione involuntaria di malware quì!
Impiegazione cuntinuu hè u climax di l'automatizazione, ma quellu climax puderia esse frustratu da a mancanza di cuntrolli d'approvazione adatti nantu à u pipeline flussu.
I risichi di un implementazione cumpletamente automatizata da a fonte commit à i sistemi di pruduzzione includenu u putenziale per u codice maliziosu di esse implementatu in ambienti di pruduzzione senza esse rilevatu, è ancu u putenziale per errori in u prucessu di implementazione chì ponu causà interruzioni o interruzioni.
Per mitigà sti risichi, hè spessu cunsigliatu chì l'urganisazioni implementinu una "pausa dura" in u so prucessu di implementazione, chì richiede appruvazioni umana prima chì e versioni sianu implementate in l'ambienti finali.
Chjudenu e porte
Furia di a PaludeQuelle password predefinite allegre in CI/CD l'arnesi sò sguassati. Accessu à u
/var/lib/jenkins/secrets/initialAdminPasswordhè avà una pista morta. Parechji strumenti furniscenu avà 2FA, chì u Covid hà fattu pupulare, è ancu a scimmia di codice più pigra quì l'utiliza!M3M3N70Facemu a lotta contr'à 2FA, ma ùn hè micca cusì faciule. Hè difficiule di fà spear-phishing à quelli tippi, postu chì "Scatter Swine" hà fattu cù TwilioCù e chjave WebAuthn hè assai più difficiule. Almenu, pudemu pruvà à arrubà i cookies per bypassà l'MFA, ma ci vole à entre in a scatula di u sviluppatore.
L'autenticazione multifattore hè un bon passu in a bona direzzione per limità u risicu di fughe di sicreti d'autenticazione. A maiò parte di l'arnesi DevOps muderni supportanu MFA. È e chjave d'autenticazione sottu WebAuthn / U2F (vede Prughjettu FIDO2) sò forse a megliu opzione per MFA in DevOps, se gestiti currettamente.
Furia di a PaludeI tippi di DevOps si stanu svegliendu. Anu a dannata cosa di u "minimu privilegiu" in u sangue. È ùn sò più scimmie di codice. Avà simu presi in flagrante da i revisori.
In fattu, pipelineI s sò avà un pocu più robusti chè un paru d'anni fà, cù azzioni è script debuli rimossi, è cù passi di test di sicurezza supplementari chì anu ancu rilevatu i nostri droppers nascosti in stealth. commits è pacchetti chì avemu dirottati.
Quistione per u lettore: u prucessu di custruisce u software da i surghjenti è di implementallu in pruduzzione hè un'attività risicata? Pudete vede u vostru DevOps in a fase di vechji boni tempi per i cattivi?
Recomanazione Finali
Induve principià CI/CD pipelines?
A prima raccomandazione hè simplice quì: Attenzione recensione pipelines (sò critica risorse) per prublemi di sicurezza. E revisioni sò costose ma necessarie, è devenu esse fatte currettamente. I revisori devenu esse cuscenti di ciò chì devenu guardà. Ogni passu deve esse verificatu per difetti.
Forse una cumbinazione di revisori esperti armati di scanner di codice maliziosu automatizati puderia aiutà.
A seconda raccomandazione hè di furmà sviluppatori chì scrivenu pipelines è manteneli in sicurezzaCose da cunsiderà:
- Cumu gestisce currettamente l'autentificazione cù i servizii interni è in u cloud, evitendu a seccatura di gestisce credenziali à longu andà.
- Cumu limità pipelines à l'inseme esattu di risorse à quale hà bisognu d'accessu. U principiu di u minimu privilegiu brilla torna.
- Cumu scrive i passi per fà pipelines riproducibile cum'è u pinning di versione, è evitendu e vulnerabilità di l'iniezione di cumandamenti.
- Cumu appruvà i spiegamenti da a perspettiva di a sicurità (sò altri!): quale sicurità standards devenu esse currispundenti è cumu aghjunghje cuntrolli / porte currispondenti in u pipelines.
Una terza raccomandazione hè di cunfigurà u CI/CD sistema cù a dovuta curaAutentificazione forte, nisuna password predefinita o paràmetri micca sicuri, privilegii minimi… Attenti à e vulnerabilità in i plugins è l'estensioni installate. Questu puderia esse u sughjettu di i prossimi articuli, per piacè state attenti.
A quarta raccomandazione hè di leverage the CI/CD pipelines per l'automatizazione di a sicurezzaAnalisi di u codice surghjente (SAST), analisi di a cumpusizione di a fonte (SCA), a scansione di fughe di secreti, strumenti antimalware, scanner di sicurezza di container, o rilevatori di runtime automatizati (DAST è malware) ponu esse eseguiti di rutina nantu à u pipelineÈ a vostra urganizazione pò applicà standards nantu à a cupertura di a scansione di sicurezza in CI/CD.
Ricurdatevi, sti strumenti ùn eliminanu micca a rivista di l'esperti da l'equazioni, altrimenti puderete avè un falsu sensu di sicurezza.
Sè vo site espertu in i primi dece OWASP, un bellu prughjettu recente hè u OWASP Top 10 CI/CD Risicu di Sicurezza.
Nota di disclaimer
(1) L'esempii in questu post utilizanu GitHub cum'è SCM, AWS cum'è fornitore di nuvola, è GitHub Actions o Jenkins cum'è CI/CD strumentu. Ùn sò micca più debuli / più sicuri cà e so alternative. Nisuna mala intenzione di stampa! Quessi strumenti sò putenti è devenu esse aduprati in modu apprupriatu.
(2) M3M3N70 e Furia di a Palude sò persunagi fittizi. Ogni sumiglianza cù persone o gruppi, vivi o morti, hè solu una cuincidenza... o hè vera ?
Per leghje più
- Haymore, A. et al. 10 storie di u mondu reale di cumu avemu fattu compromessi CI/CD pipelines »Gruppu NCC, ghjennaghju 2022.
configure-aws-credentialsAzzione GitHub e Cunfigurazione di OpenID Connect in Amazon Web Services per dettagli nantu à cumu eseguisce i cumandamenti AWS per a distribuzione in i flussi di travagliu GitHub.- Lobacevski J. "Mantene e vostre azzioni è flussi di travagliu GitHub sicuri Parte 1: Prevenzione di e richieste pwn"Laboratoriu di Sicurezza GitLab, Dicembre 2020.
- Lobacevski J. "Mantene e vostre azzioni è flussi di travagliu GitHub sicuri Parte 2: Input micca affidabile"Laboratoriu di Sicurezza GitLab, ghjennaghju 2021.
- OWASP. "Top 10 di l'OWASP" CI/CD Rischi di sicurezzaLugliu 2022.
- Saltzer J. è Schroeder M. "A prutezzione di l'infurmazione in i sistemi informatichi"Aprile 1975. I principii di sicurezza anu evolutu cù a tecnulugia, ma 47 anni dopu, a maiò parte di l'idee S&S sò sempre in vigore.
- NCSC di u Regnu Unitu. "Assicurà a custruzzione è u spiegamentu" pipeline"Centru Naziunale di Cibersigurtà di u Regnu Unitu, ferraghju 2019.







