Cos’è la prompt injection e perché è pericolosa?

È l’equivalente, per i modelli linguistici, della SQL injection: un input costruito per far eseguire al modello istruzioni diverse da quelle previste. Può arrivare da un utente, ma anche da un documento, un’email o una pagina web che il modello legge. Se il modello ha accesso a dati o strumenti, le conseguenze sono concrete.

Testate anche applicazioni con RAG e agenti?

Sì. Le basi di conoscenza (RAG) e gli agenti che usano strumenti sono le componenti più esposte: verifichiamo che un utente non possa leggere documenti non suoi e che il modello non possa essere indotto a compiere azioni dannose.

Serve il codice sorgente?

Non è obbligatorio, ma aiuta: con prompt di sistema, codice e configurazioni il test è più rapido e completo. Senza, lavoriamo in modalità black o gray box come un attaccante esterno.

Dipende dalla complessità: per un chatbot con una base di conoscenza si parla in genere di 5-10 giorni lavorativi, di più per agenti con molti strumenti integrati.

Penetration test di applicazioni AI, chatbot e LLM

Verifichiamo la sicurezza delle applicazioni che integrano modelli linguistici: chatbot, assistenti, agenti e sistemi RAG.

Un’applicazione con un modello linguistico dentro ha tutte le vulnerabilità di un’applicazione web, più una famiglia nuova: prompt injection, fuga di dati dal contesto, abuso degli strumenti affidati al modello. Le testiamo con la OWASP Top 10 for LLM Applications e con le metodologie del nostro laboratorio accreditato ACN.

Cosa può andare storto

Prompt injection

Istruzioni nascoste in un messaggio, in un documento o in una pagina web che fanno ignorare le regole al modello: il chatbot rivela informazioni riservate, cambia comportamento o esegue azioni non previste.

Fuga di dati e RAG

Il modello risponde con dati di altri utenti, documenti interni o segreti presenti nel contesto. Verifichiamo i permessi sulle basi di conoscenza (RAG) e la separazione tra utenti.

Abuso di strumenti e agenti

Quando il modello può chiamare funzioni, API o sistemi aziendali, un input malevolo può fargli eseguire operazioni dannose: ordini, cancellazioni, invii di email, accessi a dati.

Output non sicuri

Le risposte del modello finiscono in pagine web, query, comandi o documenti: senza controlli diventano XSS, injection ed esecuzione di codice.

Costi e disponibilità

Richieste costruite per consumare token, saturare le quote o far crescere la bolletta del provider, fino a rendere il servizio indisponibile.

Catena di fornitura

Modelli, plugin, librerie e servizi di terze parti integrati nell’applicazione, con le loro vulnerabilità e le loro configurazioni.

Cosa testiamo

Chatbot e assistenti per clienti o dipendenti, integrati in siti, app e portali.

Sistemi RAG che rispondono su documenti aziendali, manuali, contratti, ticket.

Agenti che usano strumenti: API, database, email, gestionali, automazioni.

Integrazioni con i provider (OpenAI, Anthropic, Google, modelli self-hosted) e relative chiavi, quote e configurazioni.

Il test copre anche tutto ciò che è classico: autenticazione, autorizzazione, API, gestione delle sessioni. Un chatbot è prima di tutto un’applicazione web, e la testiamo come tale: vedi penetration test e vulnerability assessment.

Come si svolge

1
Analisi dell’architettura
Capiamo come è costruita l’applicazione: modello utilizzato, prompt di sistema, fonti dati, strumenti che il modello può richiamare, flussi di autenticazione.
2
Threat modeling
Individuiamo gli scenari di abuso rilevanti per il vostro caso: cosa può ottenere un utente malintenzionato, un documento avvelenato, un fornitore compromesso.
3
Test
Eseguiamo i test secondo la OWASP Top 10 for LLM Applications e le metodologie classiche di web application penetration test, perché un chatbot resta prima di tutto un’applicazione web.
4
Report e remediation
Consegniamo il report con le evidenze, le raccomandazioni su prompt, controlli, permessi e architettura, e vi supportiamo nelle correzioni.

Cosa ricevete

Il report completo, con le vulnerabilità classificate per criticità ed esempi concreti dei prompt e degli input usati.
Le raccomandazioni su prompt di sistema, filtri, permessi, separazione dei dati e architettura.
Un piano d’azione con le priorità e una sintesi per la direzione.
Il supporto nella remediation e nella verifica delle correzioni.

Perché Ancharia

Laboratorio Accreditato di Prova iscritto nell’elenco ufficiale ACN ai sensi del DPCM 18 maggio 2022, n. 92.

Metodologie OWASP Top 10 for LLM Applications, OWASP Web Security Testing Guide e NIST SP 800-115.

Usiamo l’AI ogni giorno anche noi, con Artemide: conosciamo da dentro come si costruiscono e come si attaccano queste applicazioni.

Report utilizzabili per clienti, audit e per i requisiti di sicurezza dell’AI Act e della NIS2.

Domande frequenti

Sì. Il provider garantisce la sicurezza del modello, non della vostra applicazione: prompt di sistema, dati che passate al modello, strumenti che gli affidate, controlli sugli output e permessi degli utenti sono responsabilità vostra, ed è lì che si trovano le vulnerabilità.

Approfondimenti

AI e LLM

Prompt injection: cos’è e come proteggere il vostro chatbot

Cos’è la prompt injection, diretta e indiretta, perché è il rischio numero uno delle applicazioni con LLM e quali contromisure funzionano davvero.

4 min di letturaLeggi

AI e LLM

Vibe coding: i 6 errori di sicurezza più comuni

Chiavi esposte, database aperti, autorizzazioni solo nell’interfaccia: i problemi di sicurezza che troviamo più spesso nelle applicazioni sviluppate con l’AI.