Vai al contenuto
Sir CompareConfronti con le proveYouTubeTelegram
Italia · EUR

Notizia

LLMON in Granite 4.1: tag espliciti contro i prompt injection

Aggiornato

Foto illustrativa: AI Tools & SaaS: Code on computer monitor (Unsplash)
Foto illustrativa

Due modelli preview da 3B e 8B

IBM ha pubblicato due modelli sperimentali derivati dalle basi di Granite 4.1, addestrati a leggere e generare testo marcato LLMON: granite-4.1-3b-LLMON-preview e granite-4.1-8b-LLMON-preview. LLMON sta per LLM Object Notation e si pronuncia “lemon”. Insieme ai modelli c'è un repository GitHub con un toolkit per lavorare con il formato, più esempi di flussi di lavoro e template.

Il punto di partenza è il contesto: in una conversazione lunga si accumulano prompt di sistema, turni passati, istruzioni su documenti recuperati, risposte dei tool e catene di ragionamento. Secondo gli autori, buona parte di questa struttura resta implicita o passa per formati come JSON, non pensati per essere digeriti dai modelli.

Tag riservati e ID per legare istruzioni e dati

LLMON è un linguaggio di markup simile a XML, ma i delimitatori strutturali sono token speciali riservati, non caratteri. Così struttura e contenuto usano parti diverse del vocabolario. I tag vengono dichiarati all'inizio di ogni blocco e i confini tra i blocchi sono espliciti. Gli schemi dei dati, compreso l'annidamento, sono espressi in modo non ambiguo per un modello causale. Gli ID univoci permettono di puntare a istruzioni specifiche, ovunque si trovino nel contesto, e di legarle ai dati su cui devono agire, in modo simile a come si chiamano funzioni e si passano argomenti in programmazione.

Perché non basta JSON

JSON è stato progettato per i parser, non per i modelli causali. Il tokenizer non è vincolato a rispettare la grammatica, e la struttura passa per token come parentesi graffe, virgolette e due punti che compaiono anche nel testo normale. Per il modello, una virgoletta dentro un documento e una che chiude un campo sono lo stesso token. Le regole di escaping chiare per un parser restano per il modello solo schemi statistici. La profondità di annidamento si ricava contando le parentesi, cosa in cui i transformer sono deboli, soprattutto su testi lunghi. In LLMON i confini sono espliciti e i tag stanno all'inizio di ogni blocco.

Prompt injection: cosa dicono i benchmark

Con istruzioni e dati separati in modo esplicito, i modelli LLMON ignorano in gran parte i prompt injection indiretti nascosti nei dati utente. Su alcuni benchmark, secondo gli autori, il tasso di successo degli attacchi scende quasi a zero, mentre i modelli normali instruction-tuned vengono dirottati con alta probabilità. Questo avviene mantenendo la capacità generale rispetto ai modelli Granite 4.1 Instruct. Inoltre, passaggi non pertinenti, vecchi turni di chat e output dei tool non finiscono nella risposta, perché ogni istruzione è legata ai dati esatti a cui si applica. Sono dati riportati da IBM, non misure indipendenti.

Come provarlo

LLMON è supportato in modo nativo in Mellea, che trasforma automaticamente le chiamate al modello in LLMON. I convertitori permettono di passare da JSON esistente a LLMON senza perdite. Puoi anche definire una struttura e tag tuoi e addestrare un LoRA sopra i modelli LLMON per fargliela capire. I due modelli sono preview sperimentali, come li definisce IBM nel suo annuncio.

Approfondisci

Fonte: Hugging Face · modelli AI

Hardware per provare l'AI in locale

Link affiliati: possiamo ricevere una commissione sugli acquisti idonei, e non cambia i nostri dati né le classifiche. Aprono i risultati di ricerca di Amazon: prezzi e disponibilità si vedono lì.

Video

Cosa è cambiato

  • Pagina aggiornata

Come metto in fila i prodotti

La posta di Sir Compare

Novità su Strumenti AI e SaaS? Te le scrivo io.

Scegli cosa ti interessa: ti scrivo solo quando esce qualcosa di nuovo — una guida, una notizia, un prezzo verificato che scende.

Passo 1 di 2

Cosa ti interessa?

Scegline quante vuoi. Se non scegli niente, ricevi le novità di tutte le sezioni.

Cosa vuoi ricevere
  • Solo quello che scegli
  • Mai email vuote
  • Esci con un clic

Il tuo assistente

Apri la pagina completa →