LLMON in Granite 4.1: tag espliciti contro i prompt injection
Aktualisiert
Symbolbild
Due modelli preview da 3B e 8B
IBM ha pubblicato due modelli sperimentali derivati dalle basi di Granite 4.1, addestrati a leggere e generare testo marcato LLMON: granite-4.1-3b-LLMON-preview e granite-4.1-8b-LLMON-preview. LLMON sta per LLM Object Notation e si pronuncia “lemon”. Insieme ai modelli c'è un repository GitHub con un toolkit per lavorare con il formato, più esempi di flussi di lavoro e template.
Il punto di partenza è il contesto: in una conversazione lunga si accumulano prompt di sistema, turni passati, istruzioni su documenti recuperati, risposte dei tool e catene di ragionamento. Secondo gli autori, buona parte di questa struttura resta implicita o passa per formati come JSON, non pensati per essere digeriti dai modelli.
Tag riservati e ID per legare istruzioni e dati
LLMON è un linguaggio di markup simile a XML, ma i delimitatori strutturali sono token speciali riservati, non caratteri. Così struttura e contenuto usano parti diverse del vocabolario. I tag vengono dichiarati all'inizio di ogni blocco e i confini tra i blocchi sono espliciti. Gli schemi dei dati, compreso l'annidamento, sono espressi in modo non ambiguo per un modello causale. Gli ID univoci permettono di puntare a istruzioni specifiche, ovunque si trovino nel contesto, e di legarle ai dati su cui devono agire, in modo simile a come si chiamano funzioni e si passano argomenti in programmazione.
Perché non basta JSON
JSON è stato progettato per i parser, non per i modelli causali. Il tokenizer non è vincolato a rispettare la grammatica, e la struttura passa per token come parentesi graffe, virgolette e due punti che compaiono anche nel testo normale. Per il modello, una virgoletta dentro un documento e una che chiude un campo sono lo stesso token. Le regole di escaping chiare per un parser restano per il modello solo schemi statistici. La profondità di annidamento si ricava contando le parentesi, cosa in cui i transformer sono deboli, soprattutto su testi lunghi. In LLMON i confini sono espliciti e i tag stanno all'inizio di ogni blocco.
Prompt injection: cosa dicono i benchmark
Con istruzioni e dati separati in modo esplicito, i modelli LLMON ignorano in gran parte i prompt injection indiretti nascosti nei dati utente. Su alcuni benchmark, secondo gli autori, il tasso di successo degli attacchi scende quasi a zero, mentre i modelli normali instruction-tuned vengono dirottati con alta probabilità. Questo avviene mantenendo la capacità generale rispetto ai modelli Granite 4.1 Instruct. Inoltre, passaggi non pertinenti, vecchi turni di chat e output dei tool non finiscono nella risposta, perché ogni istruzione è legata ai dati esatti a cui si applica. Sono dati riportati da IBM, non misure indipendenti.
Come provarlo
LLMON è supportato in modo nativo in Mellea, che trasforma automaticamente le chiamate al modello in LLMON. I convertitori permettono di passare da JSON esistente a LLMON senza perdite. Puoi anche definire una struttura e tag tuoi e addestrare un LoRA sopra i modelli LLMON per fargliela capire. I due modelli sono preview sperimentali, come li definisce IBM nel suo annuncio.
Affiliate-Links: Für qualifizierte Käufe können wir eine Provision erhalten, sie ändert weder unsere Daten noch die Rankings. Sie öffnen die Suchergebnisse von Amazon: Preise und Verfügbarkeit stehen dort.