Skip to content

Interface language: EN. Editorial content: Italian. Prices refer to Italy.

Sir CompareComparisons with evidenceYouTubeTelegram
Italy · EUR

News

LLMON in Granite 4.1: tag espliciti contro i prompt injection

Updated

Illustrative photo: AI Tools & SaaS: Code on computer monitor (Unsplash)
Illustrative photo

Due modelli preview da 3B e 8B

IBM ha pubblicato due modelli sperimentali derivati dalle basi di Granite 4.1, addestrati a leggere e generare testo marcato LLMON: granite-4.1-3b-LLMON-preview e granite-4.1-8b-LLMON-preview. LLMON sta per LLM Object Notation e si pronuncia “lemon”. Insieme ai modelli c'è un repository GitHub con un toolkit per lavorare con il formato, più esempi di flussi di lavoro e template.

Il punto di partenza è il contesto: in una conversazione lunga si accumulano prompt di sistema, turni passati, istruzioni su documenti recuperati, risposte dei tool e catene di ragionamento. Secondo gli autori, buona parte di questa struttura resta implicita o passa per formati come JSON, non pensati per essere digeriti dai modelli.

Tag riservati e ID per legare istruzioni e dati

LLMON è un linguaggio di markup simile a XML, ma i delimitatori strutturali sono token speciali riservati, non caratteri. Così struttura e contenuto usano parti diverse del vocabolario. I tag vengono dichiarati all'inizio di ogni blocco e i confini tra i blocchi sono espliciti. Gli schemi dei dati, compreso l'annidamento, sono espressi in modo non ambiguo per un modello causale. Gli ID univoci permettono di puntare a istruzioni specifiche, ovunque si trovino nel contesto, e di legarle ai dati su cui devono agire, in modo simile a come si chiamano funzioni e si passano argomenti in programmazione.

Perché non basta JSON

JSON è stato progettato per i parser, non per i modelli causali. Il tokenizer non è vincolato a rispettare la grammatica, e la struttura passa per token come parentesi graffe, virgolette e due punti che compaiono anche nel testo normale. Per il modello, una virgoletta dentro un documento e una che chiude un campo sono lo stesso token. Le regole di escaping chiare per un parser restano per il modello solo schemi statistici. La profondità di annidamento si ricava contando le parentesi, cosa in cui i transformer sono deboli, soprattutto su testi lunghi. In LLMON i confini sono espliciti e i tag stanno all'inizio di ogni blocco.

Prompt injection: cosa dicono i benchmark

Con istruzioni e dati separati in modo esplicito, i modelli LLMON ignorano in gran parte i prompt injection indiretti nascosti nei dati utente. Su alcuni benchmark, secondo gli autori, il tasso di successo degli attacchi scende quasi a zero, mentre i modelli normali instruction-tuned vengono dirottati con alta probabilità. Questo avviene mantenendo la capacità generale rispetto ai modelli Granite 4.1 Instruct. Inoltre, passaggi non pertinenti, vecchi turni di chat e output dei tool non finiscono nella risposta, perché ogni istruzione è legata ai dati esatti a cui si applica. Sono dati riportati da IBM, non misure indipendenti.

Come provarlo

LLMON è supportato in modo nativo in Mellea, che trasforma automaticamente le chiamate al modello in LLMON. I convertitori permettono di passare da JSON esistente a LLMON senza perdite. Puoi anche definire una struttura e tag tuoi e addestrare un LoRA sopra i modelli LLMON per fargliela capire. I due modelli sono preview sperimentali, come li definisce IBM nel suo annuncio.

Approfondisci

Fonte: Hugging Face · modelli AI

Hardware to try AI at home

Affiliate links: we may earn a commission from qualifying purchases, and it never changes our data or rankings. They open Amazon's search results: prices and availability are shown there.

Video

What changed

  • Page updated

How I put products in order

Sir Compare’s letter

Updates on AI tools & SaaS? I’ll send them your way.

Pick what you care about: I only write when something new comes out — a guide, a news story, a verified price that drops.

Step 1 of 2

What are you into?

Pick as many as you like. Pick none and you get what’s new in every section.

What you want to receive
  • Only what you pick
  • Never an empty email
  • One click to leave

Your assistant

Open full page →