Skip to content

Interface language: EN. Editorial content: Italian. Prices refer to Italy.

Sir CompareComparisons with evidenceYouTubeTelegram
Italy · EUR

News

Modelli decisionali su Hugging Face: probabilità al posto del testo

Updated

Illustrative photo: AI Tools & SaaS: Code on computer monitor (Unsplash)
Illustrative photo

Cosa fa un decision model

Un decision model prende un contesto in ingresso, chiamato state, valuta una domanda con un insieme di risposte già previste e restituisce una decisione strutturata con le relative probabilità. L'idea è descritta sul blog di Hugging Face da Aritra Roy Gosthipaty, Lysandre, Pedro Cuenca e Tom Aarsen. Invece di chiedere al modello di generare una risposta token per token, gli si chiede di assegnare probabilità alle opzioni che l'applicazione già conosce. L'interfaccia di base è: stato, domande e risposte ammesse in ingresso; decisioni e probabilità in uscita.

Un esempio con un ticket di assistenza

Il caso citato è un messaggio a un servizio clienti: un addebito doppio con richiesta di rimborso. Il sistema deve capire quale team gestisce la richiesta, quanto è urgente e se il cliente chiede un rimborso. Con un LLM si può chiedere un oggetto JSON con queste risposte. Con un decision model si usa una pipeline dedicata, con modello autotrust/GEV-26B-Decide, passando lo stato e una domanda a scelta con criteri per fatturazione, tecnico e vendite. L'output riporta la scelta billing con una confidenza di circa 0,997 e le probabilità delle tre opzioni.

Perché non basta chiedere JSON a un LLM

Molte applicazioni già usano i modelli linguistici per classificare, instradare e svolgere altri compiti strutturati. Il blog elenca però alcuni problemi. Un LLM non è garantito che rispetti lo schema richiesto: può produrre JSON non valido, aggiungere chiavi inattese o restituire una risposta fuori dalle scelte ammesse. Il decoding vincolato aiuta, ma non elimina il lavoro aggiuntivo: librerie come Outlines e XGrammar limitano i token generabili per rispettare grammatiche o schemi JSON. Resta comunque il costo di far generare un'intera risposta quando all'applicazione serve solo una decisione.

Da System One a decision model

TypeSafe AI ha introdotto Jev descrivendolo come un modello System One. Il nome richiama la distinzione tra pensiero veloce e intuitivo, il Sistema 1, e pensiero lento e deliberativo, il Sistema 2. La community ha poi adottato il termine decision model, perché descrive il ruolo computazionale del modello senza richiamare una specifica teoria della cognizione. Nel resto del post gli autori usano quindi decision model al posto di system one model. Il cambio di nome è stato discusso anche con un sondaggio su Twitter.

Cosa resta da capire

Per chi sviluppa sistemi di instradamento o classificazione, la differenza pratica è nel tipo di output: probabilità sulle opzioni ammesse invece di testo libero da interpretare. Il blog indica la pipeline decision di Transformers come punto di accesso, con un modello specifico nell'esempio. Resta da verificare come questi modelli si comportino su domande con molte opzioni o con criteri ambigui: il post non riporta misure oltre all'esempio del ticket.

Approfondisci

Fonte: Hugging Face · modelli AI

Hardware to try AI at home

Affiliate links: we may earn a commission from qualifying purchases, and it never changes our data or rankings. They open Amazon's search results: prices and availability are shown there.

Video

What changed

  • Page updated

How I put products in order

Sir Compare’s letter

Updates on AI tools & SaaS? I’ll send them your way.

Pick what you care about: I only write when something new comes out — a guide, a news story, a verified price that drops.

Step 1 of 2

What are you into?

Pick as many as you like. Pick none and you get what’s new in every section.

What you want to receive
  • Only what you pick
  • Never an empty email
  • One click to leave

Your assistant

Open full page →