Modelli decisionali su Hugging Face: probabilità al posto del testo
Aggiornato
Foto illustrativa
Cosa fa un decision model
Un decision model prende un contesto in ingresso, chiamato state, valuta una domanda con un insieme di risposte già previste e restituisce una decisione strutturata con le relative probabilità. L'idea è descritta sul blog di Hugging Face da Aritra Roy Gosthipaty, Lysandre, Pedro Cuenca e Tom Aarsen. Invece di chiedere al modello di generare una risposta token per token, gli si chiede di assegnare probabilità alle opzioni che l'applicazione già conosce. L'interfaccia di base è: stato, domande e risposte ammesse in ingresso; decisioni e probabilità in uscita.
Il caso citato è un messaggio a un servizio clienti: un addebito doppio con richiesta di rimborso. Il sistema deve capire quale team gestisce la richiesta, quanto è urgente e se il cliente chiede un rimborso. Con un LLM si può chiedere un oggetto JSON con queste risposte. Con un decision model si usa una pipeline dedicata, con modello autotrust/GEV-26B-Decide, passando lo stato e una domanda a scelta con criteri per fatturazione, tecnico e vendite. L'output riporta la scelta billing con una confidenza di circa 0,997 e le probabilità delle tre opzioni.
Perché non basta chiedere JSON a un LLM
Molte applicazioni già usano i modelli linguistici per classificare, instradare e svolgere altri compiti strutturati. Il blog elenca però alcuni problemi. Un LLM non è garantito che rispetti lo schema richiesto: può produrre JSON non valido, aggiungere chiavi inattese o restituire una risposta fuori dalle scelte ammesse. Il decoding vincolato aiuta, ma non elimina il lavoro aggiuntivo: librerie come Outlines e XGrammar limitano i token generabili per rispettare grammatiche o schemi JSON. Resta comunque il costo di far generare un'intera risposta quando all'applicazione serve solo una decisione.
Da System One a decision model
TypeSafe AI ha introdotto Jev descrivendolo come un modello System One. Il nome richiama la distinzione tra pensiero veloce e intuitivo, il Sistema 1, e pensiero lento e deliberativo, il Sistema 2. La community ha poi adottato il termine decision model, perché descrive il ruolo computazionale del modello senza richiamare una specifica teoria della cognizione. Nel resto del post gli autori usano quindi decision model al posto di system one model. Il cambio di nome è stato discusso anche con un sondaggio su Twitter.
Cosa resta da capire
Per chi sviluppa sistemi di instradamento o classificazione, la differenza pratica è nel tipo di output: probabilità sulle opzioni ammesse invece di testo libero da interpretare. Il blog indica la pipeline decision di Transformers come punto di accesso, con un modello specifico nell'esempio. Resta da verificare come questi modelli si comportino su domande con molte opzioni o con criteri ambigui: il post non riporta misure oltre all'esempio del ticket.
Link affiliati: possiamo ricevere una commissione sugli acquisti idonei, e non cambia i nostri dati né le classifiche. Aprono i risultati di ricerca di Amazon: prezzi e disponibilità si vedono lì.