Vai al contenuto
Sir CompareConfronti con le proveYouTubeTelegram
Italia · EUR

Notizia

Modelli decisionali su Hugging Face: probabilità al posto del testo

Aggiornato

Foto illustrativa: AI Tools & SaaS: Code on computer monitor (Unsplash)
Foto illustrativa

Cosa fa un decision model

Un decision model prende un contesto in ingresso, chiamato state, valuta una domanda con un insieme di risposte già previste e restituisce una decisione strutturata con le relative probabilità. L'idea è descritta sul blog di Hugging Face da Aritra Roy Gosthipaty, Lysandre, Pedro Cuenca e Tom Aarsen. Invece di chiedere al modello di generare una risposta token per token, gli si chiede di assegnare probabilità alle opzioni che l'applicazione già conosce. L'interfaccia di base è: stato, domande e risposte ammesse in ingresso; decisioni e probabilità in uscita.

Un esempio con un ticket di assistenza

Il caso citato è un messaggio a un servizio clienti: un addebito doppio con richiesta di rimborso. Il sistema deve capire quale team gestisce la richiesta, quanto è urgente e se il cliente chiede un rimborso. Con un LLM si può chiedere un oggetto JSON con queste risposte. Con un decision model si usa una pipeline dedicata, con modello autotrust/GEV-26B-Decide, passando lo stato e una domanda a scelta con criteri per fatturazione, tecnico e vendite. L'output riporta la scelta billing con una confidenza di circa 0,997 e le probabilità delle tre opzioni.

Perché non basta chiedere JSON a un LLM

Molte applicazioni già usano i modelli linguistici per classificare, instradare e svolgere altri compiti strutturati. Il blog elenca però alcuni problemi. Un LLM non è garantito che rispetti lo schema richiesto: può produrre JSON non valido, aggiungere chiavi inattese o restituire una risposta fuori dalle scelte ammesse. Il decoding vincolato aiuta, ma non elimina il lavoro aggiuntivo: librerie come Outlines e XGrammar limitano i token generabili per rispettare grammatiche o schemi JSON. Resta comunque il costo di far generare un'intera risposta quando all'applicazione serve solo una decisione.

Da System One a decision model

TypeSafe AI ha introdotto Jev descrivendolo come un modello System One. Il nome richiama la distinzione tra pensiero veloce e intuitivo, il Sistema 1, e pensiero lento e deliberativo, il Sistema 2. La community ha poi adottato il termine decision model, perché descrive il ruolo computazionale del modello senza richiamare una specifica teoria della cognizione. Nel resto del post gli autori usano quindi decision model al posto di system one model. Il cambio di nome è stato discusso anche con un sondaggio su Twitter.

Cosa resta da capire

Per chi sviluppa sistemi di instradamento o classificazione, la differenza pratica è nel tipo di output: probabilità sulle opzioni ammesse invece di testo libero da interpretare. Il blog indica la pipeline decision di Transformers come punto di accesso, con un modello specifico nell'esempio. Resta da verificare come questi modelli si comportino su domande con molte opzioni o con criteri ambigui: il post non riporta misure oltre all'esempio del ticket.

Approfondisci

Fonte: Hugging Face · modelli AI

Hardware per provare l'AI in locale

Link affiliati: possiamo ricevere una commissione sugli acquisti idonei, e non cambia i nostri dati né le classifiche. Aprono i risultati di ricerca di Amazon: prezzi e disponibilità si vedono lì.

Video

Cosa è cambiato

  • Pagina aggiornata

Come metto in fila i prodotti

La posta di Sir Compare

Novità su Strumenti AI e SaaS? Te le scrivo io.

Scegli cosa ti interessa: ti scrivo solo quando esce qualcosa di nuovo — una guida, una notizia, un prezzo verificato che scende.

Passo 1 di 2

Cosa ti interessa?

Scegline quante vuoi. Se non scegli niente, ricevi le novità di tutte le sezioni.

Cosa vuoi ricevere
  • Solo quello che scegli
  • Mai email vuote
  • Esci con un clic

Il tuo assistente

Apri la pagina completa →