Zum Inhalt springen

Oberflächensprache: DE. Redaktionelle Inhalte: Italienisch. Preise beziehen sich auf Italien.

Sir CompareVergleiche mit BelegenYouTubeTelegram
Italien · EUR

News

Modelli decisionali su Hugging Face: probabilità al posto del testo

Aktualisiert

Symbolbild: AI Tools & SaaS: Code on computer monitor (Unsplash)
Symbolbild

Cosa fa un decision model

Un decision model prende un contesto in ingresso, chiamato state, valuta una domanda con un insieme di risposte già previste e restituisce una decisione strutturata con le relative probabilità. L'idea è descritta sul blog di Hugging Face da Aritra Roy Gosthipaty, Lysandre, Pedro Cuenca e Tom Aarsen. Invece di chiedere al modello di generare una risposta token per token, gli si chiede di assegnare probabilità alle opzioni che l'applicazione già conosce. L'interfaccia di base è: stato, domande e risposte ammesse in ingresso; decisioni e probabilità in uscita.

Un esempio con un ticket di assistenza

Il caso citato è un messaggio a un servizio clienti: un addebito doppio con richiesta di rimborso. Il sistema deve capire quale team gestisce la richiesta, quanto è urgente e se il cliente chiede un rimborso. Con un LLM si può chiedere un oggetto JSON con queste risposte. Con un decision model si usa una pipeline dedicata, con modello autotrust/GEV-26B-Decide, passando lo stato e una domanda a scelta con criteri per fatturazione, tecnico e vendite. L'output riporta la scelta billing con una confidenza di circa 0,997 e le probabilità delle tre opzioni.

Perché non basta chiedere JSON a un LLM

Molte applicazioni già usano i modelli linguistici per classificare, instradare e svolgere altri compiti strutturati. Il blog elenca però alcuni problemi. Un LLM non è garantito che rispetti lo schema richiesto: può produrre JSON non valido, aggiungere chiavi inattese o restituire una risposta fuori dalle scelte ammesse. Il decoding vincolato aiuta, ma non elimina il lavoro aggiuntivo: librerie come Outlines e XGrammar limitano i token generabili per rispettare grammatiche o schemi JSON. Resta comunque il costo di far generare un'intera risposta quando all'applicazione serve solo una decisione.

Da System One a decision model

TypeSafe AI ha introdotto Jev descrivendolo come un modello System One. Il nome richiama la distinzione tra pensiero veloce e intuitivo, il Sistema 1, e pensiero lento e deliberativo, il Sistema 2. La community ha poi adottato il termine decision model, perché descrive il ruolo computazionale del modello senza richiamare una specifica teoria della cognizione. Nel resto del post gli autori usano quindi decision model al posto di system one model. Il cambio di nome è stato discusso anche con un sondaggio su Twitter.

Cosa resta da capire

Per chi sviluppa sistemi di instradamento o classificazione, la differenza pratica è nel tipo di output: probabilità sulle opzioni ammesse invece di testo libero da interpretare. Il blog indica la pipeline decision di Transformers come punto di accesso, con un modello specifico nell'esempio. Resta da verificare come questi modelli si comportino su domande con molte opzioni o con criteri ambigui: il post non riporta misure oltre all'esempio del ticket.

Approfondisci

Fonte: Hugging Face · modelli AI

Hardware, um KI zu Hause auszuprobieren

Affiliate-Links: Für qualifizierte Käufe können wir eine Provision erhalten, sie ändert weder unsere Daten noch die Rankings. Sie öffnen die Suchergebnisse von Amazon: Preise und Verfügbarkeit stehen dort.

Video

Was sich geändert hat

  • Seite aktualisiert

Wie ich Produkte ordne

Post von Sir Compare

Neues zu KI-Werkzeuge und SaaS? Ich schreibe Ihnen.

Wählen Sie Ihre Themen: Ich schreibe nur, wenn etwas Neues erscheint — ein Ratgeber, eine Nachricht, ein geprüfter Preis, der sinkt.

Schritt 1 von 2

Was interessiert Sie?

Wählen Sie beliebig viele. Ohne Auswahl erhalten Sie das Neue aus allen Bereichen.

Was Sie erhalten möchten
  • Nur, was Sie wählen
  • Nie eine leere E-Mail
  • Abmelden mit einem Klick

Ihr Assistent

Vollständige Seite öffnen →