Vai al contenuto
Sir CompareConfronti con le proveYouTubeTelegram
Italia · EUR

Notizia

AI locale: cosa cambia cambiando il motore che esegue il modello

Aggiornato

Foto illustrativa: Best AI Coding Assistants
Foto illustrativa

La prova: stesso modello, stesso PC, motore diverso

Simone Rizzo propone un confronto semplice: prendere lo stesso modello AI, sullo stesso PC, e cambiare solo il motore che lo esegue. Nella diretta il modello viene scaricato e fatto girare in locale, provando lo stesso prompt con motori diversi. Il punto è capire cosa succede tra il momento in cui si preme Invio e quello in cui compare la prima parola. È lì che lavora l'inference engine, cioè il software che esegue il modello sull'hardware. La descrizione del video annuncia anche come funziona e quali novità ci sono.

Cosa misurare: primo token, velocità, memoria

Durante il confronto, Rizzo indica tre cose da guardare: quanto si aspetta per ricevere il primo token, a che velocità arrivano i token successivi e quanta memoria serve. Sono i parametri che la descrizione del test elenca per leggere le differenze tra un motore e l'altro. Non vengono riportati valori né risultati: la descrizione si limita a indicare cosa osservare mentre il test viene eseguito.

Foto illustrativa: AI Tools & SaaS: Code on computer monitor (Unsplash)

Perché l'AI in locale: controllo e offline

Il confronto si collega anche alle ragioni per scegliere l'AI in locale. Rizzo cita il controllo sui dati e la possibilità di lavorare offline come argomenti da affrontare nella diretta. Sono i due motivi che la descrizione mette accanto alla prova tecnica, senza aggiungere dettagli su come vengono gestiti i dati o sulle condizioni in cui l'uso offline è possibile.

Scrivere un proprio software: cosa ottimizzare

Per chi vuole spingersi oltre, Rizzo accenna a cosa comporta creare un proprio inference engine e quali parti ha senso ottimizzare per la propria CPU o GPU. È il passaggio da chi usa il software a chi mette mano al motore, con l'attenzione rivolta all'hardware a disposizione. La descrizione non entra nel merito delle scelte tecniche: indica solo che questo passaggio viene affrontato nella diretta.

Cosa resta da verificare

La descrizione del canale non riporta numeri, modelli specifici né risultati del confronto. Indica cosa osservare e perché, ma non anticipa quale motore si comporti meglio. Rizzo invita anche a portare in chat un prompt da provare, così il test può partire da casi proposti dal pubblico. Chi vuole seguire il confronto trova nella descrizione gli elementi da tenere d'occhio, ma non una classifica da prendere per buona.

Approfondisci

Fonte: il video di Simone Rizzo

Hardware per provare l'AI in locale

Link affiliati: possiamo ricevere una commissione sugli acquisti idonei, e non cambia i nostri dati né le classifiche. Aprono i risultati di ricerca di Amazon: prezzi e disponibilità si vedono lì.

Video

Cosa è cambiato

  • Pagina aggiornata

Come metto in fila i prodotti

La posta di Sir Compare

Novità su Strumenti AI e SaaS? Te le scrivo io.

Scegli cosa ti interessa: ti scrivo solo quando esce qualcosa di nuovo — una guida, una notizia, un prezzo verificato che scende.

Passo 1 di 2

Cosa ti interessa?

Scegline quante vuoi. Se non scegli niente, ricevi le novità di tutte le sezioni.

Cosa vuoi ricevere
  • Solo quello che scegli
  • Mai email vuote
  • Esci con un clic

Il tuo assistente

Apri la pagina completa →