Skip to content

Interface language: EN. Editorial content: Italian. Prices refer to Italy.

Sir CompareComparisons with evidenceYouTubeTelegram
Italy · EUR

News

AI locale: cosa cambia cambiando il motore che esegue il modello

Updated

Illustrative photo: Best AI Coding Assistants
Illustrative photo

La prova: stesso modello, stesso PC, motore diverso

Simone Rizzo propone un confronto semplice: prendere lo stesso modello AI, sullo stesso PC, e cambiare solo il motore che lo esegue. Nella diretta il modello viene scaricato e fatto girare in locale, provando lo stesso prompt con motori diversi. Il punto è capire cosa succede tra il momento in cui si preme Invio e quello in cui compare la prima parola. È lì che lavora l'inference engine, cioè il software che esegue il modello sull'hardware. La descrizione del video annuncia anche come funziona e quali novità ci sono.

Cosa misurare: primo token, velocità, memoria

Durante il confronto, Rizzo indica tre cose da guardare: quanto si aspetta per ricevere il primo token, a che velocità arrivano i token successivi e quanta memoria serve. Sono i parametri che la descrizione del test elenca per leggere le differenze tra un motore e l'altro. Non vengono riportati valori né risultati: la descrizione si limita a indicare cosa osservare mentre il test viene eseguito.

Illustrative photo: AI Tools & SaaS: Code on computer monitor (Unsplash)

Perché l'AI in locale: controllo e offline

Il confronto si collega anche alle ragioni per scegliere l'AI in locale. Rizzo cita il controllo sui dati e la possibilità di lavorare offline come argomenti da affrontare nella diretta. Sono i due motivi che la descrizione mette accanto alla prova tecnica, senza aggiungere dettagli su come vengono gestiti i dati o sulle condizioni in cui l'uso offline è possibile.

Scrivere un proprio software: cosa ottimizzare

Per chi vuole spingersi oltre, Rizzo accenna a cosa comporta creare un proprio inference engine e quali parti ha senso ottimizzare per la propria CPU o GPU. È il passaggio da chi usa il software a chi mette mano al motore, con l'attenzione rivolta all'hardware a disposizione. La descrizione non entra nel merito delle scelte tecniche: indica solo che questo passaggio viene affrontato nella diretta.

Cosa resta da verificare

La descrizione del canale non riporta numeri, modelli specifici né risultati del confronto. Indica cosa osservare e perché, ma non anticipa quale motore si comporti meglio. Rizzo invita anche a portare in chat un prompt da provare, così il test può partire da casi proposti dal pubblico. Chi vuole seguire il confronto trova nella descrizione gli elementi da tenere d'occhio, ma non una classifica da prendere per buona.

Approfondisci

Fonte: il video di Simone Rizzo

Hardware to try AI at home

Affiliate links: we may earn a commission from qualifying purchases, and it never changes our data or rankings. They open Amazon's search results: prices and availability are shown there.

Video

What changed

  • Page updated

How I put products in order

Sir Compare’s letter

Updates on AI tools & SaaS? I’ll send them your way.

Pick what you care about: I only write when something new comes out — a guide, a news story, a verified price that drops.

Step 1 of 2

What are you into?

Pick as many as you like. Pick none and you get what’s new in every section.

What you want to receive
  • Only what you pick
  • Never an empty email
  • One click to leave

Your assistant

Open full page →