Zum Inhalt springen

Oberflächensprache: DE. Redaktionelle Inhalte: Italienisch. Preise beziehen sich auf Italien.

Sir CompareVergleiche mit BelegenYouTubeTelegram
Italien · EUR

News

AI locale: cosa cambia cambiando il motore che esegue il modello

Aktualisiert

Symbolbild: Best AI Coding Assistants
Symbolbild

La prova: stesso modello, stesso PC, motore diverso

Simone Rizzo propone un confronto semplice: prendere lo stesso modello AI, sullo stesso PC, e cambiare solo il motore che lo esegue. Nella diretta il modello viene scaricato e fatto girare in locale, provando lo stesso prompt con motori diversi. Il punto è capire cosa succede tra il momento in cui si preme Invio e quello in cui compare la prima parola. È lì che lavora l'inference engine, cioè il software che esegue il modello sull'hardware. La descrizione del video annuncia anche come funziona e quali novità ci sono.

Cosa misurare: primo token, velocità, memoria

Durante il confronto, Rizzo indica tre cose da guardare: quanto si aspetta per ricevere il primo token, a che velocità arrivano i token successivi e quanta memoria serve. Sono i parametri che la descrizione del test elenca per leggere le differenze tra un motore e l'altro. Non vengono riportati valori né risultati: la descrizione si limita a indicare cosa osservare mentre il test viene eseguito.

Symbolbild: AI Tools & SaaS: Code on computer monitor (Unsplash)

Perché l'AI in locale: controllo e offline

Il confronto si collega anche alle ragioni per scegliere l'AI in locale. Rizzo cita il controllo sui dati e la possibilità di lavorare offline come argomenti da affrontare nella diretta. Sono i due motivi che la descrizione mette accanto alla prova tecnica, senza aggiungere dettagli su come vengono gestiti i dati o sulle condizioni in cui l'uso offline è possibile.

Scrivere un proprio software: cosa ottimizzare

Per chi vuole spingersi oltre, Rizzo accenna a cosa comporta creare un proprio inference engine e quali parti ha senso ottimizzare per la propria CPU o GPU. È il passaggio da chi usa il software a chi mette mano al motore, con l'attenzione rivolta all'hardware a disposizione. La descrizione non entra nel merito delle scelte tecniche: indica solo che questo passaggio viene affrontato nella diretta.

Cosa resta da verificare

La descrizione del canale non riporta numeri, modelli specifici né risultati del confronto. Indica cosa osservare e perché, ma non anticipa quale motore si comporti meglio. Rizzo invita anche a portare in chat un prompt da provare, così il test può partire da casi proposti dal pubblico. Chi vuole seguire il confronto trova nella descrizione gli elementi da tenere d'occhio, ma non una classifica da prendere per buona.

Approfondisci

Fonte: il video di Simone Rizzo

Hardware, um KI zu Hause auszuprobieren

Affiliate-Links: Für qualifizierte Käufe können wir eine Provision erhalten, sie ändert weder unsere Daten noch die Rankings. Sie öffnen die Suchergebnisse von Amazon: Preise und Verfügbarkeit stehen dort.

Video

Was sich geändert hat

  • Seite aktualisiert

Wie ich Produkte ordne

Post von Sir Compare

Neues zu KI-Werkzeuge und SaaS? Ich schreibe Ihnen.

Wählen Sie Ihre Themen: Ich schreibe nur, wenn etwas Neues erscheint — ein Ratgeber, eine Nachricht, ein geprüfter Preis, der sinkt.

Schritt 1 von 2

Was interessiert Sie?

Wählen Sie beliebig viele. Ohne Auswahl erhalten Sie das Neue aus allen Bereichen.

Was Sie erhalten möchten
  • Nur, was Sie wählen
  • Nie eine leere E-Mail
  • Abmelden mit einem Klick

Ihr Assistent

Vollständige Seite öffnen →