Nvidia ti consente di eseguire localmente un chatbot AI

Ti piacerebbe guidare un'intelligenza artificiale super potente e sorprendente? Direttamente sul tuo computer? Ora Nvidia rende molto semplice farlo con il suo script generativo preconfigurato e basato sull'intelligenza artificiale in esecuzione sulle sue schede grafiche consumer. Il chatbot si chiama “Chat with RTX” ed è ora disponibile in versione beta.

La chat con RTX è interamente basata su testo e fa affidamento su un ampio database di documenti di testo pubblici di proprietà della stessa Nvidia. Nella sua forma grezza, il modello può “scrivere” abbastanza bene, ma la sua conoscenza effettiva sembra molto limitata. Ad esempio, potrebbe darti una descrizione dettagliata di cosa sia un barracuda kernel, ma quando chiedi “Cos'è un barracuda?” “Sembra una specie di pesce”, ha risposto indicando l'aggiornamento del driver Cyberpunk 2077 per riferimento. Potrebbe facilmente darmi un epigramma di sette righe su un bel circuito stampato (non molto buono, ma ha funzionato), ma non potrebbe nemmeno provare a dirmi chi ha vinto la guerra del 1812. Se non altro, è un esempio della misura in cui i grandi modelli linguistici fanno affidamento su un'enorme quantità di input per essere utili.

Michael Crider/Fonderia

Quindi, puoi espandere manualmente le funzionalità di chat dell'RTX puntando a una cartella piena di file .txt, .pdf e .doc da cui “imparare”. Questo può essere un po' più utile se hai bisogno di cercare tra gigabyte di testo e allo stesso tempo hai bisogno di contesto. Incredibilmente, dal momento che tutto il mio lavoro è online, non ho molti file di testo locali da scansionare.

Michael Crider/Fonderia

Per testare questa funzionalità potenzialmente più utile, ho scaricato file di testo disponibili pubblicamente per varie traduzioni della Bibbia, sperando di porre a Chat with RTX alcune domande che i miei vecchi insegnanti della Scuola Domenicale avrebbero potuto essere in grado di gestire. Ma un'ora dopo, lo strumento stava ancora elaborando meno di 300 MB di file di testo e facendo funzionare la mia RTX 3070 quasi al 100%, senza fine in vista, quindi una valutazione qualitativa dovrà attendere un altro giorno.

Per giocare alla versione di prova sono necessari Windows 10 o 11 e una scheda grafica Nvidia serie RTX 30 o 40 con almeno 8 GB di memoria video. Si tratta anche di un download piuttosto pesante da 35 GB del software AI e del suo database di materiali di formazione standard, e il file server di Nvidia sembra occupato in questo momento, quindi anche solo scaricare questa cosa sul tuo computer può essere un esercizio di pazienza.