zar
to
zar's feed,
AI - Apparentemente Intelligente?
Mi spiegate, come se avessi 5 anni, come è possibile che esistano degli LLM che funzionano in locale? Se quelli in rete costano un sacco e hanno bisogno di interi data center, quelli locali quanto sono più scarsi?
Mi spiegate, come se avessi 5 anni, come è possibile che esistano degli LLM che funzionano in locale? Se quelli in rete costano un sacco e hanno bisogno di interi data center, quelli locali quanto sono più scarsi?
2 hours ago
from iPhone
-
Comment
-
Hide
-
-
[ 1 ]
-
[ 0 ]
- (Edit | Remove)
- More...
4 other comments...
Comment
(mi accodo in quanto potenziale thread per colmare la mia ignoranza in materia)
-
Sba, percosso e inaridito
-
[ 0 ]
-
[ 0 ]
- (Edit | Remove)
Con il numero di parametri ovviamente cresce la dimensione del modello, una via per avviare modelli enormi anche localmente è ridurre i bit per parametro: mantieni la stessa "conoscenza" in meno RAM ma scapito della precisione del modello e con rischio maggiore di allucinazioni. Il meccanismo è detto quantizzazione.
-
loi
-
[ 0 ]
-
[ 0 ]
- (Edit | Remove)
