
Lorenzo R v R
to
AI - Apparentemente Intelligente?
AI, Apple intelligence https://www.apple.com/app...
AI, Apple intelligence https://www.apple.com/app...
11 months ago
from Android
-
Comment
-
Hide
-
-
[ 0 ]
-
[ 0 ]
- (Edit | Remove)
- More...
3 other comments...
Comment
Approfittando della notizia ho provato di nuovo a usare la AI (in questo caso Gemini) ma continua a dire cazzate enormi, a volte contraddicendo quello detto un paio di righe prima. Gli chiedo consigli su film da vedere specificando i servizi, me ne consiglia alcuni che secondo me non ci sono, faccio la domanda diretta e “hai ragione, non è presente sui tuoi servizi”. Gli chiedo ristoranti vicino a colonnine elettriche e inventa i ristoranti, inventa le vie e inventa i tempi di percorrenza (no, a piedi non riesco a fare 21 km/h). Evidentemente gli scenari d’uso sono diversi da questi.
-
Andrea Tassi
from iPhone
-
[ 3 ]
-
[ 0 ]
- (Edit | Remove)

What we know about Apple's on-device AI:
- 3B-parameter model (possibly OpenELM)
- Trained on licensed data
- Fine-tuned with RLHF and rejection sampling
- Optimized for A17 and M1-4 chips
- Uses GQA, quantization or palletization
- Time-to-first-token latency on iPhone 15 Pro is about 0.6 millisecond per prompt token (~0.6s for a 1,000-token prompt), followed by 30 tokens per second
- Uses LoRA adapters (under 100MB each) for tasks (summarization, email replies, etc.) https://venturebeat.com/a...
-
Lorenzo R v R
-
[ 0 ]
-
[ 0 ]
- (Edit | Remove)