Private LLM Chat AI privata e non censurata per iPhone, iPad e Mac

Private LLM utilizza OmniQuant e la quantizzazione GPTQ. Quando gli LLM vengono quantizzati per l'inferenza sul dispositivo, i valori di peso anomali compromettono la qualità della generazione del testo. OmniQuant modula i pesi anomali con un meccanismo di clipping basato sull'ottimizzazione che riduce al minimo l'errore di quantizzazione. GPTQ utilizza informazioni approssimative del secondo ordine (Hessian) per ridurre al minimo l'errore di ricostruzione sui pesi più importanti. La quantizzazione RTN affine utilizzata dalle app basate su MLX come LM Studio, e le varianti RTN a blocchi utilizzate dalle app basate su llama.cpp come Ollama, saltano questo tipo di ottimizzazione per singolo peso: ecco perché quelle app producono un output di qualità inferiore sullo stesso hardware Apple. Esploriamo costantemente metodi di quantizzazione avanzati, un lavoro che le app wrapper basate su motori di inferenza di terze parti non possono intraprendere. OmniQuant e GPTQ, abbinati a kernel Metal ottimizzati specifici per il modello, consentono a Private LLM di offrire una generazione di testo veloce e di alta qualità sull'hardware Apple.