Private LLM Chat IA privé et non censuré pour iPhone, iPad et Mac

Private LLM utilise la quantification OmniQuant et GPTQ. Lorsque les LLM sont quantifiés pour l'inférence sur l'appareil, les valeurs de poids aberrantes nuisent à la qualité de la génération de texte. OmniQuant module les poids aberrants avec un mécanisme d'écrêtage apprenable basé sur l'optimisation qui minimise l'erreur de quantification. GPTQ utilise des informations approximatives du second ordre (Hessien) pour minimiser l'erreur de reconstruction sur les poids les plus importants. La quantification RTN affine utilisée par les applications basées sur MLX comme LM Studio, et les variantes RTN par blocs utilisées par les applications basées sur llama.cpp comme Ollama, ignorent ce type d'optimisation par poids - c'est pourquoi ces applications produisent des résultats de moindre qualité sur le même matériel Apple. Nous explorons constamment des méthodes de quantification avancées, un travail que les applications wrappers basées sur des moteurs d'inférence tiers ne peuvent pas assumer. OmniQuant et GPTQ, associés à des noyaux Metal optimisés spécifiques aux modèles, permettent à Private LLM d'offrir une génération de texte à la fois rapide et de haute qualité sur le matériel Apple.