Private LLM Privater, unzensierter KI-Chat für iPhone, iPad und Mac

Private LLM verwendet OmniQuant- und GPTQ-Quantisierung. Wenn LLMs für die On-Device-Inferenz quantisiert werden, beeinträchtigen Ausreißer-Gewichtungswerte die Qualität der Textgenerierung. OmniQuant moduliert Ausreißer-Gewichte mit einem lernbaren, optimierungsbasierten Clipping-Mechanismus, der den Quantisierungsfehler minimiert. GPTQ nutzt approximierte Informationen zweiter Ordnung (Hesse-Matrix), um den Rekonstruktionsfehler bei den wichtigsten Gewichten zu minimieren. Die affine RTN-Quantisierung, die von MLX-basierten Apps wie LM Studio verwendet wird, und die blockweisen RTN-Varianten, die von llama.cpp-basierten Apps wie Ollama verwendet werden, überspringen diese Art der Optimierung pro Gewicht - weshalb diese Apps auf derselben Apple-Hardware eine geringere Ausgabequalität liefern. Wir erforschen ständig fortschrittliche Quantisierungsmethoden, eine Arbeit, die Wrapper-Apps, die auf Inferenz-Engines von Drittanbietern basieren, nicht übernehmen können. OmniQuant und GPTQ in Kombination mit optimierten modellspezifischen Metal-Kerneln ermöglichen es Private LLM, eine Textgenerierung zu liefern, die auf Apple-Hardware sowohl schnell als auch von hoher Qualität ist.