Private LLM Chat de IA privado y sin censura para iPhone, iPad y Mac

Private LLM utiliza la cuantización OmniQuant y GPTQ. Cuando los LLM se cuantizan para la inferencia en el dispositivo, los valores de peso atípicos perjudican la calidad de generación de texto. OmniQuant modula los pesos atípicos con un mecanismo de recorte entrenable basado en optimización que minimiza el error de cuantización. GPTQ utiliza información aproximada de segundo orden (Hessiana) para minimizar el error de reconstrucción en los pesos que más importan. La cuantización RTN afín utilizada por aplicaciones basadas en MLX como LM Studio, y las variantes RTN por bloques utilizadas por aplicaciones basadas en llama.cpp como Ollama, omiten este tipo de optimización por peso - razón por la cual esas aplicaciones producen resultados de menor calidad en el mismo hardware de Apple. Exploramos constantemente métodos de cuantización avanzados, un trabajo que las aplicaciones wrapper creadas sobre motores de inferencia de terceros no pueden asumir. OmniQuant y GPTQ, combinados con kernels de Metal optimizados y específicos para cada modelo, permiten a Private LLM ofrecer una generación de texto rápida y de alta calidad en el hardware de Apple.