Private LLM Prywatny, nieocenzurowany czat AI na iPhone'a, iPada i Maca

Private LLM wykorzystuje kwantyzację OmniQuant i GPTQ. Kiedy modele LLM są kwantyzowane do wnioskowania na urządzeniu, wartości odstające wag wpływają negatywnie na jakość generowania tekstu. OmniQuant moduluje wagi odstające za pomocą mechanizmu przycinania opartego na optymalizacji, który minimalizuje błąd kwantyzacji. GPTQ wykorzystuje przybliżone informacje drugiego rzędu (Hessian) do minimalizacji błędu rekonstrukcji wag, które mają największe znaczenie. Kwantyzacja afiniczna RTN stosowana przez aplikacje oparte na MLX, takie jak LM Studio, oraz warianty blokowe RTN stosowane przez aplikacje oparte na llama.cpp, takie jak Ollama, pomijają ten rodzaj optymalizacji wag — dlatego te aplikacje generują niższej jakości wyniki na tym samym sprzęcie Apple. Stale badamy zaawansowane metody kwantyzacji, co jest pracą, której aplikacje typu wrapper zbudowane na silnikach wnioskowania stron trzecich nie mogą podjąć. OmniQuant i GPTQ w połączeniu ze zoptymalizowanymi jądrami Metal dla konkretnych modeli pozwalają Private LLM dostarczać generowanie tekstu, które jest jednocześnie szybkie i wysokiej jakości na sprzęcie Apple.