Private LLM iPhone, iPad 및 Mac을 위한 비공개 비검열 AI 채팅

Private LLM은 OmniQuant 및 GPTQ 양자화를 사용합니다. LLM이 온디바이스 추론을 위해 양자화될 때, 이상치 가중치 값은 텍스트 생성 품질을 저하시킵니다. OmniQuant는 학습 가능한 최적화 기반 클리핑 메커니즘으로 이상치 가중치를 조절하여 양자화 오차를 최소화합니다. GPTQ는 근사 2차(Hessian) 정보를 사용하여 중요한 가중치의 재구성 오차를 최소화합니다. LM Studio와 같은 MLX 기반 앱에서 사용하는 아핀 RTN 양자화나 Ollama와 같은 llama.cpp 기반 앱에서 사용하는 블록 단위 RTN 변형은 이러한 가중치별 최적화를 건너뛰기 때문에 동일한 Apple 하드웨어에서 더 낮은 품질의 결과물을 생성합니다. 저희는 고급 양자화 방법을 지속적으로 탐색하며, 타사 추론 엔진을 기반으로 구축된 래퍼 앱이 감당할 수 없는 작업을 수행합니다. 최적화된 모델별 Metal 커널과 결합된 OmniQuant 및 GPTQ는 Private LLM이 Apple 하드웨어에서 빠르고 고품질의 텍스트 생성을 제공하도록 합니다.