Private LLM FAQ: lokale KI auf iPhone, iPad und Mac

Private LLM ist dein privater KI-Chatbot, gemacht für Privatsphäre, Komfort und Kreativität. Er läuft vollständig offline auf deinem iPhone, iPad und Mac, sodass deine Daten sicher und vertraulich bleiben. Private LLM ist ein Einmalkauf im App Store und gibt dir unbegrenzten Zugang ohne Abonnementgebühren. PS: Wir hassen Abonnements, und wir sind keine Heuchler, die unseren Nutzern zumuten, was wir selbst hassen.

Erstens hebt sich Private LLM von anderen lokalen KI-Lösungen durch fortschrittliche Modellquantisierungstechniken wie OmniQuant und GPTQ ab. Im Gegensatz zur naiven RTN-Quantisierung (Round-to-Nearest), die von anderen konkurrierenden Apps auf Basis der MLX- und llama.cpp-Frameworks verwendet wird, sind OmniQuant- und GPTQ-Quantisierung optimierungsbasierte Methoden. Diese Methoden ermöglichen eine präzisere Kontrolle über den Quantisierungsbereich und erhalten effektiv die Integrität der ursprünglichen Gewichtsverteilung. Dadurch erreicht Private LLM eine überlegene Modellleistung und Genauigkeit, die nahezu der Leistung eines unquantisierten 16-Bit-Floating-Point-(fp16)-Modells entspricht, jedoch mit erheblich reduzierten Rechenanforderungen zur Inferenzzeit.

Die Quantisierung von Modellen mit OmniQuant und GPTQ ist zwar rechenintensiv, aber die Investition lohnt sich. Dieser fortschrittliche Ansatz sorgt dafür, dass die Perplexität (ein Maß für die Qualität der Textgenerierung eines Modells) des quantisierten Modells deutlich näher am ursprünglichen fp16-Modell bleibt, als es mit naiver RTN-Quantisierung möglich ist. So bleibt die Qualität der Textgenerierung auf dem Gerät hoch, und genau das unterscheidet Private LLM von ähnlichen Apps.

Zweitens basiert Private LLM im Gegensatz zu fast allen anderen konkurrierenden Offline-LLM-Apps nicht auf llama.cpp oder MLX. Das bedeutet, dass fortschrittliche Funktionen, die in llama.cpp und MLX (und damit in Apps, die sie verwenden) nicht verfügbar sind, wie Attention Sinks und Sliding Window Attention, in Private LLM verfügbar sind, anderswo jedoch nicht[1]. Dies bedeutet auch, dass unsere App auf derselben Hardware erheblich schneller ist als die Konkurrenz (YouTube-Videos zum Leistungsvergleich).

Schließlich sind wir Machine-Learning-Ingenieure und stimmen Quantisierung und Parameter in jedem Modell sorgfältig ab, um die Textgenerierungsqualität zu maximieren. Beispielsweise quantisieren wir die Einbettungen und Gate-Layer in Mixtral-Modellen nicht, da deren Quantisierung die Perplexität des Modells stark beeinträchtigt (ganz zu schweigen davon, dass unsere Konkurrenz alles naiv quantisiert). Ebenso beeinträchtigt bei den Gemma-Modellen die Quantisierung der Einbettungen mit geteilten Gewichten (Weight Tying) die Perplexität des Modells, weshalb wir dies nicht tun (während unsere Konkurrenten dies tun). Auch beim Modell Microsoft Phi 4 lassen wir gezielt einige kritische Schichten unquantisiert (dynamische Quantisierung), um eine optimale Textgenerierungsqualität beizubehalten.

Private LLM priorisiert Genauigkeit und Recheneffizienz, ohne Datenschutz und Offline-Funktionalität zu beeinträchtigen, und gibt iOS- und macOS-Nutzern damit eine private On-Device-KI, die vollständig auf ihrer eigenen Hardware läuft.

Private LLM ist ein eigenfinanziertes Produkt, das von zwei Entwicklern ohne VC-Finanzierung erstellt wurde. Unsere Wettbewerber wie Ollama und LM Studio sind VC-finanzierte Unternehmen. Einige von ihnen haben in ihren Nutzungsbedingungen versteckte, belastende Klauseln, die die Nutzung für kommerzielle oder produktive Zwecke untersagen. Wir schränken nicht ein, wie unsere Nutzer unsere App verwenden. Unser eigenfinanziertes Einmalzahlungsmodell ist nicht perfekt und hat Nachteile, wie zum Beispiel die Unmöglichkeit, Anzeigen, Influencer-Posts und goldene Häkchen auf Twitter zu kaufen. Der Vorteil davon ist jedoch, dass wir keinen Druck von VCs haben, unsere Nutzer aggressiv zu überwachen und zu monetarisieren; und wir können uns zu 100 % darauf konzentrieren, das Produkt für unsere Nutzer und uns zu entwickeln.

Bei Private LLM legen wir Wert auf Qualität und Unabhängigkeit. Um eine überlegene Leistung zu erzielen, quantisieren wir jedes Modell sorgfältig mit fortschrittlichen Techniken wie OmniQuant und GPTQ. Dieser Prozess erfordert erhebliche Ressourcen, einschließlich der Anmietung von GPUs, die alles andere als kostenlos sind. Alle unsere Wettbewerber verwenden RTN-Quantisierung (Round to Nearest), die in Bezug auf Ressourcen sehr günstig ist, aber qualitativ minderwertige quantisierte Modelle liefert. Als kleines, unabhängiges Unternehmen investieren wir viel Zeit und Ressourcen in die Quantisierung von Modellen mit SOTA-Quantisierungsalgorithmen, weil sich dies in Bezug auf Qualität lohnt. Das Ergebnis ist eine unvergleichliche KI-Erfahrung, die sich in Genauigkeit und Geschwindigkeit auszeichnet.

Privatsphäre ist ein weiterer Kernwert von Private LLM. Wir verarbeiten alles lokal auf deinem Gerät, ohne jegliche Datenerfassung oder -verfolgung. Eine solche Aussage zu machen, ist nicht einfach, insbesondere wenn man VC-finanziert ist und unter Druck steht, skalierbare Einnahmequellen zu finden. Durch unsere Unabhängigkeit stellen wir sicher, dass deine Daten stets privat bleiben.

Kostenlose Produkte mögen verlockend erscheinen, besonders wenn sie aggressiv von Influencern beworben werden, aber in Wirklichkeit liefern sie oft minderwertige Textgenerierungsqualität. Private LLM verfolgt einen anderen Ansatz und bietet eine Textgenerierung, die in Kohärenz, Genauigkeit und Kontext weit voraus ist. Durch die Erhebung einer einmaligen Gebühr bietet Private LLM eine KI-Lösung, die benutzerorientiert, datenschutzorientiert und qualitativ hochwertig ist und die unsere Wettbewerber nicht annähernd erreichen können.

Private LLM arbeitet offline und verwendet ein Decoder-only-Transformer-Modell (auch bekannt als GPT), mit dem du dich ungezwungen unterhalten kannst. Es hilft dir auch dabei, Textabsätze zusammenzufassen, kreative Ideen zu entwickeln und Informationen zu einer Vielzahl von Themen zu liefern.

Private LLM ist eine führende lokale KI-App für Apple-Geräte. Sie führt Open-Source-Modelle vollständig auf dem Gerät aus, ohne Konto, ohne Cloud und ohne Abo. Wähle das Modell passend zu deiner Hardware: Die meisten iPhones führen Llama 3.2 3B oder Qwen3 4B aus, iPhone 15 Pro und neuer führen Llama 3.1 8B aus, und ein Mac mit Apple Silicon und 48 GB führt Llama 3.3 70B aus. Private LLM liefert GPTQ- und OmniQuant-Quantisierung, die pro Modell abgestimmt ist, sodass die 3-Bit-OmniQuant-Modelle auf derselben Hardware mit 4-Bit-RTN-Modellen aus llama.cpp-basierten Apps mithalten. Ein Kauf gilt für iPhone, iPad und Mac, mit Familienfreigabe für bis zu sechs Personen.

Das Ausführen großer Sprachmodelle (LLMs) auf einem Gerät ist ein speicherintensiver Prozess, da hierfür erheblicher RAM erforderlich ist, um Modelle effizient zu laden und auszuführen. Zudem ist Private LLM in der Regel nicht die einzige App, die auf deinem iPhone, iPad oder Mac läuft. Andere Apps, insbesondere speicherintensive, können um Systemressourcen konkurrieren und die Leistung von Private LLM beeinträchtigen.

Auf iPhones können ältere Geräte wie das iPhone SE (2. Generation, 3 GB RAM) kleinere Modelle wie Llama 3.2 1B und Qwen 2.5 0.5B/1.5B ausführen, jedoch kann das Erlebnis aufgrund von Hardware-Einschränkungen begrenzt sein. Ab dem iPhone 12 (4 GB RAM) verbessert sich die Leistung, sodass auch etwas größere Modelle mit 3B unterstützt werden. Für das beste Erlebnis empfehlen wir ein iPhone 15 Pro oder neuer mit 8 GB RAM. Diese Geräte können problemlos größere Modelle wie Llama 3.1 8B oder Qwen 2.5 7B ausführen. Obwohl Private LLM technisch auch auf älteren Geräten als dem iPhone 12 installiert werden kann, empfehlen wir den Kauf der App für solche Geräte nicht mehr, da Benutzerfeedback gezeigt hat, dass veraltete Hardware das Erlebnis erheblich einschränkt. Benutzer mit älteren Geräten können die App weiterhin kaufen, aber Support und optimale Leistung sind nicht garantiert.

Auf iPads ist die Lage ähnlich. Geräte mit mindestens 4 GB RAM können Modelle ausführen, die mit denen auf iPhones der Mittelklasse vergleichbar sind. Für die besten Ergebnisse ist das Spitzenmodell iPad Pro mit 16 GB RAM ideal, da es auch größere Modelle wie Qwen 2.5 14B oder Google Gemma 2 9B unterstützt. Dieser Spielraum macht das iPad Pro zu einer starken Wahl für Private LLM.

Auf Macs hat der Wechsel zu Apple Silicon neue Maßstäbe für lokale KI-Leistung gesetzt. Private LLM lässt sich zwar auf Intel-Macs installieren, wir empfehlen aber ausdrücklich Macs mit Apple Silicon für eine deutlich flüssigere Nutzung. Auf Macs mit Apple Silicon und 8 GB RAM kannst du Modelle ausführen, die mit denen auf den neuesten iPhones vergleichbar sind, etwa Llama 3.1 8B und Qwen 2.5 7B. Macs mit 16 GB RAM können, ähnlich wie das Spitzenmodell iPad Pro, auch größere Modelle wie Qwen 2.5 14B oder Google Gemma 2 9B verarbeiten. Mit 32 GB RAM können Macs größere Modelle wie Phi 4 und Qwen 2.5 32B ausführen, und für die beste Erfahrung liefern Macs mit Apple Silicon und mindestens 48 GB RAM optimale Leistung mit Modellen wie Llama 3.3 70B.

Private LLM wurde entwickelt, um die Leistungsfähigkeit lokaler KI auf eine Vielzahl von Apple-Geräten zu bringen. Für die beste Leistung empfehlen wir jedoch dringend Geräte mit mehr Speicher. Wenn du dir nicht sicher bist, ob dein Gerät kompatibel ist, oder weitere Unterstützung brauchst, tritt unserer Discord-Community bei, um dich mit uns und anderen Nutzern zu vernetzen, die dir helfen können!

Private LLM bietet eine Reihe von Modellen für unterschiedliche Sprachanforderungen. Unsere Auswahl umfasst die Familien Llama 3, Qwen 2.5 und Gemma 3, die alle mehrere Sprachen unterstützen. Llama 3 beherrscht Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai; Qwen 2.5 unterstützt mehr als 29 Sprachen, darunter Chinesisch, Englisch, Französisch, Spanisch, Portugiesisch, Deutsch, Italienisch, Russisch, Japanisch, Koreanisch, Vietnamesisch, Thai und Arabisch; und Gemma 3 unterstützt weltweit mehr als 140 Sprachen. Für Nutzer, die Modelle für bestimmte nicht-englische Sprachen suchen, bietet Private LLM Optionen wie SauerkrautLM Gemma 2 2B IT für Deutsch, DictaLM 2.0 Instruct für Hebräisch, RakutenAI 7B Chat für Japanisch sowie Yi 6B Chat oder Yi 34B Chat für Chinesisch. Diese vielfältige Auswahl sorgt dafür, dass Nutzer das Modell wählen können, das am besten zu ihren Sprachanforderungen passt.

Private LLM gewährleistet eine überlegene Textgenerierungsqualität und Leistung durch den Einsatz fortschrittlicher Quantisierungsstrategien wie OmniQuant und GPTQ, die zahlreiche Stunden sorgfältiger Quantisierung jedes Modells auf GPUs erfordern. Dieser sorgfältige Prozess bewahrt die Gewichtsverteilung des Modells effektiver, was zu schnellerer Inferenz, verbesserter Modelltreue und qualitativ hochwertigerer Textgenerierung führt. Unsere 3-Bit-OmniQuant-Modelle erreichen oder übertreffen die Leistung der 4-Bit-RTN-quantisierten Modelle anderer Plattformen. Im Gegensatz zu Apps, die die auf Hugging Face verfügbaren GGUF-Dateien unterstützen, quantisiert Private LLM Modelle intern, um sicherzustellen, dass sie in Bezug auf Geschwindigkeit, Genauigkeit und Qualität optimiert sind. Dieser rigorose Ansatz ist einer der Gründe, warum Private LLM eine kostenpflichtige App ist und eine weitaus bessere Qualität bietet als langsamere und weniger leistungsfähige lokale KI-Chat-Apps.

Wir fügen Private LLM regelmäßig neue Modelle hinzu, basierend auf dem Feedback unserer Nutzer, wie unsere Versionshinweise zeigen. Wenn du dir ein bestimmtes Modell wünschst, tritt unserer Discord-Community bei und teile deinen Vorschlag im Kanal #suggestions. Wir prüfen alle Vorschläge und priorisieren beliebte für künftige Updates.

Private LLM ist eine macOS-App, die vollständig in einer Sandbox läuft. Modelle liegen deshalb im Container der App unter: ~/Library/Containers/ie.numen.personalgpt/Data/Library/Application Support/ie.numen.personalgpt/models. Unter macOS Sequoia und neuer kannst du die Fähigkeit des Systems nutzen, große Apps auf ein externes Laufwerk zu verschieben. Das Verschieben der App verschiebt auch die darin gespeicherten Modelle. Dies ist die empfohlene Methode, um Speicherplatz freizugeben, wenn der interne Speicher deines Macs knapp wird.

Private LLM unterstützt derzeit nicht das Lesen von Dokumenten oder Dateien, eine Funktion, die oft als Retrieval-Augmented Generation (RAG) bezeichnet wird. Diese Funktionalität beinhaltet die Verwendung externer Dokumente zur Bereicherung der Antworten des Modells, aber ihre Effektivität hängt stark von der Kontextlänge ab – der maximalen Menge an Text, die das Modell in einer einzelnen Eingabe verarbeiten kann. Eine längere Kontextlänge ermöglicht detailliertere und genauere Antworten, ist jedoch besonders auf lokalen Geräten rechnerisch anspruchsvoll. Wettbewerber wie Ollama unterstützen typischerweise eine Standard-Kontextlänge von 2K Token, während LM Studio standardmäßig eine Kontextlänge von 1.500 Token bietet. Im Vergleich dazu bietet Private LLM 8K Token auf iPhone und iPad und beeindruckende 32K Token auf Macs, was es zu einer der leistungsfähigsten lokalen KI-Lösungen in dieser Hinsicht macht. Dennoch stehen alle aktuellen lokalen KI-Implementierungen, einschließlich Private LLM, vor Herausforderungen mit Halluzinationen, wenn lange Textinhalte verarbeitet werden. Diese Einschränkung ergibt sich daraus, dass Modelle bei umfangreichen oder unvollständigen Eingaben falsche oder erfundene Informationen generieren können. Die OmniQuant-Quantisierung von Private LLM reduziert Halluzinationen erheblich im Vergleich zur RTN-Quantisierung, die von unserer Konkurrenz verwendet wird, beseitigt sie jedoch nicht vollständig. Während wir planen, in Zukunft Dokumentenlesefunktionen einzuführen, bieten serverbasierte Lösungen derzeit die zuverlässigsten Ergebnisse für RAG, da sie besser ausgestattet sind, größere Kontextlängen und Rechenanforderungen zu bewältigen.

Absolut nicht. Private LLM ist auf den Schutz deiner Privatsphäre ausgelegt und arbeitet für seine Funktionen ausschließlich offline, ohne Internetzugang oder Zugriff auf Echtzeitdaten. Eine Internetverbindung ist nur erforderlich, wenn du Updates oder neue Modelle herunterlädst. Dabei werden keine personenbezogenen Daten erfasst, übertragen oder ausgetauscht. Unsere Datenschutzphilosophie orientiert sich an den strengen Datenschutz- und Sicherheitsrichtlinien von Apple, und unsere App hält höchste Standards beim Schutz deiner Daten ein. Es kann vorkommen, dass Nutzer Private LLM fragen, ob es auf das Internet zugreifen kann, was zu möglichen Modell-Halluzinationen führen kann, die das nahelegen. Diese Antworten sollten jedoch nicht als Fakten verstanden werden. Wenn Nutzer die Datenschutzgarantien von Private LLM unabhängig überprüfen möchten, empfehlen wir Netzwerk-Monitoring-Tools wie Little Snitch. So kannst du selbst sehen, dass unsere App strenge Datenschutzkontrollen einhält. Für alle, die Zugriff auf Echtzeitinformationen möchten, arbeitet Private LLM mit Apple Shortcuts zusammen. Damit kannst du Daten aus RSS-Feeds, Webseiten und sogar Apps wie Kalender, Erinnerungen, Notizen und weiteren abrufen. Diese Funktion bietet einen kreativen Weg, aktuelle Daten in deine Interaktionen mit Private LLM einzubinden, während der offline ausgerichtete Datenschutzansatz erhalten bleibt. Wenn du Fragen hast oder weitere Erläuterungen brauchst, kontaktiere uns gern.

Ja. Bei einem lokalen LLM werden deine Prompts und Unterhaltungen auf deinem Gerät verarbeitet und nie an einen Server gesendet. Dadurch gibt es nichts, was unterwegs abgefangen werden kann, und keinen Chatverlauf in der Cloud eines anderen Anbieters. Private LLM erfordert kein Konto, sammelt keine personenbezogenen Daten und läuft in der App-Store-Sandbox von Apple. Bei sensibler Arbeit, etwa rechtlichen, medizinischen oder vertraulichen geschäftlichen Fragen, vermeidet die Inferenz auf dem Gerät die Risiken, die mit Cloud-KI einhergehen. Lokale LLMs können trotzdem Fehler machen oder halluzinieren, daher solltest du wichtige Antworten prüfen.

Private LLM kann lange Textabsätze in Sekunden analysieren und zusammenfassen. Füge einfach den Inhalt ein, und die KI erstellt eine prägnante Zusammenfassung, komplett offline. Du kannst Private LLM auch zum Umformulieren und Paraphrasieren nutzen, mit Prompts wie diesen:

• Gib mir ein TLDR dazu: [Inhalt hier einfügen]
• Du bist ein erfahrener Texter. Bitte formuliere Folgendes in deinen eigenen Worten um: [Inhalt einfügen]
• Paraphrasiere den folgenden Text so, dass er origineller klingt: [Inhalt einfügen]

Absolut! Private LLM kann Vorschläge und Ideen generieren und ist damit nützlich für Brainstorming und Problemlösung. Hier sind einige Beispiel-Prompts fürs Brainstorming, die du Private LLM stellen kannst. Probiere gern auch eigene Prompts aus.

• Kannst du mir einige mögliche Themen für einen Science-Fiction-Roman geben?
• Ich plane, ein veganes Fast-Food-Restaurant zu eröffnen. Was sind die Schwächen dieser Idee?
• Ich leite ein zweijähriges Softwareentwicklungs-Startup mit einem Produkt, das PMF hat, und plane, ein neues Softwareprodukt in einem ganz anderen Markt einzuführen. Analysiere dies mit der Methode der sechs Hüte.
• Nutze das Golden-Circle-Modell, um eine starke Marke für eine Managementberatung zu schaffen.

Sampling-Temperatur und Top-P sind universelle Inferenzparameter für alle autoregressiven kausalen Decoder-only-Transformer-Modelle (auch bekannt als GPT) und nicht spezifisch für Private LLM. Die App setzt sie auf sinnvolle Standardwerte (0,7 für die Sampling-Temperatur und 0,95 für Top-P), aber du kannst sie jederzeit anpassen und sehen, was passiert. Beachte bitte, dass Änderungen an diesen Parametern erst nach einem Neustart der App wirksam werden.

Diese Parameter steuern den Kompromiss zwischen deterministischer Textgenerierung und Kreativität. Niedrige Werte führen zu langweiligen, aber kohärenten Antworten, höhere Werte zu kreativen, aber manchmal inkohärenten Antworten.

Ja. Private LLM hat zwei App-Intents, die du mit Siri und der Shortcuts-App verwenden kannst. Suche dafür in der Shortcuts-App nach Private LLM. Zusätzlich unterstützt Private LLM die Spezifikation x-callback-url , die auch von Shortcuts und vielen anderen Apps unterstützt wird. Hier ist ein Beispiel-Shortcut mit der x-callback-url-Funktion von Private LLM.

Der Funktionsunterschied zwischen iOS und macOS bei der Hintergrundverarbeitung ergibt sich vor allem aus Apples Richtlinien zur Hardwarenutzung. Unter iOS schränkt Apple die Ausführung von Aufgaben im Hintergrund ein, die intensive GPU-Nutzung erfordern. Diese Einschränkung dient dazu, die Akkulaufzeit zu schonen und die Systemleistung stabil zu halten. Nach Apples Richtlinien werden Apps, die versuchen, einen Metal-Kernel im Hintergrund auszuführen, sofort beendet, um unautorisierte Ressourcennutzung zu verhindern. Bei Private LLM können wir unter macOS Vorgänge im Hintergrund mit der GPU ausführen, während iOS-Versionen auf CPU-Verarbeitung beschränkt sind, wenn die App nicht im Vordergrund ist. KI-gesteuerte Aufgaben von Private LLM auf der CPU auszuführen ist technisch möglich, wäre aber deutlich langsamer – mehr als 10-mal langsamer als GPU-Verarbeitung. Diese CPU-gebundene Geschwindigkeit ist nicht die Erfahrung, die wir ausliefern möchten. Wir hoffen, dass künftige iOS-Updates mehr Flexibilität dafür bieten, wie Hintergrundprozesse Systemressourcen nutzen können, einschließlich möglichem GPU-Zugriff für Apps wie Private LLM. Bis dahin optimieren wir unsere iOS-App weiter innerhalb der aktuellen Grenzen, damit du die bestmögliche Leistung erhältst, ohne die Gesundheit deines Geräts oder die Effizienz deiner Apps zu beeinträchtigen. Weitere technische Details findest du in Apples offizieller Dokumentation zur Vorbereitung deiner Metal-App für die Ausführung im Hintergrund: Apple Developer Documentation.

iOS 26 führt eine neue Berechtigung für den GPU-Zugriff im Hintergrund ein (com.apple.developer.background-tasks.continued-processing.gpu). Sie wird jedoch erst nach einer direkten Nutzerinteraktion (Tippen, Wischen usw.) innerhalb der App aktiviert und ermöglicht daher nicht, lokale LLMs vollständig im Hintergrund über Kurzbefehle auszuführen.

Nach einem Einmalkauf kannst du Private LLM auf all deinen Apple-Geräten herunterladen und nutzen. Die App unterstützt die Familienfreigabe, sodass du sie mit deinen Familienmitgliedern teilen kannst.

Es tut uns leid, dass du über eine Rückerstattung nachdenkst. Du kannst sie über den Apple App Store beantragen: Öffne den Kaufverlauf deines Apple Accounts, suche Private LLM und klicke auf „Ein Problem melden“, um die Rückerstattung zu starten. Außerdem würden wir gern erfahren, was wir besser machen können. Schreib uns dein Feedback.

Wenn du Schwierigkeiten beim Herunterladen von Modellen in Private LLM hast, liegt das oft an vorübergehenden Verbindungsproblemen mit Hugging Face, wo unsere Modelle gehostet werden. Auf der Statusseite von Hugging Face siehst du schnell, ob es gerade Ausfälle gibt. In manchen Fällen schränken Firewalls von Firmen, Schulen oder ganzen Ländern den Zugriff auf Hugging Face ein, was Downloads beeinträchtigen kann. Wenn du dich in einem solchen Netzwerk befindest, empfehlen wir, zu einem privaten WLAN oder mobilen Hotspot zu wechseln oder ein VPN zu nutzen, um diese Einschränkungen zu umgehen.

Für Nutzer in China oder Hongkong wechselt Private LLM automatisch zu hf-mirror.com, um die Downloads zuverlässiger zu machen, wenn dein Gerät auf eine dieser Regionen eingestellt ist. So klappt der Zugriff reibungsloser, ohne zusätzliche Einrichtung deinerseits.

Wenn du nach der Prüfung deiner Verbindung weiterhin Probleme hast, starte die App oder dein Gerät neu. Bei anhaltenden Problemen schau in unserer Discord-Community vorbei und teile die Details im Support-Kanal – wir helfen dir gern bei der Fehlerbehebung!

Beim Laden von Modellen in Private LLM kann gelegentlich die Fehlermeldung „Rückgriff auf integriertes Modell aufgrund eines Absturzes beim Laden des Modells“ erscheinen. Das passiert meist, wenn dein Gerät nicht genug freien Speicher hat, um das ausgewählte Modell zu laden. Diese Abstürze können auftreten, weil dein Gerät nur begrenzt freien RAM hat, andere Apps im Hintergrund viel Speicher belegen oder mehrere ressourcenintensive Prozesse gleichzeitig laufen. Schließe zur Lösung zuerst speicherintensive Hintergrund-Apps. Wenn das Problem nach einem Neustart von Private LLM weiterhin besteht, kannst du auf ein kleineres Modell wechseln, dein Gerät neu starten, um den Speicher freizugeben, oder prüfen, ob dein Gerät die empfohlenen RAM-Anforderungen für das Modell erfüllt. Wenn du danach weiterhin Abstürze hast, nutze ein kleineres Modell, das besser zu den Möglichkeiten deines Geräts passt.

Das kann daran liegen, dass dein Gerät wenig freien Speicher hat oder die Aufgabe für Private LLM besonders komplex ist. Schließe in solchen Fällen speicherhungrige Apps, die im Hintergrund laufen, und teile die Anfrage in kleinere, überschaubare Aufgaben auf. Im zweiten Fall hilft es auch, einfach mit „Fortfahren“, „Weiter“ oder „Erzähl weiter“ zu antworten.

Ja, Private LLM ist jetzt als frühe Beta-Version für Android verfügbar! Während unser Hauptfokus weiterhin darauf liegt, die beste KI-Erfahrung für Apple-Geräte zu bieten, erweitern wir unser Angebot auf Android, um mehr Nutzer anzusprechen, die Wert auf Datenschutz und Offline-KI legen. Die Android-Version ist derzeit als direkter APK-Download verfügbar (noch nicht im Google Play Store) und enthält viele der Kernfunktionen unserer iOS/macOS-Versionen. Da es sich um eine frühe Beta-Version handelt, können einige Einschränkungen oder Stabilitätsprobleme im Vergleich zu unseren ausgereifteren Apple-Versionen auftreten. Wir laden dich herzlich ein, unserer Discord-Community beizutreten, um Feedback zu geben, Probleme zu melden und uns zu helfen, das Android-Erlebnis zu verbessern. Dein Input ist in dieser Phase äußerst wertvoll, während wir auf eine vollständige Veröffentlichung im Google Play Store hinarbeiten. Du kannst die APK von unserer Website herunterladen.