Private LLM FAQ: Lokale KI auf iPhone, iPad und Mac

Private LLM ist Ihr privater AI-Chatbot, entworfen für Privatsphäre, Bequemlichkeit und Kreativität. Er funktioniert vollständig offline auf Ihrem iPhone, iPad und Mac, sodass Ihre Daten sicher und vertraulich bleiben. Private LLM ist ein Einmalkauf im App Store, der Ihnen unbegrenzten Zugang ohne Abonnementgebühren ermöglicht. nb: Wir hassen Abonnements und wir sind keine Heuchler, die unsere Nutzer dem aussetzen, was wir hassen.

Erstens hebt sich Private LLM von anderen lokalen KI-Lösungen durch fortschrittliche Modellquantisierungstechniken wie OmniQuant und GPTQ ab. Im Gegensatz zur naiven Round-To-Nearest (RTN)-Quantisierung, die von anderen konkurrierenden Apps auf Basis der MLX- und llama.cpp-Frameworks verwendet wird, sind OmniQuant- und GPTQ-Quantisierung optimierungsbasierte Methoden. Diese Methoden ermöglichen eine präzisere Kontrolle über den Quantisierungsbereich und erhalten effektiv die Integrität der ursprünglichen Gewichtsverteilung. Dadurch erreicht Private LLM eine überlegene Modellleistung und Genauigkeit, die nahezu der Leistung eines unquantisierten 16-Bit-Floating-Point-(fp16)-Modells entspricht, jedoch mit erheblich reduzierten Rechenanforderungen zur Inferenzzeit.

Die Quantisierung von Modellen mit OmniQuant und GPTQ ist zwar rechenintensiv, aber die Investition lohnt sich. Dieser fortschrittliche Ansatz sorgt dafür, dass die Perplexität (ein Maß für die Qualität der Textgenerierung eines Modells) des quantisierten Modells deutlich näher am ursprünglichen fp16-Modell bleibt, als es mit naiver RTN-Quantisierung möglich ist. So bleibt die Qualität der Textgenerierung auf dem Gerät hoch, und genau das unterscheidet Private LLM von ähnlichen Apps.

Zweitens basiert Private LLM im Gegensatz zu fast allen anderen konkurrierenden Offline-LLM-Apps nicht auf llama.cpp oder MLX. Das bedeutet, dass fortschrittliche Funktionen, die in llama.cpp und MLX (und damit in Apps, die sie verwenden) nicht verfügbar sind, wie Attention Sinks und Sliding Window Attention, in Private LLM verfügbar sind, anderswo jedoch nicht[1]. Dies bedeutet auch, dass unsere App auf derselben Hardware erheblich schneller ist als die Konkurrenz (YouTube-Videos zum Leistungsvergleich).

Schließlich sind wir Maschinenlern-Ingenieure und stimmen Quantisierung und Parameter in jedem Modell sorgfältig ab, um die Textgenerierungsqualität zu maximieren. Beispielsweise quantisieren wir die Einbettungen und Gate-Layers in Mixtral-Modellen nicht, da deren Quantisierung die Perplexität des Modells stark beeinträchtigt (ganz zu schweigen davon, dass unsere Konkurrenz alles naiv quantisiert). Ebenso beeinträchtigt bei den Gemma-Modellen die Quantisierung der gewichteten Einbettungen die Perplexität des Modells, weshalb wir dies nicht tun (während unsere Konkurrenten dies tun). Auch beim Microsoft Phi 4-Modell halten wir selektiv einige kritische Schichten unquantisiert (dynamische Quantisierung), um eine optimale Textgenerierungsqualität beizubehalten.

Private LLM priorisiert Genauigkeit und Recheneffizienz, ohne Datenschutz und Offline-Funktionalität zu beeinträchtigen, und gibt iOS- und macOS-Nutzern damit eine private On-Device-KI, die vollständig auf ihrer eigenen Hardware läuft.

Private LLM ist ein eigenfinanziertes Produkt, das von zwei Entwicklern ohne VC-Finanzierung erstellt wurde. Unsere Wettbewerber wie Ollama und LM Studio sind VC-finanzierte Unternehmen. Einige von ihnen haben in ihren Nutzungsbedingungen versteckte, belastende Klauseln, die die Nutzung für kommerzielle oder produktive Zwecke untersagen. Wir setzen keine Einschränkungen darauf, wie unsere Nutzer unsere App verwenden. Unser eigenfinanziertes Einmalzahlungsmodell ist nicht perfekt und hat Nachteile, wie zum Beispiel die Unmöglichkeit, Anzeigen, Influencer-Posts und goldene Häkchen auf Twitter zu kaufen. Der Vorteil davon ist jedoch, dass wir keinen Druck von VCs haben, unsere Nutzer aggressiv zu überwachen und zu monetarisieren; und wir können uns zu 100 % darauf konzentrieren, das Produkt für unsere Nutzer und uns zu entwickeln.

Bei Private LLM legen wir Wert auf Qualität und Unabhängigkeit. Um eine überlegene Leistung zu erzielen, quantisieren wir jedes Modell sorgfältig mit fortschrittlichen Techniken wie OmniQuant und GPTQ. Dieser Prozess erfordert erhebliche Ressourcen, einschließlich der Anmietung von GPUs, die alles andere als kostenlos sind. Alle unsere Wettbewerber verwenden RTN-Quantisierung (Round to Nearest), die in Bezug auf Ressourcen sehr günstig ist, aber qualitativ minderwertige quantisierte Modelle liefert. Als kleines, unabhängiges Unternehmen investieren wir viel Zeit und Ressourcen in die Quantisierung von Modellen mit SOTA-Quantisierungsalgorithmen, weil sich dies in Bezug auf Qualität lohnt. Das Ergebnis ist eine unvergleichliche KI-Erfahrung, die sich in Genauigkeit und Geschwindigkeit auszeichnet.

Privatsphäre ist ein weiterer Kernwert von Private LLM. Wir verarbeiten alles lokal auf Ihrem Gerät, ohne jegliche Datenerfassung oder -verfolgung. Eine solche Aussage zu machen, ist nicht einfach, insbesondere wenn man VC-finanziert ist und unter Druck steht, skalierbare Einnahmequellen zu finden. Durch unsere Unabhängigkeit stellen wir sicher, dass Ihre Daten stets privat bleiben.

Kostenlose Produkte mögen verlockend erscheinen, besonders wenn sie aggressiv von Influencern beworben werden, aber in Wirklichkeit liefern sie oft minderwertige Textgenerierungsqualität. Private LLM verfolgt einen anderen Ansatz und bietet eine Textgenerierung, die in Kohärenz, Genauigkeit und Kontext weit voraus ist. Durch die Erhebung einer einmaligen Gebühr bietet Private LLM eine KI-Lösung, die benutzerorientiert, datenschutzorientiert und qualitativ hochwertig ist und die unsere Wettbewerber nicht annähernd erreichen können.

Private LLM arbeitet offline und verwendet ein Decoder-Only Transformer-Modell (auch bekannt als GPT), mit dem Sie zwanglos kommunizieren können. Es kann Ihnen auch dabei helfen, Absätze zu zusammenzufassen, kreative Ideen zu generieren und Informationen zu einer Vielzahl von Themen zu liefern.

Private LLM ist eine führende lokale KI-App für Apple Geräte. Sie führt Open-Source-Modelle vollständig auf dem Gerät aus, ohne Konto, ohne Cloud und ohne Abo. Wähle das Modell passend zu deiner Hardware: Die meisten iPhones führen Llama 3.2 3B oder Qwen3 4B aus, iPhone 15 Pro und neuer führen Llama 3.1 8B aus, und ein Apple Silicon Mac mit 48 GB führt Llama 3.3 70B aus. Private LLM liefert GPTQ- und OmniQuant-Quantisierung, die pro Modell abgestimmt ist, sodass die 3-Bit-OmniQuant-Modelle auf derselben Hardware mit 4-Bit-RTN-Modellen aus llama.cpp-basierten Apps mithalten. Ein Kauf gilt für iPhone, iPad und Mac, mit Familienfreigabe für bis zu sechs Personen.

Das Ausführen großer Sprachmodelle (LLMs) auf einem Gerät ist ein speicherintensiver Prozess, da hierfür erheblicher RAM erforderlich ist, um Modelle effizient zu laden und auszuführen. Zudem ist Private LLM in der Regel nicht die einzige App, die auf Ihrem iPhone, iPad oder Mac läuft. Andere Apps, insbesondere speicherintensive, können um Systemressourcen konkurrieren und die Leistung von Private LLM beeinträchtigen.

Auf iPhones können ältere Geräte wie das iPhone SE 2. Generation (3 GB RAM) kleinere Modelle wie Llama 3.2 1B und Qwen 2.5 0.5B/1.5B ausführen, jedoch kann das Erlebnis aufgrund von Hardware-Einschränkungen begrenzt sein. Ab dem iPhone 12 (4 GB RAM) verbessert sich die Leistung, sodass auch etwas größere Modelle mit 3B unterstützt werden. Für das beste Erlebnis empfehlen wir die Verwendung des iPhone 15 Pro oder neuer, die mit 8 GB RAM ausgestattet sind. Diese Geräte können problemlos größere Modelle wie Llama 3.1 8B oder Qwen 2.5 7B ausführen. Obwohl Private LLM technisch auch auf älteren Geräten als dem iPhone 12 installiert werden kann, empfehlen wir den Kauf der App für solche Geräte nicht mehr, da Benutzerfeedback gezeigt hat, dass veraltete Hardware das Erlebnis erheblich einschränkt. Benutzer mit älteren Geräten können die App weiterhin kaufen, aber Support und optimale Leistung sind nicht garantiert.

Auf iPads ist die Lage ähnlich. Geräte mit mindestens 4 GB RAM können Modelle ausführen, die mit denen auf iPhones der Mittelklasse vergleichbar sind. Für die besten Ergebnisse ist das Spitzenmodell iPad Pro mit 16 GB RAM ideal, da es auch größere Modelle wie Qwen 2.5 14B oder Google Gemma 2 9B unterstützt. Dieser Spielraum macht das iPad Pro zu einer starken Wahl für Private LLM.

Auf Macs hat der Wechsel zu Apple Silicon neue Maßstäbe für lokale KI-Leistung gesetzt. Private LLM lässt sich zwar auf Intel Macs installieren, wir empfehlen aber ausdrücklich Macs mit Apple Silicon für eine deutlich flüssigere Nutzung. Auf Apple Silicon Macs mit 8 GB RAM kannst du Modelle ausführen, die mit denen auf den neuesten iPhones vergleichbar sind, etwa Llama 3.1 8B und Qwen 2.5 7B. Macs mit 16 GB RAM können, ähnlich wie das Spitzenmodell iPad Pro, auch größere Modelle wie Qwen 2.5 14B oder Google Gemma 2 9B verarbeiten. Mit 32 GB RAM können Macs größere Modelle wie Phi 4 und Qwen 2.5 32B ausführen, und für die beste Erfahrung liefern Apple Silicon Macs mit mindestens 48 GB RAM optimale Leistung mit Modellen wie Llama 3.3 70B.

Private LLM wurde entwickelt, um die Leistungsfähigkeit lokaler KI auf eine Vielzahl von Apple-Geräten zu bringen. Für die beste Leistung empfehlen wir jedoch dringend Geräte mit mehr Speicher. Wenn Sie sich nicht sicher sind, ob Ihr Gerät kompatibel ist, oder weitere Unterstützung benötigen, treten Sie unserer Discord-Community bei, um sich mit uns und anderen Benutzern zu verbinden, die Ihnen helfen können!

Private LLM bietet eine Reihe von Modellen für unterschiedliche Sprachanforderungen. Unsere Auswahl umfasst die Familien Llama 3, Qwen 2.5 und Gemma 3, die alle mehrere Sprachen unterstützen. Llama 3 beherrscht Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai; Qwen 2.5 unterstützt mehr als 29 Sprachen, darunter Chinesisch, Englisch, Französisch, Spanisch, Portugiesisch, Deutsch, Italienisch, Russisch, Japanisch, Koreanisch, Vietnamesisch, Thai und Arabisch; und Gemma 3 unterstützt weltweit mehr als 140 Sprachen. Für Nutzer, die Modelle für bestimmte nicht-englische Sprachen suchen, bietet Private LLM Optionen wie SauerkrautLM Gemma 2 2B IT für Deutsch, DictaLM 2.0 Instruct für Hebräisch, RakutenAI 7B Chat für Japanisch sowie Yi 6B Chat oder Yi 34B Chat für Chinesisch. Diese vielfältige Auswahl sorgt dafür, dass Nutzer das Modell wählen können, das am besten zu ihren Sprachanforderungen passt.

Private LLM gewährleistet eine überlegene Textgenerierungsqualität und Leistung durch den Einsatz fortschrittlicher Quantisierungsstrategien wie OmniQuant und GPTQ, die zahlreiche Stunden sorgfältiger Quantisierung jedes Modells auf GPUs erfordern. Dieser sorgfältige Prozess bewahrt die Gewichtsverteilung des Modells effektiver, was zu schnellerer Inferenz, verbesserter Modelltreue und qualitativ hochwertigerer Textgenerierung führt. Unsere 3-Bit-OmniQuant-Modelle übertreffen oder entsprechen der Leistung von 4-Bit-RTN-quantisierten Modellen, die von anderen Plattformen verwendet werden. Im Gegensatz zu Apps, die die auf Hugging Face verfügbaren GGUF-Dateien unterstützen, quantisiert Private LLM Modelle intern, um sicherzustellen, dass sie in Bezug auf Geschwindigkeit, Genauigkeit und Qualität optimiert sind. Dieser rigorose Ansatz ist einer der Gründe, warum Private LLM eine kostenpflichtige App ist und eine weitaus bessere Qualität bietet als langsamere und weniger leistungsfähige lokale KI-Chat-Apps.

Wir fügen regelmäßig neue Modelle zu Private LLM hinzu, basierend auf dem Feedback unserer Nutzer, wie in unseren Release Notes beschrieben. Um ein bestimmtes Modell vorzuschlagen, treten Sie unserer Discord-Community bei und teilen Sie Ihren Vorschlag im #suggestions-Kanal. Wir prüfen alle Vorschläge und priorisieren beliebte für zukünftige Updates.

Private LLM ist eine vollständig sandboxed macOS-App, was bedeutet, dass Modelle im Container der App gespeichert werden unter: ~/Library/Containers/ie.numen.personalgpt/Data/Library/Application Support/ie.numen.personalgpt/models. Unter macOS Sequoia und später können Sie die Fähigkeit des Systems nutzen, große Apps auf ein externes Laufwerk zu verschieben. Das Verschieben der App verschiebt auch die darin gespeicherten Modelle. Dies ist die empfohlene Methode, um Speicherplatz freizugeben, wenn der interne Speicher Ihres Macs knapp wird.

Private LLM unterstützt derzeit nicht das Lesen von Dokumenten oder Dateien, eine Funktion, die oft als Retrieval-Augmented Generation (RAG) bezeichnet wird. Diese Funktionalität beinhaltet die Verwendung externer Dokumente zur Bereicherung der Antworten des Modells, aber ihre Effektivität hängt stark von der Kontextlänge ab – der maximalen Menge an Text, die das Modell in einer einzelnen Eingabe verarbeiten kann. Eine längere Kontextlänge ermöglicht detailliertere und genauere Antworten, ist jedoch besonders auf lokalen Geräten rechnerisch anspruchsvoll. Wettbewerber wie Ollama unterstützen typischerweise eine Standard-Kontaktlänge von 2k Token, während LM Studio standardmäßig eine Kontextlänge von 1500 Token bietet. Im Vergleich dazu bietet Private LLM 8K Token auf iPhone und iPad und beeindruckende 32K Token auf Macs, was es zu einer der leistungsfähigsten lokalen KI-Lösungen in dieser Hinsicht macht. Dennoch stehen alle aktuellen lokalen KI-Implementierungen, einschließlich Private LLM, vor Herausforderungen mit Halluzinationen, wenn lange Textinhalte verarbeitet werden. Diese Einschränkung ergibt sich daraus, dass Modelle bei umfangreichen oder unvollständigen Eingaben falsche oder erfundene Informationen generieren können. Private LLMs OmniQuant-Quantisierung reduziert Halluzinationen erheblich im Vergleich zur RTN-Quantisierung, die von unserer Konkurrenz verwendet wird, beseitigt sie jedoch nicht vollständig. Während wir planen, in Zukunft Dokumentenlesefunktionen einzuführen, bieten serverbasierte Lösungen derzeit die zuverlässigsten Ergebnisse für RAG, da sie besser ausgestattet sind, größere Kontextlängen und Rechenanforderungen zu bewältigen.

Absolut nicht. Private LLM ist auf den Schutz deiner Privatsphäre ausgelegt und arbeitet für seine Funktionen ausschließlich offline, ohne Internetzugang oder Zugriff auf Echtzeitdaten. Eine Internetverbindung ist nur erforderlich, wenn du Updates oder neue Modelle herunterlädst. Dabei werden keine personenbezogenen Daten erfasst, übertragen oder ausgetauscht. Unsere Datenschutzphilosophie orientiert sich an den strengen Datenschutz- und Sicherheitsrichtlinien von Apple, und unsere App hält hohe Standards beim Schutz deiner Daten ein. Es kann vorkommen, dass Nutzer Private LLM fragen, ob es auf das Internet zugreifen kann, was zu möglichen Modell-Halluzinationen führen kann, die das nahelegen. Diese Antworten sollten jedoch nicht als Fakten verstanden werden. Wenn Nutzer die Datenschutzgarantien von Private LLM unabhängig überprüfen möchten, empfehlen wir Netzwerk-Monitoring-Tools wie Little Snitch. So kannst du selbst sehen, dass unsere App strenge Datenschutzkontrollen einhält. Für alle, die Zugriff auf Echtzeitinformationen möchten, arbeitet Private LLM mit Apple Shortcuts. Damit kannst du Daten aus RSS-Feeds, Webseiten und sogar Apps wie Calendar, Reminders, Notes und weiteren abrufen. Diese Funktion bietet einen kreativen Weg, aktuelle Daten in deine Interaktionen mit Private LLM einzubinden, während der offline ausgerichtete Datenschutzansatz erhalten bleibt. Wenn du Fragen hast oder weitere Erläuterungen brauchst, kontaktiere uns gern.

Ja. Bei einem lokalen LLM werden deine Prompts und Unterhaltungen auf deinem Gerät verarbeitet und nie an einen Server gesendet. Dadurch gibt es nichts, was unterwegs abgefangen werden kann, und keinen Chatverlauf in der Cloud eines anderen Anbieters. Private LLM erfordert kein Konto, sammelt keine personenbezogenen Daten und läuft in Apples App Store Sandbox. Bei sensibler Arbeit, etwa rechtlichen, medizinischen oder vertraulichen geschäftlichen Fragen, vermeidet die Inferenz auf dem Gerät die Risiken, die mit Cloud-KI einhergehen. Lokale LLMs können trotzdem Fehler machen oder halluzinieren, daher solltest du wichtige Antworten prüfen.

Private LLM kann lange Absätze von Text in Sekunden analysieren und zusammenfassen. Fügen Sie einfach den Inhalt ein, und die KI wird eine prägnante Zusammenfassung generieren, alles offline. Sie könnten Private LLM auch für Umformulierungen und Paraphrasierungen mit Aufforderungen wie folgt nutzen:

• Gib mir ein TLDR dazu: [Inhalt hier einfügen]
• Du bist ein erfahrener Texter. Bitte formuliere folgendes in deinen eigenen Worten um: [Inhalt einfügen]
• Paraphrasiere den folgenden Text so, dass er origineller klingt: [Inhalt einfügen]

Absolut! Private LLM kann Vorschläge und Ideen generieren und ist damit nützlich für Brainstorming und Problemlösung. Hier sind einige Beispiel-Prompts fürs Brainstorming, die du Private LLM stellen kannst. Probiere gern auch eigene Prompts aus.

• Kannst du mir einige mögliche Themen für einen Science-Fiction-Roman geben?
• Ich plane, ein veganes Fast-Food-Restaurant zu eröffnen. Was sind die Schwächen dieser Idee?
• Ich leite ein zweijähriges Softwareentwicklungs-Startup mit einem Produkt, das PMF hat, und plane, ein neues Softwareprodukt in einem sehr unterschiedlichen Markt einzuführen. Analysiere dies mit der Methode der sechs Hüte.
• Nutze das Golden Circle Modell, um eine starke Marke für ein Beratungsunternehmen im Bereich Management zu schaffen.

Sampling-Temperatur und Top-P sind universelle Inferenzparameter für alle autoregressiven kausalen Decoder-Only Transformer-Modelle (auch bekannt als GPT) und sind nicht spezifisch für Private LLM. Die App hat sie auf vernünftige Standardwerte gesetzt (0.7 für Sampling-Temperatur und 0.95 für Top-p), aber Sie können sie immer anpassen und sehen, was passiert. Bitte beachten Sie, dass Änderungen an diesen Parametern erst nach einem Neustart der App wirksam werden.

Diese Parameter steuern den Kompromiss zwischen deterministischer Textgenerierung und Kreativität. Niedrige Werte führen zu langweiligen, aber kohärenten Antworten, höhere Werte zu kreativen, aber manchmal inkohärenten Antworten.

Ja. Private LLM hat zwei App-Intents, die Sie mit Siri und der Shortcuts-App verwenden können. Bitte suchen Sie in der Shortcuts-App nach Private LLM. Zusätzlich unterstützt Private LLM auch die x-callback-url Spezifikation, die auch von Shortcuts und vielen anderen Apps unterstützt wird. Hier ist ein Beispiel-Shortcut mit der x-callback-url-Funktionalität in Private LLM.

Der Funktionsunterschied zwischen iOS und macOS bei der Hintergrundverarbeitung ergibt sich vor allem aus Apples Richtlinien zur Hardwarenutzung. Unter iOS schränkt Apple die Ausführung von Aufgaben im Hintergrund ein, die intensive GPU-Nutzung erfordern. Diese Einschränkung dient dazu, die Akkulaufzeit zu schonen und die Systemleistung stabil zu halten. Nach Apples Richtlinien werden Apps, die versuchen, einen Metal-Kernel im Hintergrund auszuführen, sofort beendet, um unautorisierte Ressourcennutzung zu verhindern. Bei Private LLM können wir unter macOS Vorgänge im Hintergrund mit der GPU ausführen, während iOS-Versionen auf CPU-Verarbeitung beschränkt sind, wenn die App nicht im Vordergrund ist. KI-gesteuerte Aufgaben von Private LLM auf der CPU auszuführen ist technisch möglich, wäre aber deutlich langsamer - mehr als 10x langsamer als GPU-Verarbeitung. Diese CPU-gebundene Geschwindigkeit ist nicht die Erfahrung, die wir ausliefern möchten. Wir hoffen, dass künftige iOS-Updates mehr Flexibilität dafür bieten, wie Hintergrundprozesse Systemressourcen nutzen können, einschließlich möglichem GPU-Zugriff für Apps wie Private LLM. Bis dahin optimieren wir unsere iOS-App weiter innerhalb der aktuellen Grenzen, damit du die bestmögliche Leistung erhältst, ohne die Gesundheit deines Geräts oder die Effizienz deiner Apps zu beeinträchtigen. Weitere technische Details findest du in Apples offizieller Dokumentation zur Vorbereitung deiner Metal-App für die Ausführung im Hintergrund: Apple Developer Documentation.

iOS 26 führt eine neue Berechtigung für den GPU-Zugriff im Hintergrund ein (com.apple.developer.background-tasks.continued-processing.gpu). Sie wird jedoch erst nach einer direkten Nutzerinteraktion (Tippen, Wischen usw.) innerhalb der App aktiviert und ermöglicht daher nicht, lokale LLM's vollständig im Hintergrund über Kurzbefehle auszuführen.

Nach einem Einmalkauf können Sie Private LLM auf all Ihren Apple-Geräten herunterladen und verwenden. Die App unterstützt Family Sharing, sodass Sie sie mit Ihren Familienmitgliedern teilen können.

Es tut uns leid zu hören, dass Sie eine Rückerstattung in Betracht ziehen. Sie können eine Rückerstattung über den Apple App Store beantragen. Navigieren Sie einfach zu Ihrem Apple-Kontokaufverlauf, finden Sie Private LLM und klicken Sie auf 'Ein Problem melden', um den Rückerstattungsprozess zu starten. Wir würden auch gerne von Ihnen hören, wie wir uns verbessern können. Bitte kontaktieren Sie uns mit Ihrem Feedback.

Wenn Sie Schwierigkeiten beim Herunterladen von Modellen in Private LLM haben, liegt dies oft an vorübergehenden Verbindungsproblemen mit Hugging Face, wo unsere Modelle gehostet werden. Sie können schnell die Hugging Face-Statusseite überprüfen, um festzustellen, ob es derzeit Ausfälle gibt. In einigen Fällen können Netzwerkeinschränkungen durch Firmen-, Schul- oder nationale Firewalls den Zugriff auf Hugging Face begrenzen, was Downloads beeinträchtigen kann. Wenn Sie sich in einem solchen Netzwerk befinden, empfehlen wir den Wechsel zu einem Heim-WLAN, mobilen Hotspot oder die Nutzung eines VPNs, um diese Einschränkungen zu umgehen.

Für Benutzer in China oder Hongkong wechselt Private LLM automatisch zu hf-mirror.com, um die Zuverlässigkeit der Downloads zu verbessern, wenn die Geräteeinstellungen auf diese Regionen festgelegt sind. Dies sorgt für einen reibungsloseren Zugriff ohne zusätzliche Konfiguration Ihrerseits.

Wenn Sie nach Überprüfung Ihrer Verbindung weiterhin Probleme haben, versuchen Sie, die App oder Ihr Gerät neu zu starten. Bei anhaltenden Problemen besuchen Sie unsere Discord-Community und teilen Sie die Details im Support-Kanal – wir sind immer da, um bei der Fehlerbehebung zu helfen!

Beim Versuch, Modelle in Private LLM zu laden, kann gelegentlich die Fehlermeldung "Rückgriff auf integriertes Modell aufgrund eines Absturzes beim Laden des Modells" erscheinen. Dies tritt typischerweise auf, wenn Ihr Gerät nicht über genügend verfügbaren Speicher verfügt, um das ausgewählte Modell zu laden. Diese Abstürze können auftreten, weil Ihr Gerät nur begrenzten verfügbaren RAM hat, andere Apps im Hintergrund viel Speicher verwenden oder mehrere ressourcenintensive Prozesse gleichzeitig laufen. Um dieses Problem zu lösen, versuchen Sie zunächst, speicherintensive Hintergrund-Apps zu schließen. Wenn das Problem nach dem Neustart von Private LLM weiterhin besteht, können Sie auf ein kleineres Modell umschalten, Ihr Gerät neu starten, um den Speicher zu leeren, oder überprüfen, ob Ihr Gerät die empfohlenen RAM-Anforderungen für das Modell erfüllt. Wenn Sie nach diesen Lösungen weiterhin Abstürze erleben, sollten Sie ein kleineres Modell verwenden, das besser zu den Fähigkeiten Ihres Geräts passt.

Dies könnte daran liegen, dass das Gerät wenig Speicher hat oder wenn die Aufgabe, die Private LLM gegeben wurde, besonders komplex ist. In solchen Fällen sollten Sie erwägen, speicherintensive Apps, die möglicherweise im Hintergrund laufen, zu schließen und versuchen, die Anfrage in kleinere, handhabbarere Aufgaben für das LLM zur Verarbeitung zu zerlegen. Im letzteren Fall funktioniert auch einfach mit „Fortfahren“, „Weiter“ oder „Erzähl mir“ als Antwort.

Ja, Private LLM ist jetzt als frühe Beta-Version für Android verfügbar! Während unser Hauptfokus weiterhin darauf liegt, die beste KI-Erfahrung für Apple-Geräte zu bieten, erweitern wir unser Angebot auf Android, um mehr Nutzer anzusprechen, die Wert auf Datenschutz und Offline-KI legen. Die Android-Version ist derzeit als direkter APK-Download verfügbar (noch nicht im Google Play Store) und enthält viele der Kernfunktionen unserer iOS/macOS-Versionen. Da es sich um eine frühe Beta-Version handelt, können einige Einschränkungen oder Stabilitätsprobleme im Vergleich zu unseren ausgereifteren Apple-Versionen auftreten. Wir laden dich herzlich ein, unserer Discord-Community beizutreten, um Feedback zu geben, Probleme zu melden und uns zu helfen, das Android-Erlebnis zu verbessern. Dein Input ist in dieser Phase äußerst wertvoll, während wir auf eine vollständige Veröffentlichung im Google Play Store hinarbeiten. Du kannst die APK von unserer Website herunterladen.