Häufig Gestellte Fragen
Private LLM ist Ihr privater AI-Chatbot, entworfen für Privatsphäre, Bequemlichkeit und Kreativität. Er funktioniert vollständig offline auf Ihrem iPhone, iPad und Mac, sodass Ihre Daten sicher und vertraulich bleiben. Private LLM ist ein Einmalkauf im App Store, der Ihnen unbegrenzten Zugang ohne Abonnementgebühren ermöglicht. nb: Wir hassen Abonnements und wir sind keine Heuchler, die unsere Nutzer dem aussetzen, was wir hassen.
Private LLM arbeitet offline und verwendet ein Decoder-Only Transformer-Modell (auch bekannt als GPT), mit dem Sie zwanglos kommunizieren können. Es kann Ihnen auch dabei helfen, Absätze zu zusammenzufassen, kreative Ideen zu generieren und Informationen zu einer Vielzahl von Themen zu liefern.
Private LLM bietet eine Vielzahl von Modellen, um unterschiedliche Sprachbedürfnisse zu erfüllen. Unsere Auswahl umfasst die Llama-3- und Qwen-2.5-Familien, die beide mehrere Sprachen unterstützen. Llama 3 beherrscht Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch. Qwen 2.5 erweitert die Unterstützung auf über 29 Sprachen, darunter Chinesisch, Englisch, Französisch, Spanisch, Portugiesisch, Deutsch, Italienisch, Russisch, Japanisch, Koreanisch, Vietnamesisch, Thailändisch und Arabisch. Für Benutzer, die Modelle für spezifische nicht-englische Sprachen suchen, bietet Private LLM Optionen wie SauerkrautLM Gemma-2 2B IT für Deutsch, DictaLM 2.0 Instruct für Hebräisch, RakutenAI 7B Chat für Japanisch und Yi 6B Chat oder Yi 34B Chat für Chinesisch. Diese vielfältige Auswahl stellt sicher, dass Benutzer das Modell wählen können, das am besten zu ihren Sprachanforderungen passt.
Private LLM gewährleistet eine überlegene Textgenerierungsqualität und Leistung durch den Einsatz fortschrittlicher Quantisierungsstrategien wie OmniQuant und GPTQ, die zahlreiche Stunden sorgfältiger Quantisierung jedes Modells auf GPUs erfordern. Dieser sorgfältige Prozess bewahrt die Gewichtsverteilung des Modells effektiver, was zu schnellerer Inferenz, verbesserter Modelltreue und qualitativ hochwertigerer Textgenerierung führt. Unsere 3-Bit-OmniQuant-Modelle übertreffen oder entsprechen der Leistung von 4-Bit-RTN-quantisierten Modellen, die von anderen Plattformen verwendet werden. Im Gegensatz zu Apps, die die auf Hugging Face verfügbaren GGUF-Dateien unterstützen, quantisiert Private LLM Modelle intern, um sicherzustellen, dass sie in Bezug auf Geschwindigkeit, Genauigkeit und Qualität optimiert sind. Dieser rigorose Ansatz ist einer der Gründe, warum Private LLM eine kostenpflichtige App ist und eine weitaus bessere Qualität bietet als langsamere und weniger leistungsfähige lokale KI-Chat-Apps.
Wir fügen regelmäßig neue Modelle zu Private LLM hinzu, basierend auf dem Feedback unserer Nutzer, wie in unseren Release Notes beschrieben. Um ein bestimmtes Modell vorzuschlagen, treten Sie unserer Discord-Community bei und teilen Sie Ihren Vorschlag im #suggestions-Kanal. Wir prüfen alle Vorschläge und priorisieren beliebte für zukünftige Updates.
Absolut nicht. Private LLM ist darauf ausgerichtet, Ihre Privatsphäre zu gewährleisten und funktioniert ausschließlich offline, ohne jeglichen Internetzugang für seine Funktionen oder den Zugriff auf Echtzeitdaten. Eine Internetverbindung wird nur benötigt, wenn Sie sich entscheiden, Updates oder neue Modelle herunterzuladen, während dieser Zeit werden keine persönlichen Daten gesammelt oder übertragen. Unsere Datenschutzphilosophie steht im Einklang mit den strengen Datenschutz- und Sicherheitsrichtlinien von Apple, und unsere App hält die höchsten Standards des Datenschutzes ein. Es ist erwähnenswert, dass Nutzer gelegentlich fragen könnten, ob Private LLM auf das Internet zugreifen kann, was zu potenziellen Modell-Halluzinationen führen könnte, die suggerieren, dass dies möglich ist. Diese Antworten sollten jedoch nicht als Fakten angesehen werden. Wenn Benutzer die Datenschutzgarantien von Private LLM unabhängig überprüfen möchten, empfehlen wir die Verwendung von Netzwerküberwachungstools wie Little Snitch. So können Sie selbst sehen, dass unsere App strenge Datenschutzkontrollen einhält. Für diejenigen, die an Echtzeitinformationen interessiert sind, integriert sich Private LLM nahtlos in Apple Shortcuts, was es Ihnen ermöglicht, Daten aus RSS-Feeds, Webseiten und sogar Apps wie Kalender, Erinnerungen, Notizen und mehr zu ziehen. Diese Funktion bietet eine kreative Lösung, um aktuelle Daten in Ihre Interaktionen mit Private LLM einzubeziehen, während das Offline- und Datenschutz-Ethos beibehalten wird. Wenn Sie Fragen haben oder weitere Klärungen benötigen, zögern Sie bitte nicht, uns zu kontaktieren.
Erstens hebt sich Private LLM von anderen lokalen KI-Lösungen durch seine fortgeschrittene Modellquantisierungstechnik namens OmniQuant ab. Im Gegensatz zur naiven Runden-zur-Nächsten (RTN) Quantisierung, die von anderen konkurrierenden Apps verwendet wird, ist die OmniQuant Quantisierung eine auf Optimierung basierende Methode, die lernbare Gewichtsklammern verwendet. Diese Methode ermöglicht eine präzisere Kontrolle über den Quantisierungsbereich und erhält effektiv die Integrität der ursprünglichen Gewichtsverteilung. Als Ergebnis erreicht Private LLM eine überlegene Modellleistung und Genauigkeit, die fast der Leistung eines ungequantisierten 16-Bit-Floating-Point (fp16) Modells entspricht, aber mit deutlich reduzierten Rechenanforderungen zur Inferenzzeit.
Obwohl der Prozess der Quantisierung von Modellen mit OmniQuant rechenintensiv ist, ist es eine lohnende Investition. Dieser fortgeschrittene Ansatz stellt sicher, dass die Perplexität (ein Maß für die Textgenerierungsqualität des Modells) des quantisierten Modells viel näher an der des ursprünglichen fp16-Modells bleibt, als es mit der naiven RTN Quantisierung möglich wäre. Dies stellt sicher, dass Benutzer von Private LLM ein nahtloses, effizientes und qualitativ hochwertiges KI-Erlebnis genießen, was uns von anderen ähnlichen Anwendungen abhebt.
Zweitens basiert Private LLM im Gegensatz zu fast jeder anderen konkurrierenden Offline-LLM-App nicht auf llama.cpp. Das bedeutet, dass fortgeschrittene Funktionen, die in llama.cpp (und folglich in Apps, die es verwenden) nicht verfügbar sind, wie Aufmerksamkeitssenken und gleitende Fensteraufmerksamkeit in Mistral-Modellen, in Private LLM verfügbar sind, anderswo jedoch nicht. Das bedeutet auch, dass unsere App auf derselben Hardware deutlich schneller ist als die Konkurrenz (YouTube-Videos, die die Leistung vergleichen).
Schließlich sind wir Maschinenlerningenieure und stimmen die Quantisierung und Parameter in jedem Modell sorgfältig ab, um die Qualität der Textgenerierung zu maximieren. Beispielsweise quantisieren wir die Einbettungen und Gatterebenen in Mixtral-Modellen nicht, da deren Quantisierung die Perplexität des Modells negativ beeinflusst (ganz zu schweigen davon, dass unsere Konkurrenz naiv alles quantisiert). Ähnlich verhält es sich mit den Gemma-Modellen, bei denen die Quantisierung der gewichtsgebundenen Einbettungen die Perplexität des Modells schädigt, daher tun wir es nicht (während unsere Wettbewerber dies tun).
Indem wir Genauigkeit und Recheneffizienz priorisieren, ohne dabei Abstriche bei der Privatsphäre und Offline-Funktionalität zu machen, bietet Private LLM eine einzigartige Lösung für iOS- und macOS-Benutzer, die ein leistungsfähiges, privates und personalisiertes KI-Erlebnis suchen.
Nach einem Einmalkauf können Sie Private LLM auf all Ihren Apple-Geräten herunterladen und verwenden. Die App unterstützt Family Sharing, sodass Sie sie mit Ihren Familienmitgliedern teilen können.
Im Gegensatz zu fast allen anderen derzeit verfügbaren AI-Chatbot-Apps arbeitet Private LLM vollständig offline und verwendet keine externe API von Drittanbietern, was Ihre Datenschutz gewährleistet. Es gibt kein Tracking oder Datenteilen. Ihre Daten bleiben auf Ihrem Gerät. Außerdem ist es ein Einmalkauf, der Ihnen lebenslangen Zugang ohne Sorgen über wiederkehrende Abonnementgebühren gibt.
Private LLM kann lange Absätze von Text in Sekunden analysieren und zusammenfassen. Fügen Sie einfach den Inhalt ein, und die KI wird eine prägnante Zusammenfassung generieren, alles offline. Sie könnten Private LLM auch für Umformulierungen und Paraphrasierungen mit Aufforderungen wie folgt nutzen:
- Gib mir ein TLDR dazu: [Inhalt hier einfügen]
- Du bist ein erfahrener Texter. Bitte formuliere folgendes in deinen eigenen Worten um: [Inhalt einfügen]
- Paraphrasiere den folgenden Text so, dass er origineller klingt: [Inhalt einfügen]
Absolut! Private LLM kann aufschlussreiche Vorschläge und Ideen generieren, was es zu einem leistungsstarken Werkzeug für Brainstorming- und Problemlösungsaufgaben macht. Hier sind einige Beispiel-Brainstorming-Aufforderungen, die Sie Private LLM stellen können. Bitte experimentieren Sie frei und probieren Sie Ihre eigenen Aufforderungen aus.
- Kannst du mir einige mögliche Themen für einen Science-Fiction-Roman geben?
- Ich plane, ein veganes Fast-Food-Restaurant zu eröffnen. Was sind die Schwächen dieser Idee?
- Ich leite ein zweijähriges Softwareentwicklungs-Startup mit einem Produkt, das PMF hat, und plane, ein neues Softwareprodukt in einem sehr unterschiedlichen Markt einzuführen. Analysiere dies mit der Methode der sechs Hüte.
- Nutze das Golden Circle Modell, um eine starke Marke für ein Beratungsunternehmen im Bereich Management zu schaffen.
Sampling-Temperatur und Top-P sind universelle Inferenzparameter für alle autoregressiven kausalen Decoder-Only Transformer-Modelle (auch bekannt als GPT) und sind nicht spezifisch für Private LLM. Die App hat sie auf vernünftige Standardwerte gesetzt (0.7 für Sampling-Temperatur und 0.95 für Top-p), aber Sie können sie immer anpassen und sehen, was passiert. Bitte beachten Sie, dass Änderungen an diesen Parametern erst nach einem Neustart der App wirksam werden.
Diese Parameter steuern den Kompromiss zwischen deterministischer Textgenerierung und Kreativität. Niedrige Werte führen zu langweiligen, aber kohärenten Antworten, höhere Werte zu kreativen, aber manchmal inkohärenten Antworten.
Ja. Private LLM hat zwei App-Intents, die Sie mit Siri und der Shortcuts-App verwenden können. Bitte suchen Sie in der Shortcuts-App nach Private LLM. Zusätzlich unterstützt Private LLM auch die x-callback-url Spezifikation, die auch von Shortcuts und vielen anderen Apps unterstützt wird. Hier ist ein Beispiel-Shortcut mit der x-callback-url-Funktionalität in Private LLM.
Der Unterschied in der Funktionalität zwischen iOS und macOS im Hinblick auf Hintergrundverarbeitung liegt hauptsächlich an den Hardware-Nutzungsrichtlinien von Apple. Auf iOS beschränkt Apple die Hintergrundausführung von Aufgaben, die intensive GPU-Nutzung erfordern. Diese Einschränkung dient der Schonung der Akkulaufzeit und der Aufrechterhaltung der Systemleistung. Laut den Richtlinien von Apple werden Apps, die versuchen, einen Metal-Kernel im Hintergrund auszuführen, sofort beendet, um eine unbefugte Ressourcennutzung zu verhindern. Bei Private LLM können wir auf macOS Hintergrundoperationen mit der GPU durchführen, während die iOS-Versionen auf CPU-Verarbeitung beschränkt sind, wenn die App nicht im Vordergrund ist. Es ist zwar technisch möglich, die KI-gesteuerten Aufgaben von Private LLM auf der CPU auszuführen, aber dies wäre erheblich langsamer – mehr als zehnmal langsamer als mit GPU-Verarbeitung. Diese langsame Leistung würde nicht die nahtlose, effiziente Benutzererfahrung bieten, die wir anstreben. Wir hoffen, dass zukünftige iOS-Updates mehr Flexibilität hinsichtlich der Nutzung von Systemressourcen im Hintergrund ermöglichen, einschließlich eines potenziellen GPU-Zugriffs für Apps wie Private LLM. Bis dahin optimieren wir unsere iOS-App weiterhin innerhalb der aktuellen Einschränkungen, um Ihnen die bestmögliche Leistung zu bieten, ohne die Gesundheit Ihres Geräts oder die Effizienz Ihrer Anwendungen zu beeinträchtigen. Weitere technische Details finden Sie in der offiziellen Apple-Dokumentation zur Vorbereitung Ihrer Metal-App für die Hintergrundausführung: Apple Developer Documentation.
Dies könnte daran liegen, dass das Gerät wenig Speicher hat oder wenn die Aufgabe, die Private LLM gegeben wurde, besonders komplex ist. In solchen Fällen sollten Sie erwägen, speicherintensive Apps, die möglicherweise im Hintergrund laufen, zu schließen und versuchen, die Anfrage in kleinere, handhabbarere Aufgaben für das LLM zur Verarbeitung zu zerlegen. Im letzteren Fall funktioniert auch einfach mit „Fortfahren“, „Weiter“ oder „Erzähl mir“ als Antwort.
Es tut uns leid zu hören, dass Sie eine Rückerstattung in Betracht ziehen. Sie können eine Rückerstattung über den Apple App Store beantragen. Navigieren Sie einfach zu Ihrem Apple-Kontokaufverlauf, finden Sie Private LLM und klicken Sie auf 'Ein Problem melden', um den Rückerstattungsprozess zu starten. Wir würden auch gerne von Ihnen hören, wie wir uns verbessern können. Bitte kontaktieren Sie uns mit Ihrem Feedback.
Wir freuen uns, von Ihnen zu hören! Treten Sie unserer Discord-Community bei, um Ihre Gedanken zu teilen und Unterstützung von anderen Benutzern zu erhalten. Bevorzugen Sie ein privates Gespräch? Nutzen Sie das Kontaktformular auf unserer Website, um uns direkt eine E-Mail zu senden.