Häufig Gestellte Fragen

• Was ist Private LLM?

  Private LLM ist Ihr privater AI-Chatbot, entworfen für Privatsphäre, Bequemlichkeit und Kreativität. Er funktioniert vollständig offline auf Ihrem iPhone, iPad und Mac, sodass Ihre Daten sicher und vertraulich bleiben. Private LLM ist ein Einmalkauf im App Store, der Ihnen unbegrenzten Zugang ohne Abonnementgebühren ermöglicht. nb: Wir hassen Abonnements und wir sind keine Heuchler, die unsere Nutzer dem aussetzen, was wir hassen.

• Wie funktioniert Private LLM?

  Private LLM arbeitet offline und verwendet ein Decoder-Only Transformer-Modell (auch bekannt als GPT), mit dem Sie zwanglos kommunizieren können. Es kann Ihnen auch dabei helfen, Absätze zu zusammenzufassen, kreative Ideen zu generieren und Informationen zu einer Vielzahl von Themen zu liefern.

• Kann Private LLM auf das Internet oder Echtzeitdaten zugreifen?

  Absolut nicht. Private LLM ist darauf ausgerichtet, Ihre Privatsphäre zu gewährleisten und funktioniert ausschließlich offline, ohne jeglichen Internetzugang für seine Funktionen oder den Zugriff auf Echtzeitdaten. Eine Internetverbindung wird nur benötigt, wenn Sie sich entscheiden, Updates oder neue Modelle herunterzuladen, während dieser Zeit werden keine persönlichen Daten gesammelt oder übertragen. Unsere Datenschutzphilosophie steht im Einklang mit den strengen Datenschutz- und Sicherheitsrichtlinien von Apple, und unsere App hält die höchsten Standards des Datenschutzes ein. Es ist erwähnenswert, dass Nutzer gelegentlich fragen könnten, ob Private LLM auf das Internet zugreifen kann, was zu potenziellen Modell-Halluzinationen führen könnte, die suggerieren, dass dies möglich ist. Diese Antworten sollten jedoch nicht als Fakten angesehen werden. Wenn Benutzer die Datenschutzgarantien von Private LLM unabhängig überprüfen möchten, empfehlen wir die Verwendung von Netzwerküberwachungstools wie Little Snitch. So können Sie selbst sehen, dass unsere App strenge Datenschutzkontrollen einhält. Für diejenigen, die an Echtzeitinformationen interessiert sind, integriert sich Private LLM nahtlos in Apple Shortcuts, was es Ihnen ermöglicht, Daten aus RSS-Feeds, Webseiten und sogar Apps wie Kalender, Erinnerungen, Notizen und mehr zu ziehen. Diese Funktion bietet eine kreative Lösung, um aktuelle Daten in Ihre Interaktionen mit Private LLM einzubeziehen, während das Offline- und Datenschutz-Ethos beibehalten wird. Wenn Sie Fragen haben oder weitere Klärungen benötigen, zögern Sie bitte nicht, uns zu kontaktieren.

• Wie unterscheidet sich Private LLM von anderen lokalen KI-Lösungen wie Ollama, LM Studio und anderen, die auf llama.cpp basieren?

  Erstens hebt sich Private LLM von anderen lokalen KI-Lösungen durch seine fortgeschrittene Modellquantisierungstechnik namens OmniQuant ab. Im Gegensatz zur naiven Runden-zur-Nächsten (RTN) Quantisierung, die von anderen konkurrierenden Apps verwendet wird, ist die OmniQuant Quantisierung eine auf Optimierung basierende Methode, die lernbare Gewichtsklammern verwendet. Diese Methode ermöglicht eine präzisere Kontrolle über den Quantisierungsbereich und erhält effektiv die Integrität der ursprünglichen Gewichtsverteilung. Als Ergebnis erreicht Private LLM eine überlegene Modellleistung und Genauigkeit, die fast der Leistung eines ungequantisierten 16-Bit-Floating-Point (fp16) Modells entspricht, aber mit deutlich reduzierten Rechenanforderungen zur Inferenzzeit.

  Obwohl der Prozess der Quantisierung von Modellen mit OmniQuant rechenintensiv ist, ist es eine lohnende Investition. Dieser fortgeschrittene Ansatz stellt sicher, dass die Perplexität (ein Maß für die Textgenerierungsqualität des Modells) des quantisierten Modells viel näher an der des ursprünglichen fp16-Modells bleibt, als es mit der naiven RTN Quantisierung möglich wäre. Dies stellt sicher, dass Benutzer von Private LLM ein nahtloses, effizientes und qualitativ hochwertiges KI-Erlebnis genießen, was uns von anderen ähnlichen Anwendungen abhebt.

  Zweitens basiert Private LLM im Gegensatz zu fast jeder anderen konkurrierenden Offline-LLM-App nicht auf llama.cpp. Das bedeutet, dass fortgeschrittene Funktionen, die in llama.cpp (und folglich in Apps, die es verwenden) nicht verfügbar sind, wie Aufmerksamkeitssenken und gleitende Fensteraufmerksamkeit in Mistral-Modellen, in Private LLM verfügbar sind, anderswo jedoch nicht. Das bedeutet auch, dass unsere App auf derselben Hardware deutlich schneller ist als die Konkurrenz (YouTube-Videos, die die Leistung vergleichen).

  Schließlich sind wir Maschinenlerningenieure und stimmen die Quantisierung und Parameter in jedem Modell sorgfältig ab, um die Qualität der Textgenerierung zu maximieren. Beispielsweise quantisieren wir die Einbettungen und Gatterebenen in Mixtral-Modellen nicht, da deren Quantisierung die Perplexität des Modells negativ beeinflusst (ganz zu schweigen davon, dass unsere Konkurrenz naiv alles quantisiert). Ähnlich verhält es sich mit den Gemma-Modellen, bei denen die Quantisierung der gewichtsgebundenen Einbettungen die Perplexität des Modells schädigt, daher tun wir es nicht (während unsere Wettbewerber dies tun).

  Indem wir Genauigkeit und Recheneffizienz priorisieren, ohne dabei Abstriche bei der Privatsphäre und Offline-Funktionalität zu machen, bietet Private LLM eine einzigartige Lösung für iOS- und macOS-Benutzer, die ein leistungsfähiges, privates und personalisiertes KI-Erlebnis suchen.

• Wie kann ich auf allen meinen Apple-Geräten auf Private LLM zugreifen?

  Nach einem Einmalkauf können Sie Private LLM auf all Ihren Apple-Geräten herunterladen und verwenden. Die App unterstützt Family Sharing, sodass Sie sie mit Ihren Familienmitgliedern teilen können.

• Was macht Private LLM anders als andere AI-Chatbots?

  Im Gegensatz zu fast allen anderen derzeit verfügbaren AI-Chatbot-Apps arbeitet Private LLM vollständig offline und verwendet keine externe API von Drittanbietern, was Ihre Datenschutz gewährleistet. Es gibt kein Tracking oder Datenteilen. Ihre Daten bleiben auf Ihrem Gerät. Außerdem ist es ein Einmalkauf, der Ihnen lebenslangen Zugang ohne Sorgen über wiederkehrende Abonnementgebühren gibt.

• Wie kann ich Private LLM zur Zusammenfassung nutzen?

  Private LLM kann lange Absätze von Text in Sekunden analysieren und zusammenfassen. Fügen Sie einfach den Inhalt ein, und die KI wird eine prägnante Zusammenfassung generieren, alles offline. Sie könnten Private LLM auch für Umformulierungen und Paraphrasierungen mit Aufforderungen wie folgt nutzen:

  • Gib mir ein TLDR dazu: [Inhalt hier einfügen]
  • Du bist ein erfahrener Texter. Bitte formuliere folgendes in deinen eigenen Worten um: [Inhalt einfügen]
  • Paraphrasiere den folgenden Text so, dass er origineller klingt: [Inhalt einfügen]

• Kann Private LLM beim Brainstorming oder Problemlösen helfen?

  Absolut! Private LLM kann aufschlussreiche Vorschläge und Ideen generieren, was es zu einem leistungsstarken Werkzeug für Brainstorming- und Problemlösungsaufgaben macht. Hier sind einige Beispiel-Brainstorming-Aufforderungen, die Sie Private LLM stellen können. Bitte experimentieren Sie frei und probieren Sie Ihre eigenen Aufforderungen aus.

  • Kannst du mir einige mögliche Themen für einen Science-Fiction-Roman geben?
  • Ich plane, ein veganes Fast-Food-Restaurant zu eröffnen. Was sind die Schwächen dieser Idee?
  • Ich leite ein zweijähriges Softwareentwicklungs-Startup mit einem Produkt, das PMF hat, und plane, ein neues Softwareprodukt in einem sehr unterschiedlichen Markt einzuführen. Analysiere dies mit der Methode der sechs Hüte.
  • Nutze das Golden Circle Modell, um eine starke Marke für ein Beratungsunternehmen im Bereich Management zu schaffen.

• Was sind die Einstellungen für Sampling-Temperatur und Top-P und was bewirken sie?

  Sampling-Temperatur und Top-P sind universelle Inferenzparameter für alle autoregressiven kausalen Decoder-Only Transformer-Modelle (auch bekannt als GPT) und sind nicht spezifisch für Private LLM. Die App hat sie auf vernünftige Standardwerte gesetzt (0.7 für Sampling-Temperatur und 0.95 für Top-p), aber Sie können sie immer anpassen und sehen, was passiert. Bitte beachten Sie, dass Änderungen an diesen Parametern erst nach einem Neustart der App wirksam werden.

  Diese Parameter steuern den Kompromiss zwischen deterministischer Textgenerierung und Kreativität. Niedrige Werte führen zu langweiligen, aber kohärenten Antworten, höhere Werte zu kreativen, aber manchmal inkohärenten Antworten.

• Kann ich Private LLM mit der Shortcuts-App verwenden?

  Ja. Private LLM hat zwei App-Intents, die Sie mit Siri und der Shortcuts-App verwenden können. Bitte suchen Sie in der Shortcuts-App nach Private LLM. Zusätzlich unterstützt Private LLM auch die x-callback-url Spezifikation, die auch von Shortcuts und vielen anderen Apps unterstützt wird. Hier ist ein Beispiel-Shortcut mit der x-callback-url-Funktionalität in Private LLM.

• Warum hört Private LLM manchmal abrupt auf, Text zu generieren?

  Dies könnte daran liegen, dass das Gerät wenig Speicher hat oder wenn die Aufgabe, die Private LLM gegeben wurde, besonders komplex ist. In solchen Fällen sollten Sie erwägen, speicherintensive Apps, die möglicherweise im Hintergrund laufen, zu schließen und versuchen, die Anfrage in kleinere, handhabbarere Aufgaben für das LLM zur Verarbeitung zu zerlegen. Im letzteren Fall funktioniert auch einfach mit „Fortfahren“, „Weiter“ oder „Erzähl mir“ als Antwort.

• Wie kann ich eine Rückerstattung für Private LLM beantragen?

  Es tut uns leid zu hören, dass Sie eine Rückerstattung in Betracht ziehen. Sie können eine Rückerstattung über den Apple App Store beantragen. Navigieren Sie einfach zu Ihrem Apple-Kontokaufverlauf, finden Sie Private LLM und klicken Sie auf 'Ein Problem melden', um den Rückerstattungsprozess zu starten. Wir würden auch gerne von Ihnen hören, wie wir uns verbessern können. Bitte kontaktieren Sie uns mit Ihrem Feedback.