Questions Fréquemment Posées

• Qu'est-ce que Private LLM ?

  Private LLM est votre chatbot IA privé, conçu pour la confidentialité, la commodité et la créativité. Il fonctionne entièrement hors ligne sur votre iPhone, iPad et Mac, garantissant que vos données restent sécurisées et confidentielles. Private LLM est un achat unique sur l'App Store, vous offrant un accès illimité sans aucun frais d'abonnement. nb : Nous détestons les abonnements, et nous ne sommes pas hypocrites pour soumettre nos utilisateurs à ce que nous détestons.

• Comment fonctionne Private LLM ?

  Private LLM fonctionne hors ligne et utilise un modèle transformer uniquement décodeur (également connu sous le nom de GPT) avec lequel vous pouvez converser de manière informelle. Il peut également vous aider à résumer des paragraphes de texte, générer des idées créatives et fournir des informations sur une large gamme de sujets.

• Private LLM peut-il accéder à Internet ou à des données en temps réel ?

  Absolument pas. Private LLM se consacre à garantir votre vie privée, fonctionnant exclusivement hors ligne sans aucun accès à Internet pour ses fonctions ni accès à des données en temps réel. Une connexion Internet est uniquement requise lorsque vous choisissez de télécharger des mises à jour ou de nouveaux modèles, pendant lesquels aucune donnée personnelle n'est collectée, transmise, échangée ou recueillie. Notre philosophie de confidentialité est en accord avec les directives strictes de confidentialité et de sécurité d'Apple, et notre application respecte les normes les plus élevées de protection des données. Il convient de noter que, parfois, les utilisateurs peuvent se demander si Private LLM peut accéder à Internet, ce qui peut entraîner des hallucinations du modèle suggérant qu'il le peut. Cependant, ces réponses ne doivent pas être prises pour des faits. Si les utilisateurs souhaitent vérifier indépendamment les garanties de confidentialité de Private LLM, nous recommandons d'utiliser des outils de surveillance de réseau comme Little Snitch. De cette façon, vous pouvez vous-même constater que notre application maintient des contrôles stricts de confidentialité. Pour ceux intéressés par l'accès à des informations en temps réel, Private LLM s'intègre parfaitement avec Apple Shortcuts, vous permettant de récupérer des données à partir de flux RSS, de pages Web et même d'applications comme Calendrier, Rappels, Notes et plus encore. Cette fonctionnalité offre une solution créative pour intégrer des données actuelles dans vos interactions avec Private LLM, tout en maintenant son éthos de confidentialité hors ligne en premier lieu. Si vous avez des questions ou besoin de clarifications supplémentaires, n'hésitez pas à nous contacter.

• Comment Private LLM se différencie-t-elle d'autres solutions d'IA locales comme Ollama, LM Studio et d'autres basées sur llama.cpp ?

  Premièrement, Private LLM se distingue des autres solutions d'IA locales grâce à sa technique avancée de quantification des modèles appelée OmniQuant. Contrairement à la quantification naïve Arrondir-au-plus-proche (RTN) utilisée par d'autres applications concurrentes, la quantification OmniQuant est une méthode basée sur l'optimisation qui utilise un rognage de poids apprenable. Cette méthode permet un contrôle plus précis sur la plage de quantification, préservant ainsi l'intégrité de la distribution des poids originale. En conséquence, Private LLM atteint une performance et une précision de modèle supérieures, équivalant presque à la performance d'un modèle en virgule flottante 16 bits non quantifié (fp16), mais avec des exigences computationnelles considérablement réduites au moment de l'inférence.

  Bien que le processus de quantification des modèles avec OmniQuant soit intensif en calcul, c'est un investissement rentable. Cette approche avancée garantit que la perplexité (une mesure de la qualité de génération de texte du modèle) du modèle quantifié reste bien plus proche de celle du modèle fp16 original que ce n'est possible avec la quantification RTN naïve. Cela assure que les utilisateurs de Private LLM bénéficient d'une expérience IA fluide, efficace et de haute qualité, nous démarquant des autres applications similaires.

  Deuxièmement, contrairement à presque toutes les autres applications LLM hors ligne concurrentes, Private LLM n'est pas basée sur llama.cpp. Cela signifie que des fonctionnalités avancées qui ne sont pas disponibles dans llama.cpp (et par extension dans les applications qui l'utilisent) comme les puits d'attention et l'attention de fenêtre glissante dans les modèles Mistral sont disponibles dans Private LLM, mais pas ailleurs. Cela signifie également que notre application est nettement plus rapide que la concurrence sur le même matériel (Vidéos YouTube comparant les performances).

  Enfin, nous sommes des ingénieurs en apprentissage automatique et nous réglons finement la quantisation et les paramètres dans chaque modèle pour maximiser la qualité de génération de texte. Par exemple, nous ne quantifions pas les couches d'embeddings et de portes dans les modèles Mixtral car leur quantification affecte gravement la perplexité du modèle (inutile de mentionner que nos concurrents quantifient naïvement tout). De même avec les modèles Gemma, quantifier les embeddings liés par le poids nuit à la perplexité du modèle, donc nous ne le faisons pas (alors que nos concurrents le font).

  En privilégiant la précision et l'efficacité computationnelle sans compromettre la confidentialité et la fonctionnalité hors ligne, Private LLM offre une solution unique pour les utilisateurs d'iOS et de macOS à la recherche d'une expérience IA puissante, privée et personnalisée.

• Comment puis-je accéder à Private LLM sur tous mes appareils Apple ?

  Après un achat unique, vous pouvez télécharger et utiliser Private LLM sur tous vos appareils Apple. L'application prend en charge le Family Sharing, vous permettant de la partager avec les membres de votre famille.

• Qu'est-ce qui rend Private LLM différent des autres chatbots IA ?

  Contrairement à presque toutes les autres applications de chatbot IA actuellement disponibles, Private LLM fonctionne entièrement hors ligne et n'utilise pas d'API externe de tiers, garantissant votre vie privée. Il n'y a aucun suivi ou partage de données. Vos données restent sur votre appareil. De plus, c'est un achat unique, vous donnant un accès à vie sans avoir à vous soucier des frais d'abonnement récurrents.

• Comment puis-je utiliser Private LLM pour la synthèse ?

  Private LLM peut analyser et résumer de longs paragraphes de texte en quelques secondes. Il suffit de coller le contenu, et l'IA générera un résumé concis, le tout hors ligne. Vous pourriez également utiliser Private LLM pour reformuler et paraphraser avec des invites comme :

  • Donnez-moi un TLDR sur ceci : [coller le contenu ici]
  • Vous êtes un rédacteur expert. Veuillez reformuler ce qui suit avec vos propres mots : [coller le contenu]
  • Paraphrasez le texte suivant pour qu'il sonne plus original : [coller le contenu]

• Private LLM peut-il aider avec le brainstorming ou la résolution de problèmes ?

  Absolument ! Private LLM peut générer des suggestions et des idées perspicaces, ce qui en fait un outil puissant pour le brainstorming et la résolution de problèmes. Voici quelques exemples de prompts de brainstorming que vous pouvez essayer avec Private LLM. N'hésitez pas à expérimenter et à essayer vos propres prompts.

  • Pouvez-vous me donner quelques thèmes potentiels pour un roman de science-fiction ?
  • Je prévois d'ouvrir un restaurant rapide végétalien. Quelles sont les faiblesses de cette idée ?
  • Je dirige une startup de développement logiciel de deux ans avec un produit qui a trouvé un ajustement produit-marché, envisageant d'introduire un nouveau produit logiciel dans un marché très différent. Utilisez la méthode des six chapeaux pour analyser cela.
  • Utilisez le Modèle du Cercle d'Or pour créer une marque puissante pour une entreprise de conseil en gestion.

• Quels sont les paramètres de Température d'Échantillonnage et Top-P et que font-ils ?

  La température d'échantillonnage et Top-P sont des paramètres d'inférence universels pour tous les modèles transformers causaux décodeurs uniquement autoregressifs (également connus sous le nom de GPT), et ne sont pas spécifiques à Private LLM. L'application les a réglés sur des valeurs par défaut raisonnables (0,7 pour la température d'échantillonnage et 0,95 pour Top-p), mais vous pouvez toujours les ajuster et voir ce qui se passe. Veuillez noter que les modifications de ces paramètres ne prennent effet qu'après le redémarrage de l'application.

  Ces paramètres contrôlent le compromis entre la génération de texte déterministe et la créativité. Des valeurs faibles conduisent à une réponse ennuyeuse mais cohérente, des valeurs plus élevées conduisent à des réponses créatives mais parfois incohérentes.

• Puis-je utiliser Private LLM avec l'application Shortcuts ?

  Oui. Private LLM dispose de deux intentions d'application que vous pouvez utiliser avec Siri et l'application Shortcuts. Veuillez chercher Private LLM dans l'application Shortcuts. De plus, Private LLM prend également en charge la spécification x-callback-url , qui est également prise en charge par Shortcuts et de nombreuses autres applications. Voici un exemple de raccourci utilisant la fonctionnalité x-callback-url dans Private LLM.

• Pourquoi Private LLM arrête-t-il soudainement de générer du texte parfois ?

  Cela pourrait être dû au fait que l'appareil manque de mémoire, ou si la tâche donnée à Private LLM est particulièrement complexe. Dans de tels cas, envisagez de fermer les applications gourmandes en mémoire qui pourraient être en cours d'exécution en arrière-plan et essayez de décomposer la demande en tâches plus petites et plus gérables pour le LLM à traiter. Dans le dernier cas, simplement répondre par « Continuer », « Allez » ou « Dites-moi » fonctionne également.

• Comment puis-je demander un remboursement pour Private LLM ?

  Nous sommes désolés d'apprendre que vous envisagez un remboursement. Vous pouvez demander un remboursement via l'Apple App Store. Il suffit de naviguer dans l'historique des achats de votre compte Apple, de trouver Private LLM et de cliquer sur 'Signaler un problème' pour initier le processus de remboursement. Nous aimerions également recevoir vos commentaires sur la façon dont nous pouvons nous améliorer. Veuillez nous contacter avec vos retours.