Questions Fréquemment Posées
Private LLM est votre chatbot IA privé, conçu pour la confidentialité, la commodité et la créativité. Il fonctionne entièrement hors ligne sur votre iPhone, iPad et Mac, garantissant que vos données restent sécurisées et confidentielles. Private LLM est un achat unique sur l'App Store, vous offrant un accès illimité sans aucun frais d'abonnement. nb : Nous détestons les abonnements, et nous ne sommes pas hypocrites pour soumettre nos utilisateurs à ce que nous détestons.
Private LLM fonctionne hors ligne et utilise un modèle transformer uniquement décodeur (également connu sous le nom de GPT) avec lequel vous pouvez converser de manière informelle. Il peut également vous aider à résumer des paragraphes de texte, générer des idées créatives et fournir des informations sur une large gamme de sujets.
Private LLM propose une gamme de modèles pour répondre à des besoins linguistiques divers. Notre sélection inclut les familles Llama 3 et Qwen 2.5, toutes deux prenant en charge plusieurs langues. Llama 3 maîtrise l'anglais, l'allemand, le français, l'italien, le portugais, l'hindi, l'espagnol et le thaï. Qwen 2.5 étend son support à plus de 29 langues, notamment le chinois, l'anglais, le français, l'espagnol, le portugais, l'allemand, l'italien, le russe, le japonais, le coréen, le vietnamien, le thaï et l'arabe. Pour les utilisateurs recherchant des modèles spécifiques à certaines langues non anglaises, Private LLM propose des options telles que SauerkrautLM Gemma-2 2B IT pour l'allemand, DictaLM 2.0 Instruct pour l'hébreu, RakutenAI 7B Chat pour le japonais, et Yi 6B Chat ou Yi 34B Chat pour le chinois. Cette sélection variée garantit que les utilisateurs peuvent choisir le modèle qui correspond le mieux à leurs besoins linguistiques.
Private LLM garantit une qualité de génération de texte et des performances supérieures grâce à l'utilisation de stratégies de quantification avancées telles qu'OmniQuant et GPTQ, qui nécessitent de nombreuses heures pour quantifier chaque modèle avec soin sur des GPU. Ce processus méticuleux préserve plus efficacement la distribution des poids du modèle, ce qui se traduit par une inférence plus rapide, une fidélité accrue du modèle et une génération de texte de meilleure qualité. Nos modèles OmniQuant 3 bits surpassent ou égalent les performances des modèles quantifiés en 4 bits RTN utilisés par d'autres plateformes. Contrairement aux applications prenant en charge les fichiers GGUF disponibles sur Hugging Face, Private LLM quantifie les modèles en interne pour s'assurer qu'ils sont optimisés pour la vitesse, la précision et la qualité. Cette approche rigoureuse est l'une des raisons pour lesquelles Private LLM est une application payante, offrant une bien meilleure qualité que les applications locales de chat IA moins performantes et plus lentes.
Nous ajoutons régulièrement de nouveaux modèles à Private LLM en fonction des retours des utilisateurs, comme indiqué dans nos notes de version. Pour demander un modèle spécifique, rejoignez notre communauté Discord et partagez votre suggestion dans le canal #suggestions. Nous examinons toutes les demandes et priorisons les plus populaires pour les mises à jour futures.
Absolument pas. Private LLM se consacre à garantir votre vie privée, fonctionnant exclusivement hors ligne sans aucun accès à Internet pour ses fonctions ni accès à des données en temps réel. Une connexion Internet est uniquement requise lorsque vous choisissez de télécharger des mises à jour ou de nouveaux modèles, pendant lesquels aucune donnée personnelle n'est collectée, transmise, échangée ou recueillie. Notre philosophie de confidentialité est en accord avec les directives strictes de confidentialité et de sécurité d'Apple, et notre application respecte les normes les plus élevées de protection des données. Il convient de noter que, parfois, les utilisateurs peuvent se demander si Private LLM peut accéder à Internet, ce qui peut entraîner des hallucinations du modèle suggérant qu'il le peut. Cependant, ces réponses ne doivent pas être prises pour des faits. Si les utilisateurs souhaitent vérifier indépendamment les garanties de confidentialité de Private LLM, nous recommandons d'utiliser des outils de surveillance de réseau comme Little Snitch. De cette façon, vous pouvez vous-même constater que notre application maintient des contrôles stricts de confidentialité. Pour ceux intéressés par l'accès à des informations en temps réel, Private LLM s'intègre parfaitement avec Apple Shortcuts, vous permettant de récupérer des données à partir de flux RSS, de pages Web et même d'applications comme Calendrier, Rappels, Notes et plus encore. Cette fonctionnalité offre une solution créative pour intégrer des données actuelles dans vos interactions avec Private LLM, tout en maintenant son éthos de confidentialité hors ligne en premier lieu. Si vous avez des questions ou besoin de clarifications supplémentaires, n'hésitez pas à nous contacter.
Premièrement, Private LLM se distingue des autres solutions d'IA locales grâce à sa technique avancée de quantification des modèles appelée OmniQuant. Contrairement à la quantification naïve Arrondir-au-plus-proche (RTN) utilisée par d'autres applications concurrentes, la quantification OmniQuant est une méthode basée sur l'optimisation qui utilise un rognage de poids apprenable. Cette méthode permet un contrôle plus précis sur la plage de quantification, préservant ainsi l'intégrité de la distribution des poids originale. En conséquence, Private LLM atteint une performance et une précision de modèle supérieures, équivalant presque à la performance d'un modèle en virgule flottante 16 bits non quantifié (fp16), mais avec des exigences computationnelles considérablement réduites au moment de l'inférence.
Bien que le processus de quantification des modèles avec OmniQuant soit intensif en calcul, c'est un investissement rentable. Cette approche avancée garantit que la perplexité (une mesure de la qualité de génération de texte du modèle) du modèle quantifié reste bien plus proche de celle du modèle fp16 original que ce n'est possible avec la quantification RTN naïve. Cela assure que les utilisateurs de Private LLM bénéficient d'une expérience IA fluide, efficace et de haute qualité, nous démarquant des autres applications similaires.
Deuxièmement, contrairement à presque toutes les autres applications LLM hors ligne concurrentes, Private LLM n'est pas basée sur llama.cpp. Cela signifie que des fonctionnalités avancées qui ne sont pas disponibles dans llama.cpp (et par extension dans les applications qui l'utilisent) comme les puits d'attention et l'attention de fenêtre glissante dans les modèles Mistral sont disponibles dans Private LLM, mais pas ailleurs. Cela signifie également que notre application est nettement plus rapide que la concurrence sur le même matériel (Vidéos YouTube comparant les performances).
Enfin, nous sommes des ingénieurs en apprentissage automatique et nous réglons finement la quantisation et les paramètres dans chaque modèle pour maximiser la qualité de génération de texte. Par exemple, nous ne quantifions pas les couches d'embeddings et de portes dans les modèles Mixtral car leur quantification affecte gravement la perplexité du modèle (inutile de mentionner que nos concurrents quantifient naïvement tout). De même avec les modèles Gemma, quantifier les embeddings liés par le poids nuit à la perplexité du modèle, donc nous ne le faisons pas (alors que nos concurrents le font).
En privilégiant la précision et l'efficacité computationnelle sans compromettre la confidentialité et la fonctionnalité hors ligne, Private LLM offre une solution unique pour les utilisateurs d'iOS et de macOS à la recherche d'une expérience IA puissante, privée et personnalisée.
Après un achat unique, vous pouvez télécharger et utiliser Private LLM sur tous vos appareils Apple. L'application prend en charge le Family Sharing, vous permettant de la partager avec les membres de votre famille.
Contrairement à presque toutes les autres applications de chatbot IA actuellement disponibles, Private LLM fonctionne entièrement hors ligne et n'utilise pas d'API externe de tiers, garantissant votre vie privée. Il n'y a aucun suivi ou partage de données. Vos données restent sur votre appareil. De plus, c'est un achat unique, vous donnant un accès à vie sans avoir à vous soucier des frais d'abonnement récurrents.
Private LLM peut analyser et résumer de longs paragraphes de texte en quelques secondes. Il suffit de coller le contenu, et l'IA générera un résumé concis, le tout hors ligne. Vous pourriez également utiliser Private LLM pour reformuler et paraphraser avec des invites comme :
- Donnez-moi un TLDR sur ceci : [coller le contenu ici]
- Vous êtes un rédacteur expert. Veuillez reformuler ce qui suit avec vos propres mots : [coller le contenu]
- Paraphrasez le texte suivant pour qu'il sonne plus original : [coller le contenu]
Absolument ! Private LLM peut générer des suggestions et des idées perspicaces, ce qui en fait un outil puissant pour le brainstorming et la résolution de problèmes. Voici quelques exemples de prompts de brainstorming que vous pouvez essayer avec Private LLM. N'hésitez pas à expérimenter et à essayer vos propres prompts.
- Pouvez-vous me donner quelques thèmes potentiels pour un roman de science-fiction ?
- Je prévois d'ouvrir un restaurant rapide végétalien. Quelles sont les faiblesses de cette idée ?
- Je dirige une startup de développement logiciel de deux ans avec un produit qui a trouvé un ajustement produit-marché, envisageant d'introduire un nouveau produit logiciel dans un marché très différent. Utilisez la méthode des six chapeaux pour analyser cela.
- Utilisez le Modèle du Cercle d'Or pour créer une marque puissante pour une entreprise de conseil en gestion.
La température d'échantillonnage et Top-P sont des paramètres d'inférence universels pour tous les modèles transformers causaux décodeurs uniquement autoregressifs (également connus sous le nom de GPT), et ne sont pas spécifiques à Private LLM. L'application les a réglés sur des valeurs par défaut raisonnables (0,7 pour la température d'échantillonnage et 0,95 pour Top-p), mais vous pouvez toujours les ajuster et voir ce qui se passe. Veuillez noter que les modifications de ces paramètres ne prennent effet qu'après le redémarrage de l'application.
Ces paramètres contrôlent le compromis entre la génération de texte déterministe et la créativité. Des valeurs faibles conduisent à une réponse ennuyeuse mais cohérente, des valeurs plus élevées conduisent à des réponses créatives mais parfois incohérentes.
Oui. Private LLM dispose de deux intentions d'application que vous pouvez utiliser avec Siri et l'application Shortcuts. Veuillez chercher Private LLM dans l'application Shortcuts. De plus, Private LLM prend également en charge la spécification x-callback-url , qui est également prise en charge par Shortcuts et de nombreuses autres applications. Voici un exemple de raccourci utilisant la fonctionnalité x-callback-url dans Private LLM.
La différence de fonctionnalité entre iOS et macOS concernant le traitement en arrière-plan découle principalement des politiques d'utilisation du matériel d'Apple. Sur iOS, Apple limite l'exécution en arrière-plan des tâches nécessitant une utilisation intensive du GPU. Cette restriction est appliquée pour préserver l'autonomie de la batterie et maintenir les performances du système. Selon les directives d'Apple, les applications tentant d'exécuter un kernel Metal en arrière-plan seront immédiatement arrêtées pour éviter une utilisation non autorisée des ressources. Avec Private LLM, nous pouvons effectuer des opérations en arrière-plan sur macOS en utilisant le GPU, tandis que les versions iOS sont limitées au traitement sur CPU lorsque l'application n'est pas au premier plan. Bien qu'il soit techniquement possible d'exécuter les tâches IA de Private LLM sur le CPU, cela serait nettement plus lent – plus de dix fois plus lent par rapport au traitement sur GPU. Cette lenteur ne fournirait pas l'expérience utilisateur fluide et efficace que nous visons. Nous espérons que de futures mises à jour d'iOS offriront plus de flexibilité sur la façon dont les processus en arrière-plan peuvent utiliser les ressources système, y compris un accès potentiel au GPU pour les applications comme Private LLM. D'ici là, nous continuons d'optimiser notre application iOS dans les limites actuelles pour vous offrir les meilleures performances possibles sans compromettre la santé de votre appareil ou l'efficacité de vos applications. Pour plus de détails techniques, vous pouvez consulter la documentation officielle d'Apple sur la préparation de votre application Metal à une exécution en arrière-plan : Apple Developer Documentation.
Cela pourrait être dû au fait que l'appareil manque de mémoire, ou si la tâche donnée à Private LLM est particulièrement complexe. Dans de tels cas, envisagez de fermer les applications gourmandes en mémoire qui pourraient être en cours d'exécution en arrière-plan et essayez de décomposer la demande en tâches plus petites et plus gérables pour le LLM à traiter. Dans le dernier cas, simplement répondre par « Continuer », « Allez » ou « Dites-moi » fonctionne également.
Nous sommes désolés d'apprendre que vous envisagez un remboursement. Vous pouvez demander un remboursement via l'Apple App Store. Il suffit de naviguer dans l'historique des achats de votre compte Apple, de trouver Private LLM et de cliquer sur 'Signaler un problème' pour initier le processus de remboursement. Nous aimerions également recevoir vos commentaires sur la façon dont nous pouvons nous améliorer. Veuillez nous contacter avec vos retours.
Nous serions ravis de vous entendre ! Rejoignez notre communauté Discord pour partager vos idées et obtenir de l'aide d'autres utilisateurs. Vous préférez une conversation privée ? Utilisez le formulaire de contact sur notre site web pour nous envoyer un e-mail directement.