Preguntas Frecuentes
Private LLM es tu chatbot AI privado, diseñado para la privacidad, la comodidad y la creatividad. Funciona completamente offline en tu iPhone, iPad y Mac, asegurando que tus datos permanezcan seguros y confidenciales. Private LLM es una compra única en la App Store, lo que te permite tener acceso ilimitado sin ninguna tarifa de suscripción. nb: Odiamos las suscripciones y no seríamos hipócritas sometiendo a nuestros usuarios a lo que odiamos.
Private LLM funciona offline y utiliza un modelo transformer solo de decodificación (también conocido como GPT) con el que puedes conversar casualmente. También puede ayudarte a resumir párrafos de texto, generar ideas creativas y proporcionar información sobre una amplia gama de temas.
Private LLM ofrece una variedad de modelos para satisfacer diferentes necesidades lingüísticas. Nuestra selección incluye las familias Llama 3 y Qwen 2.5, ambas compatibles con varios idiomas. Llama 3 es competente en inglés, alemán, francés, italiano, portugués, hindi, español y tailandés. Qwen 2.5 amplía el soporte a más de 29 idiomas, incluyendo chino, inglés, francés, español, portugués, alemán, italiano, ruso, japonés, coreano, vietnamita, tailandés y árabe. Para usuarios que buscan modelos diseñados específicamente para idiomas distintos del inglés, Private LLM ofrece opciones como SauerkrautLM Gemma-2 2B IT para alemán, DictaLM 2.0 Instruct para hebreo, RakutenAI 7B Chat para japonés y Yi 6B Chat o Yi 34B Chat para chino. Esta amplia selección garantiza que los usuarios puedan elegir el modelo que mejor se adapte a sus necesidades lingüísticas.
Private LLM garantiza una calidad superior en la generación de texto y rendimiento utilizando estrategias avanzadas de cuantificación como OmniQuant y GPTQ, que requieren numerosas horas para cuantificar cuidadosamente cada modelo en GPU. Este proceso meticuloso preserva de manera más efectiva la distribución de pesos del modelo, lo que resulta en inferencias más rápidas, mayor fidelidad del modelo y generación de texto de mayor calidad. Nuestros modelos OmniQuant de 3 bits superan o igualan el rendimiento de los modelos cuantificados en 4 bits RTN utilizados por otras plataformas. A diferencia de las aplicaciones que soportan los archivos GGUF disponibles en Hugging Face, Private LLM cuantifica los modelos internamente para asegurarse de que estén optimizados en velocidad, precisión y calidad. Este enfoque riguroso es una de las razones por las que Private LLM es una aplicación de pago, ofreciendo una calidad mucho mejor en comparación con las aplicaciones locales de chat de IA más lentas y menos capaces.
Añadimos regularmente nuevos modelos a Private LLM basándonos en los comentarios de los usuarios, como se indica en nuestras notas de la versión. Para solicitar un modelo específico, únete a nuestra comunidad de Discord y comparte tu sugerencia en el canal #suggestions. Revisamos todas las solicitudes y priorizamos las más populares para futuras actualizaciones.
Absolutamente no. Private LLM está dedicado a garantizar su privacidad, operando únicamente sin conexión sin ningún acceso a Internet para sus funciones o acceso a datos en tiempo real. Una conexión a Internet solo se requiere cuando opta por descargar actualizaciones o nuevos modelos, durante los cuales no se recopila, transmite, intercambia o recoge ningún dato personal. Nuestra filosofía de privacidad está alineada con las estrictas directrices de privacidad y seguridad de Apple, y nuestra aplicación mantiene los más altos estándares de protección de datos. Vale la pena mencionar que, en ocasiones, los usuarios pueden preguntar si Private LLM puede acceder a Internet, lo que puede llevar a alucinaciones del modelo sugiriendo que puede. Sin embargo, estas respuestas no deben tomarse como hechos. Si los usuarios desean verificar independientemente las garantías de privacidad de Private LLM, recomendamos usar herramientas de monitoreo de red como Little Snitch. De esta manera, puede ver por sí mismo que nuestra aplicación mantiene controles estrictos de privacidad. Para aquellos interesados en acceder a información en tiempo real, Private LLM se integra perfectamente con Apple Shortcuts, permitiéndole obtener datos de fuentes RSS, páginas web, e incluso aplicaciones como Calendario, Recordatorios, Notas y más. Esta característica ofrece una solución creativa para incorporar datos actuales en sus interacciones con Private LLM, manteniendo aún su ethos de privacidad fuera de línea en primer lugar. Si tiene alguna pregunta o necesita más aclaraciones, por favor no dude en ponerse en contacto con nosotros.
En primer lugar, Private LLM se destaca de otras soluciones de IA locales a través de su avanzada técnica de optimización de modelos conocida como cuantización OmniQuant. A diferencia de la cuantización Redondeo al Más Cercano (RTN) utilizada por muchos competidores, la cuantización OmniQuant es un método basado en optimización que utiliza recorte de peso aprendible. Este método permite un control más preciso sobre el rango de cuantización, manteniendo efectivamente la integridad de la distribución de peso original. Como resultado, Private LLM logra un rendimiento y precisión del modelo superiores, casi igualando el rendimiento de un modelo sin cuantizar de 16 bits en punto flotante (fp16), pero con requisitos computacionales significativamente reducidos en el tiempo de inferencia.
Aunque el proceso de cuantizar modelos con OmniQuant es computacionalmente intensivo, es una inversión valiosa. Este enfoque avanzado asegura que la perplejidad, una medida del rendimiento de predicción del modelo, de nuestro modelo cuantizado se mantenga mucho más cerca de la del modelo fp16 original de lo que es posible con la cuantización RTN naif. Esta sofisticación técnica asegura que los usuarios de Private LLM disfruten de una experiencia de IA sin interrupciones, eficiente y de alta calidad, diferenciándonos en el ámbito de aplicaciones de IA en dispositivos.
En segundo lugar, a diferencia de casi todas las otras aplicaciones de LLM offline competidoras, Private LLM no se basa en llama.cpp. Esto significa que características avanzadas que no están disponibles en llama.cpp (y por extensión en aplicaciones que lo utilizan) como sumideros de atención y atención de ventana deslizante en modelos Mistral están disponibles en Private LLM, pero no en otros lugares. Esto también significa que nuestra aplicación es significativamente más rápida que la competencia en el mismo hardware (Videos de YouTube comparando rendimiento).
Finalmente, somos ingenieros en aprendizaje automático y ajustamos cuidadosamente la cuantización y los parámetros en cada modelo para maximizar la calidad de generación de texto. Por ejemplo, no cuantizamos las capas de incrustaciones y de puertas en modelos Mixtral porque cuantizarlas afecta negativamente la perplejidad del modelo (sin necesidad de mencionar, nuestra competencia cuantiza todo naivamente). De manera similar con los modelos Gemma, cuantizar las incrustaciones vinculadas al peso perjudica la perplejidad del modelo, así que no lo hacemos (mientras que nuestros competidores sí lo hacen).
Priorizando la precisión y la eficiencia computacional sin comprometer la privacidad y la funcionalidad offline, Private LLM ofrece una solución única para usuarios de iOS y macOS que buscan una experiencia de IA potente, privada y personalizada.
Después de una compra única, puedes descargar y usar Private LLM en todos tus dispositivos Apple. La app admite Family Sharing, lo que te permite compartirla con los miembros de tu familia.
A diferencia de casi todas las demás apps de chatbot AI que están disponibles actualmente, Private LLM opera completamente offline y no utiliza una API externa de terceros, asegurando tu privacidad de datos. No hay seguimiento ni compartición de datos. Tus datos se quedan en tu dispositivo. Además, es una compra única, dándote acceso de por vida sin tener que preocuparte por tarifas de suscripción recurrentes.
Private LLM puede analizar y resumir párrafos largos de texto en segundos. Simplemente pega el contenido, y la IA generará un resumen conciso, todo offline. También podrías usar Private LLM para reformular y parafrasear con indicaciones como:
- Dame un TLDR de esto: [pegar contenido aquí]
- Eres un redactor experto. Por favor, reformula lo siguiente con tus propias palabras: [pegar contenido]
- Parafrasea el siguiente texto para que suene más original: [pegar contenido]
¡Absolutamente! Private LLM puede generar sugerencias e ideas perspicaces, lo que lo convierte en una herramienta poderosa para tareas de brainstorming y resolución de problemas. Aquí tienes algunos ejemplos de indicaciones para brainstorming que puedes probar con Private LLM. Por favor, siéntete libre de experimentar y probar tus propias indicaciones.
- ¿Puedes darme algunos temas potenciales para una novela de ciencia ficción?
- Estoy planeando abrir un restaurante de comida rápida vegana. ¿Cuáles son las debilidades de esta idea?
- Dirijo una startup de desarrollo de software de dos años con un producto que ha encontrado un ajuste de mercado de producto (PMF), planeando introducir un nuevo producto de software en un mercado muy diferente. Utiliza el método de los seis sombreros para analizar esto.
- Utiliza el Modelo del Círculo Dorado para crear una marca poderosa para un negocio de consultoría de gestión.
La temperatura de muestreo y Top-P son parámetros de inferencia universales para todos los modelos transformer solo de decodificación causales autoregresivos (también conocidos como GPT), y no son específicos de Private LLM. La app los tiene configurados en valores predeterminados razonables (0.7 para temperatura de muestreo y 0.95 para Top-p), pero siempre puedes ajustarlos y ver qué sucede. Ten en cuenta que los cambios en estos parámetros no surten efecto hasta que la app se reinicia.
Estos parámetros controlan el equilibrio entre la generación de texto determinista y la creatividad. Los valores bajos conducen a respuestas aburridas pero coherentes, los valores más altos conducen a respuestas creativas pero a veces incoherentes.
Sí. Private LLM tiene dos intenciones de app que puedes usar con Siri y la app Shortcuts. Busca Private LLM en la app Shortcuts. Además, Private LLM también admite la especificación x-callback-url , que también es compatible con Shortcuts y muchas otras apps. Aquí tienes un ejemplo de atajo utilizando la funcionalidad x-callback-url en Private LLM.
La diferencia en funcionalidad entre iOS y macOS con respecto al procesamiento en segundo plano se debe principalmente a las políticas de uso de hardware de Apple. En iOS, Apple restringe la ejecución en segundo plano de tareas que requieren un uso intensivo de la GPU. Esta limitación se aplica para preservar la vida útil de la batería y mantener el rendimiento del sistema. Según las directrices de Apple, las aplicaciones que intenten ejecutar un kernel de Metal en segundo plano serán terminadas inmediatamente para evitar el uso no autorizado de recursos. En Private LLM, podemos ejecutar operaciones en segundo plano en macOS utilizando la GPU, mientras que las versiones para iOS están limitadas al procesamiento con CPU cuando la aplicación no está en primer plano. Aunque técnicamente es posible ejecutar las tareas impulsadas por IA de Private LLM en la CPU, sería significativamente más lento—más de diez veces más lento en comparación con el procesamiento en GPU. Este rendimiento lento no ofrecería la experiencia fluida y eficiente que buscamos. Tenemos la esperanza de que futuras actualizaciones de iOS puedan ofrecer más flexibilidad en cómo los procesos en segundo plano utilizan los recursos del sistema, incluido un posible acceso a la GPU para aplicaciones como Private LLM. Hasta entonces, seguimos optimizando nuestra aplicación para iOS dentro de las limitaciones actuales para garantizarle el mejor rendimiento posible sin comprometer la salud de su dispositivo ni la eficiencia de sus aplicaciones. Para obtener más detalles técnicos, puede consultar la documentación oficial de Apple sobre cómo preparar su aplicación Metal para ejecutarse en segundo plano: Apple Developer Documentation.
Esto podría deberse a que el dispositivo tiene poca memoria, o si la tarea dada a Private LLM es particularmente compleja. En tales casos, considera cerrar apps que consumen mucha memoria que podrían estar ejecutándose en segundo plano e intenta dividir la solicitud en tareas más pequeñas y manejables para que el LLM procese. En el último caso, simplemente responder con “Continuar”, “Sigue” o “Dime” también funciona.
Lamentamos saber que está considerando un reembolso. Puede solicitar un reembolso a través de la Apple App Store. Simplemente navegue al historial de compras de su cuenta de Apple, encuentre Private LLM y haga clic en 'Reportar un Problema' para iniciar el proceso de reembolso. También nos encantaría escuchar de usted sobre cómo podemos mejorar. Por favor, póngase en contacto con nosotros con sus comentarios.
¡Nos encantaría saber de usted! Únase a nuestra comunidad de Discord para compartir sus ideas y obtener ayuda de otros usuarios. ¿Prefiere una conversación privada? Utilice el formulario de contacto en nuestro sitio web para enviarnos un correo electrónico directamente.