Preguntas Frecuentes

• ¿Qué es Private LLM?

  Private LLM es tu chatbot AI privado, diseñado para la privacidad, la comodidad y la creatividad. Funciona completamente offline en tu iPhone, iPad y Mac, asegurando que tus datos permanezcan seguros y confidenciales. Private LLM es una compra única en la App Store, lo que te permite tener acceso ilimitado sin ninguna tarifa de suscripción. nb: Odiamos las suscripciones y no seríamos hipócritas sometiendo a nuestros usuarios a lo que odiamos.

• ¿Cómo funciona Private LLM?

  Private LLM funciona offline y utiliza un modelo transformer solo de decodificación (también conocido como GPT) con el que puedes conversar casualmente. También puede ayudarte a resumir párrafos de texto, generar ideas creativas y proporcionar información sobre una amplia gama de temas.

• ¿Puede Private LLM acceder a Internet o a datos en tiempo real?

  Absolutamente no. Private LLM está dedicado a garantizar su privacidad, operando únicamente sin conexión sin ningún acceso a Internet para sus funciones o acceso a datos en tiempo real. Una conexión a Internet solo se requiere cuando opta por descargar actualizaciones o nuevos modelos, durante los cuales no se recopila, transmite, intercambia o recoge ningún dato personal. Nuestra filosofía de privacidad está alineada con las estrictas directrices de privacidad y seguridad de Apple, y nuestra aplicación mantiene los más altos estándares de protección de datos. Vale la pena mencionar que, en ocasiones, los usuarios pueden preguntar si Private LLM puede acceder a Internet, lo que puede llevar a alucinaciones del modelo sugiriendo que puede. Sin embargo, estas respuestas no deben tomarse como hechos. Si los usuarios desean verificar independientemente las garantías de privacidad de Private LLM, recomendamos usar herramientas de monitoreo de red como Little Snitch. De esta manera, puede ver por sí mismo que nuestra aplicación mantiene controles estrictos de privacidad. Para aquellos interesados en acceder a información en tiempo real, Private LLM se integra perfectamente con Apple Shortcuts, permitiéndole obtener datos de fuentes RSS, páginas web, e incluso aplicaciones como Calendario, Recordatorios, Notas y más. Esta característica ofrece una solución creativa para incorporar datos actuales en sus interacciones con Private LLM, manteniendo aún su ethos de privacidad fuera de línea en primer lugar. Si tiene alguna pregunta o necesita más aclaraciones, por favor no dude en ponerse en contacto con nosotros.

• ¿Cómo se diferencia Private LLM de otras soluciones de IA locales como Ollama, LM Studio o aquellas basadas en llama.cpp?

  En primer lugar, Private LLM se destaca de otras soluciones de IA locales a través de su avanzada técnica de optimización de modelos conocida como cuantización OmniQuant. A diferencia de la cuantización Redondeo al Más Cercano (RTN) utilizada por muchos competidores, la cuantización OmniQuant es un método basado en optimización que utiliza recorte de peso aprendible. Este método permite un control más preciso sobre el rango de cuantización, manteniendo efectivamente la integridad de la distribución de peso original. Como resultado, Private LLM logra un rendimiento y precisión del modelo superiores, casi igualando el rendimiento de un modelo sin cuantizar de 16 bits en punto flotante (fp16), pero con requisitos computacionales significativamente reducidos en el tiempo de inferencia.

  Aunque el proceso de cuantizar modelos con OmniQuant es computacionalmente intensivo, es una inversión valiosa. Este enfoque avanzado asegura que la perplejidad, una medida del rendimiento de predicción del modelo, de nuestro modelo cuantizado se mantenga mucho más cerca de la del modelo fp16 original de lo que es posible con la cuantización RTN naif. Esta sofisticación técnica asegura que los usuarios de Private LLM disfruten de una experiencia de IA sin interrupciones, eficiente y de alta calidad, diferenciándonos en el ámbito de aplicaciones de IA en dispositivos.

  En segundo lugar, a diferencia de casi todas las otras aplicaciones de LLM offline competidoras, Private LLM no se basa en llama.cpp. Esto significa que características avanzadas que no están disponibles en llama.cpp (y por extensión en aplicaciones que lo utilizan) como sumideros de atención y atención de ventana deslizante en modelos Mistral están disponibles en Private LLM, pero no en otros lugares. Esto también significa que nuestra aplicación es significativamente más rápida que la competencia en el mismo hardware (Videos de YouTube comparando rendimiento).

  Finalmente, somos ingenieros en aprendizaje automático y ajustamos cuidadosamente la cuantización y los parámetros en cada modelo para maximizar la calidad de generación de texto. Por ejemplo, no cuantizamos las capas de incrustaciones y de puertas en modelos Mixtral porque cuantizarlas afecta negativamente la perplejidad del modelo (sin necesidad de mencionar, nuestra competencia cuantiza todo naivamente). De manera similar con los modelos Gemma, cuantizar las incrustaciones vinculadas al peso perjudica la perplejidad del modelo, así que no lo hacemos (mientras que nuestros competidores sí lo hacen).

  Priorizando la precisión y la eficiencia computacional sin comprometer la privacidad y la funcionalidad offline, Private LLM ofrece una solución única para usuarios de iOS y macOS que buscan una experiencia de IA potente, privada y personalizada.

• ¿Cómo puedo acceder a Private LLM en todos mis dispositivos Apple?

  Después de una compra única, puedes descargar y usar Private LLM en todos tus dispositivos Apple. La app admite Family Sharing, lo que te permite compartirla con los miembros de tu familia.

• ¿Qué hace a Private LLM diferente de otros chatbots AI?

  A diferencia de casi todas las demás apps de chatbot AI que están disponibles actualmente, Private LLM opera completamente offline y no utiliza una API externa de terceros, asegurando tu privacidad de datos. No hay seguimiento ni compartición de datos. Tus datos se quedan en tu dispositivo. Además, es una compra única, dándote acceso de por vida sin tener que preocuparte por tarifas de suscripción recurrentes.

• ¿Cómo puedo usar Private LLM para la resumir?

  Private LLM puede analizar y resumir párrafos largos de texto en segundos. Simplemente pega el contenido, y la IA generará un resumen conciso, todo offline. También podrías usar Private LLM para reformular y parafrasear con indicaciones como:

  • Dame un TLDR de esto: [pegar contenido aquí]
  • Eres un redactor experto. Por favor, reformula lo siguiente con tus propias palabras: [pegar contenido]
  • Parafrasea el siguiente texto para que suene más original: [pegar contenido]

• ¿Puede Private LLM ayudar con el brainstorming o la resolución de problemas?

  ¡Absolutamente! Private LLM puede generar sugerencias e ideas perspicaces, lo que lo convierte en una herramienta poderosa para tareas de brainstorming y resolución de problemas. Aquí tienes algunos ejemplos de indicaciones para brainstorming que puedes probar con Private LLM. Por favor, siéntete libre de experimentar y probar tus propias indicaciones.

  • ¿Puedes darme algunos temas potenciales para una novela de ciencia ficción?
  • Estoy planeando abrir un restaurante de comida rápida vegana. ¿Cuáles son las debilidades de esta idea?
  • Dirijo una startup de desarrollo de software de dos años con un producto que ha encontrado un ajuste de mercado de producto (PMF), planeando introducir un nuevo producto de software en un mercado muy diferente. Utiliza el método de los seis sombreros para analizar esto.
  • Utiliza el Modelo del Círculo Dorado para crear una marca poderosa para un negocio de consultoría de gestión.

• ¿Qué son los ajustes de Temperatura de Muestreo y Top-P y qué hacen?

  La temperatura de muestreo y Top-P son parámetros de inferencia universales para todos los modelos transformer solo de decodificación causales autoregresivos (también conocidos como GPT), y no son específicos de Private LLM. La app los tiene configurados en valores predeterminados razonables (0.7 para temperatura de muestreo y 0.95 para Top-p), pero siempre puedes ajustarlos y ver qué sucede. Ten en cuenta que los cambios en estos parámetros no surten efecto hasta que la app se reinicia.

  Estos parámetros controlan el equilibrio entre la generación de texto determinista y la creatividad. Los valores bajos conducen a respuestas aburridas pero coherentes, los valores más altos conducen a respuestas creativas pero a veces incoherentes.

• ¿Puedo usar Private LLM con la app Shortcuts?

  Sí. Private LLM tiene dos intenciones de app que puedes usar con Siri y la app Shortcuts. Busca Private LLM en la app Shortcuts. Además, Private LLM también admite la especificación x-callback-url , que también es compatible con Shortcuts y muchas otras apps. Aquí tienes un ejemplo de atajo utilizando la funcionalidad x-callback-url en Private LLM.

• ¿Por qué Private LLM a veces deja de generar texto abruptamente?

  Esto podría deberse a que el dispositivo tiene poca memoria, o si la tarea dada a Private LLM es particularmente compleja. En tales casos, considera cerrar apps que consumen mucha memoria que podrían estar ejecutándose en segundo plano e intenta dividir la solicitud en tareas más pequeñas y manejables para que el LLM procese. En el último caso, simplemente responder con “Continuar”, “Sigue” o “Dime” también funciona.

• ¿Cómo puedo solicitar un reembolso para Private LLM?

  Lamentamos saber que está considerando un reembolso. Puede solicitar un reembolso a través de la Apple App Store. Simplemente navegue al historial de compras de su cuenta de Apple, encuentre Private LLM y haga clic en 'Reportar un Problema' para iniciar el proceso de reembolso. También nos encantaría escuchar de usted sobre cómo podemos mejorar. Por favor, póngase en contacto con nosotros con sus comentarios.