Veelgestelde Vragen
Private LLM is jouw persoonlijke AI-chatbot, ontworpen voor privacy, gemak en creativiteit. Het werkt volledig offline op je iPhone, iPad en Mac, zodat je gegevens veilig en vertrouwelijk blijven. Private LLM is een eenmalige aankoop in de App Store, waarmee je onbeperkte toegang krijgt zonder abonnementskosten. nb: We haten abonnementen, en we zouden onze gebruikers niet onderwerpen aan wat we zelf haten.
Private LLM werkt offline en gebruikt een decoder-only transformer model (ook bekend als GPT) waarmee je op een informele manier kunt converseren. Het kan je ook helpen met het samenvatten van tekstparagrafen, het genereren van creatieve ideeën en het verstrekken van informatie over een breed scala aan onderwerpen.
Absoluut niet. Private LLM is volledig gericht op het waarborgen van uw privacy en werkt uitsluitend offline, zonder enige toegang tot het internet voor zijn functies of toegang tot realtime gegevens. Een internetverbinding is alleen nodig wanneer u kiest om updates of nieuwe modellen te downloaden, waarbij geen persoonlijke gegevens worden verzameld of overgedragen. Onze privacyfilosofie is in lijn met de strenge privacy- en beveiligingsrichtlijnen van Apple, en onze app handhaaft de hoogste normen van gegevensbescherming. Het is het vermelden waard dat gebruikers soms kunnen vragen of Private LLM toegang kan krijgen tot het internet, wat kan leiden tot mogelijke modelhallucinaties die suggereren dat dit mogelijk is. Echter, deze antwoorden moeten niet als feitelijk worden beschouwd. Als gebruikers de privacygaranties van Private LLM onafhankelijk willen verifiëren, raden we aan om netwerkmonitoringtools zoals Little Snitch te gebruiken. Op deze manier kunt u zelf zien dat onze app strikte privacycontroles handhaaft. Voor degenen die geïnteresseerd zijn in toegang tot realtime informatie, integreert Private LLM naadloos met Apple Shortcuts, waardoor u gegevens uit RSS-feeds, webpagina's en zelfs apps zoals Kalender, Herinneringen, Notities en meer kunt halen. Deze functie biedt een creatieve workaround om actuele gegevens in uw interacties met Private LLM op te nemen, terwijl het offline privacy-eerst ethos behouden blijft. Als u vragen heeft of verdere verduidelijking nodig heeft, aarzel dan niet om contact met ons op te nemen.
Ten eerste onderscheidt Private LLM zich van andere lokale AI-oplossingen door zijn geavanceerde modelkwantiseringstechniek genaamd OmniQuant. In tegenstelling tot de naïeve Round-To-Nearest (RTN) kwantificering die door andere concurrerende apps wordt gebruikt, is OmniQuant kwantificering een op optimalisatie gebaseerde methode die gebruikmaakt van leerbare gewichtsbeperking. Deze methode maakt een nauwkeurigere controle over het kwantificatiebereik mogelijk, waardoor de integriteit van de oorspronkelijke gewichtsverdeling effectief behouden blijft. Als gevolg hiervan bereikt Private LLM een superieure modelprestatie en nauwkeurigheid, bijna gelijk aan de prestatie van een ongekwantiseerd 16-bits floating point (fp16) model, maar met aanzienlijk verminderde rekenvereisten op het moment van inferentie.
Hoewel het proces van het kwantiseren van modellen met OmniQuant rekenintensief is, is het een waardevolle investering. Deze geavanceerde benadering zorgt ervoor dat de perplexiteit (een maat voor de tekstgeneratiekwaliteit van het model) van het gekwantiseerde model veel dichter bij die van het originele fp16-model blijft dan mogelijk is met de naïeve RTN kwantificering. Dit zorgt ervoor dat gebruikers van Private LLM een naadloze, efficiënte en hoogwaardige AI-ervaring genieten, waarmee we ons onderscheiden van andere vergelijkbare applicaties.
Ten tweede, in tegenstelling tot bijna elke andere concurrerende offline LLM-app, is Private LLM niet gebaseerd op llama.cpp. Dit betekent dat geavanceerde functies die niet beschikbaar zijn in llama.cpp (en bij uitbreiding apps die het gebruiken) zoals aandachtsputten en schuivende vensteraandacht in Mistral-modellen beschikbaar zijn in Private LLM, maar elders niet. Dit betekent ook dat onze app aanzienlijk sneller is dan de concurrentie op dezelfde hardware (YouTube-video's die de prestaties vergelijken).
Tot slot zijn wij machine learning-ingenieurs en stemmen we zorgvuldig kwantisatie en parameters in elk model af om de kwaliteit van tekstgeneratie te maximaliseren. Bijvoorbeeld, we kwantiseren de inbeddings- en poortlagen in Mixtral-modellen niet omdat het kwantiseren ervan de perplexiteit van het model negatief beïnvloedt (niet te vergeten, onze concurrentie kwantiseert naïef alles). Evenzo met de Gemma-modellen, het kwantiseren van de gewichtsgebonden inbeddingen schaadt de perplexiteit van het model, dus doen we dat niet (terwijl onze concurrenten dat wel doen).
Door nauwkeurigheid en computationele efficiëntie te prioriteren zonder in te boeten op privacy en offline functionaliteit, biedt Private LLM een unieke oplossing voor iOS- en macOS-gebruikers die op zoek zijn naar een krachtige, private en gepersonaliseerde AI-ervaring.
Na een eenmalige aankoop kun je Private LLM downloaden en gebruiken op al je Apple apparaten. De app ondersteunt Family Sharing, waardoor je het met je familieleden kunt delen.
In tegenstelling tot bijna alle andere AI-chatbot-apps die momenteel beschikbaar zijn, werkt Private LLM volledig offline en gebruikt het geen externe API van derden, wat je gegevensprivacy waarborgt. Er is geen tracking of gegevensdeling. Je gegevens blijven op je apparaat. Bovendien is het een eenmalige aankoop, waardoor je levenslange toegang hebt zonder je zorgen te hoeven maken over terugkerende abonnementskosten.
Private LLM kan lange tekstparagrafen in enkele seconden analyseren en samenvatten. Plak gewoon de inhoud, en de AI genereert een beknopte samenvatting, alles offline. Je kunt Private LLM ook gebruiken voor het herformuleren en parafraseren met prompts zoals:
- Geef me een TLDR hiervan: [plak inhoud hier]
- Je bent een expert tekstschrijver. Formuleer het volgende in je eigen woorden: [plak inhoud]
- Parafraseer de volgende tekst zodat deze origineler klinkt: [plak inhoud]
Absoluut! Private LLM kan inzichtelijke suggesties en ideeën genereren, waardoor het een krachtig hulpmiddel is voor brainstormen en probleemoplossen. Hier zijn enkele voorbeeld brainstormprompts die je kunt proberen te vragen aan Private LLM. Voel je vrij om te experimenteren en probeer je eigen prompts uit.
- Kun je me enkele potentiële thema's geven voor een sciencefictionroman?
- Ik plan om een veganistisch fastfoodrestaurant te openen. Wat zijn de zwakke punten van dit idee?
- Ik run een twee jaar oude softwareontwikkelingsstartup met één product dat PMF heeft bereikt, plannend om een nieuw softwareproduct in een heel andere markt te introduceren. Gebruik de zes hoeden methode om dit te analyseren.
- Gebruik het Gouden Cirkel Model om een krachtig merk te creëren voor een managementadviesbureau.
Samplingtemperatuur en Top-P zijn universele inferentieparameters voor alle autoregressieve causale decoder-only transformer modellen (ook bekend als GPT), en zijn niet specifiek voor Private LLM. De app heeft ze ingesteld op redelijke standaardwaarden (0,7 voor samplingtemperatuur en 0,95 voor Top-p), maar je kunt ze altijd aanpassen en kijken wat er gebeurt. Houd er rekening mee dat wijzigingen in deze parameters pas effect hebben na het herstarten van de app.
Deze parameters bepalen de afweging tussen deterministische tekstgeneratie en creativiteit. Lage waarden leiden tot saaie maar samenhangende respons, hogere waarden leiden tot creatieve maar soms onsamenhangende reacties.
Ja. Private LLM heeft twee app-intenties die je kunt gebruiken met Siri en de Shortcuts-app. Zoek naar Private LLM in de Shortcuts-app. Daarnaast ondersteunt Private LLM ook de x-callback-url specificatie, die ook ondersteund wordt door Shortcuts en vele andere apps. Hier is een voorbeeld van een snelkoppeling die de x-callback-url functionaliteit in Private LLM gebruikt.
Dit kan te wijten zijn aan onvoldoende geheugen op het apparaat, of als de taak die aan Private LLM is gegeven bijzonder complex is. Overweeg in dergelijke gevallen geheugenintensieve apps die mogelijk op de achtergrond draaien te sluiten en probeer het verzoek op te splitsen in kleinere, beter beheersbare taken voor de LLM om te verwerken. In het laatste geval werkt simpelweg reageren met “Doorgaan”, “Ga verder” of “Vertel me” ook.
Het spijt ons te horen dat u overweegt een terugbetaling aan te vragen. U kunt een terugbetaling aanvragen via de Apple App Store. Navigeer eenvoudigweg naar de aankoopgeschiedenis van uw Apple-account, vind Private LLM en klik op 'Een probleem melden' om het terugbetalingsproces te starten. We horen ook graag van u hoe we kunnen verbeteren. Neem alstublieft contact met ons op met uw feedback.