Veelgestelde Vragen
Private LLM is jouw persoonlijke AI-chatbot, ontworpen voor privacy, gemak en creativiteit. Het werkt volledig offline op je iPhone, iPad en Mac, zodat je gegevens veilig en vertrouwelijk blijven. Private LLM is een eenmalige aankoop in de App Store, waarmee je onbeperkte toegang krijgt zonder abonnementskosten. nb: We haten abonnementen, en we zouden onze gebruikers niet onderwerpen aan wat we zelf haten.
Private LLM werkt offline en gebruikt een decoder-only transformer model (ook bekend als GPT) waarmee je op een informele manier kunt converseren. Het kan je ook helpen met het samenvatten van tekstparagrafen, het genereren van creatieve ideeën en het verstrekken van informatie over een breed scala aan onderwerpen.
Private LLM biedt een reeks modellen om te voldoen aan uiteenlopende taalbehoeften. Onze selectie omvat de Llama 3- en Qwen 2.5-families, die beide meerdere talen ondersteunen. Llama 3 is vaardig in Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thais. Qwen 2.5 biedt ondersteuning voor meer dan 29 talen, waaronder Chinees, Engels, Frans, Spaans, Portugees, Duits, Italiaans, Russisch, Japans, Koreaans, Vietnamees, Thais en Arabisch. Voor gebruikers die op zoek zijn naar modellen die specifiek zijn afgestemd op niet-Engelse talen, biedt Private LLM opties zoals SauerkrautLM Gemma-2 2B IT voor Duits, DictaLM 2.0 Instruct voor Hebreeuws, RakutenAI 7B Chat voor Japans en Yi 6B Chat of Yi 34B Chat voor Chinees. Deze diverse selectie zorgt ervoor dat gebruikers het model kunnen kiezen dat het beste aansluit bij hun taalvereisten.
Private LLM garandeert superieure tekstgeneratiekwaliteit en prestaties door gebruik te maken van geavanceerde kwantiseringstechnieken zoals OmniQuant en GPTQ, die vele uren vergen om elk model zorgvuldig te kwantiseren op GPU's. Dit zorgvuldige proces behoudt de gewichtsverdeling van het model effectiever, wat resulteert in snellere inferentie, verbeterde modelgetrouwheid en hogere kwaliteit van tekstgeneratie. Onze 3-bit OmniQuant-modellen overtreffen of evenaren de prestaties van 4-bit RTN-gekwantiseerde modellen die door andere platforms worden gebruikt. In tegenstelling tot apps die de GGUF-bestanden van Hugging Face ondersteunen, kwantiseert Private LLM modellen intern om ervoor te zorgen dat ze zijn geoptimaliseerd voor snelheid, nauwkeurigheid en kwaliteit. Deze rigoureuze aanpak is een van de redenen waarom Private LLM een betaalde app is en veel betere kwaliteit biedt dan tragere en minder capabele lokale AI-chatapps.
We voegen regelmatig nieuwe modellen toe aan Private LLM op basis van gebruikersfeedback, zoals te zien is in onze release-opmerkingen. Om een specifiek model aan te vragen, sluit je aan bij onze Discord-community en deel je suggestie in het #suggestions-kanaal. We beoordelen alle verzoeken en geven prioriteit aan populaire voor toekomstige updates.
Absoluut niet. Private LLM is volledig gericht op het waarborgen van uw privacy en werkt uitsluitend offline, zonder enige toegang tot het internet voor zijn functies of toegang tot realtime gegevens. Een internetverbinding is alleen nodig wanneer u kiest om updates of nieuwe modellen te downloaden, waarbij geen persoonlijke gegevens worden verzameld of overgedragen. Onze privacyfilosofie is in lijn met de strenge privacy- en beveiligingsrichtlijnen van Apple, en onze app handhaaft de hoogste normen van gegevensbescherming. Het is het vermelden waard dat gebruikers soms kunnen vragen of Private LLM toegang kan krijgen tot het internet, wat kan leiden tot mogelijke modelhallucinaties die suggereren dat dit mogelijk is. Echter, deze antwoorden moeten niet als feitelijk worden beschouwd. Als gebruikers de privacygaranties van Private LLM onafhankelijk willen verifiëren, raden we aan om netwerkmonitoringtools zoals Little Snitch te gebruiken. Op deze manier kunt u zelf zien dat onze app strikte privacycontroles handhaaft. Voor degenen die geïnteresseerd zijn in toegang tot realtime informatie, integreert Private LLM naadloos met Apple Shortcuts, waardoor u gegevens uit RSS-feeds, webpagina's en zelfs apps zoals Kalender, Herinneringen, Notities en meer kunt halen. Deze functie biedt een creatieve workaround om actuele gegevens in uw interacties met Private LLM op te nemen, terwijl het offline privacy-eerst ethos behouden blijft. Als u vragen heeft of verdere verduidelijking nodig heeft, aarzel dan niet om contact met ons op te nemen.
Ten eerste onderscheidt Private LLM zich van andere lokale AI-oplossingen door zijn geavanceerde modelkwantiseringstechniek genaamd OmniQuant. In tegenstelling tot de naïeve Round-To-Nearest (RTN) kwantificering die door andere concurrerende apps wordt gebruikt, is OmniQuant kwantificering een op optimalisatie gebaseerde methode die gebruikmaakt van leerbare gewichtsbeperking. Deze methode maakt een nauwkeurigere controle over het kwantificatiebereik mogelijk, waardoor de integriteit van de oorspronkelijke gewichtsverdeling effectief behouden blijft. Als gevolg hiervan bereikt Private LLM een superieure modelprestatie en nauwkeurigheid, bijna gelijk aan de prestatie van een ongekwantiseerd 16-bits floating point (fp16) model, maar met aanzienlijk verminderde rekenvereisten op het moment van inferentie.
Hoewel het proces van het kwantiseren van modellen met OmniQuant rekenintensief is, is het een waardevolle investering. Deze geavanceerde benadering zorgt ervoor dat de perplexiteit (een maat voor de tekstgeneratiekwaliteit van het model) van het gekwantiseerde model veel dichter bij die van het originele fp16-model blijft dan mogelijk is met de naïeve RTN kwantificering. Dit zorgt ervoor dat gebruikers van Private LLM een naadloze, efficiënte en hoogwaardige AI-ervaring genieten, waarmee we ons onderscheiden van andere vergelijkbare applicaties.
Ten tweede, in tegenstelling tot bijna elke andere concurrerende offline LLM-app, is Private LLM niet gebaseerd op llama.cpp. Dit betekent dat geavanceerde functies die niet beschikbaar zijn in llama.cpp (en bij uitbreiding apps die het gebruiken) zoals aandachtsputten en schuivende vensteraandacht in Mistral-modellen beschikbaar zijn in Private LLM, maar elders niet. Dit betekent ook dat onze app aanzienlijk sneller is dan de concurrentie op dezelfde hardware (YouTube-video's die de prestaties vergelijken).
Tot slot zijn wij machine learning-ingenieurs en stemmen we zorgvuldig kwantisatie en parameters in elk model af om de kwaliteit van tekstgeneratie te maximaliseren. Bijvoorbeeld, we kwantiseren de inbeddings- en poortlagen in Mixtral-modellen niet omdat het kwantiseren ervan de perplexiteit van het model negatief beïnvloedt (niet te vergeten, onze concurrentie kwantiseert naïef alles). Evenzo met de Gemma-modellen, het kwantiseren van de gewichtsgebonden inbeddingen schaadt de perplexiteit van het model, dus doen we dat niet (terwijl onze concurrenten dat wel doen).
Door nauwkeurigheid en computationele efficiëntie te prioriteren zonder in te boeten op privacy en offline functionaliteit, biedt Private LLM een unieke oplossing voor iOS- en macOS-gebruikers die op zoek zijn naar een krachtige, private en gepersonaliseerde AI-ervaring.
Na een eenmalige aankoop kun je Private LLM downloaden en gebruiken op al je Apple apparaten. De app ondersteunt Family Sharing, waardoor je het met je familieleden kunt delen.
In tegenstelling tot bijna alle andere AI-chatbot-apps die momenteel beschikbaar zijn, werkt Private LLM volledig offline en gebruikt het geen externe API van derden, wat je gegevensprivacy waarborgt. Er is geen tracking of gegevensdeling. Je gegevens blijven op je apparaat. Bovendien is het een eenmalige aankoop, waardoor je levenslange toegang hebt zonder je zorgen te hoeven maken over terugkerende abonnementskosten.
Private LLM kan lange tekstparagrafen in enkele seconden analyseren en samenvatten. Plak gewoon de inhoud, en de AI genereert een beknopte samenvatting, alles offline. Je kunt Private LLM ook gebruiken voor het herformuleren en parafraseren met prompts zoals:
- Geef me een TLDR hiervan: [plak inhoud hier]
- Je bent een expert tekstschrijver. Formuleer het volgende in je eigen woorden: [plak inhoud]
- Parafraseer de volgende tekst zodat deze origineler klinkt: [plak inhoud]
Absoluut! Private LLM kan inzichtelijke suggesties en ideeën genereren, waardoor het een krachtig hulpmiddel is voor brainstormen en probleemoplossen. Hier zijn enkele voorbeeld brainstormprompts die je kunt proberen te vragen aan Private LLM. Voel je vrij om te experimenteren en probeer je eigen prompts uit.
- Kun je me enkele potentiële thema's geven voor een sciencefictionroman?
- Ik plan om een veganistisch fastfoodrestaurant te openen. Wat zijn de zwakke punten van dit idee?
- Ik run een twee jaar oude softwareontwikkelingsstartup met één product dat PMF heeft bereikt, plannend om een nieuw softwareproduct in een heel andere markt te introduceren. Gebruik de zes hoeden methode om dit te analyseren.
- Gebruik het Gouden Cirkel Model om een krachtig merk te creëren voor een managementadviesbureau.
Samplingtemperatuur en Top-P zijn universele inferentieparameters voor alle autoregressieve causale decoder-only transformer modellen (ook bekend als GPT), en zijn niet specifiek voor Private LLM. De app heeft ze ingesteld op redelijke standaardwaarden (0,7 voor samplingtemperatuur en 0,95 voor Top-p), maar je kunt ze altijd aanpassen en kijken wat er gebeurt. Houd er rekening mee dat wijzigingen in deze parameters pas effect hebben na het herstarten van de app.
Deze parameters bepalen de afweging tussen deterministische tekstgeneratie en creativiteit. Lage waarden leiden tot saaie maar samenhangende respons, hogere waarden leiden tot creatieve maar soms onsamenhangende reacties.
Ja. Private LLM heeft twee app-intenties die je kunt gebruiken met Siri en de Shortcuts-app. Zoek naar Private LLM in de Shortcuts-app. Daarnaast ondersteunt Private LLM ook de x-callback-url specificatie, die ook ondersteund wordt door Shortcuts en vele andere apps. Hier is een voorbeeld van een snelkoppeling die de x-callback-url functionaliteit in Private LLM gebruikt.
Het verschil in functionaliteit tussen iOS en macOS met betrekking tot achtergrondverwerking komt vooral door de hardwaregebruikrichtlijnen van Apple. Op iOS beperkt Apple de achtergronduitvoering van taken die intensief GPU-gebruik vereisen. Deze beperking is bedoeld om de batterijduur te verlengen en de systeemprestaties te behouden. Volgens de richtlijnen van Apple worden apps die proberen een Metal-kernel op de achtergrond uit te voeren onmiddellijk beëindigd om ongeoorloofd gebruik van bronnen te voorkomen. Bij Private LLM kunnen we op macOS achtergrondoperaties uitvoeren met behulp van de GPU, terwijl de iOS-versies beperkt zijn tot CPU-verwerking wanneer de app niet op de voorgrond is. Hoewel het technisch mogelijk is om de AI-gestuurde taken van Private LLM op de CPU uit te voeren, zou dit aanzienlijk trager zijn – meer dan tien keer trager dan GPU-verwerking. Deze trage prestaties zouden niet zorgen voor de naadloze, efficiënte gebruikerservaring die we nastreven. We hopen dat toekomstige iOS-updates meer flexibiliteit bieden in hoe achtergrondprocessen systeembronnen kunnen gebruiken, inclusief mogelijk GPU-toegang voor apps zoals Private LLM. Tot die tijd blijven we onze iOS-app optimaliseren binnen de huidige beperkingen om u de best mogelijke prestaties te bieden zonder de gezondheid van uw apparaat of de efficiëntie van uw applicaties in gevaar te brengen. Voor meer technische details kunt u de officiële Apple-documentatie raadplegen over het voorbereiden van uw Metal-app voor uitvoering op de achtergrond: Apple Developer Documentation.
Dit kan te wijten zijn aan onvoldoende geheugen op het apparaat, of als de taak die aan Private LLM is gegeven bijzonder complex is. Overweeg in dergelijke gevallen geheugenintensieve apps die mogelijk op de achtergrond draaien te sluiten en probeer het verzoek op te splitsen in kleinere, beter beheersbare taken voor de LLM om te verwerken. In het laatste geval werkt simpelweg reageren met “Doorgaan”, “Ga verder” of “Vertel me” ook.
Het spijt ons te horen dat u overweegt een terugbetaling aan te vragen. U kunt een terugbetaling aanvragen via de Apple App Store. Navigeer eenvoudigweg naar de aankoopgeschiedenis van uw Apple-account, vind Private LLM en klik op 'Een probleem melden' om het terugbetalingsproces te starten. We horen ook graag van u hoe we kunnen verbeteren. Neem alstublieft contact met ons op met uw feedback.
We horen graag van u! Doe mee met onze Discord-community om uw gedachten te delen en ondersteuning te krijgen van andere gebruikers. Liever een privégesprek? Gebruik het contactformulier op onze website om ons rechtstreeks een e-mail te sturen.