Veelgestelde Vragen
Private LLM is jouw persoonlijke AI-chatbot, ontworpen voor privacy, gemak en creativiteit. Het werkt volledig offline op je iPhone, iPad en Mac, zodat je gegevens veilig en vertrouwelijk blijven. Private LLM is een eenmalige aankoop in de App Store, waarmee je onbeperkte toegang krijgt zonder abonnementskosten. nb: We haten abonnementen, en we zouden onze gebruikers niet onderwerpen aan wat we zelf haten.
Ten eerste onderscheidt Private LLM zich van andere lokale AI-oplossingen door geavanceerde modelquantisatietechnieken zoals OmniQuant en GPTQ. In tegenstelling tot de naïeve Round-To-Nearest (RTN)-quantisatie die wordt gebruikt door andere concurrerende apps op basis van de MLX- en llama.cpp-frameworks, zijn OmniQuant- en GPTQ-quantisatie op optimalisatie gebaseerde methoden. Deze methoden bieden een nauwkeurigere controle over het quantisatiebereik en behouden effectief de integriteit van de oorspronkelijke gewichtsverdeling. Als resultaat bereikt Private LLM superieure modelprestaties en nauwkeurigheid, bijna gelijk aan de prestaties van een ongequantiseerd 16-bit floating-point (fp16) model, maar met aanzienlijk lagere rekenvereisten tijdens inferentie.
Hoewel het proces van modelquantisatie met OmniQuant en GPTQ rekenintensief is, is het een waardevolle investering. Deze geavanceerde aanpak zorgt ervoor dat de perplexiteit (een maat voor de kwaliteit van tekstgeneratie van het model) van het gequantiseerde model veel dichter bij dat van het oorspronkelijke fp16-model blijft dan mogelijk is met naïeve RTN-quantisatie. Dit zorgt ervoor dat Private LLM-gebruikers genieten van een naadloze, efficiënte en hoogwaardige AI-ervaring, wat ons onderscheidt van andere soortgelijke toepassingen.
Ten tweede is Private LLM, in tegenstelling tot bijna alle andere concurrerende offline LLM-apps, niet gebaseerd op llama.cpp of MLX. Dit betekent dat geavanceerde functies die niet beschikbaar zijn in llama.cpp en MLX (en dus ook niet in apps die deze gebruiken), zoals attention sinks en sliding window attention, beschikbaar zijn in Private LLM, maar elders niet[1]. Dit betekent ook dat onze app aanzienlijk sneller is dan de concurrentie op dezelfde hardware (YouTube-video's die prestaties vergelijken).
Tot slot zijn wij machine learning-ingenieurs en stemmen wij de quantisatie en parameters in elk model zorgvuldig af om de kwaliteit van tekstgeneratie te maximaliseren. Bijvoorbeeld, we quantiseren de embeddings en gate-lagen in Mixtral-modellen niet, omdat quantisatie ervan de perplexiteit van het model negatief beïnvloedt (en laten we niet vergeten dat onze concurrentie alles naïef quantiseert). Evenzo schaadt bij de Gemma-modellen de quantisatie van de gewogen embeddings de perplexiteit van het model, dus doen wij dat niet (terwijl onze concurrenten dat wel doen). Ook houden we bij het Microsoft phi-4-model selectief enkele kritieke lagen ongequantiseerd (dynamische quantisatie) om optimale tekstgeneratiekwaliteit te behouden.
Door nauwkeurigheid en computationele efficiëntie te prioriteren zonder in te boeten op privacy en offline functionaliteit, biedt Private LLM een unieke oplossing voor iOS- en macOS-gebruikers die op zoek zijn naar een krachtige, private en gepersonaliseerde AI-ervaring.
Het draaien van grote taalmodellen (LLM's) op een apparaat is een geheugenintensief proces, omdat het aanzienlijke RAM vereist om modellen efficiënt te laden en uit te voeren. Bovendien is Private LLM meestal niet de enige app die op uw iPhone, iPad of Mac wordt uitgevoerd. Andere apps, vooral geheugenintensieve, kunnen concurreren om systeembronnen en de prestaties van Private LLM beïnvloeden.
Op iPhones kunnen oudere apparaten zoals de iPhone SE 2e generatie (3 GB RAM) kleinere modellen zoals Llama 3.2 1B en Qwen 2.5 0.5B/1.5B draaien, maar de ervaring kan beperkt zijn door hardwarebeperkingen. Vanaf de iPhone 12 (4 GB RAM) verbetert de prestatie met toegang tot iets grotere 3B-modellen. Voor de beste ervaring raden we aan de iPhone 15 Pro of nieuwer te gebruiken, uitgerust met 8 GB RAM. Deze apparaten kunnen grotere modellen zoals Llama 3.1 8B of Qwen 2.5 7B moeiteloos draaien. Hoewel Private LLM technisch kan worden geïnstalleerd op apparaten ouder dan de iPhone 12, raden we de aankoop van de app voor dergelijke apparaten niet langer aan, omdat gebruikersfeedback heeft aangetoond dat verouderde hardware de ervaring aanzienlijk beperkt. Gebruikers met oudere apparaten kunnen de app nog steeds kopen, maar ondersteuning en optimale prestaties worden niet gegarandeerd.
Op iPads is het verhaal vergelijkbaar. Apparaten met ten minste 4 GB RAM kunnen modellen draaien die vergelijkbaar zijn met die op middenklasse iPhones. Voor de beste resultaten is de topklasse iPad Pro met 16 GB RAM ideaal, omdat het zelfs grotere modellen zoals Qwen 2.5 14B of Google Gemma 2 9B ondersteunt. Deze ongeëvenaarde capaciteit maakt de iPad Pro een krachtige keuze voor het draaien van Private LLM.
Op Macs heeft de overstap naar Apple Silicon nieuwe normen gesteld voor lokale AI-prestaties. Hoewel Private LLM kan worden geïnstalleerd op Intel-Macs, raden we sterk aan om Macs met Apple Silicon te gebruiken voor een aanzienlijk soepelere ervaring. Op Macs met Apple Silicon en 8 GB RAM kunnen modellen draaien die vergelijkbaar zijn met die op de nieuwste iPhones, zoals Llama 3.1 8B en Qwen 2.5 7B. Macs met 16 GB RAM, zoals de topklasse iPad Pro, kunnen nog grotere modellen aan, zoals Qwen 2.5 14B of Google Gemma 2 9B. Met 32 GB RAM kunnen Macs grotere modellen draaien, zoals Phi-4, Qwen 2.5 32B, en voor de ultieme ervaring leveren Apple Silicon-Macs met ten minste 48 GB RAM optimale prestaties met modellen zoals Llama 3.3 70B.
Private LLM is ontworpen om de kracht van lokale AI naar een breed scala aan Apple-apparaten te brengen, maar voor de beste prestaties raden we apparaten met meer geheugen ten zeerste aan. Als u niet zeker weet of uw apparaat compatibel is of verdere hulp nodig hebt, sluit u dan aan bij onze Discord-community om in contact te komen met ons en andere gebruikers die u kunnen helpen!
Private LLM is een product van twee ontwikkelaars zonder VC-financiering. Onze concurrenten zoals Ollama en LM Studio zijn VC-gedekte bedrijven. Sommige van hen hebben belastende clausules in hun voorwaarden die gebruik voor commerciële of productiedoeleinden verbieden. Wij leggen geen beperkingen op aan hoe onze gebruikers onze app gebruiken. Ons zelfstandige model met een eenmalige betaling is niet perfect en heeft nadelen, zoals het niet kunnen kopen van advertenties, influencerberichten en gouden vinkjes op Twitter. Maar het voordeel is dat we geen druk hebben van VC's om onze gebruikers agressief te monitoren en te gelde te maken; we kunnen ons 100% richten op het bouwen van het product voor onze gebruikers en onszelf.
Bij Private LLM geven we prioriteit aan kwaliteit en onafhankelijkheid. Om superieure prestaties te bereiken, kwantiseren we elk model zorgvuldig met geavanceerde technieken zoals OmniQuant en GPTQ. Dit proces vereist aanzienlijke middelen, waaronder het huren van GPU's, die allesbehalve gratis zijn. Al onze concurrenten gebruiken RTN (round to nearest) kwantisering, wat erg goedkoop is qua middelen maar resulteert in modellen van slechte kwaliteit. Als klein, onafhankelijk bedrijf besteden we veel tijd en middelen aan het kwantiseren van modellen met SOTA-kwantisatie-algoritmen, omdat het een waardevolle afweging is in termen van kwaliteit. Het resultaat is een ongeëvenaarde AI-ervaring die uitblinkt in nauwkeurigheid en snelheid.
Privacy is een andere kernwaarde van Private LLM. We verwerken alles lokaal op uw apparaat, zonder dataverzameling of tracking. Zo'n claim maken is niet eenvoudig, vooral niet als je VC-gedekt bent en onder druk staat om schaalbare inkomstenstromen te vinden. Door onafhankelijk te blijven, zorgen we ervoor dat uw gegevens altijd privé blijven.
Gratis producten lijken aantrekkelijk, vooral als influencers ze agressief aanprijzen, maar in werkelijkheid leveren ze vaak inferieure tekstgeneratiekwaliteit. Private LLM kiest een andere aanpak en biedt tekstgeneratie die ver voorligt in samenhang, nauwkeurigheid en context. Door een eenmalige vergoeding te vragen, biedt Private LLM een AI-oplossing die gericht is op de gebruiker, privacy eerst stelt en tekstoutput van hoge kwaliteit levert die onze concurrenten niet kunnen evenaren.
Private LLM biedt een reeks modellen om te voldoen aan uiteenlopende taalbehoeften. Onze selectie omvat de Llama 3- en Qwen 2.5-families, die beide meerdere talen ondersteunen. Llama 3 is vaardig in Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thais. Qwen 2.5 biedt ondersteuning voor meer dan 29 talen, waaronder Chinees, Engels, Frans, Spaans, Portugees, Duits, Italiaans, Russisch, Japans, Koreaans, Vietnamees, Thais en Arabisch. Voor gebruikers die op zoek zijn naar modellen die specifiek zijn afgestemd op niet-Engelse talen, biedt Private LLM opties zoals SauerkrautLM Gemma-2 2B IT voor Duits, DictaLM 2.0 Instruct voor Hebreeuws, RakutenAI 7B Chat voor Japans en Yi 6B Chat of Yi 34B Chat voor Chinees. Deze diverse selectie zorgt ervoor dat gebruikers het model kunnen kiezen dat het beste aansluit bij hun taalvereisten.
Private LLM garandeert superieure tekstgeneratiekwaliteit en prestaties door gebruik te maken van geavanceerde kwantiseringstechnieken zoals OmniQuant en GPTQ, die vele uren vergen om elk model zorgvuldig te kwantiseren op GPU's. Dit zorgvuldige proces behoudt de gewichtsverdeling van het model effectiever, wat resulteert in snellere inferentie, verbeterde modelgetrouwheid en hogere kwaliteit van tekstgeneratie. Onze 3-bit OmniQuant-modellen overtreffen of evenaren de prestaties van 4-bit RTN-gekwantiseerde modellen die door andere platforms worden gebruikt. In tegenstelling tot apps die de GGUF-bestanden van Hugging Face ondersteunen, kwantiseert Private LLM modellen intern om ervoor te zorgen dat ze zijn geoptimaliseerd voor snelheid, nauwkeurigheid en kwaliteit. Deze rigoureuze aanpak is een van de redenen waarom Private LLM een betaalde app is en veel betere kwaliteit biedt dan tragere en minder capabele lokale AI-chatapps.
We voegen regelmatig nieuwe modellen toe aan Private LLM op basis van gebruikersfeedback, zoals te zien is in onze release-opmerkingen. Om een specifiek model aan te vragen, sluit je aan bij onze Discord-community en deel je suggestie in het #suggestions-kanaal. We beoordelen alle verzoeken en geven prioriteit aan populaire voor toekomstige updates.
Private LLM ondersteunt momenteel niet het lezen van documenten of bestanden, een functie die vaak wordt aangeduid als Retrieval-Augmented Generation (RAG). Deze functionaliteit omvat het gebruik van externe documenten om de antwoorden van het model te verrijken, maar de effectiviteit ervan is sterk afhankelijk van de contextlengte – de maximale hoeveelheid tekst die het model in één prompt kan verwerken. Een langere contextlengte maakt gedetailleerdere en nauwkeurigere antwoorden mogelijk, maar is vooral op lokale apparaten rekenkundig veeleisend. Concurrenten zoals Ollama ondersteunen doorgaans een standaard contextlengte van 2k tokens, terwijl LM Studio standaard een contextlengte van 1500 tokens heeft. Ter vergelijking biedt Private LLM 8K tokens op iPhone en iPad, en indrukwekkende 32K tokens op Macs, waardoor het een van de meest capabele lokale AI-oplossingen op dit gebied is. Toch hebben alle huidige lokale AI-implementaties, inclusief Private LLM, uitdagingen met hallucinaties bij het verwerken van lange tekstinhoud. Deze beperking ontstaat doordat modellen onjuiste of verzonnen informatie kunnen genereren wanneer ze worden overweldigd door uitgebreide of onvolledige invoer. De OmniQuant-kwantisering van Private LLM vermindert hallucinaties aanzienlijk in vergelijking met de RTN-kwantisering die door onze concurrentie wordt gebruikt, maar elimineert ze niet volledig. Hoewel we van plan zijn om in de toekomst documentleesmogelijkheden te introduceren, bieden servergebaseerde oplossingen momenteel de meest betrouwbare resultaten voor RAG, omdat ze beter zijn uitgerust om grotere contextlengtes en rekenvereisten aan te kunnen.
Absoluut niet. Private LLM is volledig gericht op het waarborgen van uw privacy en werkt uitsluitend offline, zonder enige toegang tot het internet voor zijn functies of toegang tot realtime gegevens. Een internetverbinding is alleen nodig wanneer u kiest om updates of nieuwe modellen te downloaden, waarbij geen persoonlijke gegevens worden verzameld of overgedragen. Onze privacyfilosofie is in lijn met de strenge privacy- en beveiligingsrichtlijnen van Apple, en onze app handhaaft de hoogste normen van gegevensbescherming. Het is het vermelden waard dat gebruikers soms kunnen vragen of Private LLM toegang kan krijgen tot het internet, wat kan leiden tot mogelijke modelhallucinaties die suggereren dat dit mogelijk is. Echter, deze antwoorden moeten niet als feitelijk worden beschouwd. Als gebruikers de privacygaranties van Private LLM onafhankelijk willen verifiëren, raden we aan om netwerkmonitoringtools zoals Little Snitch te gebruiken. Op deze manier kunt u zelf zien dat onze app strikte privacycontroles handhaaft. Voor degenen die geïnteresseerd zijn in toegang tot realtime informatie, integreert Private LLM naadloos met Apple Shortcuts, waardoor u gegevens uit RSS-feeds, webpagina's en zelfs apps zoals Kalender, Herinneringen, Notities en meer kunt halen. Deze functie biedt een creatieve workaround om actuele gegevens in uw interacties met Private LLM op te nemen, terwijl het offline privacy-eerst ethos behouden blijft. Als u vragen heeft of verdere verduidelijking nodig heeft, aarzel dan niet om contact met ons op te nemen.
Na een eenmalige aankoop kun je Private LLM downloaden en gebruiken op al je Apple apparaten. De app ondersteunt Family Sharing, waardoor je het met je familieleden kunt delen.
Private LLM kan lange tekstparagrafen in enkele seconden analyseren en samenvatten. Plak gewoon de inhoud, en de AI genereert een beknopte samenvatting, alles offline. Je kunt Private LLM ook gebruiken voor het herformuleren en parafraseren met prompts zoals:
- Geef me een TLDR hiervan: [plak inhoud hier]
- Je bent een expert tekstschrijver. Formuleer het volgende in je eigen woorden: [plak inhoud]
- Parafraseer de volgende tekst zodat deze origineler klinkt: [plak inhoud]
Absoluut! Private LLM kan inzichtelijke suggesties en ideeën genereren, waardoor het een krachtig hulpmiddel is voor brainstormen en probleemoplossen. Hier zijn enkele voorbeeld brainstormprompts die je kunt proberen te vragen aan Private LLM. Voel je vrij om te experimenteren en probeer je eigen prompts uit.
- Kun je me enkele potentiële thema's geven voor een sciencefictionroman?
- Ik plan om een veganistisch fastfoodrestaurant te openen. Wat zijn de zwakke punten van dit idee?
- Ik run een twee jaar oude softwareontwikkelingsstartup met één product dat PMF heeft bereikt, plannend om een nieuw softwareproduct in een heel andere markt te introduceren. Gebruik de zes hoeden methode om dit te analyseren.
- Gebruik het Gouden Cirkel Model om een krachtig merk te creëren voor een managementadviesbureau.
Samplingtemperatuur en Top-P zijn universele inferentieparameters voor alle autoregressieve causale decoder-only transformer modellen (ook bekend als GPT), en zijn niet specifiek voor Private LLM. De app heeft ze ingesteld op redelijke standaardwaarden (0,7 voor samplingtemperatuur en 0,95 voor Top-p), maar je kunt ze altijd aanpassen en kijken wat er gebeurt. Houd er rekening mee dat wijzigingen in deze parameters pas effect hebben na het herstarten van de app.
Deze parameters bepalen de afweging tussen deterministische tekstgeneratie en creativiteit. Lage waarden leiden tot saaie maar samenhangende respons, hogere waarden leiden tot creatieve maar soms onsamenhangende reacties.
Private LLM werkt offline en gebruikt een decoder-only transformer model (ook bekend als GPT) waarmee je op een informele manier kunt converseren. Het kan je ook helpen met het samenvatten van tekstparagrafen, het genereren van creatieve ideeën en het verstrekken van informatie over een breed scala aan onderwerpen.
Ja. Private LLM heeft twee app-intenties die je kunt gebruiken met Siri en de Shortcuts-app. Zoek naar Private LLM in de Shortcuts-app. Daarnaast ondersteunt Private LLM ook de x-callback-url specificatie, die ook ondersteund wordt door Shortcuts en vele andere apps. Hier is een voorbeeld van een snelkoppeling die de x-callback-url functionaliteit in Private LLM gebruikt.
Het verschil in functionaliteit tussen iOS en macOS met betrekking tot achtergrondverwerking komt vooral door de hardwaregebruikrichtlijnen van Apple. Op iOS beperkt Apple de achtergronduitvoering van taken die intensief GPU-gebruik vereisen. Deze beperking is bedoeld om de batterijduur te verlengen en de systeemprestaties te behouden. Volgens de richtlijnen van Apple worden apps die proberen een Metal-kernel op de achtergrond uit te voeren onmiddellijk beëindigd om ongeoorloofd gebruik van bronnen te voorkomen. Bij Private LLM kunnen we op macOS achtergrondoperaties uitvoeren met behulp van de GPU, terwijl de iOS-versies beperkt zijn tot CPU-verwerking wanneer de app niet op de voorgrond is. Hoewel het technisch mogelijk is om de AI-gestuurde taken van Private LLM op de CPU uit te voeren, zou dit aanzienlijk trager zijn – meer dan tien keer trager dan GPU-verwerking. Deze trage prestaties zouden niet zorgen voor de naadloze, efficiënte gebruikerservaring die we nastreven. We hopen dat toekomstige iOS-updates meer flexibiliteit bieden in hoe achtergrondprocessen systeembronnen kunnen gebruiken, inclusief mogelijk GPU-toegang voor apps zoals Private LLM. Tot die tijd blijven we onze iOS-app optimaliseren binnen de huidige beperkingen om u de best mogelijke prestaties te bieden zonder de gezondheid van uw apparaat of de efficiëntie van uw applicaties in gevaar te brengen. Voor meer technische details kunt u de officiële Apple-documentatie raadplegen over het voorbereiden van uw Metal-app voor uitvoering op de achtergrond: Apple Developer Documentation.
Dit kan te wijten zijn aan onvoldoende geheugen op het apparaat, of als de taak die aan Private LLM is gegeven bijzonder complex is. Overweeg in dergelijke gevallen geheugenintensieve apps die mogelijk op de achtergrond draaien te sluiten en probeer het verzoek op te splitsen in kleinere, beter beheersbare taken voor de LLM om te verwerken. In het laatste geval werkt simpelweg reageren met “Doorgaan”, “Ga verder” of “Vertel me” ook.
Het spijt ons te horen dat u overweegt een terugbetaling aan te vragen. U kunt een terugbetaling aanvragen via de Apple App Store. Navigeer eenvoudigweg naar de aankoopgeschiedenis van uw Apple-account, vind Private LLM en klik op 'Een probleem melden' om het terugbetalingsproces te starten. We horen ook graag van u hoe we kunnen verbeteren. Neem alstublieft contact met ons op met uw feedback.
We horen graag van u! Doe mee met onze Discord-community om uw gedachten te delen en ondersteuning te krijgen van andere gebruikers. Liever een privégesprek? Gebruik het contactformulier op onze website om ons rechtstreeks een e-mail te sturen.