Private LLM FAQ: iPhone、iPad、Macで使うローカルAI

Private LLMは、プライバシー、利便性、創造性のために設計されたプライベートAIチャットボットです。iPhone、iPad、Mac上で完全にオフラインで動作し、データの安全性と機密性を確保します。Private LLMはApp Storeでの買い切り型アプリであり、サブスクリプション料金なしで無制限にアクセスできます。注：私たちはサブスクリプションが嫌いです。自分たちが嫌うものをユーザーに強いるような偽善者にはなりたくありません。

第一に、Private LLMはOmniQuantやGPTQといった高度なモデル量子化技術により、他のローカルAIソリューションと一線を画しています。MLXやllama.cppフレームワークに基づく他の競合アプリで使用される単純なRound-To-Nearest（RTN）量子化とは異なり、OmniQuantやGPTQ量子化は最適化ベースの手法です。これらの手法により、量子化範囲をより正確に制御でき、元の重み分布の整合性を効果的に維持できます。その結果、Private LLMは、非量子化の16ビット浮動小数点（fp16）モデルの性能にほぼ匹敵する優れたモデル性能と精度を達成しながら、推論時の計算要件を大幅に削減しています。

OmniQuantとGPTQでモデルを量子化する処理は計算負荷が高いものの、投資する価値があります。この高度な手法により、量子化後のモデルのperplexity、つまりモデルのテキスト生成品質を示す指標は、単純なRTN量子化で可能な範囲よりも元のfp16モデルにずっと近い状態に保たれます。そのためオンデバイスでのテキスト生成品質を高く維持でき、そこがPrivate LLMと類似アプリを分ける点です。

第二に、他のほとんどのオフラインLLMアプリとは異なり、Private LLMはllama.cppやMLXに基づいていません。つまり、アテンションシンクやスライディングウィンドウアテンションなど、llama.cppやMLX（およびそれらを使用するアプリ）では利用できない高度な機能がPrivate LLMでは利用可能です[1]。これはまた、同じハードウェア上で競合他社よりもアプリが大幅に高速であることを意味します（パフォーマンスを比較したYouTube動画）。

最後に、私たちは機械学習エンジニアとして、各モデルの量子化とパラメータを慎重に調整し、テキスト生成品質を最大化しています。例えば、Mixtralモデルの埋め込み層とゲート層は量子化しません。これらを量子化するとモデルのパープレキシティに悪影響を及ぼすためです（言うまでもなく、競合他社はすべてを単純に量子化しています）。Gemmaモデルでも同様に、重みを結びつけた埋め込みを量子化するとパープレキシティが低下するため、私たちは行いません（競合他社は行います）。また、MicrosoftのPhi 4モデルでは、最適なテキスト生成品質を維持するために、いくつかの重要な層を選択的に非量子化（動的量子化）しています。

Private LLMは、プライバシーとオフライン機能を損なうことなく、精度と計算効率を重視することで、iOSとmacOSのユーザーに、自分のハードウェア上だけで動作するプライベートなオンデバイスAIを提供します。

Private LLMは、VC資金から解放された2人の開発者によって構築されたブートストラップ製品です。OllamaやLM Studioのような競合他社はVC支援企業です。彼らの中には、利用規約に商業目的や本番環境での使用を禁止する厳しい条項が隠されているものもあります。私たちは、ユーザーがアプリをどのように使用するかについて制限を課しません。私たちのブートストラップされた買い切り型モデルは完璧ではなく、広告やインフルエンサーの投稿、Twitterのゴールドチェックマークを購入できないといった欠点があります。しかし、その裏返しとして、ユーザーを積極的に監視して収益化するというVCからのプレッシャーがなく、ユーザーと私たちのために製品を構築することに100%集中できます。

Private LLMでは、品質と独立性を優先しています。優れたパフォーマンスを実現するために、OmniQuantやGPTQのような高度な技術を使用してすべてのモデルを慎重に量子化しています。このプロセスには、無料とは程遠いGPUのレンタルなど、かなりのリソースが必要です。すべての競合他社はRTN（round to nearest）量子化を使用しており、リソースの面では非常に安価ですが、品質の低い量子化モデルになります。小規模な独立系企業として、私たちはSOTA量子化アルゴリズムでモデルを量子化することに多くの時間とリソースを費やしています。それは品質の面でそれだけの価値があるトレードオフだからです。その結果、精度と速度の面で際立った比類のないAI体験が生まれます。

プライバシーはPrivate LLMのもう1つのコアバリューです。私たちはすべてをデバイス上でローカルに処理し、データ収集やトラッキングは一切行いません。特にVCの支援を受けており、スケーラブルな収益源を見つけるプレッシャーにさらされている場合、そのような主張をすることは容易ではありません。独立性を保つことで、データが常にプライベートであることを保証します。

無料製品は、特にインフルエンサーが積極的に宣伝していると魅力的に見えるかもしれませんが、実際には、多くの場合、劣ったテキスト生成品質しか提供しません。Private LLMは異なるアプローチを取り、一貫性、精度、コンテキストにおいて遥かに優れたテキスト生成を提供します。一度の料金を支払うことで、Private LLMはユーザー中心でプライバシーを第一に考え、競合他社が到底及ばない高品質なテキスト出力を提供するAIソリューションを提供します。

Private LLMはオフラインで動作し、カジュアルに会話できるデコーダー専用トランスフォーマー（別名GPT）モデルを使用します。また、テキストの段落の要約、創造的なアイデアの生成、幅広いトピックに関する情報提供も可能です。

Private LLMは、Appleデバイス向けの代表的なローカルAIアプリです。オープンソースモデルを完全にオンデバイスで実行し、アカウント、クラウド、サブスクリプションは不要です。ハードウェアに合ったモデルを選べます。ほとんどのiPhoneではLlama 3.2 3BまたはQwen3 4B、iPhone 15 Pro以降ではLlama 3.1 8B、48GBのApple Silicon MacではLlama 3.3 70Bが動作します。Private LLMにはモデルごとに調整されたGPTQとOmniQuantの量子化が同梱されているため、3ビットOmniQuantモデルは同じハードウェア上でllama.cppベースのアプリの4ビットRTNモデルに匹敵します。1回の購入でiPhone、iPad、Macをカバーし、Family Sharingで最大6人まで利用できます。

大規模言語モデル（LLM）をオンデバイスで実行することはメモリ集約的なプロセスであり、モデルを効率的にロードして実行するには大量のRAMが必要です。さらに、Private LLMは通常、iPhone、iPad、またはMacで実行されている唯一のアプリではありません。他のアプリ、特にメモリを大量に消費するアプリはシステムリソースを奪い合い、Private LLMのパフォーマンスに影響を与える可能性があります。

iPhoneでは、iPhone SE（第2世代）（3GB RAM）のような古いデバイスでもLlama 3.2 1BやQwen 2.5 0.5B/1.5Bのような小さなモデルを実行できますが、ハードウェアの制約により体験が制限される場合があります。iPhone 12（4GB RAM）以降では、少し大きな3Bモデルにアクセスできるようになり、パフォーマンスが向上します。最高の体験のために、8GBのRAMを搭載したiPhone 15 Pro以降の使用をお勧めします。これらのデバイスは、Llama 3.1 8BやQwen 2.5 7Bのような大きなモデルを簡単に実行できます。Private LLMは技術的にはiPhone 12より古いデバイスにもインストールできますが、古いハードウェアでは体験が大幅に制限されることがユーザーフィードバックで示されているため、そのようなデバイスでのアプリ購入は推奨していません。古いデバイスのユーザーでもアプリを購入することはできますが、サポートや最適なパフォーマンスは保証されません。

iPadでも状況は同様です。4GB以上のRAMを搭載したデバイスでは、ミドルレンジのiPhoneで動作するものに近いモデルを実行できます。最良の結果を得るには、16GB RAMを搭載した最上位のiPad Proが理想的です。Qwen 2.5 14BやGoogle Gemma 2 9Bのような、さらに大きなモデルにも対応できます。その余裕により、iPad ProはPrivate LLMを実行する有力な選択肢になります。

Macでは、Apple Siliconへの移行によりローカルAI性能の新しい基準が生まれました。Private LLMはIntel Macにもインストールできますが、はるかにスムーズな体験のためにApple Silicon搭載Macの使用を強くおすすめします。8GB RAMのApple Silicon Macでは、Llama 3.1 8BやQwen 2.5 7Bなど、最新のiPhoneで対応しているものに近いモデルを実行できます。最上位のiPad Proと同じく16GB RAMを搭載したMacでは、Qwen 2.5 14BやGoogle Gemma 2 9Bなど、さらに大きなモデルも扱えます。32GB RAMのMacでは、Phi 4やQwen 2.5 32Bのような大型モデルを実行でき、最高の体験を求めるなら、48GB以上のRAMを搭載したApple Silicon MacでLlama 3.3 70Bのようなモデルが最適な性能を発揮します。

Private LLMは、幅広いAppleデバイスにローカルAIの力をもたらすように設計されていますが、最高のパフォーマンスを得るには、より多くのメモリを搭載したデバイスを強くお勧めします。デバイスの互換性についてまだ不明な点がある場合や、さらにサポートが必要な場合は、Discordコミュニティに参加して、私たちや他のユーザーとつながりましょう！

Private LLMは、多様な言語ニーズに対応するため、さまざまなモデルを提供しています。ラインナップにはLlama 3、Qwen 2.5、Gemma 3の各ファミリーが含まれ、いずれも複数の言語に対応しています。Llama 3は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語に強く、Qwen 2.5は中国語、英語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語、日本語、韓国語、ベトナム語、タイ語、アラビア語を含む29以上の言語に対応し、Gemma 3は世界中の140以上の言語をサポートします。英語以外の特定言語に合わせたモデルを探しているユーザー向けに、Private LLMではドイツ語向けのSauerkrautLM Gemma 2 2B IT、ヘブライ語向けのDictaLM 2.0 Instruct、日本語向けのRakutenAI 7B Chat、中国語向けのYi 6B ChatまたはYi 34B Chatなども用意しています。この幅広い選択肢により、ユーザーは自分の言語要件に最も合うモデルを選べます。

Private LLMは、OmniQuantやGPTQのような高度な量子化戦略を利用することで、優れたテキスト生成品質とパフォーマンスを保証します。これには、GPU上で各モデルを慎重に量子化するために何時間もかかります。この細心のプロセスにより、モデルの重み分布がより効果的に保存され、推論の高速化、モデルの忠実度の向上、より高品質なテキスト生成が実現します。当社の3ビットOmniQuantモデルは、他のプラットフォームで使用されている4ビットRTN量子化モデルを上回るか、同等のパフォーマンスを発揮します。Hugging Faceからすぐに利用できるGGUFファイルをサポートするアプリとは異なり、Private LLMはモデルを自社で量子化し、速度、精度、品質のために最適化されていることを保証します。この厳格なアプローチは、Private LLMが有料アプリである理由の1つであり、より低速で能力の低いローカルAIチャットアプリと比較してはるかに優れた品質を提供します。

リリースノートに示されているように、ユーザーのフィードバックに基づいて定期的に新しいモデルをPrivate LLMに追加しています。特定のモデルをリクエストするには、Discordコミュニティに参加し、#suggestionsチャンネルで提案を共有してください。すべてのリクエストを確認し、人気のあるものを将来のアップデートに向けて優先順位付けします。

Private LLMは完全にサンドボックス化されたmacOSアプリであり、モデルはアプリのコンテナ内の~/Library/Containers/ie.numen.personalgpt/Data/Library/Application Support/ie.numen.personalgpt/modelsに保存されます。macOS Sequoia以降では、システムが大きなアプリを外部ディスクに移動する機能を利用できます。アプリを移動すると、その中に保存されているモデルも移動されます。Macの内部ストレージの空き容量が少なくなっている場合に、容量を解放するための推奨される方法です。

Private LLMは現在、ドキュメントやファイルの読み取り（一般的にRAG：検索拡張生成と呼ばれる機能）をサポートしていません。この機能には、モデルの回答を充実させるために外部ドキュメントを使用することが含まれますが、その有効性はコンテキスト長（モデルが単一のプロンプトで処理できるテキストの最大量）に大きく依存します。コンテキスト長が長いほど、より詳細で正確な回答が可能になりますが、特にローカルデバイスでは計算負荷が高くなります。Ollamaのような競合他社は通常2kトークンのデフォルトコンテキスト長をサポートし、LM Studioは1500トークンのコンテキスト長をデフォルトとしています。これに対し、Private LLMはiPhoneとiPadで8Kトークン、Macでは驚異的な32Kトークンを提供しており、この点において最も有能なローカルAIソリューションの1つとなっています。しかし、Private LLMを含むすべての現在のローカルAI実装は、長いテキストコンテンツを処理する際にハルシネーションの問題に直面しています。この制限は、広範または不完全な入力によって圧倒されたときに、モデルが不正確または捏造された情報を生成する可能性があるために発生します。Private LLMのOmniQuant量子化は、競合他社が使用するRTN量子化と比較してハルシネーションを大幅に削減しますが、完全になくすわけではありません。将来的にドキュメント読み取り機能を導入することを目指していますが、現在はサーバーベースのソリューションの方が、より長いコンテキスト長と計算需要を処理する能力が高いため、RAGにおいて最も信頼性の高い結果を提供します。

まったくできません。Private LLMはプライバシーの確保を重視しており、機能の実行やリアルタイムデータへのアクセスにインターネット接続を使わず、完全にオフラインで動作します。インターネット接続が必要になるのは、アップデートや新しいモデルをダウンロードすることを選んだ場合だけです。その際も個人データが収集、送信、交換、収集されることはありません。私たちのプライバシーに対する考え方は、Appleの厳格なプライバシーとセキュリティのガイドラインに沿っており、アプリは高いデータ保護基準を守っています。なお、ユーザーがPrivate LLMにインターネットへアクセスできるか尋ねた場合、モデルのハルシネーションにより、アクセスできるかのような回答が返ることがあります。しかし、これらの回答を事実として受け取るべきではありません。Private LLMのプライバシー保証を自分で確認したい場合は、Little Snitchのようなネットワーク監視ツールの使用をおすすめします。そうすれば、このアプリが厳格なプライバシー制御を維持していることを自分の目で確認できます。リアルタイム情報にアクセスしたい場合、Private LLMはApple Shortcutsと連携できるため、RSSフィード、Webページ、Calendar、Reminders、Notesなどのアプリからデータを取り込めます。この機能により、オフラインかつプライバシー優先という方針を保ちながら、現在のデータをPrivate LLMとのやり取りに取り入れる工夫ができます。ご質問や補足説明が必要な場合は、遠慮なくお問い合わせください。

はい。ローカルLLMでは、プロンプトと会話がデバイス上で処理され、サーバーに送信されることはありません。そのため、通信中に傍受されるものも、他社のクラウドに残るチャット履歴もありません。Private LLMはアカウント不要で個人データを収集せず、AppleのApp Storeサンドボックス内で動作します。法務、医療、機密性の高いビジネス上の質問など、扱いに注意が必要な作業では、推論をオンデバイスに保つことで、クラウドAIに伴う露出を避けられます。ローカルLLMでも誤りやハルシネーションは起こり得るため、重要な回答は確認してください。

Private LLMは、長いテキストの段落を数秒で分析して要約できます。コンテンツを貼り付けるだけで、AIがすべてオフラインで簡潔な要約を生成します。以下のようなプロンプトを使用して、リライトや言い換えにPrivate LLMを使用することもできます：

• これの要約を教えて：[ここにコンテンツを貼り付け]
• あなたは熟練したコピーライターです。以下を自分の言葉で言い換えてください：[コンテンツを貼り付け]
• 以下のテキストを、より独創的に聞こえるように言い換えてください：[コンテンツを貼り付け]

もちろんです。Private LLMは提案やアイデアを生成できるため、ブレインストーミングや問題解決に役立ちます。Private LLMに試せるブレインストーミング用プロンプトの例をいくつか紹介します。自由に試して、自分だけのプロンプトも作ってみてください。

• SF小説の潜在的なテーマをいくつか教えてくれませんか？
• ヴィーガン向けのファストフード店を開こうと考えています。このアイデアの弱点は何ですか？
• PMF（プロダクトマーケットフィット）のある製品を1つ持つ、設立2年のソフトウェア開発スタートアップを運営しています。非常に異なる市場で新しいソフトウェア製品を導入する予定です。6つの帽子思考法を使ってこれを分析してください。
• ゴールデンサークルモデルを活用して、経営コンサルティングビジネスのための強力なブランドを作成してください。

サンプリングのTemperatureとTop-Pは、すべての自己回帰型因果デコーダー専用トランスフォーマー（別名GPT）モデルの汎用的な推論パラメータであり、Private LLM固有のものではありません。アプリでは妥当なデフォルト値（Temperatureは0.7、Top-pは0.95）に設定されていますが、いつでも調整して結果を確認できます。これらのパラメータの変更は、アプリを再起動するまで反映されないことに注意してください。

これらのパラメータは、決定論的なテキスト生成と創造性の間のトレードオフを制御します。低い値は退屈ですが一貫性のある回答につながり、高い値は創造的ですが時折支離滅裂な回答につながります。

はい。Private LLMには、SiriおよびShortcutsアプリで使用できる2つのアプリインテントがあります。Shortcutsアプリ内でPrivate LLMを探してください。さらに、Private LLMは x-callback-url 仕様もサポートしており、これは Shortcuts や他の多くのアプリでもサポートされています。Private LLMのx-callback-url機能を使用した ショートカットの例 はこちらです。

バックグラウンド処理に関するiOSとmacOSの機能差は、主にAppleのハードウェア使用ポリシーに由来します。iOSでは、GPUを集中的に使うタスクのバックグラウンド実行がAppleによって制限されています。この制限は、バッテリー寿命を保ち、システム性能を維持するために設けられています。Appleのガイドラインによると、バックグラウンドでMetal kernelを実行しようとするアプリは、許可されていないリソース使用を防ぐために即座に終了されます。Private LLMでは、macOSではGPUを活用してバックグラウンドで処理を実行できますが、iOS版ではアプリがフォアグラウンドにない場合、CPU処理に制限されます。Private LLMのAI駆動タスクをCPUで実行することは技術的には可能ですが、GPU処理と比べて10倍以上遅くなります。そのCPU依存の速度は、私たちが提供したい体験ではありません。将来のiOSアップデートで、Private LLMのようなアプリに対するGPUアクセスの可能性を含め、バックグラウンドプロセスがシステムリソースを利用する方法にもう少し柔軟性が生まれることを期待しています。それまでは、現在の制約の中でiOSアプリの最適化を続け、デバイスの健全性やアプリの効率を損なわずに、できる限り高い性能を得られるようにします。詳しい技術情報については、Metalアプリをバックグラウンドで実行する準備に関するAppleの公式ドキュメントを参照してください: Apple Developer Documentation。

iOS 26では、新しいバックグラウンドGPUアクセス権限（com.apple.developer.background-tasks.continued-processing.gpu）が導入されました。ただし、これはアプリ内からの直接的なユーザー操作（タップ、スワイプなど）の後にのみ有効になるため、ショートカットからローカルLLMを完全にバックグラウンドで実行することはできません。

一度購入すれば、すべてのAppleデバイスでPrivate LLMをダウンロードして使用できます。ファミリー共有をサポートしているため、家族と共有することも可能です。

返金を検討されているとのこと、残念です。Apple App Storeを通じて返金をリクエストできます。Appleアカウントの購入履歴に移動し、Private LLMを見つけて「問題を報告する」をクリックして返金プロセスを開始してください。また、どのように改善できるかについて、ぜひご意見をお聞かせください。フィードバックを添えてお問い合わせください。

Private LLMでモデルのダウンロードに問題がある場合、それは多くの場合、当社のモデルがホストされているHugging Faceとの一時的な接続の問題が原因です。Hugging Faceのステータスページをすぐに確認して、進行中の停止がないか確認できます。場合によっては、企業、学校、または国家のファイアウォールによるネットワーク制限がHugging Faceへのアクセスを制限し、ダウンロードに影響を与えることがあります。そのようなネットワーク上にいる場合は、自宅のWi-Fiやモバイルホットスポットに切り替えるか、VPNを使用してこれらの制限を回避することをお勧めします。

中国または香港のユーザーの場合、デバイスのロケールがこれらの地域に設定されていると、Private LLMは自動的にhf-mirror.comに切り替わり、ダウンロードの信頼性を向上させます。これにより、追加のセットアップなしでスムーズなアクセスを確保できます。

接続を確認しても問題が解決しない場合は、アプリまたはデバイスを再起動してみてください。継続的な問題については、Discordコミュニティに参加し、サポートチャンネルで詳細を共有してください。いつでもトラブルシューティングのお手伝いをします！

Private LLMでモデルを読み込もうとすると、「モデルの読み込み中にクラッシュしたため、組み込みモデルにフォールバックします」というエラーメッセージが表示されることがあります。これは通常、選択したモデルを読み込むための十分なメモリがデバイスにない場合に発生します。これらのクラッシュは、デバイスのRAMが限られている、他のアプリがバックグラウンドで大量のメモリを使用している、または複数のリソースを大量に消費するプロセスが同時に実行されているために発生する可能性があります。この問題を解決するには、まずメモリを大量に消費するバックグラウンドアプリを閉じてみてください。Private LLMを再起動しても問題が解決しない場合は、より小さなモデルに切り替えるか、デバイスを再起動してメモリをクリアするか、モデルの推奨RAM要件をデバイスが満たしているかを確認してください。これらの解決策を試してもクラッシュが続く場合は、デバイスの能力により適した小さなモデルの使用を検討してください。

デバイスのメモリ不足、またはPrivate LLMに与えられたタスクが特に複雑な場合に発生する可能性があります。そのような場合は、バックグラウンドで実行されているメモリを大量に消費するアプリを閉じるか、リクエストをLLMが処理しやすい小さなタスクに分割してみてください。後者の場合、単に「続けて」「Go on」または「教えて」と返信するだけでも機能します。

はい、Private LLMはAndroid向けに早期ベータ版として利用可能になりました！Appleデバイス向けの最高のAI体験を提供することに重点を置いていますが、プライバシーとオフラインAIを重視するより多くのユーザーにサービスを提供するためにAndroidに拡大しています。Androidバージョンは現在、直接APKダウンロードとして利用可能であり（Google Playストアにはまだありません）、iOS/macOSバージョンのコア機能の多くが含まれています。これは早期ベータリリースであるため、成熟したAppleプラットフォームバージョンと比較して、いくつかの制限や安定性の問題が発生する可能性があります。フィードバックを共有し、問題を報告し、Android体験を改善するために、Discordコミュニティに参加することを強くお勧めします。この段階でのご意見は、Google Playストアでのフルリリースに向けて取り組む上で非常に貴重です。APKは当社のWebサイトからダウンロードできます。