Private LLM FAQ: локальный ИИ на iPhone, iPad и Mac

Private LLM: ваш личный ИИ-чат-бот, созданный ради приватности, удобства и творчества. Он работает полностью офлайн на iPhone, iPad и Mac, обеспечивая безопасность и конфиденциальность ваших данных. Private LLM покупается в App Store один раз и дает неограниченный доступ без абонентской платы. Примечание: мы ненавидим подписки и не будем заставлять наших пользователей терпеть то, что ненавидим сами.

Во-первых, Private LLM выделяется среди других локальных ИИ-решений передовыми методами квантования моделей, такими как OmniQuant и GPTQ. В отличие от наивного квантования Round-To-Nearest (RTN), используемого в конкурирующих приложениях на базе MLX и llama.cpp, OmniQuant и GPTQ основаны на оптимизации. Они позволяют более точно контролировать диапазон квантования, эффективно сохраняя целостность исходного распределения весов. В результате Private LLM достигает превосходной производительности и точности, почти соответствуя уровню неквантованной 16-битной модели (fp16), но со значительно меньшими вычислительными требованиями при инференсе.

Хотя квантование моделей с помощью OmniQuant и GPTQ требует больших вычислительных ресурсов, это оправданная инвестиция. Такой продвинутый подход позволяет удерживать перплексию (показатель качества генерации текста моделью) квантованной модели гораздо ближе к исходной модели fp16, чем это возможно при простом квантовании RTN. Благодаря этому качество генерации текста на устройстве остается высоким, и именно это отличает Private LLM от похожих приложений.

Во-вторых, в отличие от почти всех других конкурирующих офлайн-приложений, Private LLM не основан на llama.cpp или MLX. Это означает, что продвинутые функции, недоступные в llama.cpp и MLX (и, как следствие, в приложениях на их основе), такие как attention sinks и sliding window attention, доступны в Private LLM, но отсутствуют[1] в других приложениях. Это также означает, что наше приложение значительно быстрее конкурентов на том же оборудовании (видео на YouTube со сравнением производительности).

Наконец, мы инженеры по машинному обучению и тщательно настраиваем квантование и параметры каждой модели, чтобы максимизировать качество генерации текста. Например, мы не квантуем эмбеддинги и gate-слои в моделях Mixtral, потому что их квантование плохо влияет на перплексию (не говоря уже о том, что конкуренты квантуют всё подряд). Аналогично с моделями Gemma: квантование weight-tied эмбеддингов вредит перплексии, поэтому мы этого не делаем (в то время как конкуренты делают). Также в модели Microsoft Phi 4 мы выборочно оставляем несколько критических слоев неквантованными (динамическое квантование) для поддержания оптимального качества генерации.

Private LLM ставит во главу угла точность и вычислительную эффективность, не жертвуя приватностью и работой офлайн, поэтому пользователи iOS и macOS получают приватный ИИ, который полностью работает на их собственных устройствах.

Private LLM создан двумя разработчиками на собственные средства, без венчурного финансирования. Наши конкуренты, такие как Ollama и LM Studio, существуют на деньги венчурных инвесторов. У некоторых из них в условиях использования спрятаны обременительные пункты, которые запрещают использование в коммерческих или производственных целях. Мы никак не ограничиваем то, как пользователи работают с нашим приложением. Наша модель разовой оплаты не идеальна и имеет свои минусы, например, невозможность покупать рекламу, посты у инфлюенсеров и золотые галочки в Twitter. Но обратная сторона в том, что у нас нет давления со стороны венчурных капиталистов, требующих агрессивно следить за пользователями и монетизировать их; и мы можем на 100% сосредоточиться на создании продукта для наших пользователей и нас самих.

В Private LLM мы ставим во главу угла качество и независимость. Для достижения превосходной производительности мы тщательно квантуем каждую модель, используя передовые методы, такие как OmniQuant и GPTQ. Этот процесс требует значительных ресурсов, включая аренду GPU, которые стоят денег. Все наши конкуренты используют квантование RTN (round to nearest), которое очень дешево с точки зрения ресурсов, но дает квантованные модели низкого качества. Как малый независимый бизнес, мы тратим много времени и ресурсов на квантование моделей с помощью SOTA-алгоритмов, потому что это стоящий компромисс в плане качества. В результате работа с ИИ в Private LLM не знает равных по точности и скорости.

Еще одна ключевая ценность Private LLM: конфиденциальность. Мы обрабатываем всё локально на вашем устройстве, без сбора данных или отслеживания. Сделать такое заявление непросто, особенно если компанию финансируют венчурные инвесторы и от нее требуют искать масштабируемые источники дохода. Оставаясь независимыми, мы гарантируем, что ваши данные всегда остаются приватными.

Бесплатные продукты могут казаться заманчивыми, особенно когда инфлюенсеры агрессивно их рекламируют, но на самом деле они часто обеспечивают низкое качество генерации текста. Private LLM использует другой подход, предлагая генерацию текста, которая на голову выше в плане связности, точности и контекста. Взимая разовую плату, Private LLM предоставляет ИИ-решение, ориентированное на пользователя, ставящее конфиденциальность на первое место и обеспечивающее высокое качество текста, к которому наши конкуренты даже близко не могут подойти.

Private LLM работает офлайн и использует модель типа decoder-only transformer (также известную как GPT), с которой можно свободно общаться. Он также поможет кратко пересказать текст, предложит творческие идеи и расскажет о самых разных темах.

Private LLM входит в число ведущих приложений для локального ИИ на устройствах Apple. Он запускает модели с открытыми весами полностью на устройстве, без аккаунта, без облака и без подписки. Подбирайте модель под свое устройство: большинство iPhone запускают Llama 3.2 3B или Qwen3 4B, iPhone 15 Pro и новее запускают Llama 3.1 8B, а Mac с Apple Silicon и 48 ГБ памяти запускает Llama 3.3 70B. В Private LLM есть квантование GPTQ и OmniQuant, настроенное для каждой модели, поэтому его 3-битные модели OmniQuant на том же устройстве не уступают 4-битным моделям RTN из приложений на базе llama.cpp. Одна покупка действует на iPhone, iPad и Mac, а через «Семейный доступ» приложением могут пользоваться до шести человек.

Запуск больших языковых моделей (LLM) на устройстве требует много памяти: для эффективной загрузки и выполнения моделей нужен значительный объем ОЗУ. Более того, Private LLM обычно не единственное приложение, работающее на вашем iPhone, iPad или Mac. Другие приложения, особенно ресурсоемкие, могут конкурировать за системные ресурсы, влияя на производительность Private LLM.

На iPhone старые устройства, такие как iPhone SE 2-го поколения (3 ГБ ОЗУ), могут запускать небольшие модели, например Llama 3.2 1B и Qwen 2.5 0.5B/1.5B, но возможности будут ограничены из-за аппаратных характеристик. Начиная с iPhone 12 (4 ГБ ОЗУ), производительность улучшается и становятся доступны чуть более крупные модели 3B. Для наилучших результатов мы рекомендуем iPhone 15 Pro или новее с 8 ГБ ОЗУ. Эти устройства легко запускают более крупные модели, такие как Llama 3.1 8B или Qwen 2.5 7B. Хотя Private LLM технически можно установить на устройства старше iPhone 12, мы больше не рекомендуем покупать приложение для таких устройств, так как отзывы пользователей показали, что устаревшее оборудование сильно ограничивает возможности. Пользователи со старыми устройствами все еще могут купить приложение, но поддержка и оптимальная производительность не гарантируются.

На iPad ситуация похожая. Устройства минимум с 4 ГБ ОЗУ могут запускать модели, сопоставимые с теми, что работают на iPhone среднего уровня. Для лучших результатов оптимален топовый iPad Pro с 16 ГБ ОЗУ: он поддерживает еще более крупные модели, например Qwen 2.5 14B или Google Gemma 2 9B. Благодаря такому запасу памяти iPad Pro отлично подходит для запуска Private LLM.

На Mac переход на Apple Silicon задал новые ориентиры производительности для локального ИИ. Хотя Private LLM можно установить на Mac с Intel, мы настоятельно рекомендуем использовать Mac на базе Apple Silicon, чтобы получить заметно более плавную работу. На Mac с Apple Silicon и 8 ГБ ОЗУ можно запускать модели, сопоставимые с теми, что поддерживаются на новейших iPhone, например Llama 3.1 8B и Qwen 2.5 7B. Mac с 16 ГБ ОЗУ, как и топовый iPad Pro, справляются с еще более крупными моделями, такими как Qwen 2.5 14B или Google Gemma 2 9B. С 32 ГБ ОЗУ Mac могут запускать более крупные модели вроде Phi 4, Qwen 2.5 32B, а для максимальных возможностей Mac с Apple Silicon и минимум 48 ГБ ОЗУ дают оптимальную производительность с моделями вроде Llama 3.3 70B.

Private LLM создан, чтобы дать возможности локального ИИ самым разным устройствам Apple, но для лучшей производительности мы настоятельно рекомендуем устройства с большим объемом памяти. Если вы все еще не уверены, подойдет ли ваше устройство, или нужна помощь, присоединяйтесь к нашему Discord-сообществу: там помогут и мы, и другие пользователи!

Private LLM предлагает разные модели для разных языковых задач. В подборку входят семейства Llama 3, Qwen 2.5 и Gemma 3, все они поддерживают несколько языков. Llama 3 хорошо работает с английским, немецким, французским, итальянским, португальским, хинди, испанским и тайским; Qwen 2.5 поддерживает более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский; а Gemma 3 поддерживает более 140 языков по всему миру. Для пользователей, которым нужны модели, адаптированные под конкретные неанглийские языки, Private LLM предлагает SauerkrautLM Gemma 2 2B IT для немецкого, DictaLM 2.0 Instruct для иврита, RakutenAI 7B Chat для японского, а также Yi 6B Chat или Yi 34B Chat для китайского. Такой выбор позволяет подобрать модель, которая лучше всего соответствует вашим языковым требованиям.

Private LLM обеспечивает превосходное качество генерации текста и производительность за счет использования продвинутых стратегий квантования, таких как OmniQuant и GPTQ, которые требуют многих часов для тщательного квантования каждой модели на GPU. Этот кропотливый процесс более эффективно сохраняет распределение весов модели, что приводит к более быстрому инференсу, улучшенной точности модели и более качественной генерации текста. Наши 3-битные модели OmniQuant превосходят или соответствуют производительности 4-битных моделей RTN, используемых другими платформами. В отличие от приложений, поддерживающих готовые файлы GGUF с Hugging Face, Private LLM квантует модели самостоятельно, гарантируя их оптимизацию по скорости, точности и качеству. Такой строгий подход и есть одна из причин, по которым Private LLM платный: его качество гораздо выше, чем у более медленных и слабых локальных ИИ-чатов.

Мы регулярно добавляем новые модели в Private LLM на основе отзывов пользователей, как показано в нашей истории версий. Чтобы запросить конкретную модель, присоединитесь к нашему Discord-сообществу и поделитесь предложением в канале #suggestions. Мы рассматриваем все запросы и приоритизируем популярные для будущих обновлений.

Private LLM для macOS работает полностью в песочнице (sandboxed), поэтому модели хранятся внутри контейнера приложения по адресу: ~/Library/Containers/ie.numen.personalgpt/Data/Library/Application Support/ie.numen.personalgpt/models. В macOS Sequoia и новее вы можете воспользоваться системной возможностью перемещения больших приложений на внешний диск. Вместе с приложением переместятся и хранящиеся в нем модели. Это рекомендуемый способ освободить место, если внутренняя память Mac заканчивается.

В настоящее время Private LLM не поддерживает чтение документов или файлов (эту функцию часто называют Retrieval-Augmented Generation, RAG). Эта функциональность предполагает использование внешних документов для обогащения ответов модели, но ее эффективность сильно зависит от длины контекста, то есть максимального объема текста, который модель может обработать за один промпт. Большая длина контекста позволяет получать более детальные и точные ответы, но требует много вычислений, особенно на локальных устройствах. Конкуренты, такие как Ollama, обычно поддерживают длину контекста по умолчанию в 2k токенов, а у LM Studio по умолчанию 1500 токенов. Для сравнения, Private LLM предоставляет 8K токенов на iPhone и iPad и впечатляющие 32K токенов на Mac, что делает его одним из самых мощных локальных ИИ-решений в этом отношении. Однако все текущие локальные ИИ-реализации, включая Private LLM, сталкиваются с галлюцинациями при обработке длинного текстового контента. Это ограничение возникает из-за того, что модели могут генерировать неверную или вымышленную информацию, когда перегружены обширным или неполным вводом. Квантование OmniQuant в Private LLM значительно снижает количество галлюцинаций по сравнению с RTN-квантованием, используемым конкурентами, но не устраняет их полностью. Хотя мы планируем внедрить возможности чтения документов в будущем, серверные решения в настоящее время предлагают наиболее надежные результаты для RAG, так как они лучше приспособлены для обработки больших длин контекста и вычислительных нагрузок.

Конечно нет. Private LLM создан так, чтобы защищать вашу приватность: он работает исключительно офлайн, без доступа к интернету для своих функций и к данным в реальном времени. Подключение к интернету требуется только если вы решите загрузить обновления или новые модели, при этом никакие персональные данные не собираются, не передаются и не обмениваются. Наш подход к конфиденциальности соответствует строгим требованиям Apple к конфиденциальности и безопасности, а наше приложение соблюдает самые высокие стандарты защиты данных. Стоит отметить, что иногда пользователи спрашивают, может ли Private LLM выходить в интернет, и модель может галлюцинировать, что может. Однако такие ответы не следует считать достоверными. Если вы хотите самостоятельно проверить гарантии конфиденциальности Private LLM, рекомендуем использовать инструменты мониторинга сети, например Little Snitch. Так вы сможете сами убедиться, что наше приложение соблюдает строгие меры защиты конфиденциальности. Тем, кому нужен доступ к информации в реальном времени, Private LLM работает с Apple Shortcuts, позволяя получать данные из RSS-лент, веб-страниц и даже приложений вроде «Календаря», «Напоминаний», «Заметок» и других. Эта функция позволяет творчески добавлять актуальные данные в ваши взаимодействия с Private LLM, сохраняя при этом его ориентированный на конфиденциальность офлайн-подход. Если у вас есть вопросы или нужна дополнительная информация, пожалуйста, свяжитесь с нами.

Да. С локальной LLM промпты и разговоры обрабатываются на вашем устройстве и никогда не отправляются на сервер, поэтому при передаче перехватывать нечего, а история чатов не хранится в чужом облаке. Private LLM не требует аккаунта, не собирает персональные данные и работает внутри песочницы App Store. Для чувствительных задач, например юридических, медицинских или конфиденциальных рабочих вопросов, обработка на устройстве помогает избежать рисков, связанных с облачным ИИ. Локальные LLM все равно могут ошибаться или галлюцинировать, поэтому проверяйте важные ответы.

Private LLM может анализировать и кратко пересказывать длинные тексты за секунды. Просто вставьте контент, и ИИ создаст краткое резюме, полностью офлайн. Вы также можете использовать Private LLM для перефразирования с помощью промптов вроде:

• Дай краткую выжимку (TLDR) этого текста: [вставьте контент здесь]
• Ты эксперт-копирайтер. Пожалуйста, перефразируй следующее своими словами: [вставьте контент]
• Перефразируй следующий текст так, чтобы он звучал более оригинально: [вставьте контент]

Конечно! Private LLM может предлагать идеи и варианты решений, поэтому он полезен для брейнсторминга и решения задач. Вот несколько примеров промптов для брейнсторминга, которые можно попробовать в Private LLM. Экспериментируйте и пробуйте собственные промпты.

• Можешь предложить несколько тем для научно-фантастического романа?
• Я планирую открыть веганский фастфуд-ресторан. Какие слабые стороны у этой идеи?
• Я управляю двухлетним софтверным стартапом с одним продуктом, который нашел PMF, и планирую запуск нового продукта на совсем другом рынке. Проанализируй это методом шести шляп.
• Используй модель «Золотой круг» (Golden Circle), чтобы создать сильный бренд для компании в сфере управленческого консалтинга.

Sampling temperature и Top-P относятся к универсальным параметрам инференса для всех авторегрессионных моделей типа decoder-only transformer (GPT), а не к особенностям Private LLM. В приложении установлены разумные значения по умолчанию (0,7 для температуры и 0,95 для Top-P), но вы всегда можете настроить их и посмотреть, что получится. Учтите, что изменения вступают в силу только после перезапуска приложения.

Эти параметры управляют балансом между детерминированной генерацией текста и креативностью. Низкие значения дают скучные, но связные ответы, а высокие делают ответы креативными, но иногда несвязными.

Да. У Private LLM есть два действия (App Intents), которые можно использовать с Siri и приложением «Команды». Найдите Private LLM в приложении «Команды». Кроме того, Private LLM поддерживает спецификацию x-callback-url, которая также поддерживается приложением «Команды» и многими другими приложениями. Вот пример быстрой команды, использующей функциональность x-callback-url в Private LLM.

Разница в фоновой обработке на iOS и macOS в основном связана с политиками Apple по использованию аппаратных ресурсов. На iOS Apple ограничивает фоновое выполнение задач, которые активно используют GPU. Это ограничение нужно для сохранения заряда батареи и стабильной производительности системы. Согласно правилам Apple, приложения, которые пытаются запускать Metal kernel в фоне, будут немедленно завершены, чтобы предотвратить неразрешенное использование ресурсов. В Private LLM мы можем выполнять операции в фоне на macOS с использованием GPU, но версии для iOS ограничены обработкой на CPU, когда приложение не находится на переднем плане. Технически задачи ИИ в Private LLM можно выполнять на CPU, но это будет намного медленнее: более чем в 10 раз по сравнению с обработкой на GPU. Выпускать приложение с такой скоростью мы не хотим. Мы надеемся, что будущие обновления iOS дадут больше гибкости в том, как фоновые процессы могут использовать системные ресурсы, включая возможный доступ к GPU для приложений вроде Private LLM. До тех пор мы продолжаем оптимизировать приложение для iOS в текущих ограничениях, чтобы вы получали максимально возможную производительность без ущерба для состояния устройства и эффективности приложений. Дополнительные технические сведения можно найти в официальной документации Apple о подготовке Metal-приложения к работе в фоне: Apple Developer Documentation.

В iOS 26 появился новый entitlement для фонового доступа к GPU (com.apple.developer.background-tasks.continued-processing.gpu). Однако он активируется только после прямого действия пользователя (нажатие, свайп и т. д.) внутри приложения, поэтому запускать локальные LLM из Shortcuts полностью в фоне он не позволит.

После разовой покупки вы можете скачать и использовать Private LLM на всех своих устройствах Apple. Приложение поддерживает Семейный доступ, так что им можно поделиться с членами семьи.

Жаль, что вы задумались о возврате средств. Вы можете запросить его через Apple App Store. Просто перейдите в историю покупок вашего аккаунта Apple, найдите Private LLM и нажмите «Сообщить о проблеме», чтобы начать процесс возврата. Мы также будем рады узнать, как нам стать лучше. Пожалуйста, свяжитесь с нами и поделитесь отзывом.

Если у вас не получается скачать модели в Private LLM, чаще всего причина во временных проблемах соединения с Hugging Face, где размещены наши модели. Вы можете быстро проверить страницу статуса Hugging Face, чтобы увидеть, есть ли текущие сбои. Иногда доступ к Hugging Face ограничивают корпоративные, школьные или государственные файерволы, и это мешает скачиванию. Если вы в такой сети, подключитесь к домашнему Wi-Fi или мобильной точке доступа либо используйте VPN, чтобы обойти эти ограничения.

Для пользователей в Китае и Гонконге Private LLM автоматически переключается на hf-mirror.com, если в настройках устройства выбран один из этих регионов: так скачивание работает надежнее. Ничего дополнительно настраивать не нужно.

Если проблемы остаются и после проверки соединения, попробуйте перезапустить приложение или устройство. Если ничего не помогло, заходите в наше Discord-сообщество и опишите проблему в канале поддержки: мы всегда рядом и поможем разобраться!

При попытке загрузить модели в Private LLM вы можете иногда видеть сообщение об ошибке: «Falling back on built-in model due to a crash while loading the model.» Обычно это происходит, когда на устройстве недостаточно свободной памяти для загрузки выбранной модели. Такие вылеты могут случаться, потому что на устройстве мало свободной оперативной памяти, другие приложения используют много памяти в фоне или одновременно запущено несколько ресурсоемких процессов. Чтобы решить эту проблему, сначала попробуйте закрыть ресурсоемкие фоновые приложения. Если проблема сохраняется после перезапуска Private LLM, вы можете переключиться на меньшую модель, перезагрузить устройство для очистки памяти или проверить, соответствует ли устройство рекомендуемым требованиям к ОЗУ для модели. Если вылеты продолжаются и после этого, выберите модель поменьше, которая лучше соответствует возможностям вашего устройства.

Это может быть связано с нехваткой памяти на устройстве или с особенно сложной задачей. В таких случаях попробуйте закрыть ресурсоемкие приложения, работающие в фоне, и разбить запрос на более мелкие, управляемые задачи. В последнем случае также помогает просто ответить «Continue», «Go on» или «Tell me».

Да, Private LLM теперь доступен для Android в виде ранней бета-версии! Мы по-прежнему в первую очередь делаем лучший ИИ для устройств Apple, но выходим на Android, чтобы приложением могли пользоваться больше людей, которые ценят конфиденциальность и офлайн-ИИ. Версию для Android пока можно скачать только как APK напрямую (в Google Play Store ее еще нет), и в ней есть многие ключевые функции версий для iOS/macOS. Поскольку это ранняя бета-версия, вы можете столкнуться с некоторыми ограничениями или проблемами стабильности по сравнению с более зрелыми версиями для платформ Apple. Мы настоятельно рекомендуем присоединиться к нашему Discord-сообществу, чтобы поделиться отзывом, сообщить о проблемах и помочь нам улучшить версию для Android. Ваши отзывы на этом этапе невероятно ценны, пока мы готовим полноценный релиз в Google Play Store. Скачать APK можно на нашем сайте.