AI-инструменты, которые работают локально — мечта каждого криэйтора и предпринимателя, ценящего приватность и контроль над своими продуктами. Но до сих пор запуск серьёзных моделей прямо на Mac казался чем-то сложным: то ресурсов не хватает, то всё слишком медленно, то нужно разбираться в десятках библиотек. Но тут на сцену выходит RunAnywhere с открытым голосовым движком RCLI и собственным inference-движком MetalRT, которые разрушают старые ограничения.
Что произошло?
Команда RunAnywhere (участники Y Combinator, лето 2026) выпустила ультрабыстрый движок для запуска крупных языковых моделей (LLM), распознавания и синтеза речи прямо на маках с чипами Apple Silicon (M1, M2, M3, M4). И не просто выпустила — они показали, что их движок быстрее всех известных альтернатив: llama.cpp, Apple MLX, Ollama, sherpa-onnx.
Более того, они открыли исходники RCLI — голосового ассистента, который работает полностью офлайн, без облака, API-ключей и переживаний за приватность. Это целая платформа: от микрофона — до готового ответа голосом, всё на вашем устройстве.
Чем это отличается от того, что уже есть?
В мире Apple Silicon давно есть разные способы запускать нейросети: кто-то использует llama.cpp, кто-то пробует Apple MLX, кто-то берет Ollama. Но все эти решения сталкиваются с одной и той же проблемой — скоростью. Особенно когда вы хотите построить не просто текстового бота, а полноценный голосовой интерфейс: распознать речь, обработать запрос LLM, синтезировать ответ вслух.
RunAnywhere подошли радикально: они ушли от всех промежуточных слоёв, которые обычно тормозят запуск моделей. Вместо этого — собственные шейдеры Metal (графический API под Mac), zero-alloc (никаких лишних выделений памяти во время работы), и единый движок сразу для трёх задач: STT (speech-to-text), LLM и TTS (text-to-speech).
Почему это важно для AI-криэйторов и маркетологов?
- Локальный запуск = максимальная приватность. Не нужно отправлять клиентские данные на сторонние серверы.
- Отключение от облака = независимость и экономия. Нет необходимости платить за API-лимиты или переживать о доступности сторонних сервисов.
- Молниеносная скорость = новый пользовательский опыт. Быстрое распознавание, моментальный ответ, отсутствие лагов — это совсем другой уровень интерактивности.
- Открытый исходный код = максимальная гибкость. Можно модифицировать и интегрировать под свои нужды.
- Можно строить офлайн-продукты, которые раньше были невозможны. Например, голосовые ассистенты, локальные чат-боты для бизнеса, инструменты для слабозрячих, и даже автономные системы внутри приложений.
Цифры, которые впечатляют
Давайте по-честному: если бы RunAnywhere был просто «ещё одной тулзой», никто бы не обратил внимания. Но их результаты реально впечатляют:
- LLM-декодирование: до 1.67 раза быстрее llama.cpp, до 1.19 раза быстрее Apple MLX (на одних и тех же моделях).
- Распознавание речи (STT): 70 секунд аудио — за 101 миллисекунду. Это быстрее реального времени в 714 раз!
- Синтез речи (TTS): 178 мс на ответ, что в 2,8 раза быстрее, чем у mlx-audio.
- Time-to-first-token: 6.6 мс — практически мгновенно слушает, думает и отвечает.
Все тесты проводились на Mac с чипом M4 Max и 64 ГБ памяти, но на M1/M2 тоже можно запускать, только чуть медленнее.
Как это работает под капотом
MetalRT использует кастомные GPU-шейдеры для всех ключевых операций (матричные перемножения, attention, активации), минуя типичные прослойки вроде графовых планировщиков и менеджеров памяти. Всё компилируется заранее и исполняется напрямую на GPU. Это позволяет избежать засадок с задержками и вытянуть максимум производительности с чипов Apple.
RCLI — это open-source интерфейс, который связывает микрофон, LLM и синтезатор речи в единую цепочку. Три потока работают параллельно, данные передаются через lock-free ring buffers, а синтез речи идёт с двойным буфером — чтобы не было задержек даже при долгих запросах. Поддержка горячей замены моделей, TUI-интерфейс с показателями задержки, готовые экшены для macOS.
Возможности для продуктов и бизнеса
Давайте честно: голосовые интерфейсы превращаются из игрушки в обязательную часть современного ПО — от мобильных приложений до бизнес-ассистентов. Но до сих пор мало кто решался запускать такой ИИ офлайн из-за скорости и сложности.
Теперь это меняется:
- Быстрые офлайн-ассистенты: для приложений, где приватность критична (финансы, медицина, внутренние инструменты компаний).
- Интерактивные презентации и голосовые чат-боты: в залах, где нет интернета.
- Офлайн-помощники для бизнеса: автоматизация внутрянки, голосовые интерфейсы для автоматизации процессов, где данные нельзя выносить наружу.
- Дополнительные фичи для ваших AI-решений: интеграция с RCLI или MetalRT даст конкурентное преимущество.
Для маркетологов это тоже новые горизонты: теперь можно разрабатывать инструменты, которые работают мгновенно, не зависят от облака, и при этом их можно кастомизировать под нужды клиентов.
Как начать пользоваться?
Запустить RCLI на Mac проще простого. Всё делается через Homebrew или один bash-скрипт. Инструкцию можно найти на GitHub RunAnywhereAI/RCLI. После установки — скачиваются необходимые модели (около 1 ГБ), и вы сразу получаете локального голосового ассистента с мгновенной реакцией.
Огромный плюс — MIT-лицензия: можно использовать и в коммерческих, и в open source-проектах.
Кстати, если вы хотите системно разобраться в инструментах AI — посмотрите мои курсы. Там только практические фишки и разборы таких новинок.
Что делать прямо сейчас
- Если у вас Mac на Apple Silicon — попробуйте установить RCLI. Просто для эксперимента: brew или bash-скрипт — и у вас локальный голосовой AI.
- Продумайте, как можно использовать офлайн-голосовой AI в своём продукте. Где приватность и скорость — критичны? Какие новые фишки вы можете добавить?
- Изучите код RCLI и MetalRT. Даже если вы не планируете использовать их напрямую — там море идей по оптимизации локального inference.
- Проведите мини-исследование: как ваш продукт изменится, если избавиться от облака? Легче ли станет запускать демо, быстрее ли будет отклик, что изменится в UX?
- Следите за новыми публикациями RunAnywhere. Их подход к оптимизации — это тренд, который только набирает обороты.
По материалам Hacker News



