В этой статье:
Бриф статьи
Мощная AI-модель Alibaba теперь может работать прямо на вашем компьютере ― без облака и платных подписок. Рассказываем, как установить Qwen, какое железо понадобится и как ускорить ее работу в 5,5 раза.

Модель Qwen3.8-27B от Alibaba на 27 млрд параметров в таблице разработчиков набирает на SWE-bench Pro 61,7%. При этом в 4-битной версии она занимает около 17 ГБ и работает на домашнем компьютере с одной видеокартой. Веса модели открыты под лицензией Apache 2.0, допускающей коммерческое использование.

Сочетание оказалось востребованным. Модель преодолела 1 млн загрузок на Hugging Face за несколько дней, а в сообществе за ней закрепилось прозвище «локальный Opus». В LM Studio число загрузок модели превысило 1,6 млн.

Для пользователей главное в другом: Qwen3.8-27B ― одна из немногих моделей с результатами уровня закрытых флагманов прошлого поколения, которую можно запустить на компьютере с видеокартой на 24 ГБ или на Mac с 32 ГБ памяти. Данные при этом не покидают устройство ― это важно для работы с финансовыми данными и внутренней документацией проектов.

Редакция Incrypted разобралась, как устроена Qwen3.8-27B, что показывают бенчмарки разработчиков и независимых платформ и какое железо нужно для локального запуска. В практической части ― запуск модели через Ollama на компьютере с видеокартой на 12 ГБ, настройка, которая ускорила генерацию в 5,5 раза, и тест: генерация анимированной 3D-сцены в Blender одним скриптом.

  • Веса Qwen3.8-27B опубликованы на Hugging Face и ModelScope под лицензией Apache 2.0; модель также доступна в Ollama, LM Studio и через API Alibaba Cloud.
  • Характеристики: архитектура на 27,78 млрд параметров, прием текста, изображений и видео, нативный контекст 262 144 токена с расширением до 1 млн.
  • По умолчанию включен максимальный уровень рассуждений xhigh: модель тратит в разы больше токенов, чем аналоги. Для повседневных задач уровень стоит снижать.
  • В 4-битной квантизации модель занимает 17-18 ГБ и работает на видеокарте с 24 ГБ видеопамяти или на Mac с 32 ГБ памяти и больше.

Что такое Qwen3.8-27B и откуда она взялась

Qwen ― семейство языковых моделей Alibaba Cloud. Международную известность команда получила в 2025 году с гибридным семейством Qwen3.

С тех пор компания придерживается двухуровневой стратегии: веса малых и средних моделей публикуются открыто, а флагманы класса Max и Plus доступны через API.

Модели на 27 млрд параметров заняли в этой линейке отдельную нишу. Это максимальный размер плотной модели, который после квантизации помещается в одну потребительскую видеокарту. Qwen3.8-27B, по описанию Alibaba Cloud, построена на ее основе с улучшениями в программировании и офисных задачах.

Модель вышла в паре с флагманом Qwen3.8-Max на 2,4 трлн параметров. Вместе с 27B в открытый доступ вышла модель Qwen3.8-2.4T-A95B с 95 млрд активных параметров на токен.

Meet Qwen3.8-Max — our most capable model to date.

Next week, the open weights of Qwen3.8-Max will be released, and Qwen3.8-27B is also going open-weights to meet you all!

Qwen3.8-Max, a new bar for coding and cowork at 2.4T parameters:

— Autonomous coding: 10+ days of… pic.twitter.com/e3YFj2hqcT

— Qwen (@Alibaba_Qwen) August 3, 2026

Для домашнего запуска старшая модель недоступна: ее веса занимают 4,9 ТБ, а в экстремальной 1-битной квантизации ― около 397 ГБ. Поэтому основное внимание сообщества досталось именно 27B.

Архитектура: почему 27 млрд параметров помещаются в одну видеокарту

Qwen3.8-27B ― плотная модель: при генерации каждого токена задействованы все параметры. Это отличает ее от MoE-моделей вроде DeepSeek V4 или Kimi K3, где на токен активируется лишь небольшая часть сети. Плотная архитектура проще в развертывании и дообучении, но требует высокой пропускной способности памяти ― этим объясняются ограничения по скорости, о которых пойдет речь ниже.

Согласно карточке модели, сеть состоит из 64 слоев с размерностью 5 120. Ключевая особенность ― гибридное внимание. На практике это означает экономию памяти на длинном контексте. Видеокарта на 24 ГБ с 4-битной версией модели выдерживает контекст 64 000-96 000 токенов.

Контекст. Нативно ― 262 144 токена. С помощью масштабирования окно расширяется до 1 млн токенов, но разработчики предупреждают, что это может ухудшать качество на коротких запросах.

Мультимодальность. Встроенный визуальный энкодер принимает изображения и видео, включая ролики длительностью в несколько часов. Ответы модель выдает только текстом.

Данные и рецепт обучения, объем обучающего корпуса и дата отсечения знаний не раскрыты. Поэтому термин «полностью открытая модель» к релизу применим с оговоркой: открыты веса и код инференса, но не процесс создания.

Бенчмарки: заявления Alibaba и независимые замеры

В официальной таблице Qwen3.8-27B сравнивается с предшественницей Qwen3.6-27B, закрытой Qwen3.7-Plus, моделью Muse Glimmer-30B и Claude Opus 4.6 Max от Anthropic.

Официальная таблица Qwen3.8-27B. Данные: Huggingface.

Наибольший прирост относительно Qwen3.6-27B ― в агентных задачах. На DeepSWE 1.1 результат вырос с 13,3 до 42,2, на OSWorld-Verified, где модель управляет компьютером через интерфейс, ― с 63,9 до 84,3. На внутреннем бенчмарке QwenSWEBench показатель увеличился с 49,3 до 79,0.

К цифрам стоит относиться с поправкой. Все результаты в анонсе получены самим разработчиком, часть тестов ― внутренние (QwenSWEBench, CoWorkBench, RecreationBench), а результат Opus 4.6 Max на SWE-bench Pro взят из официальных данных Anthropic, а не получен в тех же условиях.

Независимые замеры рисуют более сдержанную картину. На агрегаторе BenchLM модель занимает 80-е место из 216 с общим баллом 54,3 из 100. Сильнейшие категории ― рассуждения (7-е место из 26) и агентные задачи (20-е из 135), слабейшая ― общие знания (88-е из 179). Это ожидаемо для модели такого размера: фактические знания о мире масштабируются с числом параметров, и здесь 27B уступает крупным MoE-системам.

В индексе Vals AI модель набрала 48,5 балла, в том числе 86,0% на SWE-bench, 84,0% на LiveCodeBench и 67,8% на CyberBench v1.1 ― последний показатель актуален для задач аудита кода. Отдельно Runpod приводит результаты юридического исследования Harvey и Engram: на 250 задачах модель показала среднюю точность 67%.

Режимы рассуждений: главная особенность и главная ловушка 

Qwen3.8-27B ― гибридная модель: режим рассуждений включен по умолчанию, но его глубину можно регулировать или полностью отключить. Для этого предусмотрены два параметра:

  1. reasoning_effort ― уровень рассуждений: xhigh (по умолчанию, для сложных задач), medium (баланс) и low (самый быстрый и дешевый).
  2. preserve_thinking ― по умолчанию сохраняет цепочки рассуждений из всех предыдущих ходов диалога: если отключить, модель будет учитывать только рассуждение к последнему запросу.

Полное отключение рассуждений выполняется параметром enable_thinking: false. Для двух режимов разработчики рекомендуют разные настройки генерации: в режиме рассуждений ― temperature 1,0, top_p 0,95, top_k 20; без рассуждений ― temperature 0,7, top_p 0,8, top_k 20 и presence_penalty 1,5.

Значение по умолчанию оказалось главным предметом критики. Разработчик Саймон Уиллисон протестировал модель на MacBook Pro с чипом M5 Max и 128 ГБ памяти. Его стандартный тест ― SVG-изображение пеликана на велосипеде ― на уровне xhigh занял около 21 минуты: 22 276 токенов рассуждений и 3 223 токена ответа. С отключенными рассуждениями та же задача заняла 137 секунд при заметно более простом результате. На запрос нарисовать обычный круг модель после нескольких минут размышлений выдала анимированную композицию, которую Уиллисон назвал «совсем не тем, что я просил».

Его рекомендация ― игнорировать значение по умолчанию и начинать с уровня low или с отключенных рассуждений.

Какое железо нужно для локального запуска 

Требования к памяти зависят от уровня квантизации ― сжатия весов с потерей части точности.

  • ПК с видеокартой на 24 ГБ (RTX 3090, RTX 4090) или 32 ГБ (RTX 5090) ― версия Q4_K_M с контекстом 32 000-64 000 токенов;
  • Mac на Apple Silicon с 32 ГБ памяти и больше ― GGUF или MLX-версия в 4 бит: чем больше объединенной памяти, тем длиннее доступный контекст;
  • видеокарта на 12-16 ГБ и 32 ГБ оперативной памяти или больше ― версия Q4_K_M с частичной выгрузкой слоев в оперативную память: качество сохраняется, но скорость падает в несколько раз.

Главное ограничение ― скорость. Узкое место ― пропускная способность памяти: плотная модель считывает все 27 млрд параметров на каждый токен.

Практика: запуск модели на компьютере через Ollama 

Для запуска редакция использовала Ollama ― бесплатный инструмент для Windows, macOS и Linux. Он скачивает модели одной командой, сам распределяет их между видеокартой и оперативной памятью и работает как из терминала, так и в фоне в качестве локального сервера в формате OpenAI API.

Тестовый компьютер ― среднего класса: видеокарта NVIDIA GeForce RTX 3060 с 12 ГБ видеопамяти и 64 ГБ оперативной памяти DDR4-2400. Версия Q4_K_M объемом около 17 ГБ в видеокарту целиком не помещается, поэтому часть слоев Ollama выгружает в оперативную память. Такая схема медленнее, чем полная загрузка в видеопамять, зато сохраняет качество 4-битной версии.

Шаг 1: Установите Ollama и скачайте модель 

Скачайте установщик с ollama.com и установите его. Затем откройте терминал (на Windows ― PowerShell) и выполните команду: 

Copy ollama pull qwen3.8:27b

Ollama скачает версию объемом около 18 ГБ с контекстом до 256 000 токенов и поддержкой изображений. На Mac можно использовать тег qwen3.8:27b-mlx, оптимизированный под Apple Silicon. После загрузки проверьте точное название модели командой: 

Copy ollama list

Шаг 2: Задайте размер контекстного окна 

Это самый важный шаг для владельцев видеокарт с 12-16 ГБ. Если не ограничить контекст, Ollama может выделить модели полное окно в 262 144 токена. Кеш для такого окна занимает около 11 ГБ, модель вместе с ним разрастается до 28 ГБ, и большая часть вычислений уходит на процессор. Именно так произошло в тесте редакции: 73% вычислений выполнял процессор и только 27% ― видеокарта.

Вывод ollama ps ― контекст 262 144 токена, 28 ГБ. Данные: Incrypted.

Проверить, какой контекст фактически применен, можно командой ollama ps во время работы модели. В колонке CONTEXT отображается размер окна, в колонке SIZE ― объем модели в памяти, а в колонке PROCESSOR ― доля вычислений на процессоре и видеокарте.

В настройках Ollama есть ползунок Context length, а также переменная окружения OLLAMA_CONTEXT_LENGTH. Но надежнее создать собственную версию модели с зашитым размером контекста через файл Modelfile. В PowerShell это две команды:

Copy "FROM qwen3.8:27b`nPARAMETER num_ctx 16384" | Out-File -Encoding ascii Modelfile ollama create qwen3.8-16k -f Modelfile

Модель повторно не скачивается: Ollama за несколько секунд создает над ней «обертку» с новыми параметрами. Значение 16 384 подходит для работы в чате. Для работы с длинными документами можно создать вариант на 32 768 токенов, заменив число в первой команде и название во второй, но на картах с 12 ГБ это снизит скорость.

Разница на компьютере редакции с RTX 3060 на 12 ГБ и 64 ГБ оперативной памяти:

Ограничение контекста ускорило генерацию в 5,5 раза. Кроме того, перед запуском стоит закрыть программы, занимающие много оперативной памяти. На Windows также стоит выполнить команду wsl —shutdown, если подсистема Linux не используется: она может резервировать несколько гигабайт памяти. 

Шаг 3: Проверьте работу 

Copy ollama run qwen3.8-16k --verbose --think=false

Флаг —think=false отключает рассуждения ― для проверки скорости они не нужны, а флаг —verbose выводит статистику после ответа. Главный показатель ― eval rate, скорость генерации в токенах в секунду. Ориентир для видеокарты на 24 ГБ, где модель помещается целиком, ― 15-30 токенов в секунду. На картах с 12 ГБ часть модели работает на процессоре: в тесте редакции на RTX 3060 скорость составила 6,7 токена в секунду.

Если вам удобнее графический интерфейс, вместо Ollama можно использовать LM Studio: модель скачивается через встроенный поиск по запросу qwen3.8-27b, а контекст задается полем Context Length при загрузке.

Тест: сцена в Blender одним скриптом 

Blender ― бесплатный пакет для 3D-моделирования и анимации со встроенным интерпретатором Python. Через скрипт в нем можно создать любую сцену: геометрию, материалы, свет, камеру и анимацию. Для языковой модели это сложная задача: нужно знать актуальный API Blender, рассчитать координаты объектов и собрать процедурные материалы из узлов, не видя результата.

Редакция дала модели описание ночной сцены с маяком и проверила, что получится без единой правки. Тест проводился на компьютере, описанном выше, в версии qwen3.8-16k с отключенными рассуждениями. Скрипт запускался в Blender 5.1.1.

Шаг 1: Подготовьте промпт  

Длинный промпт удобнее сохранить в текстовый файл prompt.txt, чтобы не вводить его в терминале вручную.

Copy Write a single Python script for Blender that builds an animated scene from scratch: a lighthouse on a rocky cliff above the sea at night. Requirements: delete all default objects first; model the lighthouse as a white tower with red stripes, a gallery with a railing and a glass lantern room on top; the rock is a displaced mesh with a procedural stone material; the sea is a plane with an animated procedural wave displacement; a light source inside the lantern room rotates 360 degrees over 240 frames and casts a visible beam (use a spot light and a volumetric cone); add a starry night sky through the world shader, a camera with a slow push-in and render settings for Eevee. Use only built-in Blender features, no external files. Add comments for each section. Output only the complete script in one code block.
Copy Напиши один Python-скрипт для Blender, который с нуля создает анимированную сцену: маяк на скалистом утесе над морем ночью. Требования: сначала удали все объекты по умолчанию; маяк ― белая башня с красными полосами, галерея с перилами и стеклянный фонарь наверху; скала ― меш с displacement и процедурным материалом камня; море ― плоскость с анимированными процедурными волнами; источник света в фонаре делает полный оборот за 240 кадров и дает видимый луч (используй spot light и объемный конус); добавь звездное ночное небо через шейдер мира, камеру с медленным наездом и настройки рендера для Eevee. Используй только встроенные возможности Blender, без внешних файлов. Добавь комментарии к каждому разделу. Выведи только полный скрипт одним блоком кода.

Шаг 2: Отправьте промпт модели 

В PowerShell перейдите в папку с файлом и передайте его содержимое модели. Ответ сохранится в файл lighthouse_answer.md: 

Copy Get-Content prompt.txt -Raw | ollama run qwen3.8-16k --verbose --think=false > lighthouse_answer.md

Генерация заняла 31 минуту 38 секунд, из которых почти 3 минуты ушло на загрузку модели в память. Модель выдала 9 021 токен со скоростью 5,24 токена в секунду ― скрипт на 866 строк, разбитый на 16 разделов с комментариями. 

Статистика генерации скрипта. Данные: Incrypted.

Для сравнения: при уровне рассуждений xhigh к этому времени добавились бы тысячи токенов размышлений. На скорости 5 токенов в секунду каждые 10 000 токенов рассуждений ― это еще около 33 минут ожидания. 

Шаг 3: Запустите скрипт в Blender 

Скопируйте код из ответа, откройте в Blender вкладку Scripting, создайте новый текст кнопкой New, вставьте код и нажмите Run Script.

Скрипт без правок остановился на 20-й строке. Модель попыталась очистить сцену, присвоив счетчику пользователей block.users значение 0. Это поле в Blender доступно только для чтения, поэтому скрипт успел удалить объекты сцены по умолчанию и завершился ошибкой. Итог первого запуска ― пустая сцена.

Ошибка в 20-й строке скрипта и пустая сцена во вьюпорте Blender. Данные: Incrypted.

Шаг 4: Оцените, что построила модель

Чтобы увидеть остальную часть работы модели, редакция отключила строки с ошибками, не исправляя и не дописывая код. Всего потребовалось отключить 13 строк из 866 ― около 1,5%.

После отключения этих строк скрипт выполнился до конца и создал 31 объект: башню, галерею с перилами на 16 стойках, фонарь с куполом, конус луча, скалу, море, камеру, источники света и звездное небо. Анимация вращения луча на 240 кадров работает.

При этом композиция сцены собрана с ошибками.

Главная проблема ― камера. Модель поставила ее в 60 метрах от маяка и повернула так, что в кадр попадают только море, скала на горизонте и звезды. Финальный рендер через камеру из скрипта маяка не показывает вовсе.

Итог теста неоднозначный. Модель на 27 млрд параметров на домашнем компьютере за полчаса написала структурированный скрипт на 866 строк, в котором большая часть кода корректна, а ключевые элементы сцены ― маяк, луч и его анимация ― узнаваемы. Но без правок скрипт не запускается, а пространственные расчеты ― взаимное расположение объектов и направление камеры ― оказались слабым местом. Для доведения сцены понадобилось бы несколько итераций с передачей ошибок модели, и на этой конфигурации каждая полная перегенерация занимала бы около получаса.

Ограничения и нюансы

Qwen3.8-27B ― одна из самых доступных моделей своего класса для локального запуска, но на домашнем железе у нее есть ряд ограничений. Часть из них связана с самой моделью, часть ― с инструментами для запуска и настройками по умолчанию.

Скорость на потребительском железе. 15-30 токенов в секунду в стандартной конфигурации и долгие рассуждения на уровне xhigh превращают сложные задачи в многоминутное ожидание. 

Избыточные рассуждения по умолчанию. Уровень xhigh стоит включать только для задач, где он оправдан. В остальных случаях он увеличивает время ответа и расход токенов в API.

Ограниченные фактические знания. Для вопросов о свежих событиях и малоизвестных проектах без подключения веб-поиска модель может выдавать неточные сведения.

Бенчмарки от разработчика. Все цифры в анонсе получены Alibaba, а сравнение проведено с моделями прошлого поколения. Независимые замеры размещают модель в середине общего рейтинга.

Длинный контекст требует памяти. Заявленный 1 млн токенов доступен через API Alibaba Cloud. Локально полное нативное окно в 262 000 токенов потребует 34 ГБ и больше даже в 4-битной версии.

Устаревший API и выдуманные атрибуты. В тесте с Blender модель использовала названия из прошлых версий программы и обращалась к несуществующим параметрам. Код для конкретных программ стоит проверять и указывать в промпте нужную версию.

Закрытый процесс обучения. Данные, рецепт обучения и дата отсечения знаний не раскрыты.

Большая часть ограничений связана не с качеством модели, а с ресурсами домашнего железа. На серверных GPU или у облачных провайдеров вроде Cerebras скорость возрастает на порядок.

Кому подойдет Qwen3.8-27B

Qwen3.8-27B закрепляет тренд 2026 года: открытые модели среднего размера достигают показателей, которые год назад были доступны только закрытым флагманам.

Для разработчиков модель полезна как локальный помощник в программировании, который не отправляет код за пределы компьютера. Для исследователей и аналитиков ― как способ разбирать документы, схемы и изображения без облачных сервисов. Для команд, строящих собственные продукты, ― как основа под лицензией Apache 2.0, которую можно дообучить и развернуть на своей инфраструктуре без лицензионных отчислений.

Главный практический совет ― не оставлять уровень рассуждений по умолчанию. Режимы low и medium подходят для большинства повседневных задач, а xhigh стоит включать для генерации кода и многошаговых задач, где точность важнее скорости. На компьютерах с видеокартой меньше 24 ГБ это особенно заметно: разница между уровнями измеряется не секундами, а десятками минут.

FAQ

Что такое Qwen3.8-27B и чем эта AI-модель отличается от ChatGPT?
Qwen3.8-27B ― открытая плотная модель Alibaba на 27,78 млрд параметров, вышедшая в августе 2026 года вместе с флагманом Qwen3.8-Max. Она принимает текст, изображения и видео, а нативный контекст составляет 262 144 токена с расширением до 1 млн. Главное отличие от ChatGPT ― веса опубликованы на Hugging Face и ModelScope под лицензией Apache 2.0: модель можно скачать, запустить на своем компьютере и использовать в коммерческих продуктах без отчислений, а данные не покидают устройство. В 4-битной версии она занимает около 17 ГБ. В таблице разработчика модель набирает 61,7% на SWE-bench Pro, но на независимом агрегаторе BenchLM занимает 80-е место из 216 с баллом 54,3, а слабее всего проявляет себя в общих знаниях.
Какие характеристики компьютера нужны для запуска Qwen локально?
Требования зависят от квантизации: популярная 4-битная версия Q4_K_M занимает 17-18 ГБ. Целиком модель помещается в видеокарту на 24 ГБ (RTX 3090, RTX 4090) или 32 ГБ (RTX 5090) ― там ориентир скорости 15-30 токенов в секунду. На Mac с Apple Silicon нужно от 32 ГБ объединенной памяти, подходят версии GGUF или MLX в 4 бит. Видеокарта на 12-16 ГБ тоже подойдет при 32 ГБ оперативной памяти и больше: часть слоев уйдет в ОЗУ, качество сохранится, но скорость упадет в несколько раз. Главное узкое место ― пропускная способность памяти, так как плотная модель считывает все 27 млрд параметров на каждый токен.
Можно ли запустить Qwen3.8-27B на видеокарте с 12 ГБ видеопамяти?
Да, редакция Incrypted запускала модель на RTX 3060 с 12 ГБ и 64 ГБ оперативной памяти DDR4-2400. Версия Q4_K_M объемом около 17 ГБ в видеокарту не помещается, и Ollama выгружает часть слоев в ОЗУ. С настройками по умолчанию Ollama выделила полное окно 262 144 токена: модель разрослась до 28 ГБ, 73% вычислений ушло на процессор, загрузка заняла 4 минуты 14 секунд, а генерация шла со скоростью 1,22 токена в секунду. После ограничения контекста до 16 384 токенов загрузка сократилась до 13 секунд, а генерация выросла до 6,7 токена в секунду. В тесте с Blender модель на этой машине выдала скрипт в 9 021 токен за 31 минуту 38 секунд.
Как установить и запустить Qwen через Ollama на Windows?
Скачайте установщик с ollama.com, откройте PowerShell и выполните ollama pull qwen3.8:27b ― загрузится версия около 18 ГБ, точное название проверяется командой ollama list. Затем создайте версию модели с ограниченным контекстом через Modelfile с параметром num_ctx 16384 и командой ollama create qwen3.8-16k -f Modelfile: повторно модель не скачивается, обертка создается за несколько секунд. Запустите ее командой ollama run qwen3.8-16k --verbose --think=false и смотрите на eval rate ― скорость генерации в токенах в секунду. Команда ollama ps во время работы показывает фактический контекст, объем модели в памяти и долю вычислений на процессоре и видеокарте. Тем, кому удобнее графический интерфейс, подойдет LM Studio: модель ищется по запросу qwen3.8-27b, а контекст задается полем Context Length.
Можно ли использовать Qwen на Mac без дискретной видеокарты?
Да, на Mac с Apple Silicon модель работает на объединенной памяти: нужно от 32 ГБ, и чем больше памяти, тем длиннее доступный контекст. Подходят 4-битные версии GGUF или MLX, в Ollama для Mac есть отдельный тег qwen3.8:27b-mlx, оптимизированный под Apple Silicon. Разработчик Саймон Уиллисон тестировал модель на MacBook Pro с M5 Max и 128 ГБ памяти. На уровне рассуждений xhigh его тестовое SVG-изображение пеликана на велосипеде заняло около 21 минуты: 22 276 токенов рассуждений и 3 223 токена ответа. С отключенными рассуждениями та же задача заняла 137 секунд, поэтому на Mac стоит начинать с уровня low или без рассуждений.
Как ускорить работу Qwen на домашнем компьютере и уменьшить потребление оперативной памяти?
Главное ― ограничить контекстное окно: по умолчанию Ollama может выделить все 262 144 токена, и кеш для них занимает около 11 ГБ. В тесте Incrypted на RTX 3060 ограничение до 16 384 токенов через Modelfile подняло скорость генерации с 1,22 до 6,7 токена в секунду, то есть в 5,5 раза, а обработку запроса ― с 0,68 до 15,5 токена в секунду. Перед запуском стоит закрыть программы, которые занимают много оперативной памяти, а на Windows выполнить wsl --shutdown, если подсистема Linux не нужна: она может резервировать несколько гигабайт. Второй рычаг ― уровень рассуждений: по умолчанию стоит xhigh, а при скорости 5 токенов в секунду каждые 10 000 токенов рассуждений добавляют около 33 минут ожидания. Для повседневных задач хватает low или medium, рассуждения можно отключить флагом --think=false или параметром enable_thinking: false.

Сообщение Qwen от Alibaba запускаем на домашнем ПК: инструкция, требования и неожиданные результаты теста появились сначала на INCRYPTED.