> ARCHIVED REPORT: host/account identifiers redacted for publication. Measurements are unchanged. This is a contemporaneous report, not a substitute for its referenced raw files.

# DGX Spark Sprint 2 — PASS с ограничениями методики

22 октября 2026. `[SPARK_HOST]`, SSH `DGX-Spark` из Windows VM на Minisforum. GB10, 121.7 GiB общей памяти; DGX OS/Ubuntu 24.04.5, драйвер 580.178.04, Ollama 0.40.8, gpt-oss:120b MXFP4. Все испытания завершены. ОС, драйверы, сеть, systemd-настройки Ollama и Docker runtime не изменялись. API остался на 127.0.0.1:11434. vLLM/SGLang не устанавливались.

## Контекст

K означает 1024. Разные детерминированные синтетические наборы inventory/audit/telemetry с разными seed, значениями и числом записей. Запрошенный num_ctx подтверждён `/api/ps`. Входную длину измеряет `prompt_eval_count`, а не оценка по символам.

| Окно | Фактический вход, токены | TTFT / видимый текст, с | Prefill, с / токен/с | Decode, токен/с | E2E, с | Загрузка, с |
|---|---:|---:|---:|---:|---:|---:|
| 8192 | 7057 | 3.14 / 3.36 | 2.99 / 2362 | 41.07 | 7.75 | 0.002 |
| 32768 | 30500 | 29.15 / 29.49 | 14.40 / 2119 | 21.35 | 34.49 | 10.84 |
| 65536 | **64688** | 44.44 / 45.26 | 33.12 / 1953 | 29.66 | 50.91 | 10.84 |

Каждый основной запрос сгенерировал 192 токена и завершился `length`: это ограниченный throughput-тест, не проверка законченности ответа. Максимум обработанного входа — 64688 токенов; вход+выход по API — 64880. Это не утверждение о полном заполнении 65536 или качестве извлечения информации из всего контекста. Журнал сохранён для проверки отсутствия усечения входа.

| Окно | Пик RAM, GiB | Мин. доступно, GiB | GPU среднее/пик, % | Мощность средняя/пик, Вт | Энергия выборки, Дж | Макс. °C |
|---|---:|---:|---:|---:|---:|---:|
| 8K | 67.67 | 54.02 | 94.8 / 96 | 44.38 / 52.28 | 334 | 48 |
| 32K | 68.75 | 52.94 | 61.6 / 96 | 36.05 / 65.22 | 1193 | 58 |
| 64K | 70.29 | 51.40 | 77.2 / 96 | 50.70 / 76.58 | 2543 | 68 |

## Одновременные клиенты 1/2/4

Окно 8192, независимые короткие входы 954–961 токен, 192 выходных токена каждому. Клиенты стартуют через общий barrier; один отдельный прогрев перед серией.

| Клиенты | TTFT по порядку обслуживания, с | E2E по порядку обслуживания, с | Decode каждого, токен/с | Throughput всей группы, токен/с |
|---|---|---|---|---:|
| 1 | 0.60 | 5.03 | 42.73 | 38.17 |
| 2 | 0.61; 5.68 | 5.07; 10.11 | 42.37–42.67 | 37.99 |
| 4 | 0.61; 5.68; 10.66; 15.63 | 5.04; 10.06; 15.03; 20.02 | 42.67–43.30 | 38.37 |

Очередь, а не ускорение от batching: журнал прямо фиксирует `n_seq_max = 1`, потоковые временные отметки подтверждают последовательное обслуживание slot 0. Из этого нельзя заключать, что GB10 неспособен к параллельному inference — проверена именно текущая конфигурация Ollama, без изменения OLLAMA_NUM_PARALLEL.

| Клиенты | Пик RAM, GiB | GPU среднее/пик, % | Мощность средняя/пик, Вт | Энергия группы, Дж |
|---|---:|---:|---:|---:|
| 1 | 67.60 | 93.7 / 95 | 42.00 / 45.46 | 204 |
| 2 | 67.66 | 93.4 / 96 | 42.00 / 45.76 | 412 |
| 4 | 67.83 | 94.2 / 96 | 42.88 / 46.92 | 838 |

## Docker / CUDA — PASS

Docker 29.6.2, NVIDIA Container Toolkit 1.20.1. NVIDIA runtime не зарегистрирован в Docker, но существующий CDI предоставляет `nvidia.com/gpu=all`; он успешно использован без перенастройки.

Официальный ARM64 `nvidia/cuda:13.0.1-base-ubuntu24.04`, закреплённый digest `sha256:351f28235bee49fbfd8eb97819e8e24934ca33b369edc9656c6d5668bc64ed6c`. Перед загрузкой сообщена оценка: 127 MiB сжатых слоёв, до 0.5 GB диска, 1–3 минуты. Загрузка фактически завершилась примерно за 7 секунд.

Одноразовый контейнер с `--network none`, без портов, с read-only mount проверочного бинарника. Внутри: `nvidia-smi -L` увидел GB10; CUDA Driver API создал контекст, выделил память, JIT-компилировал PTX, выполнил ядро и скопировал результат на CPU: **kernel_result=42 expected=42 PASS=true**. Бинарник собран уже установленным gcc, без загрузки devel-образа и без установки пакетов. Контейнер удалился через --rm; base-образ оставлен в кеше. Это smoke test вычислений, не стресс-тест CUDA.

## vLLM / SGLang: оценка, не установка

- **vLLM: поддерживаемый путь для DGX Spark существует.** NVIDIA публикует контейнерные рецепты для ARM64/GB10 и DGX OS. Нужна конкретная связка образа, CUDA, attention/MoE backend и формата весов; общий рецепт B200 не доказывает совместимость GB10. Текущий драйвер 580.178.04 и успешный CUDA 13.0 smoke test дают рабочую базу, но не подтверждают произвольный latest-образ. [NVIDIA vLLM](https://build.nvidia.com/spark/vllm), [настройки и выбор рецепта](https://build.nvidia.com/spark/vllm/advanced).
- **SGLang: NVIDIA предлагает CUDA 13 контейнерный путь для Spark.** Playbook использует `lmsysorg/sglang:latest-cu130` и отдельно отмечает бюджет UMA-памяти. Перед запуском нужно проверить ARM64 manifest, конкретный driver requirement, поддержку SM121 и gpt-oss MXFP4. Это ещё не проверено исполнением. [NVIDIA SGLang](https://build.nvidia.com/playbooks/sglang/instructions).
- Существующий Ollama GGUF нельзя автоматически считать готовым checkpoint для этих рецептов. Возможны отдельные HF-веса и многогигабайтный образ. Для следующего спринта сначала выбрать и закрепить рецепт, оценить manifest/размер весов и время, затем согласовать новую большую загрузку. В этом спринте никаких альтернативных серверов и весов не скачивалось.

Практический вывод: штатная DGX OS уже даёт локальный gpt-oss:120b, почти 64K входа и CUDA внутри Docker. Для этого набора задач технической необходимости менять ОС тесты не выявили. Преимущество vLLM/SGLang по batching остаётся гипотезой для отдельного сравнительного теста.

## Методика и границы

- TTFT измерен streaming-клиентом на самом Spark от начала HTTP-запроса до первого непустого thinking/response-фрагмента. Видимый TTFT отдельно исключает thinking. Это задержка первого фрагмента, а не гарантированно одного токена; Windows/SSH RTT не включён.
- Prefill/decode — метрики финального сообщения Ollama; полные duration/count сохранены. Сумма отдельных серверных интервалов не всегда точно соответствует наблюдаемым клиентом фазам. 32K/64K включают переинициализацию контекста (~10.84 с); 8K был прогрет калибровкой. Поэтому это не строгое сравнение одинаково тёплых конфигураций.
- Один прогон на точку, без доверительных интервалов и оценки качества. Разные данные одной синтетической структуры; это не репрезентативный набор код/проза/RAG. Общие короткие префиксы могут кешироваться, кеши не сбрасывались. Настройки: temperature=0, seed=42, think=low, num_predict=192.
- RAM — MemTotal−MemAvailable всей системы, включая другие процессы. GB10 использует общую память; её нельзя суммировать с size_vram. Пиковый swap в серии менее 0.04 MiB.
- GPU/power/temperature опрашивались nvidia-smi примерно раз в 0.5 с. Энергия — трапецеидальная интеграция доступных отсчётов power.draw между первым и последним замером, без вычитания idle. Это телеметрия GPU, не энергия всего ПК от розетки; края интервала и краткие пики не гарантированы. Сводные значения включают загрузку/очередь.
- Загрузка CUDA-образа и компиляция маленького C-файла частично совпали с длинным контекстом и могли слегка влиять на CPU/I/O. CUDA-ядро выполнялось только после завершения Ollama-серии.
- Калибровка с num_predict=1 служила только оценке длины; её бессодержательные timing/decode значения не входят в таблицы.

## Артефакты и повторение

`sprint2-reproduce.ps1` — команды; `sprint2-benchmark.py` — генерация входов, streaming и телеметрия; `sprint2-cuda-check.c` — проверка ядра; `sprint2-summarize.mjs` — расчёт сводки. `sprint2-raw/` содержит полные входные JSON, все потоковые кадры с временем, финальные метрики, телеметрию и журнал Ollama. Сводка — `sprint2-summary.json`, Docker — `sprint2-docker-result.txt`.

Повторный запуск перезапишет результаты. Команда из папки outputs: `./sprint2-reproduce.ps1`; sudo может запросить пароль. Секретов в скриптах нет. Оценка CDI опирается также на [документацию NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/cdi-support.html).

Нагрузка остановлена. Ollama остаётся штатно работающим, модель выгрузится по keep_alive; последнее окно в памяти 8192 задано только параметром запроса, конфигурация сервиса не изменена.
