算力舱手册

Appearance

相关资源 ​

Nvidia Jetson 镜像 ​

AI 领域常用的一些基础镜像，在 jetson 的官方都有支持，并且更新也是挺频繁的。

  1. https://hub.docker.com/u/dustynv
  2. https://github.com/dusty-nv/jetson-containers
  3. https://pypi.jetson-ai-lab.io/
  4. https://pypi.jetson-ai-lab.io/jp6/cu129
  5. https://pypi.jetson-ai-lab.io/jp6/cu128
  6. https://pypi.jetson-ai-lab.io/jp6/cu126
  7. Jetson Thor / CUDA 13.0 Python 包源: https://pypi.jetson-ai-lab.io/sbsa/cu130
  8. Jetson Thor vLLM 镜像: ghcr.io/nvidia-ai-iot/vllm:latest-jetson-thor

额外的使用场景:

  1. https://www.jetson-ai-lab.com/tutorial-intro.html

NVIDIA vLLM 官方资源 ​

  1. NGC vLLM 镜像: nvcr.io/nvidia/vllm:<version>-py3
  2. 当前在 Jetson Thor 上验证可启动的版本: nvcr.io/nvidia/vllm:26.04-py3
  3. vLLM 版本信息: 0.19.0+6bc3197f.nv26.04.48680843
  4. 容器 CUDA / PyTorch: CUDA 13.2 / torch 2.12.0a0
  5. Thor 运行状态: 可识别 NVIDIA Thor，compute capability (11, 0)，并可启动 OpenAI-compatible /v1/models 与 /v1/chat/completions
  6. 注意: Thor 当前驱动支持 CUDA 13.0，运行 26.04-py3 时会进入 CUDA minor compatibility mode

Thor 上最小验证命令:

docker run --rm --runtime=nvidia --ipc=host --network=host \
  nvcr.io/nvidia/vllm:26.04-py3 \
  python3 -c "import vllm, torch; print(vllm.__version__, torch.__version__, torch.cuda.get_device_name(), torch.cuda.get_device_capability())"

如果模型配置带有多模态字段，但只需要文本推理，启动 vllm serve 时建议加上 --language-model-only，避免 vLLM 去加载不存在的 preprocessor_config.json。

封装的镜像 ​

官方打包的镜像一般会比较旧，版本没有及时更新，我们也会在这些基础的镜像上更新软件的版本。

  1. ollama https://hub.docker.com/r/catdogai/jetson-ollama/tags
  2. vLLM https://hub.docker.com/r/catdogai/lzc-aipod-vllm/tags
  3. Thor vLLM 最新官方验证基线 nvcr.io/nvidia/vllm:26.04-py3
  4. Thor vLLM Jetson AI-IOT 基线 ghcr.io/nvidia-ai-iot/vllm:latest-jetson-thor

常用镜像 ​

  1. CUDA 镜像 dustynv/cuda:12.8-samples-r36.4.0-cu128-24.04
  2. PyTorch 镜像 dustynv/pytorch:2.6-r36.4.0-cu128-24.04