双机 Atlas 800T A2 部署大模型

2026-08-05T00:00:00+00:00

从环境初始化到 Ray 分布式多节点部署 DeepSeek V4 Flash 的完整记录
华为 Ascend 910B2 · vLLM + Ray · 2026-08 </blockquote>

公司提供了两台华为 Atlas 800T A2 训练服务器作为生产环境，本文完整记录了从裸机环境检查、CANN 驱动安装、vLLM 部署到 Ray 分布式多节点推理的整个过程。目标模型为 DeepSeek V4 Flash（W8A8 量化版），采用张量并行（TP）+ 流水线并行（PP）+ 数据并行（DP）的多维并行策略，最终在双机 16 卡 NPU 上实现稳定推理服务。

两台服务器的硬件配置完全一致，规格如下：

配置项</th> 规格</th></tr></thead>

实例类型</td> physical.lcas910b.2xlarge11</td></tr>

CPU</td> 4 路 × 48 核 × 48 线程（共 192 核，192 线程）</td></tr>

内存</td> 1536 GB</td></tr>

GPU</td> 8 × Huawei Ascend 910B2</td></tr>

本地系统盘</td> 2 × 480 GB（SSD）</td></tr>

本地数据盘</td>

2 × 3200 GB（NVMe SSD）</td></tr> </tbody></table>

硬件要点

Ascend 910B2 是华为面向 AI 训练和推理的高性能 NPU，单卡算力约 310 TFLOS（FP16）。双机共 16 张卡，每台机器 8 张卡通过 HCCL（Huawei Collective Communication Library）进行卡间高速集合通信，机器间通过 RoCE 网络互联。 </li>

NVMe 数据盘 提供大容量本地存储（6.4TB/台），用于存放模型权重文件，避免网络存储的 I/O 瓶颈。 </li> </ul> </blockquote>

</a> 操作系统与内核</h3> [root@ctyun-gpu-atlas-01 ~]# cat /etc/os-release NAME="CTyunOS" VERSION="22.06" ID="ctyunos" VERSION_ID="22.06" PRETTY_NAME="CTyunOS 22.06" ANSI_COLOR="0;31" [root@ctyun-gpu-atlas-01 ~]# [root@ctyun-gpu-atlas-01 ~]# uname -a Linux ctyun-gpu-atlas-01 4.19.90-2102.2.0.0068.3.ctl2.aarch64 #1 SMP Thu Jun 13 00:10:29 UTC 2024 aarch64 aarch64 aarch64 GNU/Linux [root@ctyun-gpu-atlas-01 ~]# [root@ctyun-gpu-atlas-01 ~]# npu-smi -v npu-smi version: 25.2.0 [root@ctyun-gpu-atlas-01 ~]# [root@ctyun-gpu-atlas-01 ~]# lspci -n -D | grep -o '19e5:d[0-9a-f]\{3\}' | head -n1 | cut -d: -f2 d802</code></pre> 命令参数说明： 命令</th> 说明</th></tr></thead> cat /etc/os-release</code></td> 查看操作系统发行版信息。CTyunOS 是天翼云基于 openEuler 定制的服务器操作系统</td></tr> uname -a</code></td> 显示内核版本和 CPU 架构。aarch64</code> 表明是 ARM64 架构（鲲鹏处理器）</td></tr> npu-smi -v</code></td> 查看 NPU 系统管理接口版本，类似 NVIDIA 的 nvidia-smi</code>。版本 25.2.0 表示驱动已预装</td></tr> lspci -n -D | grep -o '19e5:d...'</code></td> 通过 PCI 设备 ID 识别 NPU 型号。19e5</code> 是华为的 PCI Vendor ID，d802</code> 对应 Ascend 910B 系列</td></tr> </tbody></table> 从输出可以看到： 操作系统：CTyunOS 22.06（基于 openEuler，aarch64 架构） </li> 内核：4.19.90，编译于 2024-06-13 </li> NPU 驱动：npu-smi 25.2.0 已预装 </li> 设备 ID：d802</code> 对应 Ascend 910B2 </li> </ul> </a> 初始化环境：CANN 下载与 Python 准备</h2> </a> 安装基础工具</h3> 首先安装必要的系统工具和编译环境： sudo yum install -y tmux git patch sudo yum install -y gcc python3 python3-pip</code></pre></a> 安装 pyenv 管理 Python 版本</h3> CTyunOS 自带的 Python 版本过低，而 vLLM 要求 Python ≥ 3.10 且 < 3.13。因此使用 pyenv</code> 安装独立版本的 Python。 首先配置 pip 清华镜像源以加速下载： pip3 config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple curl -fsSL https://pyenv.run | bash</code></pre> 安装好 pyenv 后，将以下内容添加到 ~/.bashrc</code> 并 source ~/.bashrc</code> 重载环境变量： export PYENV_ROOT="$HOME/.pyenv" [[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_ROOT/bin:$PATH" eval "$(pyenv init - bash)" eval "$(pyenv virtualenv-init -)"</code></pre> 参数说明： 行</th> 说明</th></tr></thead> PYENV_ROOT</code></td> 指定 pyenv 的安装根目录，默认为 ~/.pyenv</code></td></tr> PATH=...pyenv/bin:$PATH</code></td> 将 pyenv 的可执行文件加入 PATH，使其可以在任意位置调用</td></tr> pyenv init - bash</code></td> 初始化 pyenv 的 shims 机制，使 python</code> 命令自动指向 pyenv 管理的版本</td></tr> pyenv virtualenv-init -</code></td> 启用 pyenv-virtualenv 插件，进入项目目录时自动激活虚拟环境</td></tr> </tbody></table> </a> 安装 Python 3.10.4</h3> 根据 vLLM 官方文档建议（Python >= 3.10, < 3.13），选择安装 Python 3.10.4。同时配置清华镜像加速源码下载： export PYTHON_BUILD_MIRROR_URL="https://mirrors.tuna.tsinghua.edu.cn/python/" export PYTHON_BUILD_MIRROR_URL_SKIP_CHECKSUM=1 pyenv install 3.10.4 pyenv global 3.10.4</code></pre> 参数说明： 环境变量 / 命令</th> 说明</th></tr></thead> PYTHON_BUILD_MIRROR_URL</code></td> 指定 pyenv 编译安装 Python 时下载源码的镜像地址，替代默认的 python.org</td></tr> PYTHON_BUILD_MIRROR_URL_SKIP_CHECKSUM=1</code></td> 跳过校验和验证（镜像源文件可能与官方校验值不一致）</td></tr> pyenv install 3.10.4</code></td> 下载并编译安装 Python 3.10.4（包含解释器、标准库等）</td></tr> pyenv global 3.10.4</code></td> 将 3.10.4 设为全局默认 Python 版本</td></tr> </tbody></table> </a> 下载安装驱动：CANN Toolkit 与 910B 算子包</h2> CANN（Compute Architecture for Neural Networks）是华为昇腾 AI 处理器的计算架构，相当于 NVIDIA 的 CUDA 生态。部署 vLLM-Ascend 需要安装两个组件：CANN Toolkit（包含驱动 + 通用工具包）和 910B 专用算子包（包含 910B 芯片特有的高性能算子实现）。 </a> 下载并安装 CANN Toolkit</h3> 从华为 OBS 对象存储下载 CANN 9.0.1 离线安装包（约 1.8GB）： [root@ctyun-gpu-atlas-01 ~]# wget "https://ascend-cann-open.obs.cn-north-4.myhuaweicloud.com/CANN/CANN%209.0.1/Ascend-cann_9.0.1_linux-aarch64.run" --2026-08-29 22:39:45-- https://ascend-cann-open.obs.cn-north-4.myhuaweicloud.com/CANN/CANN%209.0.1/Ascend-cann_9.0.1_linux-aarch64.run Resolving ascend-cann-open.obs.cn-north-4.myhuaweicloud.com (ascend-cann-open.obs.cn-north-4.myhuaweicloud.com)... 122.9.24.7, 122.9.24.4 Connecting to ascend-cann-open.obs.cn-north-4.myhuaweicloud.com (ascend-cann-open.obs.cn-north-4.myhuaweicloud.com)|122.9.24.7|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 1911207575 (1.8G) [binary/octet-stream] Saving to: 'Ascend-cann_9.0.1_linux-aarch64.run' Ascend-cann_9.0.1_linux-aarch 100%[=================================================>] 1.78G 6.33MB/s in 4m 46s 2026-08-29 22:44:31 (6.38 MB/s) - 'Ascend-cann_9.0.1_linux-aarch64.run' saved [1911207575/1911207575] [root@ctyun-gpu-atlas-01 ~]# bash ./Ascend-cann_9.0.1_linux-aarch64.run --install =========== = Summary = =========== Driver: Installed in /usr/local/Ascend/driver. CANN: Ascend-cann_9.0.1_linux-aarch64 install success, installed in /usr/local/Ascend. Please make sure that the environment variables have been configured. - To take effect for all users, you can add "source /usr/local/Ascend/cann/set_env.sh" to /etc/profile. - To take effect for current user, you can exec command below: source /usr/local/Ascend/cann/set_env.sh or add "source /usr/local/Ascend/cann/set_env.sh" to ~/.bashrc. [root@ctyun-gpu-atlas-01 ~]#</code></pre> Toolkit 安装成功后，输出提示已安装到 /usr/local/Ascend</code>，并建议配置环境变量 set_env.sh</code>。 </a> 下载并安装 910B 专用算子包</h3> 接下来下载 910B 专用算子包（约 2.1GB），它包含针对 Ascend 910B 芯片优化的高性能算子： [root@ctyun-gpu-atlas-01 ~]# wget "https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%209.0.1/Ascend-cann-910b-ops_9.0.1_linux-aarch64.run" --2026-08-29 23:03:59-- https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%209.0.1/Ascend-cann-910b-ops_9.0.1_linux-aarch64.run Resolving ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)... 122.9.88.11, 122.9.88.13, 122.9.88.10, ... Connecting to ascend-repo.obs.cn-east-2.myhuaweicloud.com (ascend-repo.obs.cn-east-2.myhuaweicloud.com)|122.9.88.11|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 2296115500 (2.1G) [application/octet-stream] Saving to: 'Ascend-cann-910b-ops_9.0.1_linux-aarch64.run' Ascend-cann-910b-ops_9.0.1_li 100%[=================================================>] 2.14G 6.35MB/s in 5m 44s 2026-08-29 23:09:43 (6.37 MB/s) - 'Ascend-cann-910b-ops_9.0.1_linux-aarch64.run' saved [2296115500/2296115500] [root@ctyun-gpu-atlas-01 ~]# bash ./Ascend-cann-910b-ops_9.0.1_linux-aarch64.run --install =========== = Summary = =========== Driver: Installed in /usr/local/Ascend/driver. ops_910b: Ascend-cann-910b-ops_9.0.1_linux-aarch64 install success, installed in /usr/local/Ascend. Please make sure that the environment variables have been configured. - To take effect for all users, you can add "source /usr/local/Ascend/cann/set_env.sh" to /etc/profile. - To take effect for current user, you can exec command below: source /usr/local/Ascend/cann/set_env.sh or add "source /usr/local/Ascend/cann/set_env.sh" to ~/.bashrc. [root@ctyun-gpu-atlas-01 ~]#</code></pre></a> 验证安装</h3> 加载 CANN 环境变量后，通过 Python 调用 ACL（Ascend Computing Language）接口验证芯片型号是否正确识别： [root@ctyun-gpu-atlas-01 ~]# source /usr/local/Ascend/cann/set_env.sh [root@ctyun-gpu-atlas-01 ~]# python3 -c "import acl;print(acl.get_soc_name())" Ascend910B2 [root@ctyun-gpu-atlas-01 ~]#</code></pre> 验证结果：acl.get_soc_name()</code> 返回 Ascend910B2，说明 CANN Toolkit 和 910B 算子包均已正确安装，ACL 运行时能正确识别芯片型号。这是后续所有推理部署的前提条件。 </blockquote> </a> 系统参数调优</h2> 大模型推理对网络和系统参数有较高要求。在正式部署前，需要对内核网络缓冲区、文件描述符限制、HCCL 端口等进行调优。 </a> 网络缓冲区调优</h3> # 设置系统参数 sudo bash -c 'cat >> /etc/sysctl.conf << EOF net.core.rmem_max=26214400 net.core.wmem_max=26214400 net.ipv4.tcp_rmem=4096 87380 26214400 net.ipv4.tcp_wmem=4096 65536 26214400 EOF' sudo sysctl -p # 设置用户限制 sudo bash -c 'cat >> /etc/security/limits.conf << EOF * soft nofile 1048576 * hard nofile 1048576 * soft memlock unlimited * hard memlock unlimited EOF'</code></pre> 参数说明： 参数</th> 值</th> 说明</th></tr></thead> net.core.rmem_max</code></td> 26214400 (25MB)</td> 内核接收缓冲区最大值，默认通常只有 212992（208KB），调大以支持大规模数据传输</td></tr> net.core.wmem_max</code></td> 26214400 (25MB)</td> 内核发送缓冲区最大值，同理调大</td></tr> net.ipv4.tcp_rmem</code></td> 4096 87380 26214400</td> TCP 接收缓冲区三个值：最小/默认/最大，确保大流量场景下缓冲区足够</td></tr> net.ipv4.tcp_wmem</code></td> 4096 65536 26214400</td> TCP 发送缓冲区三个值：最小/默认/最大</td></tr> nofile</code></td> 1048576 (1M)</td> 每个进程可打开的最大文件描述符数。大模型推理涉及大量模型文件和连接，需要放宽</td></tr> memlock</code></td> unlimited</td> 允许进程锁定内存不限制，防止关键内存被 swap 换出导致性能下降</td></tr> </tbody></table> </a> HCCL 通信端口预留</h3> HCCL 默认使用操作系统的 60000-60015 端口进行卡间通信。需要将这些端口预留，避免被其他应用占用： # HCCL默认使用服务器OS的60000-60015端口，请执行如下命令预留此范围的操作系统端口： echo "net.ipv4.ip_local_reserved_ports=60000-60015" >> /etc/sysctl.conf sysctl -p # 若需要使用其它端口，例如使用50000-50015端口，请执行如下命令预留此范围的操作系统端口：export HCCL_IF_BASE_PORT=50000 echo "net.ipv4.ip_local_reserved_ports=50000-50015" >> /etc/sysctl.conf sysctl -p</code></pre> 端口冲突说明：ip_local_reserved_ports</code> 让内核在自动分配临时端口时跳过这些范围，确保 HCCL 通信不被干扰。如需使用非默认端口范围，可通过环境变量 HCCL_IF_BASE_PORT</code> 指定起始端口。 </blockquote> </a> Docker 环境与 vllm-ascend 镜像</h2> vLLM-Ascend 官方提供了预构建的 Docker 镜像，集成了 vLLM、PyTorch-NPU 和 CANN 运行时。通过 Docker 可以避免宿主机环境冲突，同时方便版本管理。 # Update DEVICE according to your device (/dev/davinci[0-7]) export DEVICE=/dev/davinci0 # Update the vllm-ascend image # Atlas A2: # export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-openeuler # Atlas A3: # export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-a3-openeuler # Atlas 950DT: # export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-950dt-openeuler export IMAGE=quay.io/ascend/vllm-ascend:v0.23.0-openeuler docker run --rm \ --name vllm-ascend \ --shm-size=1g \ --device $DEVICE \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /root/.cache:/root/.cache \ -p 8000:8000 \ -it $IMAGE bash # Install curl yum update -y && yum install -y curl</code></pre> Docker run 参数说明： 参数</th> 说明</th></tr></thead> --shm-size=1g</code></td> 设置共享内存大小为 1GB。PyTorch DataLoader 和多进程通信需要共享内存</td></tr> --device $DEVICE</code></td> 将 NPU 设备 /dev/davinci0</code> 映射到容器内。此处仅映射单卡用于测试</td></tr> --device /dev/davinci_manager</code></td> NPU 管理设备，容器内通过它与 NPU 驱动交互</td></tr> --device /dev/devmm_svm</code></td> 设备内存共享虚拟化管理设备</td></tr> --device /dev/hisi_hdc</code></td> 华为 HDC（Hardware Debug Channel）设备，用于调试和通信</td></tr> -v /usr/local/dcmi:...</code></td> 映射 DCMI（Device Control Management Interface）库</td></tr> -v /usr/local/bin/npu-smi:...</code></td> 映射 npu-smi 工具，容器内可查看 NPU 状态</td></tr> -v .../driver/lib64/:...</code></td> 映射 NPU 驱动库文件，容器内运行时依赖</td></tr> -v /etc/ascend_install.info:...</code></td> 映射安装信息文件，记录 CANN 安装路径和组件</td></tr> -v /root/.cache:...</code></td> 映射缓存目录，模型下载和编译缓存可跨容器复用</td></tr> -p 8000:8000</code></td> 映射 vLLM API 服务端口</td></tr> -it ... bash</code></td> 以交互模式启动并进入 bash shell</td></tr> </tbody></table> 镜像选择：根据硬件型号选择对应的镜像：Atlas A2 用 v0.23.0-openeuler</code>，A3 用 v0.23.0-a3-openeuler</code>，950DT 用 v0.23.0-950dt-openeuler</code>。本文使用的是 A2 系列镜像。 </blockquote> </a> 小模型验证：Qwen3-0.6B 冒烟测试</h2> 在正式部署大模型之前，先用一个小模型验证整个推理链路是否畅通。这里选择 Qwen3-0.6B——参数量小、下载快，适合快速验证环境。 </a> 下载模型并启动服务</h3> [root@ctyun-gpu-atlas-01 workspace]# modelscope download --model Qwen/Qwen3-0.6B --local_dir /mnt/models/Qwen/Qwen3-0.6B [root@ctyun-gpu-atlas-01 workspace]# vllm serve /mnt/models/Qwen/Qwen3-0.6B --served-model-name qwen3 ... (APIServer pid=232) INFO: Started server process [232] (APIServer pid=232) INFO: Waiting for application startup. (APIServer pid=232) INFO: Application startup complete.</code></pre> 服务启动成功，输出 Application startup complete</code> 表示 vLLM API Server 已就绪。 </a> 查看可用模型</h3> [root@ctyun-gpu-atlas-01 workspace]# curl http://localhost:8000/v1/models | python3 -m json.tool { "object": "list", "data": [ { "id": "qwen3", "object": "model", "created": 1788066640, "owned_by": "vllm", "root": "/mnt/models/Qwen/Qwen3-0.6B", "parent": null, "max_model_len": 40960, "permission": [ { "id": "modelperm-ab74ad47294f4e4f", "object": "model_permission", "created": 1788066640, "allow_create_engine": false, "allow_sampling": true, "allow_logprobs": true, "allow_search_indices": false, "allow_view": true, "allow_fine_tuning": false, "organization": "*", "group": null, "is_blocking": false } ] } ] } [root@ctyun-gpu-atlas-01 workspace]#</code></pre> API 返回了已加载的模型信息，id</code> 为 qwen3</code>，最大上下文长度 max_model_len</code> 为 40960 tokens。 </a> 发送推理请求</h3> [root@ctyun-gpu-atlas-01 workspace]# curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "qwen3", "prompt": "Beijing is a", "max_completion_tokens": 5, "temperature": 0 }' | python3 -m json.tool { "id": "cmpl-86ccbe0c8c82384a", "object": "text_completion", "created": 1788066874, "model": "qwen3", "choices": [ { "index": 0, "text": " city that has been experiencing a lot of changes. The city has been experiencing a", "logprobs": null, "finish_reason": "length", "stop_reason": null, "token_ids": null, "prompt_logprobs": null, "prompt_token_ids": null, "routed_experts": null } ], "service_tier": null, "system_fingerprint": "vllm-0.23.0-5658b290", "usage": { "prompt_tokens": 4, "total_tokens": 20, "completion_tokens": 16, "prompt_tokens_details": null }, "kv_transfer_params": null } [root@ctyun-gpu-atlas-01 workspace]#</code></pre> 冒烟测试通过：模型成功生成了续写文本 “ city that has been experiencing a lot of changes…“。finish_reason: length</code> 表示因达到 max_completion_tokens</code> 上限而停止。至此，单卡推理链路验证完毕，环境没有问题。 </blockquote> </a> DeepSeek V4 Flash 单机 TP8 部署</h2> 验证完基础环境后，开始正式部署目标模型 DeepSeek V4 Flash（W8A8 量化版）。单机阶段使用 8 卡张量并行（TP=8），将模型权重切分到 8 张 NPU 上并行计算。 </a> 启动 Docker 容器（8 卡全量映射）</h3> 与之前的测试容器不同，这里需要映射全部 8 张 NPU 卡，并使用专门的 DeepSeek V4 Flash 镜像： export IMAGE=quay.io/ascend/vllm-ascend:DeepSeekV4-flash-0731 docker run --rm \ --privileged=true \ --name vllm-ascend \ --shm-size=512g \ --net=host \ --device /dev/davinci0 \ --device /dev/davinci1 \ --device /dev/davinci2 \ --device /dev/davinci3 \ --device /dev/davinci4 \ --device /dev/davinci5 \ --device /dev/davinci6 \ --device /dev/davinci7 \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \ -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/ascend-toolkit:/usr/local/Ascend/ascend-toolkit \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /usr/local/sbin/:/usr/local/sbin/ \ -v /mnt/models:/mnt/models \ --ulimit nofile=65535:65535 \ -it $IMAGE bash</code></pre> 关键参数说明： 参数</th> 说明</th></tr></thead> --privileged=true</code></td> 特权模式，容器拥有完整权限，可访问 NPU 驱动的所有接口</td></tr> --shm-size=512g</code></td> 共享内存设为 512GB，大模型多卡推理需要大量共享内存用于进程间数据交换</td></tr> --net=host</code></td> 使用宿主机网络栈，容器直接使用物理网络。TP8 多卡通信需要低延迟网络，NAT 会增加开销</td></tr> --device /dev/davinci0-7</code></td> 映射全部 8 张 NPU 卡到容器内</td></tr> -v .../hccn_tool:...</code></td> 映射 HCCN（Huawei Cache Coherent Network）工具，用于卡间通信配置</td></tr> -v .../firmware:...</code></td> 映射 NPU 固件</td></tr> -v .../ascend-toolkit:...</code></td> 映射 Ascend Toolkit（CANN 工具链），容器内编译算子需要</td></tr> -v /etc/hccn.conf:...</code></td> 映射 HCCN 配置文件，包含卡间网络拓扑信息</td></tr> -v /mnt/models:...</code></td> 映射模型存储目录</td></tr> --ulimit nofile=65535:65535</code></td> 设置容器内文件描述符上限</td></tr> </tbody></table> </a> 启动 vLLM 服务（TP8）</h3> 进入容器后，设置环境变量并启动 vLLM 服务： source /usr/local/Ascend/ascend-toolkit/set_env.sh source /usr/local/Ascend/nnal/atb/set_env.sh export OMP_NUM_THREADS=32 export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True export TASK_QUEUE_ENABLE=1 export HCCL_BUFFSIZE=1024 export HCCL_OP_EXPANSION_MODE=AIV vllm serve /mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8 \ --host 0.0.0.0 \ --port 8000 \ --api-key your-api-key \ --served-model-name dsv4 \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --quantization ascend \ --max-model-len 1048576 \ --max-num-seqs 32 \ --max-num-batched-tokens 8192 \ --gpu-memory-utilization 0.9 \ --block-size 128 \ --trust-remote-code \ --tokenizer-mode deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v4 \ --enable-prefix-caching \ --no-disable-hybrid-kv-cache-manager \ --model-loader-extra-config '{"enable_multithread_load": true, "num_threads": 128}' \ --additional-config '{ "ascend_compilation_config": { "enable_npugraph_ex": true, "enable_static_kernel": false }, "enable_cpu_binding": true, "enable_dsa_cp": false, "multistream_overlap_shared_expert": true }' \ --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --async-scheduling</code></pre> 环境变量说明： 环境变量</th> 值</th> 说明</th></tr></thead> OMP_NUM_THREADS</code></td> 32</td> OpenMP 线程数，控制 CPU 端并行度。设为 32 平衡 CPU 计算和上下文切换开销</td></tr> PYTORCH_NPU_ALLOC_CONF</code></td> expandable_segments:True</td> 启用可扩展内存段分配，减少 NPU 内存碎片，大模型推理必备</td></tr> TASK_QUEUE_ENABLE</code></td> 1</td> 启用任务队列，优化 NPU 算子调度顺序</td></tr> HCCL_BUFFSIZE</code></td> 1024</td> HCCL 通信缓冲区大小（MB），增大可提升集合通信吞吐</td></tr> HCCL_OP_EXPANSION_MODE</code></td> AIV</td> HCCL 算子展开模式，AIV 模式使用 AI Vector 进行通信优化</td></tr> </tbody></table> vLLM serve 参数说明： 参数</th> 值</th> 说明</th></tr></thead> --tensor-parallel-size</code></td> 8</td> 张量并行度，将模型权重切分到 8 张卡上。单机 8 卡全用</td></tr> --enable-expert-parallel</code></td> -</td> 启用专家并行（EP）。DeepSeek V4 是 MoE 模型，EP 让不同专家分布在不同卡上</td></tr> --quantization</code></td> ascend</td> 使用昇腾专用量化方案，对应 W8A8 权重+激活量化</td></tr> --max-model-len</code></td> 1048576</td> 最大上下文长度 1M tokens（1048576）。DeepSeek V4 支持超长上下文</td></tr> --max-num-seqs</code></td> 32</td> 最大并发序列数，控制同时处理的请求数</td></tr> --max-num-batched-tokens</code></td> 8192</td> 单次批量处理的最大 token 数</td></tr> --gpu-memory-utilization</code></td> 0.9</td> NPU 显存利用率上限 90%，预留 10% 给框架开销</td></tr> --block-size</code></td> 128</td> KV Cache 块大小，128 是 DeepSeek V4 推荐值</td></tr> --tokenizer-mode</code></td> deepseek_v4</td> 使用 DeepSeek V4 专用 tokenizer 模式</td></tr> --tool-call-parser</code></td> deepseek_v4</td> 使用 DeepSeek V4 工具调用解析器</td></tr> --enable-auto-tool-choice</code></td> -</td> 启用自动工具选择，模型可自主决定是否调用工具</td></tr> --reasoning-parser</code></td> deepseek_v4</td> 使用 DeepSeek V4 推理内容解析器，提取思维链</td></tr> --enable-prefix-caching</code></td> -</td> 启用前缀缓存，相同前缀的请求复用 KV Cache，减少重复计算</td></tr> --no-disable-hybrid-kv-cache-manager</code></td> -</td> 启用混合 KV Cache 管理器，优化 MoE 模型的显存使用</td></tr> --model-loader-extra-config</code></td> multithread_load</td> 多线程加载模型权重，128 线程并行读取 safetensors 文件，加速加载</td></tr> --additional-config</code></td> JSON</td> Ascend 编译配置：启用 NPU Graph 扩展、CPU 绑定、多流重叠共享专家等高级优化</td></tr> --compilation-config</code></td> FULL_DECODE_ONLY</td> cudagraph 模式设为仅解码阶段全图编译，平衡编译时间和执行效率</td></tr> --async-scheduling</code></td> -</td> 启用异步调度，让 CPU 调度与 NPU 计算重叠，减少 bubble 时间</td></tr> </tbody></table> </a> 运行状态监控</h3> 服务运行后，vLLM 会定期输出引擎状态日志，展示实时吞吐和资源使用情况： (APIServer pid=273) INFO 08-30 08:20:18 [loggers.py:273] Engine 000: Avg prompt throughput: 409.5 tokens/s, Avg generation throughput: 336.9 tokens/s, Running: 126 reqs, Waiting: 0 reqs, GPU KV cache usage: 70.7%, Prefix cache hit rate: 0.0% (APIServer pid=273) INFO 08-30 08:20:18 [metrics.py:120] SpecDecoding metrics: Mean acceptance length: 1.56, Accepted throughput: 121.68 tokens/s, Drafted throughput: 1511.08 tokens/s, Accepted: 1217 tokens, Drafted: 15113 tokens, Per-position acceptance rate: 0.227, 0.117, 0.073, 0.056, 0.042, 0.029, 0.019, Avg Draft acceptance rate: 8.1%</code></pre> 运行状态解读 引擎吞吐：Prompt 处理 409.5 tokens/s，生成 336.9 tokens/s；当前 126 个请求并发运行、0 个排队等待；KV Cache 使用率 70.7%。 </li> 投机解码（SpecDecoding）：平均接受长度 1.56，即每个草稿 token 平均有 1.56 个被接受；草稿吞吐 1511.08 tokens/s，接受吞吐 121.68 tokens/s；平均草稿接受率 8.1%。投机解码通过小模型快速生成候选 token 再由大模型验证，可加速推理。 </li> </ul> </blockquote> </a> 单机性能压测</h2> 服务稳定运行后，使用 vLLM 内置的 vllm bench serve</code> 工具进行性能压测，评估单机 TP8 配置下的吞吐和延迟指标。 [root@ctyun-gpu-atlas-01 ~]# docker exec -it vllm-ascend bash root@ctyun-gpu-atlas-01:/workspace# root@ctyun-gpu-atlas-01:/workspace# vllm bench serve --backend openai --base-url http://127.0.0.1:8000 --served-model-name dsv4 --model /mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8 --dataset-name random --num-prompts 1024 --num-warmups 10 --request-rate inf --max-concurrency 128 --random-input-len 1024 --random-output-len 512 --save-result --result-dir ./bench_results INFO 08-30 09:19:39 [__init__.py:44] Available plugins for group vllm.platform_plugins: INFO 08-30 09:19:39 [__init__.py:46] - ascend -> vllm_ascend:register INFO 08-30 09:19:39 [__init__.py:49] All plugins in this group will be loaded. Set `VLLM_PLUGINS` to control which plugins to load. INFO 08-30 09:19:39 [__init__.py:237] Platform plugin ascend is activated INFO 08-30 09:19:50 [platform.py:61] Breakable cudagraph is force disabled on Ascend because DeepSeek V4 PIECEWISE cudagraph is not supported yet. 2026-08-30 09:19:50,069 - 14584 - ServiceProfiler - INFO - VLLM_USE_V1 not set, auto-detected via vLLM 0.25.1+empty: default 1 INFO 08-30 09:19:50 [__init__.py:112] Registered model loader `<class 'vllm_ascend.model_loader.netloader.netloader.ModelNetLoaderElastic'>` with load format `netloader` INFO 08-30 09:19:50 [__init__.py:112] Registered model loader `<class 'vllm_ascend.model_loader.rfork.rfork_loader.RForkModelLoader'>` with load format `rfork` Namespace(subparser='bench', bench_type='serve', dispatch_function=<function BenchmarkServingSubcommand.cmd at 0xfffc1f16eac0>, trust_remote_code=False, seed=0, num_prompts=1024, dataset_name='random', no_stream=False, dataset_path=None, no_oversample=False, skip_chat_template=False, enable_multimodal_chat=False, disable_shuffle=False, custom_output_len=256, custom_ensure_client_side_data=False, spec_bench_output_len=256, spec_bench_category=None, sonnet_input_len=550, sonnet_output_len=150, sonnet_prefix_len=200, sharegpt_output_len=None, timed_trace_chunk_hash_size=16, timed_trace_sec_multiplier=1, timed_trace_label_timestamp='timestamp', timed_trace_label_input_length='input_length', timed_trace_label_output_length='output_length', timed_trace_label_hash_ids='hash_ids', blazedit_min_distance=0.0, blazedit_max_distance=1.0, asr_max_audio_len_sec=inf, asr_min_audio_len_sec=0.0, random_input_len=1024, random_output_len=512, random_range_ratio='0.0', random_prefix_len=0, random_batch_size=1, no_reranker=False, random_mm_base_items_per_request=1, random_mm_num_mm_items_range_ratio=0.0, random_mm_limit_mm_per_prompt={'image': 255, 'video': 1}, random_mm_bucket_config={(256, 256, 1): 0.5, (720, 1280, 1): 0.5, (720, 1280, 16): 0.0}, hf_subset=None, hf_split=None, hf_name=None, hf_output_len=None, bfcl_categories=None, prefix_repetition_prefix_len=256, prefix_repetition_suffix_len=256, prefix_repetition_num_prefixes=10, prefix_repetition_output_len=128, speed_bench_dataset_subset='qualitative', speed_bench_output_len=4096, speed_bench_category=None, label=None, backend='openai', base_url='http://127.0.0.1:8000', host='127.0.0.1', port=8000, endpoint='/v1/completions', header=None, max_concurrency=128, model='/mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8', input_len=None, output_len=None, tokenizer=None, tokenizer_mode='auto', use_beam_search=False, logprobs=None, request_rate=inf, burstiness=1.0, disable_tqdm=False, num_warmups=10, profile=False, save_result=True, save_detailed=False, append_result=False, metadata=None, result_dir='./bench_results', result_filename=None, ignore_eos=False, self_timed=None, percentile_metrics=None, metric_percentiles='99', goodput=None, request_id_prefix='bench-dc506760-', top_p=None, top_k=None, min_p=None, temperature=None, frequency_penalty=None, presence_penalty=None, repetition_penalty=None, served_model_name='dsv4', lora_modules=None, lora_assignment='random', ramp_up_strategy=None, ramp_up_start_rps=None, ramp_up_end_rps=None, ready_check_timeout_sec=0, chat_template_kwargs=None, extra_body=None, skip_tokenizer_init=False, insecure=False, plot_timeline=False, timeline_itl_thresholds='25,50', plot_dataset_stats=False) INFO 08-30 09:19:52 [utils.py:90] Sampling input_len from [1024, 1024] and output_len from [512, 512] WARNING: /tokenize unavailable, skipping alignment. WARNING: vllm bench serve no longer sets temperature==0 (greedy) in requests by default. The default will be determined on the server side and can be model/API specific. For the old behavior, include --temperature=0. Starting initial single prompt test run... Skipping endpoint ready check. Warming up with 10 requests... 100%|██████████████████████████████████████████████████████████████████████████████████| 10/10 [00:36<00:00, 3.65s/it] Warmup run completed. Starting main benchmark run... Traffic request rate: inf Burstiness factor: 1.0 (Poisson process) Maximum request concurrency: 128 100%|██████████████████████████████████████████████████████████████████████████████| 1024/1024 [07:00<00:00, 2.44it/s] tip: install termplotlib and gnuplot to plot the metrics ============ Serving Benchmark Result ============ Successful requests: 1024 Failed requests: 0 Maximum request concurrency: 128 Benchmark duration (s): 420.15 Total input tokens: 1048576 Total generated tokens: 524288 Request throughput (req/s): 2.44 Output token throughput (tok/s): 1247.86 Peak output token throughput (tok/s): 1747.00 Peak concurrent requests: 152.00 Total token throughput (tok/s): 3743.58 ---------------Time to First Token---------------- Mean TTFT (ms): 2638.07 Median TTFT (ms): 2154.07 P99 TTFT (ms): 11093.08 -----Time per Output Token (excl. 1st token)------ Mean TPOT (ms): 97.49 Median TPOT (ms): 98.33 P99 TPOT (ms): 100.58 ---------------Inter-token Latency---------------- Mean ITL (ms): 97.49 Median ITL (ms): 81.38 P99 ITL (ms): 720.66 ================================================== root@ctyun-gpu-atlas-01:/workspace#</code></pre> 压测参数说明： 参数</th> 值</th> 说明</th></tr></thead> --backend</code></td> openai</td> 使用 OpenAI 兼容 API 后端</td></tr> --base-url</code></td> http://127.0.0.1:8000</a></td> vLLM 服务地址</td></tr> --dataset-name</code></td> random</td> 使用随机生成数据集（非真实对话数据），用于纯性能压测</td></tr> --num-prompts</code></td> 1024</td> 发送 1024 个请求</td></tr> --num-warmups</code></td> 10</td> 预热请求数，不计入统计结果</td></tr> --request-rate</code></td> inf</td> 请求发送速率为无穷大，即尽可能快地发送所有请求</td></tr> --max-concurrency</code></td> 128</td> 最大并发请求数 128，超过则排队</td></tr> --random-input-len</code></td> 1024</td> 每个请求的输入长度 1024 tokens</td></tr> --random-output-len</code></td> 512</td> 每个请求的输出长度 512 tokens</td></tr> --save-result</code></td> -</td> 保存结果到指定目录</td></tr> </tbody></table> </a> 压测结果分析</h3> 指标</th> 值</th> 含义</th></tr></thead> 成功请求</td> 1024 / 1024</td> 全部成功，0 失败</td></tr> 请求吞吐</td> 2.44 req/s</td> 每秒完成 2.44 个请求</td></tr> 输出 token 吞吐</td> 1247.86 tok/s</td> 每秒生成约 1248 个 token</td></tr> 峰值输出吞吐</td> 1747.00 tok/s</td> 峰值瞬间每秒生成 1747 个 token</td></tr> 总 token 吞吐</td> 3743.58 tok/s</td> 含输入+输出的总吞吐</td></tr> 平均 TTFT</td> 2638.07 ms</td> 首 token 延迟，平均约 2.6 秒</td></tr> P99 TTFT</td> 11093.08 ms</td> 99 分位首 token 延迟约 11 秒</td></tr> 平均 TPOT</td> 97.49 ms</td> 首 token 后每个输出 token 平均耗时约 97.5ms</td></tr> 平均 ITL</td> 97.49 ms</td> token 间平均延迟约 97.5ms</td></tr> P99 ITL</td> 720.66 ms</td> 99 分位 token 间延迟约 721ms</td></tr> </tbody></table> 性能总结：单机 TP8 配置下，输出吞吐约 1248 tok/s，峰值达 1747 tok/s。TPOT 约 97.5ms/token，P99 控制在 100.58ms 以内，生成速率稳定。TTFT 平均 2.6 秒（P99 约 11 秒），在高并发 128 请求下首 token 延迟可接受。整体表现良好，为后续双机部署提供了性能基线。 </blockquote> </a> Ray 分布式多节点部署</h2> 单机 8 卡已经能运行 DeepSeek V4 Flash，但双机 16 卡可以通过更大的并行度提升吞吐。这里使用 Ray 作为分布式执行框架，将两台机器组成一个集群，实现跨节点的流水线并行（PP2）+ 张量并行（TP8）。 </a> NPU 网络连通性检查</h3> 在搭建 Ray 集群之前，首先验证 8 张 NPU 卡的 RoCE 网络是否正常。使用 hccn_tool</code> 工具逐卡检查链路状态、网络健康度、对端地址和网关配置。 </a> 1. 查看每张卡的物理网口</h4> [root@ctyun-gpu-atlas-01 ~]# for i in {0..7}; do hccn_tool -i $i -lldp -g | grep Ifname; done Ifname: 400GE1/4/1:1 Ifname: 400GE1/4/1:2 Ifname: 400GE1/4/2:1 Ifname: 400GE1/4/2:2 Ifname: 400GE1/4/3:1 Ifname: 400GE1/4/3:2 Ifname: 400GE1/4/4:1 Ifname: 400GE1/4/4:2</code></pre> 每张卡有 8 个 400GE（400 Gigabit Ethernet）端口，通过 LLDP 协议发现对端设备。400GE 高速网络为卡间通信提供了充足带宽。 </a> 2. 检查链路状态</h4> [root@ctyun-gpu-atlas-01 ~]# for i in {0..7}; do hccn_tool -i $i -link -g ; done link status: UP link status: UP link status: UP link status: UP link status: UP link status: UP link status: UP link status: UP</code></pre> 全部 8 张卡链路状态均为 UP，物理连接正常。 </a> 3. 检查网络健康度</h4> [root@ctyun-gpu-atlas-01 ~]# for i in {0..7}; do hccn_tool -i $i -net_health -g ; done net health status: Success net health status: Success net health status: Success net health status: Success net health status: Success net health status: Success net health status: Success net health status: Success</code></pre> 全部 Success，RoCE 网络健康。 </a> 4. 查看对端检测地址</h4> [root@ctyun-gpu-atlas-01 ~]# for i in {0..7}; do hccn_tool -i $i -netdetect -g ; done netdetect address: 6.0.2.0 netdetect address: 6.0.2.2 netdetect address: 6.0.2.4 netdetect address: 6.0.2.6 netdetect address: 6.0.2.8 netdetect address: 6.0.2.10 netdetect address: 6.0.2.12 netdetect address: 6.0.2.14</code></pre> 每张卡检测到的对端地址分布在 6.0.2.x</code> 网段，偶数地址递增。 </a> 5. 查看网关和接口</h4> [root@ctyun-gpu-atlas-01 ~]# for i in {0..7}; do hccn_tool -i $i -gateway -g ; done default gateway:6.0.2.0, Iface:eth0 default gateway:6.0.2.2, Iface:eth1 default gateway:6.0.2.4, Iface:eth2 default gateway:6.0.2.6, Iface:eth3 default gateway:6.0.2.8, Iface:eth4 default gateway:6.0.2.10, Iface:eth5 default gateway:6.0.2.12, Iface:eth6 default gateway:6.0.2.14, Iface:eth7</code></pre> 每张卡对应一个独立的虚拟网口（eth0~eth7），网关地址依次递增。NPU 卡间网络通过内部交换芯片互联，无需外部交换机。 </a> 6. 查看 IP 地址并测试连通性</h4> [root@ctyun-gpu-atlas-01 ~]# for i in {0..7}; do hccn_tool -i $i -ip -g | grep ipaddr; done ipaddr:6.0.2.1 ipaddr:6.0.2.3 ipaddr:6.0.2.5 ipaddr:6.0.2.7 ipaddr:6.0.2.9 ipaddr:6.0.2.11 ipaddr:6.0.2.13 ipaddr:6.0.2.15 [root@ctyun-gpu-atlas-01 ~]# hccn_tool -i 0 -ping -g address 6.0.2.1 device 0 PING 6.0.2.1 recv seq=0,time=0.042000ms recv seq=1,time=0.012000ms recv seq=2,time=0.009000ms 3 packets transmitted, 3 received, 0.00% packet loss [root@ctyun-gpu-atlas-01 ~]#</code></pre> NPU 0 ping 自身地址（6.0.2.1），3 个包全部收到，延迟约 0.01~0.04ms，0% 丢包。卡间网络连通性完全正常。 </a> Ray Head 节点启动</h3> 在第一台机器（atlas-01</code>，IP: 10.0.0.6）上启动 Ray Head 节点： export HCCL_IF_IP=10.0.0.6 export HCCL_SOCKET_IFNAME=eno0 export RAY_EXPERIMENTAL_NOSET_ASCEND_RT_VISIBLE_DEVICES=1 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 export HCCL_P2P_DISABLE=0 export HCCL_IF_BASE_PORT=50000 root@ctyun-gpu-atlas-01:/workspace# ray start --head --node-ip-address=10.0.0.6 --port=6379 --num-gpus=8 [394/462] Enable usage stats collection? This prompt will auto-proceed in 10 seconds to avoid blocking cluster startup. Confirm [Y/n]: y Usage stats collection is enabled. To disable this, add `--disable-usage-stats` to the command that starts the cluster, or run the following command: `ray disable-usage-stats` before starting the cluster. See https://docs.ray.io/en/master/cluster/usage-stats.html for more details. Local node IP: 10.0.0.6 2026-08-31 01:22:14,499 - INFO - Failed to auto-detect TPU type. 2026-08-31 01:22:14,505 - INFO - Failed to configure TPU pod. Got: tpu_name: None, worker_id: None, accelerator_type: None -------------------- Ray runtime started. -------------------- Next steps To add another node to this Ray cluster, run ray start --address='10.0.0.6:6379' To connect to this Ray cluster: import ray ray.init(_node_ip_address='10.0.0.6') To terminate the Ray runtime, run ray stop To view the status of the cluster, use ray status root@ctyun-gpu-atlas-01:/workspace# ray status ======== Autoscaler status: 2026-08-31 01:22:29.001024 ======== Node status --------------------------------------------------------------- Active: 1 node_b9434c9fa32f41a47c6f450a08b76d1f358b0002cbe7babee773f5e8 1 node_0c2a8d8fb57354c14c2917f5752bb2993c1c2811a3c9a3d2b39e511f Pending: (no pending nodes) Recent failures: (no failures) Resources --------------------------------------------------------------- Total Usage: 0.0/384.0 CPU 0.0/16.0 GPU 0.0/16.0 NPU 0.0/2.0 TPU 0B/2.63TiB memory 0B/372.53GiB object_store_memory Total Constraints: (no request_resources() constraints) Total Demands: (no resource demands) root@ctyun-gpu-atlas-01:/workspace#</code></pre> 环境变量说明： 环境变量</th> 值</th> 说明</th></tr></thead> HCCL_IF_IP</code></td> 10.0.0.6</td> HCCL 通信使用的本机 IP 地址。Head 节点为 10.0.0.6</td></tr> HCCL_SOCKET_IFNAME</code></td> eno0</td> HCCL 通信使用的网卡接口名</td></tr> RAY_EXPERIMENTAL_NOSET_ASCEND_RT_VISIBLE_DEVICES</code></td> 1</td> 实验性参数，阻止 Ray 自动设置 ASCEND_RT_VISIBLE_DEVICES，由用户手动控制</td></tr> ASCEND_RT_VISIBLE_DEVICES</code></td> 0,1,2,3,4,5,6,7</td> 可见 NPU 设备列表，暴露全部 8 张卡</td></tr> HCCL_P2P_DISABLE</code></td> 0</td> 不禁用 P2P（点对点）通信，启用 NPU 间直接数据传输</td></tr> HCCL_IF_BASE_PORT</code></td> 50000</td> HCCL 通信起始端口</td></tr> </tbody></table> Ray 集群资源：Head 节点启动后显示集群有 384 CPU、16 GPU、16 NPU、2.63TiB 内存。注意 GPU 和 NPU 都显示 16（双机合计），TPU 的 2.0 是 Ray 对未知加速器的默认检测（可忽略）。此时 Head 节点已就绪，等待 Worker 节点加入。 </blockquote> </a> Ray Worker 节点加入</h3> 在第二台机器（atlas-02</code>，IP: 10.0.0.5）上配置环境变量并加入集群： export HCCL_IF_IP=10.0.0.5 export HCCL_SOCKET_IFNAME=eno0 export RAY_EXPERIMENTAL_NOSET_ASCEND_RT_VISIBLE_DEVICES=1 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 export HCCL_P2P_DISABLE=0 root@ctyun-gpu-atlas-02:/workspace# ray start --address='10.0.0.6:6379' --node-ip-address=10.0.0.5 --num-gpus=8 Local node IP: 10.0.0.5 2026-08-31 01:22:22,139 - INFO - Failed to auto-detect TPU type. 2026-08-31 01:22:22,143 - INFO - Failed to configure TPU pod. Got: tpu_name: None, worker_id: None, accelerator_type: None [2026-08-31 01:22:22,164 W 169 169] global_state_accessor.cc:435: Retrying to get node with node ID b9434c9fa32f41a47c6f450a08b76d1f358b0002cbe7babee773f5e8 -------------------- Ray runtime started. -------------------- To terminate the Ray runtime, run ray stop</code></pre> Worker 节点成功加入集群。回到 Head 节点查看集群状态： root@ctyun-gpu-atlas-01:/workspace# ray status ======== Autoscaler status: 2026-08-31 01:22:29.001024 ======== Node status --------------------------------------------------------------- Active: 1 node_b9434c9fa32f41a47c6f450a08b76d1f358b0002cbe7babee773f5e8 1 node_0c2a8d8fb57354c14c2917f5752bb2993c1c2811a3c9a3d2b39e511f Pending: (no pending nodes) Recent failures: (no failures) Resources --------------------------------------------------------------- Total Usage: 0.0/384.0 CPU 0.0/16.0 GPU 0.0/16.0 NPU 0.0/2.0 TPU 0B/2.63TiB memory 0B/372.53GiB object_store_memory Total Constraints: (no request_resources() constraints) Total Demands: (no resource demands) root@ctyun-gpu-atlas-01:/workspace#</code></pre> 集群显示 2 个 Active 节点，16 NPU 资源全部可用。双机 Ray 集群搭建完毕。 </a> 启动 PP2 + TP8 多节点推理</h3> Ray 集群就绪后，在 Head 节点启动 vLLM 服务，配置流水线并行 PP=2（模型按层切分到两台机器）+ 张量并行 TP=8（每台机器内部 8 卡张量并行）： source /usr/local/Ascend/ascend-toolkit/set_env.sh source /usr/local/Ascend/nnal/atb/set_env.sh export OMP_NUM_THREADS=10 export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True export TASK_QUEUE_ENABLE=1 export HCCL_BUFFSIZE=1024 export HCCL_OP_EXPANSION_MODE=AIV export HCCL_SOCKET_IFNAME=bond0 export HCCL_IF_IP=100.97.170.13 export HCCL_P2P_DISABLE=0 vllm serve /mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8 \ --host 0.0.0.0 \ --port 8000 \ --distributed-executor-backend ray \ --pipeline-parallel-size 2 \ --served-model-name dsv4 \ --tensor-parallel-size 8 \ --quantization ascend \ --max-model-len 1048576 \ --max-num-seqs 128 \ --max-num-batched-tokens 8192 \ --gpu-memory-utilization 0.9 \ --block-size 128 \ --trust-remote-code \ --tokenizer-mode deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v4 \ --enable-prefix-caching \ --no-disable-hybrid-kv-cache-manager \ --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --async-scheduling</code></pre> 关键新增参数说明： 参数</th> 值</th> 说明</th></tr></thead> --distributed-executor-backend</code></td> ray</td> 使用 Ray 作为分布式执行后端，替代默认的 MP（多进程）方式。Ray 提供更灵活的跨节点调度能力</td></tr> --pipeline-parallel-size</code></td> 2</td> 流水线并行度 2，将模型按 Transformer 层切分到 2 个 stage（对应两台机器）。Stage 0 在 atlas-01，Stage 1 在 atlas-02</td></tr> --max-num-seqs</code></td> 128</td> 相比单机的 32 提升到 128，双机有更多显存可容纳更多并发</td></tr> HCCL_SOCKET_IFNAME=bond0</code></td> bond0</td> 多节点场景下使用 bond0（链路聚合接口）进行 HCCL 通信，提供更高带宽和冗余</td></tr> OMP_NUM_THREADS=10</code></td> 10</td> 降低 OMP 线程数，因为双机总 CPU 核数更多，每进程分配较少线程避免过度竞争</td></tr> </tbody></table> </a> 启动成功日志</h3> (EngineCore pid=1165) (RayWorkerProc pid=732, ip=10.0.0.5) (Worker_PP1_TP7 pid=732) INFO 08-31 01:29:36 [cpu_binding.py:641] NPU7: main=[98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141] acl=[142] release=[[143]] [repeated 10x across cluster] (EngineCore pid=1165) (RayWorkerProc pid=428, ip=10.0.0.5) (Worker_PP1_TP1 pid=428) INFO 08-31 01:29:36 [cpu_binding.py:667] [migrate] NPU:1 -> NUMA [0] [repeated 13x across cluster] (EngineCore pid=1165) (RayWorkerProc pid=428, ip=10.0.0.5) (Worker_PP1_TP1 pid=428) WARNING 08-31 01:29:39 [worker.py:763] Bind cpus failed in rank1: [Errno 2] No such file or directory: '/proc/irq/971/smp_affinity' Skip binding cpu. (EngineCore pid=1165) INFO 08-31 01:29:40 [core.py:337] init engine (profile, create kv cache, warmup model) took 121.36 s (compilation: 19.69 s) (EngineCore pid=1165) INFO 08-31 01:29:41 [ascend_config.py:824] Dynamic EPLB is False (EngineCore pid=1165) INFO 08-31 01:29:41 [ascend_config.py:825] The number of redundant experts is 0 (EngineCore pid=1165) INFO 08-31 01:29:43 [vllm.py:1042] Asynchronous scheduling is enabled. (EngineCore pid=1165) INFO 08-31 01:29:43 [kernel.py:292] Final IR op priority after setting platform defaults: IrOpPriorityConfig(rms_norm=['native'], fused_add_rms_norm=['native']) (EngineCore pid=1165) WARNING 08-31 01:29:43 [utils.py:1246] For deepseek_v4 model, block size should be 32, 64 or 128. Setting block size to 32 for better performance. (EngineCore pid=1165) INFO 08-31 01:29:43 [platform.py:771] Set PYTORCH_NPU_ALLOC_CONF=expandable_segments:True (EngineCore pid=1165) INFO 08-31 01:29:43 [compilation.py:312] Enabled custom fusions: norm_quant, act_quant (APIServer pid=863) INFO 08-31 01:29:43 [api_server.py:612] Supported tasks: ['generate'] (APIServer pid=863) INFO 08-31 01:29:44 [parser_manager.py:37] "auto" tool choice has been enabled. (APIServer pid=863) WARNING 08-31 01:29:44 [model.py:1528] Default vLLM sampling parameters have been overridden by the model's `generation_config.json`: `{'temperature': 1.0, 'top_p': 1.0}`. If this is not intended, please relaunch vLLM instance with `--generation-config vllm`. (APIServer pid=863) INFO 08-31 01:29:44 [api_server.py:616] Starting vLLM server on http://0.0.0.0:8000 (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:37] Available routes are: (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /openapi.json, Methods: GET, HEAD (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /docs, Methods: GET, HEAD (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /docs/oauth2-redirect, Methods: GET, HEAD (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /redoc, Methods: GET, HEAD (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /load, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /version, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /health, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /metrics, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /tokenize, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /detokenize, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/models, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /ping, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /ping, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /invocations, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/chat/completions, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/chat/completions/batch, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/responses, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/responses/{response_id}, Methods: GET (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/responses/{response_id}/cancel, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/completions, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/messages, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/messages/count_tokens, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /generative_scoring, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /scale_elastic_ep, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /is_scaling_elastic_ep, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/chat/completions/render, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/completions/render, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/chat/completions/derender, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /v1/completions/derender, Methods: POST (APIServer pid=863) INFO 08-31 01:29:44 [launcher.py:46] Route: /inference/v1/generate, Methods: POST (APIServer pid=863) INFO: Started server process [863] (APIServer pid=863) INFO: Waiting for application startup. (APIServer pid=863) INFO: Application startup complete.</code></pre> 启动过程解读 CPU 绑定：vLLM 自动将每张 NPU 的计算线程绑定到特定 CPU 核心以减少跨 NUMA 访问延迟。日志显示 NPU7 绑定到 CPU 核 98-141，ACL 线程在核 142。部分 rank 因 /proc/irq</code> 文件不存在而跳过绑定（WARNING 级别，不影响运行）。 </li> 引擎初始化：耗时 121.36 秒（其中编译 19.69 秒），包括 KV Cache 创建和模型预热。 </li> Block Size 调整：vLLM 自动将 block size 从 128 调整为 32 以获得更好性能（DeepSeek V4 模型的推荐值）。 </li> 服务就绪：Application startup complete</code> 表示多节点推理服务已成功启动，注册了包括 /v1/chat/completions</code>、/v1/completions</code>、/v1/messages</code> 等 OpenAI 兼容路由。 </li> </ul> </blockquote> </a> 数据并行（DP）部署</h2> PP2+TP8 虽然能跨双机运行模型，但流水线并行的 bubble 开销较大。另一种方案是数据并行（DP）——每台机器独立运行一份完整的 TP8 推理实例，通过数据并行在两台机器间分配请求，实现吞吐翻倍。 以下配置使用 eno0</code> 网卡接口，在两台机器上分别启动 vLLM 进程，通过 DP RPC 端口协调。 </a> 节点 1（atlas-01）配置</h3> source /usr/local/Ascend/ascend-toolkit/set_env.sh source /usr/local/Ascend/nnal/atb/set_env.sh nic_name="eno0" local_ip="10.0.0.6" node0_ip="10.0.0.6" export HCCL_OP_EXPANSION_MODE="AIV" export HCCL_IF_IP=$local_ip export GLOO_SOCKET_IFNAME=$nic_name export TP_SOCKET_IFNAME=$nic_name export HCCL_SOCKET_IFNAME=$nic_name export HCCL_TRANSFER_TIMEOUT=600 export HCCL_EXEC_TIMEOUT=3600 export HCCL_CONNECT_TIMEOUT=3600 export OMP_PROC_BIND=false export ASCEND_RT_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" export OMP_NUM_THREADS=4 export HCCL_BUFFSIZE=1024 export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True" export VLLM_RPC_TIMEOUT=1200 export HCCL_P2P_DISABLE=1 export ATB_OPERATION_EXECUTE_ASYNC=1 export NPU_MEMORY_FRACTION=0.95 export HCCL_DETERMINISTIC=false export INF_NAN_MODE_ENABLE=1 sysctl -w vm.swappiness=0 sysctl -w kernel.numa_balancing=0 sysctl kernel.sched_migration_cost_ns=50000 vllm serve /mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8 \ --host 0.0.0.0 \ --port 8077 \ --safetensors-load-strategy prefetch \ --api-server-count 1 \ --tensor-parallel-size 8 \ --data-parallel-size 2 \ --data-parallel-size-local 1 \ --data-parallel-start-rank 0 \ --data-parallel-address $node0_ip \ --data-parallel-rpc-port 12980 \ --enable-expert-parallel \ --enforce-eager \ --enable-prefix-caching \ --disable-custom-all-reduce \ --quantization ascend \ --max-model-len 32768 \ --max-num-seqs 16 \ --max-num-batched-tokens 8192 \ --gpu-memory-utilization 0.90 \ --trust-remote-code \ --api-server-count 1 \ --served-model-name dsv4 \ --tokenizer-mode deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --block-size 128 \ --reasoning-parser deepseek_v4 \ --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --async-scheduling </code></pre></a> 节点 2（atlas-02）配置</h3> source /usr/local/Ascend/ascend-toolkit/set_env.sh source /usr/local/Ascend/nnal/atb/set_env.sh nic_name="eno0" local_ip="10.0.0.5" node0_ip="10.0.0.6" export HCCL_OP_EXPANSION_MODE="AIV" export HCCL_IF_IP=$local_ip export GLOO_SOCKET_IFNAME=$nic_name export TP_SOCKET_IFNAME=$nic_name export HCCL_SOCKET_IFNAME=$nic_name export HCCL_TRANSFER_TIMEOUT=600 export HCCL_EXEC_TIMEOUT=3600 export HCCL_CONNECT_TIMEOUT=3600 export OMP_PROC_BIND=false export ASCEND_RT_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" export OMP_NUM_THREADS=4 export HCCL_BUFFSIZE=1024 export PYTORCH_NPU_ALLOC_CONF="expandable_segments:True" export VLLM_RPC_TIMEOUT=1200 export HCCL_P2P_DISABLE=1 sysctl -w vm.swappiness=0 sysctl -w kernel.numa_balancing=0 sysctl kernel.sched_migration_cost_ns=50000 vllm serve /mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8 \ --host 0.0.0.0 \ --port 8078 \ --headless \ --tensor-parallel-size 8 \ --data-parallel-size 2 \ --data-parallel-size-local 1 \ --data-parallel-start-rank 1 \ --data-parallel-address $node0_ip \ --data-parallel-rpc-port 12980 \ --enable-expert-parallel \ --enforce-eager \ --enable-prefix-caching \ --disable-custom-all-reduce \ --quantization ascend \ --block-size 128 \ --max-model-len 32768 \ --max-num-seqs 16 \ --max-num-batched-tokens 8192 \ --gpu-memory-utilization 0.90 \ --trust-remote-code \ --api-server-count 0 \ --served-model-name dsv4 \ --tokenizer-mode deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v4 \ --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \ --async-scheduling </code></pre> DP 关键参数说明： 参数</th> 节点1</th> 节点2</th> 说明</th></tr></thead> --port</code></td> 8077</td> 8078</td> 各节点独立端口</td></tr> --data-parallel-size</code></td> 2</td> 2</td> 数据并行总数 2（两台机器各 1 个 DP rank）</td></tr> --data-parallel-size-local</code></td> 1</td> 1</td> 每台机器本地 DP 副本数 1</td></tr> --data-parallel-start-rank</code></td> 0</td> 1</td> 本节点的 DP rank 起始编号。节点1 为 rank 0，节点2 为 rank 1</td></tr> --data-parallel-address</code></td> 10.0.0.6</td> 10.0.0.6</td> DP 协调地址（指向 Head 节点 IP）</td></tr> --data-parallel-rpc-port</code></td> 12980</td> 12980</td> DP RPC 通信端口，两节点必须一致</td></tr> --headless</code></td> 无</td> 有</td> 节点2 设为 headless 模式，不启动 API Server，仅作为推理 Worker</td></tr> --api-server-count</code></td> 1</td> 0</td> 节点1 启动 1 个 API Server；节点2 不启动 API Server</td></tr> --enforce-eager</code></td> -</td> -</td> 强制 eager 模式，禁用 cudagraph，DP 场景下更稳定</td></tr> --disable-custom-all-reduce</code></td> -</td> -</td> 禁用自定义 all-reduce，DP 不需要跨节点梯度同步</td></tr> --max-model-len</code></td> 32768</td> 32768</td> DP 模式下降低上下文长度到 32K 以节省显存</td></tr> </tbody></table> DP 环境变量说明： 环境变量</th> 值</th> 说明</th></tr></thead> GLOO_SOCKET_IFNAME</code></td> eno0</td> Gloo 通信后端使用的网卡（PyTorch 分布式通信库）</td></tr> TP_SOCKET_IFNAME</code></td> eno0</td> 张量并行通信使用的网卡</td></tr> HCCL_P2P_DISABLE=1</code></td> 1</td> DP 模式禁用 P2P（与 PP 模式不同），因跨节点无 P2P 硬件支持</td></tr> ATB_OPERATION_EXECUTE_ASYNC=1</code></td> 1</td> Ascend Transformer Boost 异步执行，提升算子并行度</td></tr> NPU_MEMORY_FRACTION=0.95</code></td> 0.95</td> NPU 内存使用上限 95%，比 vLLM 的 gpu-memory-utilization 更底层</td></tr> HCCL_TRANSFER_TIMEOUT</code></td> 600</td> HCCL 传输超时 600 秒</td></tr> HCCL_EXEC_TIMEOUT</code></td> 3600</td> HCCL 执行超时 1 小时</td></tr> VLLM_RPC_TIMEOUT</code></td> 1200</td> vLLM RPC 超时 20 分钟</td></tr> vm.swappiness=0</code></td> 0</td> 禁用 swap，避免内存交换导致性能下降</td></tr> kernel.numa_balancing=0</code></td> 0</td> 禁用 NUMA 自动平衡，手动控制 CPU 绑定</td></tr> sched_migration_cost_ns=50000</code></td> 50000</td> 任务迁移成本 50us，减少不必要的 CPU 间任务迁移</td></tr> </tbody></table> DP vs PP 对比 数据并行（DP）：每台机器独立运行完整模型，请求在两个实例间均衡分配，吞吐接近翻倍。无需跨节点传输中间激活值，延迟更低。但每台机器需完整加载模型权重，显存需求与单机相同。 </li> 流水线并行（PP）：模型按层切分到两台机器，每台只需一半权重，显存减半。但存在流水线 bubble，且 Stage 间需传输中间激活，增加延迟。适合显存不足时使用。 </li> </ul> </blockquote> </a> 直连通信 BUG 修复</h2> 在 DP 部署过程中遇到了一个 MoE（Mixture of Experts）通信方式的 BUG。DeepSeek V4 是 MoE 模型，多个专家之间的通信方式选择不当会导致通信异常。需要手动修改 vllm-ascend 源码强制使用 ALLGATHER 通信方式。 root@atlas-01:/workspace# vim /vllm-workspace/vllm-ascend/vllm_ascend/ascend_forward_context.py 找到select_moe_comm_method方法在return前设置 moe_comm_type=MoECommType.ALLGATHER return moe_comm_type</code></pre> BUG 修复说明 在 ascend_forward_context.py</code> 文件的 select_moe_comm_method</code> 方法中，在 return</code> 前强制设置 moe_comm_type=MoECommType.ALLGATHER</code>。这覆盖了原有的自动选择逻辑，确保 MoE 专家间通信用 ALLGATHER 模式，避免在多节点 DP 场景下出现直连通信不可用的问题。 MoECommType.ALLGATHER：所有专家的输出通过 AllGather 操作汇总，相比 P2P 直连方式更稳定，但通信量稍大。在跨节点场景下，P2P 直连可能因网络拓扑限制而失败，ALLGATHER 是更安全的选择。 </blockquote> </a> ais_bench 基准测试</h2> 除了 vLLM 内置的压测工具，还使用华为官方的 ais_bench 基准测试框架进行评测。ais_bench 提供标准化的数据集和评测流程，可以对比不同模型的性能表现。 </a> 安装 ais_bench</h3> pip3 install ais_bench_benchmark</code></pre></a> 配置模型接口</h3> 修改 ais_bench 的 vLLM API 流式对话配置文件，指定模型路径、API 地址和生成参数： vim /usr/local/python3.12.13/lib/python3.12/site-packages/ais_bench/benchmark/configs/models/vllm_api/vllm_api_stream_chat.py</code></pre>from ais_bench.benchmark.models import VLLMCustomAPIChat from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content models = [ dict( attr="service", type=VLLMCustomAPIChat, abbr="vllm-api-stream-chat", path="/mnt/models/Eco-Tech/DeepSeek-V4-Flash-0731-w8a8", model="dsv4", stream=False, request_rate=0, use_timestamp=False, retry=2, api_key="your-api-key", host_ip="127.0.0.1", host_port=8000, url="", max_out_len=512, batch_size=1, trust_remote_code=False, generation_kwargs=dict( temperature=0.01, ignore_eos=False, ), pred_postprocessor=dict(type=extract_non_reasoning_content), ) ]</code></pre> 配置参数说明： 参数</th> 值</th> 说明</th></tr></thead> type=VLLMCustomAPIChat</code></td> -</td> 使用 ais_bench 内置的 vLLM 自定义 API 客户端</td></tr> path</code></td> 模型路径</td> 本地模型权重路径，用于 tokenizer 初始化</td></tr> model</code></td> dsv4</td> API 请求中的模型名（对应 vLLM 的 served-model-name）</td></tr> stream=False</code></td> False</td> 关闭流式响应，等待完整输出再返回</td></tr> request_rate=0</code></td> 0</td> 请求发送速率为 0，表示不限制（尽快发送）</td></tr> retry=2</code></td> 2</td> 失败重试次数</td></tr> max_out_len=512</code></td> 512</td> 最大输出长度 512 tokens</td></tr> temperature=0.01</code></td> 0.01</td> 极低温度，接近贪婪解码，确保结果确定性</td></tr> pred_postprocessor</code></td> extract_non_reasoning_content</td> 后处理器：提取非推理内容，过滤掉思维链部分</td></tr> </tbody></table> </a> 下载 GSM8K 数据集</h3> # 进入 ais_bench 的数据集目录 cd /usr/local/python3.12.13/lib/python3.12/site-packages/ais_bench/datasets/ # 下载 GSM8K 数据集（如果 wget 不可用，可以改用 curl -O） wget http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/gsm8k.zip apt update && apt install -y unzip && unzip gsm8k.zip # 解压 # 验证文件是否解压成功（应该能看到 test.jsonl 等文件） ls gsm8k/</code></pre> GSM8K 是一个包含 8500 道小学数学应用题的数据集，广泛用于评估大语言模型的数学推理能力。 </a> 运行基准测试</h3> ais_bench --models vllm_api_stream_chat --datasets gsm8k_gen_0_shot_cot_str_perf --debug --summarizer default_perf --mode perf</code></pre> ais_bench 参数说明： 参数</th> 值</th> 说明</th></tr></thead> --models</code></td> vllm_api_stream_chat</td> 使用刚才配置的 vLLM API 模型</td></tr> --datasets</code></td> gsm8k_gen_0_shot_cot_str_perf</td> GSM8K 数据集，0-shot CoT（思维链）性能模式</td></tr> --debug</code></td> -</td> 调试模式，输出详细日志</td></tr> --summarizer</code></td> default_perf</td> 使用默认性能摘要器，输出吞吐和延迟统计</td></tr> --mode</code></td> perf</td> 性能评测模式（非准确率模式）</td></tr> </tbody></table> </a> 参考资料</h2> vLLM Ascend GLM5.2 部署教程 - Docker 镜像安装</a></li> ModelScope Eco-Tech 模型集合 - DeepSeek V4 Flash</a></li> vLLM Ascend GLM5.2 部署教程 - 上下文配置</a></li> vllm-ascend 安装文档 (GitHub)</a></li> vLLM Ascend 官方安装指南</a></li> DeepSeek V4 Flash W8A8 量化模型 (GitCode)</a></li> vLLM 专家并行部署文档</a></li> vLLM 并行扩展与分布式部署问题排查</a></li> vLLM 分布式故障排查 - Ray 可观测性</a></li> </ol>

Kali-Team - vllm

双机 Atlas 800T A2 部署大模型