8卡RTX 5090D服务器部署Qwen3-32B-AWQ模型执行性能测试

一、背景

最近得了一台8卡5090D服务器进行测试评估。

GPU拓扑情况如下

(test) root@ubuntu:/opt/models# nvidia-smi topo -m

        GPU0    GPU1    GPU2    GPU3    GPU4    GPU5    GPU6    GPU7    CPU Affinity    NUMA Affinity   GPU NUMA ID
GPU0     X      NODE    NODE    NODE    SYS     SYS     SYS     SYS     0-31,64-95      0               N/A
GPU1    NODE     X      NODE    NODE    SYS     SYS     SYS     SYS     0-31,64-95      0               N/A
GPU2    NODE    NODE     X      NODE    SYS     SYS     SYS     SYS     0-31,64-95      0               N/A
GPU3    NODE    NODE    NODE     X      SYS     SYS     SYS     SYS     0-31,64-95      0               N/A
GPU4    SYS     SYS     SYS     SYS      X      NODE    NODE    NODE    32-63,96-127    1               N/A
GPU5    SYS     SYS     SYS     SYS     NODE     X      NODE    NODE    32-63,96-127    1               N/A
GPU6    SYS     SYS     SYS     SYS     NODE    NODE     X      NODE    32-63,96-127    1               N/A
GPU7    SYS     SYS     SYS     SYS     NODE    NODE    NODE     X      32-63,96-127    1               N/A

Legend:

  X    = Self
  SYS  = Connection traversing PCIe as well as the SMP interconnect between NUMA nodes (e.g., QPI/UPI)
  NODE = Connection traversing PCIe as well as the interconnect between PCIe Host Bridges within a NUMA node
  PHB  = Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU)
  PXB  = Connection traversing multiple PCIe bridges (without traversing the PCIe Host Bridge)
  PIX  = Connection traversing at most a single PCIe bridge
  NV#  = Connection traversing a bonded set of # NVLinks

最开始是准备做vllm直接推理大模型，使用vllm0.9.0版本，由于一直在版本不兼容或直接推理出错中反复横跳，最后从github上找到了一个方法，直接用nvidia自己释出来的docker镜像进行vllm推理。

二、影响测试的错误

2.1. 直接vllm推理错误。原因是torch组件兼容性问题

RuntimeError: CUDA error: no kernel image is available for execution on the device
Compile with 'TORCH_USE _CUDA_DSA' to enable device-side assertions.

错误截图：

2.2. 解决兼容性问题又会碰到NCCL error

raise RuntimeError(f"NCCL error: {error_str})
RuntimeError NCCL error: unhandled cuda error (run with NCCL DEBUG-INFO for details)

尝试然后重新安装torch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128 --ignore-installed

重新安装nccl

python -m pip install "nvidia-nccl-cu12>=2.26.5"

并且启动成功了，但是一推理就会跳到no kernel image is available for execution on the device错误

CUDA_VISIBLE_DEVICES=0,1,2,3 vllm serve /opt/models/Qwen3-32B-AWQ \
  --gpu-memory-utilization 0.8 \
  --tensor-parallel-size 4 \
  --served-model-name Qwen3-32B \
  --port 8801 \
  --host 0.0.0.0 \
  --distributed-executor-backend mp

最后参考[Doc]: Steps to run vLLM on your RTX5080 or 5090!
#14452使用nvcr.io/nvidia/tritonserver:25.05-vllm-python-py3镜像启动了测试，看起来vllm还没有做好对5090的兼容性。

三、使用Docker启动测试

3.1. 准备大模型推理环境

3.1.1. 安装 docker

snap install docker

3.1.2. 安装 docker 需要 NVIDIA Container Toolkit

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

apt install nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1

3.1.3. 重启 docker 服务，使配置生效

systemctl restart snap.docker.dockerd

3.1.4. 准备使用英伟达提供的基础镜像进行大模型推理，编写docker-compose.yml文件

services:
  vllm-server:
    image: nvcr.io/nvidia/tritonserver:25.05-vllm-python-py3
    command: >
      vllm serve /opt/tritonserver/models/Qwen3-32B-AWQ
      --trust-remote-code
      --enable-prefix-caching
      --disable-sliding-window
      --gpu-memory-utilization 0.9
      --port 8005
      --max-model-len 32768
      --max-num-seqs 2
      --tensor-parallel-size 4
    environment:
      - VLLM_ATTENTION_BACKEND=xformers
      - NVIDIA_VISIBLE_DEVICES=all
    volumes:
      - ~/.cache:/root/.cache
      - /root/models:/opt/tritonserver/models
    runtime: nvidia
    network_mode: host
    ipc: host
    restart: "no"

3.1.5. 启动镜像服务

docker-compose up -d

3.2. 使用`evalscope`执行压力测试

3.2.1. 安装`evalscope`环境

miniconda环境安装略过，参考官网去做。

conda create -n evalscope python=3.10
pip install 'evalscope[app,perf]' -U

3.2.2 执行4卡压力测试

(test) root@ubuntu:/opt/models# evalscope perf     --model /opt/tritonserver/models/Qwen3-32B-AWQ     --url "http://127.0.0.1:8005/v1/chat/completions"     --parallel 5     --number 20     --api openai     --dataset openqa     --stream
2025-06-29 00:50:50,964 - evalscope - INFO - Save the result to: outputs/20250629_005050/Qwen3-32B-AWQ
2025-06-29 00:50:50,964 - evalscope - INFO - Starting benchmark with args:
2025-06-29 00:50:50,964 - evalscope - INFO - {
    "model": "/opt/tritonserver/models/Qwen3-32B-AWQ",
    "model_id": "Qwen3-32B-AWQ",
    "attn_implementation": null,
    "api": "openai",
    "tokenizer_path": null,
    "port": 8877,
    "url": "http://127.0.0.1:8005/v1/chat/completions",
    "headers": {},
    "connect_timeout": 600,
    "read_timeout": 600,
    "api_key": null,
    "no_test_connection": false,
    "number": 20,
    "parallel": 5,
    "rate": -1,
    "log_every_n_query": 10,
    "debug": false,
    "wandb_api_key": null,
    "swanlab_api_key": null,
    "name": null,
    "outputs_dir": "outputs/20250629_005050/Qwen3-32B-AWQ",
    "max_prompt_length": 9223372036854775807,
    "min_prompt_length": 0,
    "prefix_length": 0,
    "prompt": null,
    "query_template": null,
    "apply_chat_template": true,
    "dataset": "openqa",
    "dataset_path": null,
    "frequency_penalty": null,
    "repetition_penalty": null,
    "logprobs": null,
    "max_tokens": 2048,
    "min_tokens": null,
    "n_choices": null,
    "seed": 0,
    "stop": null,
    "stop_token_ids": null,
    "stream": true,
    "temperature": 0.0,
    "top_p": null,
    "top_k": null,
    "extra_args": {}
}
2025-06-29 00:50:51,718 - evalscope - INFO - Test connection successful.
2025-06-29 00:50:52,308 - evalscope - INFO - Save the data base to: outputs/20250629_005050/Qwen3-32B-AWQ/benchmark_data.db
Processing:  45%|█████████████████████████████████████████████████████                                                                 | 9/20 [01:31<01:52, 10.24s/it]2025-06-29 00:52:27,819 - evalscope - INFO - {
  "Time taken for tests (s)": 95.5079,
  "Number of concurrency": 5,
  "Total requests": 10,
  "Succeed requests": 10,
  "Failed requests": 0,
  "Output token throughput (tok/s)": 133.7795,
  "Total token throughput (tok/s)": 136.8055,
  "Request throughput (req/s)": 0.1047,
  "Average latency (s)": 39.6521,
  "Average time to first token (s)": 21.0828,
  "Average time per output token (s)": 0.0145,
  "Average input tokens per request": 28.9,
  "Average output tokens per request": 1277.7,
  "Average package latency (s)": 0.0145,
  "Average package per request": 1277.7
}
Processing:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 19/20 [03:01<00:07,  7.96s/it]2025-06-29 00:54:19,768 - evalscope - INFO - {
  "Time taken for tests (s)": 207.457,
  "Number of concurrency": 5,
  "Total requests": 20,
  "Succeed requests": 20,
  "Failed requests": 0,
  "Output token throughput (tok/s)": 128.4025,
  "Total token throughput (tok/s)": 131.2224,
  "Request throughput (req/s)": 0.0964,
  "Average latency (s)": 44.8448,
  "Average time to first token (s)": 25.5177,
  "Average time per output token (s)": 0.0145,
  "Average input tokens per request": 29.25,
  "Average output tokens per request": 1331.9,
  "Average package latency (s)": 0.0145,
  "Average package per request": 1331.9
}
Processing: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [03:27<00:00, 10.37s/it]
2025-06-29 00:54:19,874 - evalscope - INFO -
Benchmarking summary:
+-----------------------------------+-----------+
| Key                               |     Value |
+===================================+===========+
| Time taken for tests (s)          |  207.457  |
+-----------------------------------+-----------+
| Number of concurrency             |    5      |
+-----------------------------------+-----------+
| Total requests                    |   20      |
+-----------------------------------+-----------+
| Succeed requests                  |   20      |
+-----------------------------------+-----------+
| Failed requests                   |    0      |
+-----------------------------------+-----------+
| Output token throughput (tok/s)   |  128.403  |
+-----------------------------------+-----------+
| Total token throughput (tok/s)    |  131.222  |
+-----------------------------------+-----------+
| Request throughput (req/s)        |    0.0964 |
+-----------------------------------+-----------+
| Average latency (s)               |   44.8448 |
+-----------------------------------+-----------+
| Average time to first token (s)   |   25.5177 |
+-----------------------------------+-----------+
| Average time per output token (s) |    0.0145 |
+-----------------------------------+-----------+
| Average input tokens per request  |   29.25   |
+-----------------------------------+-----------+
| Average output tokens per request | 1331.9    |
+-----------------------------------+-----------+
| Average package latency (s)       |    0.0145 |
+-----------------------------------+-----------+
| Average package per request       | 1331.9    |
+-----------------------------------+-----------+
2025-06-29 00:54:19,886 - evalscope - INFO -
Percentile results:
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+
| Percentiles | TTFT (s) | ITL (s) | TPOT (s) | Latency (s) | Input tokens | Output tokens | Output (tok/s) | Total (tok/s) |
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+
|     10%     | 14.8518  | 0.0142  |  0.0144  |   36.7898   |      21      |     1002      |    20.0306     |    20.8404    |
|     25%     |  22.124  | 0.0143  |  0.0145  |   40.9366   |      26      |     1111      |    25.1348     |    25.6956    |
|     50%     | 30.0105  | 0.0144  |  0.0145  |   48.3621   |      28      |     1289      |    28.3309     |    28.8152    |
|     66%     | 31.3366  | 0.0145  |  0.0146  |   52.2564   |      31      |     1305      |    31.6099     |    32.3916    |
|     75%     | 32.8376  | 0.0145  |  0.0146  |   52.5391   |      34      |     1630      |    35.9473     |    36.3159    |
|     80%     | 33.5577  | 0.0146  |  0.0146  |   52.8828   |      37      |     1645      |    40.1009     |    41.1051    |
|     90%     | 37.6004  | 0.0148  |  0.0147  |   56.9723   |      41      |     2048      |    67.9679     |    69.3509    |
|     95%     | 38.6689  |  0.015  |  0.0148  |   59.6889   |      45      |     2048      |    68.0682     |    69.528     |
|     98%     | 38.6689  | 0.0154  |  0.0148  |   59.6889   |      45      |     2048      |    68.0682     |    69.528     |
|     99%     | 38.6689  | 0.0157  |  0.0148  |   59.6889   |      45      |     2048      |    68.0682     |    69.528     |
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+
2025-06-29 00:54:19,887 - evalscope - INFO - Save the summary to: outputs/20250629_005050/Qwen3-32B-AWQ

3.2.3. 压测期间GPU使用情况

Sun Jun 29 01:47:33 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.169                Driver Version: 570.169        CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 5090 D      Off |   00000000:16:00.0 Off |                  N/A |
| 39%   47C    P1            147W /  575W |   30263MiB /  32607MiB |     61%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5090 D      Off |   00000000:38:00.0 Off |                  N/A |
| 40%   47C    P1            145W /  575W |   30235MiB /  32607MiB |     81%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA GeForce RTX 5090 D      Off |   00000000:49:00.0 Off |                  N/A |
| 43%   49C    P1            148W /  575W |   30235MiB /  32607MiB |     83%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA GeForce RTX 5090 D      Off |   00000000:5A:00.0 Off |                  N/A |
| 40%   47C    P1            141W /  575W |   30235MiB /  32607MiB |     33%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   4  NVIDIA GeForce RTX 5090 D      Off |   00000000:98:00.0 Off |                  N/A |
| 30%   33C    P8             12W /  575W |       3MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   5  NVIDIA GeForce RTX 5090 D      Off |   00000000:B8:00.0 Off |                  N/A |
| 30%   33C    P8             20W /  575W |       3MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   6  NVIDIA GeForce RTX 5090 D      Off |   00000000:C8:00.0 Off |                  N/A |
| 30%   34C    P8             22W /  575W |       3MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   7  NVIDIA GeForce RTX 5090 D      Off |   00000000:D8:00.0 Off |                  N/A |
| 30%   34C    P8             12W /  575W |       3MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

3.2.4. 压测期间CPU使用情况

top - 01:48:17 up 3 days, 17:28,  9 users,  load average: 4.42, 3.99, 3.48
Tasks: 1367 total,   5 running, 1362 sleeping,   0 stopped,   0 zombie
%Cpu(s):  2.1 us,  0.6 sy,  0.0 ni, 97.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem : 1031697.+total, 832427.9 free,  12809.9 used, 186459.2 buff/cache
MiB Swap:   8192.0 total,   8192.0 free,      0.0 used. 995540.9 avail Mem

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
 739296 root      20   0  195.6g   6.5g   4.9g R  85.4   0.6   5:46.54 python3
 739200 root      20   0  198.8g   6.8g   4.9g R  85.1   0.7   5:51.75 python3
 739294 root      20   0  195.7g   6.6g   5.0g R  85.1   0.7   5:43.39 python3
 739295 root      20   0  195.7g   6.6g   5.0g R  77.8   0.7   5:46.38 python3
 739897 root      20   0   49.1g 677088 281532 S   5.3   0.1   0:33.57 evalscope
 738281 root      20   0   16.8g 955408 318480 S   4.0   0.1   0:26.31 vllm
 740992 root      20   0   11964   5656   3428 R   1.3   0.0   0:00.70 top
 741137 root      20   0  166360  19872   5420 S   1.0   0.0   0:00.03 nvidia-smi
  20210 nvidia-+  20   0    5476   2068   1896 S   0.3   0.0   0:05.53 nvidia-persiste
 143225 root      20   0    7304   4084   2792 S   0.3   0.0   0:23.48 watch
 733652 ubuntu    20   0   17476   8548   5928 S   0.3   0.0   0:00.02 sshd
      1 root      20   0  166596  12252   8492 S   0.0   0.0   0:28.93 systemd
      2 root      20   0       0      0      0 S   0.0   0.0   0:21.25 kthreadd
      3 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_gp
      4 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_par_gp
      5 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 slub_flushwq
      6 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 netns
      8 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kworker/0:0H-events_highpri
     11 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 mm_percpu_wq
     12 root      20   0       0      0      0 S   0.0   0.0   0:00.00 rcu_tasks_rude_
     13 root      20   0       0      0      0 S   0.0   0.0   0:00.00 rcu_tasks_trace
     14 root      20   0       0      0      0 S   0.0   0.0   0:00.52 ksoftirqd/0
     15 root      20   0       0      0      0 I   0.0   0.0   0:30.41 rcu_sched
     16 root      rt   0       0      0      0 S   0.0   0.0   0:02.42 migration/0
     17 root     -51   0       0      0      0 S   0.0   0.0   0:00.00 idle_inject/0
     19 root      20   0       0      0      0 S   0.0   0.0   0:00.00 cpuhp/0
     20 root      20   0       0      0      0 S   0.0   0.0   0:00.00 cpuhp/1
     21 root     -51   0       0      0      0 S   0.0   0.0   0:00.00 idle_inject/1
     22 root      rt   0       0      0      0 S   0.0   0.0   0:12.44 migration/1
     23 root      20   0       0      0      0 S   0.0   0.0   0:00.16 ksoftirqd/1
     25 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kworker/1:0H-events_highpri
     26 root      20   0       0      0      0 S   0.0   0.0   0:00.00 cpuhp/2
     27 root     -51   0       0      0      0 S   0.0   0.0   0:00.00 idle_inject/2
     28 root      rt   0       0      0      0 S   0.0   0.0   0:12.04 migration/2
     29 root      20   0       0      0      0 S   0.0   0.0   0:00.14 ksoftirqd/2
     31 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 kworker/2:0H-kblockd
     32 root      20   0       0      0      0 S   0.0   0.0   0:00.00 cpuhp/3
     33 root     -51   0       0      0      0 S   0.0   0.0   0:00.00 idle_inject/3
     34 root      rt   0       0      0      0 S   0.0   0.0   0:11.00 migration/3

3.2.5. 压测期间内存使用情况

(base) root@ubuntu:~# free -lm
               total        used        free      shared  buff/cache   available
Mem:         1031697       12803      832434       17298      186459      995547
Low:         1031697      199262      832434
High:              0           0           0
Swap:           8191           0        8191

3.2.6. 测试期间，容器日志输出

INFO 06-29 02:02:12 [engine.py:310] Added request cmpl-766a4b9729f2404aa7528a162026809b-0.
INFO 06-29 02:02:14 [metrics.py:489] Avg prompt throughput: 5718.9 tokens/s, Avg generation throughput: 50.7 tokens/s, Running: 2 reqs, Swapped: 0 reqs, Pending: 28 reqs, GPU KV cache usage: 4.3%, CPU KV cache usage: 0.0%.
INFO 06-29 02:02:14 [metrics.py:505] Prefix cache hit rate: GPU: 91.25%, CPU: 0.00%
INFO 06-29 02:02:19 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 51.4 tokens/s, Running: 2 reqs, Swapped: 0 reqs, Pending: 28 reqs, GPU KV cache usage: 4.4%, CPU KV cache usage: 0.0%.
INFO 06-29 02:02:19 [metrics.py:505] Prefix cache hit rate: GPU: 91.25%, CPU: 0.00%
INFO 06-29 02:02:24 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 51.3 tokens/s, Running: 2 reqs, Swapped: 0 reqs, Pending: 28 reqs, GPU KV cache usage: 4.5%, CPU KV cache usage: 0.0%.
INFO 06-29 02:02:24 [metrics.py:505] Prefix cache hit rate: GPU: 91.25%, CPU: 0.00%

3.3. 8卡测试情况

中间测试过多种参数，细节不表，以最后一个全成功的为例。

3.3.1. 大模型推理参数

version: '3.8'

services:
  vllm-server:
    image: nvcr.io/nvidia/tritonserver:25.05-vllm-python-py3
    command: >
      vllm serve /opt/tritonserver/models/Qwen3-32B-AWQ
      --trust-remote-code
      --enable-prefix-caching
      --disable-sliding-window
      --gpu-memory-utilization 0.9
      --port 8005
      --max-model-len 32768
      --max-num-seqs 32
      --tensor-parallel-size 8
      --max-num-batched-tokens 32768
      --block-size 16
      --swap-space 4
      --enforce-eager
    environment:
      - VLLM_ATTENTION_BACKEND=xformers
      - NVIDIA_VISIBLE_DEVICES=all
      - NCCL_P2P_LEVEL=NVL
      - NCCL_IB_DISABLE=1
    volumes:
      - ~/.cache:/root/.cache
      - /root/models:/opt/tritonserver/models
    runtime: nvidia
    network_mode: host
    ipc: host
    restart: "no"

3.3.2. 压测参数

evalscope perf \
 --parallel 1 10 50 100 200 \
 --number 10 20 100 200 400 \
 --url "http://127.0.0.1:8005/v1/completions" \
 --model /opt/tritonserver/models/Qwen3-32B-AWQ \
 --log-every-n-query 5 \
 --connect-timeout 6000 \
 --read-timeout 6000 \
 --max-tokens 2048 \
 --min-tokens 2048 \
 --min-prompt-length 2048 \
 --max-prompt-length 2048 \
 --api openai \
 --dataset speed_benchmark

3.3.3. 容器日志输出

INFO 07-01 07:07:07 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:12 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 722.1 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.3%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:12 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:17 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 722.0 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.4%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:17 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:22 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 718.4 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.5%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:22 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:27 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 719.7 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.6%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:27 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:32 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 718.1 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.7%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:32 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:37 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 717.7 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.8%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:37 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:42 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 716.2 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 4.9%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:42 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:47 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 714.7 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 5.0%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:47 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%
INFO 07-01 07:07:52 [metrics.py:489] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 715.0 tokens/s, Running: 32 reqs, Swapped: 0 reqs, Pending: 16 reqs, GPU KV cache usage: 5.1%, CPU KV cache usage: 0.0%.
INFO 07-01 07:07:52 [metrics.py:505] Prefix cache hit rate: GPU: 99.66%, CPU: 0.00%

3.3.4. 测试结果

2025-07-01 07:10:01,050 - evalscope - INFO -
Benchmarking summary:
+-----------------------------------+------------+
| Key                               |      Value |
+===================================+============+
| Time taken for tests (s)          |  1191.02   |
+-----------------------------------+------------+
| Number of concurrency             |   200      |
+-----------------------------------+------------+
| Total requests                    |   400      |
+-----------------------------------+------------+
| Succeed requests                  |   400      |
+-----------------------------------+------------+
| Failed requests                   |     0      |
+-----------------------------------+------------+
| Output token throughput (tok/s)   |   687.816  |
+-----------------------------------+------------+
| Total token throughput (tok/s)    |  4986.75   |
+-----------------------------------+------------+
| Request throughput (req/s)        |     0.3358 |
+-----------------------------------+------------+
| Average latency (s)               |   453.865  |
+-----------------------------------+------------+
| Average time to first token (s)   |   362.35   |
+-----------------------------------+------------+
| Average time per output token (s) |     0.0447 |
+-----------------------------------+------------+
| Average input tokens per request  | 12800.2    |
+-----------------------------------+------------+
| Average output tokens per request |  2048      |
+-----------------------------------+------------+
| Average package latency (s)       |     0.0447 |
+-----------------------------------+------------+
| Average package per request       |  2047      |
+-----------------------------------+------------+
2025-07-01 07:10:01,431 - evalscope - INFO -
Percentile results:
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+
| Percentiles | TTFT (s) | ITL (s) | TPOT (s) | Latency (s) | Input tokens | Output tokens | Output (tok/s) | Total (tok/s) |
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+
|     10%     | 92.0465  | 0.0431  |  0.0435  |  181.9807   |      1       |     2048      |     3.1836     |    3.7153     |
|     25%     | 271.3524 | 0.0438  |  0.0439  |  360.5895   |     6144     |     2048      |     3.6678     |    14.6708    |
|     50%     | 459.0579 | 0.0444  |  0.0447  |  551.4757   |    14336     |     2048      |     3.7184     |    29.6172    |
|     66%     | 461.576  | 0.0447  |  0.0447  |  553.1902   |    14336     |     2048      |     4.5274     |    50.3719    |
|     75%     | 466.7801 |  0.045  |  0.0449  |  558.3789   |    30720     |     2048      |     5.6796     |    51.1859    |
|     80%     | 466.7892 | 0.0451  |  0.0449  |  558.7151   |    30720     |     2048      |     7.5505     |    59.4955    |
|     90%     | 552.2437 | 0.0465  |  0.0451  |  643.2943   |    30720     |     2048      |     11.254     |    72.4224    |
|     95%     | 556.1562 | 0.0477  |  0.0478  |  647.7583   |    30720     |     2048      |    22.2845     |    90.0249    |
|     98%     | 558.924  | 0.0484  |  0.0478  |  650.5183   |    30720     |     2048      |    22.2869     |    178.27     |
|     99%     | 558.9281 | 0.0494  |  0.0478  |  650.5304   |    30720     |     2048      |    22.2874     |   356.5268    |
+-------------+----------+---------+----------+-------------+--------------+---------------+----------------+---------------+
2025-07-01 07:10:01,487 - evalscope - INFO -
Speed Benchmark Results:
+---------------+-----------------+----------------+
| Prompt Tokens | Speed(tokens/s) | GPU Memory(GB) |
+---------------+-----------------+----------------+
|       1       |      7.04       |      0.0       |
|     6144      |       7.0       |      0.0       |
|     14336     |      6.69       |      0.0       |
|     30720     |      4.27       |      0.0       |
+---------------+-----------------+----------------+
2025-07-01 07:10:01,487 - evalscope - INFO - Save the summary to: outputs/20250701_061700/Qwen3-32B-AWQ/parallel_200_number_400
╭──────────────────────────────────────────────────────────╮
│ Performance Test Summary Report                          │
╰──────────────────────────────────────────────────────────╯

Basic Information:
┌───────────────────────┬──────────────────────────────────┐
│ Model                 │ Qwen3-32B-AWQ                    │
│ Total Generated       │ 1,495,040.0 tokens               │
│ Total Test Time       │ 3152.19 seconds                  │
│ Avg Output Rate       │ 474.29 tokens/sec                │
└───────────────────────┴──────────────────────────────────┘


									Detailed Performance Metrics
┏━━━━━━┳━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┓
┃      ┃      ┃      Avg ┃      P99 ┃    Gen. ┃      Avg ┃     P99 ┃      Avg ┃     P99 ┃   Success┃
┃Conc. ┃  RPS ┃  Lat.(s) ┃  Lat.(s) ┃  toks/s ┃  TTFT(s) ┃ TTFT(s) ┃  TPOT(s) ┃ TPOT(s) ┃      Rate┃
┡━━━━━━╇━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━┩
│    1 │ 0.01 │   80.112 │   81.993 │   25.56 │    0.546 │   2.413 │    0.039 │   0.039 │    100.0%│
│   10 │ 0.12 │   83.782 │   84.111 │  244.42 │    0.239 │   0.357 │    0.041 │   0.041 │    100.0%│
│   50 │ 0.28 │  127.826 │  183.693 │  572.93 │   36.854 │  92.083 │    0.044 │   0.045 │    100.0%│
│  100 │ 0.32 │  238.166 │  369.664 │  645.05 │  146.954 │ 278.091 │    0.045 │   0.045 │    100.0%│
│  200 │ 0.34 │  453.865 │  650.530 │  687.82 │  362.350 │ 558.928 │    0.045 │   0.048 │    100.0%│
└──────┴──────┴──────────┴──────────┴─────────┴──────────┴─────────┴──────────┴─────────┴──────────┘


			   Best Performance Configuration
 Highest RPS         Concurrency 200 (0.34 req/sec)
 Lowest Latency      Concurrency 1 (80.112 seconds)

Performance Recommendations:
• The system seems not to have reached its performance bottleneck, try higher concurrency

四、性能测试总结

压力测试结果

最优配置：max-model-len=32768 + max-num-seqs=32
峰值性能：
- 输出吞吐量 687.8 tokens/s（200并发）
- 总吞吐量 4986 tokens/s
GPU显存：单卡占用28GB/32.6GB
时延特征：首token平均362ms，生成token平均44.7ms

关键发现

Prefix caching命中率达99.66%显著提升效率
高并发下请求成功率100%，系统尚未达性能瓶颈
容器日志显示KV缓存利用率仅5%，仍有优化空间

你可能感兴趣的:(8卡RTX 5090D服务器部署Qwen3-32B-AWQ模型执行性能测试)

x86-64汇编语言训练程序与实战十除以十等于一
本文还有配套的精品资源，点击获取简介：汇编语言是一种低级语言，与机器代码紧密相关，特别适用于编写系统级代码及性能要求高的应用。nasm编译器是针对x86和x86-64架构的汇编语言编译器，支持多种语法风格和指令集。项目Euler提供数学和计算机科学问题，鼓励编程技巧应用，前100个问题的答案可共享。x86-64架构扩展了寄存器数量并引入新指令，提升了数据处理效率。学习汇编语言能够深入理解计算机底层
（二）SAP Group Reporting (GR) 核心子模块功能及数据流向架构解析
数据如何从子公司流转到合并报表的全过程，即数据采集→合并引擎→报表输出，特别是HANA内存计算如何优化传统ETL瓶颈。SAPGroupReporting(GR)核心模块功能及数据流向的架构解析，涵盖核心组件、数据处理流程和关键集成点，适用于S/4HANA1809+版本：一、核心功能模块概览模块功能关键事务码/FioriApp数据采集(DataCollection)整合子公司财务数据（SAP/非SA
day15｜前端框架学习和算法 universe_01 前端算法笔记
T22括号生成先把所有情况都画出来，然后（在满足什么情况下）把不符合条件的删除。T78子集要画树状图，把思路清晰。可以用暴力法、回溯法和DFS做这个题DFS深度搜索：每个边都走完，再回溯应用：二叉树搜索，图搜索回溯算法=DFS+剪枝T200岛屿数量（非常经典BFS宽度把树状转化成队列形式，lambda匿名函数“一次性的小函数，没有名字”setup语法糖：让代码更简洁好写的语法ref创建：基本类型的
贝多芬诞辰250周年纪念万千星河赴远方
就算不是古典音乐爱好者，你也一定听说过贝多芬。作为古典音乐史上最伟大的音乐家之一，他不仅是古典主义风格的集大成者，同时也是浪漫主义风格的开创者。贝多芬肖像画（1813年）贝多芬的一生共创作了9部交响曲、36首钢琴奏鸣曲、10部小提琴奏鸣曲、16首弦乐四重奏、1部歌剧及2部弥撒曲等等。数量虽然不及前辈海顿、莫扎特多，但他几乎改造了当时所有的音乐表达形式，赋予了它们全新的价值，对后世音乐的发展产生了极
力扣热题100-------54. 螺旋矩阵海航Java之路力扣 leetcode 矩阵 java
给你一个m行n列的矩阵matrix，请按照顺时针螺旋顺序，返回矩阵中的所有元素。示例1：输入：matrix=[[1,2,3],[4,5,6],[7,8,9]]输出：[1,2,3,6,9,8,7,4,5]示例2：输入：matrix=[[1,2,3,4],[5,6,7,8],[9,10,11,12]]输出：[1,2,3,4,8,12,11,10,9,5,6,7]提示：m==matrix.lengthn
你要记住，最重要的是:随时做好准备，为了你可能成为更好的自己，放弃现在的自己。霖霖z
打卡人:周云日期:2018年11月09日【日精进打卡第180天】【知～学习】《六项精进》0遍共214遍《通篇》1遍共106遍《大学》2遍共347遍《坚强工作，温柔生活》ok《不抱怨的世界》104-108页《经典名句》你要记住，最重要的是:随时做好准备，为了你可能成为更好的自己，放弃现在的自己。【行～实践】一、修身：（对自己个人）1、坚持打卡二、齐家：（对家庭和家人）打扫卫生，接送孩子，洗衣做饭，陪
SpringMVC执行流程（原理），通俗易懂国服冰 SpringMVC spring mvc
SpringMVC执行流程（原理），通俗易懂一、图解SpringMVC流程二、进一步理解Springmvc的执行流程1、导入依赖2、建立展示的视图3、web.xml4、spring配置文件springmvc-servlet5、Controller6、tomcat配置7、访问的url8、视图页面一、图解SpringMVC流程图为SpringMVC的一个较完整的流程图，实线表示SpringMVC框架提
贫穷家庭的孩子考上985以后会怎样？ Mellisa蜜思言
我出生在一个贫穷的农村家庭，据我妈说，我出生的时候才4斤多，而她生完我以后月子里就瘦到70斤。家里一直很穷，父母都是在菜市场卖菜的，家里还有几亩地种庄稼的。我很小开始就要去帮忙，暑假的生活就是帮忙去卖菜和割稻谷，那时候自己对于割稻谷这种事情有着莫名的恐惧，生怕自己长大以后还是每年都要过着割稻谷这种日子。父母因为忙于生计无暇顾及我的学习，幸好我因为看到他们这样子的生活，内心里有深深的恐惧感，驱使着我
密码正则验证：大小写字母、数字、特殊字符至少8位 qq_21875331 渐进式的成长
正则表达式：密码必须包含大写字母、数字、特殊字符（四种里至少三种，且至少8位）写法一：/((^(?=.*[a-z])(?=.*[A-Z])(?=.*\W)[\da-zA-Z\W]{8,16}$)|(^(?=.*\d)(?=.*[A-Z])(?=.*\W)[\da-zA-Z\W]{8,16}$)|(^(?=.*\d)(?=.*[a-z])(?=.*\W)[\da-zA-Z\W]{8,16}$)|(^
48. 旋转图像 - 力扣（LeetCode） Fiee-77 #数组 leetcode 算法 python 数据结构数组
题目：给定一个n×n的二维矩阵matrix表示一个图像。请你将图像顺时针旋转90度。你必须在原地旋转图像，这意味着你需要直接修改输入的二维矩阵。请不要使用另一个矩阵来旋转图像。示例1：输入：matrix=[[1,2,3],[4,5,6],[7,8,9]]输出：[[7,4,1],[8,5,2],[9,6,3]]示例2：输入：matrix=[[5,1,9,11],[2,4,8,10],[13,3,6,
英伟达靠什么支撑起了4万亿？AI泡沫还能撑多久？
英伟达市值突破4万亿美元，既是AI算力需求爆发的直接体现，也暗含市场对未来的狂热预期。其支撑逻辑与潜在风险并存，而AI泡沫的可持续性则取决于技术、商业与地缘政治的复杂博弈。⚙️一、英伟达4万亿市值的核心支撑因素技术垄断与生态壁垒硬件优势：英伟达GPU在AI训练市场占有率超87%，H100芯片的FP16算力达1979TFLOPS，领先竞品3-5倍。CUDA生态：400万开发者构建的软件护城河，成为A
深入解析JVM工作原理：从字节码到机器指令的全过程
一、JVM概述Java虚拟机(JVM)是Java平台的核心组件，它实现了Java"一次编写，到处运行"的理念。JVM是一个抽象的计算机器，它有自己的指令集和运行时内存管理机制。JVM的主要职责：加载：读取.class文件并验证其正确性存储：管理内存分配和垃圾回收执行：解释或编译字节码为机器指令安全：提供沙箱环境限制恶意代码二、JVM架构详解JVM由三个主要子系统组成：1.类加载子系统类加载过程分为
ARM 和 AMD 架构的区别 m0_69576880 arm开发 windows 架构
ARM架构和AMD架构是两种不同的计算机处理器架构，它们有以下几个主要区别：设计出发点、兼容性、性能特点、市场定价。设计出发点：①ARM构架：ARM架构最初是为嵌入式系统设计的，旨在提供低功耗和高效能的解决方案。它主要应用于移动设备、嵌入式系统和物联网设备②AMD架构：AMD架构是基于x86架构的扩展，旨在提供与Intel架构兼容的处理器。它主要用于台式机、服务器和工作站等计算机系统。兼容性：AR
Linux系统配置（应用程序） 1风天云月 Linux linux 应用程序编译安装 rpm http
目录前言一、应用程序概述1、命令与程序的关系2、程序的组成3、软件包封装类型二、RPM1、RPM概述2、RPM用法三、编译安装1、解包2、配置3、编译4、安装5、启用httpd服务结语前言在Linux中的应用程序被视为将软件包安装到系统中后产生的各种文档，其中包括可执行文件、配置文件、用户手册等内容，这些文档被组织为一个有机的整体，为用户提供特定的功能，因此对于“安装软件包”与“安装应用程序”这两
第28章汇编语言--- 异常处理 hummhumm 汇编算法开发语言程序设计高级语言异常处理汇编语言
在汇编语言中，异常处理是一个重要的概念，它涉及到处理器如何响应和处理程序运行时发生的非正常情况。异常可以是硬件错误（例如除零错误、非法指令）或者软件触发的中断（例如系统调用）。当发生异常时，处理器会暂停当前正在执行的程序，并转移到一个预先定义好的位置来处理这个异常。为了详细阐述第28章关于汇编语言中的异常处理，我们可以考虑一个简化的例子，展示异常处理的基本结构。请注意，实际的代码将取决于具体的处理
中原焦点团队吴瑕瑜焦点解决初级第18期坚持分享第695天 2021年12月6号卿安
中原焦点团队吴瑕瑜焦点解决初级第18期坚持分享第695天2021年12月6号相信相信的力量。很多时候我们忽视了相信的力量，当看到孩子遇到困难、挫折，或者可能犯错时，我们急于去帮忙，这至少部分暗含不相信孩子有能力自己解决，“等不及”，少了对孩子有权决定是否需要帮忙的尊重，缺乏界限，容易引起冲突，并影响孩子的独立能力。对孩子的成长，很多时候，家长的相信比具体帮助更重要。
JVM 内存模型深度解析：原子性、可见性与有序性的实现练习时长两年半的程序员小胡 JVM 深度剖析：从面试考点到生产实践 jvm java 内存模型
在了解了JVM的基础架构和类加载机制后，我们需要进一步探索Java程序在多线程环境下的内存交互规则。JVM内存模型（JavaMemoryModel，JMM）定义了线程和主内存之间的抽象关系，它通过规范共享变量的访问方式，解决了多线程并发时的数据一致性问题。本文将从内存模型的核心目标出发，详解原子性、可见性、有序性的实现机制，以及volatile、synchronized等关键字在其中的作用。一、J
互信息：理论框架、跨学科应用与前沿进展大千AI助手人工智能 Python #OTHER 人工智能深度学习算法互信息香农通信随机变量
1.起源与核心定义互信息（MutualInformation,MI）由克劳德·香农（ClaudeShannon）在1948年开创性论文《AMathematicalTheoryofCommunication》中首次提出，该论文奠定了现代信息论的基础。互信息用于量化两个随机变量之间的统计依赖关系，定义为：若已知一个随机变量的取值，能为另一个随机变量提供的信息量。数学上，对于离散随机变量XXX和YYY，
高省邀请码哪个级别最高?高省原始高级邀请码500888 凌风导师
高省是杭州长孚科技有限公司开辟的一个项目（高省APP），已获数千万投资，主打外交电商+新零售，提供淘宝好省京东等主流电商途径的大额优惠券（直接在淘宝等途径购买是没有该优惠券的）。用户们可以利用这些软件享受折扣买东西优惠，一起来看看购物省钱app网上买东西省钱的软件有哪些吧！网购省钱软件靠谱吗包围淘宝等途径产品的左右，也便是你可以大概在高省买你的确想买的任何产品，并且享受额定优惠，优惠力度为-（大部
恩小希美食成长日记之118：“摘星女神”王亚平归来，她的婚姻，治愈了多少职场女性的痛恩小希
上周最为热闹的消息,无疑是神舟13号的三位航天英雄回来了.其中,最为瞩目的就是王亚平.她是我国首位进行太空行走的女航天员,也是为自己小女儿“摘星星的妈妈”。作为最受关注的职场妈妈，王亚平之所以能够成就这样一番事业，跟背后默默支持她的丈夫--赵鹏分不开。01王亚平1980年出生于山东烟台。父母都是地地道道的农民。王亚平这个姑娘从小体质好，一直练习长跑。高中时，空军来家乡招收女飞行员，作为体育班里唯一
SpringMVC的执行流程
1、什么是MVCMVC是一种设计模式。MVC的原理图如下所示M-Model模型（完成业务逻辑：有javaBean构成，service+dao+entity）V-View视图（做界面的展示jsp，html……）C-Controller控制器（接收请求—>调用模型—>根据结果派发页面2、SpringMVC是什么SpringMVC是一个MVC的开源框架，SpringMVC=Struts2+Spring，
力扣面试题07 - 旋转矩阵茶猫_ leetcode 矩阵算法 c语言
题目：给你一幅由N×N矩阵表示的图像，其中每个像素的大小为4字节。请你设计一种算法，将图像旋转90度。不占用额外内存空间能否做到？示例1:给定matrix=[[1,2,3],[4,5,6],[7,8,9]],原地旋转输入矩阵，使其变为:[[7,4,1],[8,5,2],[9,6,3]]示例2:给定matrix=[[5,1,9,11],[2,4,8,10],[13,3,6,7],[15,14,12,
2018-09-27 aop相关蒋超_58dc
1.静态织入，需要使用aspectj专用的compilermaven工程可以采用：https://www.mojohaus.org/aspectj-maven-plugin/2.动态织入，配合spring，创建代理来执行3.
通义万相2.2：开启高清视频生成新纪元 Liudef06小白特殊专栏 AIGC 人工智能人工智能通义万相2.2 图生视频
通义万相2.2：开启高清视频生成新纪元2025年7月28日，中国AI领域迎来里程碑时刻——通义万相团队正式开源其革命性视频生成模型Wan2.2的核心权重，这标志着开源社区首次获得支持720P高清视频生成的先进模型架构。一、架构革新：混合专家系统1.1MoE视频扩散架构通义万相2.2首次将混合专家（MoE）架构引入视频扩散模型，通过双专家系统实现计算效率与模型容量的平衡：classMoEVideoD
【ARM】FPU,VFP,ASE,NEON,SVE...是什么意思？亿道电子Emdoor ARM arm开发 ARM
1、文档目标对执行浮点和SIMD操作的逻辑的各种名称的缩写词进行简要解释。2、问题场景Arm处理器内核中有用于执行浮点和SIMD操作的逻辑，有各种名称。它们通常是一系列的缩写形式，因此本文旨在对每一个缩写词进行简要解释。3、软硬件环境1、软件版本：不涉及2、电脑环境：不涉及4、相关缩写FPU(Floating-PointUnit)浮点单元浮点单元是处理器核心中的一个模块，用于使用浮点数执行算术运算
900 万人次都在用！打印机驱动大师：兄弟驱动安装一步到位文哥工具箱2 软件工程电脑开源软件
各位打印界的老铁们，你们知道吗？我就是那个传说中服务PT-18R标签打印机的“最佳损友”小助手！当你想把电脑里那些花里胡哨的标签设计变成能摸得着的实物时，嘿嘿，软件下载地址本助手就闪亮登场啦！插上USB线的瞬间，我立马在你电脑里“安营扎寨”，悄悄给你和打印机搭起一座“鹊桥”，让你们无障碍沟通，那叫一个丝滑！你在编辑软件里鼓捣的文字、条形码，甚至那些可可爱爱的小图标，全靠我这个“翻译官”精准转换成打
深入理解汇编语言子程序设计与系统调用网安spinage 汇编语言开发语言汇编算法
本文将全面解析汇编语言中子程序设计的核心技术以及系统调用的实现方法，涵盖参数传递的多种方式、堆栈管理、API调用等关键知识点，并提供实际案例演示。一、子程序设计：参数传递的艺术1.寄存器传参：高效简洁.386.modelflat,stdcalloptioncasemap:none.dataxdd5;定义变量ydd6sumdd?.code;函数定义：addxy1addxy1procpushebpmo
平静得接受自己的笨拙 20190118 晨间日记吴伯符
图片发自App最近做了一个关于微习惯的分享，这里有八个字：微量开始，超额完成。这里的言下之意其实是要你在一开始的时候，平静地接受自己的笨拙。接受自己的笨拙，理解自己的笨拙，放慢速度尝试，观察哪里可以改进，再反复练习，观察自己哪里可以再进一步改进，再反复…这是学习一切技能的必须的过程。这里的两个关键点是：1.尽快的开始这个过程，这就能够用到微习惯的微量开始。2.尽快的度过这个过程，这就需要用到超额完
京东家电年销售额是去年的1300%，主要来自于他.... Shanshan小课堂
经过大半个月角逐纠缠，时间终于来到6月18日，618全球年中购物节迎来最高潮。作为国内最大的家电零售平台，京东家电从18日0点开始，便开启了飞速狂奔的模式，仅8分钟销售额就突破20亿元!展现出强劲的增长势头与家电主场的王者霸气的同时，也让各家电品牌实现了爆发式增长，美的、海尔、格力、奥克斯均在3分钟内突破1亿元大关。在今年的618中，除了消费者已经熟悉的网购形式外，线上线下联动的融合模式、社交电商
编程算法：技术创新的引擎与业务增长的核心驱动力
在数字经济时代，算法已成为推动技术创新与业务增长的隐形引擎。从存内计算突破冯·诺依曼瓶颈，到动态规划优化万亿级金融交易，编程算法正在重塑产业竞争格局。一、存内计算：突破冯·诺依曼瓶颈的算法革命1.1存内计算的基本原理传统计算架构中90%的能耗消耗在数据搬运上。存内计算（Processing-in-Memory）通过直接在存储单元执行计算，实现能效10-100倍提升：#传统计算vs存内计算能耗模型i
Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor yangshangchuan 信息抽取 HtmlExtractor 精准抽取信息采集
HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。如
java编程思想 -- 多态百合不是茶 java 多态详解
一: 向上转型和向下转型面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
[自动数据处理]稳扎稳打,逐步形成自有ADP系统体系 comsci dp
对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长.... 首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
storm 自定义日志文件商人shang storm cluster logback
Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现： 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
Extjs3 SpringMVC使用 @RequestBody 标签问题记录 21jhf
springMVC使用 @RequestBody(required = false) UserVO userInfo 传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下：（由于使用了父类aaa
一些排错方法文强chu 方法
1、java.lang.IllegalStateException: Class invariant violation at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228) at o
Swing中文件恢复我觉得很难小桔子 swing
我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
php 文件操作 aichenglong PHP 读取文件写入文件
1 写入文件 @$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab"); if(!$fp){ echo "open file error" ; exit; } $outputstring="date:"." \t tire:".$tire."
MySQL的btree索引和hash索引的区别 AILIKES 数据结构 mysql 算法
Hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
JAVA的抽象--- 接口 --实现百合不是茶
抽象接口实现接口 //抽象类 ,方法 //定义一个公共抽象的类 ,并在类中定义一个抽象的方法体抽象的定义使用abstract abstract class A 定义一个抽象类例如： //定义一个基类 public abstract class A{ //抽象类不能用来实例化，只能用来继承 //
JS变量作用域实例 bijian1013 作用域
<script> var scope='hello'; function a(){ console.log(scope); //undefined var scope='world'; console.log(scope); //world console.log(b);
TDD实践（二） bijian1013 java TDD
实践题目：分解质因数 Step1：单元测试： package com.bijian.study.factor.test; import java.util.Arrays; import junit.framework.Assert; import org.junit.Before; import org.junit.Test; import com.bijian.
[MongoDB学习笔记一]MongoDB主从复制 bit1129 mongodb
MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。本文介绍MongoDB的主从复制模式，需要指明
【HBase五】Java API操作HBase bit1129 hbase
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.ha
python调用zabbix api接口实时展示数据 ronin47
zabbix api接口来进行展示。经过思考之后，计划获取如下内容： 1、获得认证密钥 2、获取zabbix所有的主机组 3、获取单个组下的所有主机 4、获取某个主机下的所有监控项
jsp取得绝对路径 byalias 绝对路径
在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下：一、使用${pageContext.request.contextPath} 　　代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。
Java定时任务调度：用ExecutorService取代Timer bylijinnan java
《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是：如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
SQL 优化原则 chicony sql
一、问题的提出　在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
java 线程弹球小游戏 CrazyMizzz java 游戏
最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善这里是提纲 1.线程弹球游戏实现 1.实现界面需要使用哪些API类 JFrame JPanel JButton FlowLayout Graphics2D Thread Color ActionListener ActionEvent MouseListener Mouse
hadoop jps出现process information unavailable提示解决办法 daizj hadoop jps
hadoop jps出现process information unavailable提示解决办法 jps时出现如下信息： 3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 --
PHP图片水印缩放类实现 dcj3sjt126com PHP
<?php class Image{ private $path; function __construct($path='./'){ $this->path=rtrim($path,'/').'/'; } //水印函数，参数：背景图，水印图，位置，前缀,TMD透明度 public function water($b,$l,$pos
IOS控件学习：UILabel常用属性与用法 dcj3sjt126com ios UILabel
参考网站： http://shijue.me/show_text/521c396a8ddf876566000007 http://www.tuicool.com/articles/zquENb http://blog.csdn.net/a451493485/article/details/9454695 http://wiki.eoe.cn/page/iOS_pptl_artile_281
完全手动建立maven骨架 eksliang java eclipse Web
建一个 JAVA 项目： mvn archetype:create -DgroupId=com.demo -DartifactId=App [-Dversion=0.0.1-SNAPSHOT] [-Dpackaging=jar] 建一个 web 项目： mvn archetype:create -DgroupId=com.demo -DartifactId=web-a
配置清单 gengzg 配置
1、修改grub启动的内核版本 vi /boot/grub/grub.conf 将default 0改为1 拷贝mt7601Usta.ko到/lib文件夹拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan 拷贝wifiget.sh到bin文件夹，chm
Windows端口被占用处理方法 huqiji windows
以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等. 这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
开源ckplayer 网页播放器，跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！天梯梦 mobile
CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
简单工厂设计模式 hm4123660 java 工厂设计模式简单工厂模式
简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。
maven笔记 zhb8015 maven
跳过测试阶段： mvn package -DskipTests 临时性跳过测试代码的编译： mvn package -Dmaven.test.skip=true maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。指定测试类 mvn test
非mapreduce生成Hfile，然后导入hbase当中 Stark_Summer map hbase reduce Hfile path实例
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
jsp web tomcat 编码问题王新春 tomcat jsp pageEncode
今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性： <Connector port="8080" protocol="HTTP/1.1" connectionTi