本文使用 V100-SXM2-16GB 双卡运行： 起始配置 基础配置从 UD-IQ4_XS + 256k context + Q4 KV + mmproj 开始 这个配置是我感觉目前最理想的配置： 能跑满 256k 上下文，真正可以用在编码/生产场景了 prefill 速度在 300-400tok/s ，decode 速度在 30-60tok/s 默认就是 4 并发，再往上调意义不大，4 并发的 decode 就只剩 10tok/s 了 所以可以从这个配置开始，进行微调 services: qwen3.8-27b: image: ghcr.io/ggml-org/llama.cpp:server-cuda container_name: qwen3.8-27b restart: unless-stopped ports: - "8013:8013" volumes: - /home/debian/models/gguf:/models command: >- ...