开源了一个 LLM 推理服务监控面板 项目地址 ： https://github.com/coolwolfqs/llm-inference-monitor 为什么做这个 最近在用 llama.cpp 跑推理服务，一直缺一个好用的监控面板。 网上方案无非两条路： Prometheus + Grafana → 太重了，为了看个 GPU 温度搭一套监控体系 nvidia-smi 刷屏 → 原始，但就看个 GPU ，CPU/内存/推理指标全没有 于是自己搓了一个面板，现在整理成开源项目放出来了。不会编程，全程就由 hermes 待开发，不成熟之处各位看官多包涵。 长什么样 一个页面搞定所有监控信息，分成几个区域： 服务概览区 当前运行的模型、上下文长度、量化精度 引擎版本号（ llama.cpp / vllm ） 健康评分（硬件分 + 系统分 + 推理分） GPU 区 利用率 / 显存 / 温度 / 功耗 实时曲线图 每张卡的详细信息（频率、PCIe 链路、编码器负载） 带 GPU ...