#ggml

koboldcpp 把 llama.cpp 包成单文件程序，exe 117254353 字节，一行命令起一个兼容 OpenAI 的本地服务。实测冷启动 8.07 秒，之后一次对话 0.08 秒（14 prompt + 7 completion token）。它自动检测到 RTX 3060 并选了 Vulkan 后端，卸载 25 层到显卡。

llama.cpp 是 C++ 写的本地推理引擎，解压 60 MB 就能跑，不需要 Python 环境和显卡。实测 0.5B 模型（462.96 MiB Q4_K_M）在 12 核 CPU 上各跑 5 轮：8 线程 pp512 346.79 t/s、tg128 79.34 t/s；加到 12 线程提示词处理涨到 398.37 t/s，生成却掉到 72.99 t/s。一次 40 token 的问答总共 530.34 毫秒，加进程启动 1.31 秒。