#local

koboldcpp 把 llama.cpp 包成单文件程序，exe 117254353 字节，一行命令起一个兼容 OpenAI 的本地服务。实测冷启动 8.07 秒，之后一次对话 0.08 秒（14 prompt + 7 completion token）。它自动检测到 RTX 3060 并选了 Vulkan 后端，卸载 25 层到显卡。