#inference

llama.cpp 是 C++ 写的本地推理引擎，解压 60 MB 就能跑，不需要 Python 环境和显卡。实测 0.5B 模型（462.96 MiB Q4_K_M）在 12 核 CPU 上各跑 5 轮：8 线程 pp512 346.79 t/s、tg128 79.34 t/s；加到 12 线程提示词处理涨到 398.37 t/s，生成却掉到 72.99 t/s。一次 40 token 的问答总共 530.34 毫秒，加进程启动 1.31 秒。