#openai-api

aichat 是 Rust 写的终端 AI 客户端，单文件 12793856 字节，一份 yaml 配置接入多家模型。实测接到本地 koboldcpp：一次问答 0.51 秒（其中 0.14 秒是自身启动），服务没起时 2.17 秒报错退出码 1。要注意的是模型名写错它不报错，会静默回落到默认模型，验证可用性得靠 --list-models 比对。

koboldcpp 把 llama.cpp 包成单文件程序，exe 117254353 字节，一行命令起一个兼容 OpenAI 的本地服务。实测冷启动 8.07 秒，之后一次对话 0.08 秒（14 prompt + 7 completion token）。它自动检测到 RTX 3060 并选了 Vulkan 后端，卸载 25 层到显卡。