VidaiMock

✨ VidaiMock: 开源原生 LLM 模拟测试引擎 ✨

VidaiMock 是一款极速轻量、即开即用的本地模拟器，专为 AI 应用的 API 测试而生。它能助您在不产生高昂 API 账单的前提下，高效、真实地模拟主流 LLM 服务，让开发测试流程更加顺畅。

---

💡 产品亮点与主要功能：

• 物理级真实还原，支持混沌测试

  VidaiMock 不仅重现流式传输和令牌送达时序，更能模拟 LLM 服务的“物理学”特性，包括它们的潜在缺陷和延迟曲线，甚至支持注入 429 速率限制、500 错误和 TCP 超时，帮助您测试应用的韧性。

• 真正动态的响应生成 🎯

  区别于传统静态 Mock，VidaiMock 根据上下文实时生成变化响应，让您的测试场景更贴近真实。

• 即启即用，零依赖
  • 单文件约 7MB，体积轻巧，部署便捷。
  • 无需额外配置，即可模拟 OpenAI、Anthropic、Gemini 等主流接口。
  • 采用 Rust 语言打造，性能卓越，响应极快。
• 高度可扩展与定制
  • 支持 Tera (Jinja2) 模板，轻松模拟任何私有或内部 LLM API。
  • 提供配置选项（CLI、环境变量、配置文件），允许您自定义端口、主机、工作线程、延迟和抖动等参数。
  • 允许定义自定义提供者和模板，满足特定的模拟需求。
• 全面支持 LLM 特性模拟
  • 工具调用与函数模拟： 将工具调用视为一等公民，轻松模拟复杂嵌套的 JSON 结构和动态 ID，支持 OpenAI 和 Claude 的特定工具调用模式。
  • JSON 模式与结构化输出： 模拟模型强制返回有效 JSON 的场景。
  • 空气隔离运行： 100% 离线运行，无持久化状态，非常适合 CI/CD 环境。

---

⚙️ 如何使用 VidaiMock：

VidaiMock 被设计为生产 API 的即插即用替代品。大多数情况下，您只需更改客户端 SDK 的 base_url 即可。

• 下载： 作为单个静态二进制文件分发，方便快速获取。
• 运行： 在本地启动服务，默认监听 8100 端口。
• 模拟： 将您的 API 请求指向本地 VidaiMock 服务，无需 API 密钥。

---

📊 可观测性：

VidaiMock 在生产 CI/CD 流水线中具有出色的可观测性。

• 实时指标： 通过标准的 Prometheus 抓取端点 /metrics 暴露实时指标，包括请求总数和请求延迟分布，帮助您监控模拟运行状况。
• 结构化日志： 将结构化日志输出到 stdout，支持 error, info, debug, trace 等日志级别，便于调试和故障排查。