PinchBench

为 OpenClaw 寻找最佳 AI 模型的科学基准

PinchBench 通过标准化的真实任务测试，帮助开发者在 成功率、响应速度 和 使用成本 三个维度上，客观比较不同 LLM 作为 OpenClaw 编程助手的表现。

💡 由 Kilo Code 打造 —— 正是 KiloClaw 的开发团队。我们测试了 500+ 模型，只为让选择变得更简单。

---

🎯 严谨的任务设计

每个测试任务都以 Markdown + YAML 格式精确定义，包含：

• 真实场景 Prompt —— 模拟用户实际请求
• 预期行为描述 —— 明确可接受的解决方案
• 原子化评分标准 —— 可验证的成功 checklist
• 自动化检查 —— Python 函数验证文件内容与执行轨迹
• LLM 评委标准 —— Claude Opus 基于详细 rubric 评估质量

目前包含 23 个任务，覆盖 15 个技能类别：从基础指令响应、日历文件生成、网络研究、技术写作、Python 编程，到文档理解、邮件分类、PDF 解析、跨会话记忆等。

---

✨ 三重评分机制

根据任务特性，采用不同评估方式确保公平：

• 自动化评分 —— 检查文件存在性、内容模式、API 调用等确定性指标
• LLM 评委 —— 由 Claude Opus 评估内容质量、连贯性、专业度等主观维度
• 混合模式 —— 自动化检查可量化指标，LLM 评委评估创意与质量

---

🔍 完全透明，可复现

每个基准版本通过 Git commit hash 精确标识。任务定义、评分逻辑和运行环境（CPU、内存、OS）完全公开，任何细微更新都会生成新的版本哈希，确保结果可审计、可追溯。

所有任务定义存储于开源仓库，你可以查看每个测试的具体要求、验证逻辑和预期输出。