← 返回行业咨询
明略科技发起WebRetriever全球挑战赛,15000美元奖池聚焦Web Agent真实评测
明略科技发起 WebRetriever 全球挑战赛,$15,000 奖池聚焦 Web Agent 真实评测
📌 核心事件
明略科技于今日正式开启 WebRetriever 全球挑战赛 报名,赛事总奖池为 15,000 美元,旨在推动 Web Agent 在真实互联网环境下的能力评测与提升。
🏆 赛事概况
本次大赛由 明略科技 主办,多家学术机构联合协办:
- 北京大学(软件工程国家工程研究中心)
- 中国科学院自动化研究所
- 中国科学院香港创新研究院人工智能与机器人创新中心
- 机器之心
参赛者可以是个人或团队,不限国籍和机构背景,面向学术界、产业界及独立开发者全面开放。
❓ 为什么需要这场挑战?
Web Agent(网页智能体)从实验室走向真实部署面临一个核心瓶颈:真实互联网的复杂度远超模拟环境。
当前业界存在两个主要问题:
- 数据源失真:主流 benchmark 多基于少量模拟或自建站点,与真实开放互联网的复杂度差距显著。
- 评测维度单一:现有方法多关注操作执行的正确性,缺乏对 Agent 能否真正交付最终任务结果的系统性度量。
🧪 WebRetriever 基准:规模与精度双领先
针对上述痛点,明略科技构建了大规模 Web Agent 综合评测基准 WebRetriever,相关论文已被国际顶级学术会议 ECCV 2026 正式接收。
✨ 三大亮点
| 维度 | 数据 |
|---|---|
| 覆盖范围 | 800 个真实在线网站、1,550 项跨行业任务 |
| 行业跨度 | 科技、金融、医疗、教育、政务等八大领域 |
| 环境真实性 | 全程真实互联网环境 |
🎯 NavEval 框架
自研的 NavEval 框架在评测精度上表现突出:
- 与人类专家判断一致率达 91.2%
- 现有最优方法一致率约为 81%
- 首次让大规模自动评测达到可信精度
📉 性能鸿沟
评测数据揭示了一个关键发现:
- 即便是表现最优的单一模型,基础导航成功率也不足一半
- 端到端完整任务完成率仅约 20%
- 结论:"到达"远不等于"完成"
🚀 参赛方式
平台与邀请码
- 赛事平台 Octo:https://im.deepminer.com.cn/
- 赛事空间邀请码:
0f351ca01bb4c4dd
报名三步走
Step 1 — 注册 Octo 账号
- 方式一:通过浏览器访问上述地址注册(推荐使用邮箱)
- 方式二(推荐):如果你有 Claude Code、ChatGPT Codex、Cursor 等 AI 编程助手,可通过 https://mininglamp-ai.github.io/WebRetriever_Challenge/join/ 在终端内快速完成注册
Step 2 — 加入赛事空间
- 登录后使用邀请码加入 WebRetriever 专属赛事空间
Step 3 — 完成报名
- 进入空间后按指引提交报名信息(队伍名称、成员等)
🔗 相关资源
本文信息来源:机器之心公众号文章《明略科技 WebRetriever 全球挑战赛报名开启,15,000 美元奖池等你来赢!》