← 返回行业咨询

明略科技发起WebRetriever全球挑战赛,15000美元奖池聚焦Web Agent真实评测

明略科技发起 WebRetriever 全球挑战赛,$15,000 奖池聚焦 Web Agent 真实评测

📌 核心事件

明略科技于今日正式开启 WebRetriever 全球挑战赛 报名,赛事总奖池为 15,000 美元,旨在推动 Web Agent 在真实互联网环境下的能力评测与提升。


🏆 赛事概况

本次大赛由 明略科技 主办,多家学术机构联合协办:

  • 北京大学(软件工程国家工程研究中心)
  • 中国科学院自动化研究所
  • 中国科学院香港创新研究院人工智能与机器人创新中心
  • 机器之心

参赛者可以是个人或团队,不限国籍和机构背景,面向学术界、产业界及独立开发者全面开放。


❓ 为什么需要这场挑战?

Web Agent(网页智能体)从实验室走向真实部署面临一个核心瓶颈:真实互联网的复杂度远超模拟环境

当前业界存在两个主要问题:

  1. 数据源失真:主流 benchmark 多基于少量模拟或自建站点,与真实开放互联网的复杂度差距显著。
  2. 评测维度单一:现有方法多关注操作执行的正确性,缺乏对 Agent 能否真正交付最终任务结果的系统性度量。

🧪 WebRetriever 基准:规模与精度双领先

针对上述痛点,明略科技构建了大规模 Web Agent 综合评测基准 WebRetriever,相关论文已被国际顶级学术会议 ECCV 2026 正式接收。

✨ 三大亮点

维度 数据
覆盖范围 800 个真实在线网站、1,550 项跨行业任务
行业跨度 科技、金融、医疗、教育、政务等八大领域
环境真实性 全程真实互联网环境

🎯 NavEval 框架

自研的 NavEval 框架在评测精度上表现突出:

  • 与人类专家判断一致率达 91.2%
  • 现有最优方法一致率约为 81%
  • 首次让大规模自动评测达到可信精度

📉 性能鸿沟

评测数据揭示了一个关键发现:

  • 即便是表现最优的单一模型,基础导航成功率也不足一半
  • 端到端完整任务完成率仅约 20%
  • 结论:"到达"远不等于"完成"

🚀 参赛方式

平台与邀请码

报名三步走

Step 1 — 注册 Octo 账号

Step 2 — 加入赛事空间

  • 登录后使用邀请码加入 WebRetriever 专属赛事空间

Step 3 — 完成报名

  • 进入空间后按指引提交报名信息(队伍名称、成员等)

🔗 相关资源

资源 链接
📄 论文 https://arxiv.org/abs/2607.06118
📦 数据集 https://huggingface.co/datasets/Mininglamp-2718/WebRetriever
💻 代码及榜单主页 https://mininglamp-ai.github.io/WebRetriever
🏁 赛事主页 https://mininglamp-ai.github.io/WebRetriever_Challenge/

本文信息来源:机器之心公众号文章《明略科技 WebRetriever 全球挑战赛报名开启,15,000 美元奖池等你来赢!》