Olmo 3

✨ Olmo 3：开源前沿，数据追踪无忧！✨

Olmo 3 系列模型是 AI2 旗下的最新力作，致力于为开源社区带来强大助力。我们不仅提供最先进的开放语言模型，更确保整个模型流程和训练数据的完整追踪，让您对模型的来龙去脉了如指掌。

---

💡 为什么选择 Olmo 3？

• SOTA 开源模型： Olmo 3 代表了当前开放语言模型的最新技术水平。
• 全流程追踪： 您可以清晰地追溯模型的整个生命周期，从数据到训练，再到最终模型。
• 开放与透明： 我们相信真正的开放意味着共享所有数据、代码、训练方案、中间检查点等，为您提供无限定制和深度理解的能力。

---

🎯 Olmo 3 模型家族概览

Olmo 3 系列提供多种变体，以满足不同需求。您可以轻松探索每个变体的权重、代码和技术报告，了解其核心能力。

• 32B-Base：

  编程、阅读理解和数学问题解决能力强劲，在扩展上下文长度下仍保持出色性能，并与强化学习 (RL) 设置良好兼容。

• 32B-Think：

  能够分步推理复杂问题。是强化学习研究和其他需要强大算力的先进实验的坚实平台。

• 32B-Instruct：

  我们迄今为止最强大的全开放聊天模型。经过指令微调，专为聊天、工具使用和多轮对话而构建。

• 7B-Base：

  更小、更轻量的基础模型，可在更广泛的硬件上运行，同时提供具有竞争力的性能。

• 7B-Think：

  以 7B 的规模提供强大的推理能力，以高效率展示复杂提示的中间思考步骤。

---

🗝️ 完整的模型流程：无限可能性

为了真正推动开放 AI 的发展和研究，整个模型流程，而不仅仅是其终点，都应该是可访问和可定制的。 模型流程是大型语言模型 (LLM) 的完整生命周期，从数据开始。

1. 源数据： 从头开始训练 Olmo 的完全开放混合数据——精选的网络、代码、书籍和科学文本——经过去重和质量过滤。
2. 持续训练集： 用于在中途优化基础模型的特定延续集。更高质量、领域集中的混合数据。
3. 后训练语料库： 用于预训练后进行指令微调和基于偏好的优化（如适用）的语料库——监督响应和比较数据。

---

🛠️ Olmo 的开放工具生态

我们使用一系列强大的开源工具来构建 Olmo，这些工具同样向社区开放，助您一臂之力：

• OlmoCore： 我们的训练框架，实现快速、简便的配置。
• 数据预处理工具：
  • Duplodocus： 超高效模糊去重工具。
  • Datamap-rs： 用于大规模数据清洗。
• Open Instruct： 我们的后训练流水线。

---

💖 来自社区的认可

“与当前限制访问训练数据、架构或评估方法的开放 LLM 不同，Olmo 将其全部公开，为 AI 社区带来了前所未有的透明度和可访问性。”