Object store built for AI workloads

Object store built for AI workloads

高性能、AI原生的对象存储,支持S3 API

12点赞
2025-11-20
Object store built for AI workloads screenshot 1
点击查看大图

全面介绍

✨ Anvil:为 AI 工作负载而生的下一代对象存储 ✨

Anvil 是一款高性能、AI 原生的开源对象存储解决方案,专为应对现代 AI 工作负载的挑战而设计。当我们面对大型模型文件(如 Git LFS、Hugging Face 库、S3 等)的限制时,Anvil 应运而生。它完全兼容 S3 API 并内置 gRPC 支持,让您的 AI 流程更高效、更灵活!

💡 “Anvil: Next-Generation Object Storage Built for AI” —— 专为 AI 模型托管和高性能工作负载而设计,用 Rust 编写。

🚀 为什么选择 Anvil?

  • 🦀 卓越性能,Rust 匠心打造:

    Anvil 采用 Rust 语言开发,内存安全、高速运行、资源高效。它利用 Rust 的零成本抽象和无畏并发特性,提供超越传统 Go 方案的性能,同时占用更少内存。

  • 🪣 真正的 S3 兼容性:

    作为 MinIO 的直接替代品,Anvil 提供完整的 S3 API 兼容性。您无需修改现有的 AWS CLI、SDKs 和工具,即可无缝集成到当前基础设施中。

  • 🧠 专为 AI 工作负载优化:

    Anvil 专为托管开源模型和大型二进制文件而构建。它能高效处理数 GB 的模型文件,并为机器学习推理和训练工作负载提供优化的读取模式。

    • 模型感知索引: 理解 safetensors、gguf 和 ONNX 等模型格式,提供智能索引。
    • 张量级流媒体传输: 支持张量级别的数据流式传输,提升效率。
  • ⚡ 内置 gRPC API:

    除了 S3 HTTP API,Anvil 原生支持 gRPC。通过二进制协议和双向流传输,实现内部服务间通信的卓越性能,这是 MinIO 所不具备的。

  • 👥 原生多租户设计:

    Anvil 从设计之初就考虑了多租户需求,提供隔离的命名空间、针对每个租户的策略以及精细的访问控制。非常适合 SaaS 平台、托管服务或企业内部的部门隔离。

  • 📜 Apache 2.0 开源许可:

    与其他存储解决方案(如 MinIO 的 AGPLv3 许可)不同,Anvil 采用宽松的 Apache 2.0 许可。您可以自由修改、分发并在商业产品中使用,无需担心“病毒式”许可限制。

  • 🛡️ 持久性与安全性:

    Anvil 通过 Reed-Solomon 纠删码实现数据持久性。作为此过程的一部分,数据在静态时也会进行加密,提供重要的安全层。

  • ⏱️ 数分钟内快速启动:

    使用 Docker Compose 即可轻松部署功能完备的 Anvil 实例,包括 PostgreSQL 元数据存储、S3 API 和 gRPC 端点,开箱即用。


🎯 Anvil 的理想应用场景:

  • AI/ML 模型存储:

    高效地托管和分发大型语言模型、扩散模型和训练数据集。

  • SaaS 平台:

    利用多租户架构和为客户隔离的策略。

  • 云原生应用:

    支持 Kubernetes 部署和横向扩展能力。

  • 私有化部署存储:

    掌控您的数据,实现本地部署,避免供应商锁定。

  • 版本化微调:

    轻松管理 AI 模型的不同版本和微调过程。

  • 本地推理:

    为本地 AI 推理提供高效、可靠的数据源。


🆚 Anvil 与 MinIO 对比(部分关键特性)

尽管 Anvil 兼容 S3,但它在一些关键方面提供了独特的优势:

  • 编程语言: Anvil 使用 Rust (内存安全、高性能) vs. MinIO 使用 Go。
  • gRPC API: Anvil ✅ 原生支持 vs. MinIO ❌ 不可用。
  • AI 模型托管: Anvil ✅ 针对大型文件优化 vs. MinIO ⚠️ 通用目的。
  • 许可: Anvil Apache 2.0 (开放) vs. MinIO AGPLv3 (Copyleft)。
  • 资源效率: Anvil ✅ 更低的内存占用 vs. MinIO ⚠️ 内存使用较高。

🛠️ 专为开发者打造的友好体验

Anvil 为开发者提供了现代化的体验,包括全面的 CLI 工具、清晰的文档和直接的部署方式。无论您是托管 AI 模型、构建 SaaS 平台,还是替换旧有的存储方案,Anvil 都能提供您所需的性能和灵活性。

  • 命令行工具: 丰富的 CLI 工具,用于租户、策略和集群管理。
  • 优质文档: 清晰、全面的文档,助您在 10 分钟内上手。
  • 默认安全: JWT 认证、静态加密和细粒度访问控制。

👋 加入社区,共同成长!

Anvil 是一个开源项目,正在积极开发中。我们期待您的反馈,并邀请您加入我们的社区,共同塑造 AI 和云原生应用对象存储的未来!

产品评分

暂无评分
登录后即可评分
访问官网

相关产品