谷歌把多模态搜索塞进 567MB：断网也能用一句话搜照片、录音和视频

2026年10月9日

10月6日，谷歌开源了 EmbeddingGemma 2。这个模型很轻，740M 参数，跑起来内存占用不到 600MB，却能干一件以前只有云端才能干的事：用一句话同时搜图片、视频和音频，而且全程离线，不把任何文件上传到服务器。

这不是我在替 PR 译词，而是谷歌自己把模型卡、测试分数、开发工具和几个打样应用都摆出来了，连 CEO Sundar Pichai 都亲自下场说了句「这是谷歌首个原生多模态开源嵌入模型」。

先把这个「嵌入」讲人话。普通用户平时看不到 Embedding，但 AI 搜索、RAG 问答这类东西，背后全靠它找资料。它的活是把一段内容变成一串数字，相当于在一个巨大的空间里，给每段内容安排一个坐标，意思越接近，坐标就靠得越近，搜索时系统再去捞离问题最近的几段。上一代 EmbeddingGemma 只处理文字，要搜图搜声音，得另接模型或者先转成文字。EmbeddingGemma 2 把文字、代码、图片、视频、音频全部塞进了同一个 768 维空间——猫的照片、「cat」这个词和猫叫声，能在里面按语义互相找到彼此。

最出圈的是首发当天的那一幕。发布一个多小时，Hugging Face 的 Victor M 就把它搬进了浏览器跑起来。他在搜索框敲下「birds singing」（鸟在唱歌），格子立刻重排，排最前面的既有鸟的照片，也有显示着波形的鸟叫录音，整个查询只用了 22 毫秒，没走服务器，也没调任何 API。这类检索以后真可以落在手机、笔记本和浏览器上。

一次能处理的内容也比上一代多了不少。8K 上下文窗口，是上一代的 4 倍；只输入单一类型内容时，最多能放进去约 5.5 分钟音频、29 张图片，或者 58 帧视频，还支持 100 多种语言。参数分三块，文本 270M、视觉编码器 170M、音频编码器 300M，可以按需加载：只搜文字就载 270M，要搜图再加上视觉部分共 440M。在谷歌的 Pixel 11 Pro 测试里，量化后的纯文本版本内存占用最低约 191MB，完整多模态模型约 567MB——真就是几百兆的事。

对想自建本地搜索的人来说，这个数字意味着照片、录音、视频这类最占隐私的东西，不用再被送去云端了。现在谷歌和几个同量级模型比过，最大的差距落在看图看视频上：图像检索 57.3 对 Jina v5 Omni-Nano 的 31.6，视频检索 50.7 对 31.2，领先近 20 分，多语言文本则基本持平。

谷歌还给几个应用打了样。AI Edge Gallery 里的 Instant Media Search 能在相册里按意思搜照片；Video Moments Finder 说一句话就定位视频里对应的片段；还有个叫 Foresight 的应用，把 EmbeddingGemma 2 和 Gemma 4 搭配起来，在 Mac 上离线检索文件和会议记录。开发者这边，llama.cpp 已经支持，Unsloth 放出了量化版，部署门槛已经很低。

实测的数据也蛮硬。Mac 应用 Nativ 公布，在 M5 Max 上 8-bit 量化版生成的向量和原版余弦相似度 0.9997，文本嵌入速度每秒 817 条。土耳其开发者 Avenox 的测试更贴近日常：他笔记大多用英文写，提问却习惯用土耳其语，以前关键词匹配两边的词对不上，相关笔记经常搜不到。他让 Claude 花一小时搭了个测试台，用 40 条笔记换个说法用土耳其语提问，看正确笔记能否进前 18 个候选——关键词匹配命中率只有 15%，换 EmbeddingGemma 2 直接升到 97%，每次查询约 50 毫秒，全程本地跑。还有人玩得更野，开发者 Nick Lo 把它装进一块 Nano 开发板，输入一句话约 15 毫秒就转成向量，找到对应图片后交给 ESP32-S3 单片机逐行画出来。

代码检索也值得单拎出来说。MTEB Code 基准上它从上一代的 68.76 分涨到 78.68 分，一口气涨了近 10 分，这个对写代码的 Agent 特别实用。Claude Code、Codex 这类工具干活前都要先在整个代码库里翻出相关的几段，有了 270M 的纯文本版，开发者就能在本地给代码库建索引，再用大白话查相关代码，建索引和检索都留在本地，不上云。

往回看，今年 3 月谷歌才在云端发过多模态的 Gemini Embedding 2，走 API 按用量付费。半年之后，同一类检索能力被塞进一个能在手机上跑的开源小模型，照片、录音、视频都第一次有了留在本地检索的选项。谷歌给的一个典型用法，是把它和 Gemma 4 搭配做离线、隐私优先的 RAG——一个负责找资料，一个负责根据资料回答，检索和问答都在设备上完成。

过去要用 AI 搜照片、视频和录音，往往得把内容交给云端处理。现在这套检索能力只要几百 MB，就有机会装进每个人的口袋里。至于它真能消化多少真实场景，要等实际部署的账号慢慢攒出来——但至少，「断网也能搜」这件事，第一次有了一个够轻、够开源的起点。