EmbeddingGemma 2:面向端侧的开源轻量多模态嵌入模型
摘要
谷歌 DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,把文本、图像、音频、视频与代码映射到统一嵌入空间,以 7.4 亿参数的轻量形态主打端侧运行。
核心要点
- 模型建立在 Gemma 4 架构之上,参数量 7.4 亿,采用 Apache 2.0 商用许可发布,由 Google DeepMind 研究工程师 Sahil Dua 与 Henrique Schechter Vera 署名。
- 采用模块化设计:纯文本负载最低仅需 2.7 亿参数,视觉编码器可选增加 1.7 亿、音频编码器可选增加 3 亿参数。
- 借助 Matryoshka Representation Learning(MRL),输出向量可从 768 维动态截断至 512、256 或 128 维,为本地向量数据库带来最高 6 倍的存储与内存占用下降。
- 量化后在 Google Pixel 11 Pro 上,纯文本权重活跃内存低至约 191MB,完整多模态模型约 567MB。
- 上下文窗口为 8K token,是 EmbeddingGemma 1 的 4 倍,可处理约 5.5 分钟音频、29 张图片、58 帧视频或其交错组合。
原文佐证
- EmbeddingGemma 2 is the most capable model for on-device multimodal embeddings, natively mapping combinations of text, images, audio, and video into a unified embedding space.
- Using Matryoshka Representation Learning (MRL), developers can dynamically truncate output vectors from 768 dimensions down to 512, 256, or 128 dimensions. This provides up to 6x storage reduction for local vector databases and memory usage.
- With quantization, on a Google Pixel 11 Pro, EmbeddingGemma 2 requires as little as ~191MB active RAM for text-only weights and ~567MB for the full multimodal model.
AI 洞察
把多模态统一嵌入空间压到 7.4 亿参数、数百 MB 内存并开源,意味着检索这一环正从云端 API 变成端侧默认能力,隐私优先的本地 RAG 与小工具类应用的门槛被显著拉低。对向量数据库与嵌入 API 厂商而言,护城河将从“能不能嵌入”转向规模化、跨模态质量与运维生态;对谷歌自身,则是在 Gemini 闭源能力之外,用 Gemma 系列持续圈占开源开发者与端侧入口。