这项由谷歌DeepMind研究团队主导开发的技术报告于2026年7月2日正式发布，论文编号为arXiv:2607.02770v1，有兴趣深入探究的读者可通过该编号在arXiv平台检索完整技术文档。
当人们谈起AI大模型时，脑海中往往浮现出那种巨无霸式的存在——需要整栋楼的服务器才能运行，普通人和中小企业根本无缘触碰。谷歌DeepMind团队显然也意识到了这个问题，于是他们做了一件很有意思的事：造出一把"瑞士军刀"式的AI工具包，既能处理文字、看懂图片、听懂声音，还能在手机等普通设备上跑起来，同时在复杂推理任务上的表现甚至能与那些体量大得多的"巨无霸"比肩。这套工具包，就是Gemma 4。
把Gemma 4理解成一个瑞士军刀工具包再合适不过——它不是单一的一把刀，而是一整套从折叠小刀到开瓶器都配齐的组合。Gemma 4家族包含从23亿到310亿参数不等的多个型号，有适合在手机和平板上运行的轻量款（E2B和E4B），也有追求性能上限的旗舰款（31B）。其中还有一个混合专家架构的型号（26B-A4B），这种架构的思路类似于在餐厅里只有在有人点鱼时才叫厨师长出来掌勺，平时让助手打理日常菜式，从而大幅节省算力和内存。
更值得关注的是，Gemma 4是完全开源的，采用Apache 2.0许可协议发布。这意味着任何开发者、研究者，甚至是课余时间捣鼓AI的学生，都可以免费获取、修改和部署这套模型。
一、一把刀要能切菜也要能开瓶——理解Gemma 4的多模态能力
过去，AI模型大多像是专科医生，看文字的不懂图片，懂图片的不会听声音。Gemma 4的设计目标是成为一个全科医生，能同时处理文字、图像和音频三种信息。
在文字处理方面，Gemma 4沿用了谷歌Gemini模型的分词器，词汇表拥有26.2万个条目，能够细腻地理解多种语言的语义。训练数据涵盖网页文档、代码、图像和音频，截止日期为2025年1月，内容横跨多个领域和语种。
在图像理解方面，较小的E2B和E4B型号配备了1.5亿参数的视觉编码器，而31B和26B-A4B这类更大的型号则使用了5.5亿参数的视觉编码器。这些编码器本质上是一种叫做视觉变换器（Vision Transformer）的架构，可以把图片切割成16×16像素的小格子来理解。更聪明的地方在于，这些编码器支持不同宽高比的图片输入，不会强行把一张宽屏风景照压缩成正方形——这就像打印照片时选择了"保持原始比例"选项，而非把人脸拉宽变形。视觉编码器支持的最大图像词元数（可以理解为图像的"分辨率细节量"）有70、140、280、560和1120五档可选。
在音频处理方面，E2B和E4B配备了3.05亿参数的音频编码器，基于谷歌的通用语音模型（USM）架构，由两层下采样卷积层和十二个Conformer层组成，每次处理40毫秒的音频片段。有意思的是，相比上一代Gemma 3n，这次的音频编码器参数量减少了整整55%（从6.8亿降到3.05亿），但性能不降反升，这种"用更少做更多"的设计哲学贯穿了整个Gemma 4的研发思路。
二、12B型号的大胆尝试——彻底扔掉独立编码器会怎样
Gemma 4家族中有一个特别另类的成员：12B模型。其他型号都保留了独立的视觉编码器和音频编码器，而12B模型则采用了一种被称为"无编码器架构"的全新设计思路，相当于把专科医生的诊室直接合并成了一间通科门诊。
具体来说，12B模型在处理图像时，不再经过那个5.5亿参数的视觉编码器，而是直接将48×48×3像素的RGB图像块通过一个只有3500万参数的大型矩阵乘法操作投影到语言模型的嵌入空间中。为了让模型知道图像的空间位置关系（比如左上角的东西和右下角的东西不一样），研究团队在图像块的表示中直接加入了基于二维坐标的位置编码。
在音频处理上，12B模型做得更彻底——那个3.05亿参数的USM编码器被整个丢弃了。取而代之的是，原始音频按照每40毫秒一段、每段640维向量的方式，直接投影进语言模型的嵌入空间。由于音频天然是时间序列，不需要额外的位置编码。
这种设计的好处是显而易见的：减少了内存碎片（就像把办公室里散落的各个部门整合进一个大开间，不再需要在各个房间之间反复奔走），也降低了系统复杂性。从后续的评测结果来看，12B模型在音频转录和翻译任务上的表现依然具有竞争力，证明了无编码器这条路在技术上是可行的。
三、长文本处理的内存噩梦，以及Gemma 4的解法
处理长文本对AI来说是个真实的痛苦。当模型需要记住一本书的内容时，它要在内存里维护一个叫做"KV缓存"的结构，用来存储之前看过的所有内容的"关键信息摘要"。文本越长，这个缓存就越大，最终可能大到撑爆内存。
Gemma 4为此设计了一套组合拳来解决这个问题，核心思路是区分"需要全局记忆"和"只需局部记忆"的注意力层。绝大多数注意力层采用滑动窗口机制，就像你读书时只看眼前这几行，不需要时刻回忆第一章说了什么；只有少数几个"全局注意力层"才负责把整本书的线索串联起来。E2B型号的比例是4个局部层对应1个全局层，其余型号是5个局部层对应1个全局层。
除此之外，研究团队还引入了一种叫做p-RoPE的位置编码方法（p值为0.25），专门用于全局注意力层。这种方法的效果是进一步压缩全局KV缓存的体积。结合另一项"用键作为值"的技巧（即在全局注意力层中，不再单独维护值矩阵，而是直接复用键矩阵，适用于12B、26B-A4B和31B型号），以及E2B和E4B型号上的KV缓存共享（比例分别为20/35和18/42），这一套组合拳能够将全局KV缓存的体积压缩高达37.5%。全局注意力层的RoPE频率设为100万，局部注意力层的RoPE频率设为1万。
四、让AI"思考后再回答"——思维模式的引入
Gemma 4引入了一个被称为"思维模式"的功能。开启这个功能后，模型在给出最终答案之前，会先生成一段推理过程——就像一个学生在答题时先在草稿纸上演算，再把最终答案誊写到卷子上，而不是凭直觉乱写一气。
从评测数据来看，思维模式对需要严谨推理的任务帮助显著。以2026年AIME数学竞赛（这是一项专门考察高中生数学能力的顶级竞赛）为例，Gemma 4 31B在开启思维模式后的得分高达89.2分，而上一代Gemma 3 27B只有20.8分——这几乎是四倍的提升。在编程竞技平台Codeforces的Elo评分上，31B模型达到了2150分，而Gemma 3 27B只有110分，差距同样触目惊心。
五、让大模型跑得更快——多词元预测草稿头
在AI回答问题时，生成文字的速度往往成为体验的瓶颈。Gemma 4引入了一种叫做"多词元预测草稿头"（MTP Drafter）的机制来加速这个过程，其背后的原理是"推测解码"。
可以把这个过程理解为一个快手助理和一个严谨审稿人的分工协作。助理（草稿头）先快速猜出接下来可能要说的几个词，审稿人（主模型）则以极低的成本同时审核这些猜测，接受正确的、丢弃错误的。由于大多数时候助理猜对了，整个生成过程就被大幅加速了。
技术实现上，草稿头是一个独立的4层变换器模块，它接收主模型最后一层的激活值和KV缓存，并通过交叉注意力机制与主模型的KV缓存进行交互，从而无需重新进行预填充计算，也支持任意长度的草稿。草稿头的模型维度在E2B和E4B上是256，在26B-A4B和31B上是1024，包含三个局部注意力层和一个全局注意力层。
针对E2B和E4B这类边缘设备上运行的小模型，研究团队还做了进一步优化：将草稿头投影到整个词汇表（26.2万个词条）的操作，替换为先在词元聚类上做Top-k筛选，再在候选集（4096个词条）上做最终矩阵乘法。这样计算量大幅下降，同时接受率基本不受影响。
六、把模型"压小"而不让它变笨——量化感知训练
一个用bf16浮点精度存储的31B模型，需要占用64GB内存——这对于绝大多数用户的设备来说根本装不下。Gemma 4提供了多种量化版本，通过"量化感知训练"（QAT）在训练阶段就让模型适应低精度运算，从而在推理阶段可以用更少的比特位来存储参数，而质量损失极小。
针对移动端设备，Gemma 4提供了混合低比特量化方案：权重采用int2和int4混合精度，激活值采用int8精度。这种方案下，E2B的内存占用从4.6GB降至0.8GB，E4B从9.0GB降至2.3GB。针对桌面端和服务器场景，提供了Q4_0方案（按块量化），31B模型的内存占用从64GB降至19.2GB。
量化技术同样被应用到了图像和音频编码器上。1.5亿参数的图像编码器采用8位权重和激活量化（W8A8）后，前向传播的总内存占用从400MB降至200MB，在较新硬件上的延迟也降低了44%。音频编码器经过激活量化为8位、权重按层聚类量化为2/4/8位的混合精度处理后，磁盘存储体积从Gemma 3n的390MB压缩到了87MB，缩减幅度高达78%。
与此同时，为了在fp16精度下实现稳定推理，研究团队在每个模型块中引入了一个标量缩放因子，用于将激活值的范围约束在fp16能表示的范围内，防止数值溢出导致的计算错误。
七、训练基础设施：用专用芯片集群训练这些庞然大物
训练这些模型当然不是在普通电脑上完成的。Gemma 4使用了谷歌自研的TPU（张量处理单元）集群。E2B和E4B在TPUv6e上训练，分别使用了4096和6144块芯片；12B模型在TPUv5p上训练，使用了12288块芯片；26B-A4B在TPUv6e上使用6144块芯片；31B则在TPUv6e上使用10240块芯片。
训练过程中采用了三维并行策略：数据并行（把不同的训练样本分给不同的芯片）、序列并行（把同一个超长序列切段分给不同的芯片）和副本并行。优化器的状态采用ZeRO-3分片技术分散存储，避免单块芯片的内存被撑爆。多机架训练时，数据副本的梯度汇聚通过数据中心网络完成，采用了谷歌Pathways系统的异步分布式数据流方案。
为了应对大规模训练中难以避免的硬件故障，研究团队还引入了"切片粒度弹性"技术：当部分TPU芯片出现局部故障时，系统可以自动以更少的芯片继续训练，而不是整体暂停重启，将故障造成的中断从原来的数分钟压缩到几秒钟。整个编译和并行化过程由GSPMD分区器和MegaScale XLA编译器共同完成。
八、指令调优：让模型听懂人话，还能"慢慢想"
预训练完成的模型就像是一个博览群书但不知道如何与人交流的学者。指令调优（Instruction Tuning）的作用是让这个学者学会好好说话，能够理解用户的意图并给出有帮助的回答。
Gemma 4的后训练流程沿袭了Gemma 3的基本方式，但最重要的新增内容是思维模式的训练。数据过滤方面，训练数据经过严格筛选，剔除了含有特定个人信息、不安全或有毒输出、错误自我认同信息以及重复样本的内容。同时，训练数据中加入了鼓励模型进行上下文归因、适当表达不确定性以及拒绝回答的子集，这些数据在改善模型真实性表现的同时，并不会拖累其他指标。
九、评测成绩：这把刀到底有多快
Gemma 4的表现在多个维度上都交出了令人印象深刻的成绩单。
在Arena人类评测平台上（这是一个让真实用户盲测不同模型并投票的平台，使用Elo积分制，类似于国际象棋的等级分），Gemma 4 31B以1451分的Elo积分位列所有开源模型中密集型架构的第一名，排在总榜第43位。这个名次意味着它超越了大量参数量是它几十倍的MoE巨型模型。Gemma 4 26B-A4B则以1438分位列第61位。作为对比，上一代Gemma 3 27B只有1366分，排在第157位——这是跨越式的进步。
在综合能力基准测试MMLU Pro上，31B达到85.2分，E2B也有60分，而Gemma 3 27B是67.6分，意味着E4B（69.4分）这个参数量只有它约六分之一的小模型已经追平了上一代旗舰。在科学推理基准GPQA Diamond（涉及生物、化学、物理等学科的研究生难度题目）上，31B达到84.3分，E2B也有43.4分，Gemma 3 27B是42.4分——连最小的E2B都超过了上一代旗舰。
在指令遵循能力测试IFEval上，31B高达98.9分，E2B也有94.6分。在多语言理解MMMLU上，31B达到88.4分，E2B有67.4分。长文本处理能力同样大幅提升：在128k上下文长度的RULER测试中，31B和26B-A4B分别达到96.4和89.8分，而Gemma 3 27B只有66.0分。
视觉能力方面，31B在MMMU Pro视觉推理测试中达到76.9分（使用1120视觉词元的最高分辨率），在数学视觉推理MATH-Vision上达到85.6分，在信息图表理解InfographicVQA上达到92.0分。即便是最小的E4B，在全部视觉测试项目上都持平或超越了Gemma 3 27B。
音频能力方面，Gemma 4 E2B在CoVoST多语言语音翻译任务上的平均BLEU分从Gemma 3n E2B的31.6提升到35.4（相对提升12%），在FLEURS多语言语音识别任务上的平均词错误率从0.108降至0.090（相对提升17%）。Gemma 4 E4B同样比Gemma 3n E4B分别提升了10%和12%。考虑到音频编码器的磁盘占用同时缩减了78%，这种"越缩越强"的表现着实出人意料。
十、安全与责任：一把好刀也要有刀鞘
功能越强大的工具，潜在的滥用风险也越大。谷歌DeepMind团队在Gemma 4的安全性上投入了大量精力，标准与内部的Gemini商业模型相同。
在内容安全层面，Gemma 4明确禁止生成儿童性虐待材料（CSAM）、危险内容（如鼓励自残或教授现实世界危害活动的内容）、露骨性内容、仇恨言论（如对受保护群体的非人化描述）以及骚扰内容（如煽动对他人施加暴力）。训练数据经过专门处理，去除了特定个人信息和其他敏感数据。后训练评估和训练时的干预措施也同步实施，以确保模型行为与安全政策对齐。
评估结果显示，Gemma 4在所有内容安全测试类别中均显著优于Gemma 3和Gemma 3n，同时将不合理拒绝的比例保持在较低水平——这意味着模型在规避有害输出的同时，不会过度谨慎到变得没用。所有安全测试均在不使用任何安全过滤器的条件下进行，以准确评估模型自身的能力和行为边界。
在更宏观的责任层面，谷歌DeepMind坦承，开源AI在推动技术民主化的同时，也存在被恶意利用的风险。团队承诺持续提供教育资源并监控模型的下游使用情况，并表示只有在判断收益明显大于可预见风险时，才会向社区发布模型。
说到底，Gemma 4做的事情归结为一句话：在更小的"刀鞘"里装进了更锋利的"刀"，而且这把刀能切很多种不同的东西。从31B旗舰款在人类评测中力压众多参数量是它数十倍的MoE巨型模型，到E2B这个轻量款以十分之一的参数量追平上一代旗舰，再到12B模型完全抛弃独立编码器却依然交出有竞争力的多模态成绩，Gemma 4在每个尺寸段都提出了"用更少资源做更多事"的清晰主张。对于普通开发者和研究者而言，这套Apache 2.0开源工具包意味着他们终于可以在自己的笔记本电脑或小型服务器上，运行一个真正能看图、能听声、能深度推理的现代大模型，而不必再为天价的云端API费用发愁。至于Gemma 4未来能在哪些现实场景中改变人们的工作和生活，或许才刚刚开始被探索。对这项技术感兴趣的读者，可以通过arXiv编号2607.02770查阅完整的技术报告，深入了解每一个设计决策背后的详细推导。
Q&A
Q1：Gemma 4和普通闭源AI大模型有什么本质区别？
A：Gemma 4是完全开源的，采用Apache 2.0许可协议，任何人都可以免费下载、修改和部署，不需要通过API付费调用。闭源模型则由公司控制，用户只能通过服务接口使用，无法查看或修改模型内部结构。Gemma 4的开源特性让开发者可以在本地运行，不依赖网络，也没有数据隐私方面的顾虑。
Q2：Gemma 4的思维模式是怎么工作的？
Q3：Gemma 4 12B的无编码器架构和其他型号有什么不同？
A：其他Gemma 4型号都保留了独立的视觉编码器（1.5亿或5.5亿参数）和音频编码器（3.05亿参数），而12B模型完全抛弃了这两个独立模块。图像通过一个仅3500万参数的矩阵乘法直接投影进语言模型，音频则以原始640维向量直接投影，无需专门编码器处理。这种设计减少了内存碎片、降低了系统复杂性，且实际评测表明音频和图像能力并未因此大幅下滑。