NVIDIA发布2.8万亿token印度多语言训练语料，覆盖22种语言

大模型训练的数据鸿沟，正在被一项面向印度语言的超大规模开源计划填补。2026年10月16日，NVIDIA（英伟达）联合印度理工学院马德拉斯分校（IIT Madras）及其下属的AI4Bharat实验室，发布了名为Nemotron-pretraining-Indic-v1的合成预训练语料，规模约为2.8万亿token，覆盖印度宪法公认的22种语言，并同步公开了生成这批数据的整套GPU加速流程。

这套语料的结构清晰：其中26010亿token为原生文字（native-script），2246亿token为拉丁字母转写（romanized），按Gemma-4分词器统计。22种语言被拆成34种语言-文字配置——包括印地语、孟加拉语、泰米尔语、泰卢固语等12种同时提供原生文字与拉丁转写，另有10种资源更稀缺的语言仅提供原生文字版本。

数据的生产方式并不神秘，却足够严谨：团队从Nemotron-CC-v2的15个英文子集（涵盖网页、问答、数学、代码等）出发，借助Google的Gemma-4-31B-it等模型翻译为印度语言，再由大模型担任裁判逐条打分，得分达到75分（百分制）以上才保留，不达标则据反馈修复后重新评估。仅修复环节就追回了4384亿token，且每条合成记录都能追溯到原始文档，确保内容扎根于真实语料。

对印度而言，这项工作的意义远超数据本身。AI4Bharat负责人、入选2025年TIME100 AI榜单的Mitesh Khapra曾直言，印度语言技术长期落后于英语，根子在没有足够的数据。如今，约12亿以这些语言为母语的人口，终于被更系统地纳入AI的训练版图。在持续预训练中，该语料已让五个印度语言基准提升4.98至9.82分，并被用于改进NVIDIA此前的Nemotron 3.5 Super VL模型。

更关键的是可复现性：NVIDIA不仅放出数据，还开源了包含提示词、LLM工作流与质量检查的完整配方，开发者可基于NeMo Data Designer的插件，把同样的流程套用到更多语言与素材上。这种连锅端的开源思路，正在成为基础模型时代缓解数据稀缺的主流范式——只不过，合成翻译终究无法完全替代自然撰写的文本，其文化保真度仍待真实基准与分语言评测来检验。