零一万物是李开复创办的大模型创业公司，11月6月开源了预训练大模型 Yi-34和Yi-6B。不过，开发者ehartford在Yi-34B的Hugging Face开源主页上表示，称该模型使用了meta LLaMA的架构 ，只对两个张量名称进行了修改 ，分别为input_layernorm和post_attention_layernorm。ehartford还表示，希望该公司在模型被大量使用之前考虑重命名张量以符合LLaMA架构，并将这一更改应用到官方模型中。
根据零一万物的说明，零一万物在训练模型过程中，沿用了GPT/LLaMA的基本架构，由于LLaMA社区的开源贡献，让零一万物可以快速起步。零一万物从零开始训练了 Yi-34B 和 Yi-6B 模型，并根据实际的训练框架重新实现了训练代码，用自建的数据管线构建了高质量配比的训练数据集（从3PB原始数据精选到3T token高质量数据）。除此以外，在 Infra 部分进行算法、硬件、软件联合端到端优化，实现训练效率倍级提升和极强的容错能力等原创性突破。这些科学训模的系统性工作，往往比起基本模型结构能起到巨大的作用跟价值。
“在零一万物初次开源过程中，我们发现用和开源社区普遍使用的LLaMA 架构会对开发者更为友好，对于沿用LLaMA部分推理代码经实验更名后的疏忽，原始出发点是为了充分测试模型，并非刻意隐瞒来源”，对此，零一万物提出说明并表达诚挚的歉意，“我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中，承诺尽速完成各开源社区的版本更新”。
推荐阅读：
人民币对美元中间价调升33个基点，报7.1305
美联储理事Waller：美联储今年需要再加息两次以遏制通货膨胀
贷款已经还清为什么还在扣 主要原因有哪些？
扫一扫加微信