腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大
来源:快科技 发表于2024-11-05 20:45:38 编辑:时寒峰

  原标题:腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大

  11月5日消息,腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。

  Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。

  在技术创新方面,Hunyuan-large通过高质量的合成数据来增强模型训练,弥补了自然数据的不足。

腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大

  其中,该模型预训练支持处理高达256K的文本序列,大幅提升了长文本上下文的处理能力,能够更高效地完成长文本任务。

  据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。

  此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。

  企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。

投稿邮箱:lukejiwang@163.com
相关推荐
腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业
腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业

原标题:腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大 11月5日消

AI2小时前

京东发布自研智狼货到人系统:拣货效率提升3倍
京东发布自研智狼货到人系统:拣货效率提升3倍

原标题:京东发布自研智狼货到人系统:拣货效率提升3倍 11月5日消息,今日,

AI2小时前

谷歌CEO称1/4新代码由AI生成:反遭自家员工光速打假!
谷歌CEO称1/4新代码由AI生成:反遭自家员工光速打假!

原标题:谷歌CEO称1/4新代码由AI生成:反遭自家员工光速打假! 11月4日消息,谷

AI2024-11-04 19:56:12

AI可以帮你在股市赚钱吗 腾讯给出答案
AI可以帮你在股市赚钱吗 腾讯给出答案

原标题:AI可以帮你在股市赚钱吗 腾讯给出答案 11月1日消息,如今AI大模型大行

AI2024-11-01 23:13:27

人在知乎 被AI总结了
人在知乎 被AI总结了

原标题:人在知乎 被AI总结了 只是闲逛了下知乎,真是有被 AI 震惊到。 事情是

AI2024-10-29 15:56:16

苹果AI下周正式亮相:将接受全球果粉检验
苹果AI下周正式亮相:将接受全球果粉检验

原标题:苹果AI下周正式亮相:将接受全球果粉检验 10月26日消息,苹果宣布A

AI2024-10-26 21:52:41

可供8000户家庭使用一年!特斯拉上海储能工厂将于明年
可供8000户家庭使用一年!特斯拉上海储能工厂将于明年

原标题:可供8000户家庭使用一年!特斯拉上海储能工厂将于明年1季度投产 10月

AI2024-10-25 21:56:01

重大突破!Claude 3.5迎重磅升级:AI像人一样操控电脑
重大突破!Claude 3.5迎重磅升级:AI像人一样操控电脑

原标题:重大突破!Claude 3.5迎重磅升级:AI像人一样操控电脑 10月23日消息,

AI2024-10-23 20:28:44

人工智能服务器已占全球1/3:戴尔成第一大巨头
人工智能服务器已占全球1/3:戴尔成第一大巨头

原标题:人工智能服务器已占全球1/3:戴尔成第一大巨头 10月19日消息,市场调

AI2024-10-19 16:15:05

零一万物新模型盲测国产首超GPT-4o!李开复透露:一次
零一万物新模型盲测国产首超GPT-4o!李开复透露:一次

原标题:零一万物新模型盲测国产首超GPT-4o!李开复透露:一次训练成本超20

AI2024-10-17 17:20:52