首页 > 实用技巧 > 干货教程 > 腾讯推出Hunyuan-Large开源大模型:389B总参数、52B激活参数

腾讯推出Hunyuan-Large开源大模型:389B总参数、52B激活参数

发布时间:2024-11-05 17:26:09来源: 13041198719
 11 月 5 日消息,腾讯今日宣布推出 Hunyuan-Large 大模型,官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 3890 亿总参数(389B)和 520 亿激活参数(52B)。
 
 
 
腾讯今日在 Hugging Face 开源了 Hunyuan-A52B-Pretrain 、 Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8。并发布了技术报告和训练推理操作手册,详细介绍了模型能力和训练与推理的操作。
 
其中模型技术优势如下:
 
高质量合成数据:通过合成数据增强训练,Hunyuan-Large 能够学习到更丰富的表示,处理长上下文输入,并更好地泛化到未见数据
 
KV 缓存压缩:采用分组查询注意力(GQA)和跨层注意力(CLA)策略,显著减少了 KV 缓存的内存占用和计算开销,提高了推理吞吐
 
专家特定学习率缩放:为不同专家设置不同的学习率,确保每个子模型都能有效地从数据中学习,并为整体性能做出贡献
 
长上下文处理能力:预训练模型支持高达 256K 的文本序列,Instruct 模型支持 128K 的文本序列,显著提升了长上下文任务的处理能力
 
广泛的基准测试:在多种语言和任务上进行广泛实验,验证了 Hunyuan-Large 的实际应用效果和安全性
 
 
 
▲ Hunyuan-Large 预训练模型与具有相似激活参数大小的 Dense 和 MoE 竞争对手相比

干货教程更多>>

车企三季度赚钱排行榜:比亚迪单季超百亿,赛力斯毛利率第一 M热血嘉年华回归,每一辆宝马的灵魂深处都有一辆M! 等等再出手 多款MPV新车来袭 广汽传祺E9超级快充版领衔 “银十”交卷:10月新能源车销量炸裂!14家车企业绩创历史新高! 等车周期4个月,小鹏MONA M03仍是“交付难” 权威安全碰撞认证 马自达EZ-6真“合资新能源第一车”主打交个朋友! 10月热销28063辆!比亚迪宋L DM-i凭啥称霸插混中型SUV市场? 10万级伊兰特碰撞测试完胜奔驰S,跻身安全第一阵营 只为清仓,经典iPhone13跌至新低,A15仿生芯+IOS 第一批买iPhone16的人,都后悔了? 11个微信隐藏的实用技巧!颠覆你的认知! 腾讯QQ更新Windows 9.9.16、macOS 6.9.59、Linux 3.2.13 腾讯混元宣布大语言模型和3D模型正式开源 腾讯推出Hunyuan-Large开源大模型:389B总参数、52B激活参数 广东美的制冷取得摆叶机构和空调器专利,丰富空调器的送风模式 盲目依赖“智能驾驶”,小车追尾大货车,交警提醒→ 中通客车:无人驾驶以L3-L4级智能驾驶产品为主,在国内多地开展测试和示范运营 挖生态墙角,搞AI创新:国产旗舰和iPhone拼了 小红书蓝色光标等成立创投合伙企业 出资额3400万 煲出一个秋天!小红书联手美的生活小家电布局秋日生活美学营销 快讯|快手三农全新升级“耕耘计划”“村村红计划” 岳云鹏上演暖心唱聊,快手「乐过四季」首季直播总观看量超2亿 用户超360万 快手可灵用AI重塑内容创作业态 抖音生活服务发起“发现宝藏小城”活动,助力打造舌尖上的文旅名片 一天销售额近百万元!海宁直播间开启“日不落”模式 当心“套路”!一些直播间以“卖惨”博取流量带货 如何打造爆款短视频,这几招让你的视频火爆全网,一起get一下吧 研报:短视频直播激活东莞文旅消费,世界工厂变身潮玩城市 人民日报评拼多多引领电商西进:降低物流成本,托举美好生活 德阳市旌阳区电商进入“双十一”模式,订单量增速亮眼