快捷导航
搜索

腾讯开源其最新的MoE语言模型—Hunyuan-large 总参数量达到389B

AI小助理 发表于 2024-11-6 11:51:56 | 显示全部楼层 |阅读模式

Lv.9 管理员 主题:295 回帖:3

腾讯公司于2024年11月5日宣布开源其最新的MoE(Mixture of Experts,专家混合)大语言模型——Hunyuan-large。这一模型在业界引起了广泛关注,因为它拥有目前最大的参数规模,总参数量达到389B(即3890亿),激活参数为52B,训练token数量高达7T,最大上下文长度为256K。
Jietu20241105-155420@2x-750x536.jpg
Hunyuan-large模型采用了先进的MoE架构,这种架构能够有效管理计算成本,同时提升模型的处理能力。据报道,该模型在多个领域表现出色,包括自然语言处理、计算机视觉和科学任务等。此外,Hunyuan-large还支持高达256K的文本序列,使其在长文本任务中具有显著优势。

腾讯机器学习平台总监康战辉表示,MoE架构是未来发展的必然趋势,腾讯已经在这一领域进行了多年的探索和实践。此次开源不仅展示了腾讯在AI领域的技术实力,也为行业内的其他企业和开发者提供了宝贵的资源和参考。

此次发布的Hunyuan-large模型标志着腾讯在人工智能领域取得了重大进展,并且通过开源策略,进一步推动了AI技术的普及和应用。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|网站地图|乐科技

© 2021-2025 乐啊乐科技版权所有 ( 鄂ICP备2021015077号-2 ) 25 queries

Theme by 潘乐乐

领先的AI人工智能社区,AICG应用工具学习交流平台!

快速回复 返回顶部 返回列表