腾讯公司于2024年11月5日宣布开源其最新的MoE(Mixture of Experts,专家混合)大语言模型——Hunyuan-large。这一模型在业界引起了广泛关注,因为它拥有目前最大的参数规模,总参数量达到389B(即3890亿),激活参数为52B,训练token数量高达7T,最大上下文长度为256K。
Hunyuan-large模型采用了先进的MoE架构,这种架构能够有效管理计算成本,同时提升模型的处理能力。据报道,该模型在多个领域表现出色,包括自然语言处理、计算机视觉和科学任务等。此外,Hunyuan-large还支持高达256K的文本序列,使其在长文本任务中具有显著优势。 腾讯机器学习平台总监康战辉表示,MoE架构是未来发展的必然趋势,腾讯已经在这一领域进行了多年的探索和实践。此次开源不仅展示了腾讯在AI领域的技术实力,也为行业内的其他企业和开发者提供了宝贵的资源和参考。 此次发布的Hunyuan-large模型标志着腾讯在人工智能领域取得了重大进展,并且通过开源策略,进一步推动了AI技术的普及和应用。 |