|
DeepSeek公司近日宣布推出了一项名为NSA（Native Sparse Attention）的新型稀疏注意力机制。这一技术旨在通过硬件对齐和本机可训练的稀疏注意力机制，实现超快速的长上下文训练和推理。NSA技术的核心优势在于其能够在保持高性能的同时，显著降低预训练成本，并且不牺牲性能。
NSA技术的主要特点包括动态分层稀疏策略、粗粒度token压缩和细粒度token选择。这些优化措施使得NSA在现代硬件上的表现更加高效，适用于各种基准测试、长上下文任务和基于指令的推理。在这些应用场景中，NSA的表现与完全注意力模型相当甚至更好。 DeepSeek创始人梁文锋在技术论文中详细介绍了NSA的工作原理和实验结果。他指出，NSA不仅在通用基准测试中表现出色，还在长上下文任务和基于指令的推理中展现了卓越的性能。这表明NSA技术在深度学习领域，特别是在处理长序列数据时，实现了性能与效率的双重突破。 DeepSeek的技术创新不仅限于NSA。公司还通过多种方法优化模型性能，例如使用8位精度代替32位精度，减少75%的内存需求；采用“多令牌”系统，一次处理整个短语；以及引入“专家系统”，通过激活特定专家模型来处理任务，从而提高处理速度和准确性。 DeepSeek的开源策略也是其技术优势的重要组成部分。公司公开了所有模型的权重和相关技术论文，使得任何组织和个人都可以在无许可限制的情况下使用这些技术。这种开放性不仅促进了技术的广泛应用，还降低了开发成本。 DeepSeek通过推出NSA技术，不仅在深度学习领域取得了重要进展，还为其他AI公司提供了新的技术路径。这一创新有望推动AI技术在多个领域的应用，进一步提升AI模型的性能和效率。 |
