|
谷歌于2024年12月8日发布了全新的视觉语言模型PaliGemma 2，这一模型在图像理解和自然语言处理领域取得了显著进展。PaliGemma 2不仅能够准确识别图像中的物体，还能生成详细且与上下文相关的图片说明，涵盖动作、情感以及整体场景的叙述。
PaliGemma 2是PaliGemma的升级版，采用了强大的SigLIP图像编码器和Gemma 2文本解码器。该模型提供了三种规模的预训练模型，分别为3B、10B和28B参数，支持多种输入分辨率，包括224x224、448x448和896x896。这些特性使得PaliGemma 2在多个应用场景中表现出色，如社交媒体、视频理解、医学影像分析、化学结构识别和电商内容生成等。 PaliGemma 2的一个重要功能是情感识别能力。它不仅能识别图像中的物体和文字，还能识别人物的情绪状态，并生成详细且语境相关的描述。这一功能虽然引发了伦理和安全方面的担忧，但谷歌表示已进行了严格评估，并认为创新需考虑潜在后果。 PaliGemma 2的发布标志着谷歌在多模态AI领域的重大进展。该模型不仅提升了图像和文本的交互能力，还为开发者提供了灵活的微调选项，使其能够更好地适应不同的应用场景。谷歌还开放了模型的技术报告和学习资源，方便开发者进行深入研究和应用。 PaliGemma 2的推出进一步巩固了谷歌在AI领域的领先地位，展示了其在图像理解和自然语言处理技术上的创新能力。未来，随着技术的不断进步和应用场景的拓展，PaliGemma 2有望在更多领域发挥重要作用。 |
