Cohere发布企业视觉模型Command A Vision

随着深度研究功能和其他AI驱动分析的兴起，越来越多的模型和服务致力于简化这一流程，并能读取企业实际使用的更多文档。

加拿大AI公司Cohere正依靠其模型，包括新发布的视觉模型，来证明深度研究功能也应该针对企业用例进行优化。

该公司发布了CommandAVision，这是一个专门针对企业用例的视觉模型，基于其CommandA模型构建。这个1120亿参数的模型能够"通过文档光学字符识别(OCR)和图像分析，从视觉数据中挖掘有价值的洞察，并做出高度准确的数据驱动决策"，该公司表示。

"无论是解读包含复杂图表的产品手册，还是分析现实场景照片进行风险检测，CommandAVision都能出色应对最具挑战性的企业视觉任务"，该公司在博客文章中说道。

这意味着CommandAVision能够读取和分析企业最常需要的图像类型：图表、图形、示意图、扫描文档和PDF。

由于基于CommandA的架构构建，CommandAVision只需要两个或更少的GPU，就像文本模型一样。该视觉模型还保留了CommandA的文本能力，能够读取图像上的文字并理解至少23种语言。Cohere表示，与其他模型不同，CommandAVision降低了企业的总体拥有成本，并且完全针对企业的检索用例进行了优化。

Cohere如何构建CommandA

Cohere表示，它采用了Llava架构来构建CommandA模型，包括视觉模型。这种架构将视觉特征转换为软视觉Token，可以分为不同的图块。

这些图块被传递到CommandA文本塔，"一个密集的1110亿参数文本大语言模型"，该公司说。"以这种方式，单个图像最多消耗3328个Token。"

Cohere表示，它分三个阶段训练视觉模型：视觉-语言对齐、监督微调(SFT)和带有人类反馈的强化学习后训练(RLHF)。

"这种方法使图像编码器特征能够映射到语言模型的嵌入空间"，该公司说。"相比之下，在SFT阶段，我们在多样化的指令跟随多模态任务集上同时训练视觉编码器、视觉适配器和语言模型。"

企业AI的可视化

基准测试显示，CommandAVision在性能上超越了其他具有类似视觉能力的模型。

Cohere在九项基准测试中将CommandAVision与OpenAI的GPT4.1、Meta的Llama4Maverick、Mistral的PixtralLarge和MistralMedium3进行了比较。该公司没有提及是否测试了针对Mistral专注于OCR的APIMistralOCR。

CommandAVision在ChartQA、OCRBench、AI2D和TextVQA等测试中得分超过其他模型。总体而言，CommandAVision的平均得分为83.1%，相比之下GPT4.1为78.6%，Llama4Maverick为80.5%，MistralMedium3为78.3%。

目前大多数大语言模型都是多模态的，意味着它们可以生成或理解照片或视频等视觉媒体。然而，企业通常使用更多图形化文档，如图表和PDF，因此从这些非结构化数据源中提取信息往往困难重重。

随着深度研究的兴起，引入能够读取、分析甚至下载非结构化数据的模型的重要性不断增长。

Cohere还表示，它正在开放权重系统中提供CommandAVision，希望那些希望摆脱封闭或专有模型的企业开始使用其产品。到目前为止，开发者们表现出了一定的兴趣。

Q&A

Q1：CommandAVision是什么？它有什么特殊能力？

A：CommandAVision是Cohere公司发布的1120亿参数企业级视觉模型，专门针对企业用例设计。它能够通过文档光学字符识别(OCR)和图像分析从视觉数据中挖掘有价值的洞察，读取和分析图表、图形、示意图、扫描文档和PDF等企业常用图像类型。

Q2：CommandAVision相比其他模型有什么优势？

A：CommandAVision只需要两个或更少的GPU就能运行，降低了企业的总体拥有成本。在基准测试中，它的平均得分达到83.1%，超过了GPT4.1的78.6%、Llama4Maverick的80.5%等竞争对手，并且支持至少23种语言。

Q3：CommandAVision采用了什么技术架构？

A：CommandAVision采用Llava架构构建，将视觉特征转换为软视觉Token并分为不同图块，然后传递到1110亿参数的文本大语言模型中处理。训练过程分为三个阶段：视觉-语言对齐、监督微调和带有人类反馈的强化学习后训练。