首创像素空间推理,7B模型领先GPT-4o,让AI能像人一样眼脑并用
创始人
2025-06-09 18:12:59

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

视觉语言模型(VLM)正经历从「感知」到「认知」的关键跃迁。

当OpenAI的o3系列通过「图像思维」(Thinking with Images)让模型学会缩放、标记视觉区域时,我们看到了多模态交互的全新可能。

然而,当前主流VLM仍被困在「文本茧房」中——依赖文本token间接翻译视觉信息,在高清图像中的微小物体、视频里的动态细节等场景中,常常因缺乏直接视觉操作能力而「视而不见」。

来自滑铁卢大学、港科大、中科大的研究团队,首次将推理战场从文本空间拓展到像素空间,提出「像素空间推理」(Pixel-Space Reasoning)范式。

这项突破让VLM能像人类一样「眼脑并用」:通过原生视觉操作直接与视觉信息对话,在像素级精度上解锁视觉理解的新维度。

推理模式重构:从「文本中介」到「视觉原生」

传统VLM如同带着「文本滤镜」看世界:将图像翻译成文本token再推理,导致小字体、隐蔽物体等关键信息在转换中丢失。而「像素空间推理」赋予模型「视觉手术刀」般的能力

这种「眼脑协同」的推理模式,打破了文本对视觉语义的「翻译牢笼」,让模型真正具备了与人类视觉认知同构的推理能力。

学习陷阱破解:好奇心激励突破认知惰性困局

在能力迁移过程中,研究团队发现指令微调模型仍面临「认知惰性」带来的严峻挑战:成熟的文本推理能力与稚嫩的像素操作能力形成能力鸿沟,导致模型陷入「学习陷阱」:

1 负面反馈循环:初期视觉操作的低成功率引发大量负向信号,抑制模型使用新能力的意愿;2 路径依赖惯性:简单任务中模型更倾向调用已掌握的文本推理,形成「新能力退化」的恶性循环。

如同熟练的滑雪者初次尝试冲浪,初期的失衡体验会让人本能回归熟悉领域,而忽视新技能的长期价值。

为打破这一困境,研究团队设计了内在好奇心激励配合外在正确性激励的强化学习奖惩方案。通过引入内在激励鼓励模型练习视觉操作,并引导模型逐步挖掘「像素空间推理」的潜在价值,而非仅依赖外在的正确性奖励。这就像幼儿学步时,对新鲜动作的内在好奇会驱动其反复尝试,即使每次尝试都伴随着跌倒。

因此,研究团队形式化出下面的约束优化目标

其中包含两个关键约束用于有效激发「像素空间推理」

通过拉格朗日松弛等效转化为以下的奖励函数:

其中的内在好奇心激励(r_curiosity)会在模型低频触发「像素空间推理」时提供内在激励,如同为探索未知领域的冒险者提供「勇气加成」,降低尝试新能力的机会成本。同时,随着训练推进,好奇心奖励会动态衰减,确保模型最终聚焦于推理效率而非奖励投机,形成「好奇驱动」到「效用驱动」的良性过渡。

性能验证:7B 模型实现高效能突破

在四大视觉推理基准测试中,基于Qwen2.5-VL-7B构建的Pixel-Reasoner展现出碾压级表现:

值得注意的是,仅7B参数的Pixel-Reasoner,性能全面超越27B的Gemma3等开源模型,甚至媲美部分闭源商业模型,展现出「小模型大能力」的高效特性。

此外,研究团队也进行了细节的实验来分析模型「认知惰性」带来学习新推理能力的「学习陷阱」,为如何有效培养模型全新推理能力提供了深刻的启示。

研究团队指出,像素空间推理并非对文本推理的替代,而是为VLM开启了「第二思维通道」。当视觉与语言双轨并行,多模态模型才能真正理解世界的复杂性。

Pixel-Reasoner尚且是多模态推理范式的初步探索。从「看山是山」到「见微知著」,随着多模态推理能力的进一步发展,我们正迎来一个机器能「看得更细、想得更深」的智能时代。

论文地址:https://arxiv.org/pdf/2505.15966

项目主页:https://tiger-ai-lab.github.io/Pixel-Reasoner/

模型试玩:https://huggingface.co/spaces/TIGER-Lab/Pixel-Reasoner

相关内容

热门资讯

古代小说中的阵法真实存在吗 真... 古代阵法厉害吗,是很多人要的问题?下面趣历史小编就为大家带来详细解答。我们在一些古代小说中,经常可以...
三大军师六大猛将联合围剿是为了... 今天趣历史小编为大家带来了一篇关于三国的文章,欢迎阅读哦~三国时代名将众多,其中关羽等人排名比较靠前...
宋英宗不想做皇帝,却被架上皇位... 今天趣历史小编为大家带来了一篇关于宋英宗的文章,欢迎阅读哦~自古有机会竞争皇子的人无不垂涎皇位,但也...
古代攻城都用什么武器 除了投石... 今天趣历史小编就给大家带来古代攻城武器,希望能对大家有所帮助。熟悉中国古代战争的人都知道,攻城战是比...
刘备报仇伐吴,如果带上诸葛亮结... 今天趣历史小编为大家带来了一篇关于刘备的文章,欢迎阅读哦~话说《三国演义》,关羽被东吴所害,刘备痛哭...