首页 > 网名大全 正文
〈qq名字英文cy〉qq名字英文女生?

时间:2023-04-12 19:59:46 阅读: 评论: 作者:佚名

作者:夕小瑶的卖萌屋(付奶茶,ZenMoore)

编辑:好困

【新智元导读】近日,自然语言处理顶会EMNLP公布了今年的论文获奖情况,包括最佳长论文(1 篇)、最佳短论文(1 篇)等。

在看获奖论文之前,我们先来思考人工智能中一个核心而底层的问题:什么是抽象以及它能够给我们带来什么?

我们这里说的「抽象」是一个认知学上的概念,著名学者 ChatGPT 说:「抽象是指不依赖于具体事物或实例,而是指抽取共同点或基本特征的思维过程。」

在人类智能中,抽象是一个很底层很基本的能力,在某种程度上,可以认为是人类智能的源头之一。

因为人在对主客观世界进行观察的过程中,抽象出了无数种概念(concept),对这些概念的模块化(modularity)、组合式(compositionality)的理解,很大程度上刺激了人类语言的诞生,从而最终导致了人类智能、人类文明的产生。

举个例子,万年前的「猴子们」观察了大量的物理对象(object)、实体(entity)以及他们之间的关系(relation)等,逐渐在脑子里面形成了「石头」、「家庭」、「在...之间」、「因果」等概念,经过很长一段时间之后,「猴子们」把这些存在脑海里面的概念用「字」和「词」表示了出来,这些蕴含着抽象概念的字和词经过复杂的、有规则的组合,形成了各种各样的语言,而语言能够表达、演绎、推理一切!就这样,人类智能诞生了~

在认知科学上,七巧板就是这个智能过程的一个简单的重现:七巧板的每个板板就是上面说的一个类似「概念」的存在,这些代表「概念」的板板模块经过组合,形成了多种多样的形状(shape),而人类如何理解这些形状,又如何理解这些板板,在某种程度上,就是某个人抽象能力的衡量。而抽象能力,就是人类进行推理(reasoning)以及泛化(generalization)的底层能力。

今天介绍的这篇文章荣获了EMNLP 2022 Best Long Paper,巧妙地借鉴了七巧板这个童年游戏,评估了当前多模态模型的抽象理解能力。可以说,至少在人类级别智能的评测上,推进了一步!

论文标题:Abstract Visual Reasoning with Tangram Shapes

论文链接:

数据集的构建

首先给大家展示一下童年回忆之七巧板:

一套七巧板由 7 个颜色各异的板板组成,可以根据想法自由组合成各种各种的形状。

这篇论文首先收集了 1004 个七巧板图像,又从七巧板的研究文献中找了另外12种将其扩充到了 1016 个,然后在 Amazon Mechanical Turk 平台上雇了 297 个数据标注员,花了两千多美刀让他们标注了这么两个任务:

  1. 七巧板整体形状的预测:这部分数据集叫做 FULL 「This shape as whole looks like ___」
  2. 部分预测:形容某个单独的部分是干啥的,因为细节标注比较密,所以把这部分数据集叫做 DENSE 「The part you selected looks like___」

作者还从 DENSE 里面挑出来一些标注不那么密的子集,叫做 DENSE10.

在这个数据集当中,包含了类人形状(比如舞者)、动物形状(比如狗狗)还有物体形状(比如房屋)等等。可以从下面两张图中大概了解长什么样儿~

「头」用七巧板可以怎么展现

数据集质量衡量

看了这些图,不难发现七巧板这个任务过于抽象,对人工数据集构建来说,这就导致了一个关键的问题:不同标注员之间存在较大的主观差异,「你说这是个鸟头,我却说那是个风中的美女头巾」(参考 Figure 1),这样数据集不就乱套了吗?好在作者给出了衡量这类数据集质量的三种指标:

  1. 形状命名差异(shape naming divergence,SND):用来衡量不同标注员进行不同七巧板图像的形状标注时的总体差异;
  2. 部分命名差异(part naming divergence PND):用来衡量不同标注员进行不同七巧板图像的局部标注时的总体差异,计算方式和 SND 大致相同;
  3. 分块分割一致性(part segmentation agreement,PSA):用来衡量不同标注员划分局部时的总体差异,也就是不同的人可能将不同的板板组合划分成某个部分。作者把这个看作是「使用最大权重匹配的线性和分配问题」,并使用成本矩阵计算(快去复习算法)。

总之这么衡量下来,数据集质量还是不错滴~ 符合真实分布~

具体的计算公式以及得到结论的细节,感兴趣的读者可以移步原文~

多模态模型有抽象能力吗?

作者把构建的数据集叫做 KILOGRAM,主要衡量了两类代表性多模态模型的视觉抽象能力:

  • 以 CLIP 为代表的双塔模型:视觉和语言模态采用不同的 encoder;
  • 以 ViLT 为代表的单塔模型:视觉和语言拼接成一长串输入,喂给同一个 encoder。

1. 任务形式化

给定一个文本描述 和对应的 张图像 , 这个任务是从这些图像当中选择和文本描述相匹配的那一张,

. 其中, 是指相似度。

因此总的来说,这就是一个简单的文图匹配(ITM, image-text matching)或分类任务。

2. 输入和输出

图像分成两种形式:作为整体的「BLACK」以及局部标注的「COLOR」

文本分成两种形式:作为整体的「WHOLE」以及局部标注的「PARTS」

然后还可以采用一些数据增强的手段:「AUG」

这样,不同的图像-文本形式组合就代表了不同粒度的抽象理解能力。

3. 模型训练

一共有两种主要的实验设定:

  • PT: 仅使用预训练模型,不精调,以 zero-shot 的方式在 KILOGRAM 上测试;
  • FT: 使用预训练模型,并使用对比训练在 KILOGRAM 精调并测试。

在精调的基础上,还可以进行上文提到的数据增强(AUG)

4. 实验结果

  1. 仅仅看 zero-shot ., PT)的表现,CLIP略优于ViLT;
  2. 添加局部信息并没有太大的作用,说明预训练模型并不能很好地推理文本和七巧板局部之间的关联;
  3. WHOLE+BLACK 上的 zero-shot 的实验表现说明,预训练模型并不能很好地将熟悉的概念泛化到抽象的形状当中去(它知道现实世界中狗狗是什么样子的,但是并不能将七巧板抽象狗和真实狗狗联系在一起);
  4. 精调可以大幅改进性能;
  5. 在精调设定下,在文本描述中添加局部信息可以提升性能,但是在七巧板图像中添加局部信息并没有用;当两者都提供时,改善很明显;
  6. 在精调设定下的实验结果与人工评测结果规律相似;
  7. 数据增强只对 CLIP 有用,但对 ViLT 没用;
  8. 在PARTS+COLOR条件下,ViLT的表现明显优于人类的平均表现。

一点碎碎念

本篇工作中将传统的童年玩具「七巧板」的概念与多模态模型巧妙关联,用模型理解文本与七巧板图案局部、整体之间的关联,来评估模型的视觉抽象能力。

七巧板作为童年益智启蒙玩具,是在人类在视觉认知上对图块与图案之间的分割、组合能力的体现,也正是本文开头提到的认知科学上智能过程中人类进行推理、泛化的底层能力。

作为Best Paper,本篇论文无论是从数据集的构建还是实验设计来看,都是非常创新且具备很高的研究价值的工作,也对模型能力在人类智能上的评估有很强的指导意义。

获奖名单

最佳长论文

论文链接:

最佳短论文


论文链接:

最佳长论文荣誉提名

论文链接:

最佳 Demo 论文

论文链接:

参考资料:

  • 评论列表

发表评论: