CVPR2022 Oral | AI常务理事“欣赏”音乐会，还get了推理技能

大多数公开题目类样本集（ActivityNet-QA, AVSD等）中会的歌声资讯举例来说与其动态普通人不转换，会激发严重的噪声（如背景古典音乐），这使得它们不足以揭示相同举例来说两者之间的关连性。此外，TVQA样本集虽然举例来说动态和歌声举例来说，但其歌声是由生命说话声组成的，在其题目对相结合更进一步中会也只使用了相应的中文字幕资讯，并不是真正的视音关连性桥段。

最终样本集举例来说了9,288个预告片并举例来说了22种打击乐器，其总时长超过150全程。并且以众包的基本形成了45,867个题目对，平均每个预告片约5个题目对，这些题目对仅限于了相同举例来说下的9类缺陷并不一定以及33个相同的缺陷巨集。非常丰富而典型有用的样本集对AVQA执行的分析兼具更为大的价值和意义。

△MUSIC-AVQA样本集蒂诺统计分析

为了化解上述 AVQA 执行，我们分别从自由空间和全局潜意识的取向启程，指出了一种自适应视音桥段下的自由空间-全局题目数学工具（如下图右图）。

△自适应视音桥段的自由空间-全局题目数学工具

首到时，歌声及其动态源的前面揭示了新媒体举例来说两者之间的自由空间关连性，这最大限度将有用的桥段分解为说明的新媒体关连性。因此我们指出了一个基于安全感机制的回音导向的自由空间子系统来模拟这种地区性举例来说的关连性。

其次，由于新媒体桥段随短时间自适应变化，因此猎取和突出与缺陷密切之外的关键短时间戳至关重要。因此，我们指出了使用缺陷构造作为查询的短时间基础子系统来探讨关键短时间图片，以有效率编码方式缺陷潜意识音频和动态的内嵌。

最后，融合上述自由空间潜意识和短时间潜意识的新媒体构造，得到题目的联合说明，以预测预告片关连性缺陷的究竟。

如下表右图，引入Audio和Visual举例来说资讯都最大限度数学工具耐用性的增加。

此外，能相对来说看到当联结歌声和动态举例来说时，AV+Q 数学工具的耐用性比A+Q和V+Q数学工具要好得多，这声称多感官潜意识最大限度增加题目执行的耐用性。

我们也能看到视音自由空间关连性子系统和全局关连性子系统都并能很相对来说地增加数学工具的耐用性，从而极佳地对桥段开展忽略。

下表则示范了一些最近的QA工具在我们的MUSIC-AVQA样本集上的结果。

结果首到时声称所有的AVQA工具都要好于VQA、AQA和VideoQA工具，这说明了多举例来说潜意识可以有益于AVQA执行。

其次我们的工具在大多数新媒体缺陷上拿到了更为大的进步，尤其是对于须要自由空间和全局解谜的新媒体缺陷更加为相对来说（如Temporal和Localization等）。

△与其他QA类工具对比

为了进一步说明了所提数学工具的持续性和可解释性，我们开展了一些图形学示范。其中会微力图说明回音的前面，微力图下方的表说明全局上的安全感分数。从图形学结果可以相对来说看出所提的数学工具在多举例来说新媒体桥段中会兼具极佳的忽略和解谜能力。

△图形学结果

大体上来说，本文揭示了如何反问有关相同动态普通人、歌声及其在预告片中会的关连性的缺陷，从而对自适应有用的视音桥段开展细粒度忽略和解谜。

原作者他的团队相结合了一个举例来说45,867个相同新媒体举例来说和多种缺陷并不一定题目对的大规模MUSIC-AVQA样本集，以及指出了一个单纯高效的视音全局-自由空间数学工具来极佳的化解AVQA缺陷。

我们坚信指出的MUSIC-AVQA样本集可以视作评估新媒体桥段细粒度忽略和幻境解谜的基准平台，同时也看来这项工作是揭示新媒体解谜的开端之作，为该应用首创了一个较佳的转折点，并借此借此并能坚持不懈更加多的分析者同我们一道去揭示这一应用。

本项分析由中会国人民所学校高瓴人脑的学院促成，与美国杜克大学所学校合作完成，通讯设备原作者为GeWu科学科学研究吉米助理教授，主要内容由GeWu科学科学研究博士生李光耀都由。

吉米老师于2019年获得西北工业所学校博士学位，师从李学龙教授，曾任搜狗分析院人脑分析员，于2020年8年末转至中会国人民所学校。吉米老师曾受中会国科协青年人师资托举扩建工程资助，曾荣膺2020年中会国人脑学会优博奖，荣膺中会国人民所学校“表扬历史学家”计划。

GeWu科学科学研究现阶段说明的分析正向主要仅限于多举例来说桥段忽略、多举例来说研习机制和地区性举例来说交互与生成等。

项目地址：

— 完 —

量子位 QbitAI · 头条新闻号签约