EgoTV: Egocentric Task Verification from Natural Language Task Descriptions
为了实现能够理解自然语言中指定的日常任务的主观代理,我们提出了一个基准和一个合成数据集,名为主观任务验证(Egocentric Task Verification, EgoTV)。EgoTV包含了多个子任务分解的多个步骤任务、状态变化、对象交互和子任务排序约束,此外它还抽象了任务描述,其中仅包含完成任务的一些 partial 细节。我们还提出了一种独特的神经符号grounding(NSG)方法,以启用这种任务的因果、时间和组成性推理。我们...