预测不同动作的结果是自动驾驶中至关重要的一点。然而，现有的驾驶世界模型在泛化到未见环境方面仍然存在局限性，对于关键细节的预测精度和动作可控制性存在一定问题。在本文中，我们提出了Vista，一个具有高保真度和多功能的可扩展驾驶世界模型。通过系统地诊断现有方法，我们引入了几个关键要素来解决这些局限性。为了准确预测高分辨率下的实时动态，我们提出了两种新的损失来促进学习移动实例和结构信息...
推理能力对于大型语言模型（LLMs）至关重要，然而英语和非英语之间存在显著的差距。为了弥合这一差距，一些工作将LLMs微调以在非英语中重新学习推理能力，而另一些则用外部模型的输出（如英语翻译文本）替换非英语输入以绕过LLM理解非英语的挑战。然而，这些方法通常没有充分利用LLMs内置的推理和有用语言理解能力。为了更好地利用LLMs的推理和语言理解能力，我们提出了一个新的方法MindMerger，它将LLMs与...
超分辨率显微镜（或纳米显微镜）利用荧光基团的分子定位工具在完整细胞中研究纳米级分子结构，桥接了中尺度生物学方法与经典结构生物学方法之间的差距。通过人工智能（AI）分析超分辨率数据，如机器学习，在生物学发现方面具有巨大的潜力，而这些发现目前还不为人所知，缺乏真实数据。本文描述了将弱监督范式应用于超分辨率显微镜及其在促进亚细胞大分子和细胞器的纳米级结构生物学方面的发展潜力。Super-r...
模拟真实交通代理之间的互动对验证自动驾驶系统的安全性至关重要。现有的领导模拟器主要使用编码器-解码器结构来编码未来模拟的历史轨迹。然而，这种范式会复杂化模型架构，而手动分离历史和未来轨迹会导致数据利用率低下。为了应对这些挑战，我们提出了Behavior Generative Pre-trained Transformers（BehaviorGPT），一种仅使用解码器的自回归架构，旨在模拟多个代理的序列运动。至关重要的是，我们的方...
本文研究了在现实场景中具有部分可观测性的环境中，序列决策算法（如强化学习）的有效性。我们详细研究了Transformer在部分可观测的马尔可夫决策过程（POMDPs）中的效果，并揭示了其理论局限性。我们发现，像Transformer这样在可观测性上挣扎的模型，将平凡语言（即Transformer无法建模的语言）归结为POMDP。这给Transformer在学习和理解POMDP特定归纳偏置带来了重大挑战，因为它们在其他模型（如RNNs）中...
大语言模型（LLMs）在各种任务中表现出了出色的性能。然而，LLM的性能很大程度上取决于输入提示，这导致了许多关于提示优化的最近工作。然而，以前的工作通常需要数值评分来评估每个提示的质量。不幸的是，当人类用户与黑色盒LLM交互时，获得这种评分通常是难以实现和不可靠的。相反，通常来说，从人类用户那里获得偏好反馈要容易得多，即向用户展示来自一对提示的响应，并询问用户哪一个更喜欢。因此，在...
大语言模型（LLMs）已成为推动自动化和决策在各个领域的发展的关键，引发了一系列伦理问题。本研究对最先进的LLM进行全面比较分析，以评估其道德轮廓。我们对几种最先进的模型进行了伦理困境的选择，发现所有 proprietary 模型都是 mostly utilitarian，所有 open-weight 模型都 mostly 符合基于价值观的伦理。此外，当使用 Moral Foundations Questionnaire 时，我们调查的每个模型 – 除了Llama 2- ...
知识基础问题回答（KBQA）在需要领域知识的场景中得到了广泛应用。大型语言模型（LLMs）为KBQA带来了机会，但它们的成本更高，并且在预训练过程中缺乏领域特定知识。我们被激励将LLMs与知识图（KGM）上的小模型相结合，以提高推理准确性和降低成本。然而，由于准确性和成本不是直接相加的，优化仍然具有挑战性。此外，模型选择也是具有挑战性的，因为不同的模型在各种知识上表现出色。因此，我们提出了Coke...
序列决策领域，如推荐系统、医疗和教育，通常在人群中存在未观察到的异质性。这个异质性可以用潜在边界的框架来建模，该框架中未观察到的潜在状态决定了模型的轨迹。虽然潜在边界的框架很有吸引力，但它的普遍性尚不清楚。为了回答这个问题，我们首先建立了决策过程的De Finetti定理，并证明每个可交换和可理解的状态决策过程都是潜在边界的。潜在边界的框架特别适用于带有离线数据的学习，这也是序列决策...
训练数据归因（TDA）方法旨在量化单个训练数据点对模型预测的影响，并在数据集中具有广泛的应用，如标签检测、数据选择和版权补偿。然而，该领域现有方法，可以分为基于重新训练和基于梯度的方法，在计算效率和归因效果之间存在权衡。基于重新训练的方法可以准确地归因复杂非凸模型，但计算成本高昂，而基于梯度的方法效率高，但往往无法处理非凸模型。最近的研究表明，通过为基于梯度的方法添加多个独立训...