Decoder-only large language model (LLM)-based embedding models are beginning to outperform BERT or T5-based embedding models in general-purpose text embedding tasks, including dense vector-based retrieval. In this work, we introduce the NV-Embed model with a variety of architectural designs and training procedures to significantly enhance the performance of LLM as a versatil...
大规模图在节点分类任务中的普遍性显著阻碍了图形神经网络（GNNs）在现实应用中的发展。节点抽样、图平滑和数据集收缩是提高数据效率的有效策略。然而，由于图节点之间的相互依赖关系，核心集选择，选择数据示例的子集，在大型图中加速GNN训练的效果尚未得到成功应用，需要特殊处理。本文研究了用于GNNs的图形核心集，通过基于其拓扑嵌入选择自顶图（即节点周围的子图）来避免相互依赖问题。我们将GNNs的核...
转换器在算术任务上的表现似乎很大程度上源于它们无法跟踪每个数字在大量数字中的确切位置。我们通过为每个数字添加一个编码其相对数字开始位置的嵌入来解决这个问题。除了这些嵌入为自己提供的提升外，我们证明了这个修复方法使得架构修改（如输入注入和循环层）进一步改善性能。有了位置解决，我们可以研究 transformer 的逻辑扩展能力。它们能否解决比训练数据中更大的和更复杂的算术问题？我们发现在仅...
自然语言处理(NLP)在教育评估领域正在快速发展。在本文中，我描述了一种基于NLP的程序，可以支持专家在确定项目规范和内容标准之间建立交叉路线。本文通过提出并演示使用基于嵌入向量的多变量相似性来支持句子或文本的多维相似性。特别，展示了建立每个内容标准与多个项目规范的匹配的混合回归程序。该程序用于评估第四年级Common Core State Standards（CCSS）与2026年国家教育进展评估（NAEP）相应项目规...
最小最大车辆路由问题（min-max VRP）通过为几个路线分配多个路径，旨在最小化最长的路线长度。最近，基于强化学习（RL）的序列规划方法在解决效率和最优性方面表现出优势。然而，这些方法未能充分利用问题特定的性质进行学习表示，导致用于解码最优路线的特性效果较低。本文将min-max VRP的序列规划过程视为两个耦合的优化任务：不同路线的客户分割和每个路线的客户导航（即分割和导航）。为了有效地处理m...
代表连续时间图的节点在低维潜在空间中的表示具有广泛的应用，从预测到可视化。然而，通过时间戳交互分析连续时间关系数据引入了独特的挑战，因为其稀疏性。仅仅将节点嵌入到潜在空间中忽略了这种稀疏性，强调了在潜在位置周围的不确定性量化。在本文中，我们提出了TGNE（时间图神经网络嵌入），一种创新的方法，连接了两篇不同文献的两个不同领域：通过潜在空间模型（LSM）对网络进行统计分析（Hoff2002）...
跨语言情感检测允许我们在大规模上分析全球趋势、公众观点和社会现象。我们参与了跨语言情感检测（EXALT）共享任务，在情感检测子任务评估集中，F1得分达到了0.6046。我们的系统在基线之上超过了0.16 F1-score绝对，排名第二。我们还对基于大型语言模型（LLM）的模型以及基于嵌入的生物循环神经网络（BiLSTM）和非LLM技术进行了实验。此外，我们还引入了两种新颖的方法：多迭代代理工作流程和多二进制分类...
受到软件行业在针对特定用户群体或使用案例提供不同版本或版本产品的方法启发，我们提出了一个新任务：无训练的文本到图像模型。具体来说，我们的目标是创建一个基于原始文本到图像模型的变体，而不需要重新训练，使模型能够满足不同用户群体或提供独特的功能和功能。为了实现这一目标，我们提出了一种将给定文本到图像模型的不同版本表述为其在文本编码器的潜在空间中的概念子空间的方法。在这样的概念子...
知识图（KGs）是公司的一大优势，因为它们在数据表示方面的灵活性以及众多应用，例如词汇共享、问答或推荐系统。要建立一个KG，通常会依赖自动方法从各种异质来源中提取知识。但在一个嘈杂和不确定的世界中，知识可能不可靠，数据源之间可能会发生冲突。整合不可靠的数据会直接影响KG的使用，因此这些冲突必须得到解决。通过手动选择最佳数据进行整合，第一种方法非常准确，但成本高且耗时。这就是为什么最...
基于共同说话的三维手势在虚拟角色动画中取得了巨大的进展。然而，由于缺乏3D语音手势数据，现有方法通常会产生僵硬和不合理的动作，这是由于3D语音手势数据的有限性。在本文中，我们提出了一种名为CoCoGesture的新框架，可以从未见过的语音提示中生成生动和多样化的手势。我们的关键见解是基于自定义设计的预训练范式。在预训练阶段，我们的目标是学习丰富的后验姿态表示，因此我们通过学习大量的后验姿态...