Decoder-only large language model (LLM)-based embedding models are beginning to outperform BERT or T5-based embedding models in general-purpose text embedding tasks, including dense vector-based retrieval. In this work, we introduce the NV-Embed model with a variety of architectural designs and training procedures to significantly enhance the performance of LLM as a versatil...
本次研究的目的是教算法如何识别不同类型的音乐。用户将提交歌曲进行分析。由于算法之前没有听过这些歌曲，因此它需要决定每首歌的独特之处。它通过通过监督学习分解歌曲来学习节奏、旋律和音高，因为程序从已经标记的例子中学习。在分类音乐时，需要考虑的一个重要因素是音乐类型，这可能相当复杂。为了确保准确性，我们使用五种不同的算法，每个算法都独立工作，对歌曲进行分析。这有助于我们更全面地了...
大规模图在节点分类任务中的普遍性显著阻碍了图形神经网络（GNNs）在现实应用中的发展。节点抽样、图平滑和数据集收缩是提高数据效率的有效策略。然而，由于图节点之间的相互依赖关系，核心集选择，选择数据示例的子集，在大型图中加速GNN训练的效果尚未得到成功应用，需要特殊处理。本文研究了用于GNNs的图形核心集，通过基于其拓扑嵌入选择自顶图（即节点周围的子图）来避免相互依赖问题。我们将GNNs的核...
大语言模型（LLMs）通过在上下文学习中表现出色，得益于从大量注释示例中选择演示的质量。最近的工作声称，在文本分类任务中，上下文学习对嘈杂演示具有鲁棒性。在本文中，我们证明了，在文本生成任务中，嘈杂注释严重地削弱了在上下文学习中取得好成绩的效果。为了克服这个问题，我们提出了一个简单而有效的称为局部皮尔逊相关分数（LPR）的方法，它用更可能为干净示例的最近邻居替换了“嘈杂”的候选项。我...
动态链接预测（DLP）解决了在不断发展网络中预测未来链接的问题。然而，准确地描述DLP算法的性能提出了可能阻碍该领域进步的挑战。重要的是，通常的评估路径通常计算排名或二进制分类指标，其中观察到的交互（正面）得分与随机生成的得分（负面）进行比较。然而，单独一个指标不足以完全捕捉DLP算法之间的差异，并容易陷入过于乐观的性能评估。相反，深入的评估应该反映不同节点、边缘和时间段内的性能差异...
神经网络分类器的漏洞对其在关键应用领域的部署构成了一个主要障碍。在训练过程中对网络参数进行常规化可以提高对抗性鲁棒性和泛化性能。通常，网络是从端到端进行常规化的，所有层受到参数化。然而，在学习和表示是关键设置中，例如自监督学习（SSL），在推理过程中会丢弃层。为了这些模型，在特征空间上进行常规化更为合适。为此，我们提出了一个新的表示学习 spectral regularizer，它鼓励在下游分类任...
对比性语言-图像预训练（CLIP）作为一种在图像表示学习方面突出的方法，各种架构，从视觉Transformer（ViTs）到卷积网络（ResNets）都已通过CLIP进行训练，以作为解决各种视觉任务的通用解决方案。本文探讨了各种CLIP训练的视觉骨干之间的差异。尽管使用相同的训练数据和目标，我们发现这些架构具有显著不同的表示，不同数据集上的分类性能，以及对某些类型图像扰动的鲁棒性属性。我们的研究结果表明，通过...
本文提出了一种混合方法，将基于方法的关注无监督词汇分类方法与Dirichlet过程相结合。This paper presents a mixture version of the method-of-moment unsupervised lexicon classification by an incorporation of a Dirichlet process.https://arxiv.org/abs/2405.17116https://arxiv.org/pdf/2405.17116.pdf
捕获到的 hyperspectral image (HSI) 场景中缺乏足够的先验知识可能会导致专家或自动分类系统在分类过程中提供错误的标签或模糊的标签(即给每个训练样本分配一个候选标签,其中只有一个标签是有效的;这被称为部分标签学习)。因此,如何从具有模糊标签的数据中进行学习是一个具有实际意义的重大问题。在本文中,我们提出了一个新颖的超像素级低秩近似(LRA)基于部分标签学习的方法,即SLAP,它是第一个考虑HSI分类...
我们提出了一个新颖的合成多模态数据集SCaRL，以实现自动驾驶解决方案的训练和验证。多模态数据集在自动驾驶应用中至关重要，以实现自动驾驶系统的稳健性和高精度。由于基于深度学习的解决方案在物体检测、分类和跟踪任务中越来越普遍，对于自动驾驶来说，结合相机、激光雷达和雷达传感器的大数据集需求越来越大。然而，现有的自动驾驶数据集缺乏来自完整传感器套件的同步数据收集。SCaRL提供了来自红外的...