Decoder-only large language model (LLM)-based embedding models are beginning to outperform BERT or T5-based embedding models in general-purpose text embedding tasks, including dense vector-based retrieval. In this work, we introduce the NV-Embed model with a variety of architectural designs and training procedures to significantly enhance the performance of LLM as a versatil...
近年来，各种智能机器人开始在日常生活中和生产中出现。桌面级别的机器人以灵活的部署、快速的响应和适用于轻工作负载环境而闻名。为了满足当前社会对服务机器人技术的市场需求，本研究提出了使用微型桌面级别机器人（通过ROS）作为载体，在本地部署自然语言模型（NLP-BERT），并将视觉识别（CV-YOLO）和语音识别技术（ASR-Whisper）作为输入，实现桌面机器人自主决策和理性行动的研究。 为了验证机器人臂...
目的：本研究旨在开发从放射学图像中自动生成医疗诊断描述的自动文本生成技术，称为医疗病历摘要，以帮助医疗专业人员减少临床错误并提高工作效率。该目标是提供工具来提高报告质量和效率，这将对生物医学领域的临床实践和深度学习研究产生重大影响。方法：在参与ImageCLEF medical 2024 caption评估活动期间，我们使用先进的Transformer-based模型进行了 caption预测任务。我们开发了包括Transformer编码...
情感分析,一个在学术界和产业中越来越重要的领域,在机器学习应用中扮演着关键角色,特别是在社交媒体平台如Reddit上。然而,情感分析模型的有效性受到缺乏广泛和精细情感数据集的阻碍。为了填补这一空白,我们的研究利用了GoEmotions数据集,这是一个包含各种情感的多样性数据集,以评估情感分析方法在58,000条评论的庞大语料库中的性能。与谷歌团队之前的研究不同,他们的分析仅限于两个模型,而我们的研究扩展了...
针对大型基础模型的大规模后门攻击的一个关键挑战是资源限制。通常，后门攻击需要重新训练目标模型，这对于非常大的基础模型来说是不切实际的。现有的后门攻击主要针对监督分类器或小型基础模型（例如BERT）。然而，没有后门攻击能够成功地破坏一个非常大的基础模型，如Llama-3-70B，尤其是在计算资源有限的情况下。在本文中，我们提出了TrojFM，一种专为大型基础模型设计的后门攻击。我们的主要技术贡献是...
处理语言多样性的复杂性是发展健壮的自然语言处理系统的一个关键挑战，尤其是在像银行这样的专业领域。摩洛哥方言（Darija）作为共同语言，融合了文化复杂性、历史影响和区域差异。Darija的复杂性对语言模型来说是一组特别的挑战，因为它与受到法语、西班牙语和塔马齐特强烈影响的现代标准阿拉伯语有很大的不同，需要特定的方法来进行有效的沟通。为解决这些挑战，本文引入了 Darijabanking，一个旨在增强...
翻译：基于 BERT 算法的 AI 生成文本检测在各个领域越来越重要。在这项研究中，我们开发了一种基于 BERT 算法的有效 AI 生成文本检测模型，为解决相关问题提供了新的思想和方法。在数据预处理阶段，采取了一系列步骤处理文本，包括转换为小写、分词、去除停用词、词干提取、去除数字和消除冗余空格，以确保数据质量和准确性。通过将数据集按 60% 和 40% 的比例划分为训练集和测试集，并在训练过程中观察模...
标题党文章在互联网空间是一个普遍存在的问题。生成 spoilers 的方法之一是提供信息来满足由其引起的好奇心，从而中和点击量，这种方法是基于检索或问答方法的现代方法，并且只能生成以短语或段落形式出现的 spoilers。在本文中，我们提出了一个用于点击量党文章生成的集成模型。我们的方法不仅限于短语或段落 spoilers，而且还能生成指向文本多个非连续部分的多人 spoilers。实验评估证明，与基线相比，所...
主题建模是一种广泛用于分析和解构大型文档集合的方法。最近的研究努力将预训练的上下文化语言模型（如BERT嵌入）引入到主题建模中。然而，他们往往忽视了词之间相互依赖所传递的隐含信息。在这项研究中，我们引入了GINopic，一种基于图同构网络的主题建模框架，以捕捉词之间的相关性。通过在多样基准数据集上进行内（数量和质量）和外（如关系抽取）评估，我们证明了GINopic相对于现有主题模型的有效性，...
本文探讨自然语言处理（NLP）和金融分析之间的交叉点，重点关注情感分析在股票价格预测中的影响。我们采用BERTopic，一种先进的NLP技术，分析来自股票市场评论的主题的情感。我们的方法将情感分析与各种在时间序列和股票预测任务中表现卓越的深度学习模型相结合。通过全面的实验，我们证明了将主题情感融入这些模型 significantly提高了这些模型的性能。结果显示，股票市场评论的主题提供了关于股票市场波...