Adapting to the Low-Resource Double-Bind: Investigating Low-Compute Methods on Low-Resource African Languages

许多自然语言处理(NLP)任务使用了大量的预训练语言模型,这些模型计算代价很高。然而,获取高计算资源再加上非洲语言数据稀缺的问题,构成了对这些语言的研究工作的实际障碍。在本文中,我们将探索低计算资源双重绑定背景下,如语言适配器等低计算方法的适用性。我们旨在回答以下问题:语言适配器是否允许那些受到数据和计算双重限制的人Practically build useful models?通过优化非洲语言的实验,我们评...

read more..

Queer In AI: A Case Study in Community-Led Participatory AI

我们将”Queer in AI”作为社区驱动参与设计在人工智能领域的案例研究。我们检查了参与设计和交叉设计如何开始并塑造了这个社区的 program 的过程。我们讨论了过程中出现的不同的挑战,并审视了这家组织是否在 operationalizing 参与和交叉原则方面有所不足,然后评估了组织的影响。”Queer in AI” 为参与方法和理论的实践中者和理论家提供了重要的经验教训和洞察力,通过拒绝等级制...

read more..

Heuristic Search For Physics-Based Problems: Angry Birds in PDDL+

本论文研究了如何使用跨域规划器和组合搜索来玩著名的人工智能挑战问题——Angry Birds。为了建模游戏,我们使用了PDDL+,这是一种适用于离散和连续 domains的混合规划语言,支持定期过程和外部事件。论文描述了模型并确定了减少问题复杂度的关键设计决策。此外,我们提出了几个域特定的增强措施,包括启发式和类似于偏好操作的一种搜索技术。它们一起可以减轻组合搜索的复杂性。我们通过在Angry Birds级别上...

read more..

How Efficient Are Today’s Continual Learning Algorithms?

监督持续学习涉及从不断增长的标签数据流中更新深度神经网络(DNN)。尽管大多数工作都关注克服灾难性遗忘问题,但持续学习的一个重要动机是能够高效更新网络,而不是在训练数据随时间增长时从头开始重新训练。尽管最近的持续学习方法在很大程度上解决了灾难性遗忘问题,但几乎没有人关注这些算法的效率。在这里,我们研究最近用于增量班级学习的方法,并证明许多方法在计算、记忆和存储方面都是极其高效的。...

read more..

Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization

在机器学习和控制中,传统的优化方法在很大程度上依赖于第一阶更新规则。为特定任务选择正确的方法和超参数通常需要进行试错或从业者直觉的选择,推动了元学习领域的发展。我们提出了一个元学习框架,该框架的内循环优化步骤涉及解决一个可微的凸优化问题(DCO)。我们展示了这种方法的理论吸引力,通过展示它可以实现一类线性最小二乘问题的一步优化,只要元学习器足够接触到类似任务。 DCO更新规则的各种实...

read more..

Concise QBF Encodings for Games on a Grid

正确和高效地将2player游戏编码为QBF是一项挑战性且容易犯错误的任务。为了在gridboard游戏(如Tic-Tac-Toe、 Connect-4、Domineering、 Pursuer-Evader和突破)上 concise 和一致的编码,我们引入了Board-game Domain Definition Language (BDDL), inspired by the success of PDDL in the planning domain。我们提供了高效的BDDL到QBF的翻译,编码有限制深度的获胜策略的存在。我们的 lift 编码将牌位符号...

read more..