一般的人工智能系统，如OpenAI的GPT，依赖于大量的训练数据来提高模型的准确性和性能。通常缺乏训练数据和计算能力的研究或医疗人工智能应用可以利用新的模型来提高人工智能输出的效率、相关性和准确性，以适应更专业的场景。

大型预训练语言模型(PLMs)使用越来越大的数据集(如维基百科)来训练和优化机器学习(ML)模型以执行特定任务。虽然大型plm(如ChatGPT)的准确性和性能随着时间的推移有所提高，但大型plm在无法使用大型数据集或由于计算限制而无法使用大型数据集的情况下不能很好地工作。简而言之，需要一个新的人工智能解决方案来有效地利用机器学习在研究、医疗或其他应用中，在这些应用中，大量的信息无法充分训练现有的人工智能模型。

为了解决这个问题，新加坡科学技术与研究局(a *STAR)的一组计算机科学家最近设计了一种协作知识注入方法，该方法可以用较少的训练数据有效地训练机器学习模型。在这种情况下，研究人员创建了一个模型，可以根据Tweet的上下文、商业评论或其他语言数据，更准确地确定支持或反对特定目标(如产品或政治候选人)的立场或观点。

该团队在8月28日的《大数据挖掘与分析》杂志上发表了他们的研究。

“由于目标的多样性和注释数据的有限可用性，姿态检测本质上是一项低资源任务。尽管存在这些挑战，但姿态检测对于监控社交媒体、进行民意调查和告知治理策略至关重要，”A*STAR前沿人工智能研究中心(CFAR)的高级科学家、该论文的第一作者严明表示。“增强基于人工智能的低资源姿态检测方法对于确保这些工具在实际应用中有效和可靠至关重要。”

较小的训练数据集可以对人工智能预测模型的准确性产生深远的影响。例如，维基百科中的目标“违法”链接到犹大牧师的一首重金属歌曲，而不是该术语的真正定义:以非法方式行事。这种错误的训练数据会严重影响机器学习模型的性能。

为了提高依赖较小训练数据集的人工智能姿态检测的准确性，研究团队专注于协作模型机制，以:1)验证来自不同来源的知识;2)更有效地学习选择性特征。

“大多数人工智能系统依赖于使用大量预定义数据集开发的预训练模型，这些模型可能会过时，导致性能下降。我们提出的方法通过整合来自多个来源的经过验证的知识来解决这一挑战，确保模型保持相关性和有效性。”

“预训练的大型语言模型由于参数大，还需要大量带注释的数据进行训练。我们的方法引入了一个协作适配器，它包含了最少数量的可训练参数，提高了训练效率，提高了特征学习能力。”

该团队还通过分期优化算法瞄准了大型plm的优化效率。

为了测试他们的模型，研究人员在三个公开可用的位置检测数据集上进行了实验:VAST、P-Stance和COVID-19-Stance。然后将团队模型的性能与TAN、BERT、WS-BERT-Dual和其他AI模型的性能进行比较。

通过F1分数(ML模型的准确性)来衡量，研究团队针对低资源训练数据的新姿态检测模型的得分始终高于使用所有三种数据集的其他AI模型，F1分数在79.6%至86.91%之间。目前F1分数达到70%或更高被认为是好的。

新的姿态检测模型大大提高了人工智能在更专业的研究环境中的实用性，并为未来的额外优化提供了模板。“我们的主要重点是在低资源的实际应用中进行有效的学习。与专注于开发通用人工智能(AGI)模型的大型人工智能公司不同，我们的目标是创造更有效的人工智能方法，使公众和研究界都受益，”CFAR首席科学家、该论文的合著者乔伊·周天一说。

新加坡科学技术与研究局(A*STAR)前沿人工智能研究中心(CFAR)和高性能计算研究所(IHPC)的Ivor W. Tsang也为这项研究做出了贡献。

---

关于大数据挖掘和分析

《大数据挖掘与分析》(由清华大学出版社出版)通过挖掘和分析从各种应用中获得的大量数据，发现隐藏的模式、相关性、见解和知识。它解决了大数据研究及其应用中最具创新性的发展、研究问题和解决方案。《大数据挖掘与分析》收录于ESCI、EI、Scopus、DBLP Computer Science、Google Scholar、INSPEC、CSCD、DOAJ、CNKI等。

关于SciOpen

SciOpen是由清华大学出版社及其出版合作伙伴出版的科技内容开放获取资源。SciOpen提供端到端的服务，包括稿件提交、同行评审、内容托管、分析、身份管理和专家建议，以确保每个期刊的发展。通过数字化出版流程，SciOpen扩大了覆盖面，加深了影响，加速了思想的交流。