研究进展arXiv AI / CL
匹配任务与目标:编码器-解码器预训练语言模型的微调与提示调优策略

摘要
本研究提出匹配任务到目标(MTO)框架,通过将预训练目标与下游任务对齐,在少样本场景下性能提升超120%。该方法在生成和问答任务上显著优于传统方法,并扩展至提示调优,为软提示工程提供指导。
背景解释
提示学习已成为自然语言处理的主流范式,但如何选择预训练目标以适配具体任务仍是挑战。该研究通过自动化方法匹配任务与目标,显著提升少样本学习效果,为模型定制化提供实用指导,降低对大规模标注数据的依赖。
来源地区
Global
热度分
76
分类
研究进展
语言
en
