文档摘要：多模态检索领域中,基于Transformer的多模态模型因其强大的推理能力和高精度的检索效果而备受关注,该模型通常采用预训练和微调的方法进行训练.微调过程使用更大规模数据集可以提高检索精度,构建大规模有标注数据集需要耗费大量人力物力,因此本文提出了3个数据增强方法,即概念增强、EDA搭配回译、图文标签化来扩大数据集规模,从而提升多模态模型检索精度.实验结果表明,使用这3种方法和3种方法的组合对训练数据进行增强,3个多模态检索模型的图文检索精度均有所提升.
Abstract：Inthefieldofmultimodalretrieval,Transformerbasedmultimodalmodelshaveattractedmuchattentionduetotheirpowerfulreasoningabilityandhigh-precisionretrievalresults.Thesemodelsareusuallytrainedusingpretrainingandfine-tuningmethods.Thefine-tuningprocessusinglargerdatasetscanimproveretrievalaccuracy.Buildinglarge-scaleannotateddatasetsrequiresalotofmanpowerandmaterialresources.Therefore,weproposesthreedataaugmentationmethods,namelyconceptaugmentation,EDAcombinedwithbacktranslation,andimagetextlabeling,toexpandthesizeofthedatasetandimprovetheretrievalaccuracyofmultimodalmodels.Theexperimentalresultsshowthatusingthesethreemethodsandtheircombinationtoenhancethetrainingdata,theimageandtextretrievalaccuracyofthethreemultimodalretrievalmodelshasbeenimproved.
作者：吴强Author：WUQiang
作者单位：东华大学计算机科学与技术学院,上海201620
刊名：智能计算机与应用
Journal：IntelligentComputerandApplications
年，卷(期)：2024, 14(7)
分类号：TP399
关键词：多模态模型 数据增强 检索精度
Keywords：multimodalretrieval dataaugmentation retrievalaccuracy
机标分类号：TP391A849TP183
在线出版日期：2024年7月22日
基金项目：多模态检索数据增强方法研究[
期刊论文] 智能计算机与应用--2024, 14(7)吴强多模态检索领域中,基于Transformer的多模态模型因其强大的推理能力和高精度的检索效果而备受关注,该模型通常采用预训练和微调的方法进行训练.微调过程使用更大规模数据集可以提高检索精度,构建大规模有标注数据集需要...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
关键词：多模态模型,数据增强,检索精度,
|
|
1
