郑州大学学报(理学版)

2021, v.53(04) 83-88

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

多层语义对齐的跨模态检索方法研究
Research on Cross-modal Retrieval Method Based on Multi-layer Semantic Alignment

杜锦丰;王海荣;李明亮;梁焕;

摘要(Abstract):

为解决具有语义相关的文本、图像数据互检索问题,提出一种基于多层语义对齐的跨模态检索方法。采用跨模态多层网络来提取图像和文本特征,通过注意力机制计算特征向量间的关联度,对提取的特征进行实体和关系对齐。为增强语义约束,采用全局语义一致性策略从给定的文本数据提取语义标签,利用文本加权向量进行多标签预测,进一步为实体和关系对齐提供了全局语义约束。在Flickr30k和MSCOCO两个公开数据集上的实验结果验证了所提方法的有效性。

关键词(KeyWords): 跨模态检索;注意力机制;关系对齐;多标签预测

Abstract:

Keywords:

基金项目(Foundation): 宁夏自然科学基金项目(2020AAC03218);; 省部级前期培育项目(PY1906);; 北方民族大学重点科研项目(2019KJ26);北方民族大学研究生创新项目(YCX20081)

作者(Author): 杜锦丰;王海荣;李明亮;梁焕;

Email:

DOI: 10.13705/j.issn.1671-6841.2021170

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享