联合卷积神经网络和转换器的红外与可见光图像融合
摘要
为解决在红外与可见光图像融合领域中，卷积神经网络（CNN）无法建模源图像内部的全局语义相关性，对图像上下文信息利用不充分等问题，创新性地提出了一种联合CNN和转换器（Transformer）的图像融合模型。首先，为了弥补CNN无法建立长程依赖关系的缺陷，提出了联合CNN和Transformer的编码器，加强了对多个局部区域间相关性的特征提取，提高了模型对图像局部细节信息的提取能力。其次，提出了一种基于模态最大差异度的融合策略，强化融合过程中对源图像不同区域信息的自适应表达，提高了融合图像的对比度。最后，在TNO公开数据集上，联合多种对比算法对所提融合模型进行了实验验证。实验结果表明，在主观视觉效果和客观评价指标两方面的评估上，所提模型与现有融合方法相比都具有明显优势。此外，通过消融实验，分别对提出的联合编码器和融合策略进行了有效性分析，实验结果证明所提出的设计思想在红外可见光图像融合任务上是有效的。
引用本文（GB/T 7714）
杨阳 YANG Yang, 任振南 Ren Zhennan, 李北辰 Li Beichen. 联合卷积神经网络和转换器的红外与可见光图像融合[J]. Laser & Optoelectronics Progress, 2023.
引文网络
本站仅收录题录与摘要供学习参考，全文版权归属出版方；如有侵权请联系我们删除。