红外与可见光图像交互自注意力融合方法
摘要
针对现有红外与可见光图像融合方法仅仅依靠局部或全局特征表示，缺乏跨模态特征交互而造成融合性能低的问题，提出一种交互自注意力融合方法，利用Transformer对卷积神经网络提取的局部特征进行全局依赖关系建模，达到结合局部与全局关系的目的，提高特征表征能力。同时，构建了跨模态注意力交互模型，允许不同空间和独立通道之间以交互方式进行特征传递，以实现特征局部到全局的映射，从而增强两类图像的补充特性。在TNO、M3FD和Roadscene数据集上进行主客观实验，结果表明，与其他7种先进的融合方法相比，该方法在融合性能、模型泛化和计算效率方面都具有明显的优势，验证了方法的有效性和优越性。
引用本文（GB/T 7714）
杨帆 YANG Fan, 王志社 WANG Zhishe, 孙婧 SUN Jing, 等. 红外与可见光图像交互自注意力融合方法[J]. ACTA PHOTONICA SINICA, 2024.
引文网络
本站仅收录题录与摘要供学习参考，全文版权归属出版方；如有侵权请联系我们删除。