近日，我院柯涛、陶鹏杰团队在多模态遥感影像匹配技术方面取得连续进展，相关研究成果发表在计算机视觉与遥感领域国际顶刊《Information Fusion》和《International Journal of Applied Earth Observation and Geoinformation》上。这两项研究分别针对多模态遥感影像匹配的泛化能力较弱、精度偏低等问题，提出了新的解决方案，提高了影像匹配技术在复杂应用场景中的普适性与可靠性。我院博士研究生廖逸凡为第一作者，柯涛教授、陶鹏杰副教授为论文的共同通讯作者，合作单位包括湖北珞珈实验室、中国地质大学（武汉）、智慧地球重点实验室等。

在第一项研究中，提出了一种基于无调参数滤波和增强边缘简图特征的自适应多模态影像匹配框架（AMES）。该方法通过使用支持向量回归模型，根据影像内部统计特征自适应预测最优滤波参数，从而实现影像特征点的自适应提取。实验结果表明，该框架在多种跨模态组合的1055对影像匹配任务中实现了100%的正确匹配，匹配精度达到了2.46个像素，且匹配结果在覆盖完整度，分布均匀性等方面均优于现有方法。

图1 AMES的部分实验结果

在另一项研究中，针对多模态遥感影像的高精度配准问题，提出了一种基于重复特征优化的匹配精化框架。该框架通过去除细节纹理来增强影像的可重复结构特征，并基于广义梯度构建了辐射不变相似性函数，以改进最小二乘匹配方法，从而提升了多模态影像在复杂辐射和几何畸变条件下的匹配精度。综合验证表明，该方法在多种遥感影像数据上的平均匹配精度从3.96像素提升至1.97像素，并在光学影像与SAR影像的校正实验中实现了1.05像素的匹配精度，展示了良好的实用性与泛化能力。

图2 多模态影像匹配精化部分实验结果

这两项研究使得多模态影像匹配在泛化能力和精度方面得到了提高，为国产光学与SAR等多源卫星数据的高精度联合处理奠定了技术基础，并展现了在计算机视觉、医学等跨学科领域的应用潜力。

以上工作得到了国家自然科学基金、国家重点研发计划项目、智慧地球重点实验室基金项目、湖北珞珈实验室团队基金项目的支持。

相关论文信息：

1. Yifan Liao, Ke Xi, Huijin Fu, Lai Wei, Shuo Li, Qiang Xiong, Qi Chen, Pengjie Tao(*), Tao Ke(*). Refining multi-modal remote sensing image matching with repetitive feature optimization [J]. International Journal of Applied Earth Observation and Geoinformation, 2024, 134: 104186. https://doi.org/10.1016/j.jag.2024.104186.

2. Yifan Liao, Pengjie Tao(*), Qi Chen, Lei Wang, Tao Ke(*). Highly adaptive multi-modal image matching based on tuning-free filtering and enhanced sketch features [J]. Information Fusion, 2024, 112: 102599. https://doi.org/10.1016/j.inffus.2024.102599.