近日，北京理工大学光电学院许廷发教授团队在医学大模型影像应用方面取得重要突破，提出了一种基于“对应提示（Corresponding Prompts）”引导的 Segment Anything Model（SAM）交互配准新框架PromptReg。该框架通过创新的提示反演引擎与边际化策略，实现了无须训练、非迭代的高精度医学图像配准。相关研究成果以“PromptReg: Interactive Registration by ‘Corresponding Prompts’ for Segment Anything Model (SAM)”为题，发表于国际图像处理领域顶级期刊 IEEE Transactions on Image Processing（T-IP，影响因子 13.7）。论文第一作者，2025年北京理工大学博士毕业生，现在英国伦敦大学学院（University College London，UCL）博士后研究员，通讯作者为北京理工大学许廷发教授与李佳男长聘教授 。

医学影像配准旨在将不同时间或不同个体的图像对齐到同一坐标系，是临床影像分析的核心环节 。传统基于强度的迭代算法和有监督学习模型往往面临计算成本高、依赖大规模标注数据或局部精度不足等瓶颈 。针对这些挑战，研究团队提出将配准任务重新定义为“在待配准图像中分割对应区域对（ROIs）”的问题 ，利用视觉基础模型 SAM 的跨域泛化能力，实现了由“稠密特征匹配”向“区域级逻辑推理”的范式转变 。

图1 PromptReg 框架流程图

如图 1 所示，PromptReg 框架由 SAM 基础推理架构与创新的反演提示引擎（Inverse Prompt Engine, IPE）组成 。反演提示引擎包含显式反演与隐式反演双重机制：隐式反演机制利用特征原型（Prototype）的雅可比矩阵（Jacobian）进行一阶泰勒展开，将给定提示反演至目标图像的提示空间 ；显式反演机制则通过最小二乘法估计特征空间到图像空间的变换，直接生成直观的正负点提示或掩码提示 。此外，团队引入了边际化策略（Marginalization），通过空间增强与多提示采样聚合，有效过滤随机特征噪声。

图2 多数据集医学图像配准性能（Dice↑与TRE↓）定量分析

图3 不同提示设置（数量与位置）在跨个体前列腺MRI及个体内病理图像配准中的定性分析

如图2，3所示，研究团队在 3D 前列腺 MR、3D 腹部 CT、3D 肺部 CT、2D 病理切片及 2D 遥感影像等五个跨领域数据集上进行了系统验证 。实验结果表明：PromptReg 在 Dice 指标和目标配准误差（TRE）上全面超越了经典的 NiftyReg 迭代算法及 VoxelMorph 等无监督模型 。即使不使用任何标注数据进行训练，PromptReg 的表现仍能与需要全分割标注的弱监督模型（如 LabelReg）相媲美 。该框架可灵活集成 SAM、MedSAM、SAMed 等多种变体，且在 13 类不同任务中均展现出极低的性能波动和极高的鲁棒性。

该研究突破了传统配准模型对特定领域训练数据的依赖，开创了视觉提示配准的新范式 。其“训练即用（Training-free）”与“交互式引导”的特性，使其不仅能处理通用的自动配准任务，更能通过临床医生的少量点击引导，实现对病灶区域的精准靶向对齐，为智慧医疗中的精准影像诊断与手术导航提供了强有力的技术支撑 。

文章链接：https://ieeexplore.ieee.org/abstract/document/11483297

附作者简介：

第一作者：黄诗淇，2025年于北京理工大学光电学院获得博士学位，师从许廷发教授，主要研究方向医学影像处理、交互式图像配准、视觉基础模型。目前为伦敦大学学院 (UCL) 医疗物理与生物医学工程系博士后研究员。在高水平期刊会议IEEE TPAMI、IEEE TMI、IEEE TIP，CVPR等发表论文10余篇，其中第一/通讯作者8篇，ESI高被引1篇。医学影像分析顶会MICCAI领域主席，MICCAI专题研讨会ASMUS程序委员会主席，IEEE ISBI Clinical Day特邀嘉宾。

通讯作者：李佳男，北京理工大学长聘副教授，博导，中国科协、北京市科协青年托举人才，连续三年入选全球前2%顶尖科学家（2022-2024），从事光电成像目标探测与感知研究。主持国自然面上、工信部高质量发展专项等项目10余项。以第一作者发表论文20篇（其中IEEE TPAMI 5篇，影响因子20.8）；以通讯作者发表论文80余篇；授权专利19项。谷歌学术总引用6500余次，3篇论文入选ESI热点/高被引，2篇一作论文单篇引用超千次。获得中国图象图形学学会自然科学二等奖（序1），自然资源科技进步、地理信息科技进步二等奖（序2），CSIG优博，王大珩光学奖等。指导学生获“反无人机跟踪”挑战赛全球冠军等奖项10余项。研究成果在“中国天眼”、川渝矿产监测等重大工程领域得到应用。

通讯作者：许廷发，北京理工大学责任教授/博导，英国皇家学会工艺院院士，光电成像技术与系统教育部重点实验室主任，北京理工大学重庆创新中心副主任。近年来带领其科研团队围绕光电成像探测与识别、计算成像和人工智能等领域不断深化研究。主持承担国家自然科学基金委重大科研仪器研制项目等50余项。在国际、国内等系列期刊发表学术论文400余篇，其中被SCI/EI收录120余篇。以第一发明人申请国家发明专利87项。获省部级科技进步二等奖等奖项6项。指导研究生获得中国图象图形学学会优秀博士学位论文，二人次获得王大珩高校学生光学奖，三人次获得全国光学与光学工程博士生学术联赛全国百强，获得中国高等教育博览会“校企合作 双百计划”典型案例和重庆英才创新创业示范团队等荣誉称号。