李栋研究组与合作者共同提出零样本通用显微图像AI处理方法

　　显微图像处理技术，包括图像超分辨、去噪等，可以在不增加活体成像实验成本的基础上提升图像质量，是推动生命科学研究的利器。然而RL解卷积等传统算法对光子噪声敏感，其性能很大程度上取决于超参数的主观设置；而深度学习方法则依赖大量低分辨率/信噪比-高分辨率/信噪比的显微图像数据对进行学习。但由于活体生物样本的高动态性、以及生物结构种类的多样性，为每种生物结构采集大量高质量的训练数据是不切实际的。这些因素严重阻碍了现有方法在日常生物实验中的使用。因此，研发一种适用于多种成像模态、无需格外训练数据的通用AI显微图像处理方法，将为脑科学、细胞生物学等基础研究的发展提供强大、可靠的工具支撑。

　　2024年5月16日，中国科学院生物物理研究所李栋团队联合清华大学自动化系戴琼海院士团队在《Nature Communications》杂志发表了题为"Zero-shot learning enables instant denoising and super-resolution in optical fluorescence microscopy"的研究论文，基于显微图像的噪声模型与零样本学习理论，提出了零样本通用显微图像处理框架ZS-DeconvNet，并开发了对应的一键式显微图像处理软件。ZS-DeconvNet能够使用少至单张低分辨率/信噪比图像、以无监督的方式进行训练，稳定地将显微图像的分辨率提高至衍射极限1.5倍以上，工作荧光强度比传统的超分辨成像条件降低10倍。

图1. ZS-DeconvNet框架及示例性处理效果

　　所提出ZS-DeconvNet具有四大特性：

（1）物理性：团队根据光子噪声模型、光学显微成像模型、与图像空间连续性设计了物理启发的自监督损失函数，能够在无需额外训练集的条件下同时学习去噪和超分辨能力。研究团队从理论上证明了所提出损失函数的收敛性。

（2）通用性：ZS-DecovNet能够处理包括全内反射显微成像、三维宽场显微成像、晶格光片显微成像、共聚焦显微成像在内的各种成像模式。特别地，基于结构光照明显微镜（SIM）图像重建噪声零期望特性的理论发现，团队将所提出的ZS-DecovNet方案扩展到SIM图像上，从而首次实现了SIM图像的噪声鲁棒深度学习超分辨模型的无监督训练。

（3）鲁棒性：ZS-DecovNet可以适应不同的生物成像环境，即使生物过程过于动态和光敏，无法获取高质量的显微图像。与传统基于迭代优化的解卷积方法相比，ZS-DeconvNet在所有信噪比条件下的定性和定量评估方面都有了实质性的改进，且数据通量高100多倍。

（4）易用性：团队为推广ZS-DecovNet的应用开发了集成训练与预测功能的一键式通用显微图像处理Fiji插件，以及对应的使用教程主页（https://tristazeng.github.io/ZS-DeconvNet-page/），即使非AI专家的生命科学研究人员也能轻松使用。

图2. ZS-DeconvNet增强的细胞有丝分裂过程三维超分辨观测

　　研究团队开展了丰富的活体生物实验，证明了 ZS-DeconvNet 的通用性，发现ZS-DeconvNet在多种成像模态的生物实验中均可展现出卓越性能，助力生命科学研究：

　　（1）以数千时间点的双色超分辨成像性能在内源性表达水平上分析再循环内体（Recycling Endosome）和晚期内体（Late Endosome）的快速动力学。

　　（2）在长达一小时以上的细胞粘附/迁移过程中，以高时空分辨率可视化细胞骨架动力学。

　　（3）对Hela细胞有丝分裂完整过程进行三维三色超分辨实时成像，揭示线粒体与内质网的三维相互作用以及核斑的时空演化规律。

　　（4）观察发育中的秀丽隐杆线虫和小鼠胚胎内部微管、线粒体等亚细胞结构的动态演化规律。

　　中国科学院生物物理研究所李栋研究员、清华大学自动化系戴琼海教授为论文的共同通讯作者，清华大学自动化系博士后乔畅、博士生曾昀敏、中国科学院生物物理研究所博士生孟权、北京航空航天大学副教授陈星晔（原清华大学自动化系博士后）为共同第一作者。该研究得到了国家自然科学基金委、科技部、中国博士后科学基金、清华大学"水木学者"计划的资助。

　　文章链接：https://www.nature.com/articles/s41467-024-48575-9

（供稿：李栋研究组）