邓思懿

一、医学辅助诊断概述

随着医学影像设备的升级、人工智能技术的发展、智能识别算法与三维重建技术的进步以及数字诊疗技术的提升，智能化的医学辅助诊断起到了越来越重要的作用，从临床医疗辅助诊断、帮助临床阅片、识别组织器官病灶，到机器人手术系统、智能医疗决策系统的应用，临床健康情况评估，以及健康医疗、辅助病灶筛查，社区智能健康辅助检查、检测等等，具有广泛的应用场景。

医学影像分割与重建是计算机辅助诊断中的一项关键任务，其目的在于从像素级别准确识别出目标器官、组织或病变区域并还原其三维结构。它是其他辅助诊断的基础与“眼睛”，能够可视化、定位、提取目标结构与病灶，从而实现更深层的智能诊断分析。

二、人工智能分割

医学影像数据占临床数据的80%，充分挖掘医学影像信息将对临床智能诊断、智能决策以及疾病预防起到至关重要的作用。不同于自然场景下的图像，医学影像往往纹理复杂，同时受限于成像技术和成像设备，医学影像噪声大，边界模糊而不易判断。

医学成像

X-ray：X射线成像

Ultrasound：超声成像

Positron emissions tomography, PET：正电子发射断层扫描成像

Computed tomography, CT：计算机断层扫描成像

Magnetic Resonance Imaging, MRI：磁共振成像

医学影像成像设备及医学影像信息系统[1]

早期的医学影像分割系统主要基于传统的图像分割算法，如基于边缘检测的分割算法、基于阈值的分割算法和基于区域的分割算法，针对于特定结构也可采用基于图论、基于统计模型的分割算法等等。然而由于医学影像的模糊特性以及分割算法的局限性，一些结构复杂的区域仍依赖医生的专业先验知识进行人工标记。这不仅加大了医生的工作量，且泛化能力差，无法迁移到新的任务场景下。

近年来人工智能在计算机视觉和自然语言处理领域得到了广泛应用，相比传统的算法，基于卷积神经网络的AI深度学习智能算法能够通过不同的采样层自动提取图像的多尺度特征，且具有很好的可移植性，借助迁移学习能够快速地拓展到不同的任务场景下。

近年人工智能网络结构模型总览[2]

目前比较主流的网络框架有CNN、FCN、U-Net以及GAN等。其中U-Net结构被广泛应用于医学图像的分割。UNet网络基于编码器-解码器结构，并应用长距离跳跃连接结合来自底层的细节，有效弥补了因下采样操作过程中空间信息缺失，帮助网络恢复更加精确的定位，这对于医学图像分割这种对细节非常看重的密集型分割任务来说是至关重要的。此外自监督、对比学习、transformer、MLP等也是人工智能分割的热门研究方向。 

 

 

U-Net网络通过数据集与标签自动分割病灶区域

U-Net分割在肺、血管、细胞轮廓上的应用[3]

三、三维重建

医学三维重建技术涉及到医学影像学、计算机图像处理、生物医学工程等多项技术，相比于二维图像，三维重建模型可从多个角度整体观察。不仅有助于疾病诊断，也可为术前判断提供依据，从而确定手术方案，如病灶空间位置及手术路径的选择。

三维重建主要分为体绘制与面绘制两类。体绘制常用基于像素点的空间光线投影（Ray Casting）算法，从图像的每一个像素沿固定方向（通常是视线方向）发射一条光线，光线穿越整个图像序列，并在这个过程中，对图像序列进行采样获取颜色信息，同时依据光线吸收模型将颜色值进行累加，直至光线穿越整个图像序列，最后得到渲染图像的颜色值。体绘制采用直接取点、合成的方法绘制整个三维信息，获得信息完整的三维图像，但计算量庞大，绘制速度较慢。针对传统的光线投射算法所存在的问题，人们提出了不少优化方法，如光线提前终止、利用空间数据结构来跳过无用的体素，如八叉树、金字塔、k-d 树等。

体绘制原理示意图[4]

面绘制基于移动立方体（Marching Cubes）算法，MC算法提出了“体元”的概念，通过提取物体表面的等值面，并进行优化渲染而构建出三维模型，计算量小，绘制速度快，对计算机的配置要求也更低。

同一足踝结构分别使用面绘制与体绘制三维重建

四、“智慧之眼”能“看”到什么？

手术规划系统

在肿瘤、软骨损伤手术中对病灶区域的分割和重建能够显示病变位置、大小、范围以及与周围结构的位置关系；在脊柱外科手术中基于多模态分割重建出病患的脊椎结构，帮助确定椎弓根螺钉入钉点并模拟置钉通道，确定置钉位置、方向和深度，避免伤及重要神经和血管，显著降低手术风险、减少术中决策时间，提高手术成功率。

开源医学影像分析和可视化平台3D Slicer[5]

术前规划[6]

手术机器人系统

手术机器人的前置规划系统通过CT、MR等多模态医学图像还原出病灶附近的精确结构作为“地图”，通过发射和接收光学或电磁信号来确定靶目标的空间位置，同手术床上病人的解剖结构准确对应后，术中便可定位、跟踪、指引手术器械前往病变“目的地”，并在病人影像“地图”上以虚拟探针的形式实时更新显示，帮助规划手术路径和识别病变周围的重要解剖结构。良好的分割重建模型能降低手术风险和术后并发症、缩短手术时间等，减少手术创伤，提高手术精度。

手术机器人中的分割重建

医学影像数据平台

医学影像分析的主要目标是从中提取出图片的自身特征，而影像大数据平台应用计算机视觉、数据挖掘技术，对包括结构性和非结构性数据在内的影像大数据进行集成，实现集中管理和更好的资源配置，对医学影像进行深入分析、建模和评估，深入开发影像数据价值。

腾讯医疗健康的早期肺癌筛查AI系统

早期宫颈癌筛查AI系统[7]

 

由此产生了基于人工智能、自然语言理解等技术的智能临床辅助决策系统，

通过人工智能技术辅助医生进行疾病诊断，给出检查或治疗建议，不仅有利于降低误诊及漏诊率，减轻医生的负担，同时可用于医师计算机辅助手术培训和教育，具有很高的应用价值。

部分图片来源：

[1]《AI+医学影像应用全景扫描：除自动识别病灶，还支持放射治疗、手术路径规划》

[2]《大盘点 | 2020年5篇图像分割算法最佳综述》

[3]宁波材料所在医学影像分割和树状结构重建领域取得进展

[4]《可视化&图形学：光线投射算法原理、改进与实现》

[5][6] 3D Slicer image computing platform | 3D Slicer

[7] 腾讯医疗健康平台