Jing Wang, et al. Title: Automated interpretation of congenital heart disease from multi-view echocardiograms. Medical Image Analysis 2021
先天性心脏病(CHD)是我国最常见的出生缺陷，也是新生儿死亡的主要原因。临床诊断可以基于以五个视图中选择包含2D关键信息的帧。受多视图数据可用性的限制，大多数方法只能依靠信息量不足的单视图进行分析。本研究提出采用实用的端对端框架自动分析多视图超声心动图。本次研究纳入了1308名受试者(包括正常对照组、室间隔缺损(VSD)患者和房间隔缺损(ASD)患者)的五视图超声心动图视频记录，其中包括疾病标签和标准视图关键帧标签。采用基于深度可分卷积的多通道网络，大大降低了网络参数。我们还通过增加正训练样本来处理不平衡类问题。我们的2D关键帧模型可以诊断CHD或阴性样本，准确率为95.4%；在阴性、VSD或ASD分类中，准确率为92.3%。为了进一步减轻真实世界中的关键帧选择工作得以实行，我们提出了一种自适应软注意方案来直接探索原始视频数据。系统地研究了四种神经聚合方法来融合视频中任意数量帧的信息。此外，在拥有视图检测模块的基础上，系统可以在没有视图记录的情况下进行工作。在采集的2D视频测试集中，基于视频的模型能够以93.9%(二分类)和92.1%(三分类)的准确率进行诊断，在测试中不需要选择关键帧以及视图标注等工作。提供了详细的消融研究 (ablation study)和可解释性分析。 该模型对于VSD和ASD具有较高的诊断率，有望在未来的临床实践中得到应用。短期自动化机器学习过程能够部分替代和促进基层医生的长期专业培训，提高我国先心病的初次诊断率，为儿童先心病的早期诊断和及时治疗奠定基础。
北京市儿童医院共收治儿童1308例，其中健康对照823例，VSD 209例，ASD 276例。每个患者都有1-5个视图的超声心动图视频记录，足以进行诊断(见表1)。此外，医生在每个视图的视频中选择单个高质量2D帧来构建2D超声心动图数据集。
表1 收集的患者样本的统计数据。VSD: 室间隔缺损；ASD：房间隔缺损。测试集由82名健康对照受试者、21名ASD受试者以及28名VSD受试者组成。
将患者置于仰卧位，暴露胸部以进行超声心动图检查。我们使用了飞利浦iE 33、iE Elite和EPIQ 7C(飞利浦电子荷兰B.V .)作为研究工具。传感器频率范围为3-8 MHz。根据心脏节段性入路，确定心脏位置、心房位置和心室位置，分析心房、心室和主动脉之间的连接关系。观察房间隔和室间隔是否有缺损，并观察有无空腔或肺静脉回流。采集了五个标准2D视图: 左心胸骨旁长轴视图(PSLAX)、主动脉胸骨旁短轴视图(PSSAX)、心尖四腔视图(A4C)、两心房剑突下长轴视图(SXLAX)和主动脉弓胸骨上长轴视图(SSLAX)。
所有患者的诊断均由至少两名资深超声医生或术中确认最终诊断。
每个视图的原始采集视频为三个心动周期。为了便于处理，我们还通过为每个视图随机裁剪一个0.8秒的剪辑来对子集进行采样。由于儿童的心动周期通常为0.5-0.6秒，因此0.8秒的片段通常只有一个完整的心动周期和一个关键帧。对于不同的患者和不同的视图，原始采集的视频数据集具有不同的视频长度。
实际上，在真实世界实行心动周期的标记是非常昂贵的。此外，将许多心动周期作为输入会产生多余的步骤。考虑到我们使用同一仪器进行采集，所有样本的时间分辨率都是一致的。最终数据集有两个版本，即原始视频和剪辑视频。我们利用剪辑后的版本进行基于视频的实验，而原始版本可支持更复杂的设置。
关键帧则由经验丰富的医生手动选择。我们选择等容舒张期作为心室完成收缩并开始舒张的关键帧，此时VSD和ASD的缺陷都可以清楚地显示出来。图1中的流程图可以显示关键帧选择过程，图2显示为不同视图的所选样本。
我们选择10%的患者以独立于患者的方式构建我们的固定检测集(即82名健康对照、21名ASD和28名VSD患者)。这意味着训练中使用的视频或关键帧不会包含在测试中。请注意，我们选择的所有测试患者都拥有所有五个视图的原始视频记录或选定的关键帧。
图1 关键帧选择流程图。我们以ASD患者的A4C视图为例。
图2 不同视图的关键帧选择结果。从左到右：A4C、PSLAX和SXLAX视图。自上而下：正常对照组、VSD病患者和ASD患者。
2. 图像预处理
视频中的每一帧或所选的关键帧都是带有彩色仪器标记的2D超声心动图，本质上是三通道RGB图像。我们首先将每帧图像处理成单通道灰度图像，然后对兴趣区域(ROI)进行裁剪以去除不相关的部分。因为所收集的超声波图像是圆形的扇区，某些标签无法通过矩形裁剪而去除，因此设计了一个蒙版来覆盖这些因素。这个步骤是非常有必要的，因为在我们的数据集中只有阳性样本才有心电图记录，而CNN可以根据这一线索轻松区分样本。为了与中枢神经系统的输入对齐，蒙版的兴趣区域被调整到128×128。预处理流程图如图3所示。我们对每张视图的图像使用相同的预处理，并按照固定的顺序连接这五张图像: 左心室的PSLAX、主动脉的PSSAX、A4C、两个心房的SXLAX和主动脉弓的SSLAX。请注意，在我们的2D超声心动图数据集中，每个视图只有一幅图像。
图3 数据预处理流程图
3. 基于关键帧的多视图超声心动图分析
