Gerhard Paul Diller, et al. Prediction of prognosis in patients with tetralogy of Fallot based on deep learning imaging analysis. Heart 2020
摘 要
目的：
评估机器学习算法在心脏磁共振（CMR）自动评估修复后法洛四联症(TOF)患者预后中的实用性。
方法：
作为全国性前瞻性研究的一部分，我们纳入了372例接受了CMR成像的TOF患者。检索CMR影像循环并进行基于自动深度学习(DL)的图像分析，基于独立的局部CMR数据进行训练，以得出心脏尺寸和功能的测量值。这一信息与已建立的临床参数和预后的心电图标志相结合。
结果：
平均中位随访期间为10年，其间23例患者出现了死亡/心跳停止或记录在案的室性心动过速(定义为>3次记录在案的连续室性心动过速)的终点事件。在单因素cox分析中，包括右心房中位面积(HR 1.11/cm²，p=0.003)和右心室长轴形变(HR 0.80/%，p=0.009)在内的各种DL参数成为预后的重要预测因素。DL参数与不良结局相关，与左、右心室射血分数和峰值摄氧量无关(所有p<0.05)。右心房面积扩大和右心室纵向功能下降的综合评分表明，ToF亚组出现不良结局的风险显著增加(HR 2.1/单位，p=0.007)。
结论：
我们介绍了在外部成像数据集上训练的机器学习算法的实用性数据，用于自动评估TOF患者的预后。由于分析过程自动化，这些基于二维数据的算法可作为ToF病患者劳力密集型手动获得成像参数的替代。
方法和结果
研究设计如图1所示。基于乳头肌水平的四腔长轴和短轴视图中的CMR影像循环，训练了五个DL网络用于在整个心动周期中自动识别和描绘心内膜边界。模型训练是使用在明斯特中心获得的42例TOF患者的本地匿名数据集进行的。为了进行分析，将影像循环转换为单独的图像文件，并下降图像分辨率采样为128×128灰度像素。在运行时应用以下图像增强方法来增加训练数据集的异质性:旋转(20%)、宽度和高度偏移(10%和5%)，以及剪切和缩放(最高10%和5%)。总共836对原始短轴图像和手动绘制的蒙版，以及1045个原始长轴图像和手动分割的蒙版，在训练期间作为U-Net算法的基础。用于训练的分割图由前三位作者制作，并由SO交叉核对。对于图像分割，在R上训练(Tensorflow V.1.8；keras包 V2.1.6；CUDA V.9.0.176)如之前的研究所述。U-Net体系结构是专门为医学图像分析而设计的，它基于一组卷积层，具有形成收缩路径的经校正的线性和最大池单元的卷积层，加上由来自收缩路径的特征的上卷积层和级联组成的对称扩展路径。这5个模型均采用英特尔i7和i9处理器以及英伟达Geforce 1070和2080Ti设置进行培训。对模型进行了70个时期的训练，每个模型的训练时间约为10小时，并保存模型权重以供进一步分析。如前所述，通过计算Dice系数(分辨率为128×128像素)来评估模型质量。心室收缩功能通过自动测定分数面积变化来进行量化，分数面积变化计算方式为最大(舒张)面积与最小(收缩)面积的比值除以最大面积。同样，通过取最大多边形长度和最小多边形长度之比除以最大多边形长度来计算形变。因此，与计算局部形变并进行整合以产生整体形变的其他情况不同，我们通过测量完全心脏收缩期和舒张期的整个心室大小来评估整体形变。有关详细讨论，请参阅在线附录。计算心室功能时，将跨度为0.3的局部加权散点图平滑应用于单次测量的数据点进行分析，平滑单次测量中的变化并减轻伪影和不充分分割的影响。所有关于DL参数的模型质量和预后价值的结果都是在外部全国性测试数据集中获得的。
描述性数据以中位值和四分位间距表示，分别代表第25和75个百分位数。分类变量分别以绝对数字和频率表示。组间比较分别采用Mann-Whitney U检验和χ2检验。在检验比例危险假设(通过评估缩放的Schoenfeld残差与存活时间之间的关系)后，使用单变量和双变量Cox比例危险存活模型研究了常规和基于DL的CMR参数与预后之间的关联。为了证明DL参数的预后价值，我们构建了一个模型，将c指数最高的基于DL的参数(根据R survival包中实施的survConcordance函数计算为一致性统计量)与所有其他基于逐步Cox分析独立预测的DL参数相结合。排除了来自相同心腔的相互相关参数，以避免模型中出现冗余。
讨 论
目前的研究表明，直接从医学图像中使用DL网络评估预后是可行的。通过使用一个根据本地数据训练的模型，应用于一个独立的全国性TOF患者队列，我们也证明了这种方法的外部有效性。我们认为，尽管需要进一步研究并为模型优化留有余地，但这种方法在TOF患者的终身治疗中确实提供了潜在的疗效收益，并且可以(接近)实时地集成到结合不同信息源的自动算法中。流行病学数据强调了ACHD在西方国家的流行率日益增加，患者人数每十年增加约60%。此外，目前由全科医生或普通心脏病专家在当地管理大多数ACHD患者的模式是不可取的。最近的研究表明，与社区管理的患者相比，在ACHD专业中心接受随访并根据当前建议接受治疗的ACHD患者的结果要更好。然而，专家中心的资源有限，在不培训和招募新专家或在评估患者的过程中大幅提高效率的情况下接纳大量新的ACHD患者可能是不可能的。我们最近报告了在ACHD患者中使用DL网络收集电子健康记录数据的可行性，以及对系统性RV患者的超声心动图序列进行自动分类和分割的可行性，这些方法在未来可能会很好地结合起来。直接评估纵向数据的能力可以改善和简化全方面的患者评估和预后咨询。未来，遗传信息和来自可穿戴设备的数据也将越来越多地用于临床咨询，并且需要纳入综合评估模型中。因此，在此过程中直接整合成像数据的能力可能很重要。TOF患者的风险分层模型包含多种参数，包括修复时的年龄、术前紫绀持续时间、既往房性心律失常、ECG上的QRS持续时间或紊乱、双心室功能障碍、右心房面积、RV肥大、左心室舒张末期压力升高和利钠肽。当前的研究强调了自动测量的右心房面积和双心室功能障碍对TOF患者的预后价值。这一发现与我们之前基于CMR的研究一致，也与先前证明右心房面积的预后价值的大型超声心动图研究的结果一致，来自两个机构的413例TOF患者的右心室分数面积变化和左心室纵向功能障碍。虽然左心室功能障碍作为不良预后标志物的作用在TOF患者中已得到很好的证实，最近基于CMR的研究也质疑容积参数对于TOF患者的风险预测和指导肺动脉瓣置换的核心作用。因此，基于心肌变形和面积变化的参数，与心室尺寸的标记物相结合，可能在未来代表更简单但效果仍然足够的常规容积评估替代法。 由于CMR时缺乏生物标记物测量，我们无法将脑钠肽水平纳入预后模型。然而，最近的研究强调了系列生物标志物评估在TOF和ACHD综合征患者中的预后价值，提示应将这些纳入综合风险模型。
据我们所知，这是首次提出DL网络可直接应用于原始成像数据以预测ACHD患者的预后。此外，我们为框架提供了外部验证数据。由于本研究直接纳入了DICOM格式，此处介绍的DL模型可以扩展到其他常规CMR数据集。与通过不同操作员进行的手动评估图像相反，该算法允许一致的心室分割，这可以减少观察者间的可变性，并有助于揭示心室扩张或收缩功能恶化的趋势。
尽管研究中包括了患者人数，且中位随访期较长，但事件数量仍然有限。然而，事件数量与评估CMR参数预后价值的其他研究相当，反映了这一当代TOF队列中接受及时修复的年轻患者。尽管事件数量有限，但本研究的效能足以证明完全自动确定的CMR参数与结果之间存在统计学关联。由于事件数量为23个，我们避免使用多元Cox分析，特别是因为本研究的目的是证明DL参数在预测预后方面的可行性和比较能力，而不是建立一个通用的临床风险预测模型。室性心律失常患者出现过非持续性室性心动过速。我们认为这种形式的室性心动过速不等同于死亡或中止性心脏停止。然而，在该队列中，它已被确定为猝死的一个风险因素，我们认为将其用作临床相关的结果标记物是合理的。此外，在我们的研究中，还特别针对死亡和中止性心脏性猝死，证实了DL模型中的标记物与结果之间的关联。在当前研究中，单个二维(2-D)帧用于心室分割。理论上，可使用三维(3-D)图像分析和网络(如3-D卷积网络)从CMR数据集获得完整容积评估，这应在进一步研究中尝试。与当前研究相比，这将需要更大的训练集，并且可能需要从基于无结构性心脏病个体的大数据集(如英国Biobank)中转移学习和数据。为了提供原理证明，我们将分析局限于二维数据集，从而降低了数据的复杂性。需要进行进一步研究，以评估DL衍生的容积测量在当代TOF患者风险预测中的潜在附加值。虽然右心房面积在当前研究中成为一个重要的预后参数，但未评估右心房容量。需要进一步研究以容量评估，以明确右心房面积是否优于简单的面积法。由于所开发的算法未能捕获心肌的心外膜面，为了避免因RV薄壁造成的测量不准确，我们在本研究中未评估径向形变。
