文摘
客观的评估性能的深入学习系统(DLS)分类的严重性视神经乳头水肿与颅内压增加有关标准视网膜眼底照片。
方法DLS是训练有素的自动分类视神经乳头水肿严重程度在965名患者(2103瞳孔放大的眼底照片),代表一个民族的确诊患者颅内压升高。培训了1052照片轻/中度视神经乳头水肿(MP)和1051张照片严重视神经乳头水肿(SP)分类由一个专家小组。DLS的性能和3独立neuro-ophthalmologists测试111名患者(214照片,92议员和122 SP)通过计算接受者操作特征曲线下的面积(AUC)、精度、灵敏度和特异188金宝慱官网下载性。Kappa协议之间的分数DLS和每一个3年级和三年级学生。
结果DLS成功歧视议员的照片与SP之间的AUC 0.93(95%可信区间[CI] 0.89 - -0.96)和准确性,敏感性,特异性为87.9%,91.8%,和86.2%,分别。这种性能相当与3 neuro-ophthalmologists(84.1%、91.8%和73.9%,p= 0.19,p= 1,p分别为= 0.09)。DLS主要是观察到的错误分类的温和的视神经乳头水肿(Frisen等级3)。协议之间的分数DLS neuro-ophthalmologists的评价为0.62 (95% CI 0.57 - -0.68),而3 neuro-ophthalmologists之间的中间级协议0.54 (95% CI 0.47 - -0.62)。
结论我们的DLS准确分类视神经乳头水肿严重程度的一组独立的瞳孔放大的眼底照片,实现性能与独立neuro-ophthalmologists可比。
证据的分类本研究二类提供证据证明DLS使用瞳孔放大的视网膜眼底照片准确分类的严重性视神经乳头水肿患者诊断为颅内压力增加有关。
术语表
- AUC=
- 接受者操作特征曲线下的面积;
- 盆景=
- 大脑和视神经与人工智能的研究;
- CI=
- 置信区间;
- DLS=
- 深入学习系统;
- 海湾合作委员会=
- 神经节细胞复杂;
- ICP=
- 颅内压;
- 颅内高压症=
- 特发性颅内高血压;
- 10月=
- 光学相干断层扫描
视神经乳头水肿,定义为视神经头部肿胀与颅内高血压的任何原因,可能导致永久性视力丧失。1,2视神经乳头水肿严重程度的表现是最重要的预后因子后续的视觉结果。3,- - - - - -,9严重视神经乳头水肿患者可能进步视力丧失和视野收缩由于视网膜神经纤维损失,因此需要更密切的监管和更多侵入性治疗,而那些温和的视神经乳头水肿和视神经萎缩通常有良好的视觉效果。5,8,9然而,视神经乳头水肿严重程度的评价,基于五年级修改Frisen规模分类主要用于临床试验(1是非常温和的视神经乳头水肿5非常严重视神经乳头水肿),10很难应用和高可变性。10,- - - - - -,14因此,神经学家,尤其是在执行检眼镜检查没有信心,15通常依赖于眼科医生确定视神经乳头水肿的严重程度。16,17眼底摄影是现在越来越多地用于各种临床检查的目的,18,19人工智能,可以增强与深度学习自动化图像判读的技术。20.,21最近,大脑和视神经和人工智能研究(盆栽)深学习系统(DLS)22展示了从正常和其他异常准确地辨别视神经乳头水肿在眼底视神经盘照片,neuro-ophthalmologists性能与专家。23
当前研究的目的是开发、训练和测试一个新的DLS自动视神经乳头水肿的严重程度进行分类和比较的性能3 neuro-ophthalmologists DLS的分类性能。
方法
这项研究中,由盆景财团,22包括来自14个国家的调查人员和病人。
我们的主要研究问题,旨在提供一个二级水平的证据,是以下几点:(1)是能够识别的DLS轻度至中度严重视神经乳头水肿的瞳孔放大的眼底照片吗?(2)DLS的性能在眼底视神经乳头水肿的严重程度分类的照片可比neuro-ophthalmologists吗?
标准协议的审批、登记和病人同意
这项研究是集中的机构审查委员会批准SingHealth,新加坡,和每个机构贡献任何使用人体实验,并进行了符合赫尔辛基宣言。知情同意免除被回顾研究的性质和消除识别信息的使用眼眼底照片。
包含/排除标准
研究包括一成不变的,去除了识别信息的数字眼眼底照片获得证实患者颅内高血压和视神经乳头水肿从19 neuro-ophthalmology中心参与盆景财团。22底部照片,在各领域的观点(20°-45°)包括视神经盘,得到瞳孔扩张后,使用15个不同的相机,瞳孔放大的或nonmydriatic,根据中心(表1)。
每个参与中心的专家提供的照片证实患者视神经乳头水肿(以前公布的标准22)。颅内高血压确认每个病人的大脑成像质量(例如,显示颅内或静脉窦血栓形成)或升高CSF开启压力和后续访问。视神经乳头水肿被诊断出只有在视神经盘肿胀有关证实引起颅内压(ICP)。患者诊断为特发性颅内高血压符合修改后的花花公子的标准。24
眼底照片被分成2代表连续的和方便的样本数据集。训练数据集,用于训练DLS视神经乳头水肿的严重程度进行分类,由视神经乳头水肿的图片以前包含在训练的第一个盆景研究。22测试数据集是通过随机选择222年4参与中心的图像相同的研究,独立于训练数据集,为了DLS训练后的性能测试,测试3独立neuro-ophthalmologists与DLS进行比较。
两位专家(V.B.,N。J。N。) independently reviewed all fundus photographs of the training (2,524 photographs) and testing (222 photographs) datasets, and classified papilledema severity according to a simple 2-grade classification (see below). Classification by the experts was performed under standard conditions on a computer screen (LG-34WK650, 100% brightness, 80% contrast) using semi-automated software developed by L.M. and R.P.N.25;严重程度分数自动列入Excel电子表格。2专家之间的不整合,分类被2额外neuro-ophthalmologists (D.M.裁决、简历),达成共识是获得所有的图片,作为参考标准。只包括活跃的视神经乳头水肿患者,和视神经盘萎缩性视神经乳头水肿(定义为明确萎缩没有活跃的肿胀)被排除在研究(394/2,524[15.6%]照片排除在训练数据集和测试数据集)8/222 (3.6%)。眼底的照片质量不足也被排除(27/2,524训练数据集(1.1%),没有在测试数据集)。总共有2103年和214年眼底照片包含在训练和测试数据集,分别为(图1)。
视神经乳头水肿严重程度分类
我们创建了一个简单的二级视神经乳头水肿严重程度分类(图2):(1)轻度至中度视神经乳头水肿,对应Frisen等级1 - 3,定义为盘水肿无遮蔽的主要血管(动脉和静脉)盘;(2)严重视神经乳头水肿,Frisen成绩4和5,定义为盘水肿与任何遮蔽的主要血管(动脉和静脉)阀瓣。出血和渗出液的存在不影响分类,和视神经盘萎缩性视神经乳头水肿被排除在研究之外。
研究人群
深入学习系统
深入学习是机器学习的技术,由多层的卷积神经网络学习的能力形象特征和分类图像不使用手工的特性。20.在大型数据集dls需要训练,随后的分类性能评估的一部分训练数据集(验证)或一个独立的外部数据集(测试集)。26
在我们的研究中,分割的DLS由网络和网络分类。首先,视神经盘是自动位于分割网络(U-Net眼底照片27BONSAI-DLS)如前所述。22基于U-Net分割网络,27这是广泛用于生物医学图像分割任务。U-Net被训练来定位视神经盘地区基于6370眼底图像像素级的面具带注释的。训练U-Net被应用于测试完整的眼底图像自动生成视神经盘区域,这是进一步用作分类网络的输入。
然后,分类网络分类视神经盘为1的2类:轻度至中度或严重视神经乳头水肿(分类网络,VGGNet28)。分类网络是基于卷积神经网络。在最后卷积层VGGNet 2致密层添加了一层SoftMax获得双阶级输出。分类网络初始化使用重量pretrained ImageNet29日和调整在一个端到端的方式来达到最优性能。分类网络训练2103眼底照片(训练集)自动分类视神经乳头水肿严重程度成2类定义为参考标准(轻度至中度和严重视神经乳头水肿)。网络权值更新迭代输出信号之间的差异的基础上DLS和严重程度的临床参考标准水平使用反向传播算法。30.训练有素的分割网络和分类网络测试在214年另一个图像从外部测试数据集得到预测结果。报告为这个模型性能特征,接受者操作特征曲线下的面积(AUC)、准确性、敏感性和特异性进行了计算。诊断提供了包括在眼睛水平为每个图像。
测试3与DLS独立Neuro-ophthalmologists比较
为了比较的性能DLS neuro-ophthalmologists的分类性能,我们测试了3独立neuro-ophthalmologists轮,J.L.L.,表面张力) who were asked to independently classify the papilledema severity into one of the 2 previously described classes, after a brief training session. The testing was performed on the same 214 images from the testing dataset used for the DLS. For this purpose, images were presented to the 3 neuro-ophthalmologists on the same individual computer screen (LG-34WK650, 100% brightness, 80% contrast), using the semiautomated software described above.25neuro-ophthalmologists被蒙面的患者的临床资料和分类交办的其他评价者和DLS。用于比较和统计分析中,我们使用一个年级的大多数协议,定义为严重程度分类报道的至少2 3参与neuro-ophthalmologists,为每个图像。
统计分析
DLS的性能特征,通过计算评价了3 neuro-ophthalmologists AUC,敏感性,特异性和准确性在外部测试数据集。
与Bonferroni调整成对McNemar检验法测试是用来比较的精度,敏感性,特异性和DLS之间每个neuro-ophthalmologist和DLS和多数3 neuro-ophthalmologists之间的协议。
科恩kappa协议分数用于对比的DLS,每个3 neuro-ophthalmologists和DLS和多数3 neuro-ophthalmologists和弗莱斯kappa评分之间的协议31日用于中间级3 neuro-ophthalmologists之间的协议分析。Kappa协议分数解释根据以前公布的规模(0 - 0.20:没有协议,0.21 - -0.39:最小;0.40 - -0.59:弱;0.60 - -0.79:温和;0.80 - -0.90:强劲;> 0.90:近乎完美)。32
一个p被认为具有统计显著性值小于0.05。
数据可用性
匿名数据共享的合理请求从任何合格的调查员。
结果
病人和图像特征
最后的训练数据集包括965例患者(代表1777眼和2103张图片);397例(731眼)有轻度至中度视神经乳头水肿,有431(772眼)严重视神经乳头水肿,和137(274眼)有轻度至中度视神经乳头水肿在一只眼睛,另一只眼睛严重视神经乳头水肿。其中965名患者,822例(85%)有视神经乳头水肿由于特发性颅内高血压(IIH)和143年(15%)出现继发性颅内高血压脑静脉窦血栓形成、脑膜炎、或脑瘤。病人的人口统计数据和图像特征描述表3。
测试数据集包括111例(代表214眼或图像),其中40(7188金宝慱官网下载7眼或图像)有轻度至中度视神经乳头水肿,56或图像(107眼)严重视神经乳头水肿,和15(30眼睛或图像)有轻度至中度视神经乳头水肿在一只眼睛,另一只眼睛严重视神经乳头水肿。七十五名患者(68%)有视神经乳头水肿从颅内高压症剩下的次要原因。
DLS和Neuro-ophthalmologists视神经乳头水肿严重程度分类
测试数据集,DLS成功地从轻度至中度歧视严重视神经乳头水肿的AUC 0.93(95%可信区间[CI] 0.89 - -0.96),准确率87.9% (95% CI 82.7% - -91.9%),灵敏度为91.8% (95% CI 86.9% - -96.7%),和一个特异性的82.6% (95% CI 74.9% - -90.4%) (图3和图4)。DLS 26中图像被误诊,16例轻度至中度的视神经乳头水肿并被错误地归类为严重;14这些16(87.5%)的照片,视神经乳头水肿Frisen三年级,其中2 Frisen 2级;10的图像严重视神经乳头水肿并被错误地归类为轻度至中度,所有Frisen 4级以最小的船掩星盘或出血和药棉点盘(eFigures 1和2,数据可以从森林女神,doi.org/10.5061/dryad.66t1g1k1x)。3的能力独立neuro-ophthalmologists歧视从轻度至中度严重视神经乳头水肿与DLS,绝大多数的精度协议neuro-ophthalmologists中84.1%(95%可信区间78.5% - -88.7%,p= 0.19),灵敏度为91.8% (95% CI 86.9% - -96.7%,p= 1),特异性为73.9%(95%可信区间64.9% - -82.9%,p= 0.09)(图3和图4)。
ROC曲线代表的性能DLS 3 neuro-ophthalmology年级学生,绝大多数共识3 neuro-ophthalmologists(至少2年级时获得同意年级)在歧视严重视神经乳头水肿(SP)从轻微到中度视神经乳头水肿(MP)在214年眼底照片(92像素和122 SP)。DLS(蓝色点)的最优性能计算Youden指数之间的最佳截止敏感性和特异性。
比较的性能(DLS的准确性、敏感性、特异性),(A)每个年级和(B)的详细性能多数协议的性能在3年级学生歧视严重视神经乳头水肿(SP)从轻微到中度视神经乳头水肿(MP)在214年眼底照片(92像素和122 SP)。统计学意义的人类年级* DLS vsp< 0.05;* *p< 0.01;* * *p< 0.001。数据被表示为(95%可信区间[CI])。95%顺式使用渐近方法计算。
协议之间的分数DLS, neuro-ophthalmologist 1,2,和3分别为0.72 (95% CI 0.67 - -0.76), 0.43 (95% CI 0.37 - -0.49),和0.60 (95% CI 0.55 - -0.65),分别和DLS和多数协议neuro-ophthalmologists, 0.62 (95% CI 0.57 - -0.68)。疲软的中间级协议0.54 (95% CI 0.47 - -0.62) 3 neuro-ophthalmologists中被发现。分歧neuro-ophthalmologists观察67张照片,其中46例(68.6%)的照片,温和的视神经乳头水肿Frisen 3年级,另一个21岁的照片严重视神经乳头水肿Frisen等级4。
讨论
在这项研究中,一个DLS训练2103眼眼底照片分类从颅内视神经乳头水肿高血压的严重程度之间的歧视轻度至中度和严重视神经乳头水肿在214年的一个独立的测试数据集眼底照片,3 neuro-ophthalmologists的相对性能。
视神经乳头水肿33,34是唯一目的临床颅内高血压的迹象。35,36因为视神经乳头水肿的程度表示是后续可视化结果的可靠指标和继发性视神经萎缩,3,- - - - - -,9视神经乳头水肿影响的严重程度管理和视觉监控的频率在后续ICP升高的患者。37,38我们简单的二元分类旨在识别患者的视神经乳头水肿严重程度(轻到中度视神经乳头水肿)或更高的风险降低风险(严重视神经乳头水肿)的视力丧失。5,6,8,9因此,轻度至中度患者颅内高压症视神经乳头水肿可能需要减肥和口服的药物治疗门诊,而严重视神经乳头水肿患者应密切随访,有时住院,并受益于及时手术干预,尤其是在那些情况下视力丧失。38DLS,能够自动分类的严重性在眼底视神经乳头水肿照片,可以协助非专家更准确的预测,治疗策略,和治疗效果,作为诊断或预后以及临床检查和额外的测试工具如计算机辅助视野测量或光学相干断层扫描(OCT)。
它可以辩称,眼科会诊史中DLS自动眼底摄影解释。然而,尽管视神经乳头水肿严重程度的简化分类在我们的研究中,之间的中间级协议3 neuro-ophthalmologists相对较弱(0.54),证实人类评估视神经乳头水肿严重程度的变化,特别是对中等视神经乳头水肿(Frisen等级3)。13然而,我们的DLS可以准确区分轻度至中度和严重视神经乳头水肿眼底照片。DLS的性能类似于3独立neuro-ophthalmologists可比的准确性和灵敏度,和无意义的特异性更高(82.6% DLS vs 73.9% 3 neuro-ophthalmologists多数协议,p= 0.09)。DLS之间的协议的分数和大多数协议3 neuro-ophthalmologists(κ= 0.62)高于3 neuro-ophthalmologists之间的中间级协议(κ= 0.54)。分数也温和的中间级协议研究中涉及青光眼或视网膜疾病,例如,对于青光眼的立体条件下视神经盘的损伤评估6青光眼专家39(κ= 0.50),或者加上疾病早产儿视网膜病变有9专家诊断40(κ= 0.59,0.92)。类似的结果以前描述的机器学习技术在一个小研究,41这表明计算机辅助图像分析,眼底视神经乳头水肿的照片用于分析功能,可以自动年级视神经乳头水肿与实质性的协议与一位专家评分(κ= 0.71)。
我们的结果可能会影响未来的管理提出了ICP和视神经乳头水肿。然而,还需要进一步的前瞻性验证研究,在最好的情况下(即nonophthalmologic临床设置。,neurology clinics, neurosurgery clinics, or emergency departments), and ideally using nonmydriatic digital cameras.15,42如果这些研究证实其适用性,现场DLS,连接到一个相机21或远程,可以用于视神经乳头水肿严重程度的评估。
我们的研究有固有的局限性。回顾性收集数据,没有视觉功能和客观数据,如10月视网膜神经纤维厚度或黄斑神经节细胞复杂(GCC)分析没有系统地收集。此外,萎缩性视神经乳头水肿被排除在这项研究中,我们只训练有素的DLS年级视神经乳头水肿的严重性,不要透露萎缩有关,即使是最困难的评估有经验的眼科医生。13因此,一些长期提高ICP患者都萎缩和残余视神经乳头水肿首先表示被排除在外。,在以后的项目中,GCC-OCT已被证实有用的检测视神经萎缩与视神经乳头水肿有关,43,44也可以被纳入DLS策略,在一些青光眼研究已经完成。45我们使用一个简化的分类的视神经乳头水肿2的成绩,而不是使用的5年级Frisen规模。Frisen规模是出了名的难以使用,特别是当试图区分等级3和4。13,14DLS的几例误分类主要是观察温和视神经乳头水肿(Frisen等级3)或Frisen 4级视神经乳头水肿轻微船昏暗的视神经盘出血相关或药棉。这些图像被专家具有挑战性的分类。再现性的缺乏和Frisen规模无法辨别视神经盘的变化随着时间的推移,证明了辛克莱et al .,13提出另一个排名的视神经盘出现视神经乳头水肿严重程度相关,继发性视神经萎缩的发展,以改善之间的完整协议评论者从1.6%的照片Frisen规模与视神经盘排名44.6%计划。在未来的颅内高血压治疗试验中,专家最初同意Frisen规模分类为只有42%的图片,和intragrader协议利率从55%变化到73%。14我们简化二进制分类设计信号存在严重的视神经乳头水肿,发现应该影响急性nonophthalmologists管理这些病人。
我们开发、训练和测试了DLS,准确识别轻度至中度严重视神经乳头水肿瞳孔放大的眼底照片。在随后的比较,DLS性能与独立neuro-ophthalmologists 3。严重视神经乳头水肿的DLS的自动识别可以帮助神经学、神经外科、紧急设置了ICP患者的管理。首页需要额外的前瞻性研究证实的适用性DLS真实临床设置。
研究资金
新加坡国家医学研究理事会(临床科学家个人科研补助金cirg18nov - 0013), Duke-NUS医学院、眼科及视觉科学学术临床项目资助(05 / FY2019 / P2/06-A60)部门格兰特,NIH / NEI核心格兰特P30-EY06360(埃默里大学医学院眼科学系亚特兰大,佐治亚州),NIH /研究所(RO1NSO89694)。
信息披露
c . Vasseneix r。纳贾尔,x, z . Tang J.L.厕所,s . Singhal拖,l . Milea d . Ting y . Liu和黄T.Y.报告没有披露相关的手稿。新泽西州纽曼是顾问GenSight生物制剂和Neurophoenix Santhera制药/基耶西和隐形BioTherapeutics。诉Biousse是顾问GenSight生物制剂和Neurophoenix。d . Milea报告没有披露相关的手稿。去首页Neurology.org/N为充分披露。
附录1的作者
附录2 Coinvestigators
脚注
去首页Neurology.org/N为充分披露。资金信息和披露认为作者相关的,如果有的话,年底提供这篇文章。
盆景集团coinvestigators列出http://links.lww.com/WNL/B432。
类的证据:NPub.org/coe
- 收到了2020年的11月9日。
- 接受的最终形式2021年4月19日。
- ©2021美国神经病学学会的首页
