文摘
客观的确定叙事评价的质量评估医学生神经学书记的性能仍然是一个挑战。首页本研究旨在开发一个工具来全面、系统地评估学生叙事评价的质量。
方法叙述评价质量工具(NEQI)创建评估几个组件在书记的叙事评价:性能领域,特异性和实用性的学习者。在这个回顾性研究,调查人员得分123使用NEQI叙事评价。两分的估计通过计算可靠性组内相关系数(ICC)在615年NEQI分数。
结果整体NEQI平均分数为6.4 (2.9 SD),意味着组件手臂分数为2.6性能域(SD - 0.9), 1.8特异性(SD 1.1),和2.0的有效性(SD 1.4)。每个组件的手臂表现出温和的可靠性:性能域ICC 0.65(95%可信区间[CI] 0.58 - -0.72),特异性ICC 0.69 (95% CI 0.61 - -0.77),和有用性ICC 0.73 (95% CI 0.66 - -0.80)。整体NEQI得分表现出良好的可靠性(0.81;95%可信区间0.77 - -0.86)。
结论NEQI是小说,可靠的工具,全面评估叙事神经学评估职员的质量和加强干预措施的研究寻求改善书记的评价。首页
术语表
- CI=
- 置信区间;
- 国际刑事法庭=
- 组内相关系数;
- NEQI=
- 叙述评价质量工具
监督医生通常完整的培训评估报告文档医科学生表现神经学书记和其他临床旋转。首页除了提供个性化的反馈,培训评估报告是经常用于总结性评估,提出的挑战。1数字分数可能过于简单,缺乏必要的广度和深度,有效文档在复杂的临床场景和跨多个上下文的表现。1,2相比之下,最近的研究表明,基于叙述评价可以作为一种有效的评估,3,4提供同等或更好的可靠性对神经学书记的评分和排名。首页4证据也表明,医生学员有一个对数值表示偏爱叙述反馈分数。5
尽管证据支持关注基于叙述书记的职位评估、可靠性取决于评估的能力来完成高质量的叙述。出版工作研究叙事的质量评估是有限的,并且主要集中在单一的代理或相关的质量(例如,总字数),这可能不能反映叙事质量的复杂性。6,- - - - - -,8考虑到这些限制,本研究试图开发一个仪器,全面衡量书记的叙事质量的目标(1)通知教师发展叙事质量改进和(2)为教育研究开发定量测量结果。
方法
设置和参与者
本回顾性研究使用收集的数据在2016 - 2017学年从三年级医学生旋转神经学书记的罗彻斯特大学的医学院和牙科。首页所有学生完成一个四周神经病学旋转和评估监督教师和居民(此处陪审首页员)完整的培训评估报告(包括数字和叙事评价)的旋转完成。评估包括叙事评论关于临床表现,个人和职业素质,总结评论,以及需要改进的地方。这项研究是通过罗切斯特大学的研究对象审查委员会。
创建、测试和分析叙事的评价质量工具(NEQI)
发展NEQI (图1)是根据现有的医科学生工作表现评估,建议3不同组件的重要性:(1)性能域评论,(2)特异性的评论,和实习生(3)实用性。3,6,9,10选择性能领域相关有显著影响(p< 0.05)在教师年级的研究Plymale et al。9被包含在NEQI (图1)。特异性组件的手臂,陪审员的评论对学生成绩分类如下:资格声明(例如,“强大的物理考试技能”),语句引用的证据(例如,“他的身体检查是组织良好和完整”),和夹杂物的具体的例子(例如,”她拿起关键的考试结果,包括与小脑共济失调的病人中风”)。5评分选项被创建,以反映这些语句的总体数量在每一个故事(图1)。见习组件的实用性的手臂被Gulbas et al .,仿照工作10在评估pile-sorted基于乐于助人为4不同的集群。这些合并成3集群经过试点测试建议降低可靠性和更多的选择。集群如下:“非常有用的”(例如,给例子,提供有用的反馈如何提高),“适度有用”(例如,使用完整的句子,评价多个域,没有改进的例子或特定区域),和“最小有用”(例如,使用第三人称,句子片段,含糊不清的信息)(图1)。
叙述评价质量工具旨在定量评估医学实习生的叙述的质量评估。仪器包括3部分武器:(1)性能域评论,(2)特异性的评论,和实习生(3)实用性。每个组件的手臂有一个可能的范围从0到4分,总分总的结果可能从0到12。
作为一个试点,5研究团队成员(在此调查人员)取得的样本10叙事在培训评估报告。随后调查人员开会解决差异在使用该工具和澄清NEQI指令。试点后,调查人员提供叙事在培训评估报告从20神经学书记的学生选择一个随机选择的过程以确保在书记的等价表示块。首页调查人员没有写任何叙事研究中使用。总共有123去除了识别信息的回顾评估从53独特的评估得分由每个独立调查员。
评分者间信度估计为每个NEQI组件手臂(性能域、特异性、有效性)和总NEQI得分与组内相关系数(可以使用双向随机效应模型(可以2 k)测量测量的同质性。引导与100年95%的置信区间(CIs)复制每个刑事法庭估计计算。
结果
总共有615 NEQI分数从123年获得叙事评价得分由调查人员。分析显示,NEQI成绩正态分布,平均分数为6.4(标准差2.9)。关于NEQI组件的手臂,性能域手臂有最大的分数(意思是2.6;SD 0.9)和不变量比特异性(意思是1.8;SD 1.1)和有用性(平均2.0;1.4 SD)武器。NEQI分数的频率在组件显示在武器图2。
(A)的百分比的叙述与评论不同数量的学生成绩域。(B)叙述会议的百分比不同标准特异性的评论。(C)叙述的百分比在不同类别的学生有用。
结果进一步表明,陪审员评论平均4.7(标准差1.7)性能每叙事评价领域。“专业”(78%)和“整体性能”(78%)域被评估者最常见的评论。相比之下,评估员经常评论至少在“准备和参与病人护理”(33%)和“临床推理”领域(31%)。
总的来说,NEQI显示良好的可靠性,刑事法庭为0.81 (95% CI 0.77 - -0.86)。个人NEQI组件分数有温和的可靠性:性能领域得分= 0.65 (95% CI 0.58 - -0.72);特异性得分= 0.69 (95% CI 0.61 - -0.77);实用性得分= 0.73 (95% CI 0.66 - -0.80)。
讨论
我们的结果表明,NEQI可以可靠地鉴别神经学书记的叙事沿着几个维度包括性能质量评价领域,特异性的评论,实习生和有用性。首页可靠性提高整体NEQI评分时使用,这意味着使用一个更全面的方法定义叙述质量提供更好的可靠性比单一的措施。这些结果构建明显在工作之前,和高潮的一个有用的工具系统的全面评估神经病学职员的叙事评价的质量。首页3,- - - - - -,13测试工具是在神经学书记的评估,这是来自更广泛的医学教育文献首页的目的是适用于广泛的学生在培训评估报告。
对学生的表现领域,那些包含在培训评估报告的提示在评估者最常引用的故事。相反,至少2性能域评论(“准备和参与病人护理”和“临床推理”)并没有明确提到的提示。鉴于临床推理的重要性在神经学教学和评估职员,是关于一些评价者评论这一领域。首页我们的研究结果表明,为评估提供性能领域的例子评价提示可能会增加评价特定域的数量。这样的提示也可以合理推断其他组件武器(例如,使用一个具体的例子),这将提高叙事评价的总体质量。
鉴于我们的研究说明了可靠性评估的证据叙事评价质量,NEQI有几个应用程序。首先,该工具可以帮助检查干预旨在提高叙事质量的有效性。第二,可以利用NEQI相关研究与叙述质量相关的因素包括人口因素的评价作者和学生,时间在培训评估报告完成,或时间评估员与一个学生在旋转。NEQI已经对教师发展的影响。例如,NEQI反馈可以提供给评估者作为干预提高叙事质量,并通过教学评价的最重要方面,也许提高评估效率。实际上,我们正在创建一个叙事的过程中翻译NEQI定量数据(叙事评价质量报告)中使用教师开发工作。
需要进一步的共识定义叙述足够的质量。尽管我们没有研究什么分数代表的最低质量标准,最低NEQI 7分暗示某种程度的质量评价是温和的作用对学生和分级委员会。615在培训评估报告,分析了313(51%)的故事达到阈值≥7,表明至少最低质量。定义叙述质量和最低标准为narrative-only评估可用的叙事评价需要进一步研究生长在他们的使用和医学教育的重点。
这项研究有一些局限性。首先,NEQI的发展是通过回顾性评估评估从一个书记在一个单一的机构。因此,额外的研究采用叙事评价利用不同的学习者群体在不同的教育环境和机构是必要的,以确保NEQI可概括的和演示了有效性证据。如前所述,并非所有性能域在NEQI指出在叙事评价提示。这些提示的疏忽可能影响评估评论,最终的领域,整体NEQI分数。最后,研究了只有叙述,而不是数字,部分的评估。目的评估他们的叙述可能查看评估与他们的数字数据。
NEQI提供可靠证据,全面评估叙事评价的质量,它可以评估干预措施的有效性目标叙述质量和援助教师发展。加强叙事业绩评估的质量会提高总结性评估神经学书记的性能和造型的方法。首页
研究资金
没有针对性的资金报告。
信息披露
作者报告没有披露相关的手稿。去首页Neurology.org/N为充分披露。
附录的作者
脚注
去首页Neurology.org/N为充分披露。资金信息和披露认为作者相关的,如果有的话,年底提供这篇文章。
- ©2020美国神经病学学会的首页
