跳到主要内容

人工智能增强护理路径规划和调度系统:所需功能的内容有效性评估

摘要

背景

人工智能(AI)和机器学习正在改变医疗保健行业临床和患者工作流程的优化。有必要进行研究,以明确人工智能增强护理路径规划和调度系统的临床需求,以改善机器学习应用中的人类与人工智能交互。本研究的目的是评估内容有效性,并优先考虑人工智能增强的护理路径规划和调度系统的最相关功能。

方法

使用电子调查在三个不同国家的五所大学医院进行了前瞻性内容效度评估。调查的内容是由临床需求形成的,这些需求被制定为所需AI功能的通用陈述。使用内容有效性指数来评估每个语句的相关性。此外,还计算了加权排名点,以优先考虑人工智能增强的护理路径规划和调度系统的最相关功能。

结果

来自三个欧洲国家的临床专业人员共收到了50份回复。项目级别的内容有效性指数为0.42至0.96。45%的一般性陈述被认为是好的。人工智能增强的护理路径规划和调度系统中排名最高的功能与风险评估、患者概况和资源相关。用户界面中排名最高的功能与机器学习模型的可解释性有关。

结论

这项研究提供了一个全面的功能列表,可用于设计未来的人工智能增强解决方案,并根据需求评估设计的解决方案。关于人工智能功能的陈述的相关性被认为是有一定相关性的,这可能是由于医疗保健领域的人工智能水平或组织准备程度较低。

同行评审报告

背景

人工智能(AI)和机器学习(ML)正在改变医疗保健行业临床和患者工作流程的优化。在护理路径规划和调度系统中采用AI和ML技术可以实现早期风险评估[1],提供更准确的时间表[23.4567],减少阻塞[8],从而使效率最大化[9],尽量减少不必要的开支[10],并解决轮候时间过长的问题[11]贯穿整个护理途径。然而,目前的护理路径规划和调度系统大多是人工的,耗时且资源密集[8].此外,医疗保健中的资源分配似乎是向后看的,并基于以前的病例量。

由于对医疗服务的需求不断增长[12]的情况下,就非常需要提前制定护理计划。智能数字服务通常使用数学建模,并通过专用软件向用户提供。然而,尽管人工智能具有临床潜力,但它并不是万能的解决方案。不确定性、组织准备和工作流集成一直是广泛采用医疗人工智能的主要障碍[1314].有必要进行研究,以明确人工智能增强护理路径规划和调度系统的临床需求,以改善ML应用中的人类-人工智能交互[15].

以人为本的方法可用于识别终端用户对基于人工智能的临床决策支持系统的需求。根据ISO 9241−210 [16),”以人为本的设计是一种交互系统开发的方法,旨在通过关注用户,他们的需求和要求,并应用人为因素/人体工程学和可用性知识和技术,使系统可用和有用”。以人为本设计的ISO框架包括理解和指定使用上下文、指定用户需求、设计解决方案以及根据需求评估设计的交互和迭代阶段。

这项研究是一个更大的研发项目的一部分,该项目与医院、技术提供商和研究人员(https://aiccelerate.eu/).然而,本文仅关注特定的用户需求,以评估内容有效性,并在患者、单位和资源级别上优先考虑人工智能增强的护理路径规划和调度系统的最相关功能。

方法

研究设计

进行了横断面调查,以评估内容有效性,并优先考虑人工智能增强护理路径规划和调度系统最相关的功能。所有方法均按照相关指导方针和法规进行(2013年赫尔辛基宣言)。

样本

在2021年10月11日至2021年11月30日期间,在AICCELERATE联盟中包括的三个不同国家(包括芬兰、意大利和西班牙)的五所大学医院(圣琼德Déu巴塞罗那儿童医院、巴比诺Gesù儿童医院、帕多瓦大学神经科学系和赫尔辛基大学医院)进行了前瞻性内容有效性评估。该研究方案由AICCELERATE项目联盟的临床合作伙伴和奥卢大学医院当地机构审查委员会批准。98/2022)。

研究过程

本研究分为两个阶段进行:(1)领域识别、项目生成和调查形成;(2)内容验证和内容优先级确定。

阶段1:领域识别、项目生成和调查形成

调查内容是根据临床需求形成的,这些需求来自上述国家的三个AICCELERATE智能医院护理路径引擎试点(https://aiccelerate.eu/)通过使用以人为中心的方法,如解决方案图表、用户角色、蓝图和解决方案的ui草图。这些试点的重点是(1)外科病房的病人流量管理(试点1);(2)帕金森病数字化护理途径(试点2);(3)儿科服务提供(试点3)。临床需求随后被制定为功能的通用陈述,并分为7类:

  1. 1.

    第一类包括人口统计方面的实际数据(例如国家、年龄、性别、工作期限、职业)。此外,还有一个与信息和决策有关的问题("以下哪一项最好地描述了如何使用这些信息和知识来支持你自己的工作),并将6个备选反应纳入基线特征。

  2. 2.

    第二类包括在李克特4分制量表上关于单位一级业务建议相关性的自我报告陈述(1,不相关;2、有点相关;3、相当相关;4、高度相关)。

  3. 3.

    第三类包括自我报告陈述,关于单位级别建议患者预测围手术期过程/患者流量的相关性(1,不相关;2、有点相关;3、相当相关;4、高度相关)。

  4. 4.

    第四个类别涵盖了关于用户界面(UI)中患者层面功能重要性的自我报告陈述,采用李克特4分制(1,不重要;2、有些重要;3、相当重要;4、非常重要)。

  5. 5.

    第五类是关于UI中单元级功能重要性的自我报告陈述,采用李克特4分制(1,不重要;2、有些重要;3、相当重要;4、非常重要)。

  6. 6.

    第6个类别涵盖了关于UI中功能重要性的自我报告陈述(在单位资源级别),采用4点李克特量表(1,不重要;2、有些重要;3、相当重要;4、非常重要)。

  7. 7.

    最后一个类别包含一个开放的文本字段,邀请受访者留下开放式的评论,并提出声明中缺失的额外功能(“您能想到即将到来的系统还需要哪些其他功能吗?如果有,请说明”)。

在领域识别、项目生成和工具形成(高度结构化、自我管理、多项选择问卷)后,6名专家(2名麻醉师、2名注册护士、1名ICT支持专家、1名生物统计学家)评估了每个陈述的相关性、准确性、清晰度和可读性,并确定是否缺乏任何重要问题。根据专家的建议,对调查的说明、措辞和内容作了微小的修改。

问卷的链接通过电子邮件发送给五所参与的大学医院的联系人。在将问卷链接发送给当地联系人时,指示他们将该链接分享给在其医院工作的合适专家(有目的抽样)。这封电子邮件包括一封简短的介绍信,介绍了医疗保健系统的现状和人工智能增强解决方案的使用情况、AICCELERATE项目的目标、迄今为止项目的进展以及参与调查的重要性。响应时间最初为一周。由于回复数量较少,最终将回复时间延长至七周,并提醒受访者三次。调查的完成大约需要10-50分钟。

阶段2:内容验证和优先级划分

由临床专业人员组成的专家小组根据其方法学和/或临床专业知识,按照结构化程序对内容有效性进行评估。跟随Lynn [17,受访者被要求在4点李克特量表上独立估计每个一般性陈述的相关性。作为相关性的另一个指标,受访者被要求在5分制(从最重要的第1位到第5位)中独立地优先考虑每个一般性陈述的重要性。受访者也被鼓励在调查结束时给出公开评论并解释额外的临床要求。

数据分析

应用内容效度评估来评估内容的相关性。项目级别的内容有效性指数(I-CVI)是通过将给予项目相当或高度相关的应答者的数量除以给予可接受评级的应答者的总数来计算的。I-CVI为> 0.83为良好[17].计算附加加权排名积分(WRP):受访者被要求对5个(第4、5和6类中的4个)最重要的陈述进行评分。我们将排名第一、第二和第三的语句分别重新编码为60、30和10,以强调排名第一、第二和第三的语句之间的重要性差异。最后,通过重新编码的值之和[18].由于开放式评论的数量较少,因此没有对这些评论进行分析。

结果

最终的调查包含6个项目和33个陈述,分为7个主要类别:人口统计学(6个项目),单位级别的操作建议的相关性(13个陈述),单位级别的患者建议的相关性(6个陈述),用户界面中患者级别功能的重要性(5个陈述),用户界面中单位级别功能的重要性(5个陈述),以及用户界面中功能的重要性(4个陈述)。

第一类:人口统计

大部分受访者(n= 50)为芬兰人(30,60.0%),女性(37,75.5%)1).大多数受访者(31,62.0%)使用多个信息系统进行回顾性分析(表2)2).然而,少数人(2.4.0%)拥有预测分析系统。

表1受访者的基线特征
表2在日常实践中使用信息技术支持决策

第2类:单位级别操作建议的相关性

排名前三的陈述是:(1)人工智能识别患者在护理期间是否有不良事件的风险是很重要的;(2)重要的是,人工智能能够根据以前的数据制作个体患者档案;(3)重要的是,人工智能可以根据患者风险和预测的患者流量建议最佳的治疗或就诊时间。类别内排名及综合排名见表3.

类别3:患者预测围手术期过程/患者流量的单位级别建议的相关性

排名前三的陈述是:(1)人工智能能够识别可能导致护理后不良事件或长期护理需求的因素和模式是很重要的;(2)人工智能能够根据内外部因素的数据预测特定时间点的可用资源是很重要的;(3)重要的是,人工智能能够识别对护理和资源需求增加的日子以及造成这些需求增加的因素。类别内排名及综合排名见表3.

类别4:用户界面中患者级功能的重要性

排名前三的语句是:(1)用户界面根据历史和实时患者数据更新患者病情预测演变的可视化;(2)用户界面具有预测患者流的可视化以及对特定患者的推理;(3)用户界面具有为特定患者的治疗找到适当和正确时间的功能。类别内排名及综合排名见表3.

表3人工智能增强的护理路径规划和调度系统功能的相关性

类别5:UI中单元级功能的重要性

排名前三的语句是:(1)用户界面可以看到患者治疗的推荐顺序;(2)用户界面在护理期间更新特定患者的患者流程可视化;(3)用户界面具有一般单位/医院患者流程的可视化。类别内排名及综合排名见表3.

类别6:UI中功能的重要性

排名前三的陈述是:(1)用户界面有一个功能,可以检查在计划的治疗时间内是否有有限的工作人员可用;(2)用户界面具有检查在计划治疗时间内医院容量是否预计受限的功能;(3)用户界面具有预测医院容量的可视化,作为医院环境的复制。类别内排名及综合排名见表3.

资料汇总

总体而言,i - CVI在0.42 ~ 0.96之间,平均CVI为0.754。45%的一般性陈述被认为是好的。根据wrp,人工智能增强的护理路径规划和调度系统排名最高的功能与风险评估、患者概况和资源相关(表2)4).相应地,UI中排名最高的功能与ML模型的可解释性有关。

表4结果汇总

讨论

根据我们的研究结果,人工智能增强的护理路径规划和调度系统排名最高的功能与患者和单位层面的风险评估、患者分析以及共享资源(例如,人员、时间)的使用有关。在文献中,人工智能增强的调度系统已被用于识别可修改的风险因素,并将患者分为高风险组和低风险组,以提前优化预防措施[11920.].此外,智能数字服务已被用于预测手术时间(DOS) [23.4567]及术后住院时间[2]以高度精确地优化资源管理。

UI中排名最高的功能与ML模型的可解释性(例如,预测器,可视化)有关,这符合新采用的欧洲医疗器械法规(EU 2017/745) [21],即将生效的《欧盟人工智能法案》(2021/0106/COD) [22],以及倡议的数字健康软件预认证(预证书)计划[23].总的来说,对人工智能预测的不确定性和不信任一直是广泛采用医疗人工智能的主要障碍[13].这种不信任通常是由于缺乏模型可解释性,其中底层算法的输入和输出之间的关系是不清楚的[24].

此外,由于组织方面的原因(例如,动机准备程度、机构资源、员工属性和组织氛围),许多组织仍不熟悉数字化转型[14]、技术性(例如,技术能力有限)和非技术性(例如,缺乏管理支持)挑战[25].在这方面,组织对采用人工智能的准备对技术变革的成功至关重要。根据Jöhnk等人。[25],人工智能可能的应用场景并不总是直接明显的,组织必须了解技术,以决定预期的采用目的。因此,组织必须不断评估和发展他们的人工智能准备,包括人工智能采用过程中的战略调整(人工智能业务潜力,客户人工智能准备),资源(例如,财务预算,IT基础设施),知识(例如,人工智能意识,提升技能,人工智能道德),文化(例如,变革管理,创新性)和数据(例如,可用性,质量),以确保其成功集成并避免不必要的投资和成本[1425].

在这项研究中,最相关的功能与情景感知(例如,不良反应的风险、临床恶化或分类)有关,而不是优化资源使用(例如,取消、逾期、不必要的实验室测试等)或组织必要性,突出了人工智能准备工作的具体背景和特定目的的角度。在之前的文献中,用户对数字转型的看法在不同的专业群体之间有所不同,表明了与特定角色和责任相关的不同需求和期望[26].

本研究获得的结果突出了手术路径的术前阶段(例如,个性化风险评估和优化)。然而,必须指出的是,对于改善工作流程和减少阻塞等护理的连续性和协调,术中阶段(例如,实际的DOS)和术后阶段(例如,不良反应/事件的早期发现)同样重要。此外,可解释的人工智能也可用于促进共享决策,帮助患者了解他们的个人风险和结果,根据个人需求和目标选择可用的治疗方案[25].然而,目前信息系统的使用似乎是向后看的。

提高信任需要在不久的将来开发更透明的ML方法。事实上,人类与人工智能的互动可以提高医疗人工智能的透明度,从而支持准确和可信的决策[15].此外,应考虑受访者的专业知识以及新颖的研究方法。尽管人们对人工智能普遍不熟悉,但它的未来是充满希望的。在创新项目中,需要新的方法来识别“未知的未知”。

限制

我们的研究在抽样、参与和反应偏差方面存在一些局限性。首先,样本量有限,但仍覆盖了三个不同国家的五所大学医院。此外,没有计算所选专家的反应率。其次,大多数受访者是医生。此外,大多数受访者来自芬兰,这可能影响了感知相关性。然而,调查被发送给所有合适的专家,包括所有职业。此外,当地联络人也多次发出调查通知。然而,我们无法控制多个提交(如果有的话)和意外的应答者。第三,反应偏差也可能对调查的效度产生影响。通过匿名调查,这种研究偏差被最小化。 Fourth, the relevance of statements concerning AI functionalities was considered somewhat relevant. This might be due to the low level of organizational readiness for AI in healthcare.

结论

这项研究提供了一个全面的功能列表,可用于设计未来的人工智能增强解决方案,并根据需求评估设计的解决方案。声明的相关性被认为有些相关,这可能是由于组织对医疗保健领域的人工智能准备程度较低。

数据和材料的可用性

生成和分析的数据集不是公开的。数据集可根据合理要求并获得相关学术中心的许可,由通讯作者提供。

缩写

人工智能:

人工智能

CVI:

内容有效性指数

WRP:

加权排名积分

参考文献

  1. Bellini V, Valente M, Bertorelli G, Pifferi B, Craca M, Mordoninin M,等。围手术期医学中的机器学习:系统综述。J Anesth Analg危重护理。2022;2:2。https://doi.org/10.1186/s44158-022-00033-y

    文章谷歌学者

  2. Abbas A, Mosseri J, Lex JR, Toor J, Ravi B, Khalil EB, Whyne C.使用术前患者因素的机器学习可以预测全膝关节置换术的手术时间和住院时间。国际医学杂志。2022;158:104670。https://doi.org/10.1016/j.ijmedinf.2021.104670

    文章谷歌学者

  3. Martinez O, Martinez C, Parra CA, Rugeles S, Suarez DR.机器学习用于手术时间预测。计算方法程序。2021;208:106220。https://doi.org/10.1016/j.cmpb.2021.106220

    文章谷歌学者

  4. 黄春春,赖军,赵东宇,于杰。一种改进手术病例时间预测的机器学习方法。medRxiv预印本。https://doi.org/10.1101/2020.06.10.20127910

  5. 巴泰克,萨克森纳,索罗门,方CT, Behara LD, Venigandla R,等。提高手术室效率:机器学习方法预测病例时间。中华外科杂志,2019;29:346 - 54。e.3。https://doi.org/10.1016/j.jamcollsurg.2019.05.029

    文章谷歌学者

  6. Tuwatananurak JP, Zadeh S, Xu X, Vacanti JA, Fulton WR, Ehrenfeld JM, Urman RD.机器学习可以提高手术病例持续时间的估计:初步研究。中华医学杂志。2019;43:44。https://doi.org/10.1007/s10916-019-1160-5

    文章谷歌学者

  7. 李伟,叶华。一种减少围手术期阻塞的手术室调度优化模型。Mech Eng Fac出版物,2017;10:60-70。https://doi.org/10.1016/j.promfg.2017.07.022

    文章谷歌学者

  8. Abdalkareem ZA, Amir A, Al-Betar MA, Ekhan P, Hammouri AI。优化环境下的医疗调度:综述。卫生技术,2021;11:445-69。https://doi.org/10.1007/s12553-021-00547-5

    文章谷歌学者

  9. Calegari R, Fogliatto FS, Lucini FR, Anzanello MJ, Schaan BD.考虑OR上下游设施和资源的手术调度启发式。BMC健康服务决议2020;20;684。https://doi.org/10.1186/s12913-020-05555-1

    文章谷歌学者

  10. 李金杰,丁杰,古佐TJ。提高手术室效率。Curr urrol Re. 2019;20:28。https://doi.org/10.1007/s11934-019-0895-3

    文章谷歌学者

  11. 王志刚,王志刚。将多台机器上的提前/延迟成本最小化,应用于手术调度。2019;22:100194。https://doi.org/10.1016/j.orhc.2019.100194

    文章谷歌学者

  12. 加拿大卫生信息研究所。《国家卫生支出趋势》。渥太华:加拿大卫生信息研究所;2021.

    谷歌学者

  13. 李志强,李志强,李志强。健康和医学领域的人工智能。2020; 28:31-8。https://doi.org/10.1038/s41591-021-01614-0

    文章中科院谷歌学者

  14. 李文杰,李志刚,李志刚,李志刚,等。医疗保健中人工智能的组织准备:决策和实践的见解。《J卫生机构管理》,2020年;先行印刷。https://doi.org/10.1108/JHOM-03-2020-0074

  15. 马迪,Akbarzadeh KH, Aickelin U.人机交互在机器学习和医学应用中的应用综述。《国际环境与公共卫生》,2021;18:2121。https://doi.org/10.3390/ijerph18042121

    文章谷歌学者

  16. 国际标准化组织。Iso 9241 - 210。人-系统交互工效学。第210部分:交互系统的以人为本的设计ISO:瑞士日内瓦;2019.

    谷歌学者

  17. 内容效度的测定与量化。Nurs res 1986; 35:382-3。

    文章中科院谷歌学者

  18. Larinkari S, Liisanantti JH, Alalääkkölä T, Meriläinen M, Kyngäs H, Ala-Kokko T.基于内容有效性评估的远程icu系统需求识别。国际医学杂志。2016;86:30-6。https://doi.org/10.1016/j.ijmedinf.2015.11.012

    文章谷歌学者

  19. Bonde A, Varadarajan KM, Bonde N, Troelsen A, Muratoglu OK, Malchau H,等。评估深度神经网络在预测术后手术并发症中的效用:一项回顾性研究。《柳叶刀》数字健康杂志,2021;3:e471-85。https://doi.org/10.1016/s2589 - 7500 (21) 00084 - 4

    文章谷歌学者

  20. Oakland K, Cosentino D, Cross T, Bucknall C, Doroudi S, Walker D.手术结果风险工具(SORT)在英国独立部门3305例腹部手术患者中的外部验证Perioper Med. 2021;10:4。https://doi.org/10.1186/s13741-020-00173-1

    文章中科院谷歌学者

  21. 欧盟,2017。欧洲医疗器械法规(EU 2017/745)。https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32017R0745

  22. 欧盟,2021年。关于欧洲议会和理事会制定人工智能协调规则(人工智能法案)和修改某些联盟立法法案的条例提案(2021/0106/COD)。https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206

  23. 美国,食品,管理D. 2019。开发软件预认证程序:工作模式。https://www.fda.gov/media/119722/download

  24. Amann J, Blasimme A, Vayena E, Frey D, Madai VI. Precise4Q联盟。医疗保健领域人工智能的可解释性:多学科视角。BMC Med Inform Decis Mak. 2020; 20:10 10。https://doi.org/10.1186/s12911-020-01332-6

    文章谷歌学者

  25. Jöhnk J, Weißert M, Wyrtki K. AI准备与否——组织AI准备因素的访谈研究。总线系统工程,2021;63:5-20。https://doi.org/10.1007/s12599-020-00676-7

    文章谷歌学者

  26. Jansson M, Liisanantti J, Ala-Kokko T, Reponen J.界面设计、可定制性、低效率、故障和信息检索对用户体验的负面影响:芬兰ICU临床信息系统的全国可用性调查。国际医学杂志。2022;159:104680。https://doi.org/10.1016/j.ijmedinf.2021.104680

    文章谷歌学者

下载参考

确认

作者要感谢所有的受访者。这项研究得到了欧盟地平线2020研究和创新计划(nº101016902)的支持,该计划也得到了感谢。

资金

本研究是aiccelerate项目的一部分(https://aiccelerate.eu/)已获得欧盟地平线2020研究与创新计划(nº101016902)的资助。资助者没有影响研究的设计、进行、分析或报告。

作者信息

作者及隶属关系

作者

贡献

PO进行分析。所有作者都参与了手稿的撰写。所有作者都阅读并批准了最终的手稿。

相应的作者

对应到Miia简颂

道德声明

伦理批准并同意参与

该研究方案由AICCELERATE项目联盟的临床合作伙伴和奥卢大学医院当地机构审查委员会批准。98/2022)。这项研究是在自愿的基础上进行的,所有组织和临床专业人员(16岁以上的成年人)都参与了这项研究。问卷在网上单独回答。在数据收集过程中,受访者被告知本次调查,并通过自愿填写和返还问卷来表示受访者的同意。受访者得到保证,他们分享的信息将被保密和匿名。

发表同意书

不适用。

相互竞争的利益

作者声明没有利益冲突。

额外的信息

出版商的注意

亚博最新娱乐网施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。

权利和权限

开放获取本文遵循知识共享署名4.0国际许可协议,允许以任何媒介或格式使用、分享、改编、分发和复制,只要您对原作者和来源给予适当的署名,提供知识共享许可协议的链接,并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可协议中,除非在材料的信用额度中另有说明。如果材料未包含在文章的创作共用许可协议中,并且您的预期使用不被法定法规所允许或超出了允许的使用范围,您将需要直接获得版权所有者的许可。如欲查看本牌照的副本,请浏览http://creativecommons.org/licenses/by/4.0/.创作共用公共领域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本条所提供的资料,除非在资料的信用额度中另有说明。

转载及权限

关于本文

通过CrossMark验证货币和真实性

引用本文

杨松,M., Ohtonen, P., Alalääkkölä, T.;et al。人工智能增强护理路径规划和调度系统:所需功能的内容有效性评估。BMC运行状况服务决议22, 1513(2022)。https://doi.org/10.1186/s12913-022-08780-y

下载引用

  • 收到了

  • 接受

  • 发表

  • DOIhttps://doi.org/10.1186/s12913-022-08780-y

关键字

  • 人工智能
  • Human-in-loop
  • human-AI交互
  • 机器学习
  • 护理路径
Baidu