CN116709986A - 用于便于医学图像的阅读的方法和*** - Google Patents

用于便于医学图像的阅读的方法和*** Download PDF

Info

Publication number
CN116709986A
CN116709986A CN202180088759.8A CN202180088759A CN116709986A CN 116709986 A CN116709986 A CN 116709986A CN 202180088759 A CN202180088759 A CN 202180088759A CN 116709986 A CN116709986 A CN 116709986A
Authority
CN
China
Prior art keywords
user
medical image
current medical
distraction
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180088759.8A
Other languages
English (en)
Inventor
A·萨瓦尔卡尔
V·K·洪巴尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116709986A publication Critical patent/CN116709986A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G02B27/023—Viewing apparatus for viewing X-ray images using image converters, e.g. radioscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/13—Type of disclosure document

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)

Abstract

提供了一种便于对显示器上的医学图像的阅读的***和方法。所述方法包括：接收与对象相对应的当前医学图像，并且显示所述当前医学图像；使用深度学习算法执行所述当前医学图像的图像分割以识别感兴趣区域，并且在所述当前医学图像上显示指示所述感兴趣区域的注释；检索先前医学图像以及与所述对象的先前医学图像相对应的放射学报告；使用深度学习算法对所述先前医学图像执行图像分割以提取相关发现；对所述描述性文本执行NLP以提取相关发现，并且在具有所述当前医学图像的所述显示器上显示所述相关发现；并且从检查列表数据库检索交互式检查列表，所述交互式检查列表包括供所述用户在审阅所述当前医学图像时考虑的条目。

Description

用于便于医学图像的阅读的方法和***
背景技术
图像解读中的人类感知错误是得到确认的，并且可能导致阅读不足，这是最多的一种放射学错误，其中，医学图像中的现有发现被简单地遗漏。认知性失明被认为是阅读不足的主要原因。认知性失明包括变化性失明和疏忽性失明等类别。疏忽性失明被定义为在分心或参与单独的任务时错过事件。已知在其专业领域中发挥作用的训练有素的专家观察者易受疏忽性失明的影响。解读性错误的结果可能严重影响患者的健康状况和处置结果。
放射科医师使用各种技术来合成和最终确定放射学研究的解读，包括视觉检测、模式识别、记忆、知识和认知推理。这些技术由放射科医师执行，同时被许多外在干扰因素包围，工作量增加，工作时间长，数据负担重和应对疲劳。面对这些可能性，即使对于有经验的观察者，一定程度的错误也可能是不能避免的。尽管成像技术有进步，但没有证据表明人类视觉和大脑的感知有类似的改善。从一个视图到下一个视图，人类明显不知道环境细节。人类通常检测不到对象和场景的大变化，这被称为变化失明。此外，当训练有素的专家犯错误时，它可能潜在地影响患者安全。因此，找到技术解决方案以在面临导致错误的挑战时支持人类是至关重要的。对放射学图像阅读不足构成了为放射科医师诉讼和忧虑的原因的解读性错误种类。
发明内容
根据本发明的一个方面，提供了一种便于用户(放射科医师)对显示在包括图形用户接口(GUI)的显示器上的医学图像的阅读的方法。所述方法包括：接收对象(例如，患者)的当前医学图像，并且将它显示在所述显示器上以由所述用户执行图像阅读；使用深度学***，并且当所述分心水平超过预定阈值时向用户提供警报，并且生成识别所述分心水平超过预定阈值多长时间的报告。
所述方法还可以包括在阅读当前医学图像时跟踪用户的眼睛移动以识别高聚焦和低聚焦区域，并且基于所识别的高聚焦和低聚焦区域来确定所述用户对医学图像的感知中的弱点；并且基于所确定的医学图像感知中的弱点来经由GUI实施至少一个眼睛跟踪警报，以便改善表现并减少阅读不足。此外，可以从个人数据库检索服务水平协议，并且可以至少部分地基于服务水平协议中指示的所述用户的专长来初始地将成像研究与用户匹配。
根据本发明的一个方面，一种用于便于用户对医学图像的阅读的***包括：显示器，其包括用于与用户接口的GUI；处理器，其与所述显示器通信；以及非瞬态存储器，其存储指令。所述指令引起在由所述处理器执行时：使所述处理器接收对象的当前医学图像，并且使所述当前医学图像被显示在所述显示器上以供所述用户执行图像阅读；使用深度学习算法执行对所述当前医学图像的图像分割以识别至少一个感兴趣区域，并且使指示所述显示器上的所述至少一个感兴趣区域的至少一个注释被显示在所述当前医学图像上；从PACS数据库检索所述对象的先前医学图像；从所述PACS数据库或RIS数据库检索关于所述对象的放射学报告，所述放射学报告包括描述性文本；使用深度学习算法对所述先前医学图像执行图像分割以提取相关发现，并且在具有所述当前医学图像的所述显示器上显示所述相关发现；使用词嵌入技术对所述描述性文本执行NLP以提取相关发现，并且使所述相关发现被显示在具有所述当前医学图像的所述显示器上；从检查列表数据库检索交互式检查列表，所述交互式检查列表包括供所述用户在审阅所述当前医学图像时考虑的条目，并且使所述交互式检查列表被显示在具有所述当前医学图像的所述显示器上。所述交互式检查列表能够由所述用户经由所述GUI修改以便将一个或多个条目添加到所述交互式检查列表，同时防止从所述交互式检查列表中移除现有条目。
所述***还可以包括相机，所述相机与所述处理器通信，并且被配置为在阅读所述当前医学图像时捕获所述用户的眼睛移动以确定所述用户相对于所述显示器的注视。所述指令还可以使所述处理器：基于所跟踪的眼睛移动来识别高聚焦区域和低聚焦区域；并且基于所识别的低聚焦区域在显示器上实施至少一个眼睛跟踪警报，以改善表现并减少阅读不足。所述至少一个眼睛跟踪警报可以在所述显示器上被呈现为示出覆盖和错过区域的扫描路径、扫描图案和/或分心和空闲的持续时间的量度。
当由所述处理器执行时，所述指令还可以使所述处理器确定所述用户的分心水平，当所述分心水平超过预定阈值时向所述用户提供警报，并且生成识别所述分心水平超过所述预定阈值多长时间的报告。
附图说明
当结合附图阅读时，根据以下详细描述最好地理解示例实施例。要强调的是，各种特征不一定按比例绘制。实际上，为了清楚讨论，可以任意增加或减小尺寸。只要适用且实用，相似的附图标记指代相似的元件。
图1是根据代表性实施例的用于便于用户对显示在包括GUI的显示查看器上的医学图像的阅读的***的简化框图。
图2是示出根据代表性实施例的便于用户对显示在显示器上的医学图像的阅读的分割方法的流程图。
图3是根据代表性实施例的显示器上用于便于用户对医学图像的阅读的图示性GUI的屏幕截图。
具体实施方式
在以下详细描述中，出于解释而非限制的目的，阐述了公开具体细节的代表性实施例，以便提供对根据本教导的实施例的透彻理解。可以省略对已知***、设备、材料、操作方法和制造方法的描述，以避免模糊对代表性实施例的描述。尽管如此，在本领域技术人员的知识范围内的***、设备、材料和方法也在本教导的范围内，并且可以根据代表性实施例使用。应注意，本文使用的术语仅出于描述特定实施例的目的，而不旨在为限制。所定义的术语是如在本教导的技术领域中通常理解和接受的所定义的术语的技术和科学含义的补充。
将理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件或部件，但是这些元件或部件不应受这些术语的限制。这些术语仅用于区分一个元件或部件与另一个元件或部件。因此，在不脱离本发明构思的教导的情况下，下面讨论的第一元件或部件可以被称为第二元件或部件。
本文使用的术语仅用于描述特定实施例的目的，而不旨在是限制性的。如说明书和权利要求中所使用的，单数形式的术语“一”、“一个”和“所述”旨在包括单数和复数形式两者，除非上下文另有明确规定。此外，术语“包括”、“包含”和/或类似术语指定陈述的特征、元件和/或部件的存在，但不排除一个或更多其他特征、元件、部件和/或其组的存在或添加。如本文所使用的，术语“和/或”包括相关联的所列条目中的一个或多个的任何和全部组合。
除非另行指示，否则当元件或部件被认为“连接到”、“耦合到”或“邻近”另一元件或部件时，将理解所述元件或部件可以直接连接或耦合到其他元件或部件，或者可以存在中间元件或部件。也就是说，这些和类似术语涵盖可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而，当元件或部件被认为“直接连接”到另一元件或部件时，这仅涵盖两个元件或部件彼此连接而没有任何中间或中介元件或部件的情况。
因此本公开通过其各个方面、实施例和/或特定特征或子部件中的一个或多个旨在呈出如下具体指出的优点中的一个或多个。出于解释而非限制的目的，阐述了公开具体细节的示例实施例，以便提供对根据本教导的实施例的透彻理解。然而，与本公开一致的脱离本文公开的具体细节的其他实施例仍在权利要求的范围内。此外，可以省略对公知装置和方法的描述，以免模糊对示例实施例的描述。这样的方法和设备在本公开的范围内。
总体而言，本文描述的各种实施例帮助用户(例如，放射科医师)使用将将其聚焦带到要不然可能会未处理并且因此在严重程度上未读、阅读不足或被破坏的放射学研究领域的技术来减少医学图像的阅读不足错误。实施例绘制上下文模式，并且利用朝向对医学图像的更彻底检查引导他们的关键提醒和检查列表来帮助用户，并且帮助他们克服由分心、疲劳等引起的认知限制，最终导致阅读不足错误的减少。实施例还利用智能增强决策来提高诊断的效率。该***是先进的，因为它具有连续且迭代学习的能力。
图1是根据代表性实施例的用于便于用户对显示在包括GUI的显示器上的医学图像的阅读的***的简化框图。
参考图1，***包括用于实施和/或管理本文描述的过程的工作站130。工作站130包括由处理器120指示的一个或多个处理器、由存储器140指示的一个或多个存储器、接口122和显示器124。处理器120通过成像接口(未示出)与成像设备160接口连接。成像设备160可以是各种类型的医学成像设备/模态中的任何一种，包括例如X射线成像设备、计算机断层摄影(CT)扫描设备、磁共振(MR)成像设备、正电子发射断层摄影(PET)扫描设备或超声成像设备。
存储器140存储可以由处理器120执行的指令。所述指令当被执行时使处理器120实施用于便于用户对显示在显示器124上的医学图像的阅读的一个或多个过程，例如下面参考图2描述的。出于说明的目的，存储器140被示出为包括软件模块，每个软件模块包括与***100的相关联能力相对应的指令。
处理器120代表一个或多个处理设备，并且可以使用硬件、软件、固件、硬连线逻辑电路的任何组合或其组合通过现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)、通用计算机、中央处理单元、计算机处理器、微处理器、微控制器、状态机、可编程逻辑设备或其组合来实施。本文中的任何处理单元或处理器可以包括多个处理器、并行处理器或两者。多个处理器可以包括在单个设备或多个设备中，或耦合到单个设备或多个设备。如本文使用的术语“处理器”包含能够执行程序或机器可执行指令的电子部件。处理器还可以是指单个计算机***内或分布在多个计算机***之间(诸如在基于云的应用或其他多站点应用中)的处理器的集合。程序具有由可以在同一计算设备内或可以跨多个计算设备分布的一个或多个处理器执行的软件指令。
存储器140可以包括主存储器和/或静态存储器，其中，这样的存储器可以经由一个或多个总线彼此通信以及与处理器120通信。存储器140可以例如通过任何数量、类型和组合的随机存取存储器(RAM)和只读存储器(ROM)来实施，并且可以存储都可由处理器120执行的各种类型的信息，诸如软件算法、人工智能(AI)模型和计算机程序。各种类型的ROM和RAM可以包括任何数量、类型和组合的计算机可读存储介质，诸如磁盘驱动器、闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、磁带、光盘只读存储器(CD-ROM)、数字通用盘(DVD)、软盘、蓝光碟、通用串行总线(USB)驱动器或本领域中已知的任何其他形式的存储介质。存储器140是用于存储数据和可执行软件指令的有形存储介质，并且在软件指令存储在其中的时间期间是非瞬态的。如本文使用的，术语“非瞬态”不应被解读为状态的永恒特性，而是应被解读为将持续一段时间的状态的特性。术语“非瞬态”明确地否定短暂的特性，诸如载波或信号或在任何时间在任何地方仅暂时存在的其他形式的特性。存储器140可以存储使得能够执行各种功能的软件指令和/或计算机可读代码。存储器140可以是安全的和/或加密的、或不安全的和/或未加密的。
***100还包括用于存储由存储器140的各种软件模块使用的信息的数据库。数据库包括PACS数据库112、放射学信息***(RIS)数据库114、调度数据库116和检查列表数据库118。数据库可以例如通过任何数量、类型和组合的RAM和ROM来实施。各种类型的ROM和RAM可以包括任何数量、类型和组合的计算机可读存储介质，诸如磁盘驱动器、闪存存储器、EPROM、EEPROM、EEPROM、寄存器、硬盘、可移动磁盘、磁带、CD-ROM、DVD、软盘、蓝光碟、USB驱动器或本领域中已知的任何其他形式的存储介质。数据库是用于存储数据和可执行软件指令的有形存储介质，并且在数据和软件指令存储在其中的时间期间是非瞬态的。数据库可以是安全的和/或加密的、或不安全的和/或未加密的。出于说明的目的，PACS数据库112、RIS数据库114、调度数据库116和检查列表数据库118被示出为单独的数据库，但是应当理解，在不脱离本发明教导的范围的情况下，这些数据库中的全部或一些可以被组合和/或被包括在存储器140中。
处理器120可以包括或可访问人工智能引擎，该人工智能引擎可被实施为提供人工智能(例如，深度学习和NLP算法)并应用本文描述的机器学习的软件。AI引擎可以驻留在除了处理器120之外或不同于处理器120的各种部件中的任何部件中，诸如存储器140、外部服务器和/或云。当AI引擎在云中(诸如例如在数据中心处)实施时，AI引擎可以使用一个或多个有线和/或无线连接经由互联网连接到处理器120。
接口122可以包括用于向用户提供由处理器120和/或存储器140输出的信息和数据和/或用于接收由用户输入的信息和数据的用户和/或网络接口。也就是说，接口122使得用户能够输入数据并控制或操纵本文描述的过程的各方面，并且还使得处理器120能够指示用户的控制或操纵的效果。接口122的全部或一部分可以通过图形用户接口(GUI)(诸如下面讨论的可在显示器124上审阅的GUI 128)来实施。接口122可以包括端口、磁盘驱动器、无线天线或其他类型的接收器电路中的一个或多个。接口122还可以连接一个或多个用户接口，诸如鼠标、键盘、轨迹球、操纵杆、麦克风、摄像机、触摸板、触摸屏、由麦克风或摄像机捕获的语音或手势识别。
显示器124(也称为诊断查看器)可以是监测器，例如计算机监测器、电视机、液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器、或阴极射线管(CRT)显示器、或电子白板。显示器124包括用于审阅对象(患者)165的内部图像以及本文描述的各种特征以帮助用户准确且有效地阅读医学图像的屏幕126、以及使得用户能够与所显示的图像和特征交互的GUI 128。例如，用户能够通过创建特定的警报和提醒来个性化下面讨论的GUI 128的各种特征。
参考存储器140，当前图像模块141被配置为接收(和处理)对应于对象165的当前医学图像以便显示在显示器124上。当前医学图像是用户(例如，放射科医师)在阅读工作流程期间当前正在阅读/解读的图像。可以例如在对象的同时成像会话期间从成像设备160接收当前医学图像。替代地，当前图像模块141可以从PACS数据库112检索当前医学图像，所述当前医学图像已经从成像会话被存储但尚未被用户阅读。先前图像模块142从PACS数据库112接收对象165的先前医学图像。可以在屏幕126上联合地或单独地显示当前医学图像和先前医学图像的全部或部分，以使得能够由用户进行分析和视觉比较。当联合显示时，先前和当前医学图像可以彼此配准。
先前放射学报告模块143被配置为从PACS数据库112和/或RIS数据库114检索关于对象165的放射学报告。放射学报告提供对对象165的先前成像的分析和发现，并且可以对应于由先前图像模块142检索的先前医学图像。放射学报告包括关于对象165的信息、关于先前成像会话的细节以及由审阅并分析与放射学报告相关联的(一个或多个)先前医学图像的用户(例如，放射科医师)输入的医学描述性文本。放射学报告的相关部分可以被显示在显示器124上，以便向用户强调可能有助于分析当前医学图像的信息。
服务水平协议(SLA)模块144被配置为从部署***100的设施所使用的或在该设施处的用户的SLA中检索信息，并将病例与适当的用户相匹配。SLA可以存储在SLA模块144处或存储在单独的数据库(未示出)中。例如，SLA包括关于各种用户(放射科医师)的训练、专业和资格的信息。因此，SLA模块144可以通过将研究类型与用户资格匹配来识别用户以执行特定图像审阅会话。替代地或另外地，审阅当前医学图像的用户可以在阅读图像开始时经由接口122输入识别信息，并且SLA模块144使得能够确定用户是否具有适当的资格和许可来执行将要执行的图像审阅的类型。SLA中也可以包括其他信息，例如用户的雇用期限。
图像分割模块145被配置为执行当前医学图像(例如，由当前图像模块141提供)的图像分割，包括一个或多个深度学习算法的执行，并且在显示器124上显示图像分割的结果。使用深度学习算法的当前医学图像的图像分割用于识别当前医学图像的一个或多个感兴趣区域。图像分割是众所周知的，并且可以包括点检测、线检测、边缘检测、阈值处理等，这对于本领域技术人员来说是显而易见的。然后可以将注释在显示器124上叠加在当前医学图像上，指示感兴趣区域，以便吸引用户的注意并评估它们。注释可以包括在视觉上划定和/或识别感兴趣区域的各种标记(诸如圆圈和箭头)、以及描述感兴趣区域的相关文本。例如，图像分割模块145可以在对象165的肺的当前医学图像上定位、标记和圈出所有可能的病变。这帮助用户研究否则可能被忽略的发现。在实施例中，图像分割模块145还可以被配置为自动测量通过分割识别的感兴趣区域。
图像分割模块145还被配置为执行对先前医学图像(例如，由先前图像模块142和/或来自先前放射学报告模块143的(一个或多个)放射学报告提供)的图像分割，包括执行一个或多个深度学习算法，并且在显示器124上显示图像分割的结果。先前图像的图像分割用于从(一个或多个)先前医学图像中提取相关发现。
NLP模块146被配置为使用词嵌入技术(诸如Bio+Clinical BERT)来执行一个或多个NLP算法，例如，以通过处理和分析自然语言数据而从由先前放射学报告模块143提供的(一个或多个)放射学报告中的文本中提取相关发现。NLP是众所周知的，并且可以包括例如语法和语义分析以及深度学习以用于利用数据的累积来改善NLP模块146的理解，这对于本领域技术人员来说是显而易见的。NLP模块147引起所提取的发现与当前医学图像一起被视觉地显示在显示器124上，使得用户被很好地通知并且当前医学图像阅读是彻底且完整的，而没有来自用户的明确输入。例如，由图像分割模块145和NLP模块146提供的过程的全部或部分可以通过AI引擎来实施。
交互式检查列表模块147被配置为从检查列表数据库118检索交互式检查列表，并且在交互式检查列表上与当前医学图像一起显示在显示器124上。检查列表数据库118预先填充有可用的交互式检查列表，每个交互式检查列表可以根据文献和/或临床数据来创建，并且是可定制的。交互式检查列表可以包括供用户在阅读当前医学图像时考虑的多个条目，诸如当前正在阅读的研究类型的可能诊断和误诊的列表。交互式检查列表是双向的，因为它可以由用户经由GUI 128进行修改，如下面所讨论的。例如，用户可以将一个或多个条目添加到交互式检查列表以帮助在未来研究中阅读医学图像。在实施例中，用户不能够从交互式检查列表中移除条目以便为存储在检查列表数据库118中的交互式检查列表中的每个交互式检查列表维护核心条目的集合。
眼睛跟踪模块148被配置为在用户正在阅读图像时跟踪用户的眼睛移动，并且基于用户的注视提供聚焦在屏幕126上和离开屏幕126的指示。使用相机129执行眼睛跟踪，相机129可以是被配置为捕获用户的眼睛移动以确定用户相对于屏幕126的注视的视频相机。例如，当用户正在看屏幕126时，眼睛跟踪模块148基于用户的注视在屏幕126内的计时和方向来识别高聚焦和低聚焦的区域。然后基于所识别的低聚焦区域来确定用户的医学图像感知中的弱点。然后，眼睛跟踪模块148可以经由显示器124提供眼睛跟踪警报，以识别用户的医学图像感知中的所确定的弱点并使用户注意到所确定的弱点，以便改善表现并减少阅读不足。例如，屏幕126的与低聚焦区域相对应的部分可以在视觉上被突出显示以引起用户的注意。例如，屏幕126的对应部分可以闪烁，可以被视觉注释包围，可以提供闪光器，或可以被暂时放大以吸引用户的注视。另外，眼睛跟踪模块148可以引起文本显示在屏幕126上，例如，以警告框的形式，以文字描述屏幕126的包括低聚焦区域的部分。眼睛跟踪模块148还跟踪用户何时以及多长时间远离屏幕126，这可以用作用户分心的指示，下面进行讨论。
用户分心模块149被配置为确定用户的分心水平，并且当所述分心水平超过预定阈值时向用户提供警报。在实施例中，可以生成识别分心水平超过预定阈值多长时间的分心报告。用户分心模块149还被配置为从眼睛跟踪模块148接收关于在用户正在显示器124上阅读当前医学图像时用户远离屏幕126看的跟踪的眼睛移动的方向和计时的信息。分心水平可以基于多个确定，包括例如用户疲劳和用户的注视的方向。
关于用户疲劳，用户分心模块149被配置为访问调度数据库116，以便检索用于确定轮班信息的调度数据，诸如用户轮班的持续时间、用户进入轮班的时间量、一天中的时间以及放射科医师基于登录数据和工作调度在先前的轮班上工作了多少小时。通常，基于增加的疲劳，用户的分心水平被确定为随着用户更长时间进入其轮班、在一天中更晚地工作和/或具有若干先前轮班而其间没有一天休息而增加。在实施例中，分心水平被确定为增加用户阅读和分析当前医学图像所花费的时间更长。
关于用户的注视，分心模块149从眼睛跟踪模块148接收识别在阅读任务期间用户何时远离屏幕126看的信息，并确定用户每次远离屏幕126看的时间量。当用户向外看的次数和/或用户没有看屏幕126的时间长度超过对应阈值时，向用户提供警报。通常，用户的分心水平被确定为增加用户远离屏幕126看更频繁且更长。用户分心模块149还可以被配置为基于远离屏幕126的分心的眼睛移动来确定分心模式。
图2是根据代表性实施例的用于便于用户对显示在包括GUI的显示器上的医学图像的阅读的方法的流程图。例如，该方法可以由上面讨论的***100在执行作为各种软件模块存储在存储器140中的指令的处理器120的控制下实施。
参考图2，在框S211中，利用GUI(例如，通过当前图像模块141)接收并显示对象的当前医学图像。例如，可以直接从医学成像设备/模态(诸如X射线成像设备、CT扫描设备、MR成像设备、PET扫描设备或超声成像设备)接收当前医学图像。这使得用户能够在对象被扫描的同时阅读医学图像。替代地或另外地，可以从数据库(例如PACS数据库)检索当前医学图像，其中，当前医学图像已经在成像流程之后被存储在所述数据库中。对应的医学图像可以显示在兼容的显示器(诸如通常用于阅读放射学研究的诊断查看器)上。
在框S212中，使用深度学习对当前医学图像执行图像分割，以便识别当前医学图像中的至少一个感兴趣区域(例如，通过图像分割模块145)。利用深度学习的图像分割是众所周知的，并且涵盖可以被应用于分析当前医学图像的目的的各种各样的图像处理。分割可以包括例如点检测、线检测、边缘检测、阈值处理等，这对于本领域技术人员来说是显而易见的。另外，注释可以被叠加显示在当前医学图像上，指示由分割识别的感兴趣区域。注释在视觉上吸引用户对感兴趣区域的注意，增加了它们将被用户看到和评估的机会。注释可以包括在视觉上划定和/或识别感兴趣区域的各种标记，诸如圆圈和箭头。注释还可以包括描述感兴趣区域的文本。例如，分割可以定位、标记和圈出对象肺的当前医学图像上的所有可能的结节、病变或其他异常。这有助于用户识别和研究否则可能被忽略的发现。在实施例中，分割还可以实现对由分割识别的感兴趣区域的自动测量。
图像分割可以包括语义分割，例如，根据该语义分割，使用称为U-Net的众所周知的深度学习模型将当前医学图像分割成与当前医学图像中的不同对象相关的部分。通常，U-Net涉及通过进行推断图像中的每个像素的标签的密集预测来实现细粒度推断使得每个像素被标记有其包围对象或区域的类别的语义分割。图像分割帮助用户观察和检查包含在当前医学图像中的器官结构和解剖结构，检测当前医学图像中的一个或多个感兴趣区域(诸如结节、肿瘤、病变或其他异常)，测量各种特征(诸如组织和病变体积)，以便测量病变(或其他异常)尺寸响应于处置的生长或减少，并且在放射治疗、放射剂量计算等之前辅助处置计划。图像分割还可以识别例如预期被更密切地监测的非典型呈现、罕见情况和异常值，因为在这些情况下阅读不足的普遍性更高。
图3是根据代表性实施例的显示器上用于便于用户对医学图像的阅读的图示性GUI的屏幕截图。
参考图3，GUI 301包括在显示器300(例如，诊断查看器)上显示当前医学图像310的图像部分305。如上所述，当前医学图像310可能已经直接从成像设备接收或者从成像数据库检索。在所描绘的示例中，当前医学图像310示出了使用X射线成像采集的对象的肺。除了根据框S212执行的分割之外，例如，已经自动识别对应于肺结节的三个感兴趣区域并使用注释引起用户的注意。第一感兴趣区域311由第一圆312指示，第二感兴趣区域321由第二圆322指示，并且第三感兴趣区域331由第三圆332指示。另外，分割已经实现了对感兴趣区域的自动测量，其由测量箭头和显示在GUI 301上的对应文本指示。在所描绘的示例中，第一感兴趣区域311具有由第一测量箭头313指示的15mm的最长尺寸，第二感兴趣区域321具有由第二测量箭头313指示的5mm的最长尺寸。第三感兴趣区域331具有由第三测量箭头333指示的12.5mm的最长尺寸。
再次参考图2，在框S213中，从成像数据库(诸如PACS数据库)检索对应于对象的先前医学图像(例如，通过先前图像模块142)。在框S214中，如上面参考框S212描述的，使用深度学习模型(诸如U-Net模型)对先前医学图像执行图像分割(例如，通过图像分割模块145)。利用深度学习的图像分割是众所周知的，并且涵盖可以应用于分析先前医学图像的目的的各种各样的图像处理。除了图像分割之外，可以从先前医学图像中提取相关发现，这些发现可以与当前医学图像一起显示在显示器上，而无需来自用户的明确输入。因此，关于对象的成像历史很好地告知用户。例如，用户能够从当前医学图像中的先前医学图像中寻找先前识别的特征，并且比较这些特征以确定随时间的发展，诸如异常的增长或处置的有效性。在实施例中，先前医学图像可以与当前医学图像配准，使得来自先前医学图像的特征可以叠加在当前医学图像上，再次增强用户随时间识别和比较相同特征的能力。
在框S215中，从诸如PACS数据库(例如，PACS数据库112)或RIS数据库(例如，RIS数据库114)的报告数据库检索关于对象的放射学报告(例如，通过先前放射学报告模块143)。通过用户审阅对象的一幅或多幅先前医学图像(例如，包括来自框S213的先前医学图像)来先前准备放射学报告。放射学报告包括描述由用户在报告先前医学图像时做出的发现和印象部分的医学描述性文本，包括异常的识别和随时间的趋势的描述(如果有的话)。在框S216中，(例如，通过NLP模块146)识别并显示放射学报告的相关部分(例如，印象部分)，以便向用户强调可能有助于分析当前医学图像的信息。例如，先前在描述性文本中识别和描述的特定异常可以被提取并叠加显示在当前医学图像上，使得提示用户检查相同的异常，例如，比较异常的进展或其处置。
更具体地，在框S216中，识别来自放射学报告的描述性文本，并且使用已知的NLP算法和深度学习技术提取相关的临床发现。相关临床发现与当前医学图像一起被存储和/或显示在显示器上。NLP算法解析报告中的描述性文本以识别指示相关发现的关键词和关键短语，其是使用众所周知的NLP和深度学习提取技术从放射学报告中提取的。可以自动执行NLP和深度学习提取，而无需来自正在审阅当前医学图像的用户的明确输入。例如，相关的临床发现可以以表格形式显示。
总体而言，关于NLP算法，可以通过应用领域特定的背景嵌入(例如Bio+ClinicalBERT)来提取来自文本的相关数据，例如，以用于从放射学报告中成功地提取诊断。NLP算法可以被包含在流水线中，所述流水线还包含用于将放射学报告分割成部分的基于规则的部分分割器，随后是将放射学报告的发现和印象部分分割成句子的句子解析器。可以将预先训练的Bio+Clinical BERT模型应用于从解析的句子中提取临床短语的任务，并且然后可以将这些临床短语显示给用户。使用深度学习模型(诸如U-Net模型)来划分感兴趣区域的过去图像分割可以与NLP流水线的输出集成，以创建来自先前医学图像和对应的放射学报告的见解的完整图片。
参考图3，GUI 301包括显示使用NLP管道在放射学报告中识别并从放射学报告中提取的相关发现的先前报告部分340。例如，先前报告部分340可以包括临床诊断单词和短语、来自放射学报告的确切引用和/或已经提取的语言的概要。在实施例中，先前报告部分340可以例如包括可以由用户复选以确认所显示的信息已经被阅读和考虑的复选框。
在图2的框S217中，通过从检查列表数据库检索交互式检查列表并将它与当前医学图像一起显示在显示器上(例如，通过交互式检查列表模块147)来实施交互式检查列表。交互式检查列表是可以从存储在检查列表数据库(例如，检查列表数据库118)中的多个可用的交互式检查列表中选择，每个检查列表可以根据文献和/或临床数据创建，并且是可定制的。交互式检查列表可以包括供用户在阅读当前医学图像时考虑的多个条目，诸如针对正在阅读的研究的类型的可能诊断和误诊的列表，以便帮助减少放射学诊断中的阅读不足错误。例如，交互式检查列表可以列出特定于胸部检查的要审阅和分析的条目(如图3所示)，诸如例如肺叶实变、弥漫性实变、多灶性不明确实变、网状间质性混浊、细结节间质性混浊、孤立性肺结节和多个肿块。在实施例中，用户能够经由GUI核对清单上的条目以指示完成。
此外，交互式检查列表是双向的，因为它可由用户经由GUI修改，使得用户能够将一个或多个条目添加到交互式检查列表，以帮助在未来研究中阅读医学图像。为此目的，经修改的交互式检查列表可以被存储在检查列表数据库中，并且可以由做出修改的特定用户和/或由能够访问***的所有用户检索。同样地，用户可以创建新的交互式检查列表。在实施例中，防止用户从交互式检查列表中移除现有条目以确保医学图像审阅的最低水平。当然，可以在管理水平上从交互式检查列表中移除条目，确保所有用户在必要时接收相同的检查列表。
参考图3，GUI 301包括交互式检查列表350，交互式检查列表350与当前医学图像310一起显示。交互式检查列表350提供与要由用户考虑的条目相对应的行条目、以及在完成行条目中的每个行条目时由用户经由GUI 301物理检查的相关联的复选框。在实施例中，用户能够选择GUI 301上的下拉菜单(未示出)的交互式检查列表。
在图2的框S218中，跟踪用户的眼睛移动(例如，通过眼睛跟踪模块148)，并且如果需要，可以显示眼睛跟踪的结果以供用户调整行为。可以使用指向用户面部的相机(例如，相机129)(诸如视频相机)来执行跟踪用户的眼睛移动。使用众所周知的眼睛跟踪技术分析由相机捕获的图像，以确定在图像阅读过程期间朝向显示器和远离显示器的用户的注视的方向。然后，例如，当用户正在审阅当前医学图像时，所跟踪的眼睛移动可以用于识别高聚焦和低聚焦的区域。基于所识别的高聚焦和低聚焦区域来确定用户的医学图像感知中的弱点，并且通过眼睛跟踪警报引起用户的注意。另外，医学图像感知中的所识别的弱点可以作为示出覆盖和错过区域的扫描路径、作为扫描模式和/或作为分心和空闲的持续时间的度量在显示器上呈现给用户。所跟踪的眼睛移动还可以用于确定用户分心，特别是通过确定用户在阅读图像时视线离开显示器的实例和每个实例的持续时间，如下面讨论的。
在实施例中，可以基于所确定的用户医学图像感知和/或扫描路径中的弱点来显示至少一个眼睛跟踪警报，以便向用户警告用户未充分聚焦的当前医学图像的区域，从而改善表现并减少当前医学图像的阅读不足。例如，参考图3，可以在GUI 301上呈现或视觉上突出显示与低聚焦区域相对应的低聚焦区域370，以吸引用户的注意力。在所描绘的实施例中，低聚焦区域370被虚线框375包围，以引导用户在低聚焦区域370的方向上观看。虚线框375可以以各种颜色示出和/或可以以吸引用户注意的方式闪烁。在替代实施例中，可以通过改变当前医学图像310本身的特性来突出显示低聚焦区域370。例如，当前医学图像310的与低聚焦区域370相对应的部分可以被暂时放大或在屏幕的该部分上闪烁或闪烁以吸引用户的注视。替代地或另外地，GUI 201可以例如在警告框(未示出)中显示文本，以文字描述当前医学图像310的被识别为低聚焦区域的部分。
在框S219中，确定用户的分心水平，并且当所述分心水平超过预定阈值时向用户提供警报(例如，通过用户分心模块149)。在实施例中，可以生成识别分心水平超过预定阈值多长时间的分心报告，该分心报告可以被存储和/或显示给用户。可以基于多个因素来确定分心水平，诸如确定用户正在经历的疲劳的可能水平和/或用户的注视的方向。
关于用户疲劳，确定分心水平包括从调度数据库检索调度数据，并且基于登录数据和来自检索到的数据的工作调度来确定用户轮班的持续时间、用户进入轮班的时间量、一天中的时间以及用户在先前轮班中工作了多少小时。通常，预期疲劳在几天工作之后的用户轮班后期以及当天晚些时候出现。因此，分心水平与持续时间、进入轮班的时间、一天中的时间和用户已经工作的连续天数成正比地变化。因此，例如，用户在当前轮班中工作的时间越长，用户可能越分心。确定分心水平还可以包括计算用户阅读当前医学图像所花费的时间量，其中，分心水平与阅读当前医学图像所花费的时间量成正比地变化。也就是说，用户阅读当前医学图像所花费的时间越长，用户可能越分心。计算用户阅读当前医学图像所花费的时间量可以包括确定打开和关闭GUI上显示的当前医学图像之间的第一时间，并且确定开始与结束关于当前医学图像的口述之间的第二时间。
在不脱离本教导的范围的情况下，可以以各种形式中的任何一种形式向用户提供关于提高的分心水平的警报。例如，当所述分心水平超过预定阈值时，可以在GUI 301上显示视觉符号，诸如图3中所示的警报符号360，并且当分心水平低于预定阈值时不显示。或，视觉警报符号可以以不同的颜色显示，这取决于是否已经超过预定阈值，其中，绿色指示没有分心或可接受的分心水平，并且红色指示过度的分心水平。在替代实施例中，分心水平被指示为对应于所确定的分心水平的连续体，诸如虚拟仪表或变化的颜色。
关于用户的注视，当用户在研究期间阅读当前医学图像时，基于在框S218中执行的眼睛跟踪来确定分心水平，以便识别用户的空闲，其是用户远离当前医学图像和/或视线离开显示器的时间。用户可以响应于常见的中断而向外看，诸如去另一个监测器以访问电子病历(EMR)以获得临床数据，处理来自技术人员或转诊者的电话呼叫。基于对用户眼睛移动的跟踪，可以确定用户视线离开显示器的次数以及这些时间中的每个的长度。当用户视线离开的次数和/或用户未看显示器的时间量超过对应阈值时，向用户提供眼睛跟踪警报，诸如图3中所示的警报符号365或类似警报。或，相同的警报符号360可以用于眼睛跟踪警报。例如，当用户的眼睛移动指示用户在一分钟内看着远离显示器超过两次时，以便检索文本消息或快速电话呼叫，例如，在显示器上提供分心警报。此外，当用户的眼睛移动指示用户视线离开显示器超过45秒(其是来自技术人员/参考人员的亲自中断或看向另一个监测器以进行EMR访问的平均时间)时，在显示器上提供分心警报。
另外，从眼睛跟踪确定的高聚焦和低聚焦区域也可用于确定分心模式。例如，可以将所显示的当前医学图像的整体划分为扇区或预定大小，并且针对每个扇区识别分心水平(例如，高、低或中等焦点)，从而创建分心模式。在这种情况下，用户的分心水平是根据分心模式的。眼睛移动跟踪使得能够覆盖充分记录的、放射科医师报告的、常见的盲点和图像中的妨碍图像解读的通常被忽视的区域，诸如肺顶点、射线照片的边缘和角落、以及肌肉骨骼病理异常，其例如在胸部射线照片上经常被阅读不足。
在框S220中，通过从人员数据库检索SLA(例如，通过SLA模块144)、分析来自SLA的关于用户的相关信息来实施服务水平协议(SLA)。例如，SLA可以用于至少部分地基于SLA中指示的用户的专长来初始地将成像研究与用户匹配，并且相应地通过紧急性来分配病例或对病例进行优先级排序。例如，用户可以登录GUI以开始阅读。基于登录信息(例如，用户ID、雇员标识号)，从人员数据库检索对应的SLA并进行分析以确定哪些成像研究匹配以及用户。然后，与这些成像研究相对应的当前医学图像被自动检索并呈现给用户。
图2中所示的各个步骤的顺序是为了说明的目的而提供的，并且可以在不脱离本教导的范围的情况下进行改变。可以将用户遵循的所有步骤记录在存储器中以供将来参考。
根据本公开的各种实施例，可以使用执行软件程序的硬件计算机***来实施本文描述的方法。另外，在示例性的非限制性实施例中，实施方式可以包括分布式处理、部件/对象分布式处理和并行处理。虚拟计算机***处理可以实施如本文描述的方法或功能中的一个或多个，并且本文描述的处理器可以用于支持虚拟处理环境。
尽管已经参考若干示例性实施例描述了便于医学图像的阅读，但是应当理解，已经使用的词语是描述和图示的词语，而不是限制性的词语。可以在所附权利要求的范围内进行改变，如目前陈述和修改的，而在其各个方面中不脱离介入程序优化的范围和精神。尽管已经参考具体器件、材料和实施例描述了便于医学图像的阅读，但是便于医学图像的阅读并不旨在限于所公开的细节；而是便于医学图像的阅读扩展到所有功能上等同的结构、方法和用途，诸如在所附权利要求的范围内的。
本文描述的实施例的图示旨在提供对各种实施例的结构的总体理解。这些图示并非旨在作为本文描述的公开的所有元件和特征的完整描述。在阅读了本公开后，许多其他实施例对于本领域技术人员而言是显而易见的。可以利用其他实施例并从本公开中得出其他实施例，使得可以在不脱离本公开的范围的情况下做出结构和逻辑替换和改变。另外，图示仅仅是代表性的，并且可以不按比例绘制。图示中的某些比例可能被夸大，而其他比例可能被最小化。因此，本公开和附图应被视为图示性的而非限制性的。
本文仅仅出于方便通过术语“发明”个体地和/或共同地在本文中提及本公开的一个或多个实施例，而不旨在将本申请的范围自愿地限制于任何特定发明或发明构思。此外，尽管本文已经图示并描述了特定实施例，但应意识到，经设计以实现相同或类似目的的任何后续布置替代所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有后续修改或变化。在阅读了本说明书之后，上述实施例以及本文未具体描述的其他实施例的组合对于本领域技术人员而言将是显而易见的。
本公开的摘要被提供为符合37C.F.R.§1.72(b)并且以以下理解被提交，即其不会用于解释或限制权利要求的范围或含义。此外，在前面的具体实施方式中，各种特征可以组合在一起或在单个实施例中描述，以用于简单化本公开的目的。本公开内容不应被解释为反映所要求保护的实施例需要比每个权利要求中明确记载的更多特征的意图。而是，如以下权利要求所反映的，发明主题可以涉及少于任何所公开的实施例的所有特征。因此，以下权利要求被并入具体实施方式中，每个权利要求自身作为定义单独要求保护的主题。
所公开的实施例的先前描述被提供为使本领域技术人员能够实践本公开中所描述的概念。这样一来，以上公开的主题要被认为是图示性的而非限制性的，并且权利要求旨在覆盖落入本公开的真实精神和范围内的所有这样的修改、增强和其他实施例。因此，在法律允许的最大范围内，本公开的范围要由权利要求及其等价方案的最宽泛的可允许解释来确定，并且不应受前述详细描述的约束或限制。

Claims (20)

1.一种便于用户对显示在包括图形用户接口(GUI)的显示器上的医学图像的阅读的方法，所述方法包括：
接收对象的当前医学图像，并且在所述显示器上显示所述当前医学图像以供所述用户执行图像阅读；
使用深度学习算法执行对所述当前医学图像的图像分割以识别至少一个感兴趣区域，并且在所述显示器上在所述当前医学图像上显示指示所述至少一个感兴趣区域的至少一个注释；
从图片存档及通信***(PACS)数据库检索所述对象的先前医学图像；
从所述PACS数据库或放射学信息***(RIS)数据库检索关于所述对象的放射学报告，所述放射学报告包括描述性文本；
使用所述深度学习算法对所述先前医学图像执行图像分割以提取相关发现，并且在具有所述当前医学图像的所述显示器上显示所述相关发现；
使用使用词嵌入技术对所述描述性文本执行自然语言处理(NLP)以提取相关发现，并且在具有所述当前医学图像的所述显示器上显示所述相关发现；
从检查列表数据库检索交互式检查列表，所述交互式检查列表包括供所述用户在审阅所述当前医学图像时考虑的多个条目，并且在所述显示器上显示所述交互式检查列表与所述当前医学图像，其中，所述交互式检查列表能够由所述用户经由所述GUI修改以便将一个或多个条目添加到所述交互式检查列表，同时防止从所述交互式检查列表中移除现有条目；以及
确定所述用户的分心水平，并且当所述分心水平超过预定阈值时向用户提供警报，并且生成识别所述分心水平超过所述预定阈值多长时间的报告。
2.根据权利要求1所述的方法，其中，确定所述用户的所述分心水平包括：
从调度数据库检索关于所述用户的调度的调度数据，并且确定所述用户已经工作的持续时间，其中，所述分心水平与所述用户已经工作的所述持续时间成比例地变化；并且
计算阅读所述当前医学图像所花费的时间量，其中，所述分心水平与阅读所述当前医学图像所花费的所述时间量成比例地改变，
其中，计算阅读所述当前医学图像所花费的所述时间量包括确定打开与关闭所述当前医学图像之间的第一时间以及开始与结束关于所述当前医学图像的口述之间的第二时间。
3.根据权利要求1所述的方法，还包括：
在阅读所述当前医学图像时跟踪所述用户的眼睛移动；
基于所跟踪的眼睛移动来识别高聚焦区域和低聚焦区域；并且
基于所识别的低聚焦区域在显示器上实施至少一个眼睛跟踪警报，以改善表现并减少阅读不足。
4.根据权利要求3所述的方法，其中，所述至少一个眼睛跟踪警报在所述显示器上被呈现为示出覆盖和错过区域的扫描路径、扫描图案或分心和空闲的持续时间的量度。
5.根据权利要求3所述的方法，其中，确定所述用户的分心水平还包括：
基于所跟踪的所述用户的眼睛移动来确定所述用户目光离开所述显示器的次数和每次所述用户目光离开的时间的长度，以及
当所述用户目光离开的次数或每次所述用户目光离开的时间的长度超过对应阈值时，在所述显示器上实施至少一个眼睛跟踪警报。
6.根据权利要求3所述的方法，其中，确定所述用户的所述分心水平还包括：
基于所跟踪的眼睛移动来确定分心模式，其中，所述用户的所述分心水平是根据所述分心模式的。
7.根据权利要求1所述的方法，还包括：
从个人数据库检索服务水平协议，并且至少部分地基于在所述服务水平协议中指示的所述用户的专长来初始地将所述当前医学图像与所述用户进行匹配。
8.根据权利要求1所述的方法，其中，对所述当前医学图像的所述图像分割包括U-Net模型。
9.根据权利要求1所述的方法，其中，NLP流水线的所述词嵌入技术包括Bio+ClinicalBERT。
10.一种用于便于由用户对医学图像的阅读的***，所述***包括：
显示器，其包括用于与用户接口连接的图形用户接口(GUI)；
处理器，其与所述显示器通信；以及
非瞬态存储器，其存储指令，所述指令在由所述处理器执行时使所述处理器：
接收对象的当前医学图像，并且使所述当前医学图像被显示在所述显示器上以供所述用户执行图像阅读；
使用深度学习算法执行对所述当前医学图像的图像分割以识别至少一个感兴趣区域，并且使指示所述显示器上的所述至少一个感兴趣区域的至少一个注释被显示在所述当前医学图像上；
从图片存档及通信***(PACS)数据库检索所述对象的先前医学图像；
从所述PACS数据库或放射学信息***(RIS)数据库检索关于所述对象的放射学报告，所述放射学报告包括描述性文本；
使用所述深度学习算法对所述先前医学图像执行图像分割以提取相关发现，并且在具有所述当前医学图像的所述显示器上显示所述相关发现；
使用词嵌入技术对所述描述性文本执行自然语言处理(NLP)以提取相关发现，并且使所述相关发现被显示在具有所述当前医学图像的所述显示器上；
从检查列表数据库检索交互式检查列表，所述交互式检查列表包括供所述用户在审阅所述当前医学图像时考虑的多个条目，并且使所述交互式检查列表被显示在具有所述当前医学图像的所述显示器上，其中，所述交互式检查列表能够由所述用户经由所述GUI修改以便将一个或多个条目添加到所述交互式检查列表，同时防止从所述交互式检查列表中移除现有条目。
11.根据权利要求10所述的***，还包括相机，所述相机与所述处理器通信，并且被配置为在阅读所述当前医学图像时捕获所述用户的眼睛移动以确定所述用户相对于所述显示器的注视，
其中，所述指令还引起所述处理器：
基于所跟踪的眼睛移动来识别高聚焦区域和低聚焦区域；并且
基于所识别的低聚焦区域在所述显示器上实施至少一个眼睛跟踪警报，以改善表现并减少阅读不足。
12.根据权利要求11所述的***，其中，所述至少一个眼睛跟踪警报在所述显示器上被呈现为示出覆盖和错过区域的扫描路径、扫描图案或分心和空闲的持续时间的量度。
13.根据权利要求11所述的***，其中，所述指令还使所述处理器：
确定所述用户的分心水平；
当所述分心水平超过预定阈值时向用户提供警报；并且
生成识别所述分心水平超过所述预定阈值多长时间的报告。
14.根据权利要求13所述的***，其中，确定所述用户的所述分心水平包括：
从调度数据库检索关于所述用户的调度的调度数据；
确定所述用户已经工作的持续时间，其中，所述分心水平与所述用户已经工作的所述持续时间成比例地变化；以及
计算阅读所述当前医学图像所花费的时间量，其中，所述分心水平与阅读所述当前医学图像所花费的所述时间量成比例地改变。
15.根据权利要求13所述的***，其中，确定所述用户的所述分心水平还包括：
基于所跟踪的所述用户的眼睛移动来确定所述用户目光离开所述显示器的次数和每次所述用户目光离开的时间的长度，并且
当所述用户目光离开的次数或所述用户目光离开的时间长度超过对应阈值时，在所述显示器上实施至少一个眼睛跟踪警报。
16.根据权利要求13所述的***，其中，确定所述用户的所述分心水平还包括：
基于所跟踪的眼睛移动来确定分心模式，其中，所述用户的分心水平是根据所述分心模式的。
17.根据权利要求10所述的***，其中，所述指令还使所述处理器：
从个人数据库检索服务水平协议，并且
至少部分地基于在所述服务水平协议中指示的所述用户的专长来初始地将所述当前医学图像与所述用户进行匹配。
18.根据权利要求10所述的***，其中，对所述当前医学图像的所述图像分割包括U-Net模型，并且
其中，NPL流水线的所述词嵌入技术包括Bio+Clinical BERT。
19.根据权利要求10所述的***，其中，所述当前图像是从所述PACS数据库检索的。
20.根据权利要求10所述的***，其中，所述当前图像是从对所述对象进行成像的成像设备检索的。
CN202180088759.8A 2021-01-01 2021-12-28 用于便于医学图像的阅读的方法和*** Pending CN116709986A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163133263P 2021-01-01 2021-01-01
US63/133,263 2021-01-01
PCT/EP2021/087735 WO2022144360A1 (en) 2021-01-01 2021-12-28 Method and system for facilitating reading of medical images

Publications (1)

Publication Number Publication Date
CN116709986A true CN116709986A (zh) 2023-09-05

Family

ID=79731193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180088759.8A Pending CN116709986A (zh) 2021-01-01 2021-12-28 用于便于医学图像的阅读的方法和***

Country Status (4)

Country Link
US (1) US20240087724A1 (zh)
EP (1) EP4272221B1 (zh)
CN (1) CN116709986A (zh)
WO (1) WO2022144360A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024120958A1 (en) * 2022-12-09 2024-06-13 Koninklijke Philips N.V. Method, system, and computer program element for controlling an interface displaying medical images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002311B1 (en) * 2017-02-10 2018-06-19 International Business Machines Corporation Generating an enriched knowledge base from annotated images
JP7341874B2 (ja) * 2018-12-26 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11423538B2 (en) * 2019-04-16 2022-08-23 Covera Health Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers

Also Published As

Publication number Publication date
WO2022144360A1 (en) 2022-07-07
EP4272221A1 (en) 2023-11-08
EP4272221B1 (en) 2024-04-03
US20240087724A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
Richardson et al. Noninterpretive uses of artificial intelligence in radiology
US11457871B2 (en) Medical scan artifact detection system and methods for use therewith
JP6053749B2 (ja) 画像捕捉及び／又は画像関連パラメータの推薦装置
RU2687760C2 (ru) Способ и система компьютерной стратификации пациентов на основе сложности случаев заболеваний
JP6215227B2 (ja) イメージング検査プロトコル更新推奨部
JP2019093137A (ja) 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法
US11462318B2 (en) Method and system for computer-aided triage of stroke
Den Boer et al. Volumetric image interpretation in radiology: scroll behavior and cognitive processes
EP4185193A1 (en) Method and system for computer-aided aneurysm triage
US20210142480A1 (en) Data processing method and apparatus
EP4272221B1 (en) Method and system for facilitating reading of medical images
US20120070811A1 (en) Systems and methods for measuring and manipulating a radiologist's exam sensitivity and specificity in real time
US10839299B2 (en) Non-leading computer aided detection of features of interest in imagery
US11869654B2 (en) Processing medical images
CN115280420A (zh) 放射科医生指纹
US20210217535A1 (en) An apparatus and method for detecting an incidental finding
Pershin et al. Contrastive Learning Approach to Predict Radiologist's Error Based on Gaze Data
US20200327981A1 (en) Medical information processing system
CN117321700A (zh) 用于促进放射学报告中的描述符的一致使用的方法和***
WO2024120958A1 (en) Method, system, and computer program element for controlling an interface displaying medical images
van Nistelrooij et al. Detecting Mandible Fractures in CBCT Scans Using a 3-Stage Neural Network
CN117981004A (zh) 用于数据采集参数推荐和技术人员训练的方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination