CN112969402B - 内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法 - Google Patents

内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN112969402B
CN112969402B CN201880099100.0A CN201880099100A CN112969402B CN 112969402 B CN112969402 B CN 112969402B CN 201880099100 A CN201880099100 A CN 201880099100A CN 112969402 B CN112969402 B CN 112969402B
Authority
CN
China
Prior art keywords
image
image processing
processing apparatus
external
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880099100.0A
Other languages
English (en)
Other versions
CN112969402A (zh
Inventor
谷口胜义
神田大和
窪田明广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112969402A publication Critical patent/CN112969402A/zh
Application granted granted Critical
Publication of CN112969402B publication Critical patent/CN112969402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

图像处理装置具有：内部图像处理部，其对输入的图像进行图像处理；以及选择处理部，其进行用于针对与外部网络连接的外部图像处理装置选择并发送所述输入的图像的一部分的选择处理。

Description

内窥镜***以及用于内窥镜***的图像处理装置和图像处理 方法
技术领域
本发明涉及能够与网络上的装置进行协作处理的内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法。
背景技术
以往，开发了一种计算机诊断辅助(Computer Aided Diagnosis：CAD)，其通过对医疗用图像的图像处理，提供病状的估计结果等辅助信息，该辅助信息是通过在定量的判断尺度的提供/诊断时应该关注的微细构造的确定/图像分析而得到的。CAD例如用于对X射线图像的诊断等。
另外，近年来还发表了针对来自内窥镜的动态图像显示病变部候选的位置或显示鉴别信息的CAD。为了在CAD中显示鉴别信息，需要大量的计算。因此，例如仅以手术室配置的***，从运算能力等方面来看，有时无法利用CAD进行可靠的诊断处理、或者有时为了进行可靠的诊断而需要大量的时间。因此，考虑了经由网络向处理能力高的外部设备传送图像信息等，而在外部设备中进行诊断处理等的情况。
在该情况下，也考虑执行图像的编码处理以减少传送量。例如，在日本特开2008-124591号中公开了如下技术：在具有多个照相机的监视照相机***中，通过对图像信息进行编码以减少经由网络在***中流动的图像信息，从而减少要传送的数据量。
但是，即使采用日本特开2008-124591号的方案对信息进行压缩并传送，也存在无法充分减少传送量的问题。
本发明的目的在于，提供通过选择向外部设备传送的图像信息而能够充分减少向外部设备的传送量的内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法。
发明内容
用于解决课题的手段
本发明的一个方式的用于内窥镜***的图像处理装置具有：内部图像处理部，其对输入的图像进行包含病变部候选的检测和所述病变部候选的鉴别中的至少一方的图像处理；选择处理部，其进行用于针对与外部网络连接的外部图像处理装置选择并发送所述输入的图像的一部分的选择处理；以及接口，其接收所述外部图像处理装置进行的所述病变部候选的检测和所述病变部候选的鉴别中的至少一方的处理结果。
本发明的一个方式的内窥镜***具有所述用于内窥镜***的图像处理装置和所述外部图像处理装置。
本发明的一个方式的用于内窥镜***的图像处理方法对输入的图像进行包含病变部候选的检测和所述病变部候选的鉴别中的至少一方的图像处理；进行用于针对与外部网络连接的外部图像处理装置选择并发送所述输入的图像的一部分的选择处理；以及接收所述外部图像处理装置进行的所述病变部候选的检测和所述病变部候选的鉴别中的至少一方的处理结果。
附图说明
图1是示出本发明的第1实施方式的使用了图像处理装置的内窥镜***的说明图。
图2是示出内部图像处理装置4的具体结构的一例的框图。
图3是示出本发明的第2实施方式的框图。
图4是示出图3中的选择部15的具体结构的一例的框图。
图5是用于说明第1实施方式的动作的流程图。
图6是示出本发明的第3实施方式的框图。
图7是示出本发明的第4实施方式的框图。
图8是示出图7中的图像处理部22的具体结构的一例的框图。
图9是用于说明第4实施方式的动作的流程图。
图10是示出本发明的第5实施方式的框图。
图11是示出本发明的第6实施方式的框图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细说明。
(第1实施方式)
图1是示出本发明的第1实施方式的使用了图像处理装置的内窥镜***的说明图。
本实施方式的内窥镜***由配置在外部网络的内侧的内部图像处理装置和可以通过内部图像处理装置经由外部网络进行访问的外部图像处理装置构成。通常，与外部网络连接的外部图像处理装置与内部图像处理装置相比，处理能力高，大多容易进行高精度处理，与此相对，配置在外部网络的内侧的内部图像处理装置能够提早了对外部网络的访问和数据传送所需的时间而进行处理，其结果为，有时能够进行高速处理、实时处理。
在本实施方式中，考虑到这样的内部图像处理装置和外部图像处理装置的优点，通过选择性地进行用于处理的图像信息等向外部图像处理装置的传送，能够在减少传送量的同时根据需要确保实时性、高速性，并且能够进行详细且可靠性高的可靠的处理。
在本实施方式中，作为成为图像处理的对象的图像，以来自内窥镜的动态图像为例进行了说明，但本实施方式不限于内窥镜图像等医疗图像，可以应用于对各种动态图像进行处理的情况。另外，以采用医疗图像作为应用对象的图像并进行诊断处理等作为图像处理的装置为例进行了说明，但图像处理的种类没有特别限定，可以应用于各种图像处理。
在图1中，内窥镜1具有***到体腔内的未图示的细长的***部，在***部的基端部连接设置有供操作者进行操作的操作部(未图示)。通用线缆2从该操作部延伸出并与中央处理器3连接。在内窥镜1的***部的前端部配设有用于对观察对象进行照明的照明透镜，经由照明透镜向被摄体照射照明光。来自被摄体的反射光经由设置在***部的前端的物镜而被取入到***部，并入射到设置在内窥镜1中的由CCD、CMOS传感器等构成的摄像部。摄像部将基于被摄体光学像的摄像信号经由通用线缆2输出到中央处理器3。
中央处理器3对来自内窥镜1的摄像信号实施规定的信号处理，生成可显示在监视器5上的形式的内窥镜图像。中央处理器3将生成的内窥镜图像(医疗图像)输出到内部图像处理装置4。另外，示出了在内部图像处理装置4中仅输入由内窥镜1得到的内窥镜图像的例子，但也可以输入来自多个内窥镜的图像、来自超声波内窥镜的图像等多种医疗图像。
内部图像处理装置4能够通过对输入的医疗图像的图像分析来进行诊断辅助。例如，内部图像处理装置4能够根据医疗图像来检测病变部候选。另外，例如内部图像处理装置4可以对检测出的病变部候选进行是良性还是恶性等的鉴别。
在内部图像处理装置4对病变部候选的检测、鉴别中，可以采用公知的各种方法。例如，内部图像处理装置4也可以通过使用了AI的机器学习来进行病变部候选的检测、鉴别。例如，内部图像处理装置4也可以通过使用病变部的图像、不是病变部的图像等大量的学习用图像进行深度学习，生成用于根据医疗图像进行病变部候选的检测、鉴别的推理模型。在该情况下，内部图像处理装置4能够输出是病变部候选的概率、鉴别的概率的信息。
另外，作为在机器学习中采用的网络，也可以采用公知的各种网络。例如可以使用利用了CNN(Convolution Neural Network：卷积神经网络)的R-CNN(Regions with CNNfeatures：具有卷积神经网络特征的区域)、FCN(Fully Convolutional Networks：完全卷积网络)等。另外，不限于深度学习，也可以采用公知的各种机器学习的方法来取得推理模型。
另外，内部图像处理装置4也可以通过机器学习以外的方法，根据医疗图像进行病变部候选的检测、鉴别。例如，内部图像处理装置4也可以通过对医疗图像的图像分析，对颜色、突起部等的形状、表面形状等判定各像部分，从而进行病变部候选的检测、鉴别。
内部图像处理装置4可以访问外部网络6，可以与连接在外部网络6上的外部图像处理装置7之间进行信息的收发。另外，外部网络6可以是例如因特网等公共网络，也可以是院内网络等。
外部图像处理装置7具有与内部图像处理装置4同样的功能，能够在比较短的时间内进行精度比内部图像处理装置4高的处理。例如，在通过机器学习来实现外部图像处理装置7的诊断功能的情况下，外部图像处理装置7使用更大量的图像来进行机器学习，有可能以比内部图像处理装置4高的可靠度进行高精度的诊断。另外，外部图像处理装置7不限于通过一台计算机来实现功能，也可以通过进行分散处理的多台计算机来实现功能，另外，也可以实现提供各种功能作为因特网上的服务的云计算。
内部图像处理装置4不仅在本机中进行诊断，还可以对外部图像处理装置7发送图像信息等来委托诊断等。在该情况下，在本实施方式中，内部图像处理装置4选择输入的图像信息中的要向外部图像处理装置7提供的图像信息等，并仅将一部分的图像信息输出到外部图像处理装置7。外部图像处理装置7能够按照内部图像处理装置4的请求，实施对接收到的图像信息的诊断，并将诊断结果经由外部网络6发送到内部图像处理装置4。
内部图像处理装置4能够将来自中央处理器3的医疗图像输出到监视器5。另外，内部图像处理装置4能够产生用于显示本机的诊断结果和外部图像处理装置7的诊断结果的监视器输出，并输出到监视器5。另外，内部图像处理装置4可以在来自中央处理器3的医疗图像上叠加诊断结果并显示在监视器5上。
在本实施方式中，内部图像处理装置4根据来自外部的选择信号，进行要向外部图像处理装置7提供的图像信息的选择。作为来自外部的选择信号，例如可以使用基于内窥镜1的操作的信号。
例如，在内窥镜1的操作部配设有用于静态图像拍摄的释放开关、用于静态图像显示的冻结开关等。认为在手术医生判断为例如应仔细观察的情况下操作释放开关或冻结开关。因此，当操作释放开关、冻结开关等时，可以将基于该操作的操作信号作为图像信息的输出目的地的选择信号提供给内部图像处理装置4。当内部图像处理装置4被输入了基于释放开关、冻结开关等的操作的选择信号时，将通过该操作指定的静态图像经由外部网络6提供给外部图像处理装置7。
另外，在内窥镜1中，不仅可以进行使用了可见光的普通光观察(白色光观察：White Light Imaging：WLI)，也可以进行窄带光观察(Narrow Band Imaging：NBI)、荧光观察等特殊光观察。在内窥镜1的操作部上还配设有用于选择普通光观察和特殊光观察的开关，可以将基于该开关的操作的操作信号作为图像信息的输出目的地的选择信号提供给内部图像处理装置4。在该情况下，内部图像处理装置4在本机中使用在普通光观察时输入的图像信息，当被输入了基于指定特殊光观察的操作的选择信号时，将输入的图像经由外部网络6提供给外部图像处理装置7。
另外，作为操作的一例而列举出观察模式的切换时，但例如也可以采用放大图像的操作信号等那样的要仔细注意观察图像的操作作为选择信号。另外，对于图像停止了一定时间以上的情况等，也可以将其检测出来而作为选择信号。
另外，关于基于内窥镜1的操作的操作信号，可以暂时提供给中央处理器3，从中央处理器3作为选择信号提供给内部图像处理装置4，另外，也可以从内窥镜1直接提供给内部图像处理装置4。
另外，在检查室内配设有各种医疗设备，例如，也可以将基于切换电手术刀、脚踏开关等医疗设备的接通、断开的开关操作的信号作为选择信号，提供给内部图像处理装置4。在该情况下，例如可以进行将脚踏开关使用时的图像信息传送给外部图像处理装置7等选择处理。
图2是示出这样的内部图像处理装置4的具体结构的一例的框图。
内部图像处理装置4由开关11、图像诊断处理部12以及接口13构成。来自中央处理器3的医疗图像等输入到作为选择处理部的开关11，该开关11根据选择信号将输入的医疗图像输出到接口13或输出到图像诊断处理部12。作为内部图像处理部的图像诊断处理部12对输入的医疗图像执行采用了上述的机器学习、其他方法的诊断处理，并将诊断结果作为监视器输出而输出到监视器5。接口13可以在内部图像处理装置4的内部与外部网络6之间进行信息的收发，将来自开关11的医疗图像等经由外部网络6发送到外部图像处理装置7，并且可以经由外部网络6接收来自外部图像处理装置7的信息并提供给图像诊断处理部12。
接下来，对这样构成的实施方式的动作进行说明。
现在，将内窥镜1***被检体，使用内窥镜图像进行被检体内的病变部的检测和鉴别。手术医生将未图示的***部***到未图示的被检体内。内窥镜1将通过被检体内的拍摄而获取的摄像信号输出到中央处理器3。中央处理器3生成基于来自内窥镜1的摄像信号的内窥镜图像，并输出到内部图像处理装置4。
内部图像处理装置4例如通过图2的开关11，将输入的内窥镜图像提供给图像诊断处理部12。图像诊断处理部12可以将输入的内窥镜图像提供给监视器5，并显示在监视器5的显示画面上。另外，图像诊断处理部12实施针对内窥镜图像的诊断处理，并将诊断结果作为监视器输出而提供给监视器5。由此，在监视器5的显示画面上，与来自中央处理器3的内窥镜图像一起显示图像诊断处理部12的诊断结果。
图像诊断处理部12由于处理性能的限制，在针对内窥镜图像的实时处理中，不一定能够实施正确且高精度的诊断。因此，图像诊断处理部12主要仅进行例如病变部候选的检测。图像诊断处理部12例如实施利用了机器学习等的诊断处理，检测在内窥镜图像中是否存在病变部候选。当在内窥镜图像中检测出病变部候选时，图像诊断处理部12将检测结果作为监视器输出而输出到监视器5。这样，在监视器5的显示画面上，与内窥镜图像一起在内窥镜图像上叠加表示检测出病变部候选的显示和表示病变部候选的位置的显示。
手术医生根据监视器5的显示，识别检测出病变部候选的情况。于是，手术医生为了可靠地检测、鉴别病变部，一边在内窥镜1的摄影范围内捕捉该病变部候选，一边进行例如释放开关操作。通过该操作，内窥镜1将静态图像的摄像信号输出到中央处理器3，中央处理器3将静态图像输出到内部图像处理装置4。另一方面，将基于释放开关操作的操作信号作为选择信号提供给内部图像处理装置4的开关11。由此，开关11将包含输入的病变部候选位置的内窥镜静态图像的输出目的地变更为接口13。这样，包含病变部候选位置的内窥镜静态图像从接口13经由外部网络6被输出到外部图像处理装置7。
另外，对在检测出病变部候选后通过用户按下释放开关将图像发送到外部图像处理装置的例子进行了说明，但也可以将病变部候选的检测本身作为触发来发送图像。
外部图像处理装置7对输入的内窥镜静态图像实施诊断处理。外部图像处理装置7可以进行高性能处理，有时能够实施正确且高精度的诊断。外部图像处理装置7通过对包含病变部候选的静态图像的诊断处理，来判定病变部候选是否是病变部，并且如果可能的话，则进行病变部的鉴别。外部图像处理装置7将病变部的检测结果和鉴别结果经由外部网络6输出到内部图像处理装置4。
内部图像处理装置4的接口13接收来自外部图像处理装置7的诊断结果并提供给图像诊断处理部12。图像诊断处理部12将外部图像处理装置7的可靠度高的诊断结果作为监视器输出而输出到监视器5。这样，在监视器5的显示画面上显示内窥镜图像，并且在该内窥镜图像中进行是否存在病变部的显示和存在的情况下表示病变部的位置的显示。并且，在通过外部图像处理装置7得到鉴别结果的情况下，关于病变部的鉴别结果的显示也显示在监视器5的显示画面上。
另外，作为从外部图像处理装置7发送的诊断结果，不仅存在对象图像是良性还是恶性的结果(1或0)、是恶性的概率的数值(0～1之间的数值)的情况，例如也存在发送图表化后的诊断结果等显示数据的情况。在该情况下，图像诊断处理部12也可以将接收到的诊断结果直接输出到监视器5。另外，也可以不经由图像诊断处理部12而将外部图像处理装置7的发送数据直接提供给监视器5。另外，图像诊断处理部12也可以根据接收到的信息，变更表示病变的检测结果的框的颜色、形状而显示在监视器5上。
这样，在使用了内窥镜的检查中，当内部图像处理装置4检测到病变部候选时，能够在监视器5的显示画面上显示与病变部候选相关的显示。内部图像处理装置4设置在外部网络6的内侧，能够在短时间内接收图像信息，另外，执行能够在比较短的时间内进行处理的诊断处理，例如能够实时地显示诊断结果。手术医生在检查途中确认了表示存在病变部候选的显示时，实施用于使内窥镜图像传送到外部图像处理装置7的某种操作。由此，通过开关11将内窥镜图像经由外部网络6传送到外部图像处理装置7，在外部图像处理装置7中得到高精度(详细)且可靠性高的诊断结果。该诊断结果经由外部网络6被提供给内部图像处理装置4，并显示在监视器5的显示画面上。这样，手术医生例如在检查途中，在从释放开关等的操作起经过了规定时间后，能够根据监视器5的显示来识别可靠度高的详细的诊断结果。另外，由于对外部图像处理装置7仅传送所需的信息，因此能够减少要传送的数据量。
这样，在本实施方式中，例如根据与手术医生的操作对应的选择信号，选择向外部图像处理装置发送的图像信息，从而能够减少向外部图像处理装置发送的数据量。另外，图像信息的发送目的地的选择以使内部图像处理装置实施能够在比较短的时间内进行的处理的方式进行，并且以使外部图像处理装置实施比较详细且需要高可靠性的处理的方式进行，从而能够根据需要确保实时性、高速性并且实现可靠性高的可靠的诊断。
(第2实施方式)
图3是示出本发明的第2实施方式的框图。图3示出了内部图像处理装置4的其他具体例，内窥镜***的整体结构与图1相同。在图3中，对与图2相同的构成要素标注相同的标号而省略说明。
在第1实施方式中，对通过基于操作的选择信号来选择向外部图像处理装置7提供的图像信息的例子进行了说明。与此相对，本实施方式是通过对输入的图像信息的信号处理来选择向外部图像处理装置7提供的图像信息的例子。
本实施方式中的内部图像处理装置4在采用选择部15来代替开关11这一点上与第1实施方式不同。作为选择处理部的选择部15根据输入的图像信息，选择向外部图像处理装置7提供的图像信息。
图4是示出图3中的选择部15的具体结构的一例的框图。
在图4中，选择部15由输入部15a、控制部15b、判断部15c以及输出部15d构成。控制部15b和判断部15c也可以由使用了CPU等的处理器构成，按照存储在未图示的存储器中的程序进行动作，也可以通过FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬件的电子电路来实现功能的一部分或全部。另外，选择部15的整体也可以由FPGA等构成。
输入部15a由控制部15b进行控制，取入经由中央处理器3输入的医疗图像。输出部15d根据判断部15c的判断结果，将由输入部15a取入的医疗图像输出到图像诊断处理部12或输出到接口13。
判断部15c通过对从输入部15a输入的医疗图像的信号处理，判断是将输入的医疗图像输出到图像诊断处理部12(内部处理)还是输出到接口13(外部处理)。例如，判断部15c对输入的医疗图像进行颜色、亮度、合焦状态等的判断，根据判断结果来决定医疗图像的输出目的地。例如，判断部15c在医疗图像中包含规定的色调范围外的图像部分的情况下判断为外部处理而将医疗图像提供给接口13，在除此以外的色调的情况下判断为内部处理而将医疗图像提供给图像诊断处理部12。
另外，例如，判断部15c也可以根据医疗图像整体的亮度、医疗图像中的部分亮度、其变化来判断是否是应进行外部处理的图像。另外，例如，判断部15c也可以根据医疗图像整体的合焦状态、医疗图像中的部分合焦状态、其变化来判断是否是应进行外部处理的图像。
即，判断部15c根据与输入的医疗图像相关的颜色、亮度、合焦状态等，判断是否可能存在病变部候选、或者判断是否是难以诊断的图像等。例如，判断部15c可以在根据颜色、亮度、合焦状态等判断为可能存在病变部候选的情况下，将医疗图像作为应进行外部处理的图像输出到接口13。另外，判断部15c例如对于图像整体的亮度极低而难以诊断、或者合焦状态不良的图像，判定为即使使用输入图像也不能进行诊断，从而可以不进行向外部图像处理装置7的发送而将医疗图像作为应进行内部处理的图像输出到图像诊断处理部12。另外，反之，在必须进行诊断的医疗图像的情况下，对于图像整体的亮度极低而难以诊断的图像、合焦状态不良的图像，为了即使需要较长时间也要进行正确的诊断，也可以将医疗图像作为应进行外部处理的图像输出到接口13。
另外，例如，判断部15c也可以在从纯黑的图像变为带颜色的图像的情况、从中央处理器3发送来警告信息的情况下等，将医疗图像作为应进行外部处理的图像输出到接口13。
另外，包含判断部15c的选择部15并不进行针对医疗图像的诊断处理，而是通过判定颜色、亮度、合焦状态等的比较简单的处理来判断是应该进行内部处理的医疗图像还是应该进行外部处理的医疗图像，可以由处理能力比较低的处理器构成。
接下来，参照图5对这样构成的实施方式的动作进行说明。图5是示出控制部15b的控制的流程图。
来自中央处理器3的医疗图像被提供给内部图像处理装置4的选择部15。构成选择部15的控制部15b控制输入部15a，取入所输入的医疗图像(步骤S1)。控制部15b将取入的医疗图像提供给判断部15c和输出部15d。
判断部15c判定医疗图像的颜色、亮度、合焦状态等，判断医疗图像是应该进行内部处理还是应该进行外部处理。例如，在步骤S2中，判断部15c判定亮度是否超过规定的阈值。例如，在步骤S2中，也可以判定医疗图像整体的亮度是规定的低亮度以下还是规定的高亮度以上的亮度，在这些情况下，认为医疗图像极其暗或过于明亮，而不能进行诊断。在该情况下，判断部15c在步骤S3中为了进行内部处理而将医疗图像输出到图像诊断处理部12。另外，在医疗图像整体的亮度处于规定的亮度范围内的情况下，在外部图像处理装置7中能够进行正确的诊断，因此在该情况下，判断部15c在步骤S4中为了进行外部处理而将医疗图像输出到接口13。另外，如上所述，判断部15c也可以在医疗图像整体的亮度处于规定的亮度范围内的情况下判断为是应进行内部处理的图像，在医疗图像整体的亮度超过了规定的亮度范围的情况下判断为是应进行外部处理的图像。
其他作用与第1实施方式相同。
这样，在本实施方式中，根据针对医疗图像的信号处理，选择要向外部图像处理装置发送的图像信息，从而能够减少向外部图像处理装置发送的数据量。另外，图像信息的发送目的地的选择以使内部图像处理装置实施能够在比较短的时间内进行的处理的方式进行，并且以使外部图像处理装置实施需要高可靠性的处理的方式进行，从而能够根据需要确保实时性、高速性并且实现可靠性高的可靠的诊断。
另外，对通过选择部的图像处理来选择向外部图像处理装置发送的图像信息的例子进行了说明，但也可以根据中央处理器3的图像处理结果来选择向外部图像处理装置发送的图像信息。在该情况下，作为选择部，只要采用与图2同样的开关即可。
另外，在上述第1和第2实施方式中，对开关11或选择部15将图像信息选择性地输出到图像诊断处理部12或接口13中的一方的例子进行了说明，但在将图像信息输出到接口13的情况下，也可以将提供给接口13的图像信息提供给图像诊断处理部12。
(第3实施方式)
图6是示出本发明的第3实施方式的框图。图6示出了内部图像处理装置4的其他具体例，内窥镜***的整体结构与图1相同。
在图6中，内部图像处理装置4由输入部14a、控制部14b、选择和图像处理部14c、输出部14d以及接口14e构成。图6的内部图像处理装置4具有与图3的选择部15、图像诊断处理部12以及接口13同样的功能。输入部14a、控制部14b、输出部14d以及接口14e分别具有与图4的输入部15a、控制部15b、输出部15d以及接口13同样的功能，选择和图像处理部14c具有与判断部15c和图像诊断处理部12同样的功能。
控制部14b以及选择和图像处理部14c可以由使用了CPU等的处理器构成，按照存储在未图示的存储器中的程序进行动作，也可以通过FPGA等硬件的电子电路来实现功能的一部分或全部。另外，图6的内部图像处理装置4整体也可以由FPGA等构成。
输入部14a由控制部14b进行控制，取入经由中央处理器3输入的医疗图像。输出部14d根据选择和图像处理部14c的判断结果，将由输入部14a取入的医疗图像输出到接口14e。
作为内部图像处理部和选择处理部的选择和图像处理部14c通过针对从输入部14a输入的医疗图像的信号处理，判断输入的医疗图像(内部处理)是在选择和图像处理部14c中使用还是输出到接口14e(外部处理)。另外，选择和图像处理部14c中的判断方法与判断部15c相同，因而省略说明。
其他结构和作用与图3和图4相同。
这样，在本实施方式中，也能够得到与第2实施方式同样的效果。
(第4实施方式)
图7是示出本发明的第4实施方式的框图。图7示出了内部图像处理装置4的其他具体例，内窥镜***的整体结构与图1相同。
在第1实施方式中，对通过基于操作的选择信号来选择要向外部图像处理装置7提供的图像信息的例子进行说明。与此相对，本实施方式是通过对输入的图像信息的图像处理来实施诊断，并根据诊断结果来选择要向外部图像处理装置7提供的图像信息的例子。
在图7中，内部图像处理装置4由图像处理部22、选择部23以及接口24构成。作为内部图像处理部和选择处理部的图像处理部22通过针对所输入的图像信息的图像处理来进行诊断，并且根据诊断结果，进行用于选择向外部图像处理装置7提供的图像信息的判断。选择部23被从图像处理部22提供图像信息，将根据图像处理部22的判断而判断为应进行外部处理的图像信息输出到接口24。接口24具有与接口13相同的结构，将来自选择部23的图像信息经由外部网络6提供给外部图像处理装置7，并且经由外部网络6接收来自外部图像处理装置7的信息并提供给图像处理部22。
图8是示出图7中的图像处理部22的具体结构的一例的框图。
在图8中，图像处理部22由输入部22a、控制部22b、诊断部22c、选择判断部22d以及输出部22e构成。控制部22b、诊断部22c以及选择判断部22d也可以由使用了CPU等的处理器构成，按照存储在未图示的存储器中的程序进行动作，也可以通过FPGA等硬件的电子电路来实现功能的一部分或全部。另外，图像处理部22的整体也可以由FPGA等构成，图7的内部图像处理装置4的整体也可以由FPGA等构成。
输入部22a由控制部22b进行控制，取入经由中央处理器3输入的医疗图像。输出部22e由控制部22b进行控制，能够将由输入部22a取入的医疗图像直接输出到监视器5，并且将附加了诊断部22c的诊断结果的医疗图像输出到监视器5。另外，输出部22e由控制部22b进行控制，将由输入部22a取入的医疗图像的一部分或全部输出到选择部23。
诊断部22c能够通过对经由输入部22a输入的医疗图像的图像处理来进行诊断辅助。例如，诊断部22c能够根据医疗图像检测病变部候选。另外，例如，诊断部22c也可以对检测出的病变部候选进行是良性还是恶性等的鉴别。
诊断部22c能够在病变部候选的检测、鉴别中采用公知的各种方法。例如，诊断部22c可以通过使用了AI的机器学习来进行病变部候选的检测、鉴别，也可以通过对医疗图像的图像分析，对颜色、突起部等的形状、表面形状等判定各像部分，从而进行病变部候选的检测、鉴别。
选择判断部22d进行用于将由输入部22a输入的医疗图像中的一部分的图像选择性地发送到外部图像处理装置7的选择。在本实施方式中，选择判断部22d利用诊断部22c的诊断结果，选择要向外部图像处理装置7发送的医疗图像。
如上所述，外部图像处理装置7具有与诊断部22c同样的功能，能够以高可靠度进行精度比诊断部22c高的处理。因此，选择判断部22d进行图像选择的判断，以选择需要详细且高可靠度的诊断结果的图像并发送到外部图像处理装置7。
例如，选择判断部22d在能够在诊断部22c中进行病变部候选的检测但不能确定病变部的情况下，或者在能够确定病变部但不能鉴别病变部的良性恶性的情况下等，进行用于将包含该病变部候选或所确定的病变部的图像部分发送到外部图像处理装置7的选择。
另外，选择判断部22d也可以产生选择信号，该选择信号用于将在诊断部22c中检测出的病变部候选的检测结果的可靠度低于规定的阈值的图像或者病变部候选的检测自身困难的图像提供给外部图像处理装置7。由此，即使是这样的图像，也能够在外部图像处理装置7中可靠地检测病变部。另外，选择判断部22d也可以判定病变部候选的尺寸，产生用于将包含比规定的尺寸大的病变部候选的图像提供给外部图像处理装置7的选择信号。由此，对于被担心病变恶化的尺寸的病变部候选，在外部图像处理装置7中能够可靠地进行病变部的确定和鉴别等。
并且，选择判断部22d也可以产生选择信号，该选择信号用于选择包含病变部候选的帧和前后的规定数量的帧作为向外部图像处理装置7传送的图像。由此，通过传送必要充分的图像，能够在外部图像处理装置7中进行可靠的诊断，并且能够抑制向外部图像处理装置7传送的数据量。
另外，选择判断部22d对于诊断部22c中的诊断显著困难的图像、例如暗的图像、非合焦的图像、产生了抖动的图像、颜色或亮度不适于诊断的图像等，也可以不选择为传送到外部图像处理装置7的图像。另外，反之，选择判断部22d对于即使是诊断部22c中的诊断显著困难的图像也应该进行诊断的图像，例如即使是暗的图像、非合焦的图像、产生了抖动的图像、颜色或亮度不适于诊断的图像等，也可以选择为传送到外部图像处理装置7的图像。
选择判断部22d将用于指定应该选择的图像部分的选择信号输出到选择部23。选择部23仅选择从图像处理部22提供的图像中的由选择信号指定的图像部分并输出到接口24。
另外，选择判断部22d也可以产生如下的选择信号，通过该选择信号仅对例如包含病变部候选的图像部分进行修整并选择。由此，能够减少向外部图像处理装置7传送的数据量。
接下来，参照图9对这样构成的实施方式的动作进行说明。图9是示出控制部22b的控制的流程图。
现在，将内窥镜1***被检体，使用内窥镜图像进行被检体内的病变部的检测和鉴别。手术医生将未图示的***部***到未图示的被检体内。内窥镜1将通过被检体内的拍摄而得到的摄像信号输出到中央处理器3。中央处理器3生成基于来自内窥镜1的摄像信号的内窥镜图像，并输出到内部图像处理装置4。
构成内部图像处理装置4的图8的控制部22b在图9的步骤S1中取入内窥镜图像，并提供给诊断部22c。诊断部22c实施针对内窥镜图像的诊断处理，并输出诊断结果(步骤S11)。输出部22e将来自中央处理器3的内窥镜图像和诊断部22c的诊断结果输出到监视器5，并显示在显示画面上。
诊断部22c由于处理性能的限制，在针对内窥镜图像的实时处理中，不一定能够实施正确且高精度的诊断。因此，选择判断部22d根据诊断部22c的诊断结果，判断是否需要更高精度的诊断(步骤S12)，在需要的情况下，产生用于将诊断所需的图像发送到外部图像处理装置7的选择信号。
例如，诊断部22c有时只能实时地检测病变部候选。当诊断部22c在内窥镜图像中检测出病变部候选时，将检测结果经由输出部22e输出到监视器5。这样，在监视器5的显示画面上，与内窥镜图像一起在内窥镜图像上叠加表示检测出病变部候选的显示和表示病变部候选的位置的显示。
由于在诊断部22c中未进行关于病变部的鉴别，因此选择判断部22d在步骤S12中判断为需要更高精度的诊断，从而将处理转移到步骤S4，产生用于选择性地发送包含病变部候选的图像部分的选择信号。
该选择信号被提供给选择部23。选择部23从来自图像处理部22的图像中选择由选择信号指定的图像部分，并输出到接口24。由此，包含病变部候选位置的内窥镜图像从接口24经由外部网络6被输出到外部图像处理装置7。
外部图像处理装置7实施针对所输入的内窥镜图像的诊断处理(步骤S4)。外部图像处理装置7可以进行高性能处理，有时能够实施正确且高精度的诊断。外部图像处理装置7通过对包含病变部候选的图像的诊断处理，判定病变部候选是否是病变部，并且进行病变部的鉴别。外部图像处理装置7将病变部的检测结果和鉴别结果经由外部网络6输出到接口24。
接口24接收来自外部图像处理装置7的诊断结果并提供给诊断部22c。诊断部22c将外部图像处理装置7的可靠度高的诊断结果经由输出部22e输出到监视器5。这样，在监视器5的显示画面上显示内窥镜图像，并且在该内窥镜图像中进行是否存在病变部的显示以及在存在的情况下表示病变部的位置的显示。并且，在通过外部图像处理装置7得到鉴别结果的情况下，关于病变部的鉴别结果的显示也显示在监视器5的显示画面上。
例如，进行息肉的检查。在该情况下，诊断部22c通过比较简单的处理在短时间内检测息肉。其结果为，大致实时地在监视器5上进行有息肉的可能性的部分的显示。并且，在手术医生为了对该息肉进行详细的检查而要使***部接近息肉附近而进行***操作的期间，将图像数据传送到外部图像处理装置7，通过精密的诊断处理进行息肉的种类等的鉴别，其结果被发送到诊断部22c。由此，在***操作的中途，进行表示息肉部分是良性还是恶性的显示。即，由内部图像处理装置4和外部图像处理装置7自动地进行协作的诊断，能够进行高速且可靠的诊断。
另外，在步骤S12中，在选择判断部22d不判断为需要高精度的诊断的情况下，不产生用于选择性地发送包含病变部候选的图像部分的选择信号，而仅进行内部处理。即，在该情况下，在监视器5的显示画面上仅显示诊断部22c的诊断结果。
另外，选择判断部22d在步骤S12中的选择的判断中，也可以考虑病变部候选的检测结果的可靠度、病变部候选的尺寸、要传送的图像的帧，是否为诊断显著困难的图像、以及修整的范围而生成选择信号。
这样，在本实施方式中，也能够得到与第1实施方式同样的效果。并且，在本实施方式中，根据内部图像处理装置中的诊断结果判定向外部图像处理装置传送的图像，能够可靠地选择在外部图像处理装置中应进行诊断的图像。例如，即使在内部图像处理装置中仅进行了重视实时性的诊断的情况下，也能够在外部图像处理装置中可靠地进行在内部图像处理装置中未进行的详细且可靠度高的诊断。由此，能够根据需要确保实时性、高速性并且可靠地实现详细且可靠性高的诊断。
(第5实施方式)
图10是示出本发明的第5实施方式的框图。在图10中，对与图1相同的构成要素标注相同的标号而省略说明。
在上述各实施方式中，说明了对实时输入的动态图像进行处理的装置的例子，但本实施方式是对记录的动态图像进行处理的装置的例子。作为其一例，图10示出了对由胶囊内窥镜获取的图像进行处理的例子。
胶囊内窥镜31是在胶囊形状的密闭容器(胶囊)中设置摄像元件，在患者从口吞服的胶囊在体内行进的过程中进行拍摄的内窥镜。胶囊内窥镜31将通过拍摄获取的内窥镜图像以无线方式发送到接收装置32。
接收装置32由无线收发机构成，具有接收来自胶囊内窥镜31的图像的接收功能。另外，接收装置32具有记录部32a，接收从胶囊内窥镜31发送的内窥镜图像，并记录在记录部32a中。记录部32a由未图示的记录介质构成，记录由胶囊内窥镜31拍摄的内窥镜图像。托架33构成为能够载置接收装置32，能够对接收装置32进行充电。
在本实施方式中，托架33具有内部图像处理部，除了接收装置32的充电功能之外，还具有读出并取入记录在记录部32a中的图像的功能、对取入的图像的诊断功能、在取入的图像中选择向外部图像处理装置7发送的图像并发送的功能、接收诊断结果的功能以及将取入的图像和诊断结果输出到监视器5的功能。
例如，托架33具有与图7的图像处理部22、选择部23以及接口24相同的结构，其中的图像处理部22具有与图8的输入部22a、控制部22b、诊断部22c、选择判断部22d以及输出部22e相同的结构。
即，托架33能够从记录部32a取入图像，进行诊断。另外，托架33的诊断可以是与诊断部22c的诊断相同程度的比较简单的诊断，例如只要是进行是否存在病变部候选等的判断即可。托架33仅针对诊断结果是拍摄有病变部候选的图像进行图像的选择，以向外部图像处理装置7发送。托架33仅将所选择的图像经由外部网络6输出到外部图像处理装置7。
其他结构和作用与第4实施方式相同。
一般来说，由胶囊内窥镜31拍摄的图像数量庞大，为了对该所有的数据在比较短的时间内得到详细的诊断结果，需要处理能力极高的图像处理装置(计算机)，这样的图像处理装置在检查室等中配置困难的情况较多。因此，考虑将由胶囊内窥镜31获取的图像经由外部网络6传送到具有高处理能力的外部图像处理装置7来实施诊断。在本实施方式中，在该情况下，仅将庞大数量的内窥镜图像中的存在病变部候选的图像传送到外部图像处理装置7，能够显著减少要传送的数据量。
另外，托架33也可以从外部图像处理装置7经由外部网络6接收诊断结果，并将诊断结果与内窥镜图像一起显示在监视器5上。
这样，在本实施方式中，与第4实施方式同样地根据托架中的诊断结果判定要向外部图像处理装置传送的图像，能够仅选择并传送应在外部图像处理装置中进行诊断的图像，从而能够显著减少要传送的数据量。
(第6实施方式)
图11是示出本发明的第6实施方式的框图。在图11中，对与图10相同的构成要素标注相同的标号而省略说明。
本实施方式与第5实施方式的不同点在于，代替托架33而采用了图像处理装置35、选择部36以及接口37。在接收装置32中设置有用于传送记录在记录部32a中的图像的接口32b。作为接口32b，例如可以采用USB(通用串行总线)端子、无线接口等。图像处理装置35包含内部图像处理部35a。内部图像处理部35a经由接口32b取入记录在记录部32a中的图像，并进行诊断。另外，内部图像处理部35a例如可以通过使用了AI的机器学习来进行病变部候选的检测、鉴别，也可以通过针对医疗图像的图像分析，对颜色、突起部等的形状、表面形状等判定各像部分，从而进行病变部候选的检测、鉴别。
在本实施方式中，图像处理装置35根据内部图像处理部35a的诊断结果，选择要向外部图像处理装置7发送的图像。即，图像处理装置35具有与图8的选择判断部22d相同的结构。在判断为需要比内部图像处理部35a的诊断更高精度的诊断的情况、例如进行由内部图像处理部35a检测出的病变部候选的鉴别的情况下等，图像处理装置35产生用于选择性地发送包含病变部候选的图像部分的选择信号。该选择信号被提供给选择部36。
选择部36在来自图像处理装置35的图像中选择由选择信号指定的图像部分，并输出到接口37。接口37具有与图7的接口24同样的结构，将来自选择部36的图像经由外部网络6发送到外部图像处理装置7，并且经由外部网络6接收来自外部图像处理装置7的诊断结果并输出到图像处理装置35。
由此，包含病变部候选位置的内窥镜图像从接口37经由外部网络6被输出到外部图像处理装置7，外部图像处理装置7的鉴别结果由接口37接收并提供给图像处理装置35。
图像处理装置35能够将内窥镜图像以及内部图像处理部35a的处理结果和经由接口37接收到的处理结果中的一方或者双方输出到监视器5并显示在监视器5上。另外，图像处理装置35也可以将处理结果输出到接收装置32，另外，也可以将内窥镜图像以及内部图像处理部35a的处理结果和经由接口37接收到的处理结果中的一方或双方传送到未图示的外部服务器。
其他结构和作用与第5实施方式相同。
这样，在本实施方式中，也与第5实施方式同样地能够仅选择在外部图像处理装置中应该进行诊断的图像并进行传送，从而能够显著减少要传送的数据量。另外，在本实施方式中，能够利用已有的诊断装置，从而能够比较容易地构建内窥镜***。
本发明并不直接限定于上述各实施方式，在实施阶段中能够在不脱离其主旨的范围内对构成要素进行变形而具体化。另外，通过上述各实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如，也可以删除实施方式所示的全部构成要素中的几个构成要素。并且，也可以适当组合不同的实施方式的构成要素。
例如，作为向外部图像处理装置7传送的图像，也可以发送包含病变部候选的帧和前后的规定数量的帧。由此，通过传送必要充分的图像，能够在外部图像处理装置7中进行可靠的诊断，并且能够抑制向外部图像处理装置7传送的数据量。
另外，这里说明的技术中的主要在流程图中说明的控制、功能大多可以通过程序来设定，通过由计算机读取并执行该程序，能够实现上述的控制、功能。该程序作为计算机程序产品，可以在软盘、CD-ROM等、非易失性存储器等可移动介质、硬盘、易失性存储器等存储介质中记录或存储其整体或一部分，可以在产品出厂时或者经由可移动介质或通信线路流通或提供。使用者可以经由通信网络下载该程序并将其安装在计算机上，或者从记录介质安装到计算机，由此能够容易实现本实施方式的移动辅助***。

Claims (22)

1.一种用于内窥镜***的图像处理装置，其特征在于，
该图像处理装置具有：
内部图像处理部，其对输入的图像进行包含病变部候选的检测和所述病变部候选的鉴别中的至少一方的图像处理；
选择处理部，其进行包含所述病变部候选的图像的选择处理；以及
接口，其针对与外部网络连接的外部图像处理装置发送选择出的包含所述病变部候选的图像，并且接收所述外部图像处理装置进行的所述病变部候选的检测和所述病变部候选的鉴别中的至少一方的处理结果。
2.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部根据操作信号进行所述选择处理，进行用于切换是将所述输入的图像提供给所述内部图像处理部还是发送到所述外部图像处理装置的图像的选择处理。
3.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部基于所述输入的图像的信号处理进行所述选择处理，进行用于切换是将所述输入的图像提供给所述内部图像处理部还是发送到所述外部图像处理装置的图像的选择处理。
4.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部进行用于选择输入到所述内部图像处理部的图像中的要向所述外部图像处理装置发送的图像的选择处理。
5.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部根据所述内部图像处理部的图像处理的处理结果，进行用于选择要向所述外部图像处理装置发送的图像的选择处理。
6.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述内部图像处理部实施诊断处理。
7.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述外部图像处理装置实施诊断处理。
8.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述内部图像处理部和外部图像处理装置实施诊断处理。
9.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述内部图像处理部与外部图像处理装置相比，在短时间内输出处理结果。
10.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述外部图像处理装置与内部图像处理部相比输出详细的处理结果。
11.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述内部图像处理部对所述输入的图像实施第1诊断，
所述选择处理部根据所述第1诊断的结果，选择用于在所述外部图像处理装置中进行比所述第1诊断详细的第2诊断的图像。
12.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述内部图像处理部根据所述输入的图像进行病变部候选的检测，
所述选择处理部进行图像的选择，该图像的选择用于对所述外部图像处理装置选择性地发送包含所述病变部候选的图像部分在内的图像，以使所述外部图像处理装置进行所述病变部候选的鉴别，
所述接口接收鉴别结果作为处理结果，该鉴别结果是所述外部图像处理装置根据所述选择处理部发送的图像对所述病变部候选进行鉴别的结果。
13.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部进行用于将对包含所述病变部候选的图像部分进行修整后的图像发送到所述外部图像处理装置的选择处理。
14.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部进行用于将所述病变部候选的检测的可靠度比规定的阈值低的图像发送到所述外部图像处理装置的选择处理，
所述接口接收如下的所述处理结果，该处理结果是所述外部图像处理装置根据从所述选择处理部发送的所述病变部候选的检测的可靠度比规定的阈值低的图像进行处理的结果。
15.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部进行用于将所述病变部候选的图像部分的尺寸比规定的尺寸大的图像发送到所述外部图像处理装置的选择处理。
16.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部进行用于将包含所述病变部候选的帧在内的前后规定数量的帧的图像发送到所述外部图像处理装置的选择处理。
17.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
在所述输入的图像的亮度范围、颜色范围、合焦状态范围中的至少一种范围在各阈值的范围外的情况下，所述选择处理部进行用于不将所述输入的图像发送到所述外部图像处理装置的选择处理。
18.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
该图像处理装置输出所述内部图像处理部的处理结果和所述外部图像处理装置的处理结果中的至少一方以及所述输入的图像。
19.根据权利要求1所述的用于内窥镜***的图像处理装置，其特征在于，
该图像处理装置将所述内部图像处理部的处理结果和所述外部图像处理装置的处理结果中的至少一方以及所述输入的图像输出到监视器。
20.根据权利要求2所述的用于内窥镜***的图像处理装置，其特征在于，
所述选择处理部根据操作信号进行所述选择处理，所述操作信号是静态图像拍摄、静态图像显示、观察模式切换、图像放大、图像的规定时间以上的停止、以及医疗设备的接通断开的切换中的至少一个。
21.一种内窥镜***，其特征在于，
该内窥镜***具有：
权利要求1所述的用于内窥镜***的图像处理装置；以及
所述外部图像处理装置。
22.一种用于内窥镜***的图像处理装置的控制方法，其特征在于，所述控制方法包括如下步骤：
内部图像处理部对输入的图像进行包含病变部候选的检测和所述病变部候选的鉴别中的至少一方的图像处理；
选择处理部进行包含所述病变部候选的图像的选择处理；以及
接口针对与外部网络连接的外部图像处理装置发送选择出的包含所述病变部候选的图像，并且接收所述外部图像处理装置进行的所述病变部候选的检测和所述病变部候选的鉴别中的至少一方的处理结果。
CN201880099100.0A 2018-10-30 2018-10-30 内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法 Active CN112969402B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040315 WO2020090002A1 (ja) 2018-10-30 2018-10-30 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN112969402A CN112969402A (zh) 2021-06-15
CN112969402B true CN112969402B (zh) 2024-05-28

Family

ID=70462010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099100.0A Active CN112969402B (zh) 2018-10-30 2018-10-30 内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20210241457A1 (zh)
JP (1) JP7138719B2 (zh)
CN (1) CN112969402B (zh)
WO (1) WO2020090002A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564701B (zh) * 2021-06-30 2024-05-17 深圳开立生物医疗科技股份有限公司 一种息肉检测装置、方法、设备及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187579A (en) * 1990-01-19 1993-02-16 Olympus Optical Co., Ltd. Medical image displaying method and apparatus
JP2003325444A (ja) * 2002-05-10 2003-11-18 Pentax Corp 電子内視鏡装置および映像信号処理装置
CN101426413A (zh) * 2006-04-19 2009-05-06 奥林巴斯医疗株式会社 胶囊型医疗装置
JP2009178180A (ja) * 2008-01-29 2009-08-13 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡の動作制御方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN102665527A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜***和程序
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム
CN104203073A (zh) * 2012-10-18 2014-12-10 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
KR20150133500A (ko) * 2014-05-20 2015-11-30 박현준 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
JP2017060806A (ja) * 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
CN108682013A (zh) * 2018-05-30 2018-10-19 广州众健医疗科技有限公司 一种胃镜图像智能处理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4437202B2 (ja) * 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
US20180060512A1 (en) * 2016-08-29 2018-03-01 Jeffrey Sorenson System and method for medical imaging informatics peer review system
US20230293132A1 (en) * 2016-10-25 2023-09-21 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image acquisition
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
WO2019157078A1 (en) * 2018-02-06 2019-08-15 The Regents Of The University Of Michigan Systems and methods for analysis and remote interpretation of optical histologic images

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187579A (en) * 1990-01-19 1993-02-16 Olympus Optical Co., Ltd. Medical image displaying method and apparatus
JP2003325444A (ja) * 2002-05-10 2003-11-18 Pentax Corp 電子内視鏡装置および映像信号処理装置
CN101426413A (zh) * 2006-04-19 2009-05-06 奥林巴斯医疗株式会社 胶囊型医疗装置
JP2009178180A (ja) * 2008-01-29 2009-08-13 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡の動作制御方法
CN102665527A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜***和程序
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
CN104203073A (zh) * 2012-10-18 2014-12-10 奥林巴斯医疗株式会社 图像处理装置和图像处理方法
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム
KR20150133500A (ko) * 2014-05-20 2015-11-30 박현준 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
WO2017002184A1 (ja) * 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP2017060806A (ja) * 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
CN108682013A (zh) * 2018-05-30 2018-10-19 广州众健医疗科技有限公司 一种胃镜图像智能处理装置

Also Published As

Publication number Publication date
JPWO2020090002A1 (ja) 2021-09-30
WO2020090002A1 (ja) 2020-05-07
US20210241457A1 (en) 2021-08-05
CN112969402A (zh) 2021-06-15
JP7138719B2 (ja) 2022-09-16

Similar Documents

Publication Publication Date Title
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
US7634305B2 (en) Method and apparatus for size analysis in an in vivo imaging system
JP6177458B2 (ja) 画像処理装置及び内視鏡システム
US11298012B2 (en) Image processing device, endoscope system, image processing method, and program
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
KR100751160B1 (ko) 의료용 화상 기록 시스템
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP6313913B2 (ja) 内視鏡画像観察支援システム
CN112969402B (zh) 内窥镜***以及用于内窥镜***的图像处理装置和图像处理方法
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
CN110772210B (zh) 一种诊断交互***及方法
JPWO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
CN112912014B (zh) 诊断辅助装置、诊断辅助方法以及计算机可读记录介质
KR20090099446A (ko) 캡슐 내시경을 이용한 진단 시스템 및 방법, 그리고 그 방법을 수행하기 위한 프로그램이 기록된 기록매체
JP3923601B2 (ja) 内視鏡システム
JP2009198787A (ja) 内視鏡装置
JP7096713B2 (ja) 内視鏡システム
KR100886462B1 (ko) 캡슐 내시경을 이용한 진단 방법, 그리고 그 방법을 수행하기 위한 프로그램이 기록된 기록매체
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
CN114785948B (zh) 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
US20230245304A1 (en) Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium
WO2023038004A1 (ja) 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
JP2023106327A (ja) 検査支援装置、検査支援方法および検査支援プログラム
CN114302035A (zh) 一种图像处理方法、装置、电子设备及内窥镜***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant