CN113631076B - 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质 - Google Patents

内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质 Download PDF

Info

Publication number
CN113631076B
CN113631076B CN202080022924.5A CN202080022924A CN113631076B CN 113631076 B CN113631076 B CN 113631076B CN 202080022924 A CN202080022924 A CN 202080022924A CN 113631076 B CN113631076 B CN 113631076B
Authority
CN
China
Prior art keywords
image
captured image
captured
measurement
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080022924.5A
Other languages
English (en)
Other versions
CN113631076A (zh
Inventor
龙田岳一
福田刚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113631076A publication Critical patent/CN113631076A/zh
Application granted granted Critical
Publication of CN113631076B publication Critical patent/CN113631076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种能够将利用内窥镜测定了长度的被摄体的摄像图像用作机器学习的教师数据的内窥镜用处理器装置、医疗图像处理装置及其工作方法以及医疗图像处理装置用程序。内窥镜用处理器装置的信号处理部(39)具备观察距离检测部(52)和学习部(56)。通过信号处理部(39)进行了信号处理的第1摄像图像及第2摄像图像由静止图像保存控制部(43)保存。第1摄像图像为对被测量辅助光照射的状态的被摄体进行拍摄而获取的摄像图像，第2摄像图像为对未被测量辅助光照射的状态的被摄体进行拍摄而获取的摄像图像。

Description

内窥镜用处理器装置、医疗图像处理装置及其工作方法以及 计算机可读介质
技术领域
本发明涉及一种内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质。
背景技术
在内窥镜的领域中，获取与观察对象物的距离或观察对象物的大小等。例如，在专利文献1中，从设置于内窥镜的辅助光照射部对被摄体照射测量辅助光，在被摄体上形成光斑。由此，在内窥镜用处理器装置中，根据对被摄体进行拍摄而获得的摄像图像确定光斑的位置。然后，从光斑的位置检测观察距离。并且，根据观察距离来设定表示被摄体中所包括的观察对象的实际尺寸的测量用标记，将所设定的测量用标记显示于摄像图像上。通过使用显示于摄像图像上的测量用标记，能够测量观察对象物的大小。
另一方面，在使用了医用图像的图像诊断的领域中，使用深度学习等机器学习，学习器官名、病名、病状等关注区域的名称和该关注区域的图像之后，根据医用图像进行关注区域的检测及关注区域的名称的判定。为了精确地进行关注区域的检测及名称的判定，在机器学习中，根据目的利用大量且优质的教师数据进行训练是必需的。
以往技术文献
专利文献
专利文献1：国际公开2018/051680号
发明内容
发明要解决的技术课题
在内窥镜的领域中，也研究了将对被摄体进行拍摄而获得的摄像图像用作机器学习的教师数据。尤其，如利用上述专利文献1中所记载的内窥镜用处理器装置测定长度那样的被摄体包括关注区域的可能性高，且还是作为机器学习的对象的被摄体，因此要求将这种被摄体的摄像图像用作机器学习的教师数据。
然而，在上述专利文献1中所记载的内窥镜用处理器装置中，在被摄体上映射有照射测量辅助光而得的光斑，无法用作机器学习的教师数据。作为机器学习的教师数据，要求没有测量辅助光的光斑的、一般的内窥镜图像。
本发明的目的在于提供一种能够将利用内窥镜测定了长度的被摄体的摄像图像用作机器学习的教师数据的内窥镜用处理器装置、医疗图像处理装置及其工作方法以及医疗图像处理装置用程序。
用于解决技术课题的手段
本发明的内窥镜用处理器装置具备处理器，该内窥镜用处理器装置中，处理器获取利用内窥镜拍摄的摄像图像，获取内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，该第1摄像图像为对被测量辅助光照射的状态的被摄体进行拍摄而获取的图像，该第2摄像图像为在测量辅助光照射前后获取并且是对未被测量辅助光照射的状态的被摄体进行拍摄而获取的图像。
优选为，处理器在根据预先设定的发光模式交替地进行测量辅助光的点亮及减光的多帧模式下获取第1摄像图像或第2摄像图像，第1摄像图像为在测量辅助光点亮时获取的摄像图像，第2摄像图像为在测量辅助光减光时获取的摄像图像。
优选为，处理器在根据预先设定的发光模式交替地进行测量辅助光的点亮及减光的多帧模式下获取第1摄像图像或第2摄像图像，第1摄像图像为在测量辅助光点亮时并且在操作冻结开关时获取的摄像图像，第2摄像图像为在测量辅助光减光时并且在操作冻结开关时获取的摄像图像。
优选为，处理器在持续点亮测量辅助光的持续点亮模式下获取第1摄像图像或第2摄像图像，第1摄像图像为在操作冻结开关时被测量辅助光照射的状态下获取到的图像、或在冻结开关的操作前后被测量辅助光照射的状态下获取并且观察对象的形状与操作冻结开关时类似的图像，第2摄像图像为在切换到持续点亮模式之前、或在将持续点亮模式切换到其他模式之后获取的摄像图像。
优选为，处理器获取在第1摄像图像或第2摄像图像中截取了包括特定区域的范围的病变部候选图像作为教师数据候选，该特定区域通过测量辅助光形成于所述被摄体上。
优选为，处理器确定通过测量辅助光形成于被摄体上的特定区域的位置，并获取第1摄像图像或第2摄像图像的同时还获取特定区域的位置信息。
优选为，处理器从所确定的特定区域的位置检测观察距离，并获取第1摄像图像或第2摄像图像的同时还获取观察距离。
优选为，处理器从管理与第1摄像图像或第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息，并获取第1摄像图像或第2摄像图像的同时还获取诊断信息。
本发明的医疗图像处理装置具备处理器，该医疗图像处理装置中，处理器进行如下操作：获取利用内窥镜拍摄的摄像图像，并且对医疗图像实施图像处理；获取内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，该第1摄像图像为对被测量辅助光照射的状态的被摄体进行拍摄而获取的图像，该第2摄像图像为在测量辅助光照射前后获取并且是对未被测量辅助光照射的状态的被摄体进行拍摄而获取的图像；针对医疗图像识别病变部；从管理与第1摄像图像或第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息；使用教师数据候选和诊断信息进行训练，以生成病变部的识别中所使用的判别模型。
本发明的医疗图像处理装置的工作方法为获取利用内窥镜拍摄的摄像图像，并且对医疗图像实施图像处理的医疗图像处理装置的工作方法，该医疗图像处理装置的工作方法具有如下步骤：获取内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，该第1摄像图像为对被测量辅助光照射的状态的被摄体进行拍摄而获取的图像，该第2摄像图像为在测量辅助光照射前后获取并且是对未被测量辅助光照射的状态的被摄体进行拍摄而获取的图像；针对医疗图像识别病变部；从管理与第1摄像图像或第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息；及使用教师数据候选和诊断信息进行训练，以生成病变部的识别中所使用的判别模型。
本发明的医疗图像处理装置用程序安装于医疗图像处理装置，该医疗图像处理装置获取利用内窥镜拍摄的摄像图像，并且对医疗图像实施图像处理，该医疗图像处理装置用程序使计算机实现如下功能：获取内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，该第1摄像图像为对被测量辅助光照射的状态的被摄体进行拍摄而获取的图像，该第2摄像图像为在测量辅助光照射前后获取并且是对未被测量辅助光照射的状态的被摄体进行拍摄而获取的图像；针对医疗图像识别病变部；从管理与第1摄像图像或第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息；及使用教师数据候选和诊断信息进行训练，以生成病变部的识别中所使用的判别模型。
发明效果
根据本发明，能够将利用内窥镜测定了长度的被摄体的摄像图像用作机器学习的教师数据。
附图说明
图1是内窥镜***的外观图。
图2是表示内窥镜的前端部的俯视图。
图3是表示内窥镜***的功能的框图。
图4是表示测量辅助光出射部的框图。
图5是表示内窥镜的前端部与观察距离的范围R1内的近端PN、中央附近PM及远端PF的关系的说明图。
图6是表示信号处理部的功能的框图。
图7是表示多帧图像的结构的概略的说明图。
图8是表示在测长模式下进行静止图像获取命令时的光源控制、摄像控制、保存控制的说明图。
图9是表示第1摄像图像、第2摄像图像的保存方法的说明图。
图10是表示显示第1摄像图像的一例的说明图。
图11是表示在第2实施方式中进行静止图像获取命令时的光源控制、摄像控制、保存控制的说明图。
图12是表示在第2实施方式的变形例中进行静止图像获取命令时的光源控制、摄像控制、保存控制的说明图。
图13是表示在第1实施方式及第2实施方式的变形例中获取截取了包括特定区域的范围的病变部候选图像作为教师数据候选的方法的说明图。
具体实施方式
[第1实施方式]
如图1所示，内窥镜***10具有内窥镜12、光源装置14、处理器装置16、监视器18及用户界面19。内窥镜12与光源装置14光学连接，并且与处理器装置16电连接。处理器装置16与显示图像的监视器18(显示部)电连接。用户界面19与处理器装置16连接，并且用于对处理器装置16的各种设定操作等。另外，用户界面19除了图示的键盘以外，还包括鼠标等。
各设备安装有用于作为内窥镜***10的构成要件发挥功能的应用程序。并且，关于应用程序，可以从CD-ROM等记录介质安装、或者从经由互联网等网络连接的服务器的存储装置下载之后安装。
内窥镜12具有***到受检体内的***部12a、设置于***部12a的基端部分的操作部12b、设置于***部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e，弯曲部12c进行弯曲动作。随着该弯曲动作，前端部12d朝向所期望的方向。
内窥镜12具备通常模式和测长模式，这2个模式通过设置于内窥镜12的操作部12b的模式切换开关13a进行切换。通常模式为通过照明光照亮观察对象的模式。测长模式中，利用照明光或测量辅助光照亮观察对象，并且在通过对观察对象进行摄像而获得的摄像图像上显示用于测定观察对象的大小等的测量用标记。测量辅助光为用于测量被摄体的光。
并且，在内窥镜12的操作部12b设置有用于操作命令获取摄像图像的静止图像的静止图像获取命令的冻结开关13b(静止图像获取命令部)。通过用户操作冻结开关13b，监视器18的画面冻结显示，同时发出表示进行静止图像获取的警告音(例如“哔-”)。然后，在冻结开关13b的操作定时前后获得的摄像图像的静止图像被保存于处理器装置16内的静止图像保存部42(参考图3)。
另外，静止图像保存部42为硬盘、USB(Universal Serial Bus：通用串行总线)存储器等存储部。在处理器装置16能够与网络连接的情况下，可以代替或除了静止图像保存部42以外，在与网络连接的静止图像保存服务器(未图示)保存摄像图像的静止图像。
另外，可以使用除了冻结开关13b以外的操作设备，进行静止图像获取命令。例如，在将脚踏板与处理器装置16连接，用户用脚操作脚踏板(未图示)的情况下，可以进行静止图像获取命令。关于模式切换，也可以利用脚踏板进行。并且，可以通过语音输入、视线输入、手势输入等，进行静止图像获取命令或模式切换。
如图2所示，内窥镜12的前端部呈大致圆形，并且设置有：物镜21，构成内窥镜12的摄像光学***的光学部件中位于最靠被摄体侧的位置；2个照明透镜22，用于对被摄体照射照明光；测量辅助用透镜23，用于利用后述的测量辅助光照亮被摄体；开24，用于使处置器具朝向被摄体突出；及送气送水喷嘴25，用于进行送气送水。
物镜21的光轴LI(参考图5)沿着与纸面垂直的方向延伸。纵向的第1方向D1与光轴LI正交，横向的第2方向D2与光轴LI及第1方向D1正交。物镜21和测量辅助用透镜23沿着第1方向D1排列。
如图3所示，光源装置14具备光源部26和光源控制部27。光源部26(照明光光源部)产生用于照亮被摄体的照明光。从光源部26射出的照明光射入到光导件28，并通过照明透镜22照射到被摄体。作为光源部26，作为照明光的光源，优选使用射出白色光的白色光源、或包括白色光源和射出其他颜色的光的光源(例如，射出蓝色光的蓝色光源)的多个光源等。光源控制部27与处理器装置16的***控制部41连接。光源控制部27根据来自***控制部41的命令来控制光源部26。***控制部41(发光用控制部)除了对光源控制部27进行与光源控制相关的命令以外，还控制测量辅助光出射部30的光源30a(参考图4)。关于基于***控制部41的光源控制的详细内容，将在后面进行叙述。
在内窥镜12的前端部12d设置有照明光学***29a、摄像光学***29b及测量辅助光出射部30。照明光学***29a具有照明透镜22，来自光导件28的光经由该照明透镜22照射到观察对象。摄像光学***29b具有物镜21及成像元件32。来自观察对象的反射光经由物镜21射入到成像元件32。由此，在成像元件32成像观察对象的反射像。
成像元件32为彩色的摄像传感器，对受检体的反射像进行拍摄并输出图像信号。该成像元件32优选为CCD(Charge Coupled Device：电荷藕合器件)撮像传感器、CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)撮像传感器等。本发明中所使用的成像元件32为用于获得R(红色)、G(绿色)、B(蓝色)这3种颜色的RGB图像信号的彩色的摄像传感器。成像元件32由摄像控制部33控制。另外，作为成像元件32，可以使用设置有补色的C(青色)、M(品红色)、Y(黄色)、G(绿色)的滤色器的补色系成像元件。
从成像元件32输出的图像信号被发送到CDS/AGC电路34。CDS/AGC电路34对作为模拟信号的图像信号进行相关双采样(CDS(Correlated Double Sampling))、自动增益控制(AGC(Auto Gain Control))。经由CDS/AGC电路34的图像信号通过A/D转换器(A/D(Analog/Digital：模拟/数字)变频器)35转换为数字图像信号。经A/D转换的数字图像信号经由通信I/F(Interface：接口)36输入到处理器装置16。
处理器装置16具备与内窥镜12的通信I/F36连接的通信I/F(接口)38、信号处理部39、显示控制部4(０及***控制部41。通信I/F接收从内窥镜12的通信I/F36传输的图像信号并传递至信号处理部39。信号处理部39内置有暂存从通信I/F38接收的图像信号的存储器，处理存储于存储器中的图像信号的集合即图像信号组而生成摄像图像。
处理器装置16包括作为医疗图像处理装置的功能，如后述，在信号处理部39中，获取内窥镜的摄像图像，并且获取与摄像图像相关的诊断信息而进行机器学习。另外，在信号处理部39中，在设定为测长模式的情况下，可以对摄像图像实施强调血管等的结构的结构强调处理、扩展了观察对象中正常部与病变部等的色差的色差强调处理。
显示控制部40将由信号处理部39生成的摄像图像显示于监视器18。***控制部41经由设置于内窥镜12的摄像控制部33进行成像元件32的控制。摄像控制部33还根据成像元件32的控制来进行CDS/AGC电路34及A/D转换器35的控制。静止图像保存控制部43进行与保存于静止图像保存部42的摄像图像的静止图像相关的控制。静止图像保存控制部43通过在测长模式下进行1次静止图像获取命令来进行后述的控制。
如图4所示，测量辅助光出射部30(测量辅助光光源部)具备光源30a、GRIN(GradientIndeX；折射率分布型)透镜30b、棱镜30c、光纤30d及测量辅助用透镜23。光源30a射出能够由成像元件32的像素检测的颜色的光(具体而言为可见光)，并且包括激光光源LD(Laser Diode：激光二极管)或LED(Light Emitting Diode：发光二极管)等发光元件和聚集从该发光元件射出的光的聚光透镜。
光源30a射出的光的波长例如优选为600nm以上且750nm以下，进一步优选为600nm以上且700nm以下，最优选为630nm以上且660nm以下的红色光。或者，可以使用495nm以上且570nm以下的绿色光。光源30a由***控制部41控制，根据来自***控制部41的命令来进行光出射。光纤30d将来自光源30a的光引导至GRIN透镜30b。GRIN透镜30b将通过光纤30d从光源30a引导出的光再次转换为相干性高的光以将从光源30a射出的光转换为用于测量被摄体的测量辅助光。
棱镜30c为用于改变由GRIN透镜30b转换后的测量辅助光的行进方向的光学部件。棱镜30c变更测量辅助光的行进方向，以与包括物镜21及透镜组的摄像光学***的视野交叉。关于测量辅助光的行进方向的详细内容，也在后面进行叙述。从棱镜30c射出的测量辅助光通过测量辅助用透镜23照射到被摄体。通过测量辅助光照射到被摄体，在被摄体中形成作为圆形区域(特定区域)的光斑SP(参考图9的(A))。该光斑SP的位置由位置确定部51确定，并且根据光斑SP的位置来设定表示实际尺寸的测量用标记。所设定的测量用标记重叠显示于摄像图像上。
另外，也可以代替测量辅助用透镜23而设为形成于内窥镜的前端部12d的测量辅助用狭缝。并且，优选对测量辅助用透镜23施加防反射涂层(AR(Anti-Reflection：抗反射)涂层)(防反射部)。如此设置防反射涂层是因为：若测量辅助光不透射测量辅助用透镜23而反射，从而照射到被摄体的测量辅助光的比例降低，则后述的位置确定部51难以识别通过测量辅助光形成于被摄体上的光斑SP的位置。
另外，测量辅助光出射部30只要能够朝向摄像光学***的视野射出测量辅助光即可。例如，光源30a可以设置于光源装置，从光源30a射出的光可以通过光纤30d被引导至GRIN透镜30b。并且，可以设为如下结构：不使用棱镜30c，而使用DOE(Diffractive OpticalElement；衍射光学元件)来代替GRIN透镜30b，相对于光轴LI倾斜地设置光源30a、DOE及将来自光源30a的光引导至DOE的光纤的朝向，由此在横跨摄像光学***的视野的方向上射出测量辅助光。
关于测量辅助光的行进方向，如图5所示，在测量辅助光的光轴LM与物镜21的光轴LI交差的状态下，射出测量辅助光。可知：若能够在观察距离的范围R1内进行观察，则在范围R1的近端PN、中央附近PM及远端PF中，各点的摄像范围(由箭头QN、QM、QF表示)内的通过测量辅助光形成于被摄体上的光斑SP的位置(各箭头QN、QM、QF与光轴LM相交的点)不同。另外，摄像光学***的摄影视角在夹在2个实线45之间的区域内表示，在该摄影视角中像差少的中央区域(夹在2个虚线46之间的区域)进行测量。
如上所述，在使测量辅助光的光轴LM与光轴LI交差的状态下，射出测量辅助光，由此相对于观察距离的变化的光斑位置的移动的灵敏度高，因此能够高精确度地测量被摄体的大小。然后，利用成像元件32对被测量辅助光照亮的被摄体进行拍摄，由此获得包括光斑SP的摄像图像。在摄像图像中，光斑SP的位置根据物镜21的光轴LI与测量辅助光的光轴LM的关系及观察距离而不同，但是观察距离越近，则显示相同的实际尺寸(例如5mm)的像素数越多，观察距离越远，则像素数越少。
如图6所示，处理器装置16的信号处理部39具备位置确定部51、观察距离检测部52、测量用标记设定部53、病变识别部54、诊断信息获取部55及学习部56。
如后述，通过信号处理部39进行了信号处理的第1摄像图像及第2摄像图像由静止图像保存控制部43保存。另外，第1摄像图像为在测长模式下对被测量辅助光照射的状态的被摄体进行拍摄而获取的摄像图像，第2摄像图像为在测长模式下对未被测量辅助光照射的状态的被摄体进行拍摄而获取的摄像图像。
在本实施方式中，第1摄像图像及第2摄像图像以称为多帧图像的数据保存于静止图像保存部42。如图7所示，这是多个帧的图像数据构成1个数据集DS的医用图像数据，用于动画等的保存。在该数据集DS中包括第1摄像图像及第2摄像图像的图像数据和附属于图像数据的附属数据。
静止图像保存控制部43相当于技术方案中的教师数据候选获取部。即，静止图像保存控制部43发挥功能以将第1摄像图像及第2摄像图像作为用于诊断等的医疗图像保存于静止图像保存部42，并且获取第2摄像图像作为机器学习用教师数据候选，例如，将表示第2摄像图像为教师数据候选的信息作为数据集DS的附属数据保存于静止图像保存部42。或者，除了静止图像保存部42以外，静止图像保存控制部43还可以将作为教师数据候选而获取的第2摄像图像保存于诊断信息管理装置44所包括的存储设备(未图示)等。
位置确定部51根据第1摄像图像来确定光斑SP的位置。具体而言，确定与光斑SP的位置相关的坐标信息。光斑SP在第1摄像图像中显示在包括大量与测量辅助光的颜色对应的成分的大致圆形的红色区域中。因此，从大致圆形的红色区域确定光斑SP的位置。作为位置的确定方法，例如，将摄像图像进行二值化，将二值化图像中的白色部分(信号强度比二值化用阈值高的像素)的重心确定为光斑SP的位置。
观察距离检测部52根据光斑SP的位置来检测观察距离。观察距离检测部52参考存储了第1摄像图像中的光斑SP的位置与观察距离的关系的观察距离表57，从光斑SP的位置检测观察距离。测量用标记设定部53设定与由观察距离检测部52检测的观察距离对应的实际尺寸的测量用标记。
测量用标记设定部53对第1摄像图像制作与由观察距离检测部52检测的观察距离对应的测量用标记的数据。该测量用标记在重叠显示于第1摄像图像上的情况下，例如为表示“5mm”及“10mm”的实际尺寸的圆形测量用标记M1(参考图10)。
另外，优选与位置确定部51所确定的光斑SP的位置相关的坐标信息、观察距离检测部52所检测的观察距离或测量用标记设定部53所制作的测量用标记保存为数据集DS的附属数据。
病变识别部54对信号处理部39所获取的第2摄像图像进行图像分析，并进行识别处理。作为病变识别部54所进行的识别处理，进行从第2摄像图像检测关注区域的检测处理。在本实施方式中，病变识别部54进行从第2摄像图像检测作为关注区域的病变部的识别处理。此时，病变识别部54首先将第2摄像图像分割成多个小区域、例如数个像素的正方形区域。接着，根据分割的第2摄像图像来计算图像特征量。接着，根据所计算的特征量来判断各小区域是否为病变部。作为这种判断方法，优选为人工智能(AI(ArtificialIntelligence))、卷积神经网络(ConvolutionalNeuralNetwork)、深度学习(DeepLearning)等机器学习方式。
另外，作为病变识别部54所进行的识别处理，可以对从第2摄像图像识别的病变部进行鉴别病变的种类等的鉴别处理，或者，也可以通过对整个第2摄像图像进行鉴别处理来获取鉴别结果。
诊断信息获取部55从诊断信息管理装置44获取与第1摄像图像或第2摄像图像相关的诊断信息。作为从诊断信息管理装置44获取的诊断信息，获取作为检查对象的患者的病历。病历是指针对患者记录了诊疗或检查的经过等的信息，例如，包括患者的姓名、性别及年龄、病名、主要症状、处方或处置内容、或者既往史等记录。由病变识别部54识别处理的病变部的信息及与诊断信息获取部55所获取的第1摄像图像或第2摄像图像相关的诊断信息保存为数据集DS的附属数据。
若通过静止图像保存控制部43获取作为教师数据候选的第2摄像图像，则学习部56使用多个第2摄像图像、作为附属数据保存的病变部的信息及诊断信息进行机器学习。具体而言，学习部56使用多个第2摄像图像、经识别处理的病变部的信息、诊断信息，利用深度学习等机器学习方法生成判别模型。第2摄像图像为包括作为观察对象的关注区域的摄像图像，并且为未被测量辅助光照射的一般的内窥镜图像，因此能够用作机器学习的教师数据。并且，作为附属数据还附属有病变部的信息及诊断信息等，因此在进行机器学习时，用户不必输入。所生成的判别模型用于病变识别部54中的病变部的识别处理。由此，越存储作为教师数据候选的第2摄像图像，则病变识别部54中的识别处理的精确度越提高。
对基于***控制部41的光源控制及摄像控制和基于静止图像保存控制部43的静止图像保存控制进行说明。在设定为通常模式的情况下，***控制部41对光源装置14的光源部26命令持续发出照明光。由此，从光源部26发出照明光。照明光经由光导件28照射到被摄体。另外，在通常模式的情况下，测量辅助光出射部30的光源30a停止。并且，通过在通常模式下进行1次静止图像获取命令，静止图像保存控制部43将对由照明光照亮的被摄体进行拍摄而获得的第2摄像图像保存于静止图像保存部42。
另一方面，在设定为测长模式的情况下，***控制部41对光源装置14的光源部26及测量辅助光出射部30的光源30a，按照预先设定的发光模式控制照明光及测量辅助光。具体而言，如图8所示，在持续点亮照明光，并且交替地进行测量辅助光的点亮及减光的多帧模式下，操作冻结开关13b时，获取第1摄像图像及第2摄像图像。
在测长模式下，操作冻结开关13b而进行静止图像获取命令的情况下，如图8所示，在包括静止图像获取命令的第1定时，在点亮(打开)照明光，并且点亮(打开)测量辅助光的状态下拍摄第1摄像图像。在经过了第1定时之后的第2定时，在点亮(打开)照明光的状态下，将测量辅助光的光强度设为规定值以下的减光(关闭)状态而拍摄第2摄像图像。
另外，在图8所示的例子中，在第1定时包括静止图像获取命令，因此按第1摄像图像、第2摄像图像的顺序进行了拍摄，但是在第2定时包括静止图像获取命令的情况下，可以在拍摄第2摄像图像之后，拍摄第1摄像图像。
然后，静止图像保存控制部43保存包括第1摄像图像的静止图像和第2摄像图像的静止图像的多帧图像作为保存于静止图像保存部42的保存图像。另外，在图7所示的例子中，作为多帧图像，由在静止图像获取命令时拍摄的1个第1摄像图像和1个第2摄像图像构成，但是并不限于此，可以如获取动画的情况那样，在1个多帧图像中包括在静止图像获取命令前后拍摄的多个第1摄像图像或多个第2摄像图像。
并且，在进行静止图像获取命令之后的规定时间的期间，为了通知记录有静止图像，优选将第1摄像图像和第2摄像图像显示于监视器18。在保存第1摄像图像及第2摄像图像之后，原样保持测长模式，但是可以自动切换到通常模式。
如图9的(A)所示，第1摄像图像为映射有光斑SP的图像。另一方面，如图9的(B)所示，第2摄像图像为一般的内窥镜图像，并且根据颜色、形状、范围等来用于对肿瘤tm的形态观察、诊断。
另外，在显示控制部40将第1摄像图像显示于监视器18的情况下，不限于图9的(A)所示的例子，例如，可以如图10所示，重叠显示测量用标记M1。
测量用标记M1为根据1个光斑SP的位置由大小不同的2个同心圆构成的同心圆型测量用标记，并且为构成测量用标记M1的2个同心圆M11、M12，标注在左下方的“5”、“10”表示实际尺寸的“5mm”、“10mm”。此时，关于第1摄像图像，在手指的操作后等内窥镜诊断后，在后处理中将测量用标记M1重叠显示于肿瘤tm，由此在欲详细地测量大小、距离的情况下使用。除了内窥镜***10以外，还可以通过PC(Personal Computer：个人计算机)等进行后处理。
并且，在将第1摄像图像显示于监视器18的情况下，显示控制部40可以显示由病变识别部54识别处理的结果。例如，如图10所示，可以通过颜色的变更来仅强调显示由病变识别部54识别的病变部即肿瘤tm、或者显示所识别的病变的种类(未图示)。并且，关于重叠显示了测量用标记M1的第1摄像图像，例如，优选作为在切除肿瘤时，判断为可以舍弃该肿瘤时的证据图像留在病历中(比规定的标准大或小时的肿瘤等)。
如上所述，通过1次静止图像获取命令，能够获取映射有光斑SP的第1摄像图像和作为一般的内窥镜图像的第2摄像图像，因此能够使用第1摄像图像进行观察对象的大小等的测量，并且能够将第2摄像图像用作机器学习的教师数据。
另外，静止图像保存控制部43保存了包括第1摄像图像及第2摄像图像的多帧图像，但是并不限于此，可以分别以单个图像文件保存第1摄像图像及第2摄像图像。另外，在作为摄像图像的数据形式，例如，采用由Exif、DICOM形式等组成的单个图像文件的情况下，与光斑SP的位置相关的坐标信息优选设为第1摄像图像、第2摄像图像的元数据。并且，在将与光斑SP的位置相关的坐标信息、病变部的信息及诊断信息设为ini文件等其他文件的情况下，将与光斑SP的位置相关的坐标信息、病变部的信息及诊断信息与第1摄像图像、第2摄像图像建立关联而保存。
[第2实施方式]
在上述第1实施方式中，在交替地进行测量辅助光的点亮及减光的多帧模式下获取了第1摄像图像及第2摄像图像，但是在第2实施方式中，在持续点亮模式下获取第1摄像图像，在通常模式下获取第2摄像图像。如图11所示，在持续点亮模式的情况下，***控制部41持续点亮测量辅助光。另外，除了基于***控制部41的光源控制及摄像控制和基于静止图像保存控制部43的静止图像保存控制以外的结构与上述第1实施方式相同，因此省略说明。
在设定为通常模式的情况下，与上述第1实施方式同样地，***控制部41对光源装置14的光源部26命令持续发出照明光。然后，在通过操作模式切换开关13a而从通常模式切换到测长模式的情况下，***控制部41在持续点亮照明光及测量辅助光的持续点亮模式下操作冻结开关13b时，拍摄第1摄像图像。
如图11所示，在测长模式下，操作冻结开关13b而进行静止图像获取命令的情况下，在包括静止图像获取命令的第1定时，在点亮(打开)照明光，并且点亮(打开)测量辅助光的状态下拍摄第1摄像图像。
另一方面，第2摄像图像在切换到测长模式之前、或在将测长模式切换到其他模式之后获取。在图11所示的例子中，在将测长模式切换到通常模式之后的第2定时，在点亮(打开)照明光的状态下，将测量辅助光的光强度设为规定值以下的减光(关闭)状态而拍摄第2摄像图像。静止图像保存控制部43获取第1摄像图像及第2摄像图像之后，到保存为止的流程与上述第1实施方式相同。另外，在本实施方式中，优选在拍摄第1摄像图像之后，从测长模式自动切换到通常模式。由此，能够在短时间内从拍摄了第1摄像图像的第1定时成为第2定时，从而拍摄第2摄像图像。
另外，在图11所示的例子中，在将测长模式切换到通常模式之后的第2定时，拍摄了第2摄像图像，但是如图12所示，将在切换到测长模式之前的通常模式下的第2定时拍摄第2摄像图像而得的图像暂且临时保存于存储器等。然后，在切换到测长模式之后，操作冻结开关13b而进行静止图像获取命令时，可以获取所拍摄的第1摄像图像的同时获取临时保存的第2摄像图像。或者，可以获取切换到测长模式之前、将测长模式切换到通常模式之后这两者的第2摄像图像。
如上所述，能够通过1次静止图像获取命令，获取映射有光斑SP的第1摄像图像和作为一般的内窥镜图像的第2摄像图像，因此具有与上述第1实施方式相同的效果。
另外，在第2实施方式中，静止图像保存控制部43在测长模式下，仅获取了在包括静止图像获取命令的第1定时拍摄的第1摄像图像，但是并不限于此，可以获取在静止图像获取命令前后在被测量辅助光照射的状态下获取并且观察对象的形状与在第1定时拍摄的情况类似的摄像图像作为第1摄像图像。
具体而言，相当于在测长模式下，除了在第1定时拍摄的第1摄像图像(在图11中的保存图像中由实线包围)以外的第1摄像图像(在图11中的保存图像中由虚线包围)。可以获取这些在测长模式下获取的所有第1摄像图像，也可以计算在第1定时拍摄的第1摄像图像的特征量和除了在第1定时拍摄的第1摄像图像以外的第1摄像图像的特征量来获取观察对象的形状与在第1定时拍摄的第1摄像图像最类似的图像。并且，在将测长模式切换到通常模式之后，获取了第2摄像图像的情况下，关于第1摄像图像也优选获取接近第2定时的第1摄像图像、即在第1定时之后拍摄的第1摄像图像。而且，在切换到测长模式之前获取了第2摄像图像的情况下，优选获取在第1定时之前拍摄的第1摄像图像。
在上述各实施方式中，对病变识别部54、教师数据候选获取部(静止图像保存控制部43)、诊断信息获取部55及学习部56全部设置于内窥镜***10的例子进行了说明，但是可以将其中任一个设置于内窥镜***，其他设置于与内窥镜***连接的外部医疗图像处理装置。例如，在内窥镜***仅设置病变识别部，在外部医疗图像处理装置设置教师数据候选获取部、诊断信息获取部及学习部。然后，通过外部医疗图像处理装置的学习部，训练内窥镜***的病变识别部。
在上述各实施方式中，在拍摄第2摄像图像时，进行了将测量辅助光的光强度设为规定值以下的减光，但是也可以熄灯，而不是使测量辅助光减光。并且，在上述各实施方式中，教师数据候选获取部(静止图像保存控制部43)获取了映射有光斑SP的第1摄像图像和作为一般的内窥镜图像的第2摄像图像，并获取了第2摄像图像作为教师数据候选，但是并不限于此，可以获取第1摄像图像及第2摄像图像中的至少任一个作为教师数据候选。在获取第1摄像图像作为教师数据候选的情况下，例如，可以在基于学习部的机器学习中使用除了映射有光斑SP的部分以外的部分。
并且，作为教师数据候选获取部(静止图像保存控制部43)所获取的教师数据候选，可以获取截取了光斑SP的***的病变部候选图像作为教师数据候选，而不是上述的第1摄像图像或第2摄像图像的整个图像。此时，在操作冻结开关13b而进行静止图像获取命令时，如图13所示，教师数据候选获取部(静止图像保存控制部43)制作使用光斑SP的位置信息对第1摄像图像或第2摄像图像(参考图13的(A)及图13的(B))截取了其***的病变部候选图像(参考图13的(C)及图13的(D))。
在图13所示的例子中，作为光斑SP的***，截取了以光斑SP的位置为中心，将规定的像素数作为直径的圆形范围，但是并不限于此，只要是包含包括光斑SP的位置的规定的形状的范围即可。或者，可以仅截取由病变识别部54识别处理的肿瘤tm的范围。然后，将所截取的病变部候选图像保存于静止图像保存部42等。映射有光斑SP的部分也就是作为用户的医生欲观察的部位，当然能够成为学习对象。由此，使用截取了光斑SP的***的病变部候选图像，与上述各实施方式同样地，由学习部56进行机器学习。由此，能够根据具有医生的选择性的病变部候选图像来进行机器学习，因此病变识别部54中的识别处理的精确度进一步提高。另外，作为教师数据候选获取部所获取的教师数据候选，可以是对第1摄像图像截取了光斑SP的***的病变部候选图像及对第2摄像图像截取了光斑SP的***的病变部候选图像中的任一个。
在上述各实施方式中，信号处理部39、显示控制部40、***控制部41等执行各种处理的处理部(processing unit)的硬件结构为如以下所示的各种处理器(processor)。在各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit：中央处理单元)、GPU(Graphical Processing Unit：图形处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造之后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合、或CPU与GPU的组合等)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，首先，有如以客户端、服务器等计算机为代表那样，由1个以上的CPU和软件的组合构成一个处理器，该处理器作为多个处理部发挥作用的方式。其次，有如以片上***(System On Chip：SoC)等为代表那样，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的整个***的功能的处理器的方式。如此，作为硬件结构，各种处理部使用1个以上的上述各种处理器构成。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的形态的电路(circuitry)。
符号说明
10-内窥镜***，12-内窥镜，12a-***部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，13a-模式切换开关，13b-冻结开关，14-光源装置，16-处理器装置，18-监视器，19-用户界面，21-物镜，22-照明透镜，23-测量辅助用透镜，24-开口，25-送气送水喷嘴，26-光源部，27-光源控制部，28-光导件，29a-照明光学***，29b-摄像光学***，30-测量辅助光出射部，30a-光源，30b-GRIN透镜，30c-棱镜，30d-光纤，32-成像元件，33-摄像控制部，34-CDS/AGC电路，35-A/D转换器，36-通信I/F(接口)，38-通信I/F(接口)，39-信号处理部，40-显示控制部，41-***控制部，42-静止图像保存部，43-静止图像保存控制部，44-诊断信息管理装置，45-实线，46-虚线，51-位置确定部，52-观察距离检测部，53-测量用标记设定部，54-病变识别部，55-诊断信息获取部，56-学习部，57-观察距离表，D1-第1方向，D2-第2方向，DS-数据集，LI-光轴，LM-光轴，M1-测量用标记，M11-同心圆，M12-同心圆，PF-远端，PM-中央附近，PN-近端，QF-箭头，QM-箭头，QN-箭头，R1-范围，SP-光斑，tm-肿瘤。

Claims (12)

1.一种内窥镜用处理器装置，其具备处理器，所述内窥镜用处理器装置中，
所述处理器获取利用内窥镜拍摄的摄像图像，
获取所述内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，所述第1摄像图像为对被测量辅助光照射的状态下的被摄体进行拍摄而获取的图像，所述第2摄像图像为在所述测量辅助光的照射前后获取并且对未被所述测量辅助光照射的状态下的所述被摄体进行拍摄而获取的图像，
获取至少没有映射光斑的第2摄像图像作为教师数据候选。
2.根据权利要求1所述的内窥镜用处理器装置，其中，
所述处理器在根据预先设定的发光模式交替地进行所述测量辅助光的点亮及减光的多帧模式下获取所述第1摄像图像或者所述第2摄像图像，
所述第1摄像图像为在所述测量辅助光点亮时获取的摄像图像，
所述第2摄像图像为在所述测量辅助光减光时获取的摄像图像。
3.根据权利要求1所述的内窥镜用处理器装置，其中，
所述处理器在根据预先设定的发光模式交替地进行所述测量辅助光的点亮及减光的多帧模式下获取所述第1摄像图像或者所述第2摄像图像，
所述第1摄像图像为在所述测量辅助光点亮时并且在操作冻结开关时获取的摄像图像，
所述第2摄像图像为在所述测量辅助光减光时并且在操作冻结开关时获取的摄像图像。
4.根据权利要求1所述的内窥镜用处理器装置，其中，
所述处理器在持续点亮所述测量辅助光的持续点亮模式下获取所述第1摄像图像或者所述第2摄像图像，
所述第1摄像图像为在操作冻结开关时被所述测量辅助光照射的状态下获取到的图像、或者在冻结开关的操作前后被所述测量辅助光照射的状态下获取并且观察对象的形状与操作冻结开关时类似的图像，
所述第2摄像图像为在切换到所述持续点亮模式之前、或者在将所述持续点亮模式切换到其他模式之后获取的摄像图像。
5.根据权利要求3所述的内窥镜用处理器装置，其中，
所述处理器获取在所述第1摄像图像或者所述第2摄像图像中截取了包括特定区域的范围的病变部候选图像作为所述教师数据候选，所述特定区域通过所述测量辅助光形成于所述被摄体上。
6.根据权利要求4所述的内窥镜用处理器装置，其中，
所述处理器获取在所述第1摄像图像或者所述第2摄像图像中截取了包括特定区域的范围的病变部候选图像作为所述教师数据候选，所述特定区域通过所述测量辅助光形成于所述被摄体上。
7.根据权利要求1至6中任一项所述的内窥镜用处理器装置，其中，
所述处理器确定通过所述测量辅助光形成于所述被摄体上的特定区域的位置，
获取所述第1摄像图像或者第2摄像图像并获取所述特定区域的位置信息。
8.根据权利要求7所述的内窥镜用处理器装置，其中，
所述处理器从所确定的所述特定区域的位置检测观察距离，
获取所述第1摄像图像或者第2摄像图像并获取所述观察距离。
9.根据权利要求1至6中任一项所述的内窥镜用处理器装置，其中，
所述处理器从管理与第1摄像图像或者第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息，
获取所述第1摄像图像或者第2摄像图像并获取所述诊断信息。
10.一种医疗图像处理装置，其具备处理器，所述医疗图像处理装置中，
所述处理器进行如下操作：
获取利用内窥镜拍摄的摄像图像并对医疗图像实施图像处理；
获取所述内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，所述第1摄像图像为对被测量辅助光照射的状态下的被摄体进行拍摄而获取的图像，所述第2摄像图像为在所述测量辅助光照射前后获取并且对未被所述测量辅助光照射的状态下的所述被摄体进行拍摄而获取的图像，获取至少没有映射光斑的第2摄像图像作为教师数据候选；
针对医疗图像识别病变部；
从管理与所述第1摄像图像或者所述第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息；
使用所述教师数据候选和所述诊断信息进行训练，以生成所述病变部的所述识别中所使用的判别模型。
11.一种医疗图像处理装置的工作方法，所述医疗图像处理装置获取利用内窥镜拍摄的摄像图像，并且对医疗图像实施图像处理，所述医疗图像处理装置的工作方法具有如下步骤：
获取所述内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，所述第1摄像图像为对被测量辅助光照射的状态下的被摄体进行拍摄而获取的图像，所述第2摄像图像为在所述测量辅助光照射前后获取并且对未被所述测量辅助光照射的状态下的所述被摄体进行拍摄而获取的图像，获取至少没有映射光斑的第2摄像图像作为教师数据候选；
针对医疗图像识别病变部；
从管理与所述第1摄像图像或者所述第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息；及
使用所述教师数据候选和所述诊断信息进行训练，以生成所述病变部的所述识别中所使用的判别模型。
12.一种非暂时性计算机可读介质，保存有能由计算机执行的程序，该能由计算机执行的程序被安装于医疗图像处理装置，所述医疗图像处理装置获取利用内窥镜拍摄的摄像图像，并且对医疗图像实施图像处理，所述能由计算机执行的程序用于使计算机实现如下功能：
获取所述内窥镜的摄像图像中的第1摄像图像及第2摄像图像中的至少任一个作为机器学习用教师数据候选，所述第1摄像图像为对被测量辅助光照射的状态下的被摄体进行拍摄而获取的图像，所述第2摄像图像为在所述测量辅助光照射前后获取并且是对未被所述测量辅助光照射的状态下的所述被摄体进行拍摄而获取的图像，获取至少没有映射光斑的第2摄像图像作为教师数据候选；
针对医疗图像识别病变部；
从管理与所述第1摄像图像或者所述第2摄像图像相关的诊断信息的诊断信息管理装置获取诊断信息；及
使用所述教师数据候选和所述诊断信息进行训练，以生成所述病变部的所述识别中所使用的判别模型。
CN202080022924.5A 2019-03-20 2020-03-06 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质 Active CN113631076B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-053545 2019-03-20
JP2019053545 2019-03-20
PCT/JP2020/009646 WO2020189334A1 (ja) 2019-03-20 2020-03-06 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム

Publications (2)

Publication Number Publication Date
CN113631076A CN113631076A (zh) 2021-11-09
CN113631076B true CN113631076B (zh) 2024-05-07

Family

ID=72520980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022924.5A Active CN113631076B (zh) 2019-03-20 2020-03-06 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质

Country Status (4)

Country Link
EP (1) EP3942991A4 (zh)
JP (1) JPWO2020189334A1 (zh)
CN (1) CN113631076B (zh)
WO (1) WO2020189334A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022224859A1 (zh) * 2021-04-23 2022-10-27

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007330348A (ja) * 2006-06-12 2007-12-27 Olympus Medical Systems Corp 内視鏡挿入形状検出装置
JP2016163609A (ja) * 2015-03-06 2016-09-08 富士フイルム株式会社 分岐構造判定装置、方法およびプログラム
CN108536538A (zh) * 2018-03-13 2018-09-14 Oppo广东移动通信有限公司 处理器核心调度方法、装置、终端及存储介质
WO2018180250A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ
JP6483890B1 (ja) * 2018-04-27 2019-03-13 国立大学法人滋賀医科大学 診断支援装置、機械学習装置、診断支援方法、機械学習方法および機械学習プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3513703B1 (en) * 2016-09-15 2021-04-28 FUJIFILM Corporation Measurement support device, endoscope system, and endoscope processor for endoscope system
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007330348A (ja) * 2006-06-12 2007-12-27 Olympus Medical Systems Corp 内視鏡挿入形状検出装置
JP2016163609A (ja) * 2015-03-06 2016-09-08 富士フイルム株式会社 分岐構造判定装置、方法およびプログラム
WO2018180250A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ
CN108536538A (zh) * 2018-03-13 2018-09-14 Oppo广东移动通信有限公司 处理器核心调度方法、装置、终端及存储介质
JP6483890B1 (ja) * 2018-04-27 2019-03-13 国立大学法人滋賀医科大学 診断支援装置、機械学習装置、診断支援方法、機械学習方法および機械学習プログラム

Also Published As

Publication number Publication date
JPWO2020189334A1 (ja) 2021-12-23
EP3942991A4 (en) 2022-05-11
CN113631076A (zh) 2021-11-09
WO2020189334A1 (ja) 2020-09-24
EP3942991A1 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜***及其操作方法
CN112005312A (zh) 伤口成像和分析
US20140085686A1 (en) Fluorescence observation device
US20080294056A1 (en) Bispectral peroperative optical probe
WO2020036121A1 (ja) 内視鏡システム
US20050119551A1 (en) Method and device for examining the skin
WO2020036109A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112469323B (zh) 内窥镜***
US11398033B2 (en) Diagnosis support system, endoscope system, processor, and diagnosis support method
WO2020036224A1 (ja) 内視鏡システム
WO2019220801A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
CN113631076B (zh) 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质
US20220330850A1 (en) Endoscope apparatus, method of operating the same, and non-transitory computer readable medium
US20240138665A1 (en) Dental imaging system and image analysis
JP7200393B2 (ja) 内視鏡システム
CN114286961A (zh) 内窥镜***及其工作方法
JP6924727B2 (ja) 内視鏡装置
US12029386B2 (en) Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device
US20230240511A1 (en) Endoscope system and endoscope system operation method
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
JP2020151250A (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
US20220245808A1 (en) Image processing apparatus, image processing system, image processing method, and computer-readable recording medium
CN114286641A (zh) 内窥镜装置及其工作方法以及内窥镜装置用程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant