CN111936030A - 界标估计方法及内窥镜装置 - Google Patents

界标估计方法及内窥镜装置 Download PDF

Info

Publication number
CN111936030A
CN111936030A CN201880092227.XA CN201880092227A CN111936030A CN 111936030 A CN111936030 A CN 111936030A CN 201880092227 A CN201880092227 A CN 201880092227A CN 111936030 A CN111936030 A CN 111936030A
Authority
CN
China
Prior art keywords
landmark
insertion portion
axis
endoscope
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880092227.XA
Other languages
English (en)
Inventor
森润一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN111936030A publication Critical patent/CN111936030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

界标估计方法，在利用***部(9)弯曲的内窥镜(2)拍摄被摄体而得到的内窥镜图像中，估计界标(L)的位置，该界标是存在于被摄体中的孔部，且是供***部(9)贯穿的部位，该界标估计方法估计***部(9)的轴线(9a)，估计***部(9)与被摄体的边界(9b)，根据估计出的轴线(9a)和边界(9b)估计界标(L)的位置。

Description

界标估计方法及内窥镜装置
技术领域
本发明涉及界标估计方法及内窥镜装置。
背景技术
以往，在医疗领域和工业用领域中广泛利用内窥镜。例如，在医疗领域中，手术者可以观察显示在显示装置上的被检体内的内窥镜图像，发现和识别作为被摄体的病变部，进行使用了针对病变部的处置器具的处理。
通常，已知基于从不同视点获得的多个图像的位置偏移信息，使用三角测量的原理来计算被摄体的三维坐标的技术。此外，还已知如下技术：向被摄体照射投影光，并且基于反射光到达传感器所需的时间、所拍摄的图案等来求出被摄体的三维坐标。
通过使用这些技术求出2点以上被摄体的三维坐标，计算被摄体的大小和体积等物理量。在利用内窥镜进行的观察中，通过使用这些技术，也能够计测肿瘤的尺寸、从贲门或***等成为界标的部位到肿瘤的距离等。
在计算被摄体的物理量时，需要设定计测点和计测区域。如上所述，在内窥镜观察中，在计测从界标到肿瘤的距离的情况下，需要适当地设定界标的位置和肿瘤的位置。
另一方面，当肿瘤存在于作为界标的贲门或***附近时，需要使内窥镜镜体弯曲，并且以内窥镜的前端部回头的姿势拍摄对象。当以该姿势进行摄影时，内窥镜镜体自身映入内窥镜图像中。因此，不能利用映入的内窥镜镜体直接拍摄界标，所以难以适当地设定计测点。因此，提出了间接地估计计测点的方法。
例如，通过使用日本特开2016-80674号公报中提出的方法，设定包含难以直接指定的计测点的关心区域，通过分析该关心区域，能够间接地估计计测点。
但是，在日本特开2016-80674号公报的估计方法中，需要在平面上设定关心区域。与此相对，在以内窥镜镜体回头的姿势拍摄界标附近的肿瘤而得到的图像中，存在内窥镜镜体自身的遮挡，并且内窥镜镜体相对于作为被摄体的管腔面倾斜地配置，所以无法在平面上设定关心区域。因此，在上述方法中，存在无法估计计测点的问题。
本发明是鉴于上述情况而完成的，其目的在于提供一种界标估计方法和内窥镜装置，即使在由于使内窥镜镜体弯曲而内窥镜自身映入内窥镜图像中从而界标被遮挡而无法直接指定为计测点的情况下，也能够高精度地估计界标的位置。
发明内容
用于解决问题的手段
本发明的一个方式的界标估计方法在利用***部弯曲的内窥镜拍摄被摄体而得到的内窥镜图像中，估计界标的位置，该界标是存在于所述被摄体的孔部，且是供所述***部贯穿的部位，其中，所述界标估计方法包含如下步骤：估计所述***部的轴线；估计所述***部与所述被摄体的边界；以及基于所述轴线和所述边界估计所述界标的位置。
本发明的一个方式的内窥镜装置具有界标估计部，该界标估计部在利用***部弯曲的内窥镜拍摄被摄体而得到的内窥镜图像中，估计界标的位置，该界标是存在于所述被摄体上的孔部，且是供所述***部贯穿的部位，其中，所述界标估计部具有：轴线估计部，其估计所述***部的轴线；边界估计部，其估计所述***部和所述被摄体之间的边界；以及界标位置估计部，其根据所述轴线和所述边界来估计所述界标的位置。
附图说明
图1是表示本发明的实施方式的内窥镜装置1的整体结构的一例的立体图。
图2是表示与本发明的第1实施方式的处理器4的图像处理相关的结构的框图。
图3A是表示本发明的第1实施方式的控制运算部22的运算部22b的结构的框图。图3B是表示轴线估计部32A的结构的框图。
图4是表示界标估计部32中的界标估计处理的流程的一例的流程图。
图5是表示成为检测对象的界标的一例的概略图。
图6A是表示由图像生成部31生成的内窥镜图像的一例的图。
图6B是说明根据图6A的内窥镜图像估计出的界标位置的概略图。
图7是说明第2实施方式的***部9的轴线9a估计位置的概略图。
图8是说明第2实施方式的变形例的***部9的轴线9a估计位置的概略图。
图9是说明第3实施方式的***部9的轴线9a估计位置的概略图。
图10是说明第4实施方式的内窥镜2的结构的一例的概略图。
图11是说明第4实施方式的内窥镜2的结构的另一例的概略图。
图12是说明第4实施方式的内窥镜2的结构的另一例的概略图。
图13是说明第4实施方式的***部9的轴线9a估计位置的概略图。
图14是说明第4实施方式的***部9的轴线9a的另一估计位置的概略图。
图15是表示第5实施方式的控制运算部22的运算部22b的结构的框图。
图16是表示界标与病变部的直线距离的概略图。
图17是表示界标和病变部的沿面距离的概略图。
图18是说明第6实施方式的内窥镜2的结构的一例的概略图。
具体实施方式
以下，参照附图说明实施方式。
(第1实施方式)
图1是表示本发明的实施方式的内窥镜装置的整体结构的一例的立体图。如图1所示，本实施方式的内窥镜装置1主要由作为内窥镜镜体的电子内窥镜(以下简称为内窥镜)2、光源装置3、处理器4和监视器5构成。
内窥镜2构成为具有：长条且细长的***部9、操作部10、以及作为电缆的通用缆线19。内窥镜2的***部9构成为从前端起依次具有前端部6、弯曲部7和挠性管部8。在前端部6设有未图示的照明窗和观察窗，照明光从照明窗向被检体射出，来自被检体的返回光入射到观察窗。在前端部6中，作为拍摄被摄体的单元，配置有CCD、CMOS等固体摄像元件，对从观察窗入射的光所形成的被摄体像进行光电转换而输出摄像信号。摄像信号通过通用缆线19提供给处理器4。
用于对***部9的弯曲部7进行弯曲操作的弯曲操作部14旋转自如地配设于操作部10，并且操作部10设有包括对焦开关15在内的各种内窥镜功能的开关类等。另外，弯曲操作部14以重叠的方式配设有UD弯曲操作旋钮12和RL弯曲操作旋钮13，该UD弯曲操作旋钮12用于对弯曲部7向上下方向进行弯曲操作，该RL弯曲操作旋钮13用于对弯曲部7向左右方向进行弯曲操作。
并且，***部9和操作部10的连接部构成为具有：把持部11，其兼用作用户的把持部；以及处置器具通道贯穿部18，其配设在设于该把持部11和***部9的挠性管部8的一端之间的防折部上，成为供配设在***部9上的各种处置部贯穿的处置器具通道的开口部。
从操作部10延伸设置的通用缆线19在延伸端具有相对于光源装置3装卸自如的镜体连接器19a。并且，镜体连接器19a延伸设置有线圈状的螺旋缆线20，在该螺旋缆线20的延伸端设有作为相对于处理器4装卸自如的连接器的镜体连接器20a。另外，本实施方式的内窥镜2通过配设在通用缆线19、操作部10以及***部9上的照明单元的光导缆线，从光源装置3向前端部6传送照明光。
处理器4与显示内窥镜图像的监视器5电连接，对由搭载在内窥镜2上的CCD等摄像单元进行光电转换而得的摄像信号进行处理，作为图像信号输出到监视器5。在监视器5上显示内窥镜图像。
图2是表示与处理器4的图像处理相关的结构的框图。处理器4是具有摄像信号取得部21、控制运算部22、存储装置23和输入部24的图像处理装置。控制运算部22是包括控制部22a和运算部22b的电路。
摄像信号取得部21是在控制部22a的控制下接收并取得来自内窥镜2的摄像元件的摄像信号，并将其输出到控制运算部22的电路。
控制部22a包括中央处理装置(以下称为CPU)、ROM、RAM等，进行处理器4整体的动作控制，并且根据手术者对输入部24的指示，进行内窥镜2的摄像元件的驱动控制、基于来自内窥镜2的操作部10的各种操作信号的各种电路的控制、向存储装置23记录各种数据以及从存储装置23读出各种数据的控制、以及图像处理的控制。
即，控制部22a根据在输入部24中进行的指示或输入，控制内窥镜装置1的动作，输出针对各部的控制信号或设定信号。
运算部22b是如下的电路：在控制部22a的控制下，根据由摄像信号取得部21取得的摄像信号，执行各种图像处理和各种运算处理，并且生成显示在监视器5上的内窥镜图像的图像信号和各种显示信息，并输出到监视器5。
另外，也可以通过软件程序进行控制运算部22中的控制部22a和运算部22b的处理的全部或一部分。
存储装置23是硬盘装置等大容量的存储装置，存储通过内窥镜检查得到的被检体内的内窥镜图像的图像数据以及辅助信息等各种数据。
输入部24是具有各种按钮的操作面板，是用于手术者向处理器4提供内窥镜装置1的各种设定、各种指示等的输入装置。
图3A是表示本实施方式中的控制运算部22的运算部22b的结构的框图。
运算部22b是包含图像生成部31、界标估计部32的电路。
图像生成部31是接收摄像信号，根据观察模式，根据摄像信号生成内窥镜图像的电路。对内窥镜图像进行规定的强调处理、各种校正处理、使各种信息和菜单画面等重叠显示的重叠处理等。
界标估计部32是估计内窥镜图像中的内窥镜1的***部9***到观察部位的孔(例如，消化道内窥镜检查中的胃的幽门部等)即界标的位置的电路。界标估计部32由轴线估计部32A、边界估计部32B和界标位置估计部32C构成。
轴线估计部32A是从内窥镜图像中提取内窥镜1的***部9，估计***部9的中心轴的电路。图3B是表示轴线估计部32A的结构的框图。关于图3B所示的轴线估计部32A中的各部的动作，在下述的说明的对应处进行后述。图3B不仅示出了下面说明的本实施方式的结构，而且示出了在本实施方式之后说明的第2至第6实施方式的结构。
边界估计部32B是在映入内窥镜图像中的***部9中将***源侧(基端侧、远离前端部6的一侧)估计为边界的电路。
界标位置估计部32C是使用所估计的内窥镜1的***部9的中心轴和***部9与被摄体的边界来估计界标位置的电路。
图4是表示界标估计部32中的界标估计处理的流程的一例的流程图。另外，图5是表示成为检测对象的界标的一例的概略图。作为在使内窥镜2的***部9弯曲而前端部6回头的姿势下拍摄被摄体的状况，如图5所示，除了观察胃40的幽门部41附近的肿瘤的情况之外，还可以列举观察大肠的***部附近的肿瘤的情况、工业用内窥镜中的飞机引擎的接入端口的检查等。在图5的情况下，作为供***部9***到胃内部的孔部的幽门部9成为界标。
在界标估计处理之前，控制部22a控制光源的驱动和内窥镜2的摄像元件的驱动，并且控制摄像信号取得部21，由此运算部22b取得来自内窥镜2的摄像信号。运算部22b的图像生成部31在控制部22a的控制下根据摄像信号生成内窥镜图像。图6A是表示由图像生成部31生成的内窥镜图像的一例的图。
界标估计部32根据所生成的内窥镜图像，估计***部9的轴线(S1)。S1的处理涉及图3A中的轴线估计部32A。轴线的估计例如可以通过从内窥镜图像中提取作为对象的***部9，确定***部9的长度方向来进行估计。
接着，界标估计部32估计所提取的***部9与被摄体的边界(S2)。S2中的处理涉及图3A中的边界估计部32B。在以前端部6回头的姿势拍摄被摄体的情况下，***部9的前端侧必须位于内窥镜图像的周缘侧，***部9的***源侧必须位于内窥镜图像的中心侧。因此，能够将图像上的***部9与被摄体(在图5的情况下为胃的内壁)的边界线中的、与***部9的长度方向交叉且位于内窥镜图像的中心侧的边界线，估计为***部9与被摄体的边界。
最后，界标估计部32估计界标的位置(S3)。S3的处理涉及图3A中的界标位置估计部32C。图6B是说明根据图6A的内窥镜图像估计出的界标位置的概略图。界标L的位置可以估计为在S1中估计的***部9的轴线9a与在S2中估计的边界9b的交点。
如上所述，根据上述实施方式的界标估计方法，即使在由于使内窥镜***部弯曲而***部自身映入内窥镜图像中从而界标被遮挡而无法直接指定为计测点的情况下，也可以高精度地估计界标的位置。
(第2实施方式)
在上述第1实施方式中，通过检测***部9的长度方向来估计***部9的轴线9a，然而在本实施方式中，使用图像处理来检测轴线9a。本实施方式的内窥镜装置具有与第1实施方式的内窥镜装置1相同的结构，对相同的结构要素赋予相同标号并省略说明。另外，按照与图4所示的流程图相同的顺序进行本实施方式的界标估计处理。但是，S1的具体方法与第1实施方式不同。下面，说明本实施方式的图4的S1的方法、即估计***部9的轴线9a的具体方法。另外，本实施方式中的S1的处理涉及图3B中的颜色分析部32A1。
图7是说明第2实施方式的***部9的轴线9a估计位置的概略图。图7示出对图6A所示的内窥镜图像实施后述的处理，检测出***部9的边缘的状态。在估计***部9的轴线9a时，轴线估计部32A的颜色分析部32A1使用***部9的颜色(例如黑色)和体腔内的颜色(红色)的差异，来分割***部9区域和体腔区域，检测***部9的边缘。在边缘检测中，可以使用霍夫变换等现有的方法。
根据检测出的边缘，计算将***部9的径向宽度二等分的沿着***部9的长度方向的直线(中心线)。中心线的计算也可以使用基于图像矩的主轴线提取等现有的方法。将这样得到的中心线估计为***部9的轴线9a。
如上所述，根据本实施方式，也能够得到与第1实施方式相同的效果。
(第2实施方式的变形例)
在上述第2实施方式中，通过颜色分析来检测***部9的边缘，从而估计***部9的轴线9a，但是在本变形例中，使用设置在***部9上的标记来检测轴线9a。本变形例的内窥镜装置具有与第1实施方式的内窥镜装置1相同的结构，对相同的结构要素赋予相同标号并省略说明。另外，按照与图4所示的流程图相同的顺序进行本实施方式的界标估计处理。但是，S1的具体方法与第2实施方式不同。下面，说明本变形例的图4的S1的方法，即估计***部9的轴线9a的具体方法。另外，本变形例中的S1的处理涉及图3B中的标记分析部32A2。
图8是说明第2实施方式的变形例的***部9的轴线9a估计位置的概略图。通常，在内窥镜1的***部9上，距前端以一定位置(或一定间隔)设有标记9d。标记9d设有颜色与***部9的颜色不同的标记，以便能够在内窥镜图像上容易地识别。例如，在***部9的颜色是黑色的情况下，设置相反颜色的白色标记9d。并且，标记9d优选配置成无论***方向、***深度、***的朝向等***部9的***状态如何，总是能够在内窥镜图像上识别标记9d。因此，例如沿着***部9的径向绕***部9d的外缘一周的形状的标记9d距前端以一定间隔配置。
轴线估计部32A的标记分析部32A2根据预先保存在存储部23等中的与标记的形状以及颜色相关的信息，从内窥镜图像中检测标记9d。如上所述，在沿着***部9的径向设有绕***部9d的外缘一周的形状的标记9d的情况下，将与检测为标记9d的线段垂直的方向估计为轴向。另外，轴线的估计方法根据标记9d的形状而不同。例如，在沿着***部9的长度方向配置标记9d的情况下，将与标记9d相同的方向估计为轴向，其中，标记9d具有如数条直线那样以一定间隔附加了刻度的直线形状。
如上所述，根据本变形例，也能够得到与第1、第2实施方式相同的效果。
(第3实施方式)
在上述实施方式中，从内窥镜图像上提取***部9的长度方向、边缘、标记等，根据这些信息来估计轴线9a，但是在本实施方式中，不同点在于还使用图像的亮度信息来估计轴线9a。本变形例的内窥镜装置具有与第1实施方式的内窥镜装置1相同的结构，对相同的结构要素赋予相同标号并省略说明。另外，按照与图4所示的流程图相同的顺序进行本实施方式的界标估计处理。但是，S1的具体方法与第2实施方式不同。下面，说明本变形例的图4的S1的方法，即估计***部9的轴线9a的具体方法。另外，本变形例中的S1的处理涉及图3B中的亮度分析部32A3。
图9是说明第3实施方式的***部9的轴线9a估计位置的概略图。亮度分析部32A3在图6A所示的内窥镜图像中计算各像素的亮度值。通常，***部9的表面被进行镜面处理。因此，照射到体腔内的照明光被***部9的表面镜面反射。由于***部9是大致筒状，所以越接近***部9的轴线9a，反射角越小，反射光相对于配置在前端部6的摄像面垂直入射。另一方面，越远离***部的轴线9a而接近边缘，反射光的入射角越大，反射光相对于配置在前端部6的摄像面倾斜地入射。
即，在内窥镜图像中，越是位于***部9的轴线9a附近的像素，亮度值越高，随着远离轴线9a，亮度值越低。利用该现象，检测计算出的像素值高于预定阈值的区域，能够估计为在该区域(高亮度区域9e)的中心轴上存在***部9的轴线9a。
这样，通过利用镜面反射，即使在没有拍摄到本来的纹理的状况下(例如，在***部9与体腔内的色差较小，难以利用颜色进行区域分割的情况下，或者难以检测出设定在***部9中的标记9d的情况下)，也能够稳定地估计轴线9a。另外，亮度分析部32A3也可以用于判定通过上述实施方式或变形例估计的轴线9a是否存在于高亮度区域。在这种情况下，由于能够排除错误地估计的轴线9a，所以轴线9a的估计精度提高。
如上所述，根据本实施方式，也能够得到与第1、第2实施方式相同的效果。进而，通过与第1、第2实施方式组合，能够提高轴线9a的检测精度。
(第4实施例)
在上述实施方式中，根据二维的内窥镜图像来估计界标，但在本实施方式中，取得三维的内窥镜图像(3D表面数据)，根据该数据来估计界标。本实施方式的内窥镜装置除了设置在内窥镜2中的取得3D表面数据的单元以外，具有与第1实施方式的内窥镜装置1相同的结构，对于相同的结构要素赋予相同标号并省略说明。
图10是说明本实施方式的内窥镜2的结构的一例的概略图。本实施方式的内窥镜2具有投影式计测设备41，作为取得3D表面数据的单元。投影式计测设备41采用TOF(Time OFflight：飞行时间)法，即对被摄体照射投影光，检测来自被摄体的反射光。通过计测从照射投影光到检测到反射光的时间，根据该计测时间计算被摄体的三维坐标。
投影式计测设备41例如从处置器具通道贯穿部18***，通过操作部10、***部9的内部，从设置在前端部6上的处置器具通道44照射投影光。来自被摄体的反射光从处置器具通道44入射，由投影式计测设备41的未图示的检测部检测，计测直到检测到为止所需的时间。另外，来自被摄体的反射光也可以构成为经由设置在前端部6上的处置器具通道44以外的窗进行检测。例如，也可以构成为经由观察窗42利用摄像元件进行检测。
另外，投影式计测设备41只要是能够以非接触方式取得3D表面数据的设备，则可以是使用了任何方法的设备，可以是不像上述那样根据反射光的返回时间对现有的设备计算三维坐标，而使用图案投影法(对被摄体投影网格图案等特定的已知图案，根据由摄像元件拍摄的图案的变形来计算被摄体的三维表面数据的方法)等其他方法的设备。
另外，如图11所示，计测用的投影光或特定图案也可以构成为从光源装置3经由照明窗43向被摄体照射。图11是说明第4实施方式的内窥镜2的结构的另一例的概略图。
另外，如图12所示，也可以在内窥镜2上搭载立体摄像***，根据2张图像的位置偏移信息，使用三角测量的原理计算被摄体的3D表面数据，所述2张图像是基于由位置不同的2个观察窗42a、42b接收到的被摄体的反射光而得到的。图12是说明第4实施方式的内窥镜2的结构的另一例的概略图。
本实施方式的界标估计处理按照与图4所示的流程图同样的顺序进行。但是，S1和S3的具体方法与上述实施方式不同。下面，说明本变形例的图4的S1的方法，即估计***部9的轴线9a的具体方法。另外，本实施方式中的S1的处理涉及图3B中的表面数据分析部32A4。
图13是说明第4实施方式的***部9的轴线9a估计位置的概略图。表面数据分析部32A取得被摄体的3D表面数据。根据表面数据，检测内窥镜2的***部9的长度方向的边缘。在图13中，在***部9的边缘9e中，用实线表示可作为表面数据取得的边缘9e1，用虚线表示不能作为表面数据取得的边缘9a2。在本实施方式中，将可作为表面数据取得的边缘9e1估计为***部9的轴线9a。
另外，也可以根据***部9与体腔的边界的表面数据来估计***部9的截面形状(椭圆形状)，将通过所估计的截面的中心并与可作为表面数据取得的边缘9e1平行的直线估计为轴线9a。图14是说明第4实施方式的***部9的轴线9a的其他估计位置的概略图。***部9的截面形状可以根据表面数据来估计，也可以将***部9的截面形状的设计数据预先保存在设置于内窥镜2的未图示的存储部中，并参照该设计数据。
接着，在估计出***部9与体腔的边界后(S2)，在S3中进行界标估计。具体而言，将根据3D表面数据被检测为体腔(例如胃壁)的面Sb与在S1中估计出的轴线9a的交点估计为界标L。
如上所述，根据本实施方式，也能够得到与第1实施方式相同的效果。
(第5实施方式)
在本实施方式中，检测体腔内的病变部，计算在上述各实施方式中估计出的界标与病变部的距离。本实施方式的内窥镜装置具有与第1实施方式的内窥镜装置1相同的结构，对相同的结构要素赋予相同标号并省略说明。以下，说明与第1实施方式不同的运算部22b的结构。
图15是表示本发明的第5实施方式的控制运算部22的运算部22b的结构的框图。本实施方式的运算部22b除了图像生成部31、界标估计部32以外，还具有病变检测部33和距离分析部34。
病变检测部33例如通过进行将图像识别器应用于内窥镜图像的处理，来从该图像中检测病变部，其中，该图像识别器预先取得了可利用深度学习等学习方法来识别肿瘤(息肉)图像的功能。另外，病变区域的检测不限于上述所示的学习方法，也可以使用其他方法。例如，可以使用日本特开2007-244518号公报所公开的息肉候选检测处理等。
距离分析部34计算病变部与界标之间的距离。另外，2点间的距离可以作为直线距离来计算，在取得了被摄体的3D表面数据的情况下，也可以求出沿体腔内表面的沿面距离。
图16是表示界标与病变部的直线距离的概略图。在计算直线距离的情况下，如图16所示，距离分析部34用直线连接所估计的界标L和所检测的病变部T，计算它们之间的距离。图17是表示界标和病变部的沿面距离的概略图。在计算沿面距离的情况下，距离分析部34如图17所示，用直线连接估计出的界标L和检测出的病变部T，计算它们之间的距离。
如上所述，根据本实施方式的估计方法，可以获得与第1实施方式相同的效果，并且可以使用所估计的界标的位置来计测与病变部的距离，可以生成并提示对手术者的手术技术有用的信息。
(第6实施方式)
在上述实施方式中，与内窥镜的状态无关地进行界标估计，但在本实施方式中，仅在***部9处于弯曲状态的情况下进行界标估计。本实施方式的内窥镜装置除了对设置在内窥镜2中的***部9的弯曲进行检测的单元以外，还具有与第1实施方式的内窥镜装置1相同的结构，对相同的结构要素标注相同标号并省略说明。
图18是说明本实施方式的内窥镜2的结构的一例的概略图。关于本实施方式的内窥镜2，在内窥镜2中设有使***部9弯曲的线51。线的一端与感压装置52连接。当为了使***部9弯曲而对线51施加压力时，感压装置52检测到该情况。感压装置52的检测结果被输出到控制运算部22。另外，检测***部9的弯曲的手段不限于上述感压装置52的检测，也可以使用其他手段。
控制运算部22仅在感压装置52检测到线压的情况下，执行界标估计部32中的各处理。另外，也可以根据由感压装置52检测到的线压来估计***部9的弯曲角度，并用于估计***部的轴线9a。
如上所述，根据上述各实施方式及变形例，即使在由于使内窥镜***部弯曲而***部自身映入内窥镜图像中从而界标被遮挡而无法直接指定为计测点的情况下，也可以高精度地估计界标的位置。
本发明不限于上述实施例，当然可以在不脱离发明主旨的范围内进行各种变更和应用。

Claims (12)

1.一种界标估计方法，在利用***部弯曲的内窥镜拍摄被摄体而得到的内窥镜图像中，估计界标的位置，该界标是存在于所述被摄体的孔部，且是供所述***部贯穿的部位，其中，
所述界标估计方法包含如下步骤：
估计所述***部的轴线；
估计所述***部与所述被摄体的边界；以及
基于所述轴线和所述边界估计所述界标的位置。
2.根据权利要求1所述的界标估计方法，其特征在于，
通过所述内窥镜图像的颜色分析从所述内窥镜图像中提取用于所述轴线的估计的对象，分析所述对象的形状来估计所述轴线。
3.根据权利要求2所述的界标估计方法，其特征在于，
所述对象是所述***部的边缘。
4.根据权利要求2所述的界标估计方法，其特征在于，
所述对象是设于所述***部的标记。
5.根据权利要求2所述的界标估计方法，其特征在于，
通过所述内窥镜图像的亮度分析，提取所述***部的镜面反射部分，估计所述轴线所在的所述***部的中心区域。
6.根据权利要求1所述的界标估计方法，其特征在于，
取得所述被摄体的3D表面数据，将从所述3D表面数据提取出的所述***部的长度方向的边缘估计为所述轴线。
7.根据权利要求6所述的界标估计方法，其特征在于，
根据所述***部和所述被摄体的边界的3D表面数据，对所述***部的截面形状进行椭圆近似，将通过所述椭圆的中心且与从所述3D表面数据提取出的所述***部的长度方向的边缘平行的直线估计为所述轴线。
8.根据权利要求7所述的界标估计方法，其特征在于，
将估计出的所述轴线与所述被摄体的3D表面数据的交点估计为所述界标。
9.根据权利要求6所述的界标估计方法，其特征在于，
进一步从所述被摄体检测病变部，计算从所述界标到所述病变部的距离。
10.根据权利要求9所述的界标估计方法，其特征在于，
所述距离是基于所述3D表面数据的沿面距离。
11.根据权利要求1所述的界标估计方法，其特征在于，
检测所述***部的弯曲状态，仅在检测到所述***部弯曲的情况下进行所述轴线的估计。
12.一种内窥镜装置，其具有界标估计部，该界标估计部在利用***部弯曲的内窥镜拍摄被摄体而得到的内窥镜图像中，估计界标的位置，该界标是存在于所述被摄体上的孔部，且是供所述***部贯穿的部位，其特征在于，
所述界标估计部具有：
轴线估计部，其估计所述***部的轴线；
边界估计部，其估计所述***部和所述被摄体之间的边界；以及
界标位置估计部，其根据所述轴线和所述边界来估计所述界标的位置。
CN201880092227.XA 2018-06-22 2018-06-22 界标估计方法及内窥镜装置 Pending CN111936030A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/023833 WO2019244345A1 (ja) 2018-06-22 2018-06-22 ランドマーク推定方法、及び、内視鏡装置

Publications (1)

Publication Number Publication Date
CN111936030A true CN111936030A (zh) 2020-11-13

Family

ID=68983652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092227.XA Pending CN111936030A (zh) 2018-06-22 2018-06-22 界标估计方法及内窥镜装置

Country Status (4)

Country Link
US (1) US11430114B2 (zh)
JP (1) JP6987243B2 (zh)
CN (1) CN111936030A (zh)
WO (1) WO2019244345A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4144284A4 (en) * 2020-04-28 2024-05-15 Hoya Corporation ENDOSCOPE SYSTEM
JPWO2022202400A1 (zh) * 2021-03-22 2022-09-29

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244517A (ja) * 2006-03-14 2007-09-27 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
CN101268953A (zh) * 2007-03-23 2008-09-24 奥林巴斯医疗株式会社 医疗器具
CN101652092A (zh) * 2007-06-20 2010-02-17 奥林巴斯医疗株式会社 内窥镜***、摄像***以及图像处理装置
US20100249506A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for assisting an operator in endoscopic navigation
CN102449666A (zh) * 2009-03-26 2012-05-09 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
US20150142372A1 (en) * 2013-11-19 2015-05-21 Polaris Surgical, LLC Prosthetic placement tool and associated methods
US20150170352A1 (en) * 2013-12-17 2015-06-18 General Electric Company Method and device for automatically identifying the deepest point on the surface of an anomaly
CN106068093A (zh) * 2014-04-08 2016-11-02 奥林巴斯株式会社 内窥镜***
WO2017054817A1 (de) * 2015-10-01 2017-04-06 Olaf Christiansen Endoskopisches bildverarbeitungssystem für die chirurgie mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische distanzinformation erzeugen
WO2017081821A1 (ja) * 2015-11-13 2017-05-18 オリンパス株式会社 内視鏡の状態推定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8055033B2 (en) 2005-02-15 2011-11-08 Olympus Corporation Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP5477800B2 (ja) * 2008-02-27 2014-04-23 株式会社日立製作所 回転状態検出装置の作動方法および回転状態検出装置
JP2009254783A (ja) * 2008-03-25 2009-11-05 Panasonic Electric Works Co Ltd 内視鏡システム、内視鏡手術訓練システム
US8870751B2 (en) 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
JP5492729B2 (ja) * 2010-09-28 2014-05-14 富士フイルム株式会社 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
US10019812B2 (en) * 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
WO2013080070A1 (en) * 2011-12-03 2013-06-06 Koninklijke Philips Electronics N.V. Surgical port localization.
DE102013219134A1 (de) * 2013-09-24 2015-03-26 Siemens Aktiengesellschaft System und Verfahren zur Korrelation von Objektinformationen mit Röntgenbildern
EP3064122A4 (en) * 2013-12-05 2017-09-06 Olympus Corporation Stereoscopic endoscope system
US9600928B2 (en) * 2013-12-17 2017-03-21 General Electric Company Method and device for automatically identifying a point of interest on the surface of an anomaly
JP6446251B2 (ja) 2014-10-13 2018-12-26 ゼネラル・エレクトリック・カンパニイ 異常の表面上の関心点を自動的に識別するための方法およびデバイス
WO2016092980A1 (ja) * 2014-12-10 2016-06-16 オリンパス株式会社 補助具及び内視鏡システム
JP6824078B2 (ja) * 2017-03-16 2021-02-03 富士フイルム株式会社 内視鏡位置特定装置、方法およびプログラム
EP3735163A1 (en) * 2018-01-04 2020-11-11 Applied Medical Resources Corporation Surgical simulation camera scope

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244517A (ja) * 2006-03-14 2007-09-27 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
CN101268953A (zh) * 2007-03-23 2008-09-24 奥林巴斯医疗株式会社 医疗器具
CN101652092A (zh) * 2007-06-20 2010-02-17 奥林巴斯医疗株式会社 内窥镜***、摄像***以及图像处理装置
US20100249506A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for assisting an operator in endoscopic navigation
CN102449666A (zh) * 2009-03-26 2012-05-09 直观外科手术操作公司 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的***
US20150142372A1 (en) * 2013-11-19 2015-05-21 Polaris Surgical, LLC Prosthetic placement tool and associated methods
US20150170352A1 (en) * 2013-12-17 2015-06-18 General Electric Company Method and device for automatically identifying the deepest point on the surface of an anomaly
CN106068093A (zh) * 2014-04-08 2016-11-02 奥林巴斯株式会社 内窥镜***
WO2017054817A1 (de) * 2015-10-01 2017-04-06 Olaf Christiansen Endoskopisches bildverarbeitungssystem für die chirurgie mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische distanzinformation erzeugen
WO2017081821A1 (ja) * 2015-11-13 2017-05-18 オリンパス株式会社 内視鏡の状態推定方法

Also Published As

Publication number Publication date
US11430114B2 (en) 2022-08-30
US20210056695A1 (en) 2021-02-25
WO2019244345A1 (ja) 2019-12-26
JPWO2019244345A1 (ja) 2021-02-25
JP6987243B2 (ja) 2021-12-22

Similar Documents

Publication Publication Date Title
CN110049709B (zh) 图像处理装置
US20230073561A1 (en) Device and method for tracking the position of an endoscope within a patient's body
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
EP2123215B1 (en) Medical device
KR102087595B1 (ko) 내시경 시스템 및 그 제어방법
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
US10433709B2 (en) Image display device, image display method, and program
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
WO2014168128A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
US9824445B2 (en) Endoscope system
US20220398771A1 (en) Luminal structure calculation apparatus, creation method for luminal structure information, and non-transitory recording medium recording luminal structure information creation program
CN113164023B (zh) 内窥镜***和内窥镜用图像处理方法、以及计算机可读存储介质
US11430114B2 (en) Landmark estimating method, processor, and storage medium
US20180161063A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
US11432707B2 (en) Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
WO2021171465A1 (ja) 内視鏡システム及び内視鏡システムによる管腔走査方法
US20190298159A1 (en) Image processing device, operation method, and computer readable recording medium
US20210201080A1 (en) Learning data creation apparatus, method, program, and medical image recognition apparatus
US20240000299A1 (en) Image processing apparatus, image processing method, and program
JP4668624B2 (ja) 食道粘膜用画像処理装置
US20240013389A1 (en) Medical information processing apparatus, endoscope system, medical information processing method, and medical information processing program
WO2021241735A1 (ja) 内視鏡プロセッサ装置
WO2022230563A1 (ja) 内視鏡システム及びその作動方法
CN115279250A (zh) 内窥镜***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination