CN116940274A - 内窥镜用形状测量***及内窥镜用形状测量方法 - Google Patents

内窥镜用形状测量***及内窥镜用形状测量方法 Download PDF

Info

Publication number
CN116940274A
CN116940274A CN202180095271.8A CN202180095271A CN116940274A CN 116940274 A CN116940274 A CN 116940274A CN 202180095271 A CN202180095271 A CN 202180095271A CN 116940274 A CN116940274 A CN 116940274A
Authority
CN
China
Prior art keywords
region
endoscope
image
information
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095271.8A
Other languages
English (en)
Inventor
中村达哉
渡边大智
花野和成
松尾圭悟
坂本琢
小田一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL CANCER CENTER
Olympus Corp
Original Assignee
NATIONAL CANCER CENTER
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL CANCER CENTER, Olympus Corp filed Critical NATIONAL CANCER CENTER
Publication of CN116940274A publication Critical patent/CN116940274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)

Abstract

显示处理部(46)将内窥镜拍摄体腔内的生物体组织的内窥镜图像显示于显示装置。操作接受部(30)接受用于在内窥镜图像中设定关注区域的用户操作。关注区域设定部(34)根据用户操作，在内窥镜图像中设定关注区域。三维信息取得部(38)取得内窥镜所拍摄的生物体组织的三维形状信息。假想面推导部(48)根据与关注区域不同的区域的三维形状信息，推导关注区域中的假想面的三维形状信息。大小信息确定部(50)根据假想面的三维形状信息，确定与假想面的大小有关的信息。

Description

内窥镜用形状测量***及内窥镜用形状测量方法
技术领域
本发明涉及内窥镜用形状测量***和内窥镜用形状测量方法。
背景技术
内窥镜的粘膜下层剥离术(ESD：Endoscopic Submucosal Dissection)是使用专用的处置器具一并切除病变的治疗法，代替以往的外科治疗，作为侵袭少的治疗法而受到关注。成为ESD的对象的肿瘤是没有***转移风险的病变，转移率与肿瘤大小相关，因此准确地测量肿瘤大小是重要的。
专利文献1公开了一种三维形状测量装置，将基于激光的测量用图案的投影像投影到观察部位，基于投影到观察部位的测量用图案的拍摄结果，计算观察部位的三维形状。另外，专利文献2公开了决定与凹陷、龟裂、点蚀等异常处接近的物体的表面上的多个点的三维坐标来决定基准面的技术。
现有技术文献
专利文献
专利文献1：日本特开2017-23562号公报
专利文献2：日本特开2017-162452号公报
发明内容
发明所要解决的问题
不仅是作为研究ESD的实施时的判断基准，在基于内窥镜观察的诊断中，准确地测量肿瘤等病变的大小也是重要的。但是，消化道的内壁面呈弯曲的形状，以往，没有建立准确地测量存在于这样的内壁面的病变的大小的方法。本发明是鉴于这样的状况而完成的，其目的在于提供一种准确地确定与内窥镜拍摄到的图像中包含的病变的大小有关的信息的技术。
用于解决问题的手段
为了解决上述问题，本发明的一个方式的内窥镜用形状测量***具有处理器，处理器将内窥镜拍摄体腔内的生物体组织的内窥镜图像显示于显示装置，接受用于在内窥镜图像中设定关注区域的用户操作，基于用户操作，在内窥镜图像中设定关注区域，取得内窥镜拍摄到的生物体组织的三维形状信息，根据与关注区域不同的区域的三维形状信息，推导关注区域中的假想面的三维形状信息，根据推导出的假想面的三维形状信息，确定与假想面的大小有关的信息。内窥镜用形状测量***可以具有多个处理器，多个处理器协作来实施上述处理。
本发明的另一方式的内窥镜用形状测量方法将内窥镜拍摄体腔内的生物体组织的内窥镜图像显示于显示装置，接受用于在内窥镜图像中设定关注区域的用户操作，根据用户操作，在内窥镜图像中设定关注区域，取得内窥镜拍摄的生物体组织的三维形状信息，根据与关注区域不同的区域的三维形状信息，推导关注区域中的假想面的三维形状信息，根据推导出的假想面的三维形状信息，确定与假想面的大小有关的信息。
另外，以上的构成要素的任意的组合、将本发明的表现在方法、装置、***、记录介质、计算机程序等之间进行了转换的方式也作为本发明的方式而有效。
附图说明
图1的(a)是表示内窥镜拍摄到的图像的一例的图，(b)是示意性地表示内窥镜图像拍摄时的状况的图。
图2是表示内窥镜用形状测量***的结构的图。
图3是表示内窥镜用形状测量***中的功能块的图。
图4是表示内窥镜图像的例子的图。
图5是表示病变形状的测量处理的流程图的图。
图6是表示所设定的关注区域的图。
图7是表示所设定的参考区域的图。
图8是表示将参考区域配置于xy平面的状态的图。
图9的(a)以及(b)是表示参考区域的三维形状的例子的图。
图10是用于说明推导假想面的三维形状的方法的图。
图11的(a)以及(b)是表示推导的假想面的三维形状的图。
图12的(a)～(c)是用于说明计算假想面的大小的方法的图。
图13是表示关注区域的确认画面的例子的图。
图14是表示在参考区域中包含不连续体的例子的图。
图15是表示所设定的排除区域的图。
具体实施方式
图1的(a)表示内窥镜拍摄体腔内的生物体组织的图像的一例。在该内窥镜图像中，病变2包含于中央区域，在其周围包含作为消化道的内壁面的生物体面3。图1的(b)示意性地表示内窥镜图像拍摄时的状况。在该例中，病变2是从弯曲的生物体面3***的肿瘤，但在病变2中也存在从生物体面3凹陷的肿瘤。
由于生物体面3具有弯曲形状，因此病变2中的点A与点B之间的长度L不是用直线连结点A与点B的线段的长度，而是沿着弯曲的生物体面3的长度。内窥镜图像中不包含被病变2遮挡的生物体面3，因此在实施例中，估计被病变2遮挡的生物体面3(以下，称为“假想面”)的三维形状，测量病变2的大小。
图2表示实施例的内窥镜用形状测量***1的结构。内窥镜用形状测量***1设置于进行内窥镜检查的医院等医疗设施中。在内窥镜用形状测量***1中，内窥镜观察装置5、信息处理装置10a、信息处理装置10b以及图像分析装置8经由LAN(局域网)等网络4以能够通信的方式连接。
内窥镜观察装置5设置于检查室，连接***到患者的消化道的内窥镜7。内窥镜7具有用于传送从内窥镜观察装置5供给的照明光而对消化道内进行照明的光导，在前端部设置有用于将由光导传送的照明光向生物体组织射出的照明窗和以规定的周期拍摄生物体组织并将摄像信号向内窥镜观察装置5输出的摄像部。内窥镜观察装置5向内窥镜7供给与观察模式对应的照明光。摄像部包括将入射光转换为电信号的固体摄像元件(例如CCD图像传感器或CMOS图像传感器)。
内窥镜观察装置5对由内窥镜7的固体摄像元件进行了光电转换的摄像信号实施图像处理而生成内窥镜图像，并实时显示于显示装置6。内窥镜观察装置5除了具备A/D转换、噪声去除等通常的图像处理的功能以外，还可以具备实施以强调显示等为目的的特别的图像处理的功能。通过使内窥镜观察装置5搭载特别的图像处理功能，内窥镜观察装置5能够根据使用相同的照明光拍摄的摄像信号，生成未实施特别的图像处理的内窥镜图像和实施了特别的图像处理的内窥镜图像。
在实施例中，内窥镜图像可以是根据使用普通光(白色光)拍摄的摄像信号生成的WLI(White Light Imaging：白光成像)观察图像、对使用普通光拍摄的摄像信号实施特别的图像处理而生成的TXI(Texture and Color Enhancement Imaging：纹理和色彩增强成像)观察图像、根据使用特殊光拍摄的摄像信号生成的RDI观察图像、NBI(Narrow BandImaging：窄带光成像)观察图像、AFI(Autofluorescence imaging：自体荧光成像)观察图像。并且，内窥镜图像可以是将被摄体的凹凸伪彩色化的图像，此外，也可以是对内窥镜7的摄像信号进行图像处理而生成的图像。
医生按照检查步骤观察显示于显示装置6的内窥镜图像。当医生操作了内窥镜7的释放开关时，内窥镜观察装置5在释放开关***作的时机捕获(保存)内窥镜图像，并将捕获到的内窥镜图像发送到图像蓄积服务器9。蓄积在图像蓄积服务器9中的内窥镜图像用于医生生成检查报告。
信息处理装置10a设置于检查室，用于供医生或护士等用户在内窥镜检查中实时确认内窥镜图像中包含的与病变的大小有关的信息。信息处理装置10a可以与图像分析装置8协作，向用户提供与病变的大小有关的信息。
信息处理装置10b设置于检查室以外的房间，在医生生成检查报告时使用。例如医生为了确认在本次的精密检查中拍摄到的病变是否为在下次检查中成为ESD的对象的大小，可以利用信息处理装置10b的病变形状测量功能。医生可以在确认了拍摄到的病变是成为ESD的对象的大小时，决定在下次的内窥镜检查中使用ESD一并切除该病变。
图像分析装置8具备当输入了内窥镜图像时检测病变并输出存在病变的区域(病变区域)的图像分析功能。图像分析装置8可以利用已学习模型，该已学习模型是通过将学习用的内窥镜图像及与内窥镜图像中包含的病变区域有关的信息用作训练数据的机器学习而生成的，当输入内窥镜图像时，该已学习模型输出病变区域的位置。在内窥镜检查中，图像分析装置8可以从内窥镜观察装置5被提供内窥镜图像，并将图像分析结果提供给内窥镜观察装置5或信息处理装置10a。
图3表示内窥镜用形状测量***1中的功能块。内窥镜用形状测量***1具备执行病变形状测量处理的处理装置20、已学习模型保持部60以及用户接口70。处理装置20具备操作接受部30、区域设定部32、三维信息取得部38、图像生成部40、图像分析部42、辅助信息生成部44、显示处理部46、假想面推导部48以及大小信息确定部50，区域设定部32具有关注区域设定部34以及参考区域设定部36。用户接口70例如是鼠标、触摸笔、键盘等用于用户输入操作的工具。
图3所示的结构在硬件上能够通过任意的处理器、存储器、辅助存储装置、其他LSI来实现，在软件上通过加载到存储器的程序等来实现，但在此描绘了通过它们的协作来实现的功能块。因此，本领域技术人员可以理解，这些功能块能够通过仅硬件、仅软件、或者它们的组合，以各种形式实现。
图3所示的内窥镜用形状测量***1的功能块由内窥镜观察装置5、信息处理装置10a、信息处理装置10b、图像分析装置8中的至少一个装置实现。内窥镜用形状测量***1的功能块可以分别由内窥镜观察装置5、信息处理装置10a、信息处理装置10b、图像分析装置8单独实现，但也可以由两个以上的装置的组合来实现。因此，作为处理装置20而示出的功能块可以通过单独的装置所包含的一个以上的处理器来实现，但也可以通过两个以上的装置所包含的多个处理器来实现。
在内窥镜检查中，内窥镜观察装置5将内窥镜7拍摄的消化道内的图像显示于显示装置6。医生一边移动内窥镜7，一边观察显示于显示装置6的内窥镜图像，当病变显示于显示装置6时，操作内窥镜7的释放开关。内窥镜观察装置5在释放开关***作的时机捕获内窥镜图像，将捕获到的内窥镜图像与识别该内窥镜图像的信息(图像ID)一起发送到图像蓄积服务器9。另外，内窥镜观察装置5也可以在检查结束后将所捕获的多个内窥镜图像汇总地发送到图像蓄积服务器9。图像蓄积服务器9与识别内窥镜检查的检查ID相关联地记录从内窥镜观察装置5发送的内窥镜图像。
实施例的内窥镜观察装置5具有测量所拍摄的内窥镜图像中包含的生物体组织的三维形状信息的功能。内窥镜观察装置5可以通过已知的方法来测量所拍摄的生物体组织的三维形状。内窥镜观察装置5测量所捕获的内窥镜图像中包含的生物体组织的三维形状，对内窥镜图像附加所测量的三维形状的信息，并发送到图像蓄积服务器9。因此，图像蓄积服务器9将所拍摄的生物体组织的三维形状信息与内窥镜图像相关联地记录。
例如内窥镜7搭载立体相机，内窥镜观察装置5可以根据由2个相机拍摄到的图像，利用三角测距的原理来测量生物体组织的三维形状。另外，内窥镜观察装置5也可以如专利文献1所公开的那样，将基于激光的测量用图案的投影像投影到生物体组织，基于投影到生物体组织的测量用图案的拍摄结果来测量生物体组织的三维形状。另外，内窥镜观察装置5也可以利用将由立体相机取得的图像和该图像所包含的生物体组织的距离信息作为训练数据进行了机器学习后的已学习模型，根据由单眼相机拍摄到的内窥镜图像来测量生物体组织的三维形状。另外，内窥镜观察装置5也可以根据由单眼相机拍摄到的内窥镜图像的帧间的特征量来测量生物体组织的三维形状。这样，内窥镜观察装置5利用已知的测量方法来测量内窥镜图像的生物体组织的三维形状。
另外，所拍摄的生物体组织的三维形状测量功能也可以搭载于内窥镜观察装置5以外的装置。例如，三维形状测量功能可以搭载在信息处理装置10a上，可以搭载在图像分析装置8上，或者可以搭载在图像蓄积服务器9上。可以由任意的装置测量生物体组织的三维形状，图像蓄积服务器9将从内窥镜观察装置5发送的内窥镜图像与拍摄到的生物体组织的三维形状信息或用于计算该三维形状信息的数据关联起来进行记录。
检查结束后，医生操作信息处理装置10b生成检查报告。信息处理装置10b从图像蓄积服务器9读出在检查中拍摄到的内窥镜图像，并显示于显示装置12b，医生诊断所显示的内窥镜图像中包含的病变。实施例的信息处理装置10b在有来自医生的请求的情况下，实施推导被内窥镜图像所包含的病变遮挡的生物体面(假想面)的三维形状并确定假想面的大小即病变底面的大小的处理。以下，对信息处理装置10b实现处理装置20(参考图3)的病变形状测量功能的情况进行说明。
图4示出显示于显示装置12b的内窥镜图像的例子。显示处理部46从图像蓄积服务器9取得与生成报告的检查的检查ID相关联的内窥镜图像，并显示于显示装置12b。内窥镜图像是内窥镜7拍摄体腔内的生物体组织的图像，在图4所示的内窥镜图像中包含大致圆形的病变100和其周围的作为消化道的内壁面的生物体面102。
图5表示病变形状测量处理的流程图。作为医生的用户操作用户接口70，在显示于显示装置12b的内窥镜图像中设定关注区域(S10)。
图6表示所设定的关注区域110的例子。用户操作鼠标等用户接口70，在显示于显示装置12b的内窥镜图像中，在病变100与生物体面102的边界描绘边界线。当操作接受部30接受用于在内窥镜图像中设定关注区域的用户操作时，关注区域设定部34根据用户操作在内窥镜图像中设定关注区域110。关注区域110是由边界线包围的病变区域。作为医生的用户能够根据三维形状或色调特性等医学上的观察结果来识别病变100与生物体面102的边界，因此关注区域设定部34能够根据用户操作准确地设定表示病变区域的关注区域110。
在关注区域设定部34设定了关注区域110之后，参考区域设定部36基于关注区域110设定包围关注区域110的参考区域(S12)。参考区域120至少包含关注区域110的全部，被设定为比关注区域110大的范围。通过参考区域设定部36设定参考区域，即使生物体面具有复杂的弯曲形状，如后所述，假想面推导部48也能够高精度地推导假想面的三维形状信息。
图7表示所设定的参考区域120的例子。参考区域设定部36优选以在比关注区域110的外缘靠外侧具有规定长度以上的空白的方式设定参考区域120。例如，参考区域设定部36也可以将由如下的左边、右边、上边、下边构成的矩形区域设定为参考区域120，所述左边、右边通过从关注区域110的最左端、最右端分别离开规定长度l1的位置，所述上边、下边通过从关注区域110的最上端、最下端分别离开规定长度l2的位置。
另外，用户也可以操作用户接口70，对显示于显示装置12b的关注区域110设定参考区域120。当操作接受部30接受了用于在内窥镜图像中设定参考区域的用户操作时，参考区域设定部36基于用户操作在内窥镜图像中设定参考区域120。所设定的参考区域120用于确定在推导关注区域110的假想面时所利用的三维形状信息的范围，因此用户优选将能够适当地推导关注区域110的假想面的范围决定为参考区域120。
在参考区域设定部36设定了参考区域120之后，三维信息取得部38取得由内窥镜拍摄的生物体组织的三维形状信息(S14)。如上所述，生物体组织的三维形状信息与内窥镜图像相关联地记录在图像蓄积服务器9中，三维信息取得部38取得与内窥镜图像相关联的三维形状信息。
假想面推导部48根据与关注区域110不同的区域的三维形状信息，推导关注区域110中的假想面的三维形状信息(S16)。假想面的三维形状信息可以包含内窥镜图像中的假想面的各像素的二维坐标和各像素的距离信息(深度信息)。具体而言，假想面推导部48根据参考区域120的三维形状信息，推导关注区域110中的假想面的三维形状信息。如图1所示，关注区域110中的假想面是指存在于病变100的里侧的假想的生物体面(假定为不存在病变100时的生物体面102)。
图8表示将参考区域120配置于xy平面的状态。在图8中，用x坐标表现内窥镜图像的横向的位置，用y坐标表现高度方向的位置。此外，各像素的三维信息中的距相机的距离方向的位置(深度位置)可以用z坐标表现。在图8中，阴影所示的区域表示xy平面上的参考区域120，并且假想面推导部48根据参考区域120的三维形状信息推导关注区域110中的假想面的三维形状信息。在推导假想面的三维形状信息时，假想面推导部48不利用关注区域110的三维形状信息。
图9示出了参考区域120的三维形状的示例。图9的(a)是参考区域120的三维形状的立体图，图9的(b)是在y轴方向上观察参考区域120的三维形状的图。
图10是用于说明推导关注区域110中的假想面的三维形状的方法的图。假想面推导部48针对在x轴方向上隔开规定间隔的y轴方向的每列，根据参考区域120的三维形状信息进行关注区域110的三维形状的拟合处理。具体地，如图10所示，针对在y轴方向上延伸的每列，根据参考区域120中的三维点群数据来求出多项式近似曲线。假想面推导部48将关注区域110在x轴方向上等间隔地分割为N个，推导与各分割线(列)拟合的多项式近似曲线。之后，假想面推导部48可以根据N个多项式近似曲线的点群数据，在x轴方向上也进行拟合处理，推导平滑的假想面的三维形状信息。这样，假想面推导部48通过利用由参考区域设定部36设定的参考区域120，即使生物体面具有复杂的弯曲形状，也能够高精度地推导假想面的三维形状信息。
图11的(a)示出针对图9的(b)所示的参考区域120的三维形状而推导的假想面130的示例，并且图11的(b)示出推导的假想面130的三维形状的示例。此外，实施例的假想面推导部48实施了推导多项式近似曲线的三维形状的拟合处理，但也可以进行其他种类的拟合处理。实施例的假想面推导部48将在参考区域120的三维形状的中央空出的空间平滑地连接，推导关注区域110中的假想面130。这样生成的假想面130相当于关注区域110中的病变100的假想底面。
大小信息确定部50根据假想面130的三维形状信息，确定与假想面130的大小有关的信息(S18)。例如，大小信息确定部50可以如下推导假想面130的长径和短径。
图12的(a)是用于说明计算假想面130的长径的方法的图。大小信息确定部50计算边界上的所有的两点间的沿着假想面130的路径距离，将路径距离的最大值确定为长径。
图12的(b)表示路径距离最大的两点的组合。大小信息确定部50在判定为边界上的点P与点Q之间的路径距离最大时，将点P与点Q的路径距离确定为假想面130的“长径”。当确定了长径时，大小信息确定部50推导与长径正交的路径中的成为最大的路径距离的两点的组合。
图12的(c)表示与长径交叉的方向的路径距离成为最大的2点的组合。大小信息确定部50在判定为边界上的点R与点S之间的路径距离最大时，将点R与点S之间的路径距离确定为假想面130的“短径”。
如上所述，假想面130相当于病变100的假想底面，大小信息确定部50通过推导假想面130的长径和短径，推导病变100的底面的长径和短径。显示处理部46可以将假想面推导部48推导的病变底面的长径及短径显示于显示装置12b。用户通过知道病变底面的长径以及短径，能够确认该病变是否是成为ESD的对象的大小。
以上，说明了病变形状测量处理的基本步骤，但为了高精度地推导假想面130的三维形状信息，也可以准备用于由用户确认各步骤中的处理的选项。
图13表示显示于显示装置12b的关注区域的确认画面的例子。在S10中，用户操作用户接口70来设定关注区域110，但此时，也可以使用户能够确认所设定的关注区域110是否适当。
当用户设定了关注区域110时，图像生成部40基于生物体组织的三维形状信息，生成生物体组织的三维图像。显示处理部46将生物体组织的三维图像与表示关注区域110的位置的图像合成并显示于显示装置12b。在图13中，在沿z轴方向与生物体组织的三维图像分离的位置合成关注区域110，但也可以在使z轴方向的位置一致的位置合成关注区域110。在使z轴方向的位置一致而将关注区域110的外轮廓线与生物体组织的三维图像重叠显示的情况下，用户能够确认关注区域110的外轮廓线是否与病变100和生物体面102之间的边界一致。如果不一致，则用户以使关注区域110与病变100的区域一致的方式重新设定关注区域110。
在S12中，显示处理部46也可以将生物体组织的三维图像与表示参考区域120的位置的图像合成并显示于显示装置12b。通过将生物体组织的三维图像与表示参考区域120的位置的图像合成显示，用户能够确认是否适当地设定了参考区域120。
另外，在假想面推导部48推导出假想面130之后，显示处理部46也可以在生物体组织的三维图像上合成假想面130并显示于显示装置。本来，假想面130被病变100遮挡而无法视觉辨认，但通过在生物体组织的三维图像中合成显示假想面130，用户能够确认是否适当地推导出假想面130。
在图5所示的S16中，假想面推导部48根据与关注区域110不同的参考区域120的三维形状信息推导假想面130的三维形状信息，但有时在参考区域120内存在损害生物体面的连续性的物体。假想面推导部48在根据不连续的生物体面的三维形状信息进行关注区域110的三维形状的拟合处理时，无法高精度地估计假想面130的三维形状信息。
图14表示在参考区域120中包含不连续体104的例子。不连续体104例如是损害参考区域120中的生物体面的连续性的凸部、凹部，也可以是病变。在进行三维形状的拟合处理时，不连续体104对拟合精度造成不良影响，因此优选在进行拟合处理之前由用户手动去除。
图15表示所设定的排除区域140。用户操作用户接口70，在显示于显示装置12b的内窥镜图像中设定排除区域140。当操作接受部30接受了用于在参考区域120中设定排除区域140的用户操作时，假想面推导部48根据排除了排除区域140的三维形状信息后的参考区域120的三维形状信息推导假想面130的三维形状信息。由此，假想面推导部48能够高精度地推导假想面130。
此时，假想面推导部48也可以根据排除了排除区域140的三维形状信息后的参考区域120的三维形状信息，进行排除区域140的三维形状的拟合处理，推导排除区域140的校正面(假想面)。这样，假想面推导部48也可以在校正了排除区域140的三维形状信息之后，根据校正后的参考区域120的三维形状信息，推导关注区域110的假想面130。
以上是在检查结束后用户生成检查报告时，信息处理装置10b实现处理装置20的病变形状测量功能的方式。作为其他方式，信息处理装置10a也可以与图像分析装置8协作，在内窥镜检查中实现处理装置20的病变形状测量功能。
图像分析装置8具有图像分析部42及已学习模型保持部60(参考图3)，已学习模型保持部60保持有通过将学习用内窥镜图像及与内窥镜图像中所包含的病变区域有关的信息用作训练数据的机器学习而生成的已学习模型。该已学习模型构成为，当输入内窥镜图像时，检测病变区域，并输出该病变区域的位置。
在内窥镜检查中，内窥镜观察装置5由显示装置6实时显示内窥镜7所拍摄的内窥镜图像，并且将该内窥镜图像发送至信息处理装置10a及图像分析装置8。在图像分析装置8中，图像分析部42在取得了内窥镜图像时，输入到保持在已学习模型保持部60中的已学习模型。已学习模型在被输入了内窥镜图像时，在检测到病变区域的情况下，输出该病变区域的位置信息。图像分析部42将由已学习模型输出的病变区域的位置信息与识别内窥镜图像的信息(图像ID)一起发送到信息处理装置10a。
在信息处理装置10a中，显示处理部46将由内窥镜7拍摄的内窥镜图像显示于显示装置12a，并且根据从图像分析装置8提供的病变区域的位置信息及图像ID，在内窥镜图像中显示表示病变区域的位置的信息。此时，显示处理部46根据图像ID，使显示的内窥镜图像与表示所显示的病变区域的位置的信息同步。例如如图6所示，显示处理部46可以在包含病变100的内窥镜图像上重叠显示病变100的边界线。
操作信息处理装置10a的用户可以在确认了由已学习模型输出的病变100的边界线正确时，操作用户接口70来决定设定关注区域110。此时，操作接受部30接受用于对内窥镜图像设定关注区域的用户操作，关注区域设定部34根据用户操作对内窥镜图像设定关注区域。这样，在内窥镜用形状测量***1具有使用已学习模型来检测病变区域的功能的情况下，用户也可以仅通过确认检测出的病变区域正确来设定关注区域。当设定了关注区域时，信息处理装置10a实施图5所示的S12、S14、S16、S18的步骤，确定与假想面130的大小有关的信息。该信息可以提供给内窥镜观察装置5，显示于显示装置6，通知给操作内窥镜7的医生。
假想面推导部48根据关注区域110的周边区域的三维形状推导假想面130的三维形状信息，因此当该周边区域小时，用于估计假想面130的三维形状的三维数据不充分，因此难以高精度地推导假想面130的三维形状信息。因此，辅助信息生成部44可以基于从图像分析装置8提供的病变区域的位置，生成与拍摄中的内窥镜7的拍摄范围有关的辅助信息。例如在内窥镜图像中的病变区域所占的比例超过规定的阈值(例如60％)的情况下，无法在病变区域的周围确保足够大小的参考区域，因此辅助信息生成部44可以生成用于向医生通知内窥镜7的相机过于接近病变部位的辅助信息。辅助信息生成部44可以将所生成的辅助信息提供给内窥镜观察装置5，内窥镜观察装置5在显示装置6上显示该辅助信息，使得操作内窥镜7的医生能够确认。由此，医生能够识别内窥镜7的相机过于接近病变部位的情况，以使相机远离病变部位的方式移动内窥镜7。因此，在病变区域的周围确保了足够大小的周边区域，假想面推导部48能够高精度地推导假想面130的三维形状信息。
以上，基于多个实施例对本发明进行了说明。这些实施例是例示，本领域技术人员能够理解，这些各构成要素、各处理过程的组合能够有各种变形例，并且这样的变形例也在本发明的范围内。
产业上的可利用性
本发明能够利用于测量病变部位的形状的技术领域。
标号说明
1...内窥镜用形状测量***、5…内窥镜观察装置、6…显示装置、7…内窥镜、8…图像分析装置、9…图像蓄积服务器、10a、10b…信息处理装置、12a、12b…显示装置、20…处理装置、30…操作接受部、32…区域设定部、34…关注区域设定部、36…参考区域设定部、38…三维信息取得部、40…图像生成部、42…图像分析部、44…辅助信息生成部、46…显示处理部、48…假想面推导部、50…大小信息确定部、60…已学习模型保持部、70…用户接口。

Claims (12)

1.一种内窥镜用形状测量***，其具备处理器，其特征在于，
所述处理器
将内窥镜拍摄体腔内的生物体组织的内窥镜图像显示于显示装置，
接受用于在内窥镜图像中设定关注区域的用户操作，基于用户操作，在内窥镜图像中设定关注区域，
取得内窥镜拍摄到的生物体组织的三维形状信息，
根据与关注区域不同的区域的三维形状信息，推导关注区域中的假想面的三维形状信息，
根据推导出的假想面的三维形状信息，确定与假想面的大小有关的信息。
2.根据权利要求1所述的内窥镜用形状测量***，其特征在于，
所述处理器
设定包围关注区域的参考区域，
根据参考区域的三维形状信息推导假想面的三维形状信息。
3.根据权利要求2所述的内窥镜用形状测量***，其特征在于，
所述处理器接受用于在内窥镜图像中设定参考区域的用户操作，
根据用户操作在内窥镜图像中设定参考区域。
4.根据权利要求1所述的内窥镜用形状测量***，其特征在于，
所述处理器
根据生物体组织的三维形状信息，生成生物体组织的三维图像，
将生物体组织的三维图像和表示关注区域的位置的图像合成并显示于显示装置。
5.根据权利要求2所述的内窥镜用形状测量***，其特征在于，
所述处理器
基于生物体组织的三维形状信息，生成生物体组织的三维图像，
将生物体组织的三维图像和表示参考区域的位置的图像合成并显示于显示装置。
6.根据权利要求2所述的内窥镜用形状测量***，其特征在于，
所述处理器
接受用于在参考区域中设定排除区域的用户操作，
根据排除了排除区域的三维形状信息后的参考区域的三维形状信息，推导假想面的三维形状信息。
7.根据权利要求4所述的内窥镜用形状测量***，其特征在于，
所述处理器在生物体组织的三维图像中合成假想面并显示于显示装置。
8.根据权利要求1所述的内窥镜用形状测量***，其特征在于，
所述处理器根据与关注区域不同的区域的三维形状信息进行三维形状的拟合处理，由此推导关注区域中的假想面的三维形状信息。
9.根据权利要求1所述的内窥镜用形状测量***，其特征在于，
所述内窥镜用形状测量***还具有已学习模型，该已学习模型是通过将学习用的内窥镜图像及与内窥镜图像中包含的病变区域有关的信息用作训练数据的机器学习而生成的，当输入内窥镜图像时，该已学习模型输出病变区域的位置，
所述处理器显示由已学习模型输出的表示病变区域的位置的信息。
10.根据权利要求1所述的内窥镜用形状测量***，其特征在于，
所述内窥镜用形状测量***还具备已学习模型，所述已学习模型是通过将学习用的内窥镜图像及与内窥镜图像中包含的病变区域有关的信息用作训练数据的机器学习而生成的，当输入内窥镜图像时，所述已学习模型输出病变区域的位置，
所述处理器基于由已学习模型输出的病变区域的位置，生成与拍摄中的内窥镜的拍摄范围有关的辅助信息，将辅助信息显示于显示装置。
11.根据权利要求2所述的内窥镜用形状测量***，其特征在于，
所述处理器根据关注区域设定参考区域。
12.一种内窥镜用形状测量方法，其中，
将内窥镜拍摄体腔内的生物体组织的内窥镜图像显示于显示装置，
接受用于在内窥镜图像中设定关注区域的用户操作，
根据用户操作，在内窥镜图像中设定关注区域，
取得内窥镜拍摄的生物体组织的三维形状信息，
根据与关注区域不同的区域的三维形状信息，推导关注区域中的假想面的三维形状信息，
根据推导出的假想面的三维形状信息，确定与假想面的大小有关的信息。
CN202180095271.8A 2021-03-12 2021-03-12 内窥镜用形状测量***及内窥镜用形状测量方法 Pending CN116940274A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/010118 WO2022190366A1 (ja) 2021-03-12 2021-03-12 内視鏡用形状計測システムおよび内視鏡用形状計測方法

Publications (1)

Publication Number Publication Date
CN116940274A true CN116940274A (zh) 2023-10-24

Family

ID=83227584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095271.8A Pending CN116940274A (zh) 2021-03-12 2021-03-12 内窥镜用形状测量***及内窥镜用形状测量方法

Country Status (4)

Country Link
US (1) US20230419517A1 (zh)
JP (1) JP7462255B2 (zh)
CN (1) CN116940274A (zh)
WO (1) WO2022190366A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412054B1 (en) 2010-09-20 2016-08-09 Given Imaging Ltd. Device and method for determining a size of in-vivo objects
JP2018197674A (ja) * 2017-05-23 2018-12-13 オリンパス株式会社 計測装置の作動方法、計測装置、計測システム、３次元形状復元装置、およびプログラム
US10346978B2 (en) * 2017-08-04 2019-07-09 Capsovision Inc. Method and apparatus for area or volume of object of interest from gastrointestinal images
CN110811491A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具有三维重建功能的在线疾病识别内窥镜

Also Published As

Publication number Publication date
JPWO2022190366A1 (zh) 2022-09-15
WO2022190366A1 (ja) 2022-09-15
JP7462255B2 (ja) 2024-04-05
US20230419517A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
US8767057B2 (en) Image processing device, image processing method, and program
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US9516993B2 (en) Endoscope system
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US10631826B2 (en) Medical apparatus, medical-image generating method, and recording medium on which medical-image generating program is recorded
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
US20110237934A1 (en) Biopsy support system
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
US10939800B2 (en) Examination support device, examination support method, and examination support program
JP6824078B2 (ja) 内視鏡位置特定装置、方法およびプログラム
JP2020516408A (ja) 内視鏡測定の方法および器具
JPWO2017212725A1 (ja) 医療用観察システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP2011050590A (ja) 医用画像処理装置、及び医用画像処理プログラム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
JP2006187385A (ja) 内視鏡装置及びその接触位置取得方法
JP6987243B2 (ja) ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム
CN116940274A (zh) 内窥镜用形状测量***及内窥镜用形状测量方法
JP2018047117A (ja) 内視鏡位置検出装置、内視鏡位置検出装置の作動方法
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
US20240013389A1 (en) Medical information processing apparatus, endoscope system, medical information processing method, and medical information processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination