CN116725467A - 内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法 - Google Patents

内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法 Download PDF

Info

Publication number
CN116725467A
CN116725467A CN202310639618.1A CN202310639618A CN116725467A CN 116725467 A CN116725467 A CN 116725467A CN 202310639618 A CN202310639618 A CN 202310639618A CN 116725467 A CN116725467 A CN 116725467A
Authority
CN
China
Prior art keywords
image
color
color depth
same
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310639618.1A
Other languages
English (en)
Other versions
CN116725467B (zh
Inventor
方元廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yumao Medical Technology Co ltd
Original Assignee
Suzhou Yumao Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yumao Medical Technology Co ltd filed Critical Suzhou Yumao Medical Technology Co ltd
Publication of CN116725467A publication Critical patent/CN116725467A/zh
Application granted granted Critical
Publication of CN116725467B publication Critical patent/CN116725467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开一种内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法。内窥镜感测照射待测物后被待测物反射的多个环境光线，以产生不同的多个初始影像。影像融合装置分析多个初始影像相互对齐形成的一迭合影像的多个特征，以将迭合影像转换成特征影像。影像融合装置判断特征影像的各像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的关系，以调整各像素点的颜色深度。影像融合装置依据调整后的特征影像以产生一融合影像。

Description

内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法
技术领域
本发明涉及内窥镜，特别是涉及一种内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法。
背景技术
医疗胶囊，例如胶囊内窥镜，近年来广泛用用于医疗领域。在患者吞服医疗胶囊之后，医疗胶囊会在人体内部的不同身体部位流动，拍摄流经的身体部位(例如各个器官、组织等)的多张照片。
现有医疗胶囊和内窥镜无法以不同光源撷取同一身体部位的多张影像，且在人体内部所拍摄出的每张影像的清晰度不足，却尚未有医疗胶囊能将拍摄同一身体部位的多张影像融合以还原出清晰影像的应用，需在后台进一步处理才能实现，且需要非常地耗时并无法实时提供给医疗人员据以精确诊断人体健康状况。
发明内容
本发明所要解决的技术问题在于，针对现有技术的不足提供一种内窥镜装置。所述内窥镜装置包含内窥镜。内窥镜配置以感测多个环境光线照射一待测物后被所述待测物反射而分别形成的多个待测光线。内窥镜配置以利用所述多个待测光线的多束色光中在同一成像范围内的那些所述色光成像出一初始影像，以在多个所述成像范围内分别成像不同的多个所述初始影像。影像融合装置连接所述内窥镜。影像融合装置配置以将所述多个初始影像相互对齐形成一迭合影像。
在实施例中，所述内窥镜包含分光组件以及多个影像传感器。分光组件配置以将各所述待测光线分光成多束色光，将所述多束色光分射至多个光反射路径上。多个影像传感器分设于多个所述成像范围内。各所述影像传感器设在所述多个光反射路径中的数者上。所述多个影像传感器分别感测多个所述成像范围内的所述多个光反射路径上的所述多个色光，以分别成像多个所述初始影像。
另外，本发明提供一种内窥镜医疗辅助***，包含上述内窥镜以及影像融合装置。影像融合装置连接所述内窥镜。影像融合装置配置以将所述多个初始影像相互对齐形成一迭合影像。影像融合装置分析所述迭合影像的多个特征以将所述迭合影像转换成一特征影像。影像融合装置读取并识别所述特征影像上的多个像素区块内的多个像素点的颜色。影像融合装置将每一所述像素区块内的所述多个像素点的颜色深度相互比对，以找出所述特征影像上的每一所述像素区块内的同色系的最大颜色深度。影像融合装置分析所述特征影像的各所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系，以调整各所述像素点的颜色深度，最后依据调整后的所述特征影像以产生一融合影像。
在实施例中，所述多个影像传感器中的其中一者所感测到的所述多束色光分别为一绿色光束以及一蓝色光束，所述多个影像传感器中的另一者所感测到的所述多束色光分别为一红色光束、一绿色光束以及一蓝色光束。
在实施例中，当所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系不符合一预设关系时，所述影像融合装置将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度进行调整，最后依据调整后的所述特征影像以产生所述融合影像。
在实施例中，当所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的差值大于一色差门坎值时，所影像融合装置将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度调整。
在实施例中，所述影像融合装置依据所述特征影像的所述多个像素点的颜色深度分别与同一所述像素区块内的同色系的最大颜色深度之间的不同关系，以分别设定多个权重值。所述影像融合装置依据所述特征影像上的所述多个像素点分别的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
在实施例中，所述影像融合装置依据所述特征影像的所述多个像素点分别的所述多个权重值，以建构所述特征影像的一权重图。所述影像融合装置依据所述权重图上的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
另外，本发明提供一种内窥镜图像处理方法，包含以下步骤：感测多个环境光线照射一待测物后被所述待测物反射而分别形成的多个待测光线；利用所述多个待测光线的多束色光中在同一成像范围内的那些所述色光成像出一初始影像，以在多个所述成像范围内分别成像不同的多个所述初始影像；将所述多个初始影像相互对齐形成一迭合影像；分析所述迭合影像的多个特征，以将所述迭合影像转换成一特征影像；读取并识别所述特征影像上的多个像素区块内的多个像素点的颜色；将每一所述像素区块内的所述多个像素点的颜色深度相互比对，以找出所述特征影像上的每一所述像素区块内的同色系的最大颜色深度；分析所述特征影像的各所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系，以调整各所述像素点的颜色深度；以及依据调整后的所述特征影像以产生一融合影像。
在实施例中，所述的内窥镜图像处理方法其特征在于还包含以下步骤：将各所述待测光线分光成多束色光；将所述多束色光分射至多个光反射路径上；以及感测在所述多个光反射路径上的所述多束色光。
在实施例中，所述的内窥镜图像处理方法其特征在于还包含以下步骤：判断所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系是否符合一预设关系，若是，不调整那一所述像素点的颜色深度，若否，将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度进行调整，最后依据调整后的所述特征影像以产生所述融合影像。
在实施例中，所述的内窥镜图像处理方法其特征在于还包含以下步骤：判断所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的差值是否大于一色差门坎值，若是，将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度调整，若否，不调整那一所述像素点的颜色深度。
在实施例中，所述的内窥镜图像处理方法其特征在于还包含以下步骤：依据所述特征影像的所述多个像素点的颜色深度分别与同一所述像素区块内的同色系的最大颜色深度之间的不同关系，以分别设定多个权重值；以及依据所述特征影像上的所述多个像素点分别的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
在实施例中，所述的内窥镜图像处理方法其特征在于还包含以下步骤：依据所述特征影像的所述多个像素点分别的所述多个权重值，以建构所述特征影像的一权重图；以及依据所述权重图上的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
如上所述，本发明提供一种内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法，其内窥镜能在同一环境光源下(将环境光线分光)利用不同的多束色光分别撷取人体内的同一身体部位的多张不同影像，接着将所拍摄的人体内的同一身体部位的多张不同影像融合，以产生最为清晰且最接近此身体部位的实际场景的一张清晰影像，进而有效提高影像在后续应用中的实用性，例如清晰影像在提高医疗领域上可提高诊断的精确度。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与图式，然而所提供的图式仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1为本发明第一实施例的内窥镜医疗辅助***应用于人体的示意图；
图2为本发明第一实施例的内窥镜医疗辅助***的方块图；
图3为本发明第一实施例的内窥镜图像处理方法的步骤流程图；
图4为本发明第二实施例的内窥镜医疗辅助***的方块图；
图5为本发明第二实施例的内窥镜医疗辅助方法的步骤流程图；
图6为本发明第一和第二实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图；
图7为本发明第三实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图；
图8为本发明第四实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图；
图9为本发明第五实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图；
图10为本发明第六实施例的内窥镜图像处理***的方块图。
图中标号：OB-待测物，10-内窥镜，20-影像融合装置，IM1～Imn-初始影像，IMA-迭合影像，IMF-特征影像，IMC-融合影像，R-红光，G-绿光，B-蓝光，11-棱镜，121、122-影像传感器，S1～S9、S51～S55、S91、S93、S101～S115、S205～S209、S301～S309、S931、S932-步骤
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的构思下进行各种修改与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。另外，本文中所使用的术语“或”，应视实际情况可能包含相关联的列出项目中的任一个或者多个的组合。
请参阅图1至图3和图6，其中图1为本发明第一实施例的内窥镜医疗辅助***应用于人体的示意图，图2为本发明第一实施例的内窥镜医疗辅助***的方块图，图3为本发明第一实施例的内窥镜图像处理方法的步骤流程图；图6为本发明第一和第二实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图。
如图1和图2所示的本发明第一实施例的内窥镜医疗辅助***可执行如图3所示的内窥镜图像处理方法的步骤S5～S9。
如图1所示，本发明第一实施例的内窥镜医疗辅助***包含内窥镜10以及影像融合装置20。应理解，本文所述的内窥镜10可替换为其他具有影像撷取功能的设备。
在待测物OB例如人体内的多个光线照射待测物OB(如图3的步骤S1)之后，这些多个光线被待测物OB反射而分别形成多个待测光线(如图3的步骤S3)。
当内窥镜10放入待测物OB例如人体内时，内窥镜10感测这些被待测物OB被反射的多个待测光线(如图3的步骤S5)，利用多个待测光线的多束色光中在同一成像范围内的那些色光成像出多个初始影像IM1～IMn中的其中一者，以在多个成像范围内分别成像不同的多个初始影像IM1～IMn(如图3的步骤S7)。
值得住意的是，本发明的内窥镜医疗辅助***的内窥镜10所拍摄的多个初始影像IM1～IMn分别为不同光线(例如不同色光)照射待测物OB例如人体的某一身体部位下所成像的多张影像，例如但不限于内窥镜10撷取如图1所示人体内的肠道内的多个影像。因此，内窥镜10所产生的多个初始影像IM1～IMn的颜色、清晰度等其他特征彼此不同。
举例而言，照射待测物OB的光源可包含待测物OB例如人体内的环境光(或实务上更包含内窥镜10上额外装设的光源装置)，而光源所发射的光线可例如但不限为如图2所示的由红光R、绿光G和蓝光B混合而成的白光。
举例而言，本发明的内窥镜医疗辅助***所产生的多张影像也可包含利用红外线的光线或是X光所产生的影像，本发明的内窥镜医疗辅助***可将这些影像融合而还原出一融合影像。
在内窥镜10撷取待测物OB内的多张影像之后，内窥镜10有线或无线连接影像融合装置20以将产生的初始影像IM1～IMn输出至影像融合装置20。影像融合装置20将内窥镜10所多拍摄的同一场景(例如人体内的某一身体部位)的多个影像的融合，以产生最为清晰且最接近实际场景的影像(如图3的步骤S9)。
详言之，影像融合装置20可执行如下程序以将内窥镜10所多拍摄的多个影像融合(如图6的步骤S91、S93、S101～S115)。
首先，本发明第一实施例的内窥镜医疗辅助***的影像融合装置20如图2所示将从内窥镜10取得的多个初始影像IM1～IMn相互对齐形成的一迭合影像IMA(如图6的步骤S91)。
影像融合装置20分析多个初始影像IM1～IMn相互对齐形成的一迭合影像的多个特征，以如图2所示将此迭合影像IMA转换成的一特征影像IMF(如图6的步骤S93)。
影像融合装置20读取特征影像IMF，识别所述特征影像IMF上的多个像素区块内的多个像素点的颜色(如图6的步骤S101)。
影像融合装置20将特征影像IMF上的每一像素区块内的多个像素点的颜色深度相互比对(如图6的步骤S103)，以找出特征影像IMF上的每一像素区块内的同色系的最大颜色深度(如图6的步骤S105)。
应理解，内窥镜10所拍摄的影像的大小和数量、影像融合装置10所迭合的多张影像的大小和数量、特征影像IMF上划分出的多个像素区块的大小和数量，可依据实际需求来决定，本发明不以此为限。
举例而言，影像融合装置20所找出的特征影像IMF上的同色系的最大颜色深度，包含每一像素区块内的红色系的最大颜色深度、绿色系的最大颜色深度以及蓝色系的最大颜色深度，在此仅举例说明，本发明不以此为限。
影像融合装置20分析特征影像IMF上的多个像素点中的每一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的关系(如图6的步骤S107)，是否符合预设关系(如图6的步骤S109)。
影像融合装置20依据特征影像IMF上的各像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的关系是否符合预设关系，以决定是否调整特征影像IMF上的各像素点的颜色深度。
当影像融合装置20判断特征影像IMF上的任一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的关系符合一默认关系时，影像融合装置20不调整那一像素点的颜色深度。若其它像素区块尚未处理完时(如图6的步骤S113)，对其它像素区块的各像素点执行上述作业。
相反地，当影像融合装置20判断特征影像IMF上的任一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的关系不符合一默认关系时，影像融合装置20将那一像素点的颜色深度依据与其在同一像素区块内的同色系的最大颜色深度进行调整(如图6的步骤S111)。例如，影像融合装置20可将那一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度相互融合。
举例而言，当影像融合装置20判断特征影像IMF上的任一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的差值大于一色差门坎值(即上述默认关系)时，影像融合装置20将那一像素点的颜色深度依据与其在同一像素区块内的同色系的最大颜色深度进行调整。
最后，影像融合装置20将特征影像IMF上的所有像素区块的所有像素点皆处理完(如图6的步骤S113)时，调整/融合后的特征影像IMF形成如图2所示的一融合影像IMC(如图6的步骤S115)。
请参阅图4至图6，其中图4为本发明第二实施例的内窥镜医疗辅助***的方块图，图5为本发明第二实施例的内窥镜医疗辅助方法的步骤流程图。
本发明第二实施例的内窥镜医疗辅助***包含内窥镜10以及影像融合装置20。
举例而言，本发明第二实施例的内窥镜医疗辅助***的内窥镜10包含分光组件(例如包含图4所示的棱镜11)以及多个影像传感器121、122(例如CMOS影像传感器)，在此仅举例说明，本发明不以此为限。实务上，可依据实际需求，扩增本发明的内窥镜医疗辅助***的内窥镜10所包含的分光组件以及影像传感器的数量。
在待测物OB例如人体内的光线照射待测物OB之后(如图5的步骤S1)，光线被待测物OB反射而形成多个待测光线(如图5的步骤S3)。
值得注意的是，本发明第二实施例的内窥镜医疗辅助***的内窥镜10的分光组件(例如包含图4所示的棱镜11)可将从待测物OB反射至内窥镜10的分光组件的光线分光成多束色光(如图5的步骤S51)，将这些多束色光分射至多个光反射路径上(如图5的步骤S53)。
多个影像传感器121、122分设于多个成像范围内。各影像传感器121、122设在分光组件(例如包含图4所示的棱镜11)的多个光反射路径上，以感测所在的那一成像范围内的多个光反射路径上的多个色光(如图5的步骤S55)，以成像一初始影像(如图5的步骤S7)。
举例而言，如图4所示，影像传感器121利用感测到的蓝色光束以及绿色光束以成像初始影像IM1，影像传感器122则利用感测到的红色光束、蓝色光束以及绿色光束以成像初始影像IM2。
本发明第二实施例的内窥镜医疗辅助***的影像融合装置20将从内窥镜10的多个影像传感器121、122分别取得的初始影像IM1与初始影像IM2进行融合，以还原出一张清晰影像(如上述步骤S91、S93、S101～S115)。
请参阅图7，其为本发明第三实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图。本发明第三实施例与第一实施例相同之处，不在此赘述。
本发明第三实施例与第一实施例差异之处在于，在本发明第三实施例中，内窥镜医疗辅助***的影像融合装置(例如上述影像融合装置20)可依据特征影像(例如上述特征影像IMF)的多个像素点的颜色深度分别与同一像素区块内的同色系的最大颜色深度之间的不同关系，以分别设定多个权重值(如图7的步骤S205)。
若有需要，影像融合装置可依据特征影像的多个像素点分别的多个权重值，以建构特征影像的一权重图(如图7的步骤S207)。
影像融合装置依据(权重图上的)的多个像素点分别的多个权重值，以决定是否对特征影像的多个像素点的颜色深度进行调整、调整程度(如图7的步骤S209)。
在影像融合装置依据(权重图上的)的多个像素点分别的多个权重值以调整特征影像的部分像素点的颜色深度之后，影像融合装置产生一融合影像(如图7的步骤S115)。
请参阅图8，其为本发明第四实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图。
在本发明第四实施例中，内窥镜医疗辅助***的影像融合装置(例如上述影像融合装置20)计算特征影像(例如上述特征影像IMF上的每一像素区块内的多个像素点的每一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的差值(如图8的步骤S301)。
影像融合装置判断特征影像的上的每一像素区块内的多个像素点的每一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的差值是否大于一色差门坎值(如图8的步骤S303)。
若影像融合装置判断特征影像上的哪一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的差值不大于所述色差门坎值时，影像融合装置将那一像素点的权重值设定为第一权重值例如但不限于“1”(如图8的步骤S305)。
相反地，若影像融合装置判断特征影像上的哪一像素点的颜色深度与其在同一像素区块内的同色系的最大颜色深度之间的差值大于所述色差门坎值时，影像融合装置将那一像素点的权重值设定为第二权重值例如但不限于“0”(如图8的步骤S307)。
若有需要，影像融合装置可依据迭合影像的多个像素点分别的多个权重值，以建构迭合影像的一权重图(步骤S207)。
最后，影像融合装置将(权重图上的)的第二权重值的各像素点的颜色深度，依据与其在同一像素区块内的同色系的最大颜色深度，进行调整，但不调整第一权重值的各像素点的颜色深度(如图8的步骤S309)，而最后调整后产生一融合影像(如图8的步骤S115)。
请参阅图9，其为本发明第五实施例的内窥镜图像处理方法所包含的融合多张不同影像的步骤流程图。
在本发明第五实施例中，内窥镜医疗辅助***的影像融合装置取得输入影像(即迭合影像IMA)时，影像融合装置需先将输入影像减去背景，以产生前景影像作为之后的比对影像(即特征影像IMF)。
举例而言，所述影像融合装置可包含高通滤波器以及低通滤波器。高通滤波器将接收到的迭合影像IMA进行高通滤波(如图9的步骤S931)，接着低通滤波器将经过高通滤波器滤波后的迭合影像IMA再进一步进行低通滤波(如图9的步骤S932)，以产生特征影像IMF。
请参阅图10，其为本发明第六实施例的内窥镜图像处理***的方块图。
本发明第六实施例的内窥镜医疗辅助***包含内窥镜10以及影像融合装置20。
如上所述，本发明第二实施例的内窥镜医疗辅助***仅包含单个分光组件，但实务上本发明的内窥镜医疗辅助***的内窥镜10也可包含多个分光组件。
举例而言，本发明的内窥镜医疗辅助***的内窥镜10包含第一分光组件(例如但不限于图10所示的双凸透镜111)、第二分光组件(例如但不限于图10所示的双凸透镜112以及多个影像传感器121、122(例如CMOS影像传感器)，在此仅举例说明，本发明不以此为限。
在待测物OB例如人体内的光线照射待测物OB之后，光线被待测物OB反射而形成多个待测光线，例如红光R、绿光G和蓝光B。
影像传感器121感测被待测物OB反射后形成的多个待测光线中穿透第一分光组件(例如但不限于图10所示的双凸透镜111)的色光，例如仅图10所示的绿光G和蓝光B穿透第一分光组件，以成像初始影像IM1。
另外，影像传感器122感测被待测物OB反射后形成的多个待测光线中穿透第二分光组件(例如但不限于图10所示的双凸透镜112)的色光，例如红光R、绿光G和蓝光B，以成像初始影像IM2。
影像融合装置20将初始影像IM1以及初始影像IM2融合，以最后形成一融合影像IMC，详如上述。本发明第六实施例与本发明第二实施例相同内容，不在此赘述。
综上所述，本发明提供一种内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法，其内窥镜能在同一环境光源下(将环境光线分光)利用不同的多束色光分别撷取人体内的同一身体部位的多张不同影像，接着将所拍摄的人体内的同一身体部位的多张不同影像融合，以产生最为清晰且最接近此身体部位的实际场景的一张清晰影像，进而有效提高影像在后续应用中的实用性，例如清晰影像在提高医疗领域上可提高诊断的精确度。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的申请专利范围，所以凡是运用本发明说明书及图式内容所做的等效技术变化，均包含于本发明的申请专利范围内。

Claims (15)

1.一种内窥镜装置，其特征在于包含：
内窥镜，配置以感测多个环境光线照射一待测物后被所述待测物反射而分别形成的多个待测光线，利用所述多个待测光线的多束色光中在同一成像范围内的那些所述色光成像出一初始影像，以在多个所述成像范围内分别成像不同的多个所述初始影像。
2.根据权利要求1所述的内窥镜装置，其特征在于所述内窥镜包含：
分光组件，配置以将各所述待测光线分光成多束色光，将所述多束色光分射至多个光反射路径上；以及
多个影像传感器，分设于多个所述成像范围内，各所述影像传感器设在所述多个光反射路径中的数者上，所述多个影像传感器分别感测多个所述成像范围内的所述多个光反射路径上的所述多个色光，以分别成像多个所述初始影像。
3.一种内窥镜医疗辅助***，其特征在于包含：
内窥镜，配置以感测多个环境光线照射一待测物后被所述待测物反射而分别形成的多个待测光线，利用所述多个待测光线的多束色光中在同一成像范围内的那些所述色光成像出一初始影像，以在多个所述成像范围内分别成像不同的多个所述初始影像；以及
影像融合装置，连接所述内窥镜，配置以将所述多个初始影像相互对齐形成一迭合影像，分析所述迭合影像的多个特征以将所述迭合影像转换成一特征影像，读取并识别所述特征影像上的多个像素区块内的多个像素点的颜色，将每一所述像素区块内的所述多个像素点的颜色深度相互比对，以找出所述特征影像上的每一所述像素区块内的同色系的最大颜色深度，分析所述特征影像的各所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系，以调整各所述像素点的颜色深度，最后依据调整后的所述特征影像以产生一融合影像。
4.根据权利要求3所述的内窥镜医疗辅助***，其特征在于所述内窥镜包含：
分光组件，配置以将各所述待测光线分光成多束色光，将所述多束色光分射至多个光反射路径上；以及
多个影像传感器，分设于多个所述成像范围内，各所述影像传感器设在所述多个光反射路径中的数者上，所述多个影像传感器分别感测多个所述成像范围内的所述多个光反射路径上的所述多个色光，以分别成像多个所述初始影像。
5.根据权利要求4所述的内窥镜医疗辅助***，其特征在于：所述多个影像传感器中的其中一者所感测到的所述多束色光分别为一绿色光束以及一蓝色光束，所述多个影像传感器中的另一者所感测到的所述多束色光分别为一红色光束、一绿色光束以及一蓝色光束。
6.根据权利要求3所述的内窥镜医疗辅助***，其特征在于：当所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系不符合一预设关系时，所述影像融合装置将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度进行调整，最后依据调整后的所述特征影像以产生所述融合影像。
7.根据权利要求3所述的内窥镜医疗辅助***，其特征在于：当所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的差值大于一色差门坎值时，所影像融合装置将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度调整。
8.根据权利要求3所述的内窥镜医疗辅助***，其特征在于：所述影像融合装置依据所述特征影像的所述多个像素点的颜色深度分别与同一所述像素区块内的同色系的最大颜色深度之间的不同关系，以分别设定多个权重值，并依据所述特征影像上的所述多个像素点分别的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
9.根据权利要求8所述的内窥镜医疗辅助***，其特征在于：所述影像融合装置依据所述特征影像的所述多个像素点分别的所述多个权重值，以建构所述特征影像的一权重图，并依据所述权重图上的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
10.一种内窥镜图像处理方法，其特征在于包含以下步骤：
感测多个环境光线照射一待测物后被所述待测物反射而分别形成的多个待测光线；
利用所述多个待测光线的多束色光中在同一成像范围内的那些所述色光成像出一初始影像，以在多个所述成像范围内分别成像不同的多个所述初始影像；
将所述多个初始影像相互对齐形成一迭合影像；
分析所述迭合影像的多个特征，以将所述迭合影像转换成一特征影像；
读取并识别所述特征影像上的多个像素区块内的多个像素点的颜色；
将每一所述像素区块内的所述多个像素点的颜色深度相互比对，以找出所述特征影像上的每一所述像素区块内的同色系的最大颜色深度；
分析所述特征影像的各所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系，以调整各所述像素点的颜色深度；以及
依据调整后的所述特征影像以产生一融合影像。
11.根据权利要求10所述的内窥镜图像处理方法，其特征在于还包含以下步骤：
将各所述待测光线分光成多束色光；
将所述多束色光分射至多个光反射路径上；以及
感测在所述多个光反射路径上的所述多束色光。
12.根据权利要求10所述的内窥镜图像处理方法，其特征在于还包含以下步骤：
判断所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的关系是否符合一预设关系，若是，不调整那一所述像素点的颜色深度，若否，将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度进行调整，最后依据调整后的所述特征影像以产生所述融合影像。
13.根据权利要求10所述的内窥镜图像处理方法，其特征在于还包含以下步骤：
判断所述特征影像上的任一所述像素点的颜色深度与其在同一所述像素区块内的同色系的最大颜色深度之间的差值是否大于一色差门坎值，若是，将那一所述像素点的颜色深度依据与其在同一所述像素区块内的同色系的最大颜色深度调整，若否，不调整那一所述像素点的颜色深度。
14.根据权利要求10所述的内窥镜图像处理方法，其特征在于还包含以下步骤：
依据所述特征影像的所述多个像素点的颜色深度分别与同一所述像素区块内的同色系的最大颜色深度之间的不同关系，以分别设定多个权重值；以及
依据所述特征影像上的所述多个像素点分别的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
15.根据权利要求14所述的内窥镜图像处理方法，其特征在于还包含以下步骤：
依据所述特征影像的所述多个像素点分别的所述多个权重值，以建构所述特征影像的一权重图；以及
依据所述权重图上的所述多个权重值，以决定是否对所述特征影像的所述多个像素点的颜色深度进行调整、调整程度。
CN202310639618.1A 2023-03-31 2023-06-01 内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法 Active CN116725467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW112112441 2023-03-31
TW112112441 2023-03-31

Publications (2)

Publication Number Publication Date
CN116725467A true CN116725467A (zh) 2023-09-12
CN116725467B CN116725467B (zh) 2024-03-01

Family

ID=87902145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310639618.1A Active CN116725467B (zh) 2023-03-31 2023-06-01 内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法

Country Status (1)

Country Link
CN (1) CN116725467B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备
JP2012143464A (ja) * 2011-01-13 2012-08-02 Hoya Corp ホワイトバランス調整システムおよび内視鏡プロセッサ
JP2012147893A (ja) * 2011-01-18 2012-08-09 Hoya Corp 内視鏡ライトガイド検査システム、内視鏡プロセッサ、および内視鏡ユニット
CN103153167A (zh) * 2010-06-08 2013-06-12 弗朗索瓦·迪莱特 三维暂存光学彩色图像摄取装置
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件
TWI590658B (zh) * 2016-04-15 2017-07-01 方元廷 使用多鏡頭之影像融合方法及其裝置
CN106913304A (zh) * 2015-12-28 2017-07-04 北京威斯顿亚太光电仪器有限公司 一种光谱硬管内窥镜***
JP2018175762A (ja) * 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置
CN109124586A (zh) * 2018-08-15 2019-01-04 南京航空航天大学 一种多模式荧光内窥实时成像***
US20190191977A1 (en) * 2017-12-27 2019-06-27 Ethicon Llc Hyperspectral imaging in a light deficient environment
US20200404189A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image rotation in an endoscopic laser mapping imaging system
CN114119378A (zh) * 2020-08-31 2022-03-01 华为技术有限公司 图像融合方法、图像融合模型的训练方法和装置
CN114376491A (zh) * 2020-10-16 2022-04-22 舜宇光学（浙江）研究院有限公司 内窥镜成像装置及其方法、***以及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备
CN103153167A (zh) * 2010-06-08 2013-06-12 弗朗索瓦·迪莱特 三维暂存光学彩色图像摄取装置
JP2012143464A (ja) * 2011-01-13 2012-08-02 Hoya Corp ホワイトバランス調整システムおよび内視鏡プロセッサ
JP2012147893A (ja) * 2011-01-18 2012-08-09 Hoya Corp 内視鏡ライトガイド検査システム、内視鏡プロセッサ、および内視鏡ユニット
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件
CN106913304A (zh) * 2015-12-28 2017-07-04 北京威斯顿亚太光电仪器有限公司 一种光谱硬管内窥镜***
TWI590658B (zh) * 2016-04-15 2017-07-01 方元廷 使用多鏡頭之影像融合方法及其裝置
JP2018175762A (ja) * 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置
US20190191977A1 (en) * 2017-12-27 2019-06-27 Ethicon Llc Hyperspectral imaging in a light deficient environment
CN109124586A (zh) * 2018-08-15 2019-01-04 南京航空航天大学 一种多模式荧光内窥实时成像***
US20200404189A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image rotation in an endoscopic laser mapping imaging system
CN114119378A (zh) * 2020-08-31 2022-03-01 华为技术有限公司 图像融合方法、图像融合模型的训练方法和装置
CN114376491A (zh) * 2020-10-16 2022-04-22 舜宇光学（浙江）研究院有限公司 内窥镜成像装置及其方法、***以及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹乐: "立体摄像显示技术研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 50 *

Also Published As

Publication number Publication date
CN116725467B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
JP6066595B2 (ja) 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
US8908026B2 (en) Imaging method and microscope device
WO2015029537A1 (ja) 器官画像撮影装置
CN108601505B (zh) 成像设备、成像方法和成像***
US9759662B2 (en) Examination device and examination method
WO2022257946A1 (zh) 多光谱成像***、成像方法和存储介质
US11998353B2 (en) Camera having transdermal optical imaging function
US11779210B2 (en) Ophthalmic imaging apparatus and system
MXPA01009449A (es) Sistema y metodo para calibrar un espectrofotometro formador de imagen reflejada.
JP2012508423A (ja) ビデオ赤外線網膜像スキャナ
US20160225150A1 (en) Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus
KR102148685B1 (ko) 수술 동영상 생성 시스템
CN116725467B (zh) 内窥镜装置、内窥镜医疗辅助***及内窥镜图像处理方法
US20110261179A1 (en) Imaging system for fluorescence guided surgery based on fixed magnification lens and digital zoom
JP2001016612A (ja) 視差画像撮像装置及び視差画像撮像方法
JP5025761B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019240300A1 (ja) 眼撮影装置及び眼撮影システム
CN103795916A (zh) 摄像设备以及用于摄像设备的调焦方法
JPH0646428A (ja) 内視鏡のカラー画像を撮影する方法およびこの方法を実行する装置
CN117014704B (zh) 影像融合装置及影像融合算法平行化优化之方法
JP2013056222A (ja) 眼科装置および変換方法
CN113419307B (zh) 一种光纤成像***
JP5084759B2 (ja) 眼科撮影装置
JPH03254727A (ja) 画像撮影装置
JP5084077B2 (ja) 眼科撮影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant