CN107072498B - 图像处理装置、胶囊型内窥镜***以及内窥镜*** - Google Patents

图像处理装置、胶囊型内窥镜***以及内窥镜*** Download PDF

Info

Publication number
CN107072498B
CN107072498B CN201680003404.3A CN201680003404A CN107072498B CN 107072498 B CN107072498 B CN 107072498B CN 201680003404 A CN201680003404 A CN 201680003404A CN 107072498 B CN107072498 B CN 107072498B
Authority
CN
China
Prior art keywords
image
subject
light
depth
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680003404.3A
Other languages
English (en)
Other versions
CN107072498A (zh
Inventor
佐藤大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107072498A publication Critical patent/CN107072498A/zh
Application granted granted Critical
Publication of CN107072498B publication Critical patent/CN107072498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

提供一种不使摄像部中的数据处理量、与摄像部之间的数据通信量大幅地增加就能够获取高精度的深度信息的图像处理装置等。一种图像处理装置，基于从摄像部输出的表示被摄体的像的图像数据和表示至被摄体的距离的测距数据来进行图像处理，该图像处理装置具备：照明光配光特性计算部(332)，其基于上述测距数据来计算被照射到被摄体的照明光的参数；反射光配光特性计算部(334)，其基于根据上述测距数据计算出的被摄体上的点处的深度的梯度，来计算由被摄体反射回的照明光的反射光的参数；以及被摄体距离计算部(340)，其基于上述图像数据、由照明光配光特性计算部(332)计算出的照明光的参数以及由反射光配光特性计算部(334)计算出的反射光的参数，来计算聚光光学***的光轴方向上的从摄像部至被摄体的深度。

Description

图像处理装置、胶囊型内窥镜***以及内窥镜***
技术领域
本发明涉及一种基于通过拍摄生物体内而获取到的数据来进行图像处理的图像处理装置、测距***以及内窥镜***。
背景技术
广泛普及一种通过将内窥镜导入到生物体内并观察由内窥镜拍摄到的被摄体的图像来对生物体进行诊断的内窥镜***。近年来，还开发了一种组装有对从内窥镜至被摄体的距离(深度)进行测定的测距***的内窥镜***。
作为测距***的例子，例如在专利文献1中公开了如下一种***：在摄像部中设置用于像面相位差自动调焦(AF)的图像传感器，基于从配置于该图像传感器的测距用像素输出的输出信号来测定至被摄体的深度。
另外，例如在专利文献2中公开了如下一种***：在摄像部中设置与被摄体的图像生成用的图像传感器不同的TOF(Time of Flight：飞行时间)方式的测距用传感器，基于从测距用传感器输出的输出信号来测定至被摄体的深度。
并且，在专利文献3中公开了如下一种技术：基于摄像部与对被摄体进行照明的照明部的位置关系，根据被摄体的图像计算深度。具体地说，使用从照明部射出并入射到被摄体上的关注点的光的照射角(相对于照明部的光轴的角度)和在关注点被反射并经由聚光光学***入射到摄像部的光的摄像角(相对于聚光光学***的光轴的角度)，来计算至被摄体的深度。
专利文献1：日本特开2013-232751号公报
专利文献2：日本特开2009-267436号公报
专利文献3：日本特开2009-41929号公报
发明内容
发明要解决的问题
在掌握被摄体的立体构造或根据三角测量的原理计算与图像内的两点之间对应的、在被摄体上的两点之间的距离方面，提高至图像中显现的被摄体的深度的测定精度是重要的。
然而，在专利文献1的情况下，只对稀疏地配置于图像传感器的测距用像素的位置的深度进行实测，因此并不能针对构成被摄体的图像的所有像素位置获得精度良好的深度信息。
另外，在专利文献2的情况下，对图像内的整个区域的深度进行实测，因此能够获得精度良好的深度信息，但每一帧生成的数据量大幅地增加。因此，测距用传感器中的数据处理、从测距用传感器向图像处理装置的数据通信需要的时间长。其结果，产生摄像帧频降低这样的问题。
并且，在专利文献3的情况下，无法根据被摄体的图像求出照射角，因此不得不使用估计值。因此，深度的测定精度依赖于照射角的估计精度，由此未必能够获取高精度的深度信息。
本发明是鉴于上述情形而完成的，其目的在于提供一种不使摄像部中的数据处理量、摄像部与图像处理装置之间的数据通信量大幅地增加就能够获取高精度的深度信息的图像处理装置、测距***以及内窥镜***。
用于解决问题的方案
为了解决上述问题而实现目的，本发明所涉及的图像处理装置基于从摄像部输出的图像数据和测距数据来进行图像处理，其中，该摄像部具有：照明部，其产生对被摄体进行照射的照明光；聚光光学***，其会聚由所述被摄体反射的所述照明光；以及图像传感器，其接收由该聚光光学***会聚的所述照明光，基于该照明光来输出表示所述被摄体的像的所述图像数据并且输出表示至所述被摄体的距离的所述测距数据，该图像处理装置的特征在于，具备：照明光配光特性计算部，其基于所述测距数据来计算照射至所述被摄体上的点的所述照明光的参数；反射光配光特性计算部，其基于根据所述测距数据计算出的所述被摄体上的点处的深度的梯度，来计算由所述被摄体反射的所述照明光的反射光的参数；以及被摄体距离计算部，其基于所述图像数据、所述照明光的参数以及所述反射光的参数来计算所述聚光光学***的光轴方向上的从所述摄像部到所述被摄体的距离。
上述图像处理装置的特征在于，还具备深度图像制作部，该深度图像制作部基于所述测距数据来制作深度图像，该深度图像是将至与基于所述图像数据制作的所述被摄体的图像内的各像素位置对应的所述被摄体上的点的深度作为各像素的像素值的图像，所述照明光配光特性计算部基于所述深度图像来计算所述照明光的配光特性中的放射角方向的值。
上述图像处理装置的特征在于，所述深度图像制作部使用所述被摄体的图像内的像素位置中的得到了所述测距数据的像素位置的测距数据，来对所述被摄体的图像内的像素位置中的没有得到所述测距数据的像素位置的所述深度进行插值。
上述图像处理装置的特征在于，还具备深度梯度计算部，该深度梯度计算部基于由所述深度图像制作部计算出的所述深度，来针对所述被摄体的图像内的每个像素位置计算所述深度的梯度，所述反射光配光特性计算部基于由所述深度梯度计算部计算出的所述深度的梯度，来计算所述反射光的配光特性中的反射角方向的值。
上述图像处理装置的特征在于，还具备：图像处理部，其基于所述图像数据来制作显示用的图像；显示部，其显示所述显示用的图像；操作输入部，其输入用于指定所述显示用的图像上的任意两点的信号；以及两点间距离计算部，其计算与所述显示用的图像上的任意两点对应的、在所述被摄体上的两点之间的距离。
本发明所涉及的测距***的特征在于，具备所述图像处理装置以及所述摄像部。
本发明所涉及的内窥镜***的特征在于，具备：所述图像处理装置；以及胶囊型内窥镜，其在呈胶囊形状的壳体中收容有所述摄像部。
本发明所涉及的内窥镜***的特征在于，具备：所述图像处理装置；以及视频观测器，其在向所述被检体***的***部的前端部设置有所述摄像部。
根据本发明，通过使用基于表示距被摄体的距离的测距数据计算出的照明光的参数和反射光的参数以及表示被摄体的像的图像数据，能够高精度地计算从摄像部至被摄体的深度。由此，不需要针对构成被摄体的图像的所有像素的位置实测深度，因此不使数据处理量、数据通信量大幅地增加就能够获取高精度的深度信息。
附图说明
图1是示出本发明的实施方式1所涉及的测距***的结构例的示意图。
图2是示出图1所示的图像传感器的受光面的示意图。
图3是示出图1所示的深度计算部的结构的框图。
图4是用于说明被摄体距离的测定原理的示意图。
图5是用于说明照明光的配光特性的示意图。
图6是示出与图4所示的图像传感器的受光面对应的深度图像的图像区域的示意图。
图7是用于说明深度梯度的计算方法的示意图。
图8是用于说明深度梯度的计算方法的示意图。
图9是用于说明反射光的配光特性的示意图。
图10是示出本发明的实施方式2所涉及的测距***的结构例的示意图。
图11是示出图10所示的显示部中显示的画面的例子的示意图。
图12是用于说明对与图像内的两点之间对应的、在被摄体上的距离进行测定的原理的示意图。
图13是用于说明对与图像内的两点之间对应的、在被摄体上的距离进行测定的原理的示意图。
图14是示出本发明的实施方式3所涉及的内窥镜***的结构例的示意图。
图15是示出图14所示的胶囊型内窥镜的内部构造的一例的示意图。
图16是示出本发明的实施方式4所涉及的内窥镜***的结构例的示意图。
具体实施方式
下面，参照附图来说明本发明的实施方式所涉及的图像处理装置、测距***以及内窥镜***。在以下的说明中，各附图只不过是以能够理解本发明的内容的程度概要性地示出了形状、大小以及位置关系。因而，本发明并不仅限定于各附图例示出的形状、大小以及位置关系。此外，在附图的记载中，对同一部分标注同一附图标记。
(实施方式1)
图1是示出本发明的实施方式1所涉及的测距***的结构例的示意图。本实施方式1所涉及的测距***1是能够应用于被导入到生物体内进行摄像的内窥镜***等、对至粘膜等被摄体的距离(深度)进行测定的***。作为内窥镜***，可以是具备在向被检体***的***部的前端部设置有摄像部的视频观测器的一般的内窥镜***，也可以是将在呈胶囊形状的壳体内收容有摄像部和无线通信部的胶囊型内窥镜导入到生物体内并使该胶囊型内窥镜执行摄像的胶囊型内窥镜***。
如图1所示，测距***1具备：摄像部2，其通过拍摄被摄体S来生成图像数据后输出该图像数据，并且通过对至被摄体S的距离进行实测来生成测距数据后输出该测距数据；以及图像处理装置3，其获取从摄像部2输出的图像数据和测距数据，基于图像数据来制作被摄体S的图像，并且使用图像数据和测距数据来制作至被摄体S的深度的对应图。
摄像部2具备聚光透镜等聚光光学***22、图像传感器23以及产生对被摄体S进行照明的照明光的一个以上的照明部21。
照明部21包含LED(Light Emitting Diode：发光二极管)等发光元件和使该发光元件进行驱动的驱动电路，照明部21产生白色光或特定频带的照明光并向被摄体S照射该照明光。
图像传感器23是能够获取表示被摄体S的视觉信息的图像数据和表示至被摄体S的深度的测距数据的传感器，具有接收从照明部21射出并被被摄体S反射后由聚光光学***22会聚的照明光(即，反射光)的受光面23a。在本实施方式1中，作为图像传感器23，使用像面相位差AF用的传感器。
图2是用于说明图像传感器23的结构的示意图。如图2所示，图像传感器23具备在受光面23a上排列的多个摄像用像素23b和测距用像素23c以及对从这些像素输出的电信号进行处理的信号处理电路23d。在受光面23a上，多个摄像用像素23b被配置为矩阵状，多个测距用像素23c以置换该矩阵的一部分的方式配置。在图2中，对测距用像素23c的位置标注“×”记号来与摄像用像素23b进行区分。
各摄像用像素23b具有在光电二极管等光电转换部上将R(红色)、G(绿色)、B(蓝色)中的任一颜色的滤色器与微透镜层叠的构造，产生与入射到光电转换部的光的光量相应的电荷。摄像用像素23b根据各自具有的滤色器的颜色而以拜耳排列等规定的排列顺序排列。信号处理电路23d通过将由各摄像用像素23b产生的电荷转换为电压信号并进一步转换为数字信号，来将该数字信号作为图像数据进行输出。
各测距用像素23c具有以下构造：在同一平面上并行地配置两个光电转换部，并且以在这些光电转换部上跨过的方式配置一个微透镜。入射到微透镜的光以与向微透镜入射的入射位置相应的分配量向两个光电转换部入射。两个光电转换部各自产生与入射的光的光量相应的电荷。信号处理电路23d将在各测距用像素23c的两个光电转换部中分别产生的电荷转换为电压信号，基于这些电压信号之间的相位差(与距离有关的信息)来生成表示从摄像部2至被摄体S的距离(深度)的测距数据并输出该测距数据。
图像处理装置3具备：数据获取部31，其获取从摄像部2输出的图像数据和测距数据；存储部32，其存储由数据获取部31获取到的图像数据和测距数据以及在该图像处理装置3中使用的各种程序、参数等；运算部33，其基于图像数据和测距数据来进行各种运算处理；显示部34，其显示被摄体S的图像等；操作输入部35，其用于输入针对该图像处理装置3的各种信息、命令；以及控制部36，其对这些各部进行综合控制。
数据获取部31根据应用该测距***1的内窥镜***的方式而适当地构成。例如，在将视频观测器***体内的一般的内窥镜***的情况下，数据获取部31由取入设置于视频观测器的摄像部2所生成的图像数据和测距数据的接口构成。另外，在胶囊型内窥镜***的情况下，数据获取部31由经由天线接收从胶囊型内窥镜无线发送的信号的接收部构成。或者，也可以使用便携式的存储介质来与胶囊型内窥镜之间交换图像数据和测距数据，在该情况下，数据获取部31由装卸自如地安装有便携式的存储介质来读出所存储的图像数据和测距数据的读取器装置构成。或者，在设置用于保存内窥镜***中生成的图像数据和测距数据的服务器的情况下，数据获取部31由与服务器连接的通信装置等构成，与服务器之间进行数据通信来获取各种数据。
存储部32由能够更新记录的快闪存储器等ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)之类的各种IC(Integrated Circuit：集成电路)存储器、内置或用数据通信端子连接的硬盘或者CD-ROM(Compact Disc Read OnlyMemory：压缩光盘只读存储器)等信息存储装置、以及针对该信息存储装置的信息的写入读取装置等构成。存储部32保存用于使图像处理装置3进行动作并使图像处理装置3执行各种功能的程序、执行该程序中使用的数据、具体地说是由数据获取部31获取到的图像数据和测距数据、各种参数等。
运算部33使用CPU(Central Processing Unit：中央处理单元)等通用处理器、ASIC(Application Specific Integrated Circuit：专用集成电路)等执行特定功能的各种运算电路等专用处理器构成。在运算部33是通用处理器的情况下，通过读入存储部32所存储的各种运算程序来执行运算处理。另外，在运算部33是专用处理器的情况下，既可以由处理器单独执行各种运算处理，也可以通过使用存储部32所存储的各种数据等来由处理器与存储部32协作或结合地执行运算处理。
具体地说，运算部33具备：图像处理部33a，其通过对图像数据实施白平衡处理、去马赛克、伽马转换、平滑化(噪声去除等)等规定的图像处理来制作显示用的图像；以及深度计算部33b，其基于图像数据和测距数据来计算至与由图像处理部33a制作出的显示用的图像内的各像素位置对应的被摄体S的深度(至聚光光学***22的距离)。在后面叙述深度计算部33b的详细结构和动作。
显示部34包含液晶、有机EL(Electro Luminescence：电致发光)等各种显示器，显示由图像处理部33a制作出的显示用的图像、由深度计算部33b计算出的距离等的信息。
控制部36使用CPU等通用处理器、ASIC等执行特定功能的各种运算电路等专用处理器构成。在控制部36是通用处理器的情况下，通过读入存储部32所存储的控制程序来进行数据、指示向构成图像处理装置3的各部的传输等，对图像处理装置3整体的动作进行综合控制。另外，在控制部36是专用处理器的情况下，既可以由处理器单独执行各种处理，也可以通过使用存储部32所存储的各种数据等来由处理器与存储部32协作或结合地执行各种处理。
图3是示出深度计算部33b的详细结构的框图。如图3所示，深度计算部33b具备深度图像制作部331、照明光配光特性计算部332、深度梯度计算部333、反射光配光特性计算部334、亮度图像制作部335、像面照度计算部336、物体表面亮度计算部337、照射照度计算部338、照射距离计算部339以及被摄体距离计算部340。
深度图像制作部331基于从存储部32读出的测距数据来制作深度图像，该深度图像是将与由图像处理部33a制作的显示用的图像内的各像素位置对应的被摄体S上的点与聚光光学***22之间的深度作为各像素的像素值的图像。如上述的那样，测距用像素23c稀疏地配置于受光面23a，因此深度图像制作部331针对没有配置测距用像素23c的像素位置使用从配置在附近的测距用像素23c输出的测距数据通过插值运算来计算深度。
照明光配光特性计算部332基于由深度图像制作部331制作出的深度图像，计算配光特性中的放射角方向的值来作为被照射到被摄体S的照明光的参数。
深度梯度计算部333基于由深度图像制作部331制作出的深度图像来计算被摄体S上的点处的深度的梯度(以下称为深度梯度)。
反射光配光特性计算部334基于由深度梯度计算部333计算出的深度梯度，计算配光特性中的反射角方向的值来作为由被摄体S反射回的照明光(即反射光)的参数。
亮度图像制作部335基于从存储部32读出的图像数据来制作将被摄体S的图像的亮度作为各像素的像素值的亮度图像。
像面照度计算部336基于由亮度图像制作部335制作出的亮度图像来计算图像传感器23的像面的照度。
物体表面亮度计算部337基于由像面照度计算部336计算出的像面的照度来计算被摄体S的表面的亮度。
照射照度计算部338基于由物体表面亮度计算部337计算出的物体表面的亮度和由反射光配光特性计算部334计算出的反射光的配光特性中的反射角方向的值，来计算被照射到被摄体S的照明光的照射照度。
照射距离计算部339基于被照射到被摄体S的照明光的照射照度和由照明光配光特性计算部332计算出的照明光的配光特性中的放射角方向的值，来计算从聚光光学***22至被摄体S的照射距离。
被摄体距离计算部340计算被摄体距离，该被摄体距离是将由照射距离计算部339计算出的照射距离投影到聚光光学***22的光轴ZL上所得到的距离。
接着，参照图1～图8来详细地说明本实施方式1中的测距方法。图4是示出摄像部2内的各部与被摄体S之间的位置和角度的关系的示意图。
首先，测距***1通过使照明部21发光来向被摄体S照射照明光L1。由此，由被摄体S反射回的照明光(即反射光)被聚光光学***22会聚后向图像传感器23的受光面23a入射。信号处理电路23d(参照图2)基于从配置于受光面23a的摄像用像素23b输出的电信号来输出各摄像用像素23b的位置的图像数据，并且基于从配置于受光面23a的测距用像素23c输出的电信号来输出各测距用像素23c的位置的测距数据。图像处理装置3的数据获取部31取入这些图像数据和测距数据并将这些数据存储到存储部32。
如图3所示，深度计算部33b从存储部32取入测距数据和图像数据，将测距数据输入到深度图像制作部331，并且将图像数据输入到亮度图像制作部335。
深度图像制作部331基于被输入的测距数据，来制作将从聚光光学***22至被摄体S的距离dS(参照图4)作为各像素的像素值的、与整个受光面23a对应的尺寸的深度图像。在此，如图2所示，在图像传感器23的受光面23a只稀疏地配置了测距用像素23c。因此，对于深度图像内的与测距用像素23c的位置对应的像素，深度图像制作部331使用基于从测距用像素23c输出的输出值的测距数据来进行计算，对于深度图像内的除了与测距用像素23c的位置对应的像素以外的像素，深度图像制作部331通过使用测距数据的插值来进行计算。因而，在深度图像中，没有得到基于从测距用像素23c输出的输出值的测量值的像素位置的距离dS是没有反映出被摄体S的表面的凹凸等的估算值。
接着，照明光配光特性计算部332基于由深度图像制作部331制作出的深度图像，来计算被照射到被摄体S上的各点(例如关注点P)的照明光L1的配光特性中的放射角方向的值。
图5示出放射角θE与同放射角θE对应的、配光特性中的放射角方向的值α(θE)之间的关系，其中，该放射角θE是照明光L1的放射方向与照明部21的光轴ZE之间所形成的角度。此外，在图5中，以放射面上的最大光度、即放射角θE＝0°时的光度为基准进行了归一化。照明光配光特性计算部332从存储部32读出表示图5所例示的配光特性的函数或表，根据照明部21与关注点P的位置关系来计算放射角θE，并计算与该放射角θE对应的、配光特性中的放射角方向的值α(θE)。
此外，在一般的LED中，配光特性为余弦，因此例如在放射角θE＝45°的情况下，放射角方向的光度α(45°)为对放射角θE＝0°时的值α(0°)乘以cos(45°)所得到的值。
在此，说明放射角θE的计算方法。图6是示出与图像传感器23的受光面23a对应的深度图像的图像区域的示意图。首先，照明光配光特性计算部332提取受光面23a上的与深度图像M内的关注像素A(x0，y0)对应的像素A’(参照图4)，使用图像传感器23的像素数(像素，pixel)和传感器尺寸dsen(mm)来将该像素A’的坐标值从像素换算为距离(mm)。另外，照明光配光特性计算部332使用已换算成距离的像素A’的坐标值来计算从聚光光学***22的光轴ZL至像素A’的距离、即像高dA。然后，根据聚光光学***22与受光面23a之间的距离(设计值)d0和像高dA，通过下面的运算式(1)计算视场角φ。
φ＝tan-1(dA/d0)…(1)
此外，在图6中用虚线表示深度图像M内的与像高dA对应的长度l(dA)。
照明光配光特性计算部332基于该视场角φ和深度图像M中的关注像素A的像素值、即深度dS，使用下面的运算式(2)计算与关注像素A对应的被摄体S上的关注点P与光轴ZL之间的距离、即被摄体的高度dP。
dP＝dStanφ…(2)
接着，照明光配光特性计算部332计算深度图像M内的与照明部21所具备的发光元件的位置对应的坐标。在此，在摄像部2中，照明部21所具备的发光元件的光轴ZE与聚光光学***22的光轴ZL之间的距离dLED、发光元件与图像传感器23的受光面23a的位置关系是以设计值决定的。因此，照明光配光特性计算部332使用图像传感器23的像素数和传感器尺寸dsen(mm)来求出深度图像M的像高，并根据所求出的像高来计算深度图像M内的与照明部21所具备的发光元件的位置对应的像素的坐标ALED。
接着，照明光配光特性计算部332根据关注像素A的坐标以及与发光元件的位置对应的像素ALED的坐标来计算这些像素之间的间隔dpix。然后，使用图像传感器23的像素数和传感器尺寸dsen(mm)来将该间隔dpix换算为在被摄体S上的距离(mm)。该距离是从关注点P至发光元件的光轴ZE的距离dE。照明光配光特性计算部332根据该距离dE和关注点P的深度dS，使用下面的运算式(3)计算放射角θE。
θE＝tan-1(dE/dS)…(3)
照明光配光特性计算部332基于这样计算出的放射角θE来计算照明光L1的配光特性中的放射角方向的值α(θE)(图5)。
此外，在照明部21具备多个发光元件的情况下，照明光配光特性计算部332针对多个发光元件中的各发光元件通过上述的方法来计算放射角θE，并基于所计算出的多个放射角θE来计算配光特性中的放射角方向的值即可。在该情况下，作为配光特性，也将表示与多个发光元件的配置相应的特性的函数或表从存储部32读出到照明光配光特性计算部332。例如，在照明部21具有四个发光元件且针对某个关注点P计算出各个发光元件的放射角θE1、θE2、θE3、θE4的情况下，计算基于这些放射角的配光特性中的放射角方向的值α(θE1、θE2、θE3、θE4)。
再次参照图3，深度梯度计算部333基于由深度图像制作部331制作出的深度图像M(参照图6)来计算被摄体S上的点处的深度梯度。通过取深度图像内的各像素的像素值(即深度)的微分来计算深度梯度。如图4所示，深度梯度赋予关注点P处的接触面相对于与聚光光学***22的光轴ZL正交的面的梯度(梯度角θ)。
在此，详细地说明由深度梯度计算部333计算深度梯度的计算方法。图7和图8是用于说明梯度图像的计算方法的示意图，图7和图8所示的矩形的区域表示深度图像M内的关注像素A(x0，y0)及其周边像素。
基本上使用在连结深度图像M的中心C与关注像素A的直线上与关注像素A相邻的像素的像素值(深度)来计算关注像素A的深度梯度。例如图7所示，在连结深度图像M的中心C与关注像素A的直线上经过了与关注像素A相邻的像素A1、A2的中心的情况下，使用从中心C朝向像素A1的向量CA1和从中心C朝向像素A2的向量CA2，通过下面的运算式(4)来给出关注像素A处的深度梯度G。
[数式1]
在运算式(4)中，符号X()表示括弧内示出的向量的x分量，符号Y()表示括弧内示出的向量的y分量。另外，符号Z()表示括弧内示出的像素的像素值、即深度。
另一方面，如图8所示，在连结深度图像M的中心C与关注像素A的直线上没有经过与关注像素A相邻的像素的中心的情况下，通过使用周边像素的线性插值来计算相邻像素的坐标和深度。
例如，考虑以深度图像M的中心C为原点、将通过中心C和关注像素A的直线表示为y＝(1/3)x的情况。在该情况下，使用从中心C朝向像素A2的向量CA2和从中心C朝向像素A3的向量CA3，通过运算式(5-1)来计算用于给出(x0-1)列的像素与直线y＝(1/3)x的交点A4的坐标的向量CA4。另外，使用像素A2处的深度Z(A2)和像素A3处的深度Z(A3)，通过运算式(5-2)来给出交点A4处的深度Z(A4)。
[数式2]
同样地，使用从中心C朝向像素A1的向量CA1和从中心C朝向像素A5的向量CA5，通过运算式(6-1)来计算用于给出(x0+1)列的像素与直线y＝(1/3)x的交点A6的坐标的向量CA6。另外，使用像素A1处的深度Z(A1)和像素A5处的深度Z(A6)，通过运算式(6-2)来给出交点A6处的深度Z(A6)。
[数式3]
在该情况下，使用通过插值计算出的交点A4的坐标和交点A6的坐标以及该交点A4处的深度Z(A4)和该交点A6处的深度Z(A6)，与运算式(4)同样地计算关注像素A的深度梯度G。
深度梯度计算部333以这种方式计算深度图像M内的所有像素处的深度梯度。
接着，反射光配光特性计算部334基于由深度梯度计算部333计算出的深度梯度，来计算在被摄体S上的各点(例如关注点P)反射回的照明光(即反射光)的配光特性中的反射角方向的值。
图9是示出反射光的配光特性的一例的示意图。反射光的配光特性是指被摄体S的表面的与反射角θR相应的反射率。此外，以反射率最大、即反射角θR＝0°时的反射率R(θR＝0)为基准对图9所示的配光特性进行了归一化。反射光配光特性计算部334从存储部32读出表示图9中例示的配光特性的函数或表，根据从照明部21向关注点P入射的照明光L1与从关注点P朝向聚光光学***22反射的反射光L2之间的关系来计算反射角θR，通过应用表示配光特性的函数或表来计算配光特性中的反射角方向的值R(θR)。
例如，在配光特性中的反射角方向的值R(45°)＝0.8的情况下，反射角θR＝45°时的从关注点P向图像传感器23的方向放射的反射光L2的光度为反射角θR＝0°的情况下的该反射光L2的光度的0.8倍。
在此，说明反射角θR的计算方法。首先，反射光配光特性计算部334通过与照明光配光特性计算部332同样的方法来计算从受光面23a上的与深度图像M内的关注像素A(参照图6)对应的像素A’观察到的视场角φ。另外，根据由深度梯度计算部333计算出的深度梯度来计算关注像素A处的深度梯度(梯度角θ)。然后，根据视场角φ和深度梯度(梯度角θ)来计算反射角θR。
再次参照图3，亮度图像制作部335基于被输入的图像数据来制作将被摄体S的图像的亮度作为像素值的亮度图像。在此，如图2所示，在图像传感器23的受光面23a稀疏地配置测距用像素23c，因此在配置有测距用像素23c的像素位置没有获取到图像数据。因此，亮度图像制作部335使用基于从位于测距用像素23c的附近的摄像用像素23b输出的输出值的图像数据，通过插值来计算该测距用像素23c的位置的亮度。
接着，像面照度计算部336基于由亮度图像制作部335制作出的亮度图像来计算聚光光学***22的像面的照度(像面照度)Ef[lx]。在此，像面照度是指在将聚光光学***22作为照明***时通过了该聚光光学***22的反射光L2向图像传感器23入射时的照度。
使用系数K、曝光时间t以及从图像传感器23的各摄像用像素23b(参照图2)输出的输出值Vout，通过下面的运算式(7)来给出像面照度Ef。系数K是各摄像用像素23b处的光的吸收系数、从电荷向电压转换的转换系数、考虑了AD转换、放大器等电路中的增益、损耗等的总的系数，是根据图像传感器23的技术要求预先设定的。此外，通过使用从该测距用像素23c的附近的摄像用像素23b输出的输出值Vout的插值来计算各测距用像素23c的位置的像面照度Ef。
[数式4]
接着，物体表面亮度计算部337基于像面照度Ef来计算作为被摄体S的表面的亮度的物体表面亮度LS[cd/m2]。使用像面照度Ef、聚光光学***22的口径D、焦距b以及强度透过率T(h)，通过下面的运算式(8)来给出物体表面亮度LS。
[数式5]
接着，照射照度计算部338基于物体表面亮度LS来计算对被摄体S进行照射的照明光L1的照射照度E0[lx]。照明光L1由于在被摄体S的关注点P处发生反射而衰减与被摄体S的表面的反射率R0对应的量，并且衰减与同反射角θR相应的配光特性对应的量。因而，能够使用物体表面亮度LS、被摄体S的反射率R0以及由反射光配光特性计算部334计算出的反射光L2的配光特性中的反射角方向的值R(θR)，通过下面的运算式(9)来反算照射照度E0。
[数式6]
在此，反射率R0是根据被摄体S的表面性状决定的值，被预先保存在存储部32中。存储部32也可以保存多个与胃粘膜、大肠粘膜之类的观察对象的被摄体的种类相应的反射率R0，在该情况下，照射照度计算部338选择与从操作输入部35(参照图1)输入的信号相应的反射率R0来使用。
这样计算出的照射照度E0是从照明部21射出的照明光L1到达被摄体S的关注点P而产生的照射照度。在此期间，从照明部21射出的照明光L1衰减与至关注点P的照射距离dL对应的量，并且衰减与同放射角θE相应的、配光特性中的放射角方向的值α(θE)对应的量。因而，在照明部21的亮度LLED与关注点P处的照射照度E0之间，下面的运算式(10)的关系成立。
[数式7]
在运算式(10)中，符号SLED表示被从照明部21放射照明光L1的区域的表面积。另外，符号EmSPE是照明光L1的分光特性系数。
因此，照射距离计算部339从照明光配光特性计算部332获取照明光的配光特性中的放射角方向的值α(θE)，使用该配光特性中的放射角方向的值α(θE)和照射照度E0来计算通过下面的运算式(11)给出的照射距离dL[m]。
[数式8]
接着，被摄体距离计算部340使用放射角θE通过下面的运算式(12)来计算将照射距离dL投影到光轴ZL上所得到的被摄体距离dS[m]。
dS＝dL·cosθE…(12)
深度计算部33b针对深度图像M内的各像素执行上述的一系列的处理，制作将所计算出的被摄体距离dS与由图像处理部33a制作出的显示用的图像内的各像素相关联起来的距离对应图，并将该距离对应图存储于存储部32。由此，针对从摄像部2获取到的图像数据和测距数据的处理结束。
如以上所说明的那样，根据本实施方式1，基于由测距用像素23c测定出的测距数据来制作深度图像并计算深度梯度，基于这些深度图像和深度梯度来分别计算照明光的配光特性中的放射角方向的值和反射光的配光特性中的反射角方向的值，使用这些配光特性的值根据图像的亮度来计算被摄体距离，因此与不使用配光特性的值的情况相比能够大幅地提高被摄体距离的精度。
另外，根据本实施方式1，从稀疏地配置在图像传感器23的受光面23a的测距用像素23c获取测距数据，因此能够大幅地削减图像传感器23中的数据处理量、从摄像部2向图像处理装置3的数据通信量。因而，能够抑制图像传感器23中的摄像帧频的降低。
(变形例)
在上述实施方式1中，作为图像传感器23，使用了将多个摄像用像素23b和多个测距用像素23c配置在同一受光面23a上的像面相位差AF用的传感器，但图像传感器23的结构并不限定于此。例如，也可以将CMOS或CCD等一般的摄像元件与TOF方式的测距用传感器组合来使用。
(实施方式2)
接着，对本发明的实施方式2进行说明。图10是示出本发明的实施方式2所涉及的测距***的结构的框图。如图10所示，本实施方式2所涉及的测距***4具备图像处理装置5，来代替图1所示的图像处理装置3。此外，摄像部2的结构和动作与实施方式1相同。
图像处理装置5具备运算部51，相对于图1所示的运算部33，该运算部51还具备两点间距离计算部51a。图像处理装置5的除运算部51以外的各部的结构和动作以及运算部51所具备的图像处理部33a和深度计算部33b的动作与实施方式1相同。
两点间距离计算部51a针对由图像处理部33a制作出的被摄体S的显示用的图像计算根据从操作输入部35输入的信号所指定的两点之间的距离。
接着，参照图11～图13来说明与图像内的两点之间对应的、在被摄体S上的距离的测定方法。图11是示出显示部34中显示的画面的例子的示意图。图12和图13是用于说明两点之间的距离的测定原理的示意图。以下，设为制作与被摄体S有关的距离对应图(参照实施方式1)并且该距离对应图被存储于存储部32。
首先，控制部36如图11所例示的那样使包含由图像处理部33a制作出的被摄体S的显示用的图像m10的画面M1显示在显示部34中。该画面M1除了包含图像m10以外，还包含坐标显示栏m11和距离显示栏m12，其中，该坐标显示栏m11显示该图像m10上的由用户选择出的任意两点(起点和终点)的坐标，该距离显示栏m12显示与图像m10上的由用户选择出的任意两点之间对应的、在被摄体S上的两点之间的距离。
当通过使用操作输入部35对该画面M1进行规定的指针操作(例如点击操作)而指定了图像m10上的任意两点Q1、Q2时，操作输入部35将所指定的两点Q1、Q2的在图像m10上的坐标值输入到控制部36。
在此，如上述的那样已经获得与被摄体S有关的距离对应图，因此从与图像m10内的各像素位置对应的被摄体S上的点至摄像部2的距离是已知的。另外，如图12所示，传感器尺寸dsen和从聚光光学***22至受光面23a的距离d0也以设计值给出。
因此，两点间距离计算部51a当从控制部36获取到图像m10上的两点Q1、Q2的坐标值时，从存储部32读出距离对应图，来获取从被摄体S上的与该点Q1对应的点P1至摄像部2(聚光光学***22)的距离dS1以及从被摄体S上的与该点Q2对应的点P2至摄像部2(聚光光学***22)的距离dS2。
另外，两点间距离计算部51a如图13所示那样获取图像传感器23的受光面23a上的与图像m10上的点Q1对应的点Q1’的坐标值(qx1，qy1)以及图像传感器23的受光面23a上的与图像m10上的点Q2对应的点Q2’的坐标值(qx2，qy2)，使用这些坐标值、传感器尺寸dsen以及距离d0来计算像高(与光轴ZL之间的距离)d1、d2。在此，坐标值(qx1，qy1)、(qx2，qy2)是以光轴ZL所通过的、受光面23a上的点C’为原点时的坐标。
并且，两点间距离计算部51a求出与从点C’朝向点Q1’的向量对应的相对于规定的轴的旋转角ψ1以及与从点C’朝向点Q2’的向量对应的相对于规定的轴的旋转角ψ2。
接着，两点间距离计算部51a根据像高d1、从聚光光学***22至受光面23a的距离d0以及从被摄体S上的点P1至聚光光学***22的距离dS1，来计算被摄体的在点P1处的高度(与光轴ZL之间的距离)d1’，并且根据像高d2、从聚光光学***22至受光面23a的距离d0以及从被摄体S上的点P2至聚光光学***22的距离dS2，来计算被摄体的在点P2处的高度(与光轴ZL之间的距离)d2’。
当使用图13所示的旋转角ψ1、ψ2以及被摄体的高度d1’、d2’时，通过下面的运算式(13)给出被摄体S上的点P1的坐标(px1，py1，dS1)，并且通过下面的运算式(14)给出被摄体S上的点P2的坐标(px2，py2，dS2)。
(px1，Py1，dS1)＝(d1'cosφ1，d1'sinφ1，dS1)…(13)
(Px2，Py2，dS2)＝(d2'cosφ2，d2'sinφ2，dS2)…(14)
两点间距离计算部51a计算出这些坐标(px1，py1，dS1)、(px2，py2，dS2)之间的距离d后输出到显示部34，并使该距离d在画面M1的例如距离显示栏m12中显示。此外，作为距离d，既可以是根据二维坐标(px1，py1)、(px2，py2)计算出的与光轴ZL正交的面上的距离，也可以是根据三维坐标(px1，py1，dS1)、(px2，py2，dS2)计算出的三维空间内的距离。
如以上所说明的那样，根据本发明的实施方式2，通过使用与图像m10内的各像素相关联起来的距离对应图，能够准确地计算与在图像m10上指定的任意两点之间对应的、在被摄体S上的距离。
(实施方式3)
接着，对本发明的实施方式3进行说明。图14是示出本发明的实施方式3所涉及的内窥镜***的结构的示意图。如图14所示，本实施方式3所涉及的内窥镜***6具备：胶囊型内窥镜61，其被导入到患者等被检体60内来进行摄像，生成并无线发送图像信号；接收装置63，其经由佩戴于被检体60的接收天线单元62来接收从胶囊型内窥镜61无线发送的图像信号；以及图像处理装置3。图像处理装置3的结构和动作与实施方式1相同(参照图1)，从接收装置63获取图像数据后实施规定的图像处理，并显示被检体60内的图像。或者，也可以应用实施方式2中的图像处理装置5，来代替图像处理装置3。
图15是示出胶囊型内窥镜61的结构例的示意图。胶囊型内窥镜61在通过经口摄取等而被导入到被检体60内之后在消化管内部移动并最终被排出到被检体60的外部。在此期间，胶囊型内窥镜61一边随着蠕动运动而在脏器(消化管)内部移动，一边对被检体60内进行拍摄来依次生成并无线发送图像信号。
如图15所示，胶囊型内窥镜61具备收容摄像部2的胶囊型壳体611，该摄像部2包含照明部21、聚光光学***22以及图像传感器23。胶囊型壳体611是形成为易于被导入到被检体60的脏器内部的大小的外壳。另外，在胶囊型壳体611内设置有：控制部615，其控制胶囊型内窥镜61的各构成部；无线通信部616，其将被控制部615处理后的信号无线发送到胶囊型内窥镜61的外部；以及电源部617，其向胶囊型内窥镜61的各构成部供给电力。
胶囊型壳体611由筒状壳体612和圆顶状壳体613、614构成，通过用圆顶状壳体613、614堵塞该筒状壳体612的两侧开口端来实现该胶囊型壳体611。筒状壳体612和圆顶状壳体614是对可见光而言大致不透明的有色的壳体。另一方面，圆顶状壳体613是对可见光等规定波长频带的光而言透明的呈圆顶形状的光学构件。这种胶囊型壳体611液密性地在内部包含摄像部2、控制部615、无线通信部616以及电源部617。
控制部615控制胶囊型内窥镜61内的各构成部的动作，并且控制这些构成部之间的信号的输入和输出。详细地说，控制部615对摄像部2所具备的图像传感器23的摄像帧频进行控制，并且使照明部21与该摄像帧频同步地发光。另外，控制部615对从图像传感器23输出的图像信号实施规定的信号处理，并使无线通信部616无线发送实施该规定的信号处理后的图像信号。
无线通信部616从控制部615获取图像信号，对该图像信号实施调制处理等来生成无线信号，并将该无线信号发送到接收装置63。
电源部617是纽扣型电池、电容器等蓄电部，向胶囊型内窥镜61的各构成部(摄像部2、控制部615以及无线通信部616)供给电力。
再次参照图14，接收天线单元62具有多个(在图14中是八个)接收天线62a。各接收天线62a例如使用环形天线实现，被配置在被检体60的体外表面上的规定位置(例如，与作为胶囊型内窥镜61的通过区域的被检体60内的各脏器对应的位置)。
接收装置63经由这些接收天线62a接收从胶囊型内窥镜61无线发送的图像信号，在对接收到的图像信号实施规定的处理之后将图像信号及其关联信息存储到内置的存储器中。也可以对接收装置63设置显示从胶囊型内窥镜61无线发送的图像信号的接收状态的显示部、用于操作接收装置63的操作按钮等输入部。通过在与图像处理装置3相连接的托架64上放置接收装置63，接收装置63中存储的图像信号被传输到图像处理装置3。
(实施方式4)
接着，对本发明的实施方式4进行说明。图16是示出本发明的实施方式4所涉及的内窥镜***的结构的示意图。如图16所示，本实施方式4所涉及的内窥镜***7具备：内窥镜71，其被***到被检体的体内来进行摄像，生成并输出图像；光源装置72，其产生从内窥镜71的前端射出的照明光；以及图像处理装置3。图像处理装置3的结构和动作与实施方式1相同(参照图1)，获取由内窥镜71生成的图像数据后实施各种图像处理，并将被检体内的图像显示于显示部34。或者，也可以应用实施方式2中的图像处理装置5，来代替图像处理装置3。
内窥镜71具备：***部73，其具有挠性且呈细长形状；操作部74，其连接于***部73的基端侧，用于接收各种操作信号的输入；以及通用线缆75，其从操作部74向与***部73延伸的方向不同的方向延伸，内置与图像处理装置3和光源装置72连接的各种线缆。
***部73具有前端部731、由多个弯曲件构成的弯曲自如的弯曲部732、以及连接于弯曲部732的基端侧且具有挠性的长条状的挠性针管733。在该***部73的前端部731设置有摄像部2(参照图1)，该摄像部2具备：照明部21，其利用由光源装置72产生的照明光来照射被检体内；聚光光学***22，其会聚在被检体内反射回的照明光；以及图像传感器23。
在操作部74与前端部731之间连接有将用于与图像处理装置3之间进行电信号的发送和接收的多个信号线进行捆束而成的集合线缆以及用于传播光的光导件。多个信号线中包含用于将摄像元件所输出的图像信号传送到图像处理装置3的信号线和用于将图像处理装置3所输出的控制信号传送到摄像元件的信号线等。
操作部74设置有使弯曲部732向上下方向和左右方向弯曲的弯曲旋钮、用于***活检针、生物体钳子、激光手术刀以及检查探针等处置器具的处置器具***部、以及用于向图像处理装置3和光源装置72等周边设备输入操作指示信号的多个开关。
通用线缆75中至少内置有光导件和集合线缆。另外，在通用线缆75的与操作部74相连的一侧不同的一侧的端部设置有：连接器部76，其相对于光源装置72装卸自如；以及电连接器部78，其经由呈螺旋状的螺旋线缆77而与连接器部76电连接，且相对于图像处理装置3装卸自如。从摄像元件输出的图像信号经由螺旋线缆77和电连接器部78而向图像处理装置3输入。
以上所说明的本发明的实施方式1～4只不过是用于实施本发明的例子，本发明并不限定于这些实施方式。另外，本发明通过将上述实施方式1～4中公开的多个构成要素适当地进行组合，能够生成各种发明。根据上述记载显而易见的是，本发明能够根据规格等进行各种变形，并且在本发明的范围内能够具有其它各种实施方式。
附图标记说明
1、4：测距***；2：摄像部；3、5：图像处理装置；7：内窥镜***；21：照明部；22：聚光光学***；23：图像传感器；23a：受光面；23b：摄像用像素；23c：测距用像素；23d：信号处理电路；31：数据获取部；32：存储部；33、51：运算部；33a：图像处理部；33b：深度计算部；34：显示部；35：操作输入部；36：控制部；51a：两点间距离计算部；60：被检体；61：胶囊型内窥镜；62：接收天线单元；62a：接收天线；63：接收装置；64：托架；71：内窥镜；72：光源装置；73：***部；74：操作部；75：通用线缆；76：连接器部；77：螺旋线缆；78：电连接器部；331：深度图像制作部；332：照明光配光特性计算部；333：深度梯度计算部；334：反射光配光特性计算部；335：亮度图像制作部；336：像面照度计算部；337：物体表面亮度计算部；338：照射照度计算部；339：照射距离计算部；340：被摄体距离计算部；611：胶囊型壳体；612：筒状壳体；613、614：圆顶状壳体；615：控制部；616：无线通信部；617：电源部；731：前端部；732：弯曲部；733：挠性针管。

Claims (7)

1.一种图像处理装置，基于通过由摄像部接收从被摄体反射回的照明光的反射光而从所述摄像部输出的图像数据和表示至所述被摄体的距离的测距数据来进行图像处理，该图像处理装置的特征在于，具备：
照明光配光特性计算部，其基于所述测距数据来计算照射至所述被摄体上的点的所述照明光的参数；
反射光配光特性计算部，其基于根据所述测距数据计算出的所述被摄体上的点处的深度的梯度，来计算所述反射光的参数；以及
被摄体距离计算部，其基于所述图像数据、所述照明光的参数以及所述反射光的参数来计算与所述摄像部中的图像传感器的受光面垂直的方向上的从所述摄像部到所述被摄体的距离。
2.根据权利要求1所述的图像处理装置，其特征在于，
还具备深度图像制作部，该深度图像制作部基于所述测距数据来制作深度图像，该深度图像是将至与基于所述图像数据制作的图像内的各像素位置对应的所述被摄体上的点的深度作为各像素的像素值的图像，
所述照明光配光特性计算部基于所述深度图像来计算所述照明光的配光特性中的放射角方向的值。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述深度图像制作部使用所述图像内的像素位置中的得到了所述测距数据的像素位置的测距数据，来对所述图像内的像素位置中的没有得到所述测距数据的像素位置的所述深度进行插值。
4.根据权利要求2所述的图像处理装置，其特征在于，
还具备深度梯度计算部，该深度梯度计算部基于由所述深度图像制作部计算出的所述深度，来针对所述图像内的每个像素位置计算所述深度的梯度，
所述反射光配光特性计算部基于由所述深度梯度计算部计算出的所述深度的梯度，来计算所述反射光的配光特性中的反射角方向的值。
5.根据权利要求1所述的图像处理装置，其特征在于，还具备：
图像处理部，其基于所述图像数据来制作图像；
显示部，其显示所述图像；
操作输入部，其指定所述显示部中显示的所述图像上的任意两点；以及
两点间距离计算部，其计算与所述任意两点对应的、在所述被摄体上的两点之间的距离。
6.一种胶囊型内窥镜***，其特征在于，具备：
根据权利要求1所述的图像处理装置；以及
向被检体内导入的胶囊型内窥镜。
7.一种内窥镜***，其特征在于，具备：
根据权利要求1所述的图像处理装置；以及
向被检体***的内窥镜。
CN201680003404.3A 2015-06-30 2016-02-17 图像处理装置、胶囊型内窥镜***以及内窥镜*** Active CN107072498B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015131904 2015-06-30
JP2015-131904 2015-06-30
PCT/JP2016/054621 WO2017002388A1 (ja) 2015-06-30 2016-02-17 画像処理装置、測距システム、及び内視鏡システム

Publications (2)

Publication Number Publication Date
CN107072498A CN107072498A (zh) 2017-08-18
CN107072498B true CN107072498B (zh) 2019-08-20

Family

ID=57608073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680003404.3A Active CN107072498B (zh) 2015-06-30 2016-02-17 图像处理装置、胶囊型内窥镜***以及内窥镜***

Country Status (5)

Country Link
US (1) US20170228879A1 (zh)
EP (1) EP3318173A4 (zh)
JP (1) JP6064106B1 (zh)
CN (1) CN107072498B (zh)
WO (1) WO2017002388A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140062A1 (en) * 2017-01-30 2018-08-02 CapsoVision, Inc. Method and apparatus for endoscope with distance measuring for object scaling
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
WO2020210168A1 (en) 2019-04-08 2020-10-15 Activ Surgical, Inc. Systems and methods for medical imaging
CN110335318B (zh) * 2019-04-28 2022-02-11 安翰科技(武汉)股份有限公司 一种基于摄像***的消化道内物体测量方法
CN110327046B (zh) * 2019-04-28 2022-03-25 安翰科技(武汉)股份有限公司 一种基于摄像***的消化道内物体测量方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN110811550A (zh) * 2019-10-16 2020-02-21 杨扬 基于深度图像的牙齿成像***及成像方法
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
CN110974132B (zh) * 2019-12-23 2022-06-03 重庆金山医疗技术研究院有限公司 一种胶囊式内窥镜及其相对运动检测方法和***
CN111643031A (zh) * 2020-04-24 2020-09-11 上海澳华内镜股份有限公司 内窥镜装置及***
CN112261399B (zh) * 2020-12-18 2021-03-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的***和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
JP2002065585A (ja) * 2000-08-24 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP4999763B2 (ja) * 2007-07-31 2012-08-15 パナソニック株式会社 撮像装置、撮像方法、プログラム、記録媒体、および集積回路
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP5393216B2 (ja) * 2009-03-24 2014-01-22 オリンパス株式会社 蛍光観察システムおよび蛍光観察システムの作動方法
JP2015119277A (ja) * 2013-12-17 2015-06-25 オリンパスイメージング株式会社 表示機器、表示方法及び表示プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607946A (zh) * 2011-01-20 2014-02-26 埃纳威医疗有限公司 估计物体的位置和取向的***和方法

Also Published As

Publication number Publication date
US20170228879A1 (en) 2017-08-10
JPWO2017002388A1 (ja) 2017-06-29
WO2017002388A1 (ja) 2017-01-05
JP6064106B1 (ja) 2017-01-18
EP3318173A1 (en) 2018-05-09
EP3318173A4 (en) 2019-04-17
CN107072498A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107072498B (zh) 图像处理装置、胶囊型内窥镜***以及内窥镜***
CN107529969B (zh) 图像处理装置以及内窥镜***
JP7321916B2 (ja) 手術シーンの定量的三次元撮像
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
CN106455944B (zh) Q3d模型与3d图像的对准
US7995798B2 (en) Device, system and method for estimating the size of an object in a body lumen
CN105916462B (zh) 光学跟踪***
CN105531720B (zh) 用于体内对象的大小估计的***和方法
US20140307100A1 (en) Orthographic image capture system
CN108430373A (zh) 用于在患者体内跟踪内窥镜的位置的装置和方法
EP3371779B1 (en) Systems and methods for forming models of three dimensional objects
EP3513703A1 (en) Measurement assistance device, endoscope system, processor for endoscope system, and measurement assistance method
CN108463767A (zh) 虚拟/增强现实***中的光束角度传感器
BR112014028811B1 (pt) sistema de imagem, método para registrar uma imagem de um objeto em uma faixa espectral de radiação de terahertz através da radiografia e visualização da imagem em luz visível, e meio de armazenamento
US7878710B2 (en) X-ray radiation image photographing apparatus
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
JPWO2018159292A1 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
CN109223303A (zh) 全自动伤口拍摄评估防护眼罩及测量方法
CN107113405A (zh) 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
CN108534703A (zh) 结构光发生器及深度数据测量头和测量装置
CN109328319A (zh) 胶囊相机的透镜对准方法和设备
CN109478225A (zh) 读取装置、程序以及单元
CN210952726U (zh) 一种凹形扫描仪
JP6549021B2 (ja) 内視鏡システム、及び計測装置の作動方法
CN112285915A (zh) 增强现实组件以及显微镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant