CN103841879B - 内窥镜用图像处理装置、内窥镜装置和图像处理方法 - Google Patents

内窥镜用图像处理装置、内窥镜装置和图像处理方法 Download PDF

Info

Publication number
CN103841879B
CN103841879B CN201280046804.4A CN201280046804A CN103841879B CN 103841879 B CN103841879 B CN 103841879B CN 201280046804 A CN201280046804 A CN 201280046804A CN 103841879 B CN103841879 B CN 103841879B
Authority
CN
China
Prior art keywords
region
image
boundary line
field
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280046804.4A
Other languages
English (en)
Other versions
CN103841879A (zh
Inventor
佐佐木宽
本田树
本田一树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103841879A publication Critical patent/CN103841879A/zh
Application granted granted Critical
Publication of CN103841879B publication Critical patent/CN103841879B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

内窥镜用图像处理装置包括图像取得部（305）和边界区域校正部（315）。图像取得部（305）取得将与前方视野对应的前方图像和与侧方视野对应的侧方图像形成为一张取得图像而成的图像信号。将取得图像中的与前方视野对应的区域作为前方区域，将取得图像中的与侧方视野对应的区域作为侧方区域。边界区域校正部（315）进行使前方区域的图像和侧方区域的图像中的至少一方重叠在前方区域与侧方区域的边界的区域即边界区域上的处理。

Description

内窥镜用图像处理装置、内窥镜装置和图像处理方法
技术领域
本发明涉及内窥镜用图像处理装置、内窥镜装置和图像处理方法等。
背景技术
以往，在内窥镜诊断中具有希望提高体腔内的病变检测精度的要求，开发了具有170度的广角光学***的内窥镜镜体。
在上述内窥镜镜体中，例如如大肠这样的具有较大褶皱的脏器的褶皱内侧等，位于侧方的靠后方的区域有时未进入视野范围，所以，有时很难取得存在于这种区域中的病变作为图像。
现有技术文献
专利文献
专利文献1：日本特开2010-117665号公报
发明内容
发明要解决的课题
例如，为了对褶皱里侧等的位于侧方的靠后方的区域进行观察，考虑使用具备鱼眼透镜的内窥镜镜体的方法，该鱼眼透镜具有180度以上（包含该值）的视场角。
但是，在该方法中，由于鱼眼透镜的光学像差（特别是畸变像差）较大，所以，成为侧方视野的图像周边部大幅变形，很难以足够大的尺寸对褶皱里侧的病变进行观察。
在专利文献1中公开了同时观察前方视野和侧方视野双方的光学***。在该光学***中，由于能够减小侧方视野即图像周边部的畸变像差，所以，例如在大肠的褶皱里侧观察中是有效的。
但是，在上述光学***中，摄像图像的中央部对应于前方视野，该中央部周边的环状区域对应于侧方视野，但是，具有在这2个视野之间形成作为死角的边界区域的课题。例如，当利用上述光学***观察大肠时，可能本来没有褶皱，但是将边界区域误观察为褶皱。
根据本发明的若干个方式，能够提供可以抑制由于边界区域而导致的视觉辨认性降低的内窥镜用图像处理装置、内窥镜装置和图像处理方法等。
用于解决课题的手段
本发明的一个方式涉及一种内窥镜用图像处理装置，该内窥镜用图像处理装置包括：图像取得部，其取得将与前方视野对应的前方图像和与侧方视野对应的侧方图像形成为一张取得图像而成的图像信号；以及边界区域校正部，其在将所述取得图像中的与所述前方视野对应的区域作为前方区域、将所述取得图像中的与所述侧方视野对应的区域作为侧方区域的情况下，进行使所述前方区域的图像和所述侧方区域的图像中的至少一方重叠在所述前方区域与所述侧方区域的边界的区域即边界区域上的重叠处理。
根据本发明的一个方式，取得将前方图像和侧方图像形成为一张取得图像的图像信号，进行将前方区域的图像和侧方区域的图像中的一方重叠在边界区域上的处理。由此，能够抑制由于边界区域而导致的视觉辨认性降低。
并且，本发明的另一个方式涉及一种图像处理方法，取得将与前方视野对应的前方图像和与侧方视野对应的侧方图像形成为一张取得图像而成的图像信号，在将所述取得图像中的与所述前方视野对应的区域作为前方区域、将所述取得图像中的与所述侧方视野对应的区域作为侧方区域的情况下，进行使所述前方区域的图像和所述侧方区域的图像中的至少一方重叠在所述前方区域与所述侧方区域的边界的区域即边界区域上的重叠处理。
附图说明
图1是内窥镜装置的第1结构例。
图2是旋转滤色镜的详细结构例。
图3是滤色镜的分光透射率特性的例子。
图4（A）、图4（B）是物镜的详细结构例。图4（C）是通过物镜进行摄像而得到的图像的说明图。
图5是图像处理部的第1详细结构例。
图6（A）～图6（E）是对边界区域进行校正的处理的说明图。
图7（A）～图7（E）是对边界区域进行校正的处理的说明图。
图8（A）～图8（C）是变倍处理的说明图。
图9是提取边界线的设定方法的变形例的说明图。
图10是内窥镜装置的第2结构例。
图11是拜耳排列中的像素排列的示意图。
图12是图像处理部的第2详细结构例。
图13是提取区域设定部的详细结构例。
图14（A）～图14（C）是阴影校正的说明图。
具体实施方式
下面，对本实施方式进行说明。另外，以下说明的本实施方式并非不合理地限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。
1.本实施方式的概要
如图4（A）等后述的那样，在本实施方式的内窥镜装置的光学***中，组合了用于观察侧方视野的反射光学***和用于观察前方视野的折射光学***。在利用这种光学***进行摄像而得到的图像中，在反射光学***的视野与折射光学***的视野的边界区域产生阴影。存在如下课题：当在这种局部存在阴影的状态下观察大肠时，即使在边界区域本来没有褶皱的状态下，也可能将边界区域的阴影误观察为褶皱导致的影子。
因此，在本实施方式中，如图6（A）～图7（E）等说明的那样，进行放大与前方视野对应的区域FR或与侧方视野对应的区域SR的处理，将该放大后的区域重叠在前方视野与侧方视野的边界区域上。由此，能够从显示图像上消除光学***导致的阴影，所以，能够防止将边界区域误识别为大肠褶皱导致的影子，能够实现视觉辨认性较高的宽视野的内窥镜装置。
2.第1实施方式
2.1.内窥镜装置
图1示出内窥镜装置的第1结构例。内窥镜装置包括光源部100、摄像部200、控制装置300（处理器部）、显示部400、外部I/F部500。
光源部100包括白色光源101、具有多个分光透射率的旋转滤色镜102、驱动旋转滤色镜102的旋转驱动部103、使来自旋转滤色镜102的具有分光特性的光会聚到光导纤维201的入射端面的会聚透镜104。
如图2所示，旋转滤色镜102例如由三原色的红色（R）的滤色镜601、绿色（G）的滤色镜602、蓝色（B）的滤色镜603、旋转马达803构成。图3示出这3个滤色镜的分光特性。
旋转驱动部103根据来自控制装置300的控制部302的控制信号，与摄像元件209的摄像期间同步地使旋转滤色镜102以规定的转速旋转。例如，当使滤色镜在1秒内旋转20圈时，各滤色镜以六十分之一秒的间隔对入射白色光进行横切。该情况下，摄像元件209以六十分之一秒的间隔对3原色的各色光（R或G或B）的来自观察对象的反射光进行摄像，完成图像的转送。即，在本实施方式中，进行以六十分之一秒的间隔对R图像、G图像、B图像进行摄像的面顺次方式的摄像，实质的帧率为20fps（fps：frame per second）。
摄像部200形成为细长且能够弯曲，使得例如能够***到大肠等体腔内。摄像部200包括用于引导由光源部100会聚的光的光导纤维201、以及使由光导纤维201引导至前端的光扩散并对观察对象进行照射的照明透镜202、204。并且，摄像部200包括使从观察对象返回的反射光会聚的物镜203、用于检测会聚后的成像光的摄像元件209、以及将来自摄像元件209的光电转换后的模拟信号转换为数字信号的A/D转换部210。并且，摄像部200包括存储器211、以及用于能够相对于控制装置300拆装摄像部200的连接器212。
存储器211记录后述前方视野图像和侧方视野图像的提取边界线信息、前方视野图像和侧方视野图像的显示倍率信息、与摄像部200固有的制造偏差有关的固有信息。
摄像元件209是单色单板摄像元件，例如可以利用CCD或CMOS图像传感器等。
如后所述，物镜203由通过前方观察光学***和侧方观察光学***的组合而具有180度以上（包含该值）的视野角的光学***构成，例如能够对位于大肠的褶皱里侧的病变部10进行观察。
照明透镜202、204相对于物镜203的光轴朝向外侧配置，使得能够均匀地对物镜203的视野角内的观察对象进行照明。在本实施方式中，将数千条的光导纤维201分割为2个部分，但是，也可以分割为更多部分并将对应的照明透镜配置在内窥镜镜体前端。由此，能够更加均匀地对宽视野角的区域进行照明。并且，作为照明，也可以将LED或有机EL等多个发光元件配置在内窥镜镜体前端。
控制装置300包括进行校正前方视野图像与侧方视野图像的边界区域的处理的图像处理部301、以及进行内窥镜装置各部的控制的控制部302。
显示部400例如由CRT或液晶监视器等能够进行动态图像显示的显示装置构成。
外部I/F部500是用于供用户对该内窥镜装置进行输入等的接口。例如，外部I/F部500包括用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换开关（例如用于手动切换前方视野图像和侧方视野图像的显示面积比率的开关）等。外部I/F部500将所输入的信息输出到控制部302。
2.2.物镜
图4（A）示出对前方视野和侧方视野进行观察的物镜的详细结构例。如图4（A）所示，来自前方视野的光入射到透镜20的前表面，来自侧方视野的光入射到透镜20的侧面。来自前方视野的光透射过透镜20的透射部21（折射部）并被引导至摄像元件209。来自侧方视野的光被透镜20的反射部26、22反射而被引导至摄像部200。
如图4（B）所示，在从光轴Z前方侧观察透镜20的情况下，透镜20由透射来自前方视野的光的透射部21（透射区域）和反射来自侧方视野的光线的反射部22（反射区域）构成。在这种光学***中，在反射部22与透射部21的边界区域中，来自前方视野的被摄体的反射光的一部分被遮挡。因此，如图4（C）所示，在摄像元件上成像的前方视野图像23与侧方视野图像24的边界区域中产生阴影。由于该阴影，边界区域成为黑色带状的圆环区域25。
这里，前方视野是包含光轴方向的前方的视野范围，例如相对于光轴为0度～70度的范围。侧方视野是包含与光轴正交的方向的侧方的视野范围，例如相对于光轴为70度～135度的范围。本实施方式的物镜203例如相对于光轴具有0度～110度的视野范围。
并且，阴影是图像上的阴影，在图像上由于光学***而比其他区域暗（例如亮度较小）。例如，如图4（A）所示，在前方视野与侧方视野之间产生由于透镜20而引起的死角，与该死角对应的图像上的影子成为阴影。或者，透射过透射部21的前方视野的光由于光学***的遮光等而产生周边减光，该周边减光成为阴影。
2.3.图像处理部
图5示出图像处理部301的第1详细结构例。图像处理部301包括图像取得部305、输出图像生成部310、边界区域校正部315、边界线描绘部360。边界区域校正部315包括区域提取部320、变倍处理部325、合成部350。变倍处理部325包括第1区域倍率校正部330、第2区域倍率校正部340。
对各结构部间的连接关系和数据流进行说明。从A/D转换部210输出的摄像图像被输入到图像取得部305。控制部302与图像取得部305、输出图像生成部310、区域提取部320、第1区域倍率校正部330、第2区域倍率校正部340、边界线描绘部360连接。对控制部302输入存储器211中记录的摄像部200固有的信息（前方视野图像和侧方视野图像的提取边界信息、前方视野图像和侧方视野图像的显示倍率信息）。
图像取得部305取得对前方视野和侧方视野进行摄像而得到的一张图像，将所取得的图像输出到输出图像生成部310。具体而言，使用上述透镜20同时对前方视野和侧方视野进行摄像而得到一张图像，图像取得部305取得这一张图像。另外，也可以不是同时对前方视野和侧方视野进行摄像。例如，也可以通过不同的摄像动作依次对前方视野和侧方视野进行摄像，图像取得部305对分别进行摄像而得到的前方视野图像和侧方视野图像进行合成，作为一张图像取得。
输出图像生成部310根据从控制部302输出的输出图像生成参数（例如OB钳位、白平衡、γ转换表、强调系数、放大倍率等）将所输入的摄像图像转换为能够显示在显示监视器上的图像形式，将转换后的图像作为输出图像输出到区域提取部320。
边界区域校正部315进行如下处理：使前方视野图像和侧方视野图像中的至少一方重叠在前方视野图像与侧方视野图像的边界区域上，进行校正以缩小边界区域。经由控制部302对区域提取部320输入存储器211中记录的针对前方视野图像和侧方视野图像的提取边界线信息。区域提取部320从输出图像中提取出的前方视野图像被输入到第1区域倍率校正部330。区域提取部320从输出图像中提取出的侧方视野图像被输入到第2区域倍率校正部340。
第1区域倍率校正部330根据从控制部302输出的倍率信息对所输入的前方视野图像进行变倍处理，将变倍处理后的前方视野图像输出到合成部350。作为针对前方视野图像的变倍处理，适当进行基于倍率信息的放大处理、等倍处理（倍率无变化）、缩小处理中的任意一方。优选沿着以前方视野图像的中心为基准时的径向进行该变倍处理。
第2区域倍率校正部340根据从控制部302输出的倍率信息对所输入的侧方视野图像进行变倍处理，将变倍处理后的侧方视野图像输出到合成部350。作为针对侧方视野图像的变倍处理，适当进行基于倍率信息的放大处理、等倍处理（倍率无变化）、缩小处理中的任意一方。
合成部350以使从第1区域倍率校正部330输出的变倍处理后的前方视野图像和从第2区域倍率校正部340输出的变倍处理后的侧方视野图像在边界区域重叠的方式生成合成图像，将合成图像输出到边界线描绘部360。关于重叠的方法，存在将变倍后的前方视野图像重叠在变倍后的侧方视野图像上的方法、将变倍后的侧方视野图像重叠在变倍后的前方视野图像上的方法。并且，也可以在边界区域的前方视野图像侧的区域中将变倍后的前方视野图像重叠在变倍后的侧方视野图像上，并且，在边界区域的侧方视野图像侧的区域中将变倍后的侧方视野图像重叠在变倍后的前方视野图像上。
边界线描绘部360针对从合成部350输出的合成图像，根据来自控制部302的前方视野图像和侧方视野图像的重叠边界位置信息描绘规定颜色的边界线，将描绘后的图像输出到显示部400。规定颜色例如是黑色等固定颜色或作为与周边颜色相反颜色的颜色等。所描绘的边界线只要是能够识别合成后的前方视野图像与侧方视野图像的边界的方式即可，例如是实线、虚线或其他方式的线。
接着，使用图6（A）～图6（E）所示的示意图，对使用前方视野图像校正前方视野图像与侧方视野图像的边界区域的处理进行说明。
图6（A）示出从输出图像生成部310输出的输出图像。输出图像包含前方视野图像FR、侧方视野图像SR、边界区域BR。L1表示用于提取前方视野图像FR的提取边界线。CP表示前方视野图像FR的中心位置。
如图6（B）所示，根据来自控制部302的提取边界线L1，区域提取部320提取前方视野图像FR。第1区域倍率校正部330以来自控制部302的中心位置CP为基准，根据来自控制部302的倍率信息，在径向上对提取出的前方视野图像FR进行放大处理。
如图6（C）所示，合成部350将从第1区域倍率校正部330输出的放大后的前方视野图像FR’重叠在从第2区域倍率校正部340输出的侧方视野图像SR（例如倍率无变化）上。通过重叠而合成的图像作为合成图像进行输出。
如图6（D）所示，边界线描绘部360在从合成部350输出的合成图像的重叠边界部描绘边界线WL。描绘后的图像作为能够更加明确地识别前方视野图像和侧方视野图像的已描绘边界线的合成图像进行输出。重叠边界部例如是重叠的前方视野图像FR’的外缘。
另外，如图6（E）所示，上述前方视野图像FR（前方区域的图像）表示根据提取边界线L1（第1边界线）提取出的图像，侧方视野图像SR表示通过侧方观察光学***（图4（A）的反射部22、26）进行摄像而得到的图像。并且，边界区域BR表示由于光学***的死角或周边减光而产生的阴影区域。
接着，使用图7（A）～图7（E）所示的示意图，对使用侧方视野图像来校正前方视野图像与侧方视野图像的边界区域的校正处理进行说明。
如图7（A）所示，L2表示用于提取侧方视野图像SR的提取边界线。SRP表示侧方视野SR的外周。
如图7（B）所示，根据来自控制部302的提取边界线L2，区域提取部320提取侧方视野图像SR。第2区域倍率校正部340以来自控制部302的信息即外周SRP为基准，根据来自控制部302的倍率信息，朝向中心位置CP在径向上对提取出的侧方视野图像SR进行放大处理。
如图7（C）所示，合成部350将从第2区域倍率校正部340输出的放大后的侧方视野图像SR’重叠在从第1区域倍率校正部330输出的前方视野图像FR（例如倍率无变化）上。通过重叠而合成的图像作为合成图像进行输出。
如图7（D）所示，边界线描绘部360在从合成部350输出的合成图像的重叠边界部描绘边界线WL。描绘后的图像作为能够更加明确地识别前方视野图像和侧方视野图像的已描绘边界线的合成图像进行输出。重叠边界部例如是重叠的侧方视野图像SR’的内缘。
另外，如图7（E）所示，上述前方视野图像FR表示通过前方观察光学***（图4（A）的透射部21）进行摄像而得到的图像，侧方视野图像SR（侧方区域的图像）表示根据提取边界线L2（第2边界线）提取出的图像。
这里，例如通过拍摄灰色标卡等均匀的色卡来设定上述前方视野图像的提取边界线L1和侧方视野图像的提取边界线L2。具体而言，在拍摄色卡而得到的图像中，设定属于前方视野图像的第1圆和属于侧方视野图像的第2圆。第1、第2圆是共用中心的圆。在与这2个圆的圆周上的各最近点对应的2个像素的像素值差的绝对值为规定值以内的情况下，设定第1、第2圆的半径差最小的第1、第2圆作为提取边界线L1、L2。这样，在重叠时，由于能够使重叠边界部中像素值的差小于规定值，所以，能够显示在观察眼中没有不舒适感的图像。
另外，在上述中，对前方视野图像或侧方视野图像的一方进行变倍处理，但是，在本实施方式中不限于此，也可以通过对前方视野图像和侧方视野图像双方进行变倍处理并进行合成，从而对边界区域进行校正。
接着，使用图8（A）～图8（C）说明变倍处理部325进行的变倍处理。
如图8（A）所示，在放大前方视野图像和侧方视野图像双方来校正边界区域的情况下，基于变倍处理的变位量在前方视野图像中为正，在侧方视野图像中为负。
在图8（A）中，曲线图的横轴表示与前方视野图像和侧方视野图像的中心（中心位置在2个视野图像中相同）之间的距离，曲线图的纵轴表示累计变位量。前方视野图像中的累计变位量的起点是前方视野图像的中心，侧方视野图像中的累计变位量的起点是侧方视野图像的外周。FL表示针对前方视野图像的变位量的特性线，SL表示针对侧方视野图像的变位量的特性线。D1表示从前方视野图像的中心到提取边界线的距离，D2表示从侧方视野图像的中心到提取边界线的距离，D3表示从中心到侧方视野图像的外周的距离。
如图8（B）所示，在放大前方视野图像、缩小侧方视野图像来校正边界区域的情况下，基于变倍处理的变位量在前方视野图像和侧方视野图像中为正。
如图8（C）所示，在缩小前方视野图像、放大侧方视野图像来校正边界区域的情况下，基于变倍处理的变位量在前方视野图像和侧方视野图像中为负。
上述3个例子的变倍率和变位量的关系式如下所述。下式（1）示出相对于与中心之间的距离r的前方视野图像的变倍率Vf（r）的一例。
Vf（r）=αfr 4+βfr 2+γ f （1）
下式（2）示出前方视野图像的变位量Df（r）。最大变位量即距离D1的变位量为Df（D1）。这里，∫0→r表示区间[0,r]的积分。
Df（r）=∫0→rVf（x）xdx （2）
下式（3）示出相对于与中心之间的距离r的侧方视野图像的变倍率Vs（r）的一例。
Vs（r）=αsr4+βsr2+γs （3）
下式（4）示出侧方视野图像的变位量Ds（r）。最大变位量即距离D2的变位量为Ds（D2）。这里，∫D3→r表示区间[D3,r]的积分。
Ds（r）=∫D3→rVs（x）xdx （4）
前方视野图像的最大变位量Df（D1）和侧方视野图像的最大变位量Ds（D2）满足下式（5）的关系。
D1+Df（D1）≧D2+Ds（D2） （5）
例如，通过外部I/F部500的开关操作进行观察模式的变更，通过变更上述变倍率参数αf、βf、γf、αs、βs、γs，能够对边界区域进行校正，并且自由地变更前方视野图像和侧方视野图像的全体和局部的显示比率。由此，能够自由地放大显示希望观察的病变部。
根据以上的实施方式，能够防止将前方视野图像与侧方视野图像的边界区域误识别为褶皱的影子，能够自由地变更前方视野图像和侧方视野图像的显示倍率。由此，有助于提高病变部的发现率。
另外，在上述变倍率Vf（r）、Vs（r）中，系数αf、βf、αs、βs也可以是零。该情况下，不依赖于与中心之间的距离r，能够以固定的变倍率γf、γs进行放大缩小。
并且，如图9所示，也可以确保余量区域MR1、MR2来设定提取边界线L1、L2。MR1是边界区域BR与提取边界线L1之间的余量区域，MR2是边界区域BR与提取边界线L2之间的余量区域。边界区域BR是在光学设计上确定为不适于观察的视野角的区域，相对于该边界区域BR，考虑统计上的制造偏差，确保充分的余量区域MR1、MR2。这样，由于可以不用准备用于存储单独的摄像部200固有的提取边界线L1、L2的存储器211，所以能够实现摄像部200的成本降低。
根据以上的实施方式，如图5所示，内窥镜用图像处理装置包括图像取得部305和边界区域校正部315。如图4中说明的那样，图像取得部305取得将与前方视野对应的前方图像（前方视野图像23）和与侧方视野对应的侧方图像（侧方视野图像24）形成为一张取得图像的图像信号。如图6（A）～图7（D）中说明的那样，边界区域校正部315在将取得图像中的与前方视野对应的区域作为前方区域、将取得图像中的与侧方视野对应的区域作为侧方区域的情况下，进行使前方区域的图像FR和侧方区域的图像SR中的至少一方重叠在前方区域与侧方区域的边界的区域即边界区域BR上的重叠处理。
这样，能够抑制由于边界区域BR而导致的视觉辨认性降低。即，通过对边界区域BR进行校正，能够消除边界区域BR的阴影，所以，能够防止将该阴影误识别为褶皱的影子。并且，由于能够从显示上删除不需要诊断的区域，所以，能够提高病变判定的效率。
这里，重叠处理是指相对于图像的规定区域（在本实施方式中为边界区域）从上面重合与该规定区域不同的图像。例如，在存储了图像的图像存储器中，通过在与图像的规定区域对应的存储器区域上覆盖其他图像（在本实施方式中为变倍后的图像）的数据，进行重叠处理。或者，从图像中删除规定区域，通过将该图像和其他图像合成为1个图像，进行重叠处理。
并且，边界区域是存在于前方区域与侧方区域之间的阴影区域，例如，在本实施方式中，如后所述，是由于前方观察光学***与侧方观察光学***之间的死角或前方观察光学***的周边减光而产生的区域。或者，如图5中说明的那样，也可以以时间序列对前方视野和侧方视野进行摄像，该情况下，边界区域是在对前方图像和侧方图像进行合成后的一张图像中由于摄像光学***或合成处理等而产生的阴影区域。
并且，在本实施方式中，如图5所示，边界区域校正部315包括变倍处理部325和合成部350。变倍处理部325进行变更前方区域的图像FR和侧方区域的图像SR中的至少一方的显示倍率的变倍处理。合成部350通过对变倍处理后的前方区域的图像和侧方区域的图像进行合成，进行重叠处理。
更具体而言，边界区域校正部315具有区域提取部320。如图6（A）～图7（E）中说明的那样，区域提取部320从取得图像中提取前方区域的图像FR和侧方区域的图像SR中的一方作为变倍处理的对象图像。变倍处理部325进行放大该对象图像的变倍处理。合成部350对放大后的对象区域（FR’或SR’）与前方区域和侧方区域中的另一方（SR或FR）进行合成。
例如，如图6（A）或图7（B）中说明的那样，变倍处理部325进行沿着以前方视野图像FR的中心CP为基准时的径向放大对象图像的处理作为变倍处理。这里，沿着径向的放大处理可以是如图6（B）所示在远离中心CP的方向上放大对象图像的处理，也可以是如图7（B）所示在接近中心CP的方向上放大对象图像的处理。或者，也可以是在接近中心CP的方向上放大对象图像的中心CP侧、在远离中心CP的方向上放大对象图像的外侧的处理。
这样，通过放大前方区域的图像FR和侧方区域的图像SR中的一方并与另一方进行合成，能够对边界区域BR进行重叠处理。由于仅对一方进行变倍处理，所以能够节约图像存储器等硬件。
并且，在本实施方式中，如图8（A）～图8（C）中说明的那样，变倍处理部325也可以进行放大前方区域的图像FR和侧方区域的图像SR中的一方的变倍处理，进行缩小前方区域的图像FR和侧方区域的图像SR中的另一方的变倍处理。合成部350也可以对变倍处理后的前方区域的图像和侧方区域的图像进行合成。
这样，通过放大前方区域的图像FR和侧方区域的图像SR中的一方、缩小另一方并进行合成，能够对边界区域BR进行重叠处理。由于能够自由地放大缩小前方区域的图像FR和侧方区域的图像SR，所以能够自由地放大显示观察区域。例如，在要观察视野中央部的病变部的情况下，能够放大前方区域的图像FR，当要在屏幕中观察视野侧方的褶皱里侧的情况下，能够放大侧方视野的图像SR。
并且，在本实施方式中，如图5所示，内窥镜用图像处理装置包括边界线描绘部360。如图6（D）等中说明的那样，边界线描绘部360描绘用于能够识别合成后的前方区域的图像与侧方区域的图像的边界的边界线WL。
这样，能够明确地显示前方区域的图像与侧方区域的图像的边界。即，如图4（A）等中说明的那样，由于光学***而产生死角，通过重叠处理遮挡与该死角对应的边界区域BR，所以，合成后的前方区域的图像与侧方区域的图像的边界成为不连续的图像。例如当钳子等位于边界时，可能在视觉上带来不舒适感，所以，通过描绘边界线，能够减轻该不舒适感。
并且，在本实施方式中，如图4（A）～图4（C）中说明的那样，边界区域是基于用于对前方视野和侧方视野进行摄像的光学***（透镜20）中的光学设计值的规定视野角的环状区域25。如图9中说明的那样，边界区域BR与前方区域之间的边界线即第1边界线L1设定在比环状区域BR靠内侧。边界区域BR与侧方区域之间的边界线即第2边界线L2设定在比环状区域BR靠外侧。
这样，能够提取比边界区域BR靠内侧的前方区域和比边界区域BR靠外侧的侧方区域，能够提取除了边界区域BR以外的区域。
并且，在本实施方式中，对规定视野角的环状区域BR附加（加上）与统计上的制造偏差对应的余量区域MR1、MR2，来设定第1边界线L1和第2边界线L2。
这样，由于不需要设定考虑了制造偏差的各个镜体中的边界线L1、L2，所以，能够使用共同的边界线L1、L2。由此，例如不需要在各个镜体中进行边界线的设定作业。
并且，在本实施方式中，如图4（A）等中说明的那样，内窥镜装置包括用于对前方视野进行摄像的前方观察光学***（透镜20的透射部21）、以及用于对侧方视野进行摄像的侧方观察光学***（透镜20的反射部22、26）。并且，如图1所示，内窥镜装置包括同时对前方视野和侧方视野进行摄像的摄像元件209。
这样，能够同时对前方视野和侧方视野进行摄像并得到1个图像。另外，在本实施方式中，不限于上述光学***，例如也可以通过前方视野用的光学***和侧方视野用的光学***并不独立的光学***，以时间序列对前方视野和侧方视野进行摄像。该情况下，如图5中上述的那样，通过对以时间序列进行摄像而得到的图像进行合成，也可以作为1个图像。
并且，在本实施方式中，如图4（A）等中说明的那样，边界区域包括与前方观察光学***得到的前方视野和侧方观察光学***得到的侧方视野之间的死角对应的区域。并且，边界区域也可以包括通过前方观察光学***的周边减光而产生阴影的区域的至少一部分。例如，在对上述灰色标卡进行摄像的状态下，比规定亮度暗的周边减光区域包含在边界区域中。
3.第2实施方式
3.1.内窥镜装置
图10示出内窥镜装置的第2结构例。内窥镜装置包括光源部100、摄像部200、控制装置300（处理器部）、显示部400、外部I/F部500。主要对与图1中上述的第1结构例不同的结构要素进行说明，适当省略相同的结构要素的说明。
光源部100包括白色光源101和使光会聚到光导纤维201的入射端面的会聚透镜104。在第2结构例中，不存在旋转滤色镜。
在摄像部200中，在第2结构例中，使用原色单板摄像元件作为摄像元件209。原色单板摄像元件是所谓的拜耳（Bayer）排列的摄像元件，可以利用CCD或CMOS图像传感器。
3.2.图像处理部
图12示出图像处理部301的第2详细结构例。图像处理部301包括图像取得部905、预处理部910、边界区域校正部915、后处理部990、边界线描绘部995。边界区域校正部915包括提取区域设定部920、区域提取部940、阴影校正部950、变倍处理部955、合成部980。变倍处理部955包括校正量控制部930、第1区域倍率校正部960、第2区域倍率校正部970。
对各结构部间的连接关系和数据流进行说明。从A/D转换部210输出的摄像图像被输入到图像取得部905。图像取得部905取得的图像被输入到预处理部910。控制部302以双方能够通信的状态与图像取得部905、预处理部910、提取区域设定部920、校正量控制部930、后处理部990、边界线描绘部995连接。控制部302进行存储器211中记录的摄像部200固有的信息（前方视野图像和侧方视野图像的提取边界信息、前方视野图像和侧方视野图像的显示倍率信息）的读入、以及存储器211中记录的信息的更新。
预处理部910根据从控制部302输出的输出图像生成参数（例如OB钳位、白平衡）对所输入的摄像图像进行校正，将校正后的摄像图像输出到提取区域设定部920和区域提取部940。
在来自控制部302的提取区域设定信号“有效（ON）”的情况下，提取区域设定部920进行提取区域设定处理，将所设定的提取区域信息输出到校正量控制部930、控制部302、区域提取部940。并且，提取区域设定部920将所设定的阴影校正系数输出到阴影校正部950。如第1实施方式中说明的那样，提取区域信息是前方视野图像和侧方视野图像的中心位置的信息、前方视野图像的提取边界线的信息、侧方视野图像的提取边界线的信息、侧方视野图像的外周的信息。例如，提取区域信息是中心位置CP（例如图6（A））的坐标、以该中心位置CP为原点的极坐标形式中与中心位置CP之间的距离D1、D2、D3（例如图8（A））。该提取区域设定处理在后面详细叙述。
例如，提取区域设定信号通过外部I/F部500的开关来进行接通/断开控制。例如，在用户通过外部I/F部500的开关选择了白平衡系数计算模式的情况下，与该模式联动地使提取区域设定信号“有效”，在通常的诊察时，提取区域设定信号为“无效（OFF）”。
校正量控制部930与提取区域设定部920同样，根据来自控制部302的观察模式切换信号进行校正量控制。校正量控制部930根据从提取区域设定部920输入的提取区域信息设定前方视野图像的倍率校正信息和侧方视野图像的倍率校正信息，将前方视野图像的倍率校正信息输出到第1区域倍率校正部960，将侧方视野图像的倍率校正信息输出到第2区域倍率校正部970。例如，根据第1实施方式中说明的上式（1）、（3）的多项式的系数值，给出倍率校正信息。
对区域提取部940输入从预处理部910输出的白平衡处理后的摄像图像。区域提取部940从该输入的摄像图像中，根据来自提取区域设定部920的提取区域信息，分别提取前方视野图像和侧方视野图像，将提取出的图像输出到阴影校正部950。
阴影校正部950针对所输入的前方视野图像和侧方视野图像，使用从提取区域设定部920输出的阴影校正系数进行阴影校正。阴影校正部950将校正后的前方视野图像输出到第1区域倍率校正部960，将校正后的侧方视野图像输出到第2区域倍率校正部970。
第1区域倍率校正部960、第2区域倍率校正部970、合成部980进行与第1实施方式基本相同的处理。与第1实施方式不同之处在于，在第1实施方式中，摄像图像的每个像素由3个颜色信号构成，在第2实施方式中，摄像图像的每个像素由1个颜色信号构成。在第2实施方式中，进行倍率校正，使得在进行前方视野图像和侧方视野图像的倍率校正后，也维持图11的信号排列。即，使用相同颜色的周边像素进行插值处理，在规定的像素位置生成规定的1个颜色信号。
对后处理部990输入从合成部980输出的对前方视野图像和侧方视野图像进行合成后的摄像图像。后处理部990对该输入的摄像图像进行例如去马赛克处理、颜色校正处理、灰度转换处理、强调处理、放大处理等，生成能够显示在显示监视器上的输出图像，将该输出图像输出到边界线描绘部995。
由于边界线描绘部995进行与第1实施方式相同的处理，所以省略说明。
3.3.提取区域设定部
图13示出提取区域设定部920的详细结构例。提取区域设定部920包括边界区域检测部710、中心计算部720、边界线设定部730（提取边界线决定部）、提取区域参数设定部740、阴影校正参数设定部750。
对各结构部间的连接关系和数据流进行说明。从预处理部910输出的摄像图像被输入到边界区域检测部710。这里，摄像图像的对象物为用于计算白平衡系数的白色标卡，能够在保持摄像部200的前端与白色标卡的相对位置关系的状态下进行拍摄。
控制部302以双方能够通信的状态与边界区域检测部710、边界线设定部730、提取区域参数设定部740、阴影校正参数设定部750连接。
对边界区域检测部710输入从预处理部910输出的白平衡处理后的摄像图像，在来自控制部302的提取区域设定信号为“有效”的情况下，从控制部302输入用于检测边界区域的检测区域信息和检测阈值。边界区域检测部710根据检测区域信息提取所输入的摄像图像，针对提取出的检测区域进行取图11的拜耳排列的2×2的相邻像素（R、G、G、B）的总和的处理，生成亮度信号。边界区域检测部710通过所生成的亮度信号与检测阈值的比较进行2值化处理，从2值化处理后的亮度信号中去除不需要的细线，提取边界线。边界区域检测部710将提取出的边界线信息输出到中心计算部720，将所生成的亮度信号输出到边界线设定部730。
中心计算部720根据所输入的边界线信息计算重心位置，将该重心位置设定为前方视野图像和侧方视野图像的中心位置，将所设定的中心位置输出到边界线设定部730。
边界线设定部730根据来自控制部302的阴影容许阈值决定所输入的亮度信号的阴影容许位置。具体而言，如图14（A）所示，边界线设定部730将中心位置CP周边的平均亮度值设为阴影基准值，通过该基准值去除检测区域内（例如整个图像）的亮度值，计算阴影图像。边界线设定部730根据计算出的阴影图像和从控制部302输入的阴影容许阈值T，决定阴影容许位置，决定穿过最接近中心位置的位置的圆形状的提取边界线L1、L2。边界线设定部730将所决定的提取边界线L1、L2输出到提取区域参数设定部740和阴影校正参数设定部750，将计算出的阴影图像输出到阴影校正参数设定部750。
更具体而言，如图14（B）所示，边界线设定部730求出阴影图像的亮度级别为阈值T的位置，计算从中心到该位置的距离。将以计算出的距离中的较小距离为半径的圆设定为提取边界线L1。并且，边界线设定部730将以对计算出的距离中的较大距离加上规定距离而得到的距离为半径的圆设定为提取边界线L2。
提取区域参数设定部740将所输入的提取边界线L1、L2的半径信息和中心坐标设定为提取区域参数，将该提取区域参数经由控制部302存储在存储器211中。并且，将提取区域参数输出到区域提取部940。
阴影校正参数设定部750根据所输入的提取边界线L1、L2、中心位置和阴影图像，计算阴影校正系数图像或阴影校正系数。阴影校正参数设定部750将该阴影校正系数图像或阴影校正系数设定为阴影校正参数，将所设定的参数经由控制部302存储在存储器211中。并且，将所设定的参数输出到阴影校正部。这里，阴影校正系数图像是取以中心位置为基准的阴影图像的各像素值的倒数的图像。并且，如图14（C）所示，阴影校正系数（阴影校正量）是在圆周方向上对阴影校正系数图像的像素值进行平均计算而得到的系数，是半径方向的1维系数。
在来自控制部302的提取区域设定信号为“无效”的情况下，提取区域设定部920将存储器211中记录的参数读入到提取区域参数设定部740和阴影校正参数设定部750，将该参数输出到区域提取部940和阴影校正部950。
另外，上述以仅对前方视野图像进行阴影校正的情况为例进行了说明，但是，本实施方式不限于此。例如，也可以对前方视野图像和侧方视野图像进行阴影校正。
根据以上的实施方式，如图12、图13所示，边界区域校正部915包括边界线设定部730和区域提取部940。如图14（A）所示，边界线设定部730设定用于从取得图像中提取前方区域的图像的边界线即第1边界线L1和用于从取得图像中提取侧方区域的图像的边界线即第2边界线L2中的至少一方。在设定了第1边界线L1的情况下，区域提取部940根据第1边界线L1提取前方区域的图像。在设定了第2边界线的情况下，区域提取部940根据第2边界线L2提取侧方区域的图像。
更具体而言，如图13所示，边界区域校正部915具有检测边界区域的边界区域检测部710。如图14（B）中说明的那样，边界线设定部730根据检测到的边界区域，设定第1边界线L1和第2边界线L2中的至少一方。
这样，能够设定第1、第2边界线L1、L2中的至少一方，能够根据所设定的边界线来设定前方区域和侧方区域中的至少一方。另外，在第2实施方式中，说明了提取前方区域的图像和侧方区域的图像双方的情况，但是，如第1实施方式中说明的那样，也可以提取前方区域的图像和侧方区域的图像中的一方，进行阴影校正和重叠处理。
并且，在本实施方式中，如图14（B）中说明的那样，边界线设定部730根据表示取得图像中的亮度级别的变化的阴影量（例如以中心周边的亮度平均值进行归一化后的亮度值）设定第1边界线L1。区域提取部940提取取得图像中的比第1边界线L1靠内侧的区域的图像作为前方区域的图像。
更具体而言，如图12所示，边界区域校正部915具有对前方区域中的阴影量进行校正的阴影校正部950。合成部980对校正了阴影量后的前方区域的图像和侧方区域的图像进行合成。
这样，能够以与没有阴影的区域相同的明亮度来显示由于光学***而产生的图像上的阴影（例如前方区域中的周边减光）。由于产生了阴影的区域也能够用作显示图像，所以，能够将无法观察的死角区域抑制为极小。并且，在特定的拍摄条件下（例如白平衡镜头盖拍摄时），能够决定提取边界线L1、L2，所以，能够减轻伴随着制造偏差的调整工序，能够实现成本降低。
并且，在本实施方式中，如图12所示，变倍处理部955具有显示倍率设定部（校正量控制部930）。第1边界线L1和第2边界线L2是圆形状的边界线。显示倍率设定部设定以该第1边界线L1和第2边界线L2的中心点CP为基准的显示倍率（例如上式（1）、（3）的变倍率Vf（r）、Vs（r））。变倍处理部955根据所设定的显示倍率进行变倍处理。
更具体而言，变倍处理部955根据基于显示倍率设定部设定的显示倍率的、相对于以中心点CP为基准的半径方向的距离（r）的线形或非线形的变位量（例如上式（2）、（4）的变位量Df（r）、Ds（r）），进行变倍处理。
这样，能够根据自如的变倍率对前方区域和侧方区域进行放大缩小。并且，由于能够对与中心之间的距离进行线形或非线形的放大缩小，所以，能够进行与用户的观察区域一致的、自由度更高的变倍处理。
这里，在上述实施方式中，以边界线L1、L2为正圆的情况为例进行了说明，但是，本实施方式不限于此，边界线L1、L2只要是圆形状即可。即，在边界线L1与L2之间存在边界区域即可。
以上对应用了本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过对上述各实施方式和变形例所公开的多个结构要素进行适当组合，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，也可以对不同实施方式和变形例中说明的结构要素进行适当组合。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。
并且，在说明书或附图中至少一次与更加广义或同义的不同用语一起记载的用语可以在说明书或附图的任意位置置换为该不同的用语。
标号说明
10：病变部；20：透镜；21：透射部；22：反射部；23：前方视野图像；24：侧方视野图像；25：环状区域；26：反射部；100：光源部；101：白色光源；102：旋转滤色镜；103：旋转驱动部；104：会聚透镜；200：摄像部；201：光导纤维；202：照明透镜；203：物镜；209：摄像元件；210：A/D转换部；211：存储器；212：连接器；300：控制装置；301：图像处理部；302：控制部；305：图像取得部；310：输出图像生成部；315：边界区域校正部；320：区域提取部；325：变倍处理部；330：第1区域倍率校正部；340：第2区域倍率校正部；350：合成部；360：边界线描绘部；400：显示部；500：外部I/F部；601：红色的滤色镜；602：绿色的滤色镜；603：蓝色的滤色镜；710：边界区域检测部；720：中心计算部；730：边界线设定部；740：提取区域参数设定部；750：阴影校正参数设定部；803：旋转马达；905：图像取得部；910：预处理部；915：边界区域校正部；920：提取区域设定部；930：校正量控制部；940：区域提取部；950：阴影校正部；955：变倍处理部；960：第1区域倍率校正部；970：第2区域倍率校正部；980：合成部；990：后处理部；995：边界线描绘部；BR：边界区域；CP：中心位置；D1～D3：距离；FR：前方视野图像；L1、L2：提取边界线；MR1、MR2：余量区域；SR：侧方视野图像；SRP：外周；T：阴影容许阈值；WL：边界线；Z：光轴。

Claims (17)

1.一种内窥镜用图像处理装置，其特征在于，该内窥镜用图像处理装置包括：
图像取得部，其取得将与前方视野对应的前方图像和与侧方视野对应的侧方图像形成为一张取得图像而成的图像信号；以及
边界区域校正部，其在将所述取得图像中的与所述前方视野对应的区域作为前方区域、将所述取得图像中的与所述侧方视野对应的区域作为侧方区域的情况下，进行使所述前方区域的图像和所述侧方区域的图像中的至少一方重叠在所述前方区域与所述侧方区域的边界的区域即边界区域上的重叠处理，
所述边界区域是基于用于对所述前方视野和所述侧方视野进行摄像的光学***中的光学设计值的规定视野角的环状区域，
所述边界区域与所述前方区域之间的边界线即第1边界线设定在比所述规定视野角的环状区域靠内侧，
所述边界区域与所述侧方区域之间的边界线即第2边界线设定在比所述规定视野角的环状区域靠外侧。
2.根据权利要求1所述的内窥镜用图像处理装置，其特征在于，
所述边界区域校正部具有：
变倍处理部，其进行变更所述前方区域的图像和所述侧方区域的图像中的至少一方的显示倍率的变倍处理；以及
合成部，其通过对所述变倍处理后的所述前方区域的图像和所述侧方区域的图像进行合成，进行所述重叠处理。
3.根据权利要求2所述的内窥镜用图像处理装置，其特征在于，
所述边界区域校正部具有区域提取部，该区域提取部从所述取得图像中提取所述前方区域的图像和所述侧方区域的图像中的一方作为所述变倍处理的对象图像，
所述变倍处理部进行放大所述对象图像的所述变倍处理，
所述合成部对放大后的所述对象图像与所述前方区域的图像和所述侧方区域的图像中的另一方进行合成。
4.根据权利要求3所述的内窥镜用图像处理装置，其特征在于，
所述变倍处理部进行沿着以所述前方图像的中心为基准时的径向放大所述对象图像的处理，作为所述变倍处理。
5.根据权利要求2所述的内窥镜用图像处理装置，其特征在于，
所述边界区域校正部具有区域提取部，该区域提取部从所述取得图像中提取所述前方区域的图像和所述侧方区域的图像，
所述变倍处理部进行放大所述前方区域的图像和所述侧方区域的图像中的一方的所述变倍处理，进行缩小所述前方区域的图像和所述侧方区域的图像中的另一方的所述变倍处理，
所述合成部对所述变倍处理后的所述前方区域的图像和所述侧方区域的图像进行合成。
6.根据权利要求2所述的内窥镜用图像处理装置，其特征在于，
所述边界区域校正部具有：
边界线设定部，其设定所述第1边界线和所述第2边界线中的至少一个边界线；以及
区域提取部，其在设定了所述第1边界线作为所述一个边界线的情况下，根据所述第1边界线提取所述前方区域的图像，在设定了所述第2边界线作为所述一个边界线的情况下，根据所述第2边界线提取所述侧方区域的图像。
7.根据权利要求6所述的内窥镜用图像处理装置，其特征在于，
所述边界区域校正部具有检测所述边界区域的边界区域检测部，
所述边界线设定部根据检测到的所述边界区域来设定所述第1边界线和所述第2边界线中的至少一方。
8.根据权利要求6所述的内窥镜用图像处理装置，其特征在于，
所述边界线设定部根据表示所述取得图像中的亮度级别的变化的阴影量来设定所述第1边界线，
所述区域提取部提取所述取得图像中的比所述第1边界线靠内侧的区域的图像作为所述前方区域的图像。
9.根据权利要求8所述的内窥镜用图像处理装置，其特征在于，
所述边界区域校正部具有对所述前方区域中的所述阴影量进行校正的阴影校正部，
所述合成部对校正了所述阴影量后的所述前方区域的图像和所述侧方区域的图像进行合成。
10.根据权利要求6所述的内窥镜用图像处理装置，其特征在于，
所述第1边界线和所述第2边界线是圆形状的边界线，
所述变倍处理部具有显示倍率设定部，该显示倍率设定部设定以所述第1边界线和所述第2边界线的中心点为基准的所述显示倍率，
所述变倍处理部根据所设定的所述显示倍率进行所述变倍处理。
11.根据权利要求10所述的内窥镜用图像处理装置，其特征在于，
所述变倍处理部根据基于所述显示倍率设定部设定的所述显示倍率的、相对于以所述中心点为基准的半径方向的距离的线形或非线形的变位量，进行所述变倍处理。
12.根据权利要求2所述的内窥镜用图像处理装置，其特征在于，
所述内窥镜用图像处理装置包括边界线描绘部，该边界线描绘部描绘用于使得能够识别所述合成后的所述前方区域的图像与所述侧方区域的图像的边界的边界线。
13.根据权利要求1所述的内窥镜用图像处理装置，其特征在于，
所述第1边界线和所述第2边界线是对所述规定视野角的环状区域附加与统计上的制造偏差对应的余量区域来设定的。
14.一种内窥镜装置，其特征在于，该内窥镜装置包括：
权利要求1所述的内窥镜用图像处理装置；
用于对所述前方视野进行摄像的前方观察光学***；
用于对所述侧方视野进行摄像的侧方观察光学***；以及
同时对所述前方视野和所述侧方视野进行摄像的摄像元件。
15.根据权利要求14所述的内窥镜装置，其特征在于，
所述边界区域包括与所述前方观察光学***得到的所述前方视野和所述侧方观察光学***得到的所述侧方视野之间的死角对应的区域。
16.根据权利要求14所述的内窥镜装置，其特征在于，
所述边界区域包括由于所述前方观察光学***的周边减光而产生了阴影的区域的至少一部分。
17.一种内窥镜用图像处理装置的图像处理方法，其特征在于，
取得将对前方视野进行摄像而得到的前方图像和对侧方视野进行摄像而得到的侧方图像形成为一张取得图像而成的图像信号，
在将所述取得图像中的与所述前方视野对应的区域作为前方区域、将所述取得图像中的与所述侧方视野对应的区域作为侧方区域的情况下，将基于用于对所述前方视野和所述侧方视野进行摄像的光学***中的光学设计值的规定视野角的环状区域设定为所述前方区域与所述侧方区域的边界的区域即边界区域，将所述边界区域与所述前方区域之间的边界线即第1边界线设定在比所述规定视野角的环状区域靠内侧，将所述边界区域与所述侧方区域之间的边界线即第2边界线设定在比所述规定视野角的环状区域靠外侧，
进行使所述前方区域的图像和所述侧方区域的图像中的至少一方重叠在所述边界区域上的重叠处理。
CN201280046804.4A 2011-09-26 2012-09-13 内窥镜用图像处理装置、内窥镜装置和图像处理方法 Expired - Fee Related CN103841879B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011208734A JP5830328B2 (ja) 2011-09-26 2011-09-26 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP2011-208734 2011-09-26
PCT/JP2012/073401 WO2013047215A1 (ja) 2011-09-26 2012-09-13 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN103841879A CN103841879A (zh) 2014-06-04
CN103841879B true CN103841879B (zh) 2017-03-22

Family

ID=47995248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280046804.4A Expired - Fee Related CN103841879B (zh) 2011-09-26 2012-09-13 内窥镜用图像处理装置、内窥镜装置和图像处理方法

Country Status (5)

Country Link
US (1) US9554097B2 (zh)
EP (1) EP2762059B1 (zh)
JP (1) JP5830328B2 (zh)
CN (1) CN103841879B (zh)
WO (1) WO2013047215A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105358044A (zh) * 2013-06-05 2016-02-24 亚利桑那州立大学董事会 用于照明和成像的双视探头及其使用
JP5889495B2 (ja) * 2014-02-14 2016-03-22 オリンパス株式会社 内視鏡システム
CN106163371B (zh) * 2014-03-31 2018-09-28 奥林巴斯株式会社 内窥镜***
WO2015156176A1 (ja) * 2014-04-08 2015-10-15 オリンパス株式会社 内視鏡システム
JP5959768B2 (ja) * 2014-05-16 2016-08-02 オリンパス株式会社 内視鏡システム
DE112014006672T5 (de) * 2014-06-10 2017-02-23 Olympus Corporation Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm
CN106102553B (zh) * 2014-09-09 2018-09-28 奥林巴斯株式会社 内窥镜***、内窥镜***的工作方法
US10701339B2 (en) 2014-09-18 2020-06-30 Sony Corporation Image processing device and image processing method
JP6308673B2 (ja) * 2014-10-09 2018-04-11 富士フイルム株式会社 電子内視鏡用の画像処理装置及び電子内視鏡システム
JP6072373B2 (ja) * 2014-10-28 2017-02-01 オリンパス株式会社 内視鏡システム
US10750930B2 (en) * 2014-11-06 2020-08-25 Sony Corporation Endoscope apparatus and method for operating endoscope apparatus
CN106231985B (zh) 2014-12-02 2018-01-23 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法
WO2016104368A1 (ja) * 2014-12-22 2016-06-30 オリンパス株式会社 内視鏡システム及び画像処理方法
WO2017110459A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
JP6637609B2 (ja) * 2016-09-15 2020-01-29 オリンパス株式会社 超音波内視鏡および超音波内視鏡システム
JP6779089B2 (ja) 2016-10-05 2020-11-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法
JP2018157918A (ja) * 2017-03-22 2018-10-11 ソニー株式会社 手術用制御装置、制御方法、手術システム、およびプログラム
EP3603482B1 (en) * 2017-03-30 2023-03-22 FUJIFILM Corporation Endoscope system, processor device for operating endoscope system
JP7012549B2 (ja) * 2018-02-07 2022-01-28 オリンパス株式会社 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP7163155B2 (ja) * 2018-12-04 2022-10-31 オリンパス株式会社 画像処理装置
JP7383393B2 (ja) * 2019-04-24 2023-11-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP7454409B2 (ja) * 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法
DE102020122636A1 (de) 2020-08-31 2022-03-03 Hoya Corporation Beleuchtungsvorrichtung für ein Endoskop
CN113487687B (zh) * 2021-08-04 2023-02-03 广东工业大学 一种深沟窄槽视觉检测镜头防碰撞控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
CN1718165A (zh) * 2004-07-06 2006-01-11 富士能株式会社 超声波内窥镜
CN101305596A (zh) * 2005-11-11 2008-11-12 索尼株式会社 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质、成像设备
CN101778217A (zh) * 2009-01-07 2010-07-14 索尼公司 图像处理装置、图像处理方法及程序
CN102119848A (zh) * 2010-01-07 2011-07-13 株式会社东芝 医用图像处理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
JP3854021B2 (ja) 1999-10-20 2006-12-06 威盛電子股▲ふん▼有限公司 種々のクロックレートを参照するコンピュータマザーボード用コンピュータチップセット
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
JP2005211532A (ja) * 2004-01-30 2005-08-11 Olympus Corp 内視鏡手術システム
JP4899803B2 (ja) * 2006-11-06 2012-03-21 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP4653834B2 (ja) 2008-11-14 2011-03-16 オリンパスメディカルシステムズ株式会社 光学系
JP5289987B2 (ja) 2009-01-21 2013-09-11 オリンパス株式会社 光学素子及びそれを用いた光学ユニット
EP2497406B9 (en) * 2009-11-06 2018-08-08 Olympus Corporation Endoscope system
JP2011152202A (ja) * 2010-01-26 2011-08-11 Olympus Corp 画像取得装置、観察装置、および観察システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
CN1718165A (zh) * 2004-07-06 2006-01-11 富士能株式会社 超声波内窥镜
CN101305596A (zh) * 2005-11-11 2008-11-12 索尼株式会社 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质、成像设备
CN101778217A (zh) * 2009-01-07 2010-07-14 索尼公司 图像处理装置、图像处理方法及程序
CN102119848A (zh) * 2010-01-07 2011-07-13 株式会社东芝 医用图像处理装置

Also Published As

Publication number Publication date
EP2762059B1 (en) 2017-04-05
WO2013047215A1 (ja) 2013-04-04
JP5830328B2 (ja) 2015-12-09
JP2013066646A (ja) 2013-04-18
EP2762059A1 (en) 2014-08-06
EP2762059A4 (en) 2015-03-04
US9554097B2 (en) 2017-01-24
US20140204187A1 (en) 2014-07-24
CN103841879A (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
CN103841879B (zh) 内窥镜用图像处理装置、内窥镜装置和图像处理方法
CN103561629B (zh) 内窥镜装置及内窥镜装置的工作方法
CN103764013B (zh) 自动曝光控制装置、控制装置、内窥镜装置和自动曝光控制方法
CN104203081B (zh) 将复数的眼睛影像结合成为多聚焦全光影像的方法
CN107252299B (zh) 内窥镜装置以及内窥镜装置的工作方法
CN104116485B (zh) 损伤评估信息生成器
JP6066595B2 (ja) 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
CN105765962B (zh) 摄像装置
CN102316247A (zh) 图像处理装置
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
CN107113405B (zh) 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置
CN110461209A (zh) 内窥镜***、处理器装置及内窥镜***的工作方法
CN106983495A (zh) 基于硬式内窥镜的多光谱荧光成像***及成像方法
US7898699B2 (en) Electronic endoscope apparatus
WO2020052626A1 (zh) 一种基于图像曝光的多光谱成像***和方法
CN106163372A (zh) 内窥镜***及其工作方法
JP6218709B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JPWO2016039269A1 (ja) 内視鏡システム、内視鏡システムの作動方法
CN109310303A (zh) 电子内窥镜处理器以及电子内窥镜***
CN114529477A (zh) 一种具有高动态范围的双目内窥镜、***及成像方法
JP2012104879A (ja) 画像撮像装置、画像表示装置、画像処理方法、画像処理プログラム、および画像撮像表示装置
JP4744628B2 (ja) デジタルカメラ及び色再現システム
JP4875578B2 (ja) 色変換定義作成方法、色変換定義作成装置、および内視鏡システム
JPH07231878A (ja) 被検眼像強調装置及び眼撮影装置
JP2003010113A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151116

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Corporation

Applicant before: Olympus Medical Systems Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170322

Termination date: 20170913