CN106256123B - 处理装置、摄像装置以及内窥镜*** - Google Patents

处理装置、摄像装置以及内窥镜*** Download PDF

Info

Publication number
CN106256123B
CN106256123B CN201580022078.6A CN201580022078A CN106256123B CN 106256123 B CN106256123 B CN 106256123B CN 201580022078 A CN201580022078 A CN 201580022078A CN 106256123 B CN106256123 B CN 106256123B
Authority
CN
China
Prior art keywords
light
illumination
pixel signal
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580022078.6A
Other languages
English (en)
Other versions
CN106256123A (zh
Inventor
香川凉平
小笠原弘太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106256123A publication Critical patent/CN106256123A/zh
Application granted granted Critical
Publication of CN106256123B publication Critical patent/CN106256123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2446—Optical details of the image relay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Endoscopes (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

在本发明的内窥镜***(1)中，处理装置(4)具有图像处理部(45)，处理装置(4)对多个像素的像素信号进行处理，该多个像素接收来自利用脉冲光照明的被摄体的光，对该接收到的光进行光电转换而生成像素信号，图像处理部(45)根据由读出部(243)读出的、从利用脉冲光照明的被摄体接收到光的多个像素的像素信号，对应于光源(51)的脉冲光的照明定时、与读出部(243)对像素信号的读出定时的重合状态，生成与在光源(51)的脉冲光的照明定时对多个像素进行了曝光的情况下的像素信号对应的照明时像素信号。

Description

处理装置、摄像装置以及内窥镜***
技术领域
本发明涉及对像素信号进行处理的处理装置、摄像装置以及内窥镜***。
背景技术
以往，在医疗领域中，为了进行被检体内部的观察而使用内窥镜***。一般情况下，内窥镜***将呈细长形状的挠性的***部***到患者等被检体内，从该***部前端间歇地照射照明光，并利用***部前端的摄像部接收该照明光的反射光，由此拍摄体内图像。这样拍摄的活体图像显示在该内窥镜***的显示器上。
在基于间歇照明进行摄像的情况下，根据摄像元件的曝光定时，在图像间产生明亮度的偏差，在显示在显示器上时，图像有时会闪烁。特别是，在采用CMOS(ComplementaryMetal Oxide Semiconductor：互补金属氧化物半导体)摄像元件，并应用了按照每个水平行改变曝光和读出的定时的卷帘快门方式的情况下，在1个摄像期间内，按照每个水平行，曝光定时不同，因此容易产生图像的亮度不均。
为了解决该问题，以往提出了从帧图像中去除具有规定的阈值以上亮度的区域而生成显示用图像的技术(例如，参照专利文献1)。并且，不同于去除图像的一部分的专利文献1所记载的技术，还提出了如下技术：在摄像元件的各像素的曝光期间中的全部像素所共有的期间中，从光源射出照明光，由此在图像的整个区域中能够确保恒定的亮度(例如，参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2010-135921号公报
专利文献2：日本特开2009-136447号公报
发明内容
发明所要解决的课题
但是，为了充分确保该能够在全部像素中共同曝光的期间，需要帧频的低速化、或读出的高速化，如果考虑到动态图像的品质和摄像元件的发热等，有时不得不控制成照明定时与摄像元件的读出定时重合。此外，例如在与声带的振动频率同步地利用脉冲光进行照明的闪光灯观察装置等中，照明定时和读出定时是不同步的，因此即使在充分确保了能够在全部像素中共同曝光的期间的情况下，照明定时有时也与读出定时重合。该情况下，存在如下问题：曝光量在图像间是不同的，无法消除图像间的明亮度的偏差，无法保持图像品质。
本发明正是鉴于上述情况而完成的，其目的在于，提供一种不论相对于摄像元件的读出定时在怎样的定时发出脉冲光，都能够保持图像品质的处理装置、摄像装置以及内窥镜***。
用于解决课题的手段
为了解决上述课题并达成目的，本发明的处理装置对多个像素的像素信号进行处理，该多个像素接收来自利用脉冲光照明的被摄体的光，对该接收到的光进行光电转换而生成像素信号，该处理装置的特征在于，具有信号处理部，该信号处理部根据所述像素信号，对应于所述脉冲光的照明期间与所述像素信号的读出定时的重合状态，生成照明时像素信号，即在所述脉冲光的照明期间内对所述多个像素进行了曝光的情况下的像素信号。
此外，本发明的处理装置的特征在于，还具有存储部，该存储部与所述多个像素的矩阵配置对应地，以帧单位存储所述像素信号，所述信号处理部根据所述存储部所存储的连续的多个帧的所述像素信号，按照所述脉冲光的每个照明期间，以帧单位生成与所述脉冲光的照明期间对应的所述照明时像素信号。
此外，本发明的处理装置的特征在于，还具有检测部，所述检测部取得所述读出定时和所述脉冲光的照明期间，在所述像素信号中，检测所述读出定时与作为所述照明时像素信号的生成对象的所述脉冲光的照明期间重合的像素行，作为重合像素行。
此外，本发明的处理装置的特征在于，所述信号处理部基于在与所述脉冲光的照明期间重合的重合定时读出的所述重合像素行的像素信号、和在该重合定时后读出的帧的所述像素信号中的所述重合像素行的像素信号，生成所述重合像素行的照明时像素信号。
此外，本发明的处理装置的特征在于，所述信号处理部关于作为所述重合像素行以外的像素行的非重合像素行，基于在作为所述照明时像素信号的生成对象的所述脉冲光的照明期间之后读出的帧的所述像素信号中的、所述非重合像素行的像素信号，生成所述照明时像素信号。
此外，本发明的处理装置的特征在于，还具有显示控制部，该显示控制部与该处理装置连接的显示装置的显示周期一致地，根据所述信号处理部生成的多个帧的照明时像素信号，生成用于显示在所述显示装置上的显示用图像信号。
此外，本发明的摄像装置的特征在于，具有：受光部，其具有多个像素，并呈矩阵状地配置所述多个像素，所述多个像素接收来自利用脉冲光照明的被摄体的光，对接收到的光进行光电转换而生成像素信号；读出部，其针对所述受光部，进行对所述多个像素的曝光和来自所述多个像素的像素信号的读出；以及信号处理部，其根据由所述读出部读出的所述像素信号，对应于所述脉冲光的照明期间与所述读出部对所述像素信号的读出定时的重合状态，生成照明时像素信号，即在所述脉冲光的照明期间内对所述多个像素进行了曝光的情况下的像素信号。
此外，本发明的摄像装置的特征在于，还具有存储部，该存储部与所述受光部中的所述多个像素的矩阵配置对应地，以帧单位存储所述像素信号，所述信号处理部根据所述存储部所存储的连续的多个帧的所述像素信号，按照所述脉冲光的每个照明期间，以帧单位生成与所述脉冲光的照明期间对应的所述照明时像素信号。
此外，本发明的摄像装置的特征在于，还具有检测部，所述检测部取得所述读出定时和所述脉冲光的照明期间，在所述像素信号中，检测所述读出定时与作为所述照明时像素信号的生成对象的所述脉冲光的照明期间重合的像素行，作为重合像素行。
此外，本发明的摄像装置的特征在于，所述信号处理部基于在与所述脉冲光的照明期间重合的重合定时读出的所述重合像素行的像素信号、和在该重合定时后读出的帧的所述像素信号中的所述重合像素行的像素信号，生成所述重合像素行的照明时像素信号。
此外，本发明的摄像装置的特征在于，所述信号处理部关于作为所述重合像素行以外的像素行的非重合像素行，基于在作为所述照明时像素信号的生成对象的所述脉冲光的照明期间之后读出的帧的所述像素信号中的、所述非重合像素行的像素信号，生成所述照明时像素信号。
此外，本发明的摄像装置的特征在于，还具有显示控制部，该显示控制部与该摄像装置连接的显示装置的显示周期一致地，根据所述信号处理部生成的多个帧的照明时像素信号，生成用于显示在所述显示装置上的显示用图像信号。
此外，本发明的摄像装置的特征在于，所述受光部和所述读出部由CMOS摄像元件构成。
此外，本发明的摄像装置的特征在于，所述受光部和所述读出部由CCD摄像元件构成。
此外，本发明的内窥镜***的特征在于，具有：光源，其发出用于照明被摄体的脉冲光；受光部，其具有多个像素，并呈矩阵状地配置所述多个像素，所述多个像素接收来自利用所述光源的所述脉冲光照明的所述被摄体的光，对接收到的光进行光电转换而生成像素信号；读出部，其针对所述受光部，进行对所述多个像素的曝光和来自所述多个像素的像素信号的读出；以及信号处理部，其根据由所述读出部读出的所述像素信号，对应于所述光源的所述脉冲光的照明期间与所述读出部对所述像素信号的读出定时的重合状态，生成照明时像素信号，即在所述脉冲光的照明期间内对所述多个像素进行了曝光的情况下的像素信号。
此外，本发明的内窥镜***的特征在于，还具有存储部，该存储部与所述受光部中的所述多个像素的矩阵配置对应地，以帧单位存储所述像素信号，所述信号处理部根据所述存储部所存储的连续的多个帧的所述像素信号，按照所述脉冲光的每个照明期间，以帧单位生成与所述脉冲光的照明期间对应的所述照明时像素信号。
此外，本发明的内窥镜***的特征在于，还具有检测部，所述检测部取得所述读出定时和所述脉冲光的照明期间，在所述像素信号中，检测所述读出定时与作为所述照明时像素信号的生成对象的所述脉冲光的照明期间重合的像素行，作为重合像素行。
此外，本发明的内窥镜***的特征在于，所述信号处理部基于在与所述脉冲光的照明期间重合的重合定时读出的所述重合像素行的像素信号、和在该重合定时后读出的帧的所述像素信号中的所述重合像素行的像素信号，生成所述重合像素行的照明时像素信号。
此外，本发明的内窥镜***的特征在于，所述信号处理部关于作为所述重合像素行以外的像素行的非重合像素行，基于在作为所述照明时像素信号的生成对象的所述脉冲光的照明期间之后读出的帧的所述像素信号中的、所述非重合像素行的像素信号，生成所述照明时像素信号。
此外，本发明的内窥镜***的特征在于，还具有显示控制部，该显示控制部与该内窥镜***连接的显示装置的显示周期一致地，根据所述信号处理部生成的多个帧的照明时像素信号，生成用于显示在所述显示装置上的显示用图像信号。
此外，本发明的内窥镜***的特征在于，所述被摄体是声带。
此外，本发明的内窥镜***的特征在于，还具有：声音输入部，其被输入声音；振动周期检测部，其检测输入到所述声音输入部的声音的振动周期；以及光源控制部，其与由所述振动周期检测部检测到的声音的振动周期同步地，检测所述光源的脉冲光的照明定时和照明期间。
此外，本发明的内窥镜***的特征在于，具有光源控制部，该光源控制部使所述光源的脉冲光的照明定时与所述受光部和所述读出部的帧周期同步，并且根据由所述读出部读出的像素信号，控制所述光源的脉冲光的照明期间。
此外，本发明的内窥镜***的特征在于，所述受光部和所述读出部由CMOS摄像元件构成。
此外，本发明的内窥镜***的特征在于，所述受光部和所述读出部由CCD摄像元件构成。
发明的效果
根据本发明，根据从利用脉冲光照射的被摄体接收到光的多个像素的像素信号，对应于脉冲光的照明定时与像素信号的读出定时的重合状态，生成在脉冲光的照明期间内对多个像素进行了曝光的情况下的像素信号、即照明时像素信号，因此不论相对于摄像元件的读出定时在怎样的定时发出脉冲光，都能够保持图像品质。
附图说明
图1是示出本发明实施方式1的内窥镜***的概略结构的示意图。
图2是示意性地示出图1所示的内窥镜***的结构的框图。
图3是示出构成图2所示的光检测部的电路的结构的一例的图。
图4是示出相对于脉冲光的照明定时的、摄像部中的理想显现图像定时的时序图。
图5是说明图2所示的光源装置的脉冲光的照明定时与读出部的曝光和读出定时的图。
图6是示出图2所示的摄像部、处理装置的各结构部的处理状态的时序图。
图7是用于说明由图2所示的显示控制部进行的显示用图像信号的生成处理的图。
图8是用于说明由图2所示的显示控制部进行的显示用图像信号的生成处理的图。
图9是说明实施方式2中的光源的脉冲光的照明定时与读出部的曝光和读出定时的图。
图10是示出实施方式2中的摄像部、处理装置的各结构部的处理状态的时序图。
图11是用于说明由实施方式2中的显示控制部进行的显示用图像信号的生成处理的图。
图12是说明在实施方式1、2中采用了CCD摄像元件的情况下的、光源的脉冲光的照明定时与读出部的曝光和读出定时的图。
图13是说明在实施方式1、2中采用了CCD摄像元件的情况下的、光源的脉冲光的照明定时与读出部的曝光和读出定时的另一例的图。
图14是示意性地示出实施方式3的内窥镜***的结构的框图。
图15是说明图14所示的光源的脉冲光的照明定时与读出部的曝光和读出定时的图。
图16A是示出实施方式3中的摄像部、处理装置的各结构部的处理状态的时序图。
图16B是说明由实施方式3中的图像处理部生成的、与脉冲光对应的照明时像素信号的图形的示意图。
图17是示意性地示出将分支部和光检测部设置于适配器的情况的图。
图18是示意性地示出将分支部和光检测部设置于适配器的另一情况的框图。
具体实施方式
在以下的说明中，作为用于实施本发明的方式(以下称为“实施方式”)，对内窥镜***进行说明。并且，本发明不被该实施方式限定。进而，在附图的记载中，对相同部分标注相同标号。并且，需要注意到附图仅是示意图，各个部件的厚度与宽度的关系、各个部件的比率等与实际情况不同。此外，在附图相互之间也包括彼此的尺寸和比率不同的部分。
(实施方式1)
图1是示出本发明实施方式1的内窥镜***的概略结构的示意图。如图1所示，本实施方式1的内窥镜***1具有：内窥镜2(镜体)，其被导入被检体内，拍摄被检体的体内而生成被检体内的图像信号；被输入声音的声音输入装置3；光源装置5，其生成脉冲光作为内窥镜2的照明光(观察光)；处理装置4，其对由内窥镜2进行拍摄而得到的图像信号进行规定的图像处理，并且控制内窥镜***1的各部分；以及显示装置6，其显示与处理装置4实施图像处理后的图像信号对应的图像。
内窥镜2具有被***到被检体内的***部21、位于***部21的基端部侧且由手术医生把持的操作部22、从操作部22延伸的挠性的通用软线23。
***部21使用照明光纤(光导缆线)和电缆等实现。***部21具备：具有摄像部的前端部211，该摄像部内置有CMOS摄像元件作为对被检体内进行拍摄的摄像元件；由多个弯曲块构成的弯曲自如的弯曲部212；以及设置在弯曲部212的基端部侧的具有挠性的挠性管部213。在前端部211设置有经由照明透镜对被检体内进行照明的照明部、对被检体内进行拍摄的观察部、连通处理器械用通道的开口部214和送气/送水用喷嘴(未图示)。
操作部22具有：弯曲旋钮221，其使弯曲部212向上下方向和左右方向弯曲；处置器械***部222，其将活体钳子、激光刀等处置器械***到被检体的体腔内；以及多个开关部223，它们进行处理装置4、光源装置5、送气装置、送水装置和送雾装置等周边设备的操作。从处置器械***部222***的处置器械经由内部设置的处置器械用通道而从***部21前端的开口部214露出。
通用软线23使用照明光纤和电缆等构成。通用软线23在基端分支，分支的一个分支软线231的端部为连接器232，分支的另一个分支软线234的基端为连接器233。连接器232相对于处理装置4拆装自如，连接器233相对于光源装置5拆装自如。通用软线23经由连接器232将设置在前端部211中的摄像部进行拍摄而得到的图像信号传输到处理装置4。通用软线23经由连接器233、操作部22和挠性管部213将从光源装置5射出的照明光传播到前端部211。
在被摄体是声带的情况下，声音输入装置3被输入从声带发出的声音。软线31的前端与声音输入装置3连接，基端的连接器311相对于处理装置4拆装自如。声音输入装置3经由软线31和连接器311，将所输入的声音输出到处理装置4。
处理装置4对经由通用软线23输入的、由内窥镜2的前端部211中的摄像部进行拍摄而得到的被检体内的摄像信号实施规定的图像处理。处理装置4根据经由通用软线23而从内窥镜2的操作部22中的开关部223发送的各种指示信号，对内窥镜***1的各部分进行控制。
光源装置5使用射出脉冲状的白色光的光源和聚光透镜等构成。光源装置5向经由连接器232和通用软线23的照明光纤连接的内窥镜2，提供来自白色光源的脉冲状的白色光，作为用于朝向作为被摄体的被检体内进行照明的照明光。另外，从光源装置5发出的脉冲光在被连接器233分支一部分、并成为脉冲信号后，经由分支软线234、231和连接器232被输入到处理装置4。
显示装置6使用利用液晶或有机EL(Electro Luminescence：电致发光)的显示器等构成。显示装置6经由影像缆线61显示包含图像的各种信息，该图像与通过处理装置4实施规定图像处理后的显示用图像信号对应。由此，手术医生通过一边观察显示装置6显示的图像(体内图像)一边操作内窥镜2，能够判定被检体内的期望位置的观察和性状。
接着，说明在图1中说明的内窥镜2、声音输入装置3、处理装置4和光源装置5的结构。图2是示意性地示出内窥镜***1的结构的框图。
内窥镜2在前端部211具有摄像部24。摄像部24具有：配置于后述的受光部242的受光面侧的物镜等光学***241；根据在受光面上形成的光学像生成表示被检体内的像素信号的受光部242；以及读出部243。
受光部242在受光面上配置有多个像素，该多个像素接收来自被光源装置5的脉冲光照明的被摄体的光，对接收到的光进行光电转换而生成像素信号。在受光部242中呈矩阵状配置有多个像素。在受光部242中，沿着水平方向配置有两个以上像素的像素行(水平行)在垂直方向上并列配置多个。受光部242根据在受光面上形成的光学像，生成表示被检体内的像素信号。
读出部243进行针对受光部242中的多个像素的曝光和来自多个像素的像素信号的读出。受光部242和读出部243例如由CMOS摄像元件构成，能够进行每个水平行的曝光和读出。读出部243能够通过如下的卷帘快门方式生成像素信号：从起始的水平行起执行进行曝光和读出的摄像动作，按照每个水平行错开定时来进行电荷复位、曝光和读出。因此，在摄像部24中，即使在一个摄像期间(帧)内，按照每个水平行，曝光定时和读出定时也分别不同。读出部243经由缆线(未图示)和连接器232，将从受光部242的多个像素读出的像素信号输出到处理装置4。另外，被赋予给从CMOS摄像元件输出的像素信号的垂直同步信号和水平同步信号还被输入到后述的定时检测部44。
接着，说明处理装置4。处理装置4具有输入部41、振动频率检测部42、控制部43、定时检测部44、图像处理部45(信号处理部)、存储器46和显示控制部47。
输入部41使用鼠标、键盘和触摸面板等操作器件实现，受理内窥镜***1的各种指示信息的输入。具体而言，输入部41受理被检体信息(例如ID、出生年月日、姓名等)、内窥镜2的识别信息(例如ID和检查对应项目)和检查内容等各种指示信息的输入。
振动频率检测部42检测输入到声音输入装置3、并经由软线31和连接器311输入到处理装置4的声音的频率。该声音是从作为被摄体的声带发出的。振动频率检测部42将检测到的声音的频率输出到控制部43。
控制部43使用CPU等实现。控制部43对处理装置4的各部分的处理动作进行控制。控制部43通过对处理装置4的各结构进行指示信息和数据的传送等，对处理装置4的动作进行控制。控制部43经由各缆线分别与摄像部24和光源装置5连接。控制部43具有控制光源装置5的动作的光源控制部431。光源控制部431与由振动频率检测部42检测到的声音的频率同步地，控制光源51的脉冲光的照明定时和照明期间。另外，控制部43还对摄像部24的动作进行控制。
定时检测部44根据与从光源装置5输入的来自光源装置5的脉冲光对应的脉冲信号，检测脉冲光的照明定时和照明期间。定时检测部44根据赋予给从摄像部24输出的像素信号的垂直同步信号和水平同步信号，按照每个水平行，检测读出部243的像素信号的读出定时。定时检测部44取得读出定时、照明定时和照明期间，在由读出部243读出的像素信号中，检测读出定时与后述的照明时像素信号的生成对象的照明期间重合的水平行，作为重合行。
图像处理部45对由摄像部24的读出部243读出的多个像素的像素信号进行规定信号处理。例如，图像处理部45对像素信号进行至少包含以下处理等的图像处理：光学黑体减法处理、白平衡(WB)调整处理、在摄像元件为拜尔排列的情况下的图像信号的同时化处理、彩色矩阵运算处理、伽马校正处理、颜色再现处理和边缘强调处理。
图像处理部45根据由摄像部24的读出部243读出的多个像素的像素信号，对应于光源装置5的脉冲光的照明定时和照明期间、与读出部243的像素信号的读出定时的重合状态，生成照明时像素信号，即在光源装置5的脉冲光的照明期间内对多个像素进行了曝光的情况下的像素信号。图像处理部45根据后述的存储器46所存储的连续的多个帧的像素信号，按照每个照明定时，以帧单位生成与照明的照明期间对应的照明时像素信号。图像处理部45针对重合行，基于在与脉冲光的照明期间重合的重合定时读出的该重合行的像素信号、和在该重合定时后且最先读出的帧的像素信号中的重合行的像素信号，生成照明时像素信号。图像处理部45针对作为重合行以外的水平行的非重合行，基于在作为照明时像素信号的生成对象的脉冲光的照明期间后、且最先读出的帧的像素信号中的非重合像素行的像素信号，生成照明时像素信号。
存储器46使用易失性存储器或非易失性存储器实现，存储用于使处理装置4和光源装置5进行动作的各种程序。存储器46暂时存储处理装置4的处理中的信息。存储器46与受光部242中的多个像素的矩阵配置对应地，以帧单位存储由读出部243读出的像素信号。存储器46以帧单位存储由图像处理部45生成的照明时像素信号。存储器46也可以使用从处理装置4的外部安装的存储卡等构成。
显示控制部47与显示装置6的显示周期一致地，根据图像处理部45生成的多个帧的照明时像素信号，生成用于显示在显示装置6上的显示用图像数据。显示控制部47按照显示装置6的每个显示周期，从图像处理部45生成的多个帧的照明时像素信号中，选择显示用图像数据。或者，显示控制部47按照显示装置6的每个显示周期，对图像处理部45生成的多个帧的照明时像素信号进行合成，生成显示用图像信号。显示控制部47将显示用图像数据从数字信号转换为模拟信号，将转换而得到的模拟信号的图像数据变更为高清方式等格式，并输出到显示装置6。
接着，说明光源装置5。光源装置5具有光源51和光源驱动器52。
光源51使用发出脉冲状的白色光的白色LED等光源、和聚光透镜等光学***构成。光源51产生提供给内窥镜2的照明光。
光源驱动器52根据光源控制部431的控制，向光源51提供规定的电力。由此，从光源51发出的光经由连接器233和通用软线23，从***部21的前端部211的照明窗211a对被摄体进行照明。另外，在照明窗211a附近配置摄像部24。
连接器233具有：分支部53，其将从光源51发出的脉冲光的一部分支而使其入射到光检测部54；以及光检测部54，其将从分支部53入射的脉冲光转换为脉冲信号。分支部53由棱镜等光学***构成。光检测部54经由分支软线234、231和连接器232，将转换而得到的脉冲信号输入到处理装置4的定时检测部44。图3是示出构成光检测部54的电路的结构的一例的图。如图3所示，在光检测部54中，在被入射脉冲光时，光电晶体管Pt成为导通状态，经由电容器C将电流输入到放大器Ad。然后，在放大器Ad中，进行DC成分去除和放大，将与脉冲光对应的脉冲信号输入到处理装置4。
图4是示出相对于脉冲光的照明定时的、摄像部24中的理想显现图像定时的时序图。如图4所示，当脉冲光的各照明定时(参照图4的(1))与摄像部24中的各曝光定时一致时(参照图4的(2))，在输出的多个图像间不产生明亮度的偏差。与此相对，在实施方式1中，将光源51的脉冲光的照明定时控制为与从作为被摄体的声带发出的声音的振动频率同步，因此脉冲光的照明定时与摄像部24中的曝光定时未必一致。在实施方式1中，说明脉冲光的发光周期比摄像部24的帧周期和显示装置6中的显示周期长的情况。首先，参照图5，说明光源51的脉冲光的照明定时与读出部243的曝光和读出定时。
图5是说明光源51的脉冲光的照明定时与读出部243对像素的曝光和像素信号的读出定时的图。图5的(1)是示出表示从光源51发出的脉冲光的照明定时的时序图的一例的图。图5的(2)是示出说明读出部243对多个像素的曝光和读出定时的时序图的一例的图。另外，各脉冲光以同一脉宽(照明期间)被输出。
从光源51发出的脉冲光L的照明定时被控制为与从作为被摄体的声带发出的声音的振动频率同步。从光源51，例如按照图5的(1)所示的每个周期Cp，在期间TL内发出脉冲光L。
摄像部24应用了按照每个水平行V(V是整数。V＝1、…、m、…、s、…、n、…、t、…、u、…、j)改变曝光和读出的定时的卷帘快门方式。因此，即使是同一帧的像素信号，每个水平行的曝光期间和读出定时也不同。例如针对帧(N-1)的起始的水平行1的像素，读出部243在期间A1内进行了曝光后，在时间R1读出像素信号。读出部243针对之后的水平行的像素，按照每个水平行使定时在时间方向上移动，同时进行曝光和读出。然后，针对最终的水平行j的像素，在期间Aj内进行曝光，在时间Rj时读出像素信号。图5所示的帧(N-1)的像素信号D(N-1)通过如下方式生成：依次执行针对从起始行1至最终行j的各水平行的曝光，并且在从时间R1至时间Rj的期间内，从起始起，依次如箭头Y(N-1)那样读出水平行V的像素信号。
这样，在采用了卷帘快门方式的情况下，即使是同一帧，曝光期间在水平行间也错开时间，因此如果光源51的脉冲光的发光周期与摄像部24的帧周期不一致，则有时在多个帧的范围内对1次脉冲光的照明进行曝光。其结果，即使是相同的水平行，照明次数和照明期间也在帧间不同，从而在帧间按照每个水平行，产生明亮度的偏差。
例如，在图5的例子中，脉冲光的发光周期比摄像部24的帧周期长，因此脉冲光L6的照明期间TL6与帧(N-1)中的前半水平行的曝光期间、和帧(N-2)中的后半水平行的曝光期间重合。其结果，关于帧(N-1)的像素信号D(N-1)，对全部脉冲光L6进行曝光的上部区域(水平行1～s)较亮，但只能曝光脉冲光L6的一部分的中央区域(水平行(s+1)～t)逐渐变暗(渐变)，不对脉冲光进行曝光的下一区域(水平行(t+1)～u)完全变暗，对下一脉冲光L11的一部分进行曝光的最下部的区域(水平行(u+1)～j)逐渐变亮(渐变)。此外，脉冲光L6的下一脉冲光L11的照明期间TL11的最初和最后一部分与帧(N-1)的曝光期间和帧(N+1)的曝光期间重合，但基本上包含在帧N的曝光期间内，因此帧N的像素信号DN的上部和下部的一部分区域稍稍变暗，但除此以外的区域中较明亮。
在该实施方式1中，不直接输出由于即使是相同的水平行，照明次数和照明期间也在帧间不同而使得明亮度发生偏差的各帧的像素信号，而由处理装置4的图像处理部45根据多个帧的像素信号，生成在脉冲光的照明定时对受光部242的全部像素进行了曝光的情况下的像素信号、即照明时像素信号，由此输出消除明亮度的偏差后的像素信号。
因此，对于处理装置4中的照明时像素信号的生成处理，以如下情况为例来进行说明：生成与利用图5的(1)的脉冲光L6对受光部242的全部像素进行了曝光的情况下的像素信号对应的照明时像素信号。
首先，在处理装置4中，定时检测部44检测光源51的脉冲光的照明定时和照明期间、与读出部243对受光部242的各水平行的读出定时，在由读出部243读出的像素信号中，检测读出定时与照明时像素信号的生成对象的照明期间重合的水平行，作为重合行。此外，定时检测部44在由读出部243读出的像素信号中，检测照明时像素信号的生成对象的照明期间与读出定时不重合的水平行，作为非重合行。
在图5的例子中，定时检测部44检测起始的水平行1至水平行s，作为脉冲光L6的照明期间TL6与帧(N-2)的像素信号D(N-2)和帧(N-1)的像素信号D(N-1)中的任意一个的读出定时均不重合的非重合行。定时检测部44检测水平行(s+1)至水平行t，作为脉冲光L6的照明期间TL6与帧(N-2)的像素信号D(N-2)的读出定时重合的重合行。定时检测部44检测水平行(t+1)至水平行j，作为脉冲光L6的照明期间TL6与任意的帧的读出定时均不重合的非重合行。
对作为非重合行的水平行1至水平行s中的照明时像素信号的生成进行说明。例如，以水平行m(1≦m≦s)为例来进行说明。关于水平行m，作为照明时像素信号的生成对象的脉冲光L6的照明期间TL6全部包含在帧(N-1)的水平行m的曝光期间内。并且，关于水平行m，脉冲光L6以外的脉冲光在该帧(N-1)的曝光期间内不被照明。因此，在脉冲光L6的照明后读出的帧(N-1)的水平行m的像素信号是在脉冲光L6的照明期间TL6内对位于水平行m的所有像素进行了曝光的情况下的像素信号。因此，作为在脉冲光L6的照明期间内对水平行m的像素进行了曝光的情况下的像素信号(照明时像素信号)，图像处理部45直接应用帧(N-1)的像素信号D(N-1)的水平行m的各像素的数据。即，图像处理部45关于水平行m的各像素x，使用(1)式，运算照明时像素信号。
【数式1】
(利用脉冲光L6进行了曝光的第m行的像素x)
＝(D(N-1)的第m行(利用脉冲光L6进行曝光)的像素x)…(1)
同样，在非重合行的水平行(t+1)至水平行j中，作为照明时像素信号的生成对象的脉冲光L6的照明期间TL6全部包含在帧(N-2)的曝光期间内，脉冲光L6以外的脉冲光在该帧(N-2)的曝光期间不被照明。因此，在脉冲光L6照明后读出的帧(N-2)的水平行(t+1)～j的各像素信号是在脉冲光L6的照明定时对位于水平行(t+1)～j的所有像素进行了曝光的情况下的像素信号。因此，作为水平行(t+1)至水平行j的脉冲光L6的照明时像素信号，图像处理部45直接应用帧(N-2)的像素信号D(N-2)的各个水平行的各像素的数据。
这样，关于作为非重合行的水平行，图像处理部45根据在作为照明时像素信号的生成对象的脉冲光的照明定时的下一读出定时读出的帧的非重合像素行的像素信号，生成照明时像素信号。
接着，关于作为重合行的水平行(s+1)至水平行t中的照明时像素信号的生成，以水平行n(s+1≦n≦t)为例来进行说明。脉冲光L6的照明期间TL6与帧(N-2)中的水平行n的读出定时重合，跨越帧(N-2)的水平行n的曝光期间和帧(N-1)的水平行n的曝光期间的双方。关于水平行n，其他脉冲光在帧(N-2)的水平行n的曝光期间和帧(N-1)的水平行n的曝光期间的任意一个期间中均不被照明。基于像素的像素信号的输出值与实际上接收到光的受光时间成比例，因此在脉冲光L6的照明期间内对水平行n的像素进行了曝光的情况下的像素信号(照明时像素信号)是将帧(N-2)的像素信号D(N-2)中的水平行n的像素信号、和帧(N-1)的像素信号D(N-1)中的水平行n的像素信号直接进行合成后的像素信号。即，关于水平行n的各像素x，图像处理部45使用以下的(2)式，运算照明时像素信号。
【数式2】
(利用脉冲光L6进行了曝光的第n行的像素x)
＝(D(N-2)的第n行(利用脉冲光L6进行曝光)的像素x)
+(D(N-1)的第n行(利用脉冲光L6进行曝光)的像素x)…(2)
图像处理部45针对作为重合行的水平行，对在与照明期间重合的重合定时读出的该重合行的像素信号、和该重合定时的下一帧的像素信号中的重合行的像素信号进行合成，由此生成重合像素行的照明时像素信号。图像处理部45按照每个像素，对应于是位于重合行还是位于非重合行，使用(1)式或(2)式运算照明时像素信号，并输出运算出的照明时像素信号，作为帧单位的图像信号。
这样，根据实施方式1，根据从多个像素读出的像素信号，对应于光源51的脉冲光的照明定时和照射期间、与像素信号的读出定时的重合状态，生成在脉冲光的照明期间内对多个像素进行了曝光的情况下的像素信号、即照明时像素信号，因此不论相对于摄像元件的读出定时在怎样的定时发出脉冲光，都能够消除所输出的图像间的明亮度的偏差，能够保持图像品质。
在处理装置4中，例如使用采用了容量大的DDR3等的帧缓冲器来作为存储器46，在图像处理部45的运算时，采用如下算法：在读出了多帧过去的像素信号的状态下进行流水线处理，由此在1帧期间内对多帧的像素信号进行处理来生成多帧的照明时像素信号。图6的(1)是示出构成摄像部24的CMOS摄像元件中的垂直同步信号、CMOS摄像元件的曝光状态、以及数据读出的时序图。图6的(2)是关于定时检测部44的检测对象数据的时序图。图6的(3)是关于存储器46的各区域1～4所存储的帧单位的像素信号的时序图。图6的(4)是关于图像处理部45中的图像处理的时序图。图6的(5)是关于显示控制部47中的显示图像数据生成处理的时序图。
如图6的(1)～(5)所示，按照摄像部24的垂直同步信号的定时，依次进行曝光、像素信号的读出，并将所读出的像素数据以帧单位依次输出到处理装置4。在图6的(2)的例子中，定时检测部44在1帧期间内对5帧的像素信号进行处理，在当前帧期间内，检测从5帧前到1帧前的像素信号的读出定时、和从5帧前到1帧前的照明定时和照明期间。如图6的(3)所示，在存储器46的各区域1～4中，分别存储1帧的像素信号，按照每1帧期间，对所存储的像素信号重新进行改写。在当前帧期间中，将区域1～4所存储的5帧前至2帧前的像素信号分别改写为4帧前至1帧前的像素信号。如图6的(4)的箭头Y1所示，图像处理部45在当前帧期间内，读出存储器46的区域1～4所存储的4帧前至1帧前的4帧的像素信号Dg1，生成照明时像素信号，并以帧单位输出所生成的照明时像素信号(照明时像素信号G6、G11)。该图像处理部45中的照明时像素信号G6、G11的生成处理与之前使用图5说明的同样。另外，在图像处理部45中一次生成的照明时像素信号G的帧数不限于始终为恒定的帧数，根据相对于帧周期的脉冲光的发光数而发生变动。
接着，如图6的(5)所示，显示控制部47与显示装置6的显示周期一致地，根据图像处理部45生成的照明时像素信号，生成用于显示在显示装置6上的显示用图像信号M1～M7。显示控制部47关于与当前帧期间对应的显示周期，如箭头Y2那样，根据图像处理部45生成的照明时像素信号G6、G11，生成显示用图像信号M7。参照图7和图8，说明由该显示控制部47进行的显示用图像信号的生成处理。
图7和图8是用于说明由显示控制部47进行的显示用图像信号的生成处理的图。图7的(1)和图8的(1)是示出显示装置6中的显示周期的时序图。图7的(2)和图8的(2)是示出从光源51发出的脉冲光的照明定时的时序图的一例，图7的(3)和图8的(3)是说明读出部243的曝光和读出定时的时序图的一例。关于图7和图8，为了说明，使与各照明时像素信号对应的脉冲光的照明定时的时间轴移动，而与和显示周期对应的时间轴重合。此外，在图7中，还示意性示出与在图像处理部45中生成的各脉冲光L1、L6、L11的照明定时对应的照明时像素信号G1、G6、G11。在图8中，还示意性示出与在图像处理部45中生成的各脉冲光La1、La6、La11、La16的照明定时对应的照明时像素信号Ga1、Ga6、Ga11、Ga16。
如图7的(1)和图8的(1)所示，显示装置6按照显示周期Cd显示输出显示用图像信号。这里，在脉冲光的发光周期比显示周期长的情况中，按照每个显示周期，存在脉冲光的照明期间的全部进入显示周期内的情况、和仅一部分进入的情况。在图7的例子中，在各显示周期Cd1～Cd3中，分别包含与照明时像素信号G1、G6、G11对应的脉冲光L1、L6、L11的照明期间，因此直接选择照明时像素信号G1、G6、G11，作为与各显示周期Cd1～Cd3对应的显示用图像信号并输出。即，显示控制部47关于显示周期Cd1，使照明时像素信号G1作为显示用图像信号显示在显示装置6上(参照箭头Y3)。同样，显示控制部47关于显示周期Cd2，使照明时像素信号G6作为显示用图像信号显示在显示装置6上(参照箭头Y4)，并关于显示周期Cd3，使照明时像素信号G11作为显示用图像信号显示在显示装置6上(参照箭头Y5)。或者，显示控制部47可以生成对多个照明时像素信号G进行合成而得到的信号，作为显示用图像信号。例如，在生成显示周期Cd2的显示用图像信号的情况下，显示控制部47将图像采用范围从与显示周期Cd2对应的范围Hd2扩大至还包含显示周期Cd2的前后的显示周期Cd1、Cd3的范围Hd2g。并且，显示控制部47还采用与照明时像素信号G6一同包含在这些范围Hd2g内的照明时像素信号G1、G11，输出与显示周期Cd2的中心时间Cd2c、和各照明时像素信号的脉冲光的照明期间的中心时间的距离(时间差)相应的通过加权而合成的图像信号，作为显示周期Cd2的显示用图像信号。
与此相对，在图8的例子中，各显示周期Cd4～Cd6中的显示周期Cd4、Cd6对应于和脉冲光La6、La11的照明期间相应的照明时像素信号Ga6、Ga11，但在显示周期Cd5不照明脉冲光，不存在与该显示周期Cd5对应的照明时像素信号。因此，为了生成显示周期Cd5的显示用图像信号，显示控制部47将图像采用范围从与显示周期Cd5对应的范围Hd5扩大至还包含显示周期Cd5的前后的显示周期Cd4、Cd6的范围Hd5g。
接着，显示控制部47针对与范围Hd5g内对应的照明时像素信号Ga6、Ga11，对显示周期Cd5的中心时间Cd5c、和各照明时像素信号Ga6、Ga11的脉冲光的照明期间的中心时间的距离(时间差)Td6、Td11(＜Td6)进行比较。并且，显示控制部47使距离较小的照明时像素信号Ga11作为与显示周期Cd5对应的显示用图像信号，显示在显示装置6上(箭头Y7)。或者，显示控制部47生成与显示周期Cd5的中心时间Cd5c、和与各照明时像素信号对应的脉冲光的照明期间的中心时间的距离(时间差)相应的通过加权对图像信号范围Hd5g所包含的照明时像素信号Ga6、Ga11进行合成而得到的图像信号，作为与显示周期Cd5对应的显示用图像信号。另外，关于包含脉冲光La6、La11的照明期间的显示周期Cd4、Cd6，将照明时像素信号Ga6、Ga11作为显示周期Cd4、Cd6的显示用图像信号显示在显示装置6上(参照箭头Y6和箭头Y8)。
这样，根据实施方式1，即使在光源51的脉冲光的发光周期与显示装置6中的显示周期不一致的情况下，也根据图像处理部45生成的没有明亮度的偏差的多帧的照明时像素信号，与显示装置6的显示周期一致地，生成显示用图像信号并显示在显示装置6上，因此起到如下效果：显示器所显示的图像品质良好，并且图像没有中断地顺利依次显示。
(实施方式2)
接着说明实施方式2。在实施方式2中，说明脉冲光的发光周期比摄像部24的帧周期和显示装置6的显示周期短的情况。另外，实施方式2的内窥镜***具有与实施方式1的内窥镜***相同的结构。
图9是说明实施方式2的内窥镜***的摄像时的、光源51的脉冲光的照明定时与读出部243的曝光和读出定时的图。图9的(1)是示出表示从光源51发出的脉冲光Lb的照明定时的时序图的一例的图。图9的(2)是示出说明读出部243的曝光和读出定时的时序图的一例的图。另外，各脉冲光以同一脉宽(照明期间)被输出。
如图9的(1)所示，从光源51以比摄像部24的帧周期短的周期Cpb，在期间TLb内发出脉冲光Lb。在图9的例子中，在任意的水平行的曝光期间内，都照明多次的脉冲光，各水平行的像素被多重曝光。因此，图像处理部45考虑到除了存在读出定时与照明期间重合的行以外，还对各水平行的像素进行多重曝光的情况，进行照明时像素信号的生成用的运算处理。具体而言，以如下情况为例来进行说明：图像处理部45生成与利用图9的(1)的脉冲光Lb6对受光部242的全部像素进行了曝光时的像素信号对应的照明时像素信号。
首先，说明作为非重合行的水平行m。图像处理部45关于作为非重合行的水平行m，根据在脉冲光Lb6的照明期间的下一读出定时读出的帧(N-1)的像素信号D(N-1)中的水平行m的像素信号，生成照明时像素信号。其中，在该帧(N-1)的水平行m的曝光期间中，除了脉冲光Lb6的整个照明期间TLb6以外，还包含脉冲光Lb7、Lb8的整个照明期间和脉冲光Lb9的照明期间TLb9的一部分。因此，图像处理部45关于水平行m的各像素x，使用考虑到脉冲光Lb6的照明期间、与其他脉冲光Lb7、Lb8、Lb9的照明期间的比率的(3)式，运算照明时像素信号。另外，在帧(N-1)中，设脉冲光Lb9的照明期间TLb9包含在水平行m的曝光期间内的期间为v、设不包含的期间为w(参照区域Sa)。
【数式3】
Figure GDA0001139710530000181
图像处理部45关于作为重合行的水平行n，基于在与脉冲光Lb6的照明期间的重合定时读出的帧(N-2)的像素信号D(N-2)中的水平行n的像素信号、和该重合定时的下一帧(N-1)的像素信号D(N-1)中的水平行n的像素信号，生成照明时像素信号。其中，在帧(N-2)的水平行n的曝光期间中，除了脉冲光Lb6的照明期间TLb6的前半期间以外，还包含脉冲光Lb3、Lb4、Lb5的照明期间。此外，在帧(N-1)的水平行n的曝光期间中，除了脉冲光Lb6的照明期间TLb6的后半期间以外，还包含脉冲光Lb7、Lb8、Lb9的照明期间。因此，图像处理部45关于水平行n的各像素x，考虑脉冲光Lb6的照明期间与其他脉冲光的照明期间的比率，在帧(N-2)、帧(N-1)的情况下，分别运算仅接收到脉冲光Lb6的情况下的水平行n的像素信号，并对它们进行合成。
具体而言，图像处理部45使用(4)式，运算作为重合行的水平行n的各像素x的照明时像素信号。另外，在帧(N-2)中，设脉冲光Lb6的照明期间TLb6包含在水平行n的曝光期间内的期间为y、设不包含的期间为z(参照区域Sb)。此外，虽然未图示，但在帧(N-1)中，设脉冲光Lb9的照明期间TLb9包含在水平行n的曝光期间内的期间为z、设不包含的期间为y。此外，在上述例子中，以所有脉冲光的脉宽(照明期间)是相同的、且(v+w)＝(y+z)为前提进行了运算。
【数式4】
Figure GDA0001139710530000191
图10是示出实施方式2中的摄像部24、处理装置4的各结构部的处理状态的时序图。图10的(1)是示出构成摄像部24的CMOS摄像元件中的垂直同步信号、CMOS摄像元件的曝光状态、以及数据读出的时序图。图10的(2)是关于定时检测部44的检测对象数据的时序图。图10的(3)是关于存储器46的各区域1～4所存储的帧单位的像素信号的时序图。图10的(4)是关于图像处理部45中的图像处理的时序图。图10的(5)是关于显示控制部47中的显示图像数据生成处理的时序图。在实施方式2中，在当前帧期间内，读出存储器46的区域1～4所存储的4帧前至1帧前的4帧的像素信号Dg11，生成与各脉冲光对应的照明时像素信号(参照箭头Y11)，并以帧单位输出(照明时像素信号Gb4～Gb13)。另外，与实施方式1同样，在图像处理部45中一次生成的照明时像素信号G的帧数不限于始终为恒定的帧数，根据相对于帧周期的脉冲光的发光数而发生变动。
并且，如图10的(5)所示，显示控制部47与显示装置6的显示周期一致地，如箭头Y12那样，根据图像处理部45生成的照明时像素信号组Dg21，生成用于显示在显示装置6上的显示用图像信号Mb1～Mb7。显示控制部47关于与当前帧期间对应的显示周期，根据图像处理部45生成的照明时像素信号Gb4～Gb13，生成显示用图像信号Mb7。参照图11，说明由该显示控制部47进行的显示用图像信号的生成处理。
图11是用于说明由实施方式2中的显示控制部47进行的显示用图像信号的生成处理的图。图11的(1)是示出显示装置6中的显示周期的时序图。图11的(2)是示出从光源51发出的脉冲光的照明定时的时序图的一例，图11的(3)是说明读出部243的曝光和读出定时的时序图的一例。关于图11，为了说明，使与各照明时像素信号对应的脉冲光的照明定时的时间轴移动，而与和显示周期对应的时间轴重合。此外，在图11中，还示意性示出与在图像处理部45中生成的各脉冲光Lb1～Lb17的照明时对应的照明时像素信号Gb1～Gb17。
说明生成与图11所示的各显示周期Cd7～Cd9中的显示周期Cd8对应的显示用图像信号的情况。在与显示周期Cd8对应的期间Hd8中，包含与照明时像素信号Gb7～Gb10对应的脉冲光Lb7～Lb10的照明期间。显示控制部47通过对照明时像素信号Gb7～Gb10进行合成，生成与显示周期Cd8对应的显示用图像信号M。其中，与照明时像素信号Gb7对应的照明期间仅一部分与和显示周期Cd8对应的期间Hd8对应，设脉冲光Lb7的照明期间包含在与显示周期Cd8对应的期间Hd8内的期间为a、设不包含的期间为b(参照区域Sd)。此外，各脉冲光的照明期间(脉宽)是均匀的。因此，显示控制部47使用(5)式，生成与显示周期Cd8对应的显示用图像信号M。
【数式5】
Figure GDA0001139710530000201
此外，显示控制部47可以将针对显示周期Cd8的中心时间Cd8c的加权系数(α、β、γ、δ)与对应的各数据相乘，运算与显示周期Cd8对应的显示用图像信号M。具体而言，显示控制部47使用(6)式，生成与显示周期Cd8对应的显示用图像信号M。
【数式6】
Figure GDA0001139710530000202
因此，显示控制部47在使各照明时像素信号的照明定时的时间轴与显示周期中的时间轴重合的情况下，根据曝光比率，对控制对象的显示周期内包含的全部照明定时所对应的多个照明时像素信号进行合成，生成显示用图像信号。另外，该加权系数(α、β、γ、δ)可以兼用于控制部43对光源51的明亮度控制。其结果，能够抑制光量的不足、以及照明脉冲光来进行观察的闪光灯观察时的帧间的明亮度偏差。具体而言，设为(α+β+γ+δ)≧1能够变亮，设为(α+β+γ+δ)≦1能够变暗等。此外，如果将(α+β+γ+δ)的值设为固定值，则能够抑制帧间的明亮度偏差。
如该实施方式2那样，在脉冲光的发光周期比摄像部24的帧周期和显示装置6的显示周期短的情况下，按照每个像素，考虑位于重合行或非重合行中的哪个，并且考虑照明时像素信号的生成对象的脉冲光的照明期间、与该行的曝光期间所包含的其他脉冲光的照明期间的比率，运算照明时像素信号即可。此外，如实施方式2那样，在光源51的脉冲光的发光周期比显示装置6中的显示周期短的情况下，与显示装置6的显示周期一致地，将对图像处理部45生成的多个照明时像素信号进行合成而得到的显示用图像信号显示在显示装置6上即可。由此，在实施方式2中，也起到与实施方式1同样的效果。
另外，本实施方式1、2还能够应用于以下情况：采用了利用全局快门方式进行拍摄处理的CCD(Charge Coupled Devices：电荷耦合器件)摄像元件，作为摄像部24的摄像元件。图12的(1)是示出表示从光源51发出的脉冲光Lc的照明定时的时序图的一例的图。图12的(2)是示出说明摄像部24的摄像元件是CCD摄像元件的情况下的、读出部243的曝光和读出定时的时序图的一例的图。另外，各脉冲光以同一脉宽(照明期间)被输出。
在图12的例子中，以比摄像部24的帧周期长的周期，发出脉冲光Lc。此外，摄像部24采用全局快门方式，因此如果是同一帧，则受光部242的像素信号全部在相同的期间内被曝光，并在相同定时被读出。即，如果是帧(N-2)，则在曝光期间A(N-2)进行了曝光后，在时间R(N-2)，读出与全部像素的像素信号对应的像素信号D(N-2)。同样，关于帧(N-1)、帧N、帧(N+1)，分别在曝光期间A(N-1)、AN、A(N+1)进行了曝光后，在时间R(N-1)、RN、R(N+1)，读出与全部像素的像素信号对应的像素信号D(N-1)、DN、D(N+1)。在该图12的例子中，脉冲光Lc的各照明期间与各像素信号的读出定时不重合，因此与实施方式1中的针对非重合行的照明时像素信号的生成处理同样，基于在作为照明时像素信号的生成对象的脉冲光的照明期间的下一读出的帧的像素信号中的非重合行的像素信号，生成照明时像素信号。例如，在生成与利用图12的(1)的脉冲光Lc3对受光部242的全部像素进行了曝光的情况下的像素信号对应的照明时像素信号时，关于任意的水平行V的各像素x，也使用(7)式，运算照明时像素信号。
【数式7】
(利用脉冲光Lc3进行了曝光的第V行的像素x)
＝(D(N-2)(利用脉冲光Lc3进行曝光)的第V行的像素x)…(7)
另外，虽然在图12中未例示，但关于脉冲光Lc的各照明期间中的、与各像素信号的读出定时重合的照明期间，针对任意的水平行的各像素，也与实施方式1中的针对重合行的照明时像素信号的生成处理同样，对在与该照明期间重合的重合定时读出的该重合行的像素信号、和该重合定时的下一帧的像素信号中的重合行的像素信号进行合成，由此生成重合像素行的照明时像素信号。
像素信号D(N-2)～D(N+1)中的像素信号D(N-2)、DN、D(N+1)在各曝光期间中A(N-2)、AN、A(N+1)中进行了1次脉冲光的照明，因此成为较暗的图像。并且，关于像素信号D(N-2)～D(N+1)中的像素信号D(N-1)，由于在曝光期间A(N-1)中未进行脉冲光的照明，因此成为没有曝光的完全变暗的图像，但从图像处理部45实际输出的照明时像素信号与利用脉冲光对受光部242的全部像素进行了曝光的情况下的像素信号对应，因此明亮度不产生偏差。
此外，参照图13，说明以比摄像部24的帧周期短的周期发出脉冲光Ld的情况。图13的(1)是示出表示从光源51发出的脉冲光Ld的照明定时的时序图的一例的图。图13的(2)是示出说明摄像部24的摄像元件是CCD摄像元件的情况下的、读出部243的曝光和读出定时的时序图的一例的图。另外，各脉冲光以同一脉宽(照明期间)被输出。
例如，说明关于图13的(1)的脉冲光Ld6生成照明时像素信号的情况。脉冲光Ld6的照明期间TLd6不与各像素信号的读出定时重合。该情况下，关于任意的水平行V，都基于在脉冲光Ld6的照明定时的下一读出定时读出的帧(N-1)的像素信号D(N-1)各自对应的水平行V的像素信号，生成照明时像素信号。其中，在该帧(N-1)的曝光期间中，除了脉冲光Ld6的照明期间TLd6以外，还包含脉冲光Ld4的一部分期间、和脉冲光Ld5、Ld7的整个照明期间。因此，图像处理部45与实施方式2的非重合行的情况同样，使用考虑到脉冲光Ld6的照明期间、与其他脉冲光Ld4、Ld5、Ld7的照明期间的比率的(8)式，运算照明时像素信号。
【数式8】
Figure GDA0001139710530000221
Figure GDA0001139710530000231
然后，说明关于图13的(1)的脉冲光Ld4生成照明时像素信号的情况。脉冲光Ld4的照明期间TLd4与帧(N-2)中的读出定时R(N-2)重合。该情况下，关于任意的水平行V，都基于在与脉冲光Ld4的照明定时的重合定时读出的帧(N-2)的像素信号D(N-2)中的水平行V的像素信号、和该重合定时的下一帧(N-1)的像素信号D(N-1)中的水平行V的像素信号，生成照明时像素信号。其中，在该帧(N-2)的曝光期间中，除了脉冲光Ld4的照明期间TLd4的前半期间以外，还包含脉冲光Ld1～Ld3的照明期间。此外，在帧(N-1)的曝光期间中，除了脉冲光Ld4的照明期间TLd4的后半期间以外，还包含脉冲光Ld5～Ld7的照明期间。因此，图像处理部45关于任意的水平行V的各像素x，均考虑脉冲光Ld4的照明期间与其他脉冲光的照明期间的比率，在帧(N-2)、帧(N-1)的情况下分别进行运算，并对它们进行合成。具体而言，使用(9)式，运算作为重合行的水平行V的各像素x的照明时像素信号。
【数式9】
Figure GDA0001139710530000232
另外，在卷帘快门方式的情况下，运算式的分数项(曝光时间比率)按照每个水平行而变动，但在全局快门方式的情况下，运算式的分数项为固定值。此外，在摄像部24采用了CCD摄像元件的情况下，显示控制部47也与实施方式1、2同样，根据图像处理部45生成的照明时像素信号，生成显示用图像信号。
(实施方式3)
接着说明实施方式3。在实施方式3中，说明采用了将脉冲光的输出宽度(照明期间)设为可变的PWM方式的情况。
图14是示意性地示出实施方式3的内窥镜***201的结构的框图。如图14所示，内窥镜***201替代图2所示的处理装置4而具有处理装置204。此外，内窥镜***201是删除图2所示的声音输入装置3、软线31和连接器311后的结构。此外，内窥镜202中的通用软线的分支软线234A的光源装置5侧的连接器233A是删除图2所示的分支部53和光检测部54后的结构。
处理装置204的控制部43A具有光源控制部431A，该光源控制部431A根据由摄像部24读出的像素信号的明亮度，控制从光源51输出的脉冲光的脉宽(照明期间)。光源控制部431A进行使光源51的脉冲光的照明定时与摄像部24的帧周期同步的控制。定时检测部44A根据光源控制部431A的光源控制信号、和赋予给从摄像部24输出的像素信号的垂直同步信号和水平同步信号，在从摄像部24读出的像素信号中，检测照明时像素信号的生成对象的照明定时和照明期间、与读出定时重合的行，作为重合行。
图15的(1)是示出表示从光源51发出的脉冲光Le的照明定时的时序图的一例的图。图15的(2)是示出说明摄像部24的读出部243的曝光和读出定时的时序图的一例的图。在图15的例子中，光源51的脉冲光的照明周期与摄像部24中的帧周期是相同周期。此外，来自光源51的脉冲光的脉宽(照明期间)在帧M的曝光期间内照明的脉冲光Le1和在帧(M+1)内照明的脉冲光Le2中是不同的。在图15的例子中，脉冲光Le1的照明期间TLe1比脉冲光Le2的照明期间TLe2长。此外，帧M的像素信号DM的各水平行被依次曝光，并且在期间AM内从起始的水平行起依次被读出像素信号，由此如箭头YM那样生成。帧(M+1)的像素信号D(M+1)的各水平行被依次曝光，并且在期间AM+1内从起始的水平行起依次被读出像素信号，由此如箭头YM+1那样生成。如图15的右区域所示，关于帧(M+1)的像素信号D(M+1)的垂直方向的深浅，利用脉冲光Le2曝光的上部区域变亮，在脉冲光Le2的照明期间TLe2与帧(M+1)的读出定时重合的区域中逐渐变暗(渐变)，在帧M中已读出与利用脉冲光Le2的曝光对应的像素信号的下部的区域中变暗。
因此，在处理装置204中，生成与脉宽不同的各脉冲光对应的照明时像素信号，因此首先与实施方式1、2同样，定时检测部44A检测光源51的脉冲光的照明定时和照明期间、与读出部243对受光部242的各水平行的读出定时。定时检测部44A在从读出部243读出的像素信号中，检测读出定时与照明时像素信号的生成对象的照明期间重合的水平行，作为重合行。
接着，说明由图像处理部45进行的照明时像素信号的生成处理。图16A是示出实施方式3中的摄像部24、处理装置204的各结构部的处理状态的时序图。图16A的(1)是示出构成摄像部24的CMOS摄像元件中的垂直同步信号的输出的时序图，图16A的(2)是示出来自CMOS摄像元件的读出部243的数据输出的时序图，图16A的(3)是示出CMOS摄像元件的曝光状态的时序图，图16A的(4)是示出从光源51发出的脉冲光(PWM)的照明定时的时序图的一例的图。图16A的(5)是示出输入到存储器46的帧单位的像素信号的时序图。图16A的(6)是示出由图像处理部45生成的照明时像素信号的时序图。此外，图16B是说明与由图像处理部45生成的脉冲光(PWM2)对应的照明时像素信号(GPWM2)的图形的示意图。此外，各脉冲光(PWM1、PWM2)的脉冲信号从各自对应的垂直同步信号的上升沿起，在期间Te内上升。
以如下情况为例来进行说明：图像处理部45生成与利用图16A的(4)的脉冲光(PWM2)对受光部242的全部像素进行了曝光时的像素信号对应的照明时像素信号(GPWM2)。在图16A中，水平行V(V是整数。V＝1、…、e、…、h…、f、…、i、…、g、…、j)中的非重合行是水平行1至水平行e、水平行(f+1)至最终的水平行j。此外，重合行是水平行(e+1)至水平行f。
首先，说明针对非重合行中的水平行1～e的照明时像素信号的生成。关于水平行1～e，作为照明时像素信号的生成对象的脉冲光PWM2的照明期间T6全部包含在帧(M+1)的各水平行1～e的曝光期间内。此外，关于水平行1～e，其他脉冲光在该帧(M+1)的曝光期间不被照明。因此，图像处理部45直接输出在该脉冲光PWM2的照明定时的下一读出定时读出的帧(M+1)的像素信号D(M+1)的水平行1～e的各像素的数据，作为水平行1～e中的脉冲光PWM2的照明时像素信号(参照图16B的区域A)。此外，关于非重合行中的水平行(g+1)～j，脉冲光(PWM2)的照明期间T6也全部包含在帧M的各水平行(g+1)～j的曝光期间内，其他脉冲光在该帧M的曝光期间也不被照明。因此，图像处理部45直接输出在该脉冲光PWM2的照明定时的下一读出定时读出的帧M的像素信号DM的水平行(g+1)～j的各像素的数据，作为水平行(g+1)～j中的脉冲光PWM2的照明时像素信号(参照图16B的区域D)。
接着，说明针对非重合行中的水平行i(f+1≦i≦g)的照明时像素信号的生成。关于水平行i，除了作为照明时像素信号的生成对象的脉冲光PWM2的照明期间T6以外，在之前照明的脉冲光PWM1的一部分照明期间T5也包含在帧M的水平行i的曝光期间内。图像处理部45关于水平行i的各像素x，针对在脉冲光PWM2的照明定时的下一读出定时读出的帧M的像素信号DM中的水平行i的像素信号，使用考虑到脉冲光PWM2的照明期间T6、与之前照明的脉冲光(PWM1)的一部分照明期间T5的比率的(10)式，运算照明时像素信号。即，与水平行i(f+1≦i≦g)对应的图16B的区域C由对像素信号DM进行了增益校正的信号构成。
【数式10】
Figure GDA0001139710530000261
接着，说明针对作为重合行的水平行h(e+1≦h≦f)的照明时像素信号的生成。图像处理部45关于水平行h，基于在与脉冲光PWM2的照明定时的重合定时读出的帧M的像素信号DM中的水平行h的像素信号、和该重合定时的下一帧(M+1)的像素信号D(M+1)中的水平行h的像素信号，生成照明时像素信号。其中，在帧M的水平行h的曝光期间中，除了脉冲光(PWM2)的照明期间T6的前半期间T2以外，还包含在之前照明的脉冲光(PWM1)的照明期间的后半期间T1。此外，在帧(M+1)的水平行h的曝光期间中，除了脉冲光PWM2的照明期间T6的后半期间T3以外，还包含接着照明的脉冲光PWM3的照明期间的前半期间T4。
因此，图像处理部45关于水平行h的各像素x，考虑脉冲光PWM2的照明期间的前半期间T2与之前的脉冲光PWM1的照明期间的后半期间T1的比率，运算帧M中的仅接收到脉冲光PWM2的情况下的水平行h的像素信号。并且，图像处理部45考虑脉冲光PWM2的照明期间的后半期间T3、与其下一脉冲光PWM3的照明期间的前半期间T4的比率，运算帧(M+1)中的仅接收到脉冲光PWM2的情况下的水平行h的像素信号。图像处理部45对帧M中的仅接收到脉冲光PWM2的情况下的水平行h的像素信号、和帧(M+1)中的仅接收到脉冲光PWM2的情况下的水平行h的像素信号进行合成，由此运算水平行h的各像素x的照明时像素信号。具体而言，使用(11)式，运算作为重合行的水平行h的各像素x的照明时像素信号。因此，与水平行h(e+1≦h≦f)对应的图16B的区域B由像素信号DM和像素信号D(M+1)的合成信号构成。
【数式11】
Figure GDA0001139710530000271
如该实施方式3那样，在使用PWM方式将从光源发出的脉冲光的照明期间设为了可变的情况下，也按照每个像素，考虑是位于重合行还是位于非重合行，并且考虑照明时像素信号的生成对象的脉冲光的照明期间、与该行的曝光期间所包含的其他脉冲光的照明期间的比率，运算照明时像素信号即可。另外，在实施方式3中，显示控制部47也与实施方式1、2同样，根据图像处理部45生成的照明时像素信号，生成显示用图像信号即可。
此外，读出部243只要能够进行受光部242的曝光控制和读出控制即可，因此不是一定需要在摄像部24中设置读出部243，也可以在处理装置4、204的图像处理部45的前级设置读出部243。
此外，在本实施方式中，在从光源51发出的脉冲光的光路上设置分支部53，在能够接收分支部53分支后的光的位置设置光检测部54即可。例如，如图17所例示那样，可以在连接通用软线23A的连接器233A、和光源装置5的连接器55的适配器7中，设置分支部53和光检测部54。
如图17所示，适配器7具有连接器71、连接器72、光导缆线73、设置在光导缆线73的脉冲光L的传播路径上的分支部53、光检测部54、脉冲信号用软线74以及连接器75。连接器71与光源装置5的连接器55连接。连接器72与通用软线23A的连接器233A连接。光导缆线73将光源51的脉冲光L传播到通用软线23A的光导缆线235。脉冲信号用软线74将光检测部54转换而得到的脉冲信号Ep传输到处理装置4B。连接器75设置于脉冲信号用软线74的端部，与处理装置4B的连接器48B连接。另外，在图17的处理装置4B中，还示出连接器48A。在该连接器48A上，连接具有图像信号Eg的传输用缆线的分支软线231A端部的连接器232A。
此外，如图18所示，在由一体型的适配器7B连接处理装置4C、光源装置5以及通用软线23B的端部的一体型连接器233B的结构的情况下，在该一体型的适配器7B中设置分支部53和光检测部54即可。一体型的适配器7B在主体部中，除了分支部53和光检测部54以外，还具有与光源装置5的连接器55连接的连接器71、与处理装置4C的一体型连接器48连接的一体型连接器76、和与通用软线23B端部的一体型连接器233B连接的一体型连接器72B。在使光源装置5发出脉冲光的情况下，选择图17或图18所示的适配器7、7B，在使光源装置5发出脉冲光以外的光时，选择省略分支部53和光检测部54后的适配器，由此防止脉冲光以外的光的发光时的经由分支部53的光量衰减。另外，图17和图18所示的处理装置4B、4C具有与处理装置4相同的结构。此外，图17和图18仅示出光源装置5的主要部分。
并且，由本实施方式的处理装置45和其他结构部执行的针对各处理的执行程序可以构成为，以可安装形式或可执行形式的文件记录在CD-ROM、软盘、CD-R、DVD(DigitalVersatile Disk：数字多功能光盘)等计算机可读取的记录介质中来提供，也可以构成为，存储在与因特网等网络连接的计算机上并经由网络下载来提供。并且，还可以构成为，经由因特网等网络来提供或发布。
标号说明
1、201：内窥镜***；2、202：内窥镜；3：声音输入装置；4、204：处理装置；5：光源装置；6：显示装置；7、7B：适配器；21：***部；22：操作部；23、23A、23B：通用软线；24：摄像部；31：软线；41：输入部；42：振动频率检测部；43、43A：控制部；44、44A：定时检测部；45：图像处理部；46：存储器；47：显示控制部；51：光源；52：光源驱动器；53：分支部；54：光检测部；61：影像缆线；71、72、75、232、233、233A、311：连接器；72B、76、233B：一体型连接器；73：光导缆线；74：脉冲信号用软线；211a：照明窗；211：前端部；212：弯曲部；213：挠性管部；214：开口部；221：弯曲旋钮；222：处置器械***部；223：开关部；231、231A、234、234A：分支软线；241：光学***；242：受光部；243：读出部。

Claims (11)

1.一种处理装置，其特征在于，
具有信号处理部，所述信号处理部被从具有多个像素的摄像元件输入第1像素信号和第2像素信号，所述多个像素接收来自被脉冲光照明的被摄体的光而生成像素信号，所述第1像素信号是在至少一部分中包含所述脉冲光的照明期间的读出定时读出的1帧的像素信号，所述第2像素信号是在所述第1像素信号的1帧后的读出定时读出的1帧的像素信号，所述信号处理部在所述多个像素中的、所述脉冲光的所述照明期间与所述读出定时重合的重合行处，对所述第1像素信号中的与所述重合行对应的像素信号、和所述第2像素信号中的与所述重合行对应的像素信号进行合成，生成1帧的像素信号，
所述信号处理部在所述多个像素中的所述重合行以外的非重合行，比所述重合行靠下的行使用所述第1像素信号中的接收来自利用所述脉冲光照明的所述被摄体的光而生成的所述非重合行的像素信号、和比所述重合行靠上的行使用所述第2像素信号中的接收来自利用所述脉冲光照明的所述被摄体的光而生成的所述非重合行的像素信号，生成1帧的像素信号。
2.根据权利要求1所述的处理装置，其特征在于，
具有检测部，所述检测部取得从所述摄像元件读出像素信号的所述读出定时和所述脉冲光的所述照明期间，根据所述读出定时和所述照明期间，检测所述重合行，
所述信号处理部对与所述检测部所检测到的所述重合行对应的所述第1像素信号和所述第2像素信号进行合成。
3.一种摄像装置，其特征在于，具有：
受光部，其具有接收来自利用脉冲光照明的被摄体的光而生成像素信号的多个像素；
读出部，其针对所述受光部，进行对所述多个像素的曝光和来自所述多个像素的像素信号的读出；以及
信号处理部，其根据通过所述读出部在至少一部分中包含所述脉冲光的照明期间的读出定时读出的1帧的像素信号即第1像素信号、和在所述第1像素信号的1帧后的读出定时读出的1帧的像素信号即第2像素信号，在所述多个像素中的、所述脉冲光的所述照明期间与所述读出定时重合的重合行，对所述第1像素信号中的与所述重合行对应的像素信号、和所述第2像素信号中的与所述重合行对应的像素信号进行合成，生成1帧的像素信号，
所述信号处理部在所述多个像素中的所述重合行以外的非重合行处，比所述重合行靠下的行使用所述第1像素信号中的接收来自利用所述脉冲光照明的所述被摄体的光而生成的所述非重合行的像素信号、和比所述重合行靠上的行使用所述第2像素信号中的接收来自利用所述脉冲光照明的所述被摄体的光而生成的所述非重合行的像素信号，生成1帧的像素信号。
4.根据权利要求3所述的摄像装置，其特征在于，
具有检测部，所述检测部取得从所述受光部读出像素信号的所述读出定时和所述脉冲光的所述照明期间，根据所述读出定时和所述照明期间，检测所述重合行，
所述信号处理部对与所述检测部所检测到的所述重合行对应的所述第1像素信号和所述第2像素信号进行合成。
5.根据权利要求3所述的摄像装置，其特征在于，
所述受光部和所述读出部由CMOS摄像元件构成。
6.根据权利要求3所述的摄像装置，其特征在于，
所述受光部和所述读出部由CCD摄像元件构成。
7.一种内窥镜***，其特征在于，该内窥镜***具备：
光源，其发出用于对被摄体进行照明的脉冲光；
受光部，其具有接收来自利用所述光源的所述脉冲光照明的所述被摄体的光而生成像素信号的多个像素；
读出部，其对所述受光部，进行对所述多个像素的曝光并从所述多个像素读出像素信号；以及
信号处理部，其根据通过所述读出部在至少一部分中包含所述脉冲光的照明期间的读出定时读出的1帧的像素信号即第1像素信号、和在所述第1像素信号的1帧后的读出定时读出的1帧的像素信号即第2像素信号，在所述多个像素中的、所述脉冲光的所述照明期间与所述读出定时重合的重合行处，对所述第1像素信号中的与所述重合行对应的像素信号、和所述第2像素信号中的与所述重合行对应的像素信号进行合成，生成1帧的像素信号，
所述信号处理部在所述多个像素中的所述重合行以外的非重合行，比所述重合行靠下的行使用所述第1像素信号中的接收来自利用所述脉冲光照明的所述被摄体的光而生成的所述非重合行的像素信号、和比所述重合行靠上的行使用所述第2像素信号中的接收来自利用所述脉冲光照明的所述被摄体的光而生成的所述非重合行的像素信号，生成1帧的像素信号。
8.根据权利要求7所述的内窥镜***，其特征在于，
具有检测部，所述检测部取得从所述受光部读出像素信号的所述读出定时和所述脉冲光的所述照明期间，根据所述读出定时和所述照明期间，检测所述重合行，
所述信号处理部对与所述检测部所检测到的所述重合行对应的所述第1像素信号和所述第2像素信号进行合成。
9.根据权利要求7所述的内窥镜***，其特征在于，
所述被摄体是声带。
10.根据权利要求9所述的内窥镜***，其特征在于，该内窥镜***还具有：
声音输入部，其被输入声音；
振动周期检测部，其检测输入到所述声音输入部的声音的振动周期；以及
光源控制部，其与由所述振动周期检测部检测到的声音的振动周期同步地，控制所述光源的脉冲光的照明定时和照明期间。
11.根据权利要求7所述的内窥镜***，其特征在于，
具有光源控制部，该光源控制部使所述光源的脉冲光的照明定时与所述受光部和所述读出部的帧周期同步，并且根据由所述读出部读出的像素信号，控制所述光源的脉冲光的照明期间。
CN201580022078.6A 2014-06-18 2015-06-09 处理装置、摄像装置以及内窥镜*** Active CN106256123B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-125360 2014-06-18
JP2014125360 2014-06-18
PCT/JP2015/066557 WO2015194415A1 (ja) 2014-06-18 2015-06-09 処理装置、撮像装置および内視鏡システム

Publications (2)

Publication Number Publication Date
CN106256123A CN106256123A (zh) 2016-12-21
CN106256123B true CN106256123B (zh) 2020-09-01

Family

ID=54935402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580022078.6A Active CN106256123B (zh) 2014-06-18 2015-06-09 处理装置、摄像装置以及内窥镜***

Country Status (5)

Country Link
US (1) US10051193B2 (zh)
EP (1) EP3160130A4 (zh)
JP (1) JP5948512B2 (zh)
CN (1) CN106256123B (zh)
WO (1) WO2015194415A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043428A1 (ja) * 2016-09-05 2018-03-08 オリンパス株式会社 内視鏡および内視鏡システム
JP6495564B2 (ja) * 2017-01-17 2019-04-03 オリンパス株式会社 撮像装置及び内視鏡システム
US10835116B2 (en) 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
WO2019155902A1 (ja) * 2018-02-09 2019-08-15 オリンパス株式会社 撮像システム
GB201808980D0 (en) * 2018-06-01 2018-07-18 Secr Defence Method and apparatus for detecting pulsed radiation
JP7265823B2 (ja) * 2018-10-19 2023-04-27 キヤノン株式会社 撮像装置及びプログラム
JP2020151402A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び内視鏡システム
JP7394547B2 (ja) 2019-06-28 2023-12-08 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、医療用観察システム、制御方法およびプログラム
JP7235608B2 (ja) 2019-06-28 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 光源制御装置、医療用観察システム、光源制御方法およびプログラム
WO2022014058A1 (ja) * 2020-07-17 2022-01-20 オリンパス株式会社 内視鏡システム、制御装置、照明方法およびプログラム
JP2022082350A (ja) * 2020-11-20 2022-06-01 ソニー・オリンパスメディカルソリューションズ株式会社 光源制御装置及び医療用観察システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1420592A1 (en) * 2002-11-18 2004-05-19 Machida Endoscope Co., Ltd Vibrating object observing system
WO2014017165A1 (ja) * 2012-07-24 2014-01-30 オリンパスメディカルシステムズ株式会社 制御装置および撮像システム
CN103732119A (zh) * 2011-12-27 2014-04-16 奥林巴斯医疗株式会社 摄像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000300514A (ja) * 1999-04-16 2000-10-31 Olympus Optical Co Ltd 内視鏡撮像装置
JP2003000537A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 内視鏡用の撮像方法および装置
JP2008229222A (ja) * 2007-03-23 2008-10-02 Hoya Corp 内視鏡用光源装置
JP2009136447A (ja) 2007-12-05 2009-06-25 Hoya Corp 光源制御システム、シャッタ制御システム。内視鏡プロセッサ、および内視鏡システム
JP5144481B2 (ja) 2008-12-02 2013-02-13 富士フイルム株式会社 撮像装置及び撮像方法
JP5452242B2 (ja) * 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5634901B2 (ja) 2010-05-10 2014-12-03 パナソニック株式会社 撮像装置、外部閃光補正方法、プログラム、および、集積回路
JP5575567B2 (ja) * 2010-07-09 2014-08-20 池上通信機株式会社 撮像信号処理回路及び撮像信号処理方法
JP5200200B2 (ja) * 2011-06-14 2013-05-15 オリンパスメディカルシステムズ株式会社 医療機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1420592A1 (en) * 2002-11-18 2004-05-19 Machida Endoscope Co., Ltd Vibrating object observing system
CN103732119A (zh) * 2011-12-27 2014-04-16 奥林巴斯医疗株式会社 摄像装置
WO2014017165A1 (ja) * 2012-07-24 2014-01-30 オリンパスメディカルシステムズ株式会社 制御装置および撮像システム

Also Published As

Publication number Publication date
EP3160130A1 (en) 2017-04-26
CN106256123A (zh) 2016-12-21
US20170064178A1 (en) 2017-03-02
US10051193B2 (en) 2018-08-14
JPWO2015194415A1 (ja) 2017-04-20
EP3160130A4 (en) 2018-02-28
JP5948512B2 (ja) 2016-07-06
WO2015194415A1 (ja) 2015-12-23

Similar Documents

Publication Publication Date Title
CN106256123B (zh) 处理装置、摄像装置以及内窥镜***
JP6072372B2 (ja) 内視鏡システム
JP5927370B1 (ja) 撮像装置および処理装置
US20130307951A1 (en) Imaging apparatus
JP5467182B1 (ja) 撮像システム
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2015114906A1 (ja) 撮像システムおよび撮像装置
JP6360988B1 (ja) 内視鏡および内視鏡システム
JP5926980B2 (ja) 撮像装置および撮像システム
JP2012239757A (ja) 医療機器及び医療用プロセッサ
JP6137892B2 (ja) 撮像システム
CN111629651B (zh) 摄像***和照明控制方法
JP2021007548A (ja) 制御装置、医療用観察システム、制御方法およびプログラム
JP6099445B2 (ja) 撮像システム
JP5885617B2 (ja) 撮像システム
JP2020151402A (ja) 医療用制御装置及び内視鏡システム
JP5932191B1 (ja) 伝送システムおよび処理装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP2016025509A (ja) 撮像システムおよび内視鏡

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant