JP5820960B1 - 撮像装置、撮像装置の作動方法 - Google Patents

撮像装置、撮像装置の作動方法 Download PDF

Info

Publication number
JP5820960B1
JP5820960B1 JP2015530808A JP2015530808A JP5820960B1 JP 5820960 B1 JP5820960 B1 JP 5820960B1 JP 2015530808 A JP2015530808 A JP 2015530808A JP 2015530808 A JP2015530808 A JP 2015530808A JP 5820960 B1 JP5820960 B1 JP 5820960B1
Authority
JP
Japan
Prior art keywords
mode
switching
illumination light
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015530808A
Other languages
English (en)
Other versions
JPWO2015083684A1 (ja
Inventor
智樹 岩崎
智樹 岩崎
和真 金子
和真 金子
橋本 進
進 橋本
祐二 久津間
祐二 久津間
聡一郎 小鹿
聡一郎 小鹿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015530808A priority Critical patent/JP5820960B1/ja
Application granted granted Critical
Publication of JP5820960B1 publication Critical patent/JP5820960B1/ja
Publication of JPWO2015083684A1 publication Critical patent/JPWO2015083684A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

第1照明光、または相対的に出射光量が少ない第2照明光を被写体へ出射する光源装置(4)と、第1または第2照明光によって照明された被写体を撮像して画像を取得する撮像素子(15)と、第1照明光を出射し撮像する第1モードと第2照明光を出射し撮像する第2モードとを遷移させ、モード遷移完了後に、画像を遷移後のモードにおいて処理するための処理パラメータと、照明光の強度を制御するための明るさ制御パラメータと、の少なくとも一方を設定するCPU(30)と、を備える撮像装置。

Description

本発明は、照明光の出射光量が異なる複数のモードを遷移可能な撮像装置、撮像装置の作動方法に関する。
従来より、被写体へ出射する照明光の光量が異なる複数の観察モードを有し、これらの観察モードを切り替えて被写体を観察する内視鏡などの撮像装置が知られている。
内視鏡における照明光の光量が異なる複数の観察モードは、具体例としては、被写体に白色光を出射する白色観察(WLI)モードや、狭帯域光を出射する狭帯域観察(NBI)モードなどが挙げられる。ここに、白色観察モードにおいては、光源が出射可能な光量のほぼ全てを照明光として採用できるのに対して、狭帯域観察モードでは、光源が出射可能な光量の一部しか採用できないために、狭帯域観察モードにおいて出射可能な照明光の光量は、白色観察モードにおいて出射可能な照明光の光量に対して相対的に低い。そして、これらの観察モードは、単に絶対的な出射光量が異なるだけでなく、照明光の波長帯域を異ならせることにより、目的に応じた観察を行うモードとなっている。
具体的に、こうした撮像装置では、光源装置にフィルタ等の波長変更部を設けて、異なる光量および波長帯域の照明光を照射するようになっている。
しかし、波長変更時、つまり波長変更部がフィルタを選択する動作を行う際には、一時的に目的の照明光と全く異なる照明光が発生してしまうことがある。例えば、フィルタとフィルタの間の枠の影響で一時的に照明光が全く出射されなかったり、複数のフィルタの組み合わせによっては、予期できない強い光量の照明光が出射されることがある。一方で、撮像装置には、モニタ等に表示する画像の明るさを一定に保つための光量調整部が設けられていることがあるが、光量調整部はこうした場合であっても光量を制御するために、光量調整部の応答性が照明光の変化に追従できないことに起因して、モニタ画像の明るさがかえって大きく乱れたりすることがあった。
このような観点に鑑みてなされた技術として、例えば日本国特開2009−148487号公報には、キセノンランプから発光された光の波長を変更するための複数のフィルタを、出射光の光路上に配置可能に有する光源装置および内視鏡装置において、波長を変更する動作中は光量の制御を停止することで観察モードを切り替える際のレスポンスを良くする技術が記載されている。
このような技術によれば、観察モードが切り替わる途中の画像の明るさ乱れを低減することができる。ところで、複数の観察モードを切り替える際には、単にフィルタを照明光の光路上に挿脱するだけでなく、得られた画像を処理するための画像処理パラメータも設定を切り替える必要がある。この画像処理パラメータが切り替えられると、画像の色調が変化することになる。
しかし、画像処理パラメータの切り替えが明るい画像を表示している途中で行なわれると、色調の変化が顕著に見えることになり、ユーザーにとっては色乱れとして認識されてしまう。上記日本国特開2009−148487号公報では、このような色の乱れについては考慮がなされていなかった。さらに、キセノンランプの前に設けられたフィルタをメカ的に移動させる構成に代えて、仮に、LEDなどの半導体光源を光源として採用した場合を考えると、照明光の切り替えがほとんど瞬時に行われるために、照明光の切替途中に画像処理パラメータを切り替える時間的余裕が少なく、照明光の切替の前または後に、切り替え後の観察モードに適した画像処理パラメータを設定する必要があるために、色の乱れがより目立つことになってしまう。
加えて、上述したように観察モードが異なると絶対的な出射光量が異なるために、観察モードの切り替わり前後で照明光として出射される光の量が極端に変化してしまい、結果として、観察モードの切り替わり前後で画像が極端に明るくなったり暗くなったりする現象が生じることになる。具体的に、白色観察モードから狭帯域観察モードへ遷移する場合には、相対的な出射光量が極端に減少することから、暗い画像が表示されてしまうことになる。また、狭帯域観察モードから白色観察モードへ遷移する場合には、相対的な出射光量が極端に増加することから、白とびの目立つ画像が表示されてしまうことになる。しかし、上記日本国特開2009−148487号公報では、観察モードの切り替え途中の明るさ乱れを低減することは考慮されているものの、観察モードの切り替え直後に現れる明るさ乱れに対する措置については考慮されていなかった。
本発明は上記事情に鑑みてなされたものであり、観察モードが切り替わる際の画像の色乱れや、観察モードが切り替わった後の画像の明るさの乱れを低減することができる撮像装置、撮像装置の作動方法を提供することを目的としている。
本発明のある態様による撮像装置は、第1照明光、または前記第1照明光よりも相対的に出射光量が少ない第2照明光を被写体へ出射可能に設けられた光源部と、前記第1照明光または前記第2照明光によって照明された前記被写体を撮像することにより画像を取得する画像取得部と、前記第1照明光により前記被写体を照明して撮像する第1モードと、前記第2照明光により前記被写体を照明して撮像する第2モードと、の内の一方から他方へモードを切り替えるモード切替部と、前記モード切替部によって前記光源部から出射される照明光が切替後のモードに対応した照明光へ切り替えられる前または前記切替後のモードに対応した照明光への切替が完了した後に、前記画像取得部により取得される前記画像を切替後のモードにおいて処理するための処理パラメータと、前記光源部から出射される照明光の強度を制御するための明るさ制御パラメータと、の少なくとも一方を設定可能に構成されたパラメータ設定部と、前記モード切替部によるモードの切替が前記第1モードから前記第2モードへ行われるか、前記第2モードから前記第1モードへ行われるかに応じて、前記パラメータ設定部による前記処理パラメータを、前記切替後のモードに対応した照明光への切替を開始する前に設定するか、前記切替後のモードに対応した照明光への切替が完了した後に設定するかを制御する制御部と、を具備している。
本発明のある態様による撮像装置の作動方法は、光源部が、第1照明光、または前記第1照明光よりも相対的に出射光量が少ない第2照明光を被写体へ出射するステップと、画像取得部が、前記第1照明光または前記第2照明光によって照明された前記被写体を撮像することにより画像を取得する画像取得ステップと、モード切替部が、前記第1照明光により前記被写体を照明して撮像する第1モードと、前記第2照明光により前記被写体を照明して撮像する第2モードと、の内の一方から他方へモードを切り替えるモード切替ステップと、パラメータ設定部が、前記モード切替ステップによって前記光源部から出射される照明光が切替後のモードに対応した照明光へ切り替えられる前または前記切替後のモードに対応した照明光への切替が完了した後に、前記画像取得ステップにより取得される前記画像を切替後のモードにおいて処理するための処理パラメータと、前記照明ステップにより出射される照明光の強度を制御するための明るさ制御パラメータと、の少なくとも一方を設定するパラメータ設定ステップと、制御部が、前記モード切替ステップによるモードの切替が前記第1モードから前記第2モードへ行われるか、前記第2モードから前記第1モードへ行われるかに応じて、前記パラメータ設定ステップによる前記処理パラメータを、前記切替後のモードに対応した照明光への切替を開始する前に設定するか、前記切替後のモードに対応した照明光への切替が完了した後に設定するかを制御するステップと、を有している。
本発明の実施形態1において、撮像装置が適用された内視鏡システムの構成を示すブロック図。 上記実施形態1の内視鏡システムにおける観察モード変更処理を示すフローチャート。 上記実施形態1において、図2のステップS4におけるNBI切替処理の詳細を示すフローチャート。 上記実施形態1において、図2のステップS5におけるWLI切替処理の詳細を示すフローチャート。 本発明の実施形態2におけるNBI切替処理の詳細を示すフローチャート。 上記実施形態2におけるWLI切替処理の詳細を示すフローチャート。 上記実施形態2のNBI切替処理における応答性の変化の様子を示す線図。 上記実施形態2のNBI切替処理における変更ステップの変化の様子を示す線図。 上記各実施形態に関連して、撮像装置が適用された内視鏡システムの構成を示すブロック図。 上記各実施形態に関連して、画像処理装置の構成の詳細を示すブロック図。 上記各実施形態に関連して、画像における周期性ノイズの一例を示す図。 上記各実施形態に関連して、画像における周期性ノイズの他の例を示す図。 上記各実施形態に関連して、内視鏡システムにおける周期性ノイズ除去処理を示すフローチャート。 上記各実施形態に関連して、図13のステップS56における周期性ノイズ緩和処理の詳細を示すフローチャート。 上記各実施形態に関連して、プリフリーズ機能使用時に観察モード切替後のフリーズ画像に生じる乱れを説明するためのタイミングチャート。 上記各実施形態に関連して、観察モード切替後のフリーズ画像に乱れが生じるか否かがプリフリーズレベルに応じて変化する様子を説明するためのタイミングチャート。 上記各実施形態に関連して、観察モード切替後のフリーズ画像に乱れが生じないようにするための制御の様子を示すタイミングチャート。 上記各実施形態に関連して、観察モード切替後のフリーズ画像に乱れが生じないようにするためのプリフリーズ制御処理を示すフローチャート。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図4は本発明の実施形態1を示したものであり、図1は撮像装置が適用された内視鏡システムの構成を示すブロック図である。
この内視鏡システムは、暗所にある被写体(内視鏡の分野においては被検体ともいう)を観察するためのものであり、内視鏡1と、画像処理装置2と、光源装置4と、モニタ5と、を備えた電子内視鏡システムである。
内視鏡1は、コネクタ11と、ライトガイド12と、照明光学系13と、結像光学系14と、撮像素子15と、を備えている。
コネクタ11は、内視鏡1を画像処理装置2や光源装置4へ接続するものである。
ライトガイド12は、光源装置4から供給される照明光を内視鏡1の挿入部の先端側へ伝送する。
照明光学系13は、ライトガイド12により伝送された照明光を、内視鏡1の挿入部の先端から暗所にある被写体に対して照射する。
結像光学系14は、被写体の光学像を結像するものである。
撮像素子15は、結像光学系14により結像された、後述する第1照明光(本実施形態においては白色光)または第2照明光(本実施形態においては狭帯域光)によって照明された被写体の光学像を撮像して画像を取得し映像信号として出力する画像取得部である。この撮像素子15から出力された画像は、コネクタ11を介して画像処理装置2へ伝送される。
画像処理装置2は、内視鏡1を制御駆動し、内視鏡1から得られた画像を処理するものであり、アナログ処理部21と、A/D変換部22と、WB(ホワイトバランス)処理部23と、第1デジタル処理部24と、色マトリクス処理部25と、第2デジタル処理部26と、D/A変換部27と、測光部28と、フロントパネル29と、CPU30と、を備えている。
アナログ処理部21は、撮像素子15から出力される画像に相関二重サンプリング(CDS)を行ってノイズを低減する。
A/D変換部22は、アナログ処理部21から出力されたアナログ信号をデジタル信号に変換する。
WB処理部23は、第1モードである白色観察(WLI:White Light Imaging)モード用のホワイトバランス処理を行うWLI−WB処理部23aと、第2モードである狭帯域観察(NBI:Narrow Band Imaging)モード用のホワイトバランス処理を行うNBI−WB処理部23bと、入力側選択スイッチ23cと、出力側選択スイッチ23dと、を備えている。
WLI−WB処理部23aは、光源装置4が白色光(第1照明光)を出射するWLIモードにおいて、モニタ5に表示する画像のホワイトバランス処理を行う。
NBI−WB処理部23bは、光源装置4が狭帯域光(第2照明光)を出射するNBIモードにおいて、モニタ5に表示する画像のホワイトバランス処理を行う。
入力側選択スイッチ23cおよび出力側選択スイッチ23dは、CPU30の制御に基づき連動して切り替えられるようになっており、観察モードがWLIモードに設定されている場合にはWLI−WB処理部23aへの入力がなされるように入力側選択スイッチ23cが切り替えられると共にWLI−WB処理部23aからの出力がなされるように出力側選択スイッチ23dが切り替えられ、観察モードがNBIモードに設定されている場合にはNBI−WB処理部23bへの入力がなされるように入力側選択スイッチ23cが切り替えられると共にNBI−WB処理部23bからの出力がなされるように出力側選択スイッチ23dが切り替えられる。
第1デジタル処理部24は、WB処理部23から出力された画像に対して、同時化処理などの画像処理を行う。この第1デジタル処理部24により行われる画像処理には、観察モードがWLIモードであるかNBIモードであるかに応じてCPU30により設定されたゲインに基づく信号増幅(AGC(オートゲインコントロール)の機能の一部)の処理が含まれている。
色マトリクス処理部25は、WLIモード用の色マトリクス処理を行うWLI−色マトリクス処理部25aと、NBIモード用の色マトリクス処理を行うNBI−色マトリクス処理部25bと、入力側選択スイッチ25cと、出力側選択スイッチ25dと、を備えている。
WLI−色マトリクス処理部25aはWLIモードにおいて画像の色マトリクス処理を行い、NBI−色マトリクス処理部25bはNBIモードにおいて画像の色マトリクス処理を行う。
入力側選択スイッチ25cおよび出力側選択スイッチ25dは、WB処理部23における各スイッチと同様に、CPU30の制御に基づき連動して切り替えられるようになっており、WLIモード時にはWLI−色マトリクス処理部25aへの入/出力がなされるように切り替えられ、NBIモード時にはNBI−色マトリクス処理部25bへの入/出力がなされるように切り替えられる。
第2デジタル処理部26は、色マトリクス処理部25により処理された画像に、γ変換などの各種の画像処理を行う。
D/A変換部27は、第2デジタル処理部26により処理されたデジタルの画像信号をアナログの画像信号に変換してモニタ5へ出力する。
測光部28は、撮像素子15により取得されA/D変換部22によりデジタル信号に変換された画像の明るさを所定の演算頻度で演算して、測定した測光値をCPU30へ出力する。なお、測光部28における演算頻度は、CPU30からの設定により変更可能となっている。
フロントパネル29は、この画像処理装置2、あるいはこの内視鏡システム全体に対する入力操作やシステム状態の表示等を行うユーザインタフェースである。
CPU30は、この画像処理装置2、さらには内視鏡1や光源装置4を含むこの内視鏡システム全体の制御を行う制御部である。
すなわち、このCPU30は、白色光(第1照明光)により被写体を照明して撮像するWLIモード(第1モード)と、狭帯域光(第2照明光)により被写体を照明して撮像するNBIモード(第2モード)と、の内の一方から他方へモードを遷移させるモード遷移部として機能する。
さらに、CPU30は、モード遷移部としての機能によりモードの遷移が完了した後に、撮像素子15により取得される画像を遷移後のモードにおいて処理するための処理パラメータと、光源装置4から出射される照明光の強度を制御するための明るさ制御パラメータと、の少なくとも一方を設定するパラメータ設定部としても機能する。
CPU30は、さらに、モードの遷移が完了するよりも前に、画像を遷移後のモードにおいて処理するための処理パラメータを設定可能であり、モードの遷移が、WLIモードからNBIモードへ行われるか、NBIモードからWLIモードへ行われるかに応じて、処理パラメータを設定するタイミングを制御するパラメータ設定タイミング制御部としても機能するようになっている(具体的には、後述する図3および図4参照)。
また、CPU30は、AGCの機能の一部として、測光部28により得られた測光値と、観察モードがWLIモードまたはNBIモードの何れであるかと、に応じたゲインを設定し、設定したゲインを第1デジタル処理部24に送信して、第1デジタル処理部24に画像信号を増幅させる。
光源装置4は、第1照明光である白色光(WLI光)、または白色光よりも相対的に出射光量が少ない第2照明光である狭帯域光(NBI光)を被写体へ出射可能に設けられた光源部である。光源装置4は、照明ステップにおいて、第1照明光または第2照明光を被写体へ出射する。
この光源装置4は、暗所にある被写体に対して照射する照明光を、例えば光量可変に供給するものであり、光源41と、NBIフィルタ42と、回転フィルタ43と、絞り44と、CPU45と、を備えている。
光源41は、例えば、ハロゲンランプ、キセノンランプ、メタルハライドランプ等のランプ、あるいはLED等の半導体発光素子を含んで構成されている。なお、光源41が例えばランプである場合には電流制御により、また、半導体発光素子である場合にはパルス幅制御(いわゆるPWM)により、照明光の光量制御が行われる。
NBIフィルタ42は、光源41から出射される光をNBI観察用の狭帯域光に帯域制限する光学フィルタであり、NBIモード時に出射光の光路上に挿入され、WLIモード時に出射光の光路上から退避される。
回転フィルタ43は、光源41からの照明光を面順次光に変換するために、R(赤)、G(緑)、B(青)の各帯域通過フィルタをターレットの周方向に配置した回転式のフィルタである。そして、この回転フィルタ43を回転することにより、R光、G光、B光が時系列的に照射される。
絞り44は、光が通過する開口径を変化させることにより照明光の光量を制御する光量絞りである。こうして、光源41から発光され、絞り44を介して所定の光量となった照明光は、コネクタ11を介してライトガイド12の入射端に入射される。
CPU45は、測光値に基づくCPU30の制御に応じて、光源41の発光量を調整し、絞り44の開口径を調整する。従って、光源装置4からの発光量の調整は、測光値に基づくフィードバック制御として行われる。さらに、CPU45は、設定されている観察モードがWLIモードであるかNBIモードであるかに応じて、NBIフィルタ42および回転フィルタ43を制御する。
モニタ5は、画像処理装置2から出力された画像信号を表示する表示装置である。
次に、図2は内視鏡システムにおける観察モード変更処理を示すフローチャートである。
この処理を開始すると、NBIフィルタ42や回転フィルタ43を駆動するための駆動源に通電を開始するなどの、観察モードを切り替えるための準備である切替前処理を行う(ステップS1)。
次に、現在の観察モードを取得して(ステップS2)、現在の観察モードがWLIモードであるかNBIモードであるかを判定する(ステップS3)。
ここで、現在、WLIモードであると判定された場合には、NBIモードへ切り替えるためのNBI切替処理を行い(ステップS4)、NBIモードであると判定された場合には、WLIモードへ切り替えるためのWLI切替処理を行う(ステップS5)。
ステップS4またはステップS5の処理が終了したら、NBIフィルタ42や回転フィルタ43を駆動するための駆動源への通電を必要に応じて停止するなどの、観察モードを切り替えた後の切替後処理を行い(ステップS6)、この処理を終了する。
図3は、図2のステップS4におけるNBI切替処理の詳細を示すフローチャートである。
この処理に入ると、モード遷移部として機能するCPU30の制御に基づき、CPU45が、光源装置4のNBIフィルタ42を光源41から出射される照明光の光路上に挿入する(ステップS11)。これにより、モード遷移部によるモードの遷移が完了する。
その後、CPU30は、AGCの設定をWLIモードの設定からNBIモードの設定に変更し(ステップS12)、色マトリクス処理部25の入力側選択スイッチ25cおよび出力側選択スイッチ25dをWLI−色マトリクス処理部25aからNBI−色マトリクス処理部25bへ切り替え(ステップS13)、WB処理部23の入力側選択スイッチ23cおよび出力側選択スイッチ23dをWLI−WB処理部23aからNBI−WB処理部23bへ切り替えて(ステップS14)、この処理からリターンする。
こうして、パラメータ設定タイミング制御部として機能するCPU30は、モードの遷移が、WLIモードからNBIモードへ行われるWLI切替処理の場合には、WLIモードからNBIモードへの遷移が完了した後に、NBIモードにおける画像を処理するための処理パラメータ(AGC、色マトリクス処理部25、WB処理部23等の各処理パラメータ)を設定するように処理パラメータを調整するタイミングを制御する。
図4は、図2のステップS5におけるWLI切替処理の詳細を示すフローチャートである。
この処理に入ると、CPU30は、WB処理部23の入力側選択スイッチ23cおよび出力側選択スイッチ23dをNBI−WB処理部23bからWLI−WB処理部23aへ切り替え(ステップS21)、色マトリクス処理部25の入力側選択スイッチ25cおよび出力側選択スイッチ25dをNBI−色マトリクス処理部25bからWLI−色マトリクス処理部25aへ切り替えて(ステップS22)、AGCの設定をNBIモードの設定からWLIモードの設定に変更する(ステップS23)。
次に、モード遷移部として機能するCPU30の制御に基づき、CPU45が、光源装置4のNBIフィルタ42を光源41から出射される照明光の光路上から退避させる(ステップS24)。これにより、モード遷移部によるモードの遷移が完了する。その後、この処理からリターンする。
こうして、パラメータ設定タイミング制御部として機能するCPU30は、モードの遷移が、NBIモードからWLIモードへ行われるNBI切替処理の場合には、NBIモードからWLIモードへの遷移が開始される前に、WLIモードにおける画像を処理するための処理パラメータ(AGC、色マトリクス処理部25、WB処理部23等の各処理パラメータ)を設定するように処理パラメータを調整するタイミングを制御する。
このような実施形態1によれば、WLIモードからNBIモードに切り替える際に、NBIフィルタ42を光路上に挿入した後に、画像を処理するための処理パラメータを変更するようにしたために、明るい画像が得られるWLI光下ではなく、より暗い画像が得られるNBI光下で処理パラメータが変更されることになり、画像の色乱れをより目立たなくすることができる。
また、NBIモードからWLIモードに切り替える際に、NBIフィルタ42を光路上から退避させる前に、画像を処理するための処理パラメータを変更するようにしたために、明るい画像が得られるWLI光下ではなく、より暗い画像が得られるNBI光下で処理パラメータが変更されることになり、画像の色乱れをより目立たなくすることができる。
こうして、観察モードが切り替わる際の画像の色乱れを低減することが可能となる。
[実施形態2]
図5から図8は本発明の実施形態2を示したものであり、図5はNBI切替処理の詳細を示すフローチャートである。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態1は、観察モードが切り替わる際の画像の色乱れを低減するものであったが、本実施形態2は、観察モードが切り替わった後の画像の明るさの乱れを低減するものとなっている。
NBIモードでの動作中、またはWLIモードでの動作中は、画像の明るさの調整は、測光部28から測光値を得たCPU30の制御に基づき、撮像素子15の露光時間を調整し、第1デジタル処理部24のゲインを調整し、CPU45が光源41の発光量を上述した電流制御やパルス幅制御により調整し、CPU45が絞り44の開口径を調整するなどにより行われる。従って、明るさ制御パラメータの幾つかの例としては、光源41へ供給する電流値、光源41がLED等の半導体発光素子である場合のPWMにおけるパルス幅、撮像素子15の露光時間、撮像素子15により撮像して得られた画像のゲイン、測光部28における演算頻度などが挙げられる。
このときCPU30は、測光部28により得られた測光値に基づいて、モニタ5に表示される画像の明るさが所定の明るさに近付くように、明るさ調整を行う。
ここで、画像の明るさを調整する時間間隔をあまり短くしたり(つまり、調整のレスポンスをあまり速くしたり)、画像の明るさを調整する調整幅をあまり大きくしたりすると、短時間に画像の明るさが上下に変動して不安定となるハンチングの原因となってしまうことがある。そこで、パラメータ設定部として機能するCPU30は、画像の明るさを制御する明るさ制御パラメータを、所定の単位時間毎に、所定のステップ幅の変更ステップを単位として調整し設定するようにして、単位時間および変更ステップをハンチングが発生しない程度の大きさに制御している。従って例えば、明るさを調整したい変更幅が変更ステップのステップ幅よりも大きい場合には、調整に複数の単位時間をかけて、漸近的に目標の明るさに近付けていくことになる。
これに対して、観察モードが切り替わる際の画像の明るさの変化量は、NBIモードでの動作中、またはWLIモードでの動作中における画像の明るさの変化量と比べて格段に大きく、通常の明るさ調整制御では適切な画像の明るさを得るまでに長い時間を要することになり、その間は不適切な明るさの画像を観察することになってしまう。
そこで本実施形態においては、観察モードを切り替える際の、画像の明るさを調整する時間間隔を通常時よりも短くし、画像の明るさを調整する調整幅を通常時よりも大きくするようにしている。
本実施形態において、上述した実施形態1の図2のステップS4とステップS5とにおいて行われる各処理について、図5と図6に沿って、図7および図8を参照しながら説明する。
この図5に示すNBI切替処理に入ると、モード遷移部として機能するCPU30の制御に基づき、CPU45が、光源装置4のNBIフィルタ42を光源41から出射される照明光の光路上に挿入する(ステップS31)。これにより、モード遷移部によるモードの遷移が完了する。
すると、CPU30は、光源装置4から出射される照明光の強度を制御するための明るさ制御パラメータの応答性を高めると共に変更ステップを増大し(ステップS32)、増大された明るさ制御パラメータに基づき画像の明るさを制御する(ステップS33)。
その後、所定時間が経過したところで、明るさ制御パラメータの変更ステップを通常時の変更ステップに戻して(ステップS34)、この処理からリターンする。
ここで、図7はNBI切替処理における応答性の変化の様子を示す線図、図8はNBI切替処理における変更ステップの変化の様子を示す線図である。
図7に示すように、測光部28における演算頻度を設定するためのパラメータ(明るさ制御パラメータの1つ)である明るさ制御の応答性は、通常時はハンチング等を防ぐためにある程度ゆっくりした一定レベルに抑制されているが、WLIモードからNBIモードへの遷移が完了した後の所定期間内は演算頻度がモード遷移前(通常時)よりも高くなるようにレベルを引き上げられ、所定期間が経過した後は再び通常時の一定レベルに戻される。
このとき、所定期間内における応答性は、一定の高いレベルであっても構わないが、図7に示すように漸近的に通常時の一定レベルに戻るように低減させても良い。
また、図8の下図の点線グラフに示すように、パラメータ設定部として機能するCPU30は、通常時は明るさの変化が極端に大きくならないように、明るさ制御パラメータを変更する単位である変更ステップを一定レベルに抑制している。
これに対して、観察モードの遷移が行われるときには画像の明るさが大きく変化することになるために、通常時と同様の制御を行っただけでは画像の明るさが安定するまでに時間を要することになる。そこで、観察モードの遷移が完了した直後の所定期間内は、通常時のステップ幅の制限にとらわれることなく、より大きなステップ幅を設定するようにしている。
具体的に、図8に示すようなWLIモードからNBIモードへの遷移が完了した直後の所定期間内において、CPU30は、変更ステップを、通常時の変更ステップよりも大きく(高いレベルに)設定する。そして、その後すぐに、CPU30は、変更ステップを通常時の一定レベルに戻す。
従って、モード遷移が完了した直後の所定期間内の変更ステップのレベルは、WLIモードにおける画像の明るさと、NBIモードにおける画像の明るさと、の変化量に相当するレベルとすることが好ましい。その結果、図8の上図の実線グラフに示すように、モード遷移が完了した直後の所定期間内において、WLIモードにおける明るさ制御パラメータの値から、NBIモードにおける明るさ制御パラメータの値へほぼ瞬間的に変更される。これにより、NBIモードにおいてWLIモードにおける明るさ制御パラメータが用いられることはなく、NBIモードを開始した瞬間からNBIモードに適した明るさの画像を観察することができる。
ただし、図8に示す例では1回のステップで明るさ制御パラメータをWLIモードからNBIモードへ変更しているが、通常時の変更ステップで変更する場合よりもステップ数を減少することができれば、複数ステップをかけて変更するようにしても構わない。この場合であっても、NBIモードに適した明るさの画像に、より短い時間で到達することが可能となる。
次に、図6は、本実施形態におけるWLI切替処理の詳細を示すフローチャートである。
この処理に入ると、モード遷移部として機能するCPU30の制御に基づき、CPU45が、光源装置4のNBIフィルタ42を光源41から出射される照明光の光路上から退避させる(ステップS41)。これにより、モード遷移部によるモードの遷移が完了する。
すると、CPU30は、光源装置4から出射される照明光の強度を制御するための明るさ制御パラメータの応答性を高めると共に変更ステップを増大し(ステップS42)、増大された明るさ制御パラメータに基づき画像の明るさを制御する(ステップS43)。
その後、所定時間が経過したところで、明るさ制御パラメータの変更ステップを通常時の変更ステップに戻して(ステップS44)、この処理からリターンする。
なお、図7および図8にはNBI切替処理時(WLIモードからNBIモードへ切り替えるとき)の応答性や明るさ制御パラメータの変更ステップの例を記載したが、このWLI切替処理時(NBIモードからWLIモードへ切り替えるとき)についても同様に、所定期間だけ応答性を高め、モード遷移が完了した直後の所定期間内の変更ステップのレベルを大きく設定することになる。
このような実施形態2によれば、WLIモードからNBIモードに切り替えるとき、またはNBIモードからWLIモードに切り替えるときに、明るさ制御パラメータの応答性を高めて変更ステップを大きくするようにしたために、観察モードが切り替わった直後の画像の明るさの乱れを低減することが可能となる。
また、所定期間内において、一旦高めた応答性を漸近的に通常時の応答性に近付けることにより、短時間での応答を可能にしながら、ハンチングを効果的に低減することが可能となる。
なお、上述した各実施形態においては、第1照明光を白色光、第2照明光を狭帯域光としたが、これに限定されるものではなく、相対的に出射光量が異なる2種類の照明光において、出射光量が多い方を第1照明光、出射光量が少ない方を第2照明光とすれば、任意の照明光に対して適用することができる。
[各実施形態の関連説明]
ところで、CCDなどの撮像素子は半導体構造(メタル、シリコン、コンタクトなどが薄膜形成された構造)上、あるいはその他の電気的な理由上、光電変換して得られる画像信号に周期的な変化(例えば縞模様をなす周期的輝度変化)が発生する場合がある。例えば、撮像素子の受光面となるシリコン部分に感度ムラがある場合には、入射光の波長に依存した周期的な信号値変動が発生することがある。こうした撮像素子に固有の周期性ノイズ(いわゆる固定パターンノイズ)を低減する技術について、図9〜図14を参照して説明する。
図9は撮像装置が適用された内視鏡システムの構成を示すブロック図である。
この内視鏡システムは、内視鏡1と、画像処理装置2と、光源装置4と、を備えており、図示はしないがモニタ等も備えた電子内視鏡システムである。
内視鏡1は、撮像素子15と、ROM16と、を備えている。
撮像素子15は、被写体の光学像を撮像して画像を取得し映像信号として出力する画像取得部であり、例えばCCDとして構成されている。
ROM16は、内視鏡1に関するスコープ情報を不揮発に記憶する記憶媒体であり、撮像素子15の周期性ノイズ情報も記憶している。ここに、周期性ノイズ情報は、周期性ノイズのノイズ方向(縞模様が配列されている方向)とノイズ周期(縞模様が配列されている空間周期(空間長さ))とを含んでいる。
画像処理装置2は、内視鏡1を制御駆動し、内視鏡1から得られた画像を処理するものであり、フロントパネル29と、CPU30と、周期性ノイズ検出部31と、明るさ検出部32と、NBIマトリクス処理部33と、平滑化処理部34と、画像強調処理部35と、を備えている。
フロントパネル29は、この画像処理装置2、あるいはこの内視鏡システム全体に対する入力操作やシステム状態の表示等を行うユーザインタフェースである。このフロントパネル29を介して、周期性ノイズ除去処理のオン/オフを所望に設定することができるようになっている。
CPU30は、この画像処理装置2、さらには内視鏡1や光源装置4を含むこの内視鏡システム全体の制御を行う制御部である。この内視鏡システムは、白色光を被写体に照射して観察を行うWLIモードと、狭帯域光を被写体に照射して観察を行うNBIモードと、を切り替え可能に構成されており、CPU30は、フロントパネル29からの操作入力に基づいて、一方のモードから他方のモードへ遷移させるモード遷移部として機能する。そして、CPU30は、ROM16から得た周期性ノイズ情報に基づいて、周期性ノイズ検出部31と明るさ検出部32とNBIマトリクス処理部33と平滑化処理部34と画像強調処理部35とを制御し、周期性ノイズを低減する処理を含む各種の処理を行う。
周期性ノイズ検出部31は、撮像素子15から得られた画像中の周期性ノイズを検出する。ここに、周期性ノイズの検出は、例えば、注目画素と、注目画素の左右または上下に隣接する画素との輝度レベル差が所定の閾値以上であるか否かの判定を、例えば連続する10画素に対して行い、その結果から周期性を判定する等である。ただし、周期性ノイズの検出は、この例に限定されるものではなく、その他の各種の技術を適用することが可能である。この周期性ノイズ検出部31により検出された周期性ノイズは、CPU30によりROM16から読み出された周期性ノイズ情報と比較される。
明るさ検出部32は、画像の明るさを検出する。
NBIマトリクス処理部33は、NBIモードにおいて取得された画像のマトリクス演算処理を行う。
平滑化処理部34は、画像を平滑化して、画像の平坦部において目立つノイズを低減する処理を行う。ここに、平滑化処理は、例えば、ノイズ画素の近傍画素(例えば左右の画素、または上下の画素)の輝度レベルを検出して、近傍画素の輝度平均値を算出して補正値とし、ノイズ画素の画素値を補正値に置き換えることにより行う。ただし、平滑化処理は、この例に限定されるものではなく、その他の各種の技術を適用することが可能である。
画像強調処理部35は、画像に強調処理を施して、画像の輪郭やエッジをシャープにする処理を行う。
光源装置4は、白色光(WLI光)を発光するWLI光源4aと、狭帯域光(NBI光)を発光するNBI光源4bと、を備えた光源部である。
図10は、画像処理装置2の構成の詳細を示すブロック図である。
平滑化処理部34は、より詳しくは、画像を構成するカラー成分の内の、R(赤)成分の画像を平滑化するR平滑化処理部34rと、G(緑)成分の画像を平滑化するG平滑化処理部34gと、B(青)成分の画像を平滑化するB平滑化処理部34bと、を備えている。
また、画像強調処理部35は、より詳しくは、画像を構成するカラー成分の内の、R成分の画像を強調するR画像強調処理部35rと、G成分の画像を強調するG画像強調処理部35gと、B成分の画像を強調するB画像強調処理部35bと、を備えている。
次に、図11は画像における周期性ノイズの一例を示す図、図12は画像における周期性ノイズの他の例を示す図である。
図11および図12において、モニタの画面5aには、被写体の内視鏡像61が表示されると共に、周期性ノイズ62が表示されている。
ここに、図11に示す例においては、周期性ノイズ62は、水平方向に一定の空間周期をもつ縦縞となっている。
また、図12に示す例においては、周期性ノイズ62は、左上から右下の斜め方向に一定の空間周期をもつ線分状の横縞となっている。
なお、周期性ノイズのその他の例としては、斜め縞、ドットなどが挙げられる。
続いて、図13は、内視鏡システムにおける周期性ノイズ除去処理を示すフローチャートである。
図示しないメイン処理等からこの処理が呼び出されて実行が開始されると、CPU30は、周期性ノイズ情報を含むスコープ情報をROM16から取得する(ステップS51)。
また、周期性ノイズ検出部31が、撮像素子15により取得された画像の周期性ノイズを検出する(ステップS52)。
そして、CPU30は、ステップS52において検出された周期性ノイズのノイズ方向が、ステップS51において取得した周期性ノイズ情報から得られるノイズ方向と一致するか否かを判定する(ステップS53)。
ここで一致すると判定された場合には、CPU30は、ステップS52において検出された周期性ノイズのノイズ周期が、ステップS51において取得した周期性ノイズ情報から得られるノイズ周期と一致するか否かをさらに判定する(ステップS54)。
ここで一致すると判定された場合には、CPU30は、明るさ検出部32により得られた画像の明るさが、所定の明るさ以上であるか否かを判定する(ステップS55)。
ここで所定の明るさ以上であると判定された場合には、周期性ノイズ緩和処理を後述する図14に示すように行う(ステップS56)。
ステップS56の処理が終了するか、または、ステップS53においてノイズ方向が一致しないと判定された場合、ステップS54においてノイズ周期が一致しないと判定された場合、ステップS55において明るさが所定の明るさ以上でないと判定された場合には、この処理から図示しないメイン処理へリターンする。
ステップS56の周期性ノイズ緩和処理においては、後述するように、平坦化処理の強度を高めて強調処理の強度を低下させているが、このような処理は周期性ノイズを低減することができる一方で、画像の画質がやや劣化することになる。従って、必要がない画像処理を避けるために、ステップS53〜S55の判定処理を行っている。すなわち、ステップS53およびステップS54の条件の両方が一致しない場合には、周期性ノイズではないと判定されて、ステップS56の処理がスキップされる。また、周期性ノイズは画像の明るい部分においては目立つが、暗い部分においては比較的目立たない。そこで、ステップS55の判定を行って、画像の明るい部分のみでステップS56の処理を行うようにしている。
従って、図13(および図14)の処理は、画像単位で行っても良いが、不必要な周期性ノイズ緩和処理をできるだけ避けるために画像中の注目画素単位(あるいは注目画素ブロック単位など)で行うようにすると良い。
図14は、図13のステップS56における周期性ノイズ緩和処理の詳細を示すフローチャートである。
この処理に入ると、CPU30は、現在の観察モードを取得する(ステップS61)。
そして、CPU30は、現在の観察モードがNBIモードであるか否かを判定する(ステップS62)。
ここでNBIモードでなくWLIモードであると判定された場合には、CPU30は、G平滑化処理部34gによる平滑化強度を増大するように(つまり、画像がより平坦になるように)設定する(ステップS63)。ここに、周期性ノイズはレベルが高い信号(例えば、画像の明るい部分)において目立つ。そこで、後段の平滑化処理においてノイズ成分を目立たなくすることができるように、平滑化処理を行う前段において、RGB成分の内のレベルが最も高いG成分の平滑化強度のみを高く設定している。なお、被写体が生体である場合を考慮して、血管における主たる色成分であるR成分については平滑化強度を変更していない。
その後、平滑化処理部34による平滑化処理を実施する(ステップS64)。
さらに、CPU30は、G画像強調処理部35gによる画像強調の強度を低下するように設定する(ステップS65)。ここに、後段の強調処理によりノイズ成分も強調されてしまうことになるために、強調処理を行う前段において、RGB成分の内のレベルが最も高いG成分の画像強調の強度のみを低く設定している。なお、被写体が生体である場合を考慮して、血管における主たる色成分であるR成分については画像強調の強度を変更していない。
そして、画像強調処理部35による画像の強調処理を実施する(ステップS66)。
一方、ステップS62においてNBIモードであると判定された場合には、CPU30は、B平滑化処理部34bによる平滑化強度を増大するように設定する(ステップS67)。
ここに、撮像素子15への光の入射効率や、撮像素子15における光の変換効率は、光の波長によって異なる場合がある。例えば、白色光(WLI光)と狭帯域光(NBI光)とでは、波長帯域が異なるために周期性ノイズの現れ方も異なる。特にNBI光では、波長の短いB成分はG成分に比べて周期性ノイズが発現しやすい傾向がある。そこでNBIモードであるときには、RGB成分の内のB成分の平滑化強度のみを高く設定して、画像の劣化を極力抑制しながら効率的に周期性ノイズの低減を図るようにしている。
その後、平滑化処理部34による平滑化処理を実施する(ステップS68)。
さらに、CPU30は、B画像強調処理部35bによる画像強調の強度を低下するように設定する(ステップS69)。ここでもステップS67において上述したのと同様の理由により、NBIモードであるときには、RGB成分の内のB成分の画像強調の強度のみを低く設定して、画像の劣化を極力抑制しながら効率的に周期性ノイズの低減を図るようにしている。
そして、画像強調処理部35による画像の強調処理を実施する(ステップS70)。
こうして、ステップS66またはステップS70の処理が行われたらリターンする。
図9〜図14を参照して説明したような構成によれば、撮像素子15に起因する周期性ノイズに対して、画像処理による画像劣化を極力抑制しながら、観察モードやノイズの発生状況に応じて適切な処理を自動的に選択し、ノイズ低減を図ることが可能となる。
ところで、内視鏡には静止画を表示するためのフリーズスイッチが設けられており、動画を観察している最中に静止画を観察したい場合には、操作者がこのフリーズスイッチを操作することでフリーズ指示信号が発生され、信号発生時点の静止画像が表示されるようになっている。
このとき、フリーズ指示信号が発生された時点の静止画像をそのまま表示すると、取得された静止画像にもし画像ぶれがある場合には、ぶれた画像が表示されることになってしまう。そこで、表示される静止画像のぶれがなるべく小さくなるように、プリフリーズという機能が提案されている。
このプリフリーズにおいては、まず、内視鏡により被写体を動画撮像して得られるフレーム画像を、画像取得時のぶれ量情報に関連付けて、最新の複数フレーム分だけメモリに常時蓄えるようにしておく。そして、フリーズ指示信号が発生されたら、このフリーズ指示信号をトリガーとして、メモリに蓄えられた複数のフレーム画像の中から最もぶれ量の少ないフレーム画像(最小ぶれ画像)を検索し、検索して得られたフレーム画像を静止画として選択し表示するようになっている。
さらに、このプリフリーズ機能において、プリフリーズレベルを操作者が所望に設定することができる技術が提案されている。ここに、プリフリーズレベルは、静止画として表示しようとする画像の検索対象を、フリーズ指示信号が発生された時点からどれだけの時間長さだけ遡った画像までとするかを示し、具体的には、最新のフレーム画像から何フレーム分過去へ遡ったフレーム画像までが検索対象となるかを示している。
このようなプリフリーズ機能を使用しているときに、観察モードを切り換えると、フリーズ画像が乱れることがある。これについて図15および図16を参照して説明する。
図15はプリフリーズ機能使用時に観察モード切替後のフリーズ画像に生じる乱れを説明するためのタイミングチャート、図16は観察モード切替後のフリーズ画像に乱れが生じるか否かがプリフリーズレベルに応じて変化する様子を説明するためのタイミングチャートである。なお、図15、図16、および後述する図17において、複数配列されている四角形の1つが1枚のフレーム画像を表している。
WLIモード、NBIモード、AFIモード(自家蛍光観察モード)などの複数の観察モードの内の、何れか一の観察モードから、何れか他の観察モードへ切り替えを行う際にフリーズ操作を行うと、モード切替中に取得されたフレーム画像(図15〜図17においてハッチングを付したフレーム画像)の内の1つ(図15において例えばやや上にずらして記載したハッチングを付したフレーム画像)が上述したプリフリーズ機能によって最小ぶれ画像として選択されて、色や輝度が乱れた静止画像が表示されてしまう可能性がある。
そこで、観察モードを切り替える一連のプロセスを実行している期間と、観察モードを切り替える一連のプロセスが完了した後の所定の期間(以下、フリーズ禁止期間という)とにおいて、フリーズスイッチによるフリーズ操作が行われたとしても、発生されたフリーズ指示信号を受け付けないようにすることが考えられる。
具体的に、図15に示すように、観察モードを切り替えるプロセスが開始されて、光源装置内のフィルタの切り替えや、画像処理のマトリクス演算に用いられるカラーマトリクスの切り替えなどが行われ、観察モードを切り替えるプロセスが完了するのに例えば1.0秒を要したとする。このとき、観察モードを切り替えるプロセスが完了した後の例えば0.3秒をフリーズ禁止期間とすることが考えられる。
しかし、プリフリーズレベルを設定可能である場合には、検索対象として遡る時間長さが0.3秒を超えてしまう場合も考えられ、このときには図15に示すように、観察モード切替プロセスを実行中に取得されたフレーム画像が最小ぶれ画像として選択されてしまうこともあり得る。
図16に示すように、プリフリーズレベルが例えばレベル1(Lv1)〜レベル7(Lv7)まで設定可能であるものとし、各レベルにおける検索対象として遡る時間長さ(画像バッファ時間)が、レベル1(Lv1)は0.1秒、レベル2(Lv2)は0.2秒、レベル3(Lv3)は0.3秒、レベル4(Lv4)は0.4秒、レベル5(Lv5)は0.5秒、レベル6(Lv6)は0.6秒、レベル7(Lv7)は0.7秒であるものとする。なお、これらの各レベルの内の、操作者からの設定がなされていないときに標準設定されるレベルは、例えばレベル6(Lv6)の0.6秒であるものとする。
この場合には、0.3秒のフリーズ禁止期間であれば、レベル1(Lv1)〜レベル3(Lv3)までは画像の乱れが生じることはないが、レベル4(Lv4)〜レベル7(Lv7)になると観察モード切替プロセスを実行中に取得されたフレーム画像も検索対象に入ってくるために画像の乱れが生じる可能性がある。特に、プリフリーズレベルが高ければ高いほど、検索対象となる全てのフレーム画像に占める、観察モード切替プロセスを実行中に取得されたフレーム画像の割合が高くなるために、画像の乱れが生じる可能性がより一層高まることになる。
これに対して、プリフリーズレベルにおいて設定可能な最長の時間、図16に示した具体例ではレベル7(Lv7)の0.7秒を、フリーズ禁止期間の時間長さとして設定することも考えられるが、この場合には、フリーズ操作を行うことができない期間が長くなるために、ユーザビリティが低下してしまうことになる。
そこで、ユーザビリティの低下を防ぎながら、乱れの小さいフリーズ画像を表示する技術について、図17および図18を参照して説明する。ここに、図17は観察モード切替後のフリーズ画像に乱れが生じないようにするための制御の様子を示すタイミングチャート、図18は観察モード切替後のフリーズ画像に乱れが生じないようにするためのプリフリーズ制御処理を示すフローチャートである。
図18に示す処理を開始すると、まず、観察モード切替プロセスが完了するのを待機する(ステップS81)。
そして、観察モード切替プロセスが完了したら、フリーズ指示信号の受け付けを禁止して、フリーズ禁止期間に入る(ステップS82)。
さらに、プリフリーズレベルを最低レベル、具体例としてはレベル1(Lv1)の0.1秒に強制的に設定する(ステップS83)。
続いて、フリーズ禁止期間(図17に示す例においては0.3秒)が終了するのを待機する(ステップS84)。
ここで、フリーズ禁止期間が終了した場合には、フリーズ指示信号の受け付けを許可して、フリーズ禁止期間を終了する(ステップS85)。
これにより、フリーズ禁止期間が終了した直後にフリーズ操作がなされたとしても、操作時点からフリーズ禁止期間である0.3秒の時間長さだけ遡った時点の画像までが乱れのない画像となっていて、画像バッファ時間は0.1秒であるために、乱れのある画像が検索対象になることはなく、表示される静止画像の乱れを防止することができる。
その後、プリフリーズレベルを最低レベルに強制的に設定する期間であるレベル最低期間が終了するのを待機する(ステップS86)。このレベル最低期間は、図17に示す例においては1.0秒である。
こうしてレベル最低期間が終了した場合には、フリーズレベルをステップS83において最低レベルに設定したよりも以前のレベルに戻してから(ステップS87)、この処理からリターンする。
なお、図17に示した例においてはフリーズ禁止期間を0.3秒としたが、プリフリーズにおける最低レベルのレベル1(Lv1)が例えば0.1秒である場合には、フリーズ禁止期間は0.1秒以上であれば良い。より一般的に、フリーズ禁止期間をT0、プリフリーズにおける最低レベルの画像バッファ時間をT1とすれば、T0≧T1であれば良い。このときに、フリーズ禁止期間T0をT1(例えば0.1秒)に等しくなるように設定すれば、フリーズ禁止期間を極力短くしてユーザビリティをより一層向上することができる。
あるいは、フリーズ禁止期間を0.3秒とする場合には、ステップS83において強制的に設定するレベルを、最低レベルであるレベル1(Lv1)とするのに代えて、画像バッファ時間がより長い(つまり、ぶれ量のより小さな画像が見つかる可能性が高い)レベル2(Lv2)あるいはレベル3(Lv3)としても構わない。
さらに、図17に示した例においてはレベル最低期間を1.0秒としたが、プリフリーズにおける最高レベルのレベル7(Lv7)が例えば0.7秒である場合には、フリーズ禁止期間T0は0.7秒以上であれば良い。より一般的に、プリフリーズにおける最高レベルの画像バッファ時間をTLとすれば、T0≧TLであれば良い。これにより、元のプリフリーズレベルがどのレベルであったとしても、レベル復帰後のフリーズ操作により表示される静止画像の乱れを防止することができる。
加えて、フリーズレベルに対応する画像バッファ時間をTx、観察モード切替プロセスが完了した時点からの経過時間をt、元のプリフリーズレベルの画像バッファ時間をTbとしたときに、0<t<Tbの期間においてはTx=tとして画像バッファ時間Txを経過時間tに応じて動的に変更し、t=Tbになった時点からTx=Tbにレベル復帰させることも考えられる。この場合には、表示される静止画像の乱れを防止することができるだけでなく、フリーズが禁止される時間を実質的に0にすることができ、しかも0<t<Tbの期間においては観察モード切替プロセスが完了した後に取得された乱れがない全てのフレーム画像の中から最小ぶれ画像を検索することが可能となって、よりぶれの小さい静止画像を観察することが可能となる利点がある。
図15〜図18を参照して説明したような構成によれば、プリフリーズ機能が設定されている状況下で観察モードの切り替えを行っても、ユーザビリティの低下を防ぎながら、乱れの小さいフリーズ画像を表示することが可能となる。
なお、上述では主として撮像装置について説明したが、撮像装置の作動方法であっても良いし、コンピュータに撮像装置の作動方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本出願は、2013年12月6日に日本国に出願された特願2013−253165号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (7)

  1. 第1照明光、または前記第1照明光よりも相対的に出射光量が少ない第2照明光を被写体へ出射可能に設けられた光源部と、
    前記第1照明光または前記第2照明光によって照明された前記被写体を撮像することにより画像を取得する画像取得部と、
    前記第1照明光により前記被写体を照明して撮像する第1モードと、前記第2照明光により前記被写体を照明して撮像する第2モードと、の内の一方から他方へモードを切り替えるモード切替部と、
    前記モード切替部によって前記光源部から出射される照明光が切替後のモードに対応した照明光へ切り替えられる前または前記切替後のモードに対応した照明光への切替が完了した後に、前記画像取得部により取得される前記画像を切替後のモードにおいて処理するための処理パラメータと、前記光源部から出射される照明光の強度を制御するための明るさ制御パラメータと、の少なくとも一方を設定可能に構成されたパラメータ設定部と、
    前記モード切替部によるモードの切替が前記第1モードから前記第2モードへ行われるか、前記第2モードから前記第1モードへ行われるかに応じて、前記パラメータ設定部による前記処理パラメータを、前記切替後のモードに対応した照明光への切替を開始する前に設定するか、前記切替後のモードに対応した照明光への切替が完了した後に設定するかを制御する制御部と、
    を具備することを特徴とする撮像装置。
  2. 記制御部は、モードの切替が、前記第1モードから前記第2モードへ行われる場合には、前記光源部から前記第2モードに対応した照明光への切替が完了した後に、前記第2モードにおける前記処理パラメータを設定することを特徴とする請求項に記載の撮像装置。
  3. 記制御部は、モードの切替が、前記第2モードから前記第1モードへ行われる場合には、前記光源部から前記第1モードに対応した照明光への切替が開始されるよりも前に、前記第1モードにおける前記処理パラメータを設定することを特徴とする請求項に記載の撮像装置。
  4. 前記画像取得部により取得される前記画像の明るさを演算する測光部をさらに具備し、
    前記明るさ制御パラメータは、前記測光部における演算頻度を設定するためのパラメータであることを特徴とする請求項1に記載の撮像装置。
  5. 前記パラメータ設定部は、前記モード切替部によるモードの切替が完了した後の所定期間内は前記演算頻度がモード切替前よりも高くなるように前記明るさ制御パラメータを設定することを特徴とする請求項に記載の撮像装置。
  6. 前記パラメータ設定部は、変更ステップを単位として前記明るさ制御パラメータを設定するものであって、前記モード切替部によるモードの切替が完了した直後の所定期間内は、前記変更ステップを、通常時の前記変更ステップよりも大きく設定することを特徴とする請求項1に記載の撮像装置。
  7. 光源部が、第1照明光、または前記第1照明光よりも相対的に出射光量が少ない第2照明光を被写体へ出射するステップと、
    画像取得部が、前記第1照明光または前記第2照明光によって照明された前記被写体を撮像することにより画像を取得する画像取得ステップと、
    モード切替部が、前記第1照明光により前記被写体を照明して撮像する第1モードと、前記第2照明光により前記被写体を照明して撮像する第2モードと、の内の一方から他方へモードを切り替えるモード切替ステップと、
    パラメータ設定部が、前記モード切替ステップによって前記光源部から出射される照明光が切替後のモードに対応した照明光へ切り替えられる前または前記切替後のモードに対応した照明光への切替が完了した後に、前記画像取得ステップにより取得される前記画像を切替後のモードにおいて処理するための処理パラメータと、前記照明ステップにより出射される照明光の強度を制御するための明るさ制御パラメータと、の少なくとも一方を設定するパラメータ設定ステップと、
    制御部が、前記モード切替ステップによるモードの切替が前記第1モードから前記第2モードへ行われるか、前記第2モードから前記第1モードへ行われるかに応じて、前記パラメータ設定ステップによる前記処理パラメータを、前記切替後のモードに対応した照明光への切替を開始する前に設定するか、前記切替後のモードに対応した照明光への切替が完了した後に設定するかを制御するステップと、
    を有することを特徴とする撮像装置の作動方法。
JP2015530808A 2013-12-06 2014-12-02 撮像装置、撮像装置の作動方法 Active JP5820960B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015530808A JP5820960B1 (ja) 2013-12-06 2014-12-02 撮像装置、撮像装置の作動方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013253165 2013-12-06
JP2013253165 2013-12-06
JP2015530808A JP5820960B1 (ja) 2013-12-06 2014-12-02 撮像装置、撮像装置の作動方法
PCT/JP2014/081832 WO2015083684A1 (ja) 2013-12-06 2014-12-02 撮像装置、撮像装置の作動方法

Publications (2)

Publication Number Publication Date
JP5820960B1 true JP5820960B1 (ja) 2015-11-24
JPWO2015083684A1 JPWO2015083684A1 (ja) 2017-03-16

Family

ID=53273446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015530808A Active JP5820960B1 (ja) 2013-12-06 2014-12-02 撮像装置、撮像装置の作動方法

Country Status (5)

Country Link
US (1) US9894258B2 (ja)
EP (1) EP3020322A4 (ja)
JP (1) JP5820960B1 (ja)
CN (1) CN105407780B (ja)
WO (1) WO2015083684A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660707B2 (ja) * 2015-10-23 2020-03-11 Hoya株式会社 内視鏡システム
JP6616707B2 (ja) * 2016-02-12 2019-12-04 セイコーインスツル株式会社 液滴吐出装置、及び液滴吐出検査方法
JP6861345B2 (ja) * 2016-03-28 2021-04-21 パナソニックIpマネジメント株式会社 文字図形認識装置、文字図形認識方法、及び文字図形認識プログラム
JP6746376B2 (ja) * 2016-05-23 2020-08-26 株式会社ミツトヨ 測定システム及び調整用設定値の切替方法
JP6698451B2 (ja) * 2016-07-11 2020-05-27 オリンパス株式会社 観察装置
JP6956197B2 (ja) * 2017-11-10 2021-11-02 富士フイルム株式会社 内視鏡システム及びその作動方法
DE102019118750A1 (de) * 2019-07-10 2021-01-14 Schölly Fiberoptic GmbH Medizinisches Bildaufnahmesystem, welches situationsabhängig Anpassungsvorschläge unterbreitet, sowie zugehöriges Bildaufnahmeverfahren
US20230025755A1 (en) * 2019-12-19 2023-01-26 Ambu A/S Image capture selection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218647A (ja) * 2004-02-05 2005-08-18 Olympus Corp 内視鏡装置
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2012223349A (ja) * 2011-04-19 2012-11-15 Olympus Medical Systems Corp 内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4388318B2 (ja) * 2003-06-27 2009-12-24 オリンパス株式会社 画像処理装置
KR100927286B1 (ko) * 2005-06-08 2009-11-18 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 장치 및 화상 처리 장치
US8451327B2 (en) * 2005-08-18 2013-05-28 Hoya Corporation Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system
JP5214853B2 (ja) * 2006-03-03 2013-06-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5355846B2 (ja) * 2006-05-08 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡用画像処理装置
JP5420168B2 (ja) 2007-12-21 2014-02-19 オリンパスメディカルシステムズ株式会社 光源装置および内視鏡装置
JP5271062B2 (ja) * 2008-12-09 2013-08-21 富士フイルム株式会社 内視鏡装置およびその作動方法
CN102740760B (zh) * 2010-06-28 2015-05-20 奥林巴斯医疗株式会社 内窥镜装置
CN103429136B (zh) * 2011-08-26 2015-09-30 奥林巴斯医疗株式会社 内窥镜装置
EP2796086A4 (en) * 2012-09-18 2015-09-09 Olympus Medical Systems Corp LIGHT SOURCE DEVICE AND METHOD FOR LIGHT CONTROL OF A LIGHT SOURCE DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218647A (ja) * 2004-02-05 2005-08-18 Olympus Corp 内視鏡装置
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2012223349A (ja) * 2011-04-19 2012-11-15 Olympus Medical Systems Corp 内視鏡システム

Also Published As

Publication number Publication date
JPWO2015083684A1 (ja) 2017-03-16
EP3020322A1 (en) 2016-05-18
US9894258B2 (en) 2018-02-13
EP3020322A4 (en) 2017-03-08
CN105407780B (zh) 2017-08-25
WO2015083684A1 (ja) 2015-06-11
CN105407780A (zh) 2016-03-16
US20160156822A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
JP5820960B1 (ja) 撮像装置、撮像装置の作動方法
JP5379932B1 (ja) 撮像システム、撮像方法
US9936152B2 (en) Image sensor and sensor module
JP5616442B2 (ja) 撮像装置及び画像処理方法
CN107529975B (zh) 光源控制装置、光源控制方法和成像***
JP4774915B2 (ja) 撮像装置、階調補正方法及びプログラム
JP6392230B2 (ja) 撮影イメージ生成方法及び装置
JP4745718B2 (ja) 内視鏡プロセッサ
JP2012023606A (ja) 撮像装置、その制御方法及びプログラム
US20230363630A1 (en) Light source device and endoscope system
JP2009038479A (ja) 露出制御装置および撮像装置
KR20090095920A (ko) 디지털 이미지 촬영 장치, 상기 장치의 노출 제어 방법,디지털 이미지 촬영 방법 및 상기 디지털 이미지 촬영방법을 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는매체
JP2009273691A (ja) 内視鏡画像処理装置および方法
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP6206299B2 (ja) 撮像装置および撮像画像の色補正方法
JP6467830B2 (ja) 撮像装置、撮像方法及びプログラム
JP6515469B2 (ja) 撮像装置、撮像方法及びプログラム
JP6423669B2 (ja) 撮像装置及びその制御方法
JP2013012997A (ja) 調光素子制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP7433914B2 (ja) 撮像装置およびその制御方法
US20220321764A1 (en) Illumination control device, imaging device, and storage medium
JP2006197081A (ja) ダイナミックレンジ圧縮機能を持つデジタルカメラ
JP7186292B2 (ja) 撮像システム、内視鏡システム、光源装置、及び光源装置の制御方法
JP4957580B2 (ja) 撮像装置及びプログラム
JP2006197499A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151005

R151 Written notification of patent or utility model registration

Ref document number: 5820960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250