JP2018007837A - 画像処理装置 - Google Patents

Abstract

【課題】被写体を撮像して得られた複数の画像を同時に表示させる際に要する回路規模または処理時間を削減可能な画像処理装置を提供する。【解決手段】画像処理装置は、被写体からの光に応じて形成される複数の光学像に対応する複数の視差画像を生成する視差画像生成部と、複数の視差画像に応じた表示用画像を表示させるための動作を行う表示制御部と、を有する画像処理装置であって、複数の視差画像のうちの１つの視差画像をメインの視差画像として設定するとともに、複数の視差画像のうちのメインの視差画像以外の１つ以上の視差画像をサブの視差画像として設定する設定部を有し、メインの視差画像及びサブの視差画像が表示用画像として同時に表示される際に、メインの視差画像から得られるパラメータを表示用画像に含まれるサブの視差画像に反映させるための動作が行われる。【選択図】図１

Description

本発明は、画像処理装置に関し、特に、被写体を撮像して得られた複数の画像を同時に表示させることが可能な画像処理装置に関するものである。

内視鏡等の撮像装置で被写体を撮像して得られた複数の画像を同時に表示させるための処理に関する技術が従来知られている。

具体的には、例えば、特許文献１には、内視鏡装置において、リモートコントローラに設けられた所定のスイッチの傾倒操作に応じ、双眼アダプタを装着した内視鏡により得られた２つの被写体像を２画面に表示する双眼表示と、当該２つの被写体像のうちの一方の被写体像を１画面に表示する最大表示（全画面表示）と、を切り替える処理を行うための構成が開示されている。

ここで、内視鏡等の撮像装置で被写体を撮像して得られた画像は、一般的に、１つ以上の画像処理を施された後で表示装置に表示される。そのため、例えば、内視鏡等の撮像装置で被写体を撮像して得られた複数の画像を同時に表示させる場合には、当該複数の画像各々に対して画像処理が施されることに起因し、回路規模または処理時間が増大しやすい傾向にあるものと考えられる。

しかし、特許文献１には、双眼表示時に同時に表示させる２つの被写体像に対して施される画像処理について特に言及されていない。従って、特許文献１に開示された構成によれば、双眼表示時に同時に表示させる２つの被写体像各々に対して異なる画像処理が施されることに起因し、回路規模または処理時間が無用に増大してしまうおそれがある、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、被写体を撮像して得られた複数の画像を同時に表示させる際に要する回路規模または処理時間を削減可能な画像処理装置を提供することを目的としている。

本発明の一態様の画像処理装置は、被写体からの光に応じて形成される複数の光学像に対応する複数の視差画像を生成するように構成された視差画像生成部と、前記複数の視差画像に応じた表示用画像を表示させるための動作を行うように構成された表示制御部と、を有する画像処理装置であって、前記複数の視差画像のうちの１つの視差画像をメインの視差画像として設定するとともに、前記複数の視差画像のうちの前記メインの視差画像以外の１つ以上の視差画像をサブの視差画像として設定するように構成された設定部を有し、前記メインの視差画像及び前記サブの視差画像が前記表示用画像として同時に表示される際に、前記メインの視差画像から得られるパラメータを前記表示用画像に含まれる前記サブの視差画像に反映させるための動作が行われることを特徴とする。

本発明における画像処理装置によれば、被写体を撮像して得られた複数の画像を同時に表示させる際に要する回路規模または処理時間を削減することができる。

実施形態に係る画像処理装置を含む立体視内視鏡システムの要部の構成を示す図。 内視鏡の先端面のレイアウトの一例を説明するための模式図。 実施形態に係る画像処理装置において行われる動作の一例を説明するためのフローチャート。

以下、本発明の実施形態について、図面を参照しつつ説明を行う。

図１から図３は、本発明の実施形態に係るものである。

立体視内視鏡システム１は、図１に示すように、内視鏡２と、光源装置３と、プロセッサ４と、表示装置５と、入力装置６と、を有して構成されている。図１は、実施形態に係る画像処理装置を含む立体視内視鏡システムの要部の構成を示す図である。

内視鏡２は、被検者の体腔内に挿入される細長形状の挿入部２Ａを具備して構成されている。また、内視鏡２は、可撓性を有する挿入部２Ａの先端部から正面側に視野方向が設定された直視型の軟性鏡として構成されている。また、内視鏡２は、図示しないスコープコネクタを介し、光源装置３及びプロセッサ４に対して着脱自在に接続することができるように構成されている。また、内視鏡２の内部には、信号処理部２４と、不揮発性のメモリ２５と、が設けられている。

挿入部２Ａの内部には、光源装置３から供給される照明光を挿入部２Ａの先端部へ伝送するように構成されたライトガイド７が挿通されている。また、挿入部２Ａの先端部には、ライトガイド７を経て出射される照明光を被写体へ照射する照明光学系２１と、当該照明光により照明された当該被写体から発生する戻り光（反射光）を撮像して撮像信号を出力する撮像部２２と、が設けられている。また、挿入部２Ａの内部には、被検者の体腔内に存在する患部の処置に用いられる細長の処置具８を挿通させることが可能な処置具チャンネル２３が設けられている。処置具８は、例えば、体腔内の患部に対して電気エネルギーまたは熱エネルギーを印加するための電極等により形成された処置部８１を先端部に具備するとともに、処置部８１から出力されるエネルギーの出力レベルの変更等に係る操作を行うことが可能な操作部８２を基端部に具備して構成されている。すなわち、処置具８は、被検体の体腔内の患部に対して所定の処置を施すことができるように構成されている。

照明光学系２１は、光源装置３から供給される照明光を挿入部２Ａの先端部の先端面２Ｂから被写体へ照射することができるように構成されている。具体的には、照明光学系２１は、ライトガイド７を経て出射される照明光が入射されるレンズ２１Ａと、レンズ２１Ａを経て出射される照明光を先端面２Ｂから先端面２Ｂの正面側に位置する被写体へ照射する光学部材である照明窓２１Ｂと、を有して構成されている。

撮像部２２は、先端面２Ｂの正面側に視野方向を具備するように構成されている。また、撮像部２２は、先端面２Ｂから入射した入射光に応じた２つの光学像を形成するとともに、当該形成した２つの光学像をそれぞれ撮像するように構成されている。具体的には、撮像部２２は、照明光学系２１を経て出射される照明光により照明された被写体からの戻り光等の入射光が入射される観察窓２２Ａと、観察窓２２Ａから入射した入射光に応じた光学像を形成する対物光学系２２Ｌと、当該入射光に応じた光学像を形成する対物光学系２２Ｒと、イメージセンサ２２Ｂと、を有して構成されている。

イメージセンサ２２Ｂは、例えば、ＣＣＤまたはＣＭＯＳ等を具備して構成されている。また、イメージセンサ２２Ｂは、対物光学系２２Ｌにより形成された光学像と、対物光学系２２Ｒにより形成された光学像と、の２つの光学像をそれぞれ撮像し、当該撮像した２つの光学像に応じた撮像信号を生成し、当該生成した撮像信号を信号処理部２４へ出力するように構成されている。

なお、撮像部２２は、以上に述べたような構成を有するものに限らず、例えば、挿入部２Ａの先端部において互いに隣接する位置に配置された２つのカメラを有して構成されていてもよく、観察窓２２Ａから入射した入射光を視野絞りで瞳分割してイメージセンサ２２Ｂで撮像するように構成されていてもよく、または、観察窓２２Ａから入射した入射光をイメージセンサ２２Ｂの画素毎に瞳分割して撮像するように構成されていてもよい。

処置具チャンネル２３は、挿入部２Ａの基端部に設けられた開口である挿入口２３Ａと、先端面２Ｂに設けられた開口である突出口２３Ｂと、を有して構成されている。また、処置具チャンネル２３は、挿入口２３Ａから挿入された処置具８の先端部を突出口２３Ｂから突出させることが可能な管路として形成されている。

一方、先端面２Ｂには、照明窓２１Ｂ、観察窓２２Ａ及び突出口２３Ｂが、例えば、図２に示すようなレイアウトを有して設けられている。なお、図２の先端面２Ｂにおいては、図示及び説明の便宜上、観察窓２２Ａの後段に配置されている対物光学系２２Ｌ及び２２Ｒの光入射面を、照明窓２１Ｂ、観察窓２２Ａ及び突出口２３Ｂと同様にそれぞれ実線で示しているものとする。図２は、内視鏡の先端面のレイアウトの一例を説明するための模式図である。

突出口２３Ｂは、図２の先端面２Ｂにおいて、対物光学系２２Ｒの光軸ＯＲまでの距離ＤＲが、対物光学系２２Ｌの光軸ＯＬまでの距離ＤＬよりも小さくなるような位置に形成されている。すなわち、突出口２３Ｂは、図２の先端面２Ｂにおいて、対物光学系２２Ｒ側寄りの位置に形成されている。さらに換言すると、突出口２３Ｂは、図２の先端面２Ｂにおいて、撮像部２２の視野方向に対して右側寄りの位置に形成されている。

信号処理部２４は、例えば、信号処理回路を具備して構成されている。また、信号処理部２４は、例えば、イメージセンサ２２Ｂから出力されるアナログの撮像信号に対してノイズ低減処理及びＡ／Ｄ変換処理等の所定の信号処理を施すことによりデジタルの撮像信号を生成し、当該生成したデジタルの撮像信号をプロセッサ４へ出力するように構成されている。

メモリ２５には、内視鏡２毎に固有の情報が格納されている。具体的には、メモリ２５には、例えば、対物光学系２２Ｌ及び２２Ｒの２つの対物光学系のうち、内視鏡２の機種に応じた一方の光学系がメインの光学系として予め設定されていることを示す内視鏡情報が格納されている。また、メモリ２５に格納された内視鏡情報は、内視鏡２とプロセッサ４とが接続され、かつ、プロセッサ４の電源がオンされた際に、プロセッサ４の設定部４２（後述）により読み出される。

光源装置３は、例えば、白色光源を具備し、当該白色光源から発せられる白色光を照明光としてライトガイド７に供給することができるように構成されている。

プロセッサ４は、画像処理装置としての機能を有して構成されている。具体的には、プロセッサ４は、視差画像生成部４１と、設定部４２と、視差画像処理部４３と、表示制御部４４と、調光部４５と、を有して構成されている。なお、本実施例によれば、例えば、プロセッサ４の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。

視差画像生成部４１は、信号処理部２４から出力される撮像信号に基づき、対物光学系２２Ｌにより形成された光学像に対応する左目用の視差画像と、対物光学系２２Ｒにより形成された光学像に対応する右目用の視差画像と、をそれぞれ生成するとともに、当該生成した２つの視差画像を視差画像処理部４３及び調光部４５へ出力するように構成されている。すなわち、同じ被写体からの入射光が入射される対物光学系２２Ｌと対物光学系２２Ｒとが挿入部２Ａに並べて配置されているため、対物光学系２２Ｌにより形成された光学像に対応する画像と対物光学系２２Ｒにより形成された光学像に対応する画像とは、それぞれ視差を有する画像になっている。

設定部４２は、メモリ２５から読み込んだ内視鏡情報に基づき、視差画像生成部４１により生成される２つの視差画像のうち、メモリ２５から読み込んだ内視鏡情報に含まれているメインの光学系により形成された光学像に対応する一方の視差画像をメインの視差画像として設定するとともに、当該一方の視差画像とは異なる他方の視差画像をサブの視差画像として設定するように構成されている。また、設定部４２は、前述のように設定したメインの視差画像及びサブの視差画像を示す設定情報を視差画像処理部４３、表示制御部４４、及び、調光部４５へそれぞれ出力するように構成されている。

視差画像処理部４３は、設定部４２から出力される設定情報に基づき、視差画像生成部４１から出力される２つの視差画像におけるメインの視差画像及びサブの視差画像を特定するように構成されている。

視差画像処理部４３は、メインの視差画像に応じた処理パラメータを取得するとともに、当該取得した処理パラメータを用いた所定の画像処理を当該メインの視差画像に対して施して表示制御部４４へ出力するように構成されている。また、視差画像処理部４３は、メインの視差画像に対して所定の画像処理を施した際に得られたものと同じ処理パラメータを用い、サブの視差画像に対して当該所定の画像処理を施して表示制御部４４へ出力するように構成されている。

表示制御部４４は、設定部４２から出力される設定情報に基づき、視差画像処理部４３から出力される２つの視差画像におけるメインの視差画像及びサブの視差画像を特定するように構成されている。

表示制御部４４は、メインの視差画像及びサブの視差画像をＮ（２≦Ｎ）個ずつ格納可能なメモリ４４Ａを有して構成されている。また、表示制御部４４は、視差画像処理部４３から同時に出力される２つの視差画像を一組の視差画像として組み合わせてメモリ４４Ａに格納するとともに、メモリ４４Ａに格納されている視差画像を一組ずつ順次更新するように構成されている。すなわち、このような表示制御部４４の構成及び動作によれば、直近のＮ組分の視差画像がメモリ４４Ａに時系列に格納される。

表示制御部４４は、入力装置６のフリーズスイッチ（不図示）がオフされている期間中に、メモリ４４Ａに格納されたＮ個のメインの視差画像各々に設定したブレ評価領域内のブレ量を算出するための処理を行う。そして、表示制御部４４は、メモリ４４Ａに格納されたＮ個のメインの視差画像の中で最小のブレ量を有する１つのメインの視差画像ＰＭＦと、当該１つのメインの視差画像ＰＭＦに組み合わせられた状態でメモリ４４Ａに格納されている１つのサブの視差画像ＰＳＦと、をそれぞれ特定するように構成されている。

なお、前述のブレ評価領域は、メインの視差画像ＰＭＦを特定可能な精度を有するブレ量が算出される限りにおいては、例えば、メインの視差画像の全域に設定されていてもよい。また、前述のブレ評価領域は、好ましくは、メモリ４４Ａに格納されたＮ個のメインの視差画像の中央部を含む領域に設定されるようにすればよい。

一方、表示制御部４４は、前述のようなブレ量を算出する処理の代わりに、色ずれ量を算出する処理を行うものであってもよい。具体的には、表示制御部４４は、例えば、メモリ４４Ａに格納されたＮ個のメインの視差画像各々に設定した色ずれ評価領域内の色ずれ量を算出し、さらに、当該Ｎ個のメインの視差画像の中で最小の色ずれ量を有するものを１つのメインの視差画像ＰＭＦとして特定するものであってもよい。

なお、前述の色ずれ評価領域は、メインの視差画像ＰＭＦを特定可能な精度を有する色ずれ量が算出される限りにおいては、例えば、メインの視差画像の全域に設定されていてもよい。また、前述の色ずれ評価領域は、好ましくは、メモリ４４Ａに格納されたＮ個のメインの視差画像の中央部を含む領域に設定されるようにすればよい。

表示制御部４４は、メインの視差画像及びサブの視差画像を、入力装置６において行われた指示または操作に応じた表示態様で表示装置５に表示させるための動作を行うように構成されている。

具体的には、表示制御部４４は、例えば、入力装置６の表示切替スイッチ（不図示）において３Ｄ表示に設定するための指示が行われたことを検出した場合に、メイン及びサブの２つの視差画像を立体視用の観察画像として表示装置５に同時に表示させるための動作を行うように構成されている。また、表示制御部４４は、例えば、入力装置６の表示切替スイッチにおいて２Ｄ表示に設定するための指示が行われたことを検出した場合に、メインの視差画像を観察画像として表示装置５に表示させるための動作を行うように構成されている。また、表示制御部４４は、例えば、３Ｄ表示時に入力装置６のフリーズスイッチ（不図示）がオンされたことを検出した場合に、メインの視差画像ＰＭＦ及びサブの視差画像ＰＳＦを立体視用のフリーズ画像として表示装置５に同時に表示させるための動作を行うように構成されている。また、表示制御部４４は、例えば、２Ｄ表示時に入力装置６のフリーズスイッチ（不図示）がオンされたことを検出した場合に、メインの視差画像ＰＭＦをフリーズ画像として表示装置５に表示させるための動作を行うように構成されている。

調光部４５は、設定部４２から出力される設定情報に基づき、視差画像生成部４１から出力される２つの視差画像におけるメインの視差画像及びサブの視差画像を特定するように構成されている。

調光部４５は、メインの視差画像の明るさに応じて照明光の光量を調整するための制御を光源装置３に対して行うように構成されている。

表示装置５は、例えば、ＬＣＤ（液晶ディスプレイ）を具備し、表示制御部４４の動作に応じた画像を表示画面に表示することができるように構成されている。

入力装置６は、キーボード、タッチパネル、及び／または、フットスイッチ等のユーザインターフェースを具備して構成されている。また、入力装置６には、ユーザの操作に応じ、表示装置５に表示させる観察画像の表示態様を３Ｄ表示または２Ｄ表示のいずれかに設定するための指示をプロセッサ４に対して行うことが可能な表示切替スイッチが設けられている。また、入力装置６には、ユーザの操作に応じ、表示装置５におけるフリーズ画像の表示をオンまたはオフに切り替えるための操作を行うことが可能なフリーズスイッチが設けられている。

続いて、本実施形態の作用について、図３を適宜参照しつつ説明する。なお、以下の説明においては、対物光学系２２Ｌがメインの光学系として設定されていることを示す内視鏡情報がメモリ２５に格納されている場合を例に挙げて説明する。また、以降においては、視差画像処理部４３においてホワイトバランス処理が行われる場合を例に挙げて説明する。図３は、実施形態に係る画像処理装置において行われる動作の一例を説明するためのフローチャートである。

ユーザは、立体視内視鏡システム１の各部を接続して電源を投入する。そして、このようなユーザの操作に応じ、光源装置３から供給された照明光が照明光学系２１を経て被写体へ照射され、当該被写体が撮像部２２により撮像され、対物光学系２２Ｌにより形成された光学像に対応する左目用の視差画像ＰＬと、対物光学系２２Ｒにより形成された光学像に対応する右目用の視差画像ＰＲと、が視差画像生成部４１により生成され、当該生成された視差画像ＰＬ及びＰＲが視差画像処理部４３及び調光部４５へ出力される。

設定部４２は、内視鏡２とプロセッサ４とが接続され、かつ、プロセッサ４の電源がオンされた際に、メモリ２５から内視鏡情報を読み込む。その後、設定部４２は、メモリ２５から読み込んだ内視鏡情報に基づき、視差画像ＰＬをメインの視差画像として設定するとともに（図３のステップＳ１）、視差画像ＰＲをサブの視差画像として設定する。そして、設定部４２は、前述のように設定したメインの視差画像及びサブの視差画像を示す設定情報を視差画像処理部４３、表示制御部４４、及び、調光部４５へそれぞれ出力する。

視差画像処理部４３は、設定部４２から出力される設定情報に基づき、視差画像生成部４１から出力される２つの視差画像のうち、視差画像ＰＬをメインの視差画像として特定するとともに、視差画像ＰＲをサブの視差画像として特定する。

視差画像処理部４３は、視差画像ＰＬの色調に応じたホワイトバランス係数を取得するとともに、当該取得したホワイトバランス係数を用いたホワイトバランス処理を当該視差画像ＰＬに対して施して表示制御部４４へ出力する（図３のステップＳ２）。また、視差画像処理部４３は、視差画像ＰＬに対してホワイトバランス処理を施した際に得られたものと同じホワイトバランス係数を用い、視差画像ＰＲに対してホワイトバランス処理を施して表示制御部４４へ出力する。

なお、視差画像ＰＬの色調に応じたホワイトバランス係数は、当該視差画像ＰＬに含まれる白色の領域を表示装置５において白色で表示させるための係数であり、例えば、当該視差画像ＰＬに含まれる赤色成分、緑色成分及び青色成分の輝度値に対して個別に乗ぜられるゲイン値の組み合わせとして取得される。

表示制御部４４は、設定部４２から出力される設定情報に基づき、視差画像処理部４３から出力される２つの視差画像のうち、視差画像ＰＬをメインの視差画像として特定するとともに、視差画像ＰＲをサブの視差画像として特定する。

表示制御部４４は、視差画像処理部４３から同時に出力される視差画像ＰＬ及びＰＲを一組ずつメモリ４４Ａに順次格納する。また、表示制御部４４は、入力装置６のフリーズスイッチがオフされている期間中に、メモリ４４Ａに格納されたＮ個の視差画像ＰＬ各々に設定したブレ評価領域内のブレ量を算出するための処理を行う。そして、表示制御部４４は、メモリ４４Ａに格納されたＮ個の視差画像ＰＬの中で最小のブレ量を有する１つの視差画像ＰＬＦと、当該１つの視差画像ＰＬＦに組み合わせられた状態でメモリ４４Ａに格納されている視差画像ＰＲＦと、をそれぞれ特定する。

表示制御部４４は、入力装置６の表示切替スイッチからの指示に基づき、現在の表示態様が３Ｄ表示または２Ｄ表示のどちらに設定されているかを検出する（図３のステップＳ３）。そして、表示制御部４４は、現在の表示態様が３Ｄ表示に設定されていることを検出した場合（Ｓ３：ＹＥＳ）には、後述の図３のステップＳ４の動作を続けて行う。また、表示制御部４４は、現在の表示態様が２Ｄ表示に設定されていることを検出した場合（Ｓ３：ＮＯ）には、後述の図３のステップＳ７の動作を続けて行う。

表示制御部４４は、現在の表示態様が３Ｄ表示である場合に、視差画像ＰＬ及びＰＲの２つの視差画像を立体視用の観察画像として表示装置５に同時に表示させるための動作を行う（図３のステップＳ４）とともに、入力装置６のフリーズスイッチがオンされているか否かを検出する（図３のステップＳ５）。

表示制御部４４は、３Ｄ表示時に入力装置６のフリーズスイッチがオンされていることを検出した場合（Ｓ５：ＹＥＳ）に、視差画像ＰＬ及びＰＲの代わりに、視差画像ＰＬＦ及びＰＲＦを立体視用のフリーズ画像として表示装置５に同時に表示させるための動作を行う（図３のステップＳ６）。また、表示制御部４４は、３Ｄ表示時に入力装置６のフリーズスイッチがオフされていることを検出した場合（Ｓ５：ＮＯ）に、視差画像ＰＬ及びＰＲを同時に表示させるための動作を続けて行う。

表示制御部４４は、現在の表示態様が２Ｄ表示である場合に、視差画像ＰＬを観察画像として表示装置５に表示させるための動作を行う（図３のステップＳ７）とともに、入力装置６のフリーズスイッチがオンされているか否かを検出する（図３のステップＳ８）。

表示制御部４４は、２Ｄ表示時に入力装置６のフリーズスイッチがオンされていることを検出した場合（Ｓ８：ＹＥＳ）に、視差画像ＰＬの代わりに、視差画像ＰＬＦをフリーズ画像として表示装置５に表示させるための動作を行う（図３のステップＳ９）。また、表示制御部４４は、２Ｄ表示時に入力装置６のフリーズスイッチがオフされていることを検出した場合（Ｓ８：ＮＯ）に、視差画像ＰＬを表示させるための動作を続けて行う。

一方、調光部４５は、設定部４２から出力される設定情報に基づき、視差画像生成部４１から出力される２つの視差画像のうち、視差画像ＰＬをメインの視差画像として特定するとともに、視差画像ＰＲをサブの視差画像として特定する。

調光部４５は、視差画像ＰＬの明るさに応じて照明光の光量を調整するための制御を光源装置３に対して行う（図３のステップＳ１０）。

具体的には、調光部４５は、例えば、視差画像ＰＬに設定した明るさ評価領域内の平均輝度値を算出するための処理を行うとともに、当該算出した平均輝度値と所定の目標輝度値との差分値に応じて照明光の光量を増加、減少または維持させるための制御を光源装置３に対して行う。

すなわち、図３のステップＳ１０の調光部４５の動作は、図３のステップＳ２〜Ｓ９の動作と並行して行われる動作であるとともに、３Ｄ表示時及び２Ｄ表示時の両方において行われる動作である。

なお、前述の明るさ評価領域は、視差画像ＰＬの明るさに応じた適切な平均輝度値が算出される限りにおいては、例えば、当該視差画像ＰＬの全域に設定されていてもよい。また、前述の明るさ評価領域は、好ましくは、視差画像ＰＬの中央部を含む領域に設定されるようにすればよい。

ここで、以上に述べたような視差画像処理部４３の動作によれば、３Ｄ表示時において、視差画像ＰＬの色調に応じて取得されたホワイトバランス係数が、表示装置５に表示される表示用画像（観察画像）に含まれる視差画像ＰＲの色調として反映される。すなわち、以上に述べたような視差画像処理部４３の動作によれば、視差画像ＰＬ及びＰＲの２つの視差画像に適用されるホワイトバランス係数が共通化されるため、当該２つの視差画像に対するホワイトバランス処理に要する回路規模または処理時間を削減することができる。

また、以上に述べたような表示制御部４４の動作によれば、３Ｄ表示時において、記憶部４４に格納されたＮ個の視差画像ＰＬ各々に設定した評価領域内のブレ量または色ずれ量が、表示装置５に表示される表示用画像（フリーズ画像）に含まれる視差画像ＰＲＦの選択要因として反映される。すなわち、以上に述べたような表示制御部４４の動作によれば、例えば、メモリ４４Ａに格納されたＮ個の視差画像ＰＬ及びＮ個の視差画像ＰＲのブレ量を個別に算出するような煩雑な処理を行わずとも、ブレが少ない画像を立体視用のフリーズ画像として表示装置５に表示させることができる。または、以上に述べたような表示制御部４４の動作によれば、例えば、メモリ４４Ａに格納されたＮ個の視差画像ＰＬ及びＮ個の視差画像ＰＲの色ずれ量を個別に算出するような煩雑な処理を行わずとも、色ずれが少ない画像を立体視用のフリーズ画像として表示装置５に表示させることができる。

また、以上に述べたような調光部４５の動作によれば、光源装置３から内視鏡２へ供給される照明光の光量が変化するとともに、視差画像生成部４１により生成される視差画像ＰＬ及びＰＲの明るさが同時に変化する。そのため、以上に述べたような調光部４５の動作によれば、３Ｄ表示時において、視差画像ＰＬに設定した評価領域内の明るさを示す平均輝度値が、表示装置５に表示される表示用画像（観察画像）に含まれる視差画像ＰＲの明るさとして反映される。すなわち、以上に述べたような調光部４５の動作によれば、例えば、視差画像生成部４１から出力される視差画像ＰＬ及びＰＲの平均輝度値を個別に算出するような煩雑な処理を行わずとも、光源装置３から内視鏡２へ供給される照明光の光量を調整することができる。

従って、本実施形態によれば、視差画像処理部４３、表示制御部４４及び調光部４５のうちの少なくとも１つにおいて以上に述べたような動作が行われることにより、メイン及びサブの視差画像を同時に表示させる３Ｄ表示に要する回路規模または処理時間を削減することができる。

なお、本実施形態は、被写体からの光に応じて形成される２つの光学像に対応する２つの視差画像が視差画像生成部４１により生成されるような構成を有する場合に限らず、例えば、被写体からの光に応じて形成される３つ以上の光学像に対応する３つ以上の視差画像が視差画像生成部４１により生成されるような構成を有する場合においても略同様に適用される。そして、このような構成においては、設定部４２が、視差画像生成部４１により生成された３つ以上の視差画像のうちの１つの視差画像をメインの視差画像として設定するとともに、当該メインの視差画像以外の２つ以上の視差画像をサブの視差画像として設定するようにすればよい。

また、本実施形態によれば、例えば、先端面２Ｂにおける突出口２３Ｂの位置と、対物光学系２２Ｌの光軸ＯＬと突出口２３Ｂとの間の距離ＤＬと、対物光学系２２Ｒの光軸ＯＲと突出口２３Ｂとの間の距離ＤＲと、をそれぞれ特定可能な情報を含む、挿入部２Ａの先端部のレイアウト情報がメモリ２５に格納されていてもよい。さらに、本実施形態によれば、例えば、設定部４２が、レイアウト情報のみに基づき、または、内視鏡情報及びレイアウト情報の両方に基づき、視差画像生成部４１により生成される２つの視差画像のうちの一方の視差画像をメインの視差画像として設定するようにしてもよい。

一方、本実施形態に係る構成等を適宜変形することにより、例えば、設定部４２が、メモリ２５から読み込んだ内視鏡情報に基づいて初期設定したメイン及びサブの視差画像を、当該内視鏡情報以外の他の要因に応じて変更するようにしてもよい。

具体的には、例えば、設定部４２が、ユーザにより操作される入力装置６からの指示に応じ、メイン及びサブの視差画像を受動的に変更するようにしてもよい。または、例えば、設定部４２が、視差画像生成部４１から出力される２つの視差画像に基づき、処置具８の先端部の突出口２３Ｂからの突出量を示す情報、及び／または、突出口２３Ｂから突出されている処置具８の処置部８１の視認性を示す情報を取得するとともに、当該取得した情報に応じてメイン及びサブの視差画像を能動的に変更するようにしてもよい。

また、メイン及びサブの視差画像の初期設定が内視鏡情報以外の他の要因に応じて変更されるような構成においては、例えば、視差画像処理部４３、表示制御部４４、及び、調光部４５の各部において、変更後のメインの視差画像に対応する動作が行われるようにしてもよい。このような場合の動作について、メインの視差画像が視差画像ＰＬからＰＲに変更される場合を例に挙げて説明する。なお、以降においては、既述の動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

視差画像処理部４３は、メインの視差画像が視差画像ＰＬからＰＲに変更されたことを設定部４２から出力される設定情報に基づいて検出した際に、既存のホワイトバランス係数を破棄し、視差画像ＰＲの色調に応じたホワイトバランス係数を取得するとともに、当該取得したホワイトバランス係数を用いたホワイトバランス処理を当該視差画像ＰＲに対して施して表示制御部４４へ出力する。また、視差画像処理部４３は、視差画像ＰＲに対してホワイトバランス処理を施した際に得られたものと同じホワイトバランス係数を用い、視差画像ＰＬに対してホワイトバランス処理を施して表示制御部４４へ出力する。

なお、視差画像ＰＲの色調に応じたホワイトバランス係数は、当該視差画像ＰＲに含まれる白色の領域を表示装置５において白色で表示させるための係数であり、例えば、当該視差画像ＰＲに含まれる赤色成分、緑色成分及び青色成分の輝度値に対して個別に乗ぜられるゲイン値の組み合わせとして取得される。

表示制御部４４は、入力装置６のフリーズスイッチがオフされている期間中において、メインの視差画像が視差画像ＰＬからＰＲに変更されたことを設定部４２から出力される設定情報に基づいて検出した際に、既存のブレ量の算出結果を破棄し、メモリ４４Ａに格納されたＮ個の視差画像ＰＲ各々に設定したブレ評価領域内のブレ量を算出するための処理を行う。そして、表示制御部４４は、メモリ４４Ａに格納されたＮ個の視差画像ＰＲの中で最小のブレ量を有する１つの視差画像ＰＲＧと、当該１つの視差画像ＰＲＧに組み合わせられた状態でメモリ４４Ａに格納されている１つの視差画像ＰＬＧと、をそれぞれ特定する。

なお、前述のブレ評価領域は、変更後のメインの視差画像に応じて表示制御部４４により再設定される可変の領域であってもよく、または、変更後のメインの視差画像に応じて再設定されない固定の領域であってもよい。

一方、表示制御部４４は、メインの視差画像が視差画像ＰＬからＰＲに変更されたことを設定部４２から出力される設定情報に基づいて検出した際に、前述の処理の代わりに、既存の色ずれ量の算出結果を破棄し、メモリ４４Ａに格納されたＮ個の視差画像ＰＲ各々に設定した色ずれ評価領域内の色ずれ量を算出し、さらに、当該Ｎ個の視差画像ＰＲの中で最小の色ずれ量を有するものを１つのメインの視差画像ＰＲＧとして特定する処理を行うものであってもよい。

なお、前述の色ずれ評価領域は、変更後のメインの視差画像に応じて表示制御部４４により再設定される可変の領域であってもよく、または、変更後のメインの視差画像に応じて変更されない固定の領域であってもよい。

表示制御部４４は、３Ｄ表示時に入力装置６のフリーズスイッチがオンされていることを検出した場合に、視差画像ＰＬ及びＰＲの代わりに、視差画像ＰＬＧ及びＰＲＧを立体視用のフリーズ画像として表示装置５に同時に表示させるための動作を行う。

表示制御部４４は、現在の表示態様が２Ｄ表示である場合に、（視差画像ＰＬの代わりに、）視差画像ＰＲを観察画像として表示装置５に表示させるための動作を行う。

表示制御部４４は、２Ｄ表示時に入力装置６のフリーズスイッチがオンされていることを検出した場合に、視差画像ＰＲの代わりに、視差画像ＰＲＧをフリーズ画像として表示装置５に表示させるための動作を行う。また、表示制御部４４は、２Ｄ表示時に入力装置６のフリーズスイッチがオフされていることを検出した場合に、視差画像ＰＲを表示させるための動作を続けて行う。

調光部４５は、メインの視差画像が視差画像ＰＬからＰＲに変更されたことを設定部４２から出力される設定情報に基づいて検出した際に、既存の平均輝度値の算出結果を破棄し、視差画像ＰＲに設定した明るさ評価領域内の平均輝度値を算出するための処理を行うとともに、当該算出した平均輝度値と所定の目標輝度値との差分値に応じて照明光の光量を増加、減少または維持させるための制御を光源装置３に対して行う。

なお、前述の明るさ評価領域は、変更後のメインの視差画像に応じて調光部４５により再設定される可変の領域であってもよく、または、変更後のメインの視差画像に応じて再設定されない固定の領域であってもよい。

一方、メインの視差画像が視差画像ＰＬからＰＲに変更される場合においては、視差画像ＰＲを２Ｄ表示時に観察画像として表示させるための動作、及び、視差画像ＰＲＧを２Ｄ表示時にフリーズ画像として表示させるための動作以外の各動作が、初期設定時のメインの視差画像である視差画像ＰＬに対応する動作のまま維持されるようにしてもよい。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１ 立体視内視鏡システム
２ 内視鏡
２Ａ 挿入部
３ 光源装置
４ プロセッサ
５ 表示装置
６ 入力装置
２１ 照明光学系
２２ 撮像部
２５ メモリ
４１ 視差画像生成部
４２ 設定部
４３ 視差画像処理部
４４ 表示制御部
４４Ａ メモリ
４５ 調光部

日本国特開２００６−１８０９３４号公報

Claims (8)

1. 被写体からの光に応じて形成される複数の光学像に対応する複数の視差画像を生成するように構成された視差画像生成部と、
   前記複数の視差画像に応じた表示用画像を表示させるための動作を行うように構成された表示制御部と、
   を有する画像処理装置であって、
   前記複数の視差画像のうちの１つの視差画像をメインの視差画像として設定するとともに、前記複数の視差画像のうちの前記メインの視差画像以外の１つ以上の視差画像をサブの視差画像として設定するように構成された設定部を有し、
   前記メインの視差画像及び前記サブの視差画像が前記表示用画像として同時に表示される際に、前記メインの視差画像から得られるパラメータを前記表示用画像に含まれる前記サブの視差画像に反映させるための動作が行われる
   ことを特徴とする画像処理装置。
2. 前記被写体を照明するための照明光の光量を調整するように構成された調光部をさらに有し、
   前記調光部は、前記メインの視差画像及び前記サブの視差画像が前記表示用画像として同時に表示される際に、前記メインの視差画像に設定した評価領域内の明るさに応じて前記照明光の光量を調整する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定部は、ユーザにより操作される入力装置からの指示、または、前記複数の視差画像に基づいて検出した前記被写体に関する情報に応じて前記メインの視差画像を変更し、
   前記調光部は、前記設定部により前記メインの視差画像が変更されたことを検出した際に、変更後のメインの視差画像に応じて前記評価領域を再設定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の視差画像を格納可能な記憶部をさらに有し、
   前記表示制御部は、前記記憶部に格納された複数のメインの視差画像各々に設定した評価領域内のブレ量に基づき、最小のブレ量を有する１つのメインの視差画像と、前記１つのメインの視差画像に組み合わせられた状態で前記記憶部に格納されている１つのサブの視差画像と、を前記表示用画像として同時に表示させる
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記設定部は、ユーザにより操作される入力装置からの指示、または、前記複数の視差画像に基づいて検出した前記被写体に関する情報に応じて前記メインの視差画像を変更し、
   前記表示制御部は、前記設定部により前記メインの視差画像が変更されたことを検出した際に、変更後のメインの視差画像に応じて前記評価領域を再設定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の視差画像を格納可能な記憶部をさらに有し、
   前記表示制御部は、前記記憶部に格納された複数のメインの視差画像各々に設定した評価領域内の色ずれ量に基づき、最小の色ずれ量を有する１つのメインの視差画像と、前記１つのメインの視差画像に組み合わせられた状態で前記記憶部に格納されている１つのサブの視差画像と、を前記表示用画像として同時に表示させる
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記設定部は、ユーザにより操作される入力装置からの指示、または、前記複数の視差画像に基づいて検出した前記被写体に関する情報に応じて前記メインの視差画像を変更し、
   前記表示制御部は、前記設定部により前記メインの視差画像が変更されたことを検出した際に、変更後のメインの視差画像に応じて前記評価領域を再設定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の視差画像に対して画像処理を施すように構成された視差画像処理部をさらに有し、
   前記視差画像処理部は、前記メインの視差画像の色調に応じたホワイトバランス係数を取得するとともに、前記ホワイトバランス係数を用いたホワイトバランス処理を前記メインの視差画像及び前記サブの視差画像に対して施し、
   前記表示制御部は、前記ホワイトバランス処理が施された前記メインの視差画像及び前記サブの視差画像を前記表示用画像として同時に表示させる
   ことを特徴とする請求項１に記載の画像処理装置。

Images