JP4594673B2 - 立体内視鏡用表示制御装置 - Google Patents

立体内視鏡用表示制御装置 Download PDF

Info

Publication number
JP4594673B2
JP4594673B2 JP2004238815A JP2004238815A JP4594673B2 JP 4594673 B2 JP4594673 B2 JP 4594673B2 JP 2004238815 A JP2004238815 A JP 2004238815A JP 2004238815 A JP2004238815 A JP 2004238815A JP 4594673 B2 JP4594673 B2 JP 4594673B2
Authority
JP
Japan
Prior art keywords
image
display
viewpoint
stereoscopic endoscope
right images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004238815A
Other languages
English (en)
Other versions
JP2006055291A (ja
Inventor
正宏 工藤
伸章 安久井
工 出島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004238815A priority Critical patent/JP4594673B2/ja
Publication of JP2006055291A publication Critical patent/JP2006055291A/ja
Application granted granted Critical
Publication of JP4594673B2 publication Critical patent/JP4594673B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、立体観察による内視鏡検査、処置を行うための立体内視鏡用表示制御装置に関する。
近年、内視鏡は医療用分野及び工業用分野において、広く採用されるようになった。また、立体映像により内視鏡観察或いは内視鏡検査、処置を行うことができるように、左右に対となる2つの撮像光学系を設けた立体内視鏡が提案されている。
この場合、例えば左右の画像を交互に1台のモニタ表示し、左右の画像に対応して、交互に開閉するシャッタを通して観察する事で、立体に観察する方法や、左右別々の画像を表示する2台のモニタを用いて、左右の目で観察する方法などがある。
左右に視差を有する2つの撮像光学系を用いた立体視内視鏡は、被写体と立体視内視鏡との距離が、ある一定の値の時に、撮像される左右の画像範囲が等しくなるように光学的な調整が施されている。
図15は、従来の被写体―立体視内視鏡91間の距離Lと撮像される画像の水平方向の画像範囲との関係を説明する図であり、被写体―立体視内視鏡間の距離Lがd1、d2、d3のそれぞれの場合における左右の撮像光学系92L,92Rにより撮像を行う概略説明図である。
図15において、被写体と立体視内視鏡91先端面との距離LがL=d2の場合に、撮像される左右の水平方向の画像範囲が等しくなるように光学的な調整がなされており、この状態では撮像された左右の撮像画像は等しくなっている。
このように、被写体と立体視内視鏡91との距離LがL=d2にあり、間隔D離間して配置された左右の撮像光学系92L,92Rから等距離となる点I2を立体視内視鏡91で撮像し、撮像された左右の画像が同一の位置に表示される様に構成されている立体視用画像表示装置で表示すると、左目用画像と右目用画像は、共通の撮像画像を表示すると共に、画像中央の位置も同じ位置に重なって表示され、観察者は、この位置に点I2が存在すると感じる。
これに対して、被写体と立体視内視鏡91との距離Lがd2よりも小さいL=d1(d1<d2)の場合は、左右の撮像光学系92L,92Rにおける水平方向の画像範囲が異なり、左目用の撮像画像の左端部Hlaと右目用の撮像画像の右端部Hraとが、それぞれもう片方の画像では表示されない。
よって、左目用の撮像画像の左端部には右目用の撮像画像には表示されない不一致領域が存在し、右目用の撮像画像の右端部には左目用の撮像画像には表示されない不一致領域が存在することになる。
この場合、被写体と立体視内視鏡91との距離L=d1にあり、左右の撮像光学系から等距離となる点I1を立体視内視鏡91で撮像して立体画像表示装置で表示すると、左目用画像及び右目用画像中においては、それぞれ水平方向の表示位置が異なるため、観察者にはI1が実際に表示されている画像位置よりも手前側に(視点の交点)仮想的に存在する様に感じられる。これは、観察者の眼のピント位置(実際の画像表示位置)と輻輳(仮想的に画像が存在すると感じる位置)とがずれている状態である。
また、被写体と立体視内視鏡91との距離Lがd2よりも大きいL=d3(d3>d2)の場合も、左右の撮像光学系92L,92Rにおける水平方向の画像範囲が異なり、左目用画像の右端部Hlbと右目用画像の左端部Hrbとが、それぞれもう片方の画像では表示されない。
この場合、被写体と立体視内視鏡91との距離L=d3にあり、左右の撮像光学系から等距離となる点I3を立体視内視鏡91で撮像し立体画像表示装置で表示すると、左目用画像及び右目用画像中においては、それぞれ水平方向の表示位置が異なるため、観察者にはI3が実際に表示されている画像位置よりも遠方側に(視点の交点)仮想的に存在するように感じられ、L=d1の場合と同様、観察者の眼のピント位置と輻輳にずれが生じている状態である。
特許第3089306号公報
このように図15の従来例では、距離Lがd1或いはd3の状態で観察しようとした場合、左右の表示画像において一方のみにしか表示されない不一致領域が存在すると共に、同じ画像部分を観察しようとした場合、観察者の眼のピント位置と輻輳がずれた状態で観察しなければならなくなり、違和感を感じる等、適切な立体視がし難くなる欠点がある。
これに関連する従来例として、特許第3089306号公報の立体画像撮像装置及び立体画像表示装置においては、立体画像撮像装置の輻輳角を制御又は撮像素子間の距離を制御したり、あるいは立体画像表示装置に備えられている画像表示素子の物理的位置を、立体画像撮像装置との距離に応じて移動させる制御を行うものを開示している。
しかし、この公報では、視差或いは距離を算出する手段と共に、撮像素子等を高精度で移動する機構が必要不可欠であり、システムの大型化を招くという問題があった。
また、この公報の従来例を立体内視鏡システムに適用しようとする場合、通常の立体内視鏡には適用しにくい。また、距離算出手段を有しない通常の立体内視鏡等には簡単に適用できない欠点がある。
(発明の目的)
本発明は、上述した点に鑑みてなされたもので、距離算出手段を有しない立体内視鏡の場合にも適用できる等、適用範囲が広く、立体観察に適した画像表示を行うことができる立体内視鏡用表示制御装置を提供することを目的とする。
本発明の立体内視鏡用表示制御装置は、同一被写体に対して立体内視鏡の挿入部に設けられた2つの撮像部により撮像された少なくとも左右に視差を有する左右の撮像信号、又は前記左右の撮像信号から生成された左右の映像信号に対する信号処理を行い、表示手段に対して立体観察用の左右の画像を出力する立体内視鏡用表示制御装置において、視点を指示するための操作スイッチの操作に応答して視点モードを決定する視点決定部と、前記視点決定部が決定した視点モードに基づいて、前記表示手段に表示される左右の画像における水平方向の表示位置を互いに逆方向に所定量移動する画像移動手段と、前記画像移動手段による左右の画像の移動に連動して、前記左右の画像における水平方向の端部付近をマスクする画像マスク手段と、を具備したことを特徴とする。
本発明によれば、画像移動手段による左右の画像の移動により、観察者の眼のピント位置と輻輳にずれの無い状態で左右の画像を表示可能にし、かつ画像マスク手段により左右の画像における不一致となる画像領域を解消することにより、違和感の少ない立体観察がし易い画像表示を可能にする。
以下、図面を参照して本発明の実施例を説明する。
図1ないし図12は本発明の実施例1に係り、図1は本発明の実施例1を備えた立体内視鏡システムの構成を示し、図2は3D表示コントローラの内部構成を示し、図3はカートに搭載された立体内視鏡システムの概略の構成を示し、図4は図3のカートを底面側から見た構造を示す。
図5は3D表示装置を接眼部側から見た状態及びその一部を拡大して示し、図6は図15の視点1の状態における左右のCCDに結像される画像と、視点2の状態における左右のCCDに結像される画像及び左右の画像表示素子に表示される左右の画像を示し、図7は図15の視点3の状態における左右のCCDに結像される画像と左右の画像表示素子に表示される左右の画像を示す。
図8は図15の視点1の状態における左右の画像表示素子に表示される左右の画像及びPinP画像を示し、図9及び図10は3D画像コントローラによる制御動作の手順を示し、図11は視点2の状態において左右の画像表示素子に表示される左右の画像及びPinP画像を補正処理前と補正処理後の状態で示す。
図12は視点3の状態において左右の画像表示素子に表示される左右の画像及びPinP画像を補正処理前と補正処理後の状態で示すと共に、さらにOSD画像の表示が選択された場合における左右の画像表示素子に表示される左右の画像、PinP画像及びOSD画像を示す。
図1に示す立体内視鏡システム1は、立体撮像を行う立体内視鏡2と、立体内視鏡2に照明光を供給する光源装置3と、立体内視鏡2の撮像手段に対する信号処理を行い、映像信号を生成する信号処理装置4と、信号処理装置4から入力される映像信号に対して(3D表示装置6による表示を立体視し易いように)表示制御を行う立体表示コントローラ(3D表示コントローラと略記)5と、立体視用の画像表示を行う3D表示装置6とを有する。
立体内視鏡2は、被写体の光学像を結像する光学系を先端に設けた細長の挿入部11、この挿入部11の後端に設けられ、術者等が把持する把持部12、この把持部12の後端に設けられた接眼部13とを有する光学式内視鏡14と、この接眼部13に着脱自在に装着され、撮像手段を内蔵したテレビカメラ15とから構成される。
図1においては、立体内視鏡2を光学式内視鏡14と、テレビカメラ15とにより構成したものを採用しているが、撮像手段を光学系の結像位置に配置した立体電子内視鏡により構成しても良い。
立体内視鏡2における挿入部11内には、照明光伝送手段としてのライトガイド16が挿通されており、このライトガイド16の後端のライトガイド口金にはライトガイドケーブル17を介して光源装置3からの照明光が供給される。このライトガイド16は、挿入部11の先端部18に設けた照明窓にその先端面(出射端面)が固定されており(図1では省略)、その先端面からさらに照明レンズを経て照明光を出射し、この照明光により挿入部11が挿入される体内における患部等の被写体を照明する。
立体内視鏡2における挿入部11の先端部18には、照明された(同一の)被写体に対して、左右方向に視差をもって結像するように、左右方向に間隔D離間して配置された左用の対物光学系21Lと右用の対物光学系21Rと、これら特性が揃った左右用の対物光学系21L,21Rにより得られる被写体像より広い結像範囲で結像する広角或いはワイド(W)用の対物光学系21Wとが配置されている。
左右用及び広角用の対物光学系21L、21R、21Wによる各光学像は、挿入部11内に挿通されたリレー光学系22L、22R、22Wによりそれぞれ後方側に伝送され、接眼部13に配置された接眼光学系23を経て肉眼で観察することができる。なお、図1においては、リレー光学系22L、22R、22Wに対向して配置された3つの接眼レンズを接眼光学系23にて代表して示している。
図1に示すように接眼部13にテレビカメラ15が装着されると、接眼光学系23に対向してテレビカメラ15内に設けられた結像光学系24により、それぞれの結像位置に配置された撮像手段としての電荷結合素子(CCDと略記)25L、25R、25Wに結像される。
つまり、左右用及び広角用の対物光学系21L、21R、21Wによる各光学像は、リレー光学系22L、22R、22W等を介して左右用及び広角用のCCD25L、25R、25Wにそれぞれ結像され、それぞれ光電変換される。
これらCCD25L、25R、25Wは、信号線を介して、信号処理装置4を形成するカメラコントロールユニット(CCUと略記)26L、26R、26Wにそれぞれ接続される。なお、図面中における主要な構成要素においては、例えばCCU(L)26Lのように、より詳細に示している。
左右用及び広角用のCCU26L、26R、26Wは、左右用及び広角用のCCD25L、25R、25Wにより光電変換されて出力される撮像信号に対して、信号処理を行い、映像信号に変換する。
これらCCU26L、26R、26Wから出力される左右の映像信号及び広角の映像信号は、(立体内視鏡用表示制御装置としての)3D表示コントローラ5を介して、3D表示装置6における左右の画像表示を行う、例えば液晶モニタ(LCDと略記)、DMD、有機EL等により形成される小型の画像表示素子27L、27Rにそれぞれ入力され、左右の画像等が表示される。
そして、観察者或いは術者は、3D表示装置6の左右の接眼窓61L,61Rから左右の画像表示素子27L、27Rに表示された左右の画像を観察することにより、立体観察ができるようにしている。
図2は、3D表示コントローラ5の内部構成を示す。この3D表示コントローラ5は、以下において説明するように、左右のCCD25L,25Rにより撮像した左右の画像に対応する左右の映像信号Vl,Vrに対して、視点モードの変更に対応して左右の画像における水平方向の表示位置をシフト(移動)する移動処理と、左右で同じ画像範囲を観察できるように左右の画像における不一致の画像領域部分をマスクするマスク処理を行うようにする。
また、左右の画像中に、広角用のCCD25Wにより撮像した画像を縮小して子画面(子画像)として重畳表示したり、メニュー等のグラフィック画像を重畳表示する機能も備えている。そして、上記のように、視点モードの変更に対応して、左右の画像の実際の表示位置を調整するのに対応して、重畳する重畳画像も適切な表示位置となるように補正(制御)する処理も行う。以下、図2を参照してその構成を説明する。
図2に示すように、(CCU26L、26R、26Wから出力される)左右の映像信号Vl,Vr及び広角の映像信号Vwは、それぞれA/D変換器31L,31R及び31Wに入力され、それぞれデジタル信号に変換される。
A/D変換器31L,31Rの出力信号は、それぞれスケーラ回路32L,32Rに入力される。スケーラ回路32L,32Rは、入力信号を画像表示素子27L,27Rの解像度に合わせる画像処理を行った後、画像メモリ33L,33Rに出力し、画像メモリ33L,33Rに一時格納される。
画像メモリ33L,33Rに格納された左右の映像信号は、画像ミキサ34L,34Rにそれぞれ入力される。
一方、広角の映像信号Vwをデジタル信号に変換したA/D変換器31Wの出力信号は、左右のピクチャインピクチャ(PinPと略記)画像生成部35L,35Rにそれぞれ入力される。PinP画像生成部35L,35Rは、入力される信号を、左右の画像を親画像としてその親画像中にPinPで子画像を重畳表示するためのPinP画像の生成処理を行う。より具体的には、広角用CCD25Wにより撮像された画像を子画像として生成する処理を行う。
そして、PinP画像生成部35L,35Rによる出力信号は、画像ミキサ34L,34Rにそれぞれ入力される。
画像ミキサ34L,34Rには、左右の画像メモリ33L、33R及びPinP画像生成部35L,35Rからの出力信号が入力されると共に、さらに左右のオンスクリーンディスプレイ(OSDと略記)画像生成部36L,36RからOSD画像が入力される。
OSD画像生成部36L,36Rは、左右の画像中に、メニュー画面等の表示を行うためのOSD処理を行う。
画像ミキサ34L、34Rの出力信号は、ディスプレイI/Fトランスミッタ37L、37Rを経て3D表示装置6の左右の画像表示素子27L、27Rに出力される。ディスプレイI/Fトランスミッタ37L、37Rは、ディスプレイに対する高速信号伝送I/Fとして標準的に採用されているLVDSやDVI等の規格に対応した出力を行うものにより構成されている。
上記左右の画像メモリ33L,33R、左右の画像ミキサ34L、34R、左右のPinP画像生成部35L、35R、左右のOSD画像生成部36L,36Rは、この3D表示コントローラ5における制御手段としてのCPU38により制御される。
また、この3D表示コントローラ5における例えばフロントパネルには、視点位置の変更により、表示変更の指示入力やその他の指示入力を行う操作スイッチ39が設けてある。この操作スイッチ39を操作することにより、その操作信号(指示信号)がCPU38に入力され、CPU38は、操作信号に対応した制御動作を行う。
操作信号が入力された場合、CPU38は、例えばROM47に格納され、制御動作を決定するプログラムに従って制御動作を行う。より具体的には、CPU38は、ROM47から読み込んだプログラムに従って後述する図9及び図10の一連の処理を行うことになる。
上記操作スイッチ39には、視点を変更する視点モードスイッチ41,OSD表示をON/OFFするOSD表示スイッチ42,PinP表示をON/OFFするPinP表示スイッチ43と、さらに左右に表示される画像の表示位置を移動する微調整する上下スイッチ44,左右スイッチ45とが設けてある。
この場合、視点モードスイッチ41としては、図15における視点1、視点2、視点3の各状態に対応して適切に表示する指示操作を行う視点モード1用スイッチ41a、視点モード2用スイッチ41b、視点モード3用スイッチ41cとが設けてある。なお、図15は、従来例における説明図であるが、図1における左右の対物光学系21L,21Rを図15の左右の撮像光学系92L,92Rに読み替えて以下のように適用する。
つまり、左右の対物光学系21L,21Rにおける結像範囲が一致する場合における被写体までの距離Lは、L=d2とし、その距離に対する視点状態を視点1或いは視点モード1とする。また、距離L=d1(d1<d2)及び距離L=d3(d2<d3)での各視点状態をそれぞれ視点2或いは視点モード2,視点3或いは視点モード3とする。
また、OSD表示スイッチ42は、1つでトグル的にOSD画像表示をON/OFFする指示操作信号を発生する。勿論、2つのスイッチでそれぞれON、OFFするようにしても良い。
また、PinP表示スイッチ43も、1つでトグル的にPinP画像表示をON/OFFする指示操作信号を発生する。
また、画像の表示位置を微調整する上下スイッチ44,左右スイッチ45は、右画像用と左画像用とにそれぞれ上スイッチ44a、下スイッチ44bと、左スイッチ45a、右スイッチ45bとが設けてある。簡略化して一方のみ設けるようにしても良い。
上記3D表示コントローラ5からPinP画像等が重畳された左右の映像信号は、3D表示装置6内の画像表示素子27L、27Rに入力され、この画像表示素子27L、27Rの表示領域上に左右の画像が表示される。
この3D表示装置6は、例えば図3に示すようにカート51の天板から上方に延出されたアーム52の先端部材53に取り付けられている。図3(A)は、術者55の斜め前方側から見た様子を示し、図3(B)は術者の斜め後方側から見た様子を示す。
カート51には、光源装置3、CCU26L,26R,26WE、3D表示コントローラ5が搭載されている。
カート51の天板から上方に延出されるアーム52は、そのアーム根元部の軸52aが天板の上面に、垂直な方向でなく、斜め方向に回動自在に固定されている。
アーム52は、平行なリンク構造部54で回動自在にしたリンク構造にされており、上記のようにその根元部を斜め方向に設定することにより、術者55の頭ごしに3D表示装置6を保持し、かつ、折り畳んだ時の高さをなるべく低くできるようにしていいる。
なお、図3の例では、カート51の天板の上部に2D表示モニタ56を配置して、左右の画像における一方を通常の2次元表示(2D表示)して、立体視する術者55以外の術者等が、観察できるようにしている。
また、図4はカート51を底面側から見た図を示す。カート51の底面には4個のキャスタ56a〜56dの他に、さらに追加したキャスタ56eと、2個のストッパ57a、57bとが設けてある。また、カート51の底面には、転倒しにくくするための重り58を取り付けている。
このように、カート51の専有面積をなるべく小さくするため、かつ転倒しにくくするため、2つのストッパ57a、57bの間にもキャスタ56eを設けた構造にしている。 また、図5(A)は、3D表示装置6における術者55が立体観察する接眼部(アイピース)側の構造を示している。なお、3D表示装置6における左右の突出する棒状部材は、術者が把持して3D表示装置6を観察状態に設定するための把持操作する取手60a、60bである。
3D表示装置6における接眼窓61L,61R部分には、余計な外光を遮断し、画像に没入できるようにするため、アイシェード部62が設けてある。
図5(B)に拡大して示すように、このアイシェード部62は、アイシェード本体63と、その前部上面側を押さえる押さえ板64Aと、前部の底面側を押さえる図示しない押さえ板(明確化するため64Bとする)とより成る。
アイシェード本体63は、シリコンゴム等で一体成型され、その上面(及び底面)には凸部65a、65bが、側面にはフランジ部66a、66bが設けてある。
押さえ板64Aには孔部67a、67bが設けてあり、アイシェード本体63の凸部65a、65bを通し、折り返し部68a,68bにてアイシェード本体63を挟んで引っ掛けている。押さえ板64Bに関してもアイシェード本体63の底面側で同様の構成である。
押さえ板64A、64B、アイシェード本体63は、図示しないビスにより3D表示装置6に固定され、更にアイシェード本体63は、押さえ板64A,64Bと接着にて固定されている。
また、凸部65a、65b、フランジ部66a、66bと3D表示装置6との間に図示しない滅菌ドレープを輪ゴム、テープ等で固定する。こうすることにより、3D表示装置6側を術者55が使用する場合には滅菌ドレープにより覆う。そして内視鏡検査、処置後には、この滅菌ドレープを廃棄し、次回に使用する場合には再び新しい滅菌ドレープを装着して使用することにより、3D表示装置6自体を滅菌しなくても済むようにしている。 このような構成における本実施例においては、3D表示コントローラ5に設けた操作スイッチ39を操作することにより、3D表示装置6に立体観察し易い状態で左右の画像等を表示する構成にしている。
次に本実施例の作用を説明する。本実施例における動作説明用のフローチャートに沿って説明する前に、PinP画像やOSD画像等の(左右の画像中に別の画像を重畳する)重畳画像の表示を行わない状態での左右の画像を立体観察し易い状態で表示する動作を説明する。
例えば図3に示すようにカート51に光源装置3、CCU26L、26R、26Wと3D表示コントローラ5等を搭載して、術者55は、アーム52の先端部材53から下方に取り付けられた3D表示装置6を観察することにより立体視することができる状態で、立体内視鏡2の挿入部11を図示しない患者の体内に挿入する。
また、処置を行う場合には、図示しない処置具をトラカールなどを介して体内に挿入し、上記立体内視鏡2による観察下で、体内の臓器における病変部位を切除する等の処置を行うことになる。
この場合、立体内視鏡2における左右の画像範囲が一致するように予め設定された視点モード1、つまり図15の距離L=d2の状態で観察する場合においては、左右のCCD25L,25Rの撮像面に結像され、それぞれ光電変換される画像は、図6(A)のようになる。
これら左右のCCD25L,25Rに結像され、光電変換された画像信号(撮像信号)は、CCU26L,26Rによりそれぞれ信号処理され、CCU26L,26Rは、それぞれ左右の映像信号Vl,Vrを3D表示コントローラ5に出力する。
3D表示コントローラ5は、操作スイッチ39における視点モード1スイッチ41aが操作されていると、初期位置に移動(或いは設定)状態で、映像信号を左右の画像表示素子27L,27Rに表示する信号に変換して3D表示装置6の左右の画像表示素子27L,27Rに出力する。この場合には、左右の画像表示素子27L,27Rに表示される左右の画像も、図6(A)に示したものと実質的に同じ画像を表示する。
一方、この立体内視鏡2によって、例えば近点側の病変部位や処置具を観察した場合、つまり図15の視点モード2の状態で観察した場合には、左右のCCD25L,25Rに結像される画像は、図6(B)に示すようになる。
この状態では、左画像における水平方向の左端部付近の領域には、右画像側では撮像されていない不一致領域Raの画像があり、逆に右画像における水平方向の右端部付近の領域には、左画像側では撮像されていない不一致領域Rbの画像がある。なお、この不一致領域Ra、Rbは、図15中における左端部Hla及び右端部Hraでそれぞれ示したものに相当する。
この場合には、操作スイッチ39における視点モード2用スイッチ41bを操作すると良い。すると、CPU38は、左右の画像メモリ33L,33Rから左右の画像を読み出すアドレスを(視点モード1の場合を基準にして)水平方向にずらす処理を行う。以下に説明するように水平方向にずらす値は、左右の画像に対して同じ値で、かつずらす方向は互いに逆となる。
具体的には、左の画像メモリ33Lでは、図6(A)における水平方向の読み出し開始アドレスをHs(図6(A)はCCD25Lの画像であるため、その画像における水平方向の読み出しアドレスを括弧を用いて示している)と、不一致領域Raの1/2の相当する画素数分だけ、水平左方向にずらすため(読み出し開始アドレスHsに水平右方向にシフトするオフセットΔ2を加えた読み出し開始アドレスHs+Δ2)により読み出す。 この場合、右端側では、図6(A)の読み出し終了アドレスHeの場合よりもΔ2分だけ、余分に読み出す。この場合、アドレスHeからHe+Δ2まで、余分の読み出しアドレスにより黒レベルの画像データが読み出されるようにする。
なお、オフセットΔ2の値は、立体内視鏡2の光学仕様および画像表示素子27L,27Rの解像度から予め求めておく。
L=d1の場合の水平方向撮像長さをA、画像表示素子27L,27Rの水平解像度をHres[画素]とすると、
L=d2の場合の水平方向撮像長さ=A×(d2/d1)
L=d2の場合の水平方向不一致領域Hra=Hla=D×(d1−d2)/d1
L=d2の場合の水平方向不一致領域画素数=Hres×D×(d1−d2)/(d2×A)
オフセットΔ2=Hres×D×(d1−d2)/(2×d2×A)
となる。
また、この状態で後段側に出力すると、不一致領域Ra(=Hra)の1/2分だけ、水平左方向に移動したのみであり、不一致領域Raの1/2分が依然として表示されてしまうので、CPU38は、この不一致領域Raの1/2分をマスクする画像を画像ミキサ34Lに出力する。
具体的には、CPU38は、画像メモリ33Lから画像を読み出す場合、水平方向にオフセットΔ2だけずらして画像データを読み出すが、読み出し開始アドレスH+Δ2からH+2×Δ2までの間は、例えば図示しない切替スイッチなどにより黒レベルの信号を画像ミキサ34L側に出力させるマスク処理をする。
このようにすることにより、左の画像表示素子27Lに表示すると、図6(C)の左側のようになる。図6(C)の左側の画像においては、水平左側への移動量に等しい値だけ、左端部側には黒レベルのマスク挿入画像71が表示され、また右端側には移動量に等しい値で(黒レベルによる)黒画像72が表示され、これらの間に左画像が表示される状態となる。なお、マスク挿入画像71と黒画像72とは、黒レベルに限定されるものでないが、同じ色の方が望ましい。
一方、右の画像メモリ33Rに対しては、画像メモリ33Lの場合と逆方向に水平方向にずらす水平方向移動処理及びマスク処理を行う。
具体的には、右の画像メモリ33Rでは、図6(B)における不一致領域Rbの1/2に相当する画素分だけ、左側にずらすために読み出し開始アドレスを水平右方向にずらす。つまり、図6(A)における読み出し開始アドレスHsからオフセットΔ2を引き算したアドレスHs−Δ2により読み出す。
この場合には、読み出し開始アドレスHsーΔ2からHsまでのオフセットΔ2のアドレスにより、黒レベルの画像が読み出されることになる。
また、左端側では、不一致領域Rbの1/2が読み出されてしまうので、この不一致領域Rbの1/2が読み出されるタイミング、つまりアドレスHeー2×Δ2からHeーΔ2までの間においては、マスク処理をする。
このようにすることにより、右の画像表示素子27Rに表示すると、図6(C)の右側のようになる。
図6(C)に示すように左右の画像表示素子27L,27Rに表示される左右の画像は、図6(A)の場合のように不一致領域が解消された状態で表示されると共に、図6(A)の場合のように左右の画像の中央がそれぞれ左右の画像の中央に表示されるように補正されるので、立体観察し易い状態で観察できる。
つまり、図6(B)の状態において、単に不一致領域Ra、Rbのみをマスク処理により解消して、水平方向には画像を移動する処理を行わない場合(補正処理を行わない場合という)には、左右の画像における中央位置は、本来同じ画像位置として表示されるべきであるが、左右の画像ではそれぞれ水平方向にシフトしているため、実際に表示されている画像位置(観察者の眼のピント位置)と、仮想的に画像が存在すると知覚される位置(輻輳)との間にずれが生じてしまい、観察しにくい画像となってしまう。
これに対して本実施例では、左右の画像における眼のピント位置と輻輳の乖離を解消するように水平方向に画像を移動(シフト)する処理と、不一致領域Ra、Rbを解消するマスク処理を行って、観察し易い画像が表示されるようにする。以上は、近点側での処理であるが、以下に説明する遠点側でもほぼ同様の処理を行う。
この立体内視鏡2によって、例えば遠点側の病変部位や処置具を観察した場合、つまり図15の視点モード3の状態で観察した場合には、左右のCCD25L,25Rに結像される画像は、図7(A)にようになる。
この状態は、図6(B)における左右の画像を入れ替えた状態に対応する画像となる。 図7(A)の場合においては、左画像における右領域には、右画像側では撮像されていない不一致領域Raの画像があり、逆に右画像における左領域には、左画像側では撮像されていない不一致領域Rbの画像がある。
この場合には、操作スイッチ39における視点モード3用スイッチ41cを操作すると良い。すると、CPU38は、左右の画像メモリ33L,33Rから左右の画像を読み出すアドレスを(視点モード1の場合から)水平方向にずらす。
具体的には、左の画像メモリ33Lにおいては、不一致領域Raの1/2の相当する画素分だけ、水平方向の右側にずらすため、読み出し開始アドレスHsから(水平方向の読み出し位置を左側にシフトする)オフセットΔ3を引いた読み出し開始アドレスHーΔ3から読み出す。この場合、アドレスHsーΔ3からHsまで、黒レベルの画像データが読み出されるようにする。
オフセットΔ3の値は、オフセットΔ2の場合と同様にして求められる。
L=d1の場合の水平方向撮像長さをA、画像表示素子27L,27Rの水平解像度をHres[画素]とすると、
L=d3の場合の水平方向撮像長さ=A×(d3/d1)
L=d3の場合の水平方向不一致領域Hrb=Hlb=D×(d3−d1)/d1
L=d3の場合の水平方向不一致領域画素数=Hres×D×(d3−d1)/(d3×A)
オフセットΔ3=Hres×D×(d3−d1)/(2×d3×A)
となる。
また、この状態で後段側に出力すると、不一致領域Ra(=Hrb)の1/2分だけ、水平方向右側に移動したのみであるので、不一致領域Raの1/2分が表示されてしまうので、CPU38は、この不一致領域Raの1/2分をマスクする画像を画像ミキサ34Lに出力する。
具体的には、CPU38は、画像メモリ33Lから画像を読み出す場合、読み出しアドレスHー2×Δ3からHーΔ3までの間は、例えば図示しない切替スイッチなどにより黒レベルの信号を画像ミキサ34L側に出力させるマスク処理をする。
このようにすることにより、左の画像表示素子27Lに表示すると、図7(B)の左側のようになる。
一方、右の画像メモリ33Rに対しては、画像メモリ33Lの場合と逆方向に水平方向にシフトする水平方向移動処理及びマスク処理を行う。
具体的には、右の画像メモリ33Rでは、図6(B)における不一致領域Rbの1/2の相当する画素分だけ、左側にずらすために読み出し開始アドレスを水平右方向にずらす。つまり、図6(A)における読み出し開始アドレスHsにオフセットΔ3を加算したアドレスHs+Δ3により読み出す。この場合には、読み出し終了アドレス側ではアドレスHeからHe+Δ3までのアドレスにより、黒レベルの画像が読み出されることになる。
また、左端側では、不一致領域Rbの1/2が読み出されてしまうので、この不一致領域Rbの1/2が読み出されるタイミング、つまりアドレスHs+Δ3からHs+2×Δ3までの間においては、マスク処理をする。
このようにすることにより、右の画像表示素子27Rに表示すると、図7(B)の右側のようになる。
図7(B)の左右の画像は、図6(C)の場合と同様に不一致領域Ra、Rbが解消され、かつピント位置と輻輳との乖離が発生することを解消できる状態となる。
以上は、左右の画像の表示の場合で説明したが、次にPinP画像も表示する例で説明する。本実施例では、PinP画像73は、図6(A)に相当する視点モード1の場合で示すと、図8に示すように左上の隅部に表示するように設定されている。
視点モード1の場合では、左右の画像の表示領域が一致しているのでPinP画像73の表示位置を調整しなくても良い。
しかし、視点モード2や視点モード3にした場合には、上述したように撮像した左右の画像を水平方向に移動し、さらにマスク処理を行って表示する。このため、画像の移動やマスク処理に対応した表示位置補正を行う必要がある。
一方、OSD画像表示を行う場合には、図6(A)に相当する視点モード1の場合で示すと、図8の点線で示すように中央付近にOSD画像74を表示する。
OSD画像74は、撮像した画像やPinP画像のように撮像した画像と直接関連する画像を表示するのでないため、表示するタイミングを視点モードにかかわらず、一定に設定する(例えば基準クロックを所定数カウントしたタイミングで表示開始する)ことにより、常に図8の点線で示した位置に重畳表示することができる。
なお、OSD画像74に対しても、PinP画像73と同じ座標系を設定して表示制御を行う場合には、視点モード2及び3では不一致領域Ra等の1/2だけ水平方向にずらすようにすれば良い。
次に図9及び図10のフローチャートを参照して本実施例を説明する。3Dコントローラ5の電源が投入されると、CPU38は、ROM47に格納されたプログラムに従って図9及び図10に示す制御動作を開始する。
図9に示すように、立体観察が開始すると、最初のステップS1に示すように3D表示コントローラ5内のCPU38は、操作スイッチ39が操作されたか否かをスキャン(モニタ)する。
そして、操作スイッチ39が操作された場合にはCPU38は、ステップS2に示すように視点モードスイッチ41の操作状態が変更されたか否かを判定する。
そして、視点モードスイッチ41の操作状態が変更された場合にはCPU38は、視点モード1に状態変更されたか、視点モード2に状態変更されたか、視点モード3に状態変更されたかを判定する。
視点モード1に状態変更された場合には、ステップS3Aに示すようにCPU38は、PinP画像生成部35L,35R(フローチャート中では、例えばPinP画像生成部35LをPinP画像生成部(L)のように略記)に初期位置移動指令を出力する。この初期位置移動指令は、(例えば図6(A)のように左右の画像を撮像した場合)図8に示すような状態でPinP画像73を重畳表示する位置である。
次のステップS4AにおいてCPU38は、画像メモリ33L、33Rに初期位置移動指令及びマスク画像挿入OFF指令を出力する。例えば、図6(A)で示したように撮像された左右の画像を、画像表示素子27L,27Rに殆ど同じように表示するように初期位置に移動指令する。
換言すると、初期位置のアドレスで画像メモリ33L、33Rから画像データを読み出すように設定する。またマスクを行う必要はないので、マスクするマスク画像の挿入をOFFにする指令を出す。
次のステップS5(図10参照)においてCPU38は、OSD表示スイッチ42がONか否かの判定を行う。
OSD表示スイッチ42がOFFの場合には、ステップS6に示すようにCPU38は、PinP表示スイッチ43がONか否かの判定を行う。そして、PinP表示スイッチ43がOFFの場合にはステップS7に示すようにCPU38は、画像ミキサ34L,24Rに画像メモリ出力への重畳画像なしとする指令を出力する。そして、最初のステップS1に戻る。この状態においては、左右の画像表示素子27L,27Rには図6(A)で示したものと相似の左右の画像が表示されることになる。
ステップS6の判定において、PinP表示スイッチ43がONと判定した場合には、ステップS8に示すようにCPU38は、画像ミキサ34L,34Rに画像メモリ出力へのPinP画像73の重畳指令を出力する。
この場合には、図8に示した画像(点線のOSD画像74は除外)が3D表示装置6の左右の画像表示素子27L,27Rに表示される。
また、ステップS5の判定において、OSD表示スイッチ42がONされたとCPU38により判定された場合には、ステップS9に示すようにPinP表示スイッチ43がONかの判定を行う。
PinP表示スイッチ43がOFFと判定した場合にはCPU38は、ステップS10に示すように画像ミキサ34L,34Rに画像メモリ出力へのOSD画像74の重畳指令を出力する。
この場合には、図8において、PinP画像73を表示しないで、点線で示すOSD画像74が左右の画像に重畳して表示されるようになる。そして、最初のステップS1に戻る。
ステップS9の判定において、PinP表示スイッチ43がONと判定した場合にはステップS11においてCPU38は、画像ミキサ34L,34Rに画像メモリ出力へのOSD画像74及びPinP画像73の重畳指令を出力する。
この場合には、図8において、PinP画像73と共に、点線で示すOSD画像74が左右の画像に重畳して表示されるようになる。そして、最初のステップS1に戻る。
次にステップS2の視点モードスイッチ41の状態変更が無い場合においては、ステップS12に示すようにCPU38は、上下スイッチ44がONにされたかの判定を行う。 上下スイッチ44がONにされたと判定した場合には、次のステップS13においてCPU38は、(ONされた上下スイッチ44における実際にONされたものが)上スイッチ44aがONされた場合には(a)画像メモリ33L若しくは33Rの左画像若しくは右画像の表示位置を上方向に移動する指令を出力する。
或いは(ONされた上下スイッチ44における実際にONされたものが)下スイッチ44bがONされた場合には(b)画像メモリ33L若しくは33Rの左画像若しくは右画像の表示位置を下方向に移動する指令を出力する。そしてステップS5に移る。
ステップS13の処理により、左画像若しくは右画像の表示位置を上方向或いは下方向に移動できる。このため、立体内視鏡2における左右の光学系や左右のCCD25L,25Rの設定状態が初期設定状態から経年変化等によりずれた場合等においては、調整することができる。
つまり、本来は同じ画像部分に対しては、実際の表示位置も上下方向で一致しているべきであるが、経年変化等のために上下方向にずれている場合には、一方の画像表示素子27L或いは27Rに対して表示される表示位置を上或いは下に移動する上スイッチ44a或いは下スイッチ44bをONすれば、そのずれを解消できる。なお、PinP画像73やOSD画像74の表示位置は、変更しない。
また、図12の判定において、上下スイッチ44がOFFの場合には、ステップS14に示すようにCPU38は、左右スイッチ45がONにされたかの判定を行う。CPU38は、左右スイッチ45がOFFである判定した場合には、ステップS5の処理に移る。 一方、左右スイッチ45がONである判定した場合には、CPU38は、ステップS15の処理に進む。
ステップS15において、CPU38は、PinP画像生成部35L若しくは35R、画像メモリ33L若しくは33Rそれぞれに対して、左右スイッチ45における左スイッチ45aがONされた場合には(a)各画像表示位置を左方向に移動する指令を出力する。この場合、左右スイッチ45おける右スイッチ45bがONされた場合には(b)各画像表示位置を右方向に移動する指令を出力する。
ステップS15の処理により、左画像若しくは右画像の表示位置を左方向或いは右方向に移動できる。このため、上記上下方向のずれの場合のように左右の光学系や左右のCCD25L,25Rが経年変化等により最初の設定状態からずれた場合には、それを補正できる。
例えば左右の画像表示素子27L,27Rにおいて、同じ画像部分に対する実際の表示位置が左右方向にずれている場合には、一方の画像表示素子27L或いは27Rに対してその表示位置を左或いは右に移動する左スイッチ45a或いは右スイッチ45bをONすれば、そのずれを解消できる。なお、この場合においては、PinP画像73も、左右の画像における水平方向の調整移動に伴って、同量移動する。
以上は、視点モード1に対する処理を説明したので、次にステップS2において、視点モード2用スイッチが操作された場合を説明する。
この場合にはステップS3Bに示すようにCPU38は、PinP画像生成部35L,35Rに視点モード2位置への移動指令を出力する。視点モード2位置への移動指令の詳細は後述する。
次のステップS4BにおいてCPU38は、画像メモリ33L、33Rに視点モード2位置への移動指令及び視点モード2マスク画像挿入指令を出力する。
画像メモリ33L、33Rに視点モード2位置への移動指令は、これを行わないと、図6(B)に示す補正なしの状態のままで左右の画像を表示することになるため、水平方向に移動する処理を行う。
また、この水平移動処理では、不一致領域Ra、Rbの半分が表示されてしまうので、マスク画像挿入を行うことにより不一致領域Ra、Rbが表示されるのを解消する。
次のステップS5においてCPU38は、OSD表示スイッチ42がONされたかを判定する。例えばOFFの場合には、次のステップS6において、PinP表示スイッチ43がONかの判定を行う。OFFの場合には、ステップS7に進み、この場合には、OSD画像74を表示しないし、PinP画像73も表示しないので、図6(C)の表示となる。
ステップS6の判定において、PinP表示スイッチ43がONであると、画像メモリ出力に、視点モード2位置への移動指令がされた状態のPinP画像73が重畳される。 この視点モード2位置への移動指令は、この移動指令を行わないと、図11(A)に示すような画像で表示することになる。
図11(A)に示す画像は、図6(B)の状態で、さらにPinP画像73を視点モード1の初期位置で重畳したものとなる。
図6(B)の画像は、水平方向に移動され、さらにマスク処理されて表示されるので、そのマスク処理された際に実質的に表示される画像の左上の隅の部分に表示されるようにPinP画像73の重畳位置を移動する。
具体的には、左画像に重畳するPinP画像73に対しては、視点モード1での重畳表示位置から2×Δ2(つまり不一致領域Ra)だけ右側に移動して重畳する。右画像に重畳するPinP画像73に対しては、視点モード1での重畳表示位置からΔ2(つまり不一致領域Raの1/2)だけ右側に移動して重畳する。
このようにすることにより、左右の画像表示素子27L,27Rにより表示される左右の画像及びPinP画像73は、図11(B)に示すようになる。つまり、PinP画像73を除外すると、図6(C)の表示状態と一致し、図6(C)の表示状態における左隅にPinP画像73がそれぞれ同じ状態で表示される。
また、ステップS5において、OSD表示スイッチ42がONと判定された場合には、ステップS9においてCPU38は、PinP表示スイッチ43がONかの判定を行う。そして、PinP表示スイッチ43がOFFの場合には、ステップS10に示すように画像ミキサ34L,34Rに対して、画像メモリ出力に重畳する画像をOSD画像74のみとする。この場合には、図6(C)の画像において、図8に点線で示したOSD画像74が重畳して(図8の中央付近と同じ配置で)表示される画像となる。
一方、ステップS9の判定において、PinP表示スイッチ43がONの場合には、ステップS11に示すように画像ミキサ34L,34Rに対して画像メモリ出力に重畳する画像をOSD画像74とPinP画像とする。この場合には、図11(B)の表示状態において、さらに図8に点線で示したOSD画像74が重畳して(図8の中央付近と同じ配置で)表示される画像となる。なお、上下スイッチ44及び左右スイッチ45による作用は、視点モードに関係しないで同じ作用となるため、視点モード2及び3ではその説明を省略する。
次にステップS2において、視点モード3用スイッチ41cが操作された場合を説明する。
この場合にはステップS3Cに示すようにCPU38は、PinP画像生成部35L,35Rに視点モード3位置への移動指令を出力する。視点モード3位置への移動指令の詳細は後述する。
次のステップS4CにおいてCPU38は、画像メモリ33L、33Rに視点モード3位置への移動指令及び視点モード3マスク画像挿入指令を出力する。
画像メモリ33L、33Rに視点モード3位置への移動指令は、これを行わないと、図7(A)に示す状態で左右の画像を表示することになるため、水平方向に移動する処理を行う。
また、この水平移動処理では、不一致領域Ra、Rbの半分が表示されてしまうので、マスク画像挿入を行うことにより不一致領域Ra、Rbが表示されるのを解消する。
次のステップS5においてCPU38は、OSD表示スイッチ42がONされたかを判定する。例えばOFFの場合には、次のステップS6において、PinP表示スイッチ43がONかの判定を行う。OFFの場合には、ステップS7に進み、この場合には、OSD画像74を表示しないし、PinP画像73も表示しないので、図7(B)の表示となる。
ステップS6の判定において、PinP表示スイッチ43がONであると、画像メモリ出力に、視点モード3位置への移動指令がされた状態のPinP画像73が重畳される。 この視点モード3位置への移動指令は、この移動指令を行わないと、図12(A)に示すような画像で表示することになる。
図12(A)に示す画像は、図7(A)の状態で、さらにPinP画像73を視点モード1の初期位置で重畳したものとなる。
図7(A)の画像は水平方向に移動され、さらにマスク処理されて表示されるので、そのマスク処理された際に実質的に表示される画像の左上の隅の部分に表示されるようにPinP画像の重畳位置を移動する。具体的には、左画像に重畳するPinP画像73に対しては、視点モード1での重畳表示位置からΔ3(つまり不一致領域Raの1/2)だけ右側に移動して重畳する。右画像に重畳するPinP画像73に対しては、視点モード1での重畳表示位置から2×Δ3(つまり不一致領域Ra)だけ右側に移動して重畳する。 このようにすることにより、左右の画像表示素子27L,27Rにより表示される左右の画像及びPinP画像は、図12(B)に示すようになる。
また、ステップS5において、OSD表示スイッチ42がONと判定された場合には、ステップS9においてCPU38は、PinP表示スイッチ43がONかの判定を行う。そして、PinP表示スイッチ43がOFFの場合には、ステップS10に示すように画像ミキサ34L,34Rに対して、画像メモリ出力に重畳する画像をOSD画像74のみとする。
一方、PinP表示スイッチ43がONの場合には、ステップS11に示すように画像ミキサ34L,34Rに対して画像メモリ出力に重畳する画像をOSD画像74とPinP画像73とする。
この場合には、図12(C)に示すような画像表示となる。この画像表示状態においては、左右の画像、PinP画像73、OSD画像74がそれぞれ適正な状態で表示されることになる。
以上説明した本実施例によれば、立体内視鏡2における左右の光学系及び撮像手段による左右の撮像範囲が一致する視点状態で観察する場合から近点側にずれた視点状態で観察する場合、或いは遠点側にずれた視点状態で観察する場合においても、左右の撮像範囲が一致する視点状態で観察する場合と同様な表示状態に設定する信号処理を行うようにしているので、観察者は立体観察し易い適正な状態で立体観察ができる。
つまり、近点側及び遠点側の視点状態で観察する場合において、それぞれ対応するスイッチ操作を行うことにより、左右の撮像範囲において発生する不一致領域をマスク処理して不一致領域を解消すると共に、表示される左右の画像を水平方向に移動する画像移動処理して、観察者の眼のピント位置と輻輳にずれの無い状態で表示されるようにしているので、観察者は立体観察し易い適正な状態で立体観察ができる。
また、重畳画像としてのPinP画像73やOSD画像74を左右の画像中に重畳表示する場合においても、左右の画像と共に、適切な表示位置に表示する表示処理を行うようにしているので、PinP画像73やOSD画像74が左右の画像における表示位置が相対的にずれてしまうようなことを解消できる。
また、本実施例の3D表示コントローラ5として、広角用の光学系及び撮像手段を備えた立体内視鏡2の場合に適用した例で示しているが、広角用の光学系及びその撮像手段を有しないで、左右の光学系及び左右の撮像手段を備え、距離算出手段や焦点調整機構を有しない既存の立体内視鏡の場合にも広く適用できることは明らかである。この場合には、重畳画像としては、OSD画像74のみとなる。
そして、既存の立体内視鏡に対しても本実施例の3D表示コントローラ5を採用することにより、上述したように立体視に適した状態で左右の画像等を表示することができることになる。
換言すると、既存の立体内視鏡を用いた既存の立体内視鏡システムに対して、本実施例の3D表示コントローラ5を採用することにより、その立体内視鏡システムにより違和感が伴う立体観察の状況を簡単に改善でき、違和感無く立体観察を行うことができる環境を実現できる。従って、本実施例の3D表示コントローラ5は、適用範囲が広く、かつ適用した場合に非常に有用な効果を得ることができるものとなる。
なお、上述の説明において、図8に示したように視点1の状態で左右の画像中におけるPinP画像73を重畳する位置を変更した場合には、その変更に応じて視点2等においてPinP画像73を重畳する位置を補正すれば良い。基本的には、PinP画像73を左右の画像における水平方向の隅の方に配置した場合には、視点2或いは視点3の変更に応じて、PinP画像73を画像の中央側に移動すれば良い。
なお、視点2等に変更した場合、左右の画像の表示位置を水平方向に移動する場合、画像メモリ33L,33Rからの読み出しアドレスを変更する代わりに、書き込みアドレスを変更しても同様に表示位置を水平方向に移動できることは明らかである。
図13は、第1変形例の立体内視鏡システム1Bを示す。本変形例は、図1の立体内視鏡システム1において、立体内視鏡2の他に種類の異なる立体内視鏡2Bの場合にも対応できるようにしている。
つまり、立体内視鏡システム1Bにおける3D表示コントローラ5Bは、複数種類の立体内視鏡の光学系等の特性に応じて、複数種類の表示制御(水平方向の移動処理及びマスク処理等)を行えるようにしており、そのために複数種類の立体内視鏡の光学系等の特性に対応した複数種類の情報を備えている。
この立体内視鏡システム1Bは、(図1の立体内視鏡2及び)図13に示す立体内視鏡2Bと、光源装置3と、信号処理装置4と、3D表示コントローラ5Bと、3D表示装置6とから構成される。なお、図1と同じ符号を付けた光源装置3等は、実施例1と同様の構成である。
立体内視鏡2Bは、立体内視鏡2の左右の対物光学系21L,21Rに対し、焦点距離、視野角等の光学特性が異なる左右の対物光学系21L′,21R′が採用されている。そして、この左右の対物光学系21L′,21R′に対応して以下のID発生回路81を備えている。
また、この立体内視鏡2Bは、光学系の識別情報(ID)を発生するID発生回路81を備え、このID発生回路81のIDは、3D表示コントローラ5B内のCPU38に入力されるようにしている。
また、この3D表示コントローラ5Bは、図2の3D表示コントローラ5において、IDにより、接続された立体内視鏡2Bに応じて、視点モードスイッチ41等を操作した場合における視点1、視点2、視点3に対応する処理を行えるようにしている。
つまり、CPU38は、IDにより、予めIDに対応付けて視点1、視点2、視点3に対応する処理を行うための情報を格納したLUT82から必要とする情報を読み出す(実施例1では、この情報が1種類のみに相当する)。
そして、LUT82から読み出した情報により、例えば実施例1の立体内視鏡2が接続されて場合には、図15に示す視点1〜3に対応した処理を行う。
また、図13に示す立体内視鏡2Bが接続された場合には、この立体内視鏡2Bの場合における図15に対応する特性に応じた情報を読み出して、この立体内視鏡2Bの場合に適した処理を行えるようにしている。
簡単な例により具体的に説明すると、立体内視鏡2の場合には、例えば視点2の状態では、図15のHla、Hraに相当する不一致領域Ra、Rbが発生するのに対して、立体内視鏡2Bの場合には、不一致領域Ra、Rbの値が異なる。このため、例えば視点2の場合において、水平方向に移動する移動量の値が、立体内視鏡2の場合とは異なる。なお、マスクする処理も水平方向に移動する移動量の値に連動して変化する。
このような移動量等の情報が、IDコードに対応付けてLUT82に格納されている。そして、CPU38は、IDコードからそのIDコードの立体内視鏡2Bの場合に、必要となる移動量等の情報をLUT82から読み出す。読み出した情報により、上述した立体内視鏡2の場合と同様の処理を行うことになる。
また、IDを発生しない図1に示した立体内視鏡2のような立体内視鏡の場合にも、マニュアル操作で対応できるように、この3D表示コントローラ5Bには、LUT82から読み出し、実際に使用する情報を選択設定する選択設定スイッチ83が設けてある。
その他の構成は実施例1と同様である。
本変形例によれば、立体内視鏡の光学系の特性が異なる場合にも適切に対応できる。IDコードにより、CCD25L,25R,25Wの画素数などが異なる場合を含めると、CCD25L,25R,25Wの画素数などが異なる場合にも適切に対応できる。
なお、上述の説明においては、左右の光学系が視点1の状態で同じ撮像範囲となるように予め設定された状態から、近点側と遠点側に被写体距離を変更した場合の視点位置を、それぞれ1つづつ用意しているが、その視点位置の値を変更したり、小さなステップ等で複数変更できるようにしても良い。
実施例1においては、図15における距離L=d2の視点位置の状態から近点側に視点位置を変更した場合(具体的には視点モード2用スイッチ41bをONした場合)、距離L=d1の視点位置に対応した表示制御を行うが、例えば視点モード2用スイッチ41bを1回ONした場合には、距離L=d2から距離L=d2−dを視点位置とした表示制御を行い、さらに視点モード2用スイッチ41bがONされた場合には距離L=d2−2dを視点位置とした表示制御を行うようにしても良い。また、この場合の距離dの値をユーザが変更設定できるようにしても良い。
図14は第2変形例を備えた立体内視鏡システム1Cを示す。これまでは立体内視鏡として距離算出手段を有しない場合に適用したが、本変形例は、フォーカス調整する駆動手段によるフォーカスされた状態での駆動情報を距離情報として、その距離情報により適切な表示制御を行うようにしたものである。
この立体内視鏡システム1Cは、例えば図1に示す立体内視鏡システム1において、広角用光学系及び撮像手段を有しない立体内視鏡2Cを採用している。その光学式内視鏡を符号14Cで、広角用CCDを有しないテレビカメラを符号15Cで示している。
また、この立体内視鏡2Cは、テレビカメラ15C内の左右の結像光学系24を各光軸方向に前進及び後退移動して、被写体のピント合わせをする駆動手段となるモータ85を備えている。
そして、例えばフットスイッチ等により構成されるフォーカス調整スイッチ86(フォーカス調整スイッチ86の一方がモータ85を正転させ、他方がモータ85を逆転させる)を操作することにより、モータ85を正転或いは逆転して左右のCCD25L,25Rに結像される左右の光学像をデフォーカスの状態からフォーカス状態へのピント合わせ(フォーカス調整)が同時にできるようにしている。
このモータ85には、このモータ85の回転量を検出することにより、どの距離にフォーカスしているか検出するためのエンコーダ87が取り付けてあり、このエンコーダ87の出力信号は、この3D表示コントローラ5C内のCPU38に入力される。
このCPU38は、エンコーダ87の出力信号から、立体内視鏡2が実際にどの距離にピント合わせして観察しているかを検出することができることになる。そして、CPU38は、ピントが合っている距離を視点状態として、その視点状態において必要とされる情報を予め書き込んだLUT82′から、対応する情報を読み出し、その情報を用いて表示制御を行う。なお、この立体内視鏡システム1Cにおける信号処理装置4Cは、左右のCCD25L,25Rに対する信号処理を行うCCU26L,26Rにより構成されている。
この第2変形例による作用は以下のようになる。
術者等のユーザは、立体内視鏡2Cを用い、実際に内視鏡検査或いは処置具で処置しようとする患部等にピントが合うようにフットスイッチ等により構成されるフォーカス調整スイッチ86を押す操作を行う。
フォーカス調整スイッチ86を押す操作によりモータ85が回転駆動され、そのモータ85の回転により、左右のCCD25L,25Rの前の光軸上に配置された(左右の)結像光学系24が連動してそれぞれ光軸上を前進或いは後退して、左右のCCD25L,25Rに結像される左右の光学像をフォーカス状態に設定することができる。
その設定状態における情報(換言すると距離情報)は、エンコーダ87を経てCPU38に送られ、CPU38はその距離の状態において必要とされる情報をLUT82′から読み出す。
そして、その情報を用いて、左右の画像表示素子27L,27Rに表示される左右の画像の水平方向の表示位置を調整すると共に、左右の画像における片方のみに表示される不一致領域となる部分をマスクする。
このようにピント合わせした状態における任意の距離において、実施例1における図6(C)或いは図7(B)のような立体観察に適した表示状態に設定できる。
実施例1においては、図6(C)或いは図7(B)のような表示状態に設定されるが、実際の被写体のピント位置(視点)は、その表示状態(3D表示コントローラ5に設定されている視点モード)に合致しているとは限らないのに対して、本変形例の場合には、ピント合わせのエラーを無視すると、被写体のピント位置に合致した状態での適正な表示ができる。
このため、本変形例によれば、非常に立体観察し易い画像表示ができる効果を有する。 このように本実施例及び変形例における3D表示コントローラによれば、既存の距離算出手段を有しない立体内視鏡の場合にも適用できると共に、距離情報を算出可能とするフォーカス調整手段を有する立体内視鏡の場合まで広く適用でき、その適用により立体観察し易い適切な画像表示ができる。
上述した実施例或いは変形例を部分的に組み合わせる等して構成される実施例等も本発明に属する。例えば第2実施例における3Dコントローラ5CをCCU26L,26Rと一体化したものでも良い。この場合には一体化した3Dコントローラには、CCD25L,25Rによる撮像信号が入力される。
また、左右の画像を撮像する撮像手段は、左右に離間して配置された2つのCCDの場合に限定されるものでなく、例えば水平方向の画素数を大きくした単一のCCDで形成した場合も含む。
[付記]
1.請求項3において、前記画像重畳手段は、前記左右の画像中に、左右の画像をそれぞれ親画像とし、前記立体内視鏡に設けられた左右の画像を生成する左右の撮像手段以外に設けた撮像手段により撮像した画像を縮小した子画像として重畳表示するPinP画像生成手段である。
2.請求項3において、前記画像重畳手段は、前記左右の画像中に、メニュー等のグラフィック画像を重畳表示するオンスクリーン画像生成手段である。
3.付記1において、前記画像移動手段による前記左右の画像の移動に連動して、前記PinP画像を、前記左右の画像における中央側に移動する処理を行う。
4.請求項1において、前記画像移動手段は、前記左右の画像を格納する左右の画像メモリにおける水平方向における読み出し/書き込みアドレスの変更により行う。
5.請求項1において、前記画像マスク手段は、前記左右の画像における水平方向の端部付近をマスクするタイミングで黒レベルの信号を出力する。
6.請求項1において、前記画像マスク手段は、前記左右の画像における片方の画像中にのみ表示される画像領域となる水平方向の端部付近をそれぞれマスクする。
7.請求項1において、前記画像移動手段及び前記画像マスク手段の動作を制御する制御手段を有する。
8.付記7において、前記制御手段は、前記立体内視鏡の特性に応じて、前記画像移動手段及び前記画像マスク手段の動作を制御する。
9.付記8において、前記制御手段の動作を決定するプログラムを格納した格納手段を有する。
10.請求項1において、前記立体内視鏡におけるフォーカス調整情報を利用して、前記画像移動手段及び前記画像マスク手段の動作を制御する。
11.請求項5において、前記2つの撮像手段に結像する光学系の特性に対応して、前記画像移動手段による移動量及び前記画像マスク手段のマスク量を決定する情報を格納する情報格納手段を有する。
12.請求項5において、前記立体内視鏡は、2つの撮像手段の撮像面にフォーカス状態で結像するように調整するフォーカス調整手段を有する。
13.付記12において、前記フォーカス調整手段によるフォーカス状態に設定された場合の情報を利用して、前記画像移動手段及び前記画像マスク手段の動作を制御する。
14.立体内視鏡に設けられた視差を有する左右の撮像手段により撮像された左右の画像に対応する左右の撮像信号又は左右の映像信号に対し、信号処理を行って表示手段に立体観察用の左右の画像を表示する立体内視鏡用表示制御方法において、
表示変更の指示入力の有無の判定の処理を行う判定ステップと、
前記指示入力に対応して、前記左右の画像における水平方向の表示位置を互いに逆方向に移動する処理を行う画像移動ステップと、
前記画像移動ステップによる処理と連動して前記左右の画像における水平方向の端部付近をマスクする処理を行う画像マスクステップと、
を具備したことを特徴とする立体内視鏡用表示制御方法。
立体内視鏡に設けられた左右に視差を有する左右の撮像手段により撮像された左右の画像を表示手段により表示する場合、視点位置に応じて発生する左右の画像の不一致領域部分をマスクして左右で同じ範囲を観察できる状態にすると共に、左右の画像を水平方向に移動して、観察者の眼のピント位置と輻輳にずれの無い状態で観察できるようにすることにより、違和感の少ない、立体観察し易い状態で内視鏡検査、処置が行えるようになる。
本発明の実施例1を備えた立体内視鏡システムの構成図。 3D表示コントローラの内部構成を示すブロック図。 カートに搭載された立体内視鏡システムの概略の構成を示す斜視図。 図3のカートを底面側から見た構造を示す底面図。 3D表示装置を接眼部側から見た状態及びその一部を拡大して示す斜視図。 図15の視点1の状態における左右のCCDに結像される画像と、視点2の状態における左右のCCDに結像される画像及び左右の画像表示素子に表示される左右の画像を示す図。 図15の視点3の状態における左右のCCDに結像される画像と左右の画像表示素子に表示される左右の画像を示す図。 図15の視点1の状態における左右の画像表示素子に表示される左右の画像及びPinP画像を示す図。 3D画像コントローラによる制御動作の手順の一部を示すフローチャート図。 図9における残りの制御動作部分を示すフローチャート図。 視点2の状態において左右の画像表示素子に表示される左右の画像及びPinP画像を補正処理前と補正処理後の状態で示す図。 視点3の状態において左右の画像表示素子に表示される左右の画像及びPinP画像を補正処理前と補正処理後の状態で示すと共に、さらにOSD画像の表示が選択された場合における左右の画像表示素子に表示される左右の画像、PinP画像及びOSD画像を示す図。 第1変形例を備えた立体内視鏡システムの構成図。 第2変形例を備えた立体内視鏡システムの構成図。 従来の立体内視鏡と共に、被写体までの距離により撮像範囲に不一致となる領域等が発生する説明図。
符号の説明
1…立体内視鏡システム
2…立体内視鏡
3…光源装置
4…信号処理装置
5…3D表示コントローラ
6…3D表示装置
11…挿入部
14…光学式内視鏡
15…テレビカメラ
21L,21R,21W…対物光学系
24…結像光学系
25L,25R,25W…CCD
26L,26R,26W…CCU
27L,27R…画像表示素子
31L,31R,31W…A/D変換器
33L,33R…画像メモリ
34L,34R…画像ミキサ
35L,35R…PinP画像生成部
36L,36R…OSD画像生成部
38…CPU
39…操作スイッチ
41…視点モードスイッチ
42…OSD表示スイッチ
43…PinP表示スイッチ
44…上下スイッチ
45…左右スイッチ
51…カート
52…アーム
62…アイシュード部
71…マスク挿入画像
72…黒画像
73…PinP画像
74…OSD画像
代理人 弁理士 伊藤 進

Claims (7)

  1. 同一被写体に対して立体内視鏡の挿入部に設けられた2つの撮像部により撮像された少なくとも左右に視差を有する左右の撮像信号、又は前記左右の撮像信号から生成された左右の映像信号に対する信号処理を行い、表示手段に対して立体観察用の左右の画像を出力する立体内視鏡用表示制御装置において、
    視点を指示するための操作スイッチの操作に応答して視点モードを決定する視点決定部と、
    前記視点決定部が決定した視点モードに基づいて、前記表示手段に表示される左右の画像における水平方向の表示位置を互いに逆方向に所定量移動する画像移動手段と、
    前記画像移動手段による左右の画像の移動に連動して、前記左右の画像における水平方向の端部付近をマスクする画像マスク手段と、
    を具備したことを特徴とする立体内視鏡用表示制御装置。
  2. 前記画像移動手段が、前記左右の画像における水平方向の表示位置を前記所定量移動した場合、前記画像マスク手段は、前記左右の画像における水平方向の端部付近を前記所定量だけマスクすることを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
  3. さらに前記左右の画像中に重畳用画像を重畳する画像重畳手段を有し、前記画像移動手段により前記左右の画像の表示位置が水平方向に移動された場合には、前記移動された画像の実際の表示位置に連動して、前記重畳用画像の表示位置を相対的に補正することを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
  4. さらに、前記左右の画像における少なくとも一方の画像の表示位置を調整する表示位置調整手段を有することを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
  5. 同一被写体に対して左右に視差を有する撮像手段を挿入部に備えた立体内視鏡と、
    前記撮像手段により撮像された左右の撮像信号から左右の映像信号を生成する左右の信号処理手段と、
    視点を指示するための操作スイッチの操作に応答して視点モードを決定する視点決定部と、
    前記視点決定部が決定した視点モードに基づいて、前記左右の映像信号に対して表示手段に表示される左右の画像における水平方向の表示位置を互いに逆方向に所定量移動する画像移動手段と、
    前記画像移動手段による左右の画像の移動に連動して、前記左右の画像における水平方向の端部付近をマスクする画像マスク手段と、
    前記画像移動手段及び前記画像マスク手段を経た左右の画像をそれぞれ表示する立体画像表示手段と、
    を具備したことを特徴とする立体内視鏡システム。
  6. 前記視点決定部は、予め設定された複数の視点モードのうちの1つを前記操作スイッチの操作に応答して選択することにより決定する
    ことを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
  7. 前記視点決定部は、予め設定された複数の視点モードのうちの1つを前記操作スイッチの操作に応答して選択することにより決定する
    ことを特徴とする請求項5に記載の立体内視鏡システム。
JP2004238815A 2004-08-18 2004-08-18 立体内視鏡用表示制御装置 Expired - Fee Related JP4594673B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004238815A JP4594673B2 (ja) 2004-08-18 2004-08-18 立体内視鏡用表示制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004238815A JP4594673B2 (ja) 2004-08-18 2004-08-18 立体内視鏡用表示制御装置

Publications (2)

Publication Number Publication Date
JP2006055291A JP2006055291A (ja) 2006-03-02
JP4594673B2 true JP4594673B2 (ja) 2010-12-08

Family

ID=36103254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004238815A Expired - Fee Related JP4594673B2 (ja) 2004-08-18 2004-08-18 立体内視鏡用表示制御装置

Country Status (1)

Country Link
JP (1) JP4594673B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170276A (ja) * 2010-02-22 2011-09-01 Olympus Corp 内視鏡装置およびプログラム
JP5948856B2 (ja) * 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム
JP6329715B1 (ja) * 2016-10-31 2018-05-23 オリンパス株式会社 内視鏡システムおよび内視鏡
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193986A (ja) * 1987-10-05 1989-04-12 Sharp Corp 立体テロップ付撮像装置
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH0735989A (ja) * 1993-07-26 1995-02-07 Olympus Optical Co Ltd 立体視内視鏡
JPH0980323A (ja) * 1995-09-11 1997-03-28 Olympus Optical Co Ltd 内視鏡装置
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JP3089306B2 (ja) * 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
JP2004229083A (ja) * 2003-01-24 2004-08-12 Pioneer Electronic Corp 表示装置及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193986A (ja) * 1987-10-05 1989-04-12 Sharp Corp 立体テロップ付撮像装置
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH0735989A (ja) * 1993-07-26 1995-02-07 Olympus Optical Co Ltd 立体視内視鏡
JP3089306B2 (ja) * 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
JPH0980323A (ja) * 1995-09-11 1997-03-28 Olympus Optical Co Ltd 内視鏡装置
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
JP2004229083A (ja) * 2003-01-24 2004-08-12 Pioneer Electronic Corp 表示装置及び方法

Also Published As

Publication number Publication date
JP2006055291A (ja) 2006-03-02

Similar Documents

Publication Publication Date Title
US9756315B2 (en) Endoscopic system to display three-dimensional picture
CN110944566B (zh) 3d内窥镜装置和3d影像处理装置
US20140187857A1 (en) Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery
JP2005334462A (ja) 立体視内視鏡システム
JP7123053B2 (ja) 医療用観察装置
WO2014155815A1 (ja) 立体内視鏡システム
JP2001104331A (ja) 医療用顔面装着型映像表示装置
JP7178385B2 (ja) 撮像システムおよび観察方法
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
WO2017138187A1 (ja) 撮像装置、立体内視鏡および立体内視鏡システム
JP3816599B2 (ja) 体腔内処置観察システム
JP4594673B2 (ja) 立体内視鏡用表示制御装置
CN110383817B (zh) 图像拾取设备、视频信号处理设备和视频信号处理方法
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP2007044153A (ja) 立体視内視鏡装置
JP4573667B2 (ja) 内視鏡装置
US9848758B2 (en) Stereoscopic endoscope system
JP5818265B2 (ja) 立体内視鏡装置
JP6021215B2 (ja) 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム
WO2022080008A1 (ja) 医療用画像処理装置及び医療用観察システム
JP2004233480A (ja) 立体内視鏡システム
JP7420141B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP7230923B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2005296467A (ja) 立体内視鏡用表示制御装置
JP2012189689A (ja) 撮影画像合成表示装置および画像合成提示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4594673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees