JP4594673B2 - 立体内視鏡用表示制御装置 - Google Patents
立体内視鏡用表示制御装置 Download PDFInfo
- Publication number
- JP4594673B2 JP4594673B2 JP2004238815A JP2004238815A JP4594673B2 JP 4594673 B2 JP4594673 B2 JP 4594673B2 JP 2004238815 A JP2004238815 A JP 2004238815A JP 2004238815 A JP2004238815 A JP 2004238815A JP 4594673 B2 JP4594673 B2 JP 4594673B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- viewpoint
- stereoscopic endoscope
- right images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この場合、例えば左右の画像を交互に1台のモニタ表示し、左右の画像に対応して、交互に開閉するシャッタを通して観察する事で、立体に観察する方法や、左右別々の画像を表示する2台のモニタを用いて、左右の目で観察する方法などがある。
左右に視差を有する2つの撮像光学系を用いた立体視内視鏡は、被写体と立体視内視鏡との距離が、ある一定の値の時に、撮像される左右の画像範囲が等しくなるように光学的な調整が施されている。
図15において、被写体と立体視内視鏡91先端面との距離LがL=d2の場合に、撮像される左右の水平方向の画像範囲が等しくなるように光学的な調整がなされており、この状態では撮像された左右の撮像画像は等しくなっている。
このように、被写体と立体視内視鏡91との距離LがL=d2にあり、間隔D離間して配置された左右の撮像光学系92L,92Rから等距離となる点I2を立体視内視鏡91で撮像し、撮像された左右の画像が同一の位置に表示される様に構成されている立体視用画像表示装置で表示すると、左目用画像と右目用画像は、共通の撮像画像を表示すると共に、画像中央の位置も同じ位置に重なって表示され、観察者は、この位置に点I2が存在すると感じる。
よって、左目用の撮像画像の左端部には右目用の撮像画像には表示されない不一致領域が存在し、右目用の撮像画像の右端部には左目用の撮像画像には表示されない不一致領域が存在することになる。
この場合、被写体と立体視内視鏡91との距離L=d1にあり、左右の撮像光学系から等距離となる点I1を立体視内視鏡91で撮像して立体画像表示装置で表示すると、左目用画像及び右目用画像中においては、それぞれ水平方向の表示位置が異なるため、観察者にはI1が実際に表示されている画像位置よりも手前側に(視点の交点)仮想的に存在する様に感じられる。これは、観察者の眼のピント位置(実際の画像表示位置)と輻輳(仮想的に画像が存在すると感じる位置)とがずれている状態である。
この場合、被写体と立体視内視鏡91との距離L=d3にあり、左右の撮像光学系から等距離となる点I3を立体視内視鏡91で撮像し立体画像表示装置で表示すると、左目用画像及び右目用画像中においては、それぞれ水平方向の表示位置が異なるため、観察者にはI3が実際に表示されている画像位置よりも遠方側に(視点の交点)仮想的に存在するように感じられ、L=d1の場合と同様、観察者の眼のピント位置と輻輳にずれが生じている状態である。
これに関連する従来例として、特許第3089306号公報の立体画像撮像装置及び立体画像表示装置においては、立体画像撮像装置の輻輳角を制御又は撮像素子間の距離を制御したり、あるいは立体画像表示装置に備えられている画像表示素子の物理的位置を、立体画像撮像装置との距離に応じて移動させる制御を行うものを開示している。
また、この公報の従来例を立体内視鏡システムに適用しようとする場合、通常の立体内視鏡には適用しにくい。また、距離算出手段を有しない通常の立体内視鏡等には簡単に適用できない欠点がある。
本発明は、上述した点に鑑みてなされたもので、距離算出手段を有しない立体内視鏡の場合にも適用できる等、適用範囲が広く、立体観察に適した画像表示を行うことができる立体内視鏡用表示制御装置を提供することを目的とする。
図5は3D表示装置を接眼部側から見た状態及びその一部を拡大して示し、図6は図15の視点1の状態における左右のCCDに結像される画像と、視点2の状態における左右のCCDに結像される画像及び左右の画像表示素子に表示される左右の画像を示し、図7は図15の視点3の状態における左右のCCDに結像される画像と左右の画像表示素子に表示される左右の画像を示す。
図12は視点3の状態において左右の画像表示素子に表示される左右の画像及びPinP画像を補正処理前と補正処理後の状態で示すと共に、さらにOSD画像の表示が選択された場合における左右の画像表示素子に表示される左右の画像、PinP画像及びOSD画像を示す。
立体内視鏡2は、被写体の光学像を結像する光学系を先端に設けた細長の挿入部11、この挿入部11の後端に設けられ、術者等が把持する把持部12、この把持部12の後端に設けられた接眼部13とを有する光学式内視鏡14と、この接眼部13に着脱自在に装着され、撮像手段を内蔵したテレビカメラ15とから構成される。
図1においては、立体内視鏡2を光学式内視鏡14と、テレビカメラ15とにより構成したものを採用しているが、撮像手段を光学系の結像位置に配置した立体電子内視鏡により構成しても良い。
立体内視鏡2における挿入部11の先端部18には、照明された(同一の)被写体に対して、左右方向に視差をもって結像するように、左右方向に間隔D離間して配置された左用の対物光学系21Lと右用の対物光学系21Rと、これら特性が揃った左右用の対物光学系21L,21Rにより得られる被写体像より広い結像範囲で結像する広角或いはワイド(W)用の対物光学系21Wとが配置されている。
図1に示すように接眼部13にテレビカメラ15が装着されると、接眼光学系23に対向してテレビカメラ15内に設けられた結像光学系24により、それぞれの結像位置に配置された撮像手段としての電荷結合素子(CCDと略記)25L、25R、25Wに結像される。
これらCCD25L、25R、25Wは、信号線を介して、信号処理装置4を形成するカメラコントロールユニット(CCUと略記)26L、26R、26Wにそれぞれ接続される。なお、図面中における主要な構成要素においては、例えばCCU(L)26Lのように、より詳細に示している。
左右用及び広角用のCCU26L、26R、26Wは、左右用及び広角用のCCD25L、25R、25Wにより光電変換されて出力される撮像信号に対して、信号処理を行い、映像信号に変換する。
そして、観察者或いは術者は、3D表示装置6の左右の接眼窓61L,61Rから左右の画像表示素子27L、27Rに表示された左右の画像を観察することにより、立体観察ができるようにしている。
図2は、3D表示コントローラ5の内部構成を示す。この3D表示コントローラ5は、以下において説明するように、左右のCCD25L,25Rにより撮像した左右の画像に対応する左右の映像信号Vl,Vrに対して、視点モードの変更に対応して左右の画像における水平方向の表示位置をシフト(移動)する移動処理と、左右で同じ画像範囲を観察できるように左右の画像における不一致の画像領域部分をマスクするマスク処理を行うようにする。
図2に示すように、(CCU26L、26R、26Wから出力される)左右の映像信号Vl,Vr及び広角の映像信号Vwは、それぞれA/D変換器31L,31R及び31Wに入力され、それぞれデジタル信号に変換される。
A/D変換器31L,31Rの出力信号は、それぞれスケーラ回路32L,32Rに入力される。スケーラ回路32L,32Rは、入力信号を画像表示素子27L,27Rの解像度に合わせる画像処理を行った後、画像メモリ33L,33Rに出力し、画像メモリ33L,33Rに一時格納される。
一方、広角の映像信号Vwをデジタル信号に変換したA/D変換器31Wの出力信号は、左右のピクチャインピクチャ(PinPと略記)画像生成部35L,35Rにそれぞれ入力される。PinP画像生成部35L,35Rは、入力される信号を、左右の画像を親画像としてその親画像中にPinPで子画像を重畳表示するためのPinP画像の生成処理を行う。より具体的には、広角用CCD25Wにより撮像された画像を子画像として生成する処理を行う。
そして、PinP画像生成部35L,35Rによる出力信号は、画像ミキサ34L,34Rにそれぞれ入力される。
画像ミキサ34L、34Rの出力信号は、ディスプレイI/Fトランスミッタ37L、37Rを経て3D表示装置6の左右の画像表示素子27L、27Rに出力される。ディスプレイI/Fトランスミッタ37L、37Rは、ディスプレイに対する高速信号伝送I/Fとして標準的に採用されているLVDSやDVI等の規格に対応した出力を行うものにより構成されている。
また、この3D表示コントローラ5における例えばフロントパネルには、視点位置の変更により、表示変更の指示入力やその他の指示入力を行う操作スイッチ39が設けてある。この操作スイッチ39を操作することにより、その操作信号(指示信号)がCPU38に入力され、CPU38は、操作信号に対応した制御動作を行う。
操作信号が入力された場合、CPU38は、例えばROM47に格納され、制御動作を決定するプログラムに従って制御動作を行う。より具体的には、CPU38は、ROM47から読み込んだプログラムに従って後述する図9及び図10の一連の処理を行うことになる。
この場合、視点モードスイッチ41としては、図15における視点1、視点2、視点3の各状態に対応して適切に表示する指示操作を行う視点モード1用スイッチ41a、視点モード2用スイッチ41b、視点モード3用スイッチ41cとが設けてある。なお、図15は、従来例における説明図であるが、図1における左右の対物光学系21L,21Rを図15の左右の撮像光学系92L,92Rに読み替えて以下のように適用する。
つまり、左右の対物光学系21L,21Rにおける結像範囲が一致する場合における被写体までの距離Lは、L=d2とし、その距離に対する視点状態を視点1或いは視点モード1とする。また、距離L=d1(d1<d2)及び距離L=d3(d2<d3)での各視点状態をそれぞれ視点2或いは視点モード2,視点3或いは視点モード3とする。
また、PinP表示スイッチ43も、1つでトグル的にPinP画像表示をON/OFFする指示操作信号を発生する。
また、画像の表示位置を微調整する上下スイッチ44,左右スイッチ45は、右画像用と左画像用とにそれぞれ上スイッチ44a、下スイッチ44bと、左スイッチ45a、右スイッチ45bとが設けてある。簡略化して一方のみ設けるようにしても良い。
上記3D表示コントローラ5からPinP画像等が重畳された左右の映像信号は、3D表示装置6内の画像表示素子27L、27Rに入力され、この画像表示素子27L、27Rの表示領域上に左右の画像が表示される。
カート51には、光源装置3、CCU26L,26R,26WE、3D表示コントローラ5が搭載されている。
カート51の天板から上方に延出されるアーム52は、そのアーム根元部の軸52aが天板の上面に、垂直な方向でなく、斜め方向に回動自在に固定されている。
アーム52は、平行なリンク構造部54で回動自在にしたリンク構造にされており、上記のようにその根元部を斜め方向に設定することにより、術者55の頭ごしに3D表示装置6を保持し、かつ、折り畳んだ時の高さをなるべく低くできるようにしていいる。
また、図4はカート51を底面側から見た図を示す。カート51の底面には4個のキャスタ56a〜56dの他に、さらに追加したキャスタ56eと、2個のストッパ57a、57bとが設けてある。また、カート51の底面には、転倒しにくくするための重り58を取り付けている。
このように、カート51の専有面積をなるべく小さくするため、かつ転倒しにくくするため、2つのストッパ57a、57bの間にもキャスタ56eを設けた構造にしている。 また、図5(A)は、3D表示装置6における術者55が立体観察する接眼部(アイピース)側の構造を示している。なお、3D表示装置6における左右の突出する棒状部材は、術者が把持して3D表示装置6を観察状態に設定するための把持操作する取手60a、60bである。
図5(B)に拡大して示すように、このアイシェード部62は、アイシェード本体63と、その前部上面側を押さえる押さえ板64Aと、前部の底面側を押さえる図示しない押さえ板(明確化するため64Bとする)とより成る。
アイシェード本体63は、シリコンゴム等で一体成型され、その上面(及び底面)には凸部65a、65bが、側面にはフランジ部66a、66bが設けてある。
押さえ板64Aには孔部67a、67bが設けてあり、アイシェード本体63の凸部65a、65bを通し、折り返し部68a,68bにてアイシェード本体63を挟んで引っ掛けている。押さえ板64Bに関してもアイシェード本体63の底面側で同様の構成である。
また、凸部65a、65b、フランジ部66a、66bと3D表示装置6との間に図示しない滅菌ドレープを輪ゴム、テープ等で固定する。こうすることにより、3D表示装置6側を術者55が使用する場合には滅菌ドレープにより覆う。そして内視鏡検査、処置後には、この滅菌ドレープを廃棄し、次回に使用する場合には再び新しい滅菌ドレープを装着して使用することにより、3D表示装置6自体を滅菌しなくても済むようにしている。 このような構成における本実施例においては、3D表示コントローラ5に設けた操作スイッチ39を操作することにより、3D表示装置6に立体観察し易い状態で左右の画像等を表示する構成にしている。
例えば図3に示すようにカート51に光源装置3、CCU26L、26R、26Wと3D表示コントローラ5等を搭載して、術者55は、アーム52の先端部材53から下方に取り付けられた3D表示装置6を観察することにより立体視することができる状態で、立体内視鏡2の挿入部11を図示しない患者の体内に挿入する。
また、処置を行う場合には、図示しない処置具をトラカールなどを介して体内に挿入し、上記立体内視鏡2による観察下で、体内の臓器における病変部位を切除する等の処置を行うことになる。
これら左右のCCD25L,25Rに結像され、光電変換された画像信号(撮像信号)は、CCU26L,26Rによりそれぞれ信号処理され、CCU26L,26Rは、それぞれ左右の映像信号Vl,Vrを3D表示コントローラ5に出力する。
3D表示コントローラ5は、操作スイッチ39における視点モード1スイッチ41aが操作されていると、初期位置に移動(或いは設定)状態で、映像信号を左右の画像表示素子27L,27Rに表示する信号に変換して3D表示装置6の左右の画像表示素子27L,27Rに出力する。この場合には、左右の画像表示素子27L,27Rに表示される左右の画像も、図6(A)に示したものと実質的に同じ画像を表示する。
この状態では、左画像における水平方向の左端部付近の領域には、右画像側では撮像されていない不一致領域Raの画像があり、逆に右画像における水平方向の右端部付近の領域には、左画像側では撮像されていない不一致領域Rbの画像がある。なお、この不一致領域Ra、Rbは、図15中における左端部Hla及び右端部Hraでそれぞれ示したものに相当する。
この場合には、操作スイッチ39における視点モード2用スイッチ41bを操作すると良い。すると、CPU38は、左右の画像メモリ33L,33Rから左右の画像を読み出すアドレスを(視点モード1の場合を基準にして)水平方向にずらす処理を行う。以下に説明するように水平方向にずらす値は、左右の画像に対して同じ値で、かつずらす方向は互いに逆となる。
なお、オフセットΔ2の値は、立体内視鏡2の光学仕様および画像表示素子27L,27Rの解像度から予め求めておく。
L=d2の場合の水平方向撮像長さ=A×(d2/d1)
L=d2の場合の水平方向不一致領域Hra=Hla=D×(d1−d2)/d1
L=d2の場合の水平方向不一致領域画素数=Hres×D×(d1−d2)/(d2×A)
オフセットΔ2=Hres×D×(d1−d2)/(2×d2×A)
となる。
また、この状態で後段側に出力すると、不一致領域Ra(=Hra)の1/2分だけ、水平左方向に移動したのみであり、不一致領域Raの1/2分が依然として表示されてしまうので、CPU38は、この不一致領域Raの1/2分をマスクする画像を画像ミキサ34Lに出力する。
このようにすることにより、左の画像表示素子27Lに表示すると、図6(C)の左側のようになる。図6(C)の左側の画像においては、水平左側への移動量に等しい値だけ、左端部側には黒レベルのマスク挿入画像71が表示され、また右端側には移動量に等しい値で(黒レベルによる)黒画像72が表示され、これらの間に左画像が表示される状態となる。なお、マスク挿入画像71と黒画像72とは、黒レベルに限定されるものでないが、同じ色の方が望ましい。
一方、右の画像メモリ33Rに対しては、画像メモリ33Lの場合と逆方向に水平方向にずらす水平方向移動処理及びマスク処理を行う。
この場合には、読み出し開始アドレスHsーΔ2からHsまでのオフセットΔ2のアドレスにより、黒レベルの画像が読み出されることになる。
また、左端側では、不一致領域Rbの1/2が読み出されてしまうので、この不一致領域Rbの1/2が読み出されるタイミング、つまりアドレスHeー2×Δ2からHeーΔ2までの間においては、マスク処理をする。
このようにすることにより、右の画像表示素子27Rに表示すると、図6(C)の右側のようになる。
つまり、図6(B)の状態において、単に不一致領域Ra、Rbのみをマスク処理により解消して、水平方向には画像を移動する処理を行わない場合(補正処理を行わない場合という)には、左右の画像における中央位置は、本来同じ画像位置として表示されるべきであるが、左右の画像ではそれぞれ水平方向にシフトしているため、実際に表示されている画像位置(観察者の眼のピント位置)と、仮想的に画像が存在すると知覚される位置(輻輳)との間にずれが生じてしまい、観察しにくい画像となってしまう。
この立体内視鏡2によって、例えば遠点側の病変部位や処置具を観察した場合、つまり図15の視点モード3の状態で観察した場合には、左右のCCD25L,25Rに結像される画像は、図7(A)にようになる。
この状態は、図6(B)における左右の画像を入れ替えた状態に対応する画像となる。 図7(A)の場合においては、左画像における右領域には、右画像側では撮像されていない不一致領域Raの画像があり、逆に右画像における左領域には、左画像側では撮像されていない不一致領域Rbの画像がある。
具体的には、左の画像メモリ33Lにおいては、不一致領域Raの1/2の相当する画素分だけ、水平方向の右側にずらすため、読み出し開始アドレスHsから(水平方向の読み出し位置を左側にシフトする)オフセットΔ3を引いた読み出し開始アドレスHーΔ3から読み出す。この場合、アドレスHsーΔ3からHsまで、黒レベルの画像データが読み出されるようにする。
L=d1の場合の水平方向撮像長さをA、画像表示素子27L,27Rの水平解像度をHres[画素]とすると、
L=d3の場合の水平方向撮像長さ=A×(d3/d1)
L=d3の場合の水平方向不一致領域Hrb=Hlb=D×(d3−d1)/d1
L=d3の場合の水平方向不一致領域画素数=Hres×D×(d3−d1)/(d3×A)
オフセットΔ3=Hres×D×(d3−d1)/(2×d3×A)
となる。
また、この状態で後段側に出力すると、不一致領域Ra(=Hrb)の1/2分だけ、水平方向右側に移動したのみであるので、不一致領域Raの1/2分が表示されてしまうので、CPU38は、この不一致領域Raの1/2分をマスクする画像を画像ミキサ34Lに出力する。
このようにすることにより、左の画像表示素子27Lに表示すると、図7(B)の左側のようになる。
一方、右の画像メモリ33Rに対しては、画像メモリ33Lの場合と逆方向に水平方向にシフトする水平方向移動処理及びマスク処理を行う。
具体的には、右の画像メモリ33Rでは、図6(B)における不一致領域Rbの1/2の相当する画素分だけ、左側にずらすために読み出し開始アドレスを水平右方向にずらす。つまり、図6(A)における読み出し開始アドレスHsにオフセットΔ3を加算したアドレスHs+Δ3により読み出す。この場合には、読み出し終了アドレス側ではアドレスHeからHe+Δ3までのアドレスにより、黒レベルの画像が読み出されることになる。
このようにすることにより、右の画像表示素子27Rに表示すると、図7(B)の右側のようになる。
図7(B)の左右の画像は、図6(C)の場合と同様に不一致領域Ra、Rbが解消され、かつピント位置と輻輳との乖離が発生することを解消できる状態となる。
以上は、左右の画像の表示の場合で説明したが、次にPinP画像も表示する例で説明する。本実施例では、PinP画像73は、図6(A)に相当する視点モード1の場合で示すと、図8に示すように左上の隅部に表示するように設定されている。
しかし、視点モード2や視点モード3にした場合には、上述したように撮像した左右の画像を水平方向に移動し、さらにマスク処理を行って表示する。このため、画像の移動やマスク処理に対応した表示位置補正を行う必要がある。
一方、OSD画像表示を行う場合には、図6(A)に相当する視点モード1の場合で示すと、図8の点線で示すように中央付近にOSD画像74を表示する。
OSD画像74は、撮像した画像やPinP画像のように撮像した画像と直接関連する画像を表示するのでないため、表示するタイミングを視点モードにかかわらず、一定に設定する(例えば基準クロックを所定数カウントしたタイミングで表示開始する)ことにより、常に図8の点線で示した位置に重畳表示することができる。
次に図9及び図10のフローチャートを参照して本実施例を説明する。3Dコントローラ5の電源が投入されると、CPU38は、ROM47に格納されたプログラムに従って図9及び図10に示す制御動作を開始する。
図9に示すように、立体観察が開始すると、最初のステップS1に示すように3D表示コントローラ5内のCPU38は、操作スイッチ39が操作されたか否かをスキャン(モニタ)する。
そして、操作スイッチ39が操作された場合にはCPU38は、ステップS2に示すように視点モードスイッチ41の操作状態が変更されたか否かを判定する。
視点モード1に状態変更された場合には、ステップS3Aに示すようにCPU38は、PinP画像生成部35L,35R(フローチャート中では、例えばPinP画像生成部35LをPinP画像生成部(L)のように略記)に初期位置移動指令を出力する。この初期位置移動指令は、(例えば図6(A)のように左右の画像を撮像した場合)図8に示すような状態でPinP画像73を重畳表示する位置である。
次のステップS4AにおいてCPU38は、画像メモリ33L、33Rに初期位置移動指令及びマスク画像挿入OFF指令を出力する。例えば、図6(A)で示したように撮像された左右の画像を、画像表示素子27L,27Rに殆ど同じように表示するように初期位置に移動指令する。
次のステップS5(図10参照)においてCPU38は、OSD表示スイッチ42がONか否かの判定を行う。
OSD表示スイッチ42がOFFの場合には、ステップS6に示すようにCPU38は、PinP表示スイッチ43がONか否かの判定を行う。そして、PinP表示スイッチ43がOFFの場合にはステップS7に示すようにCPU38は、画像ミキサ34L,24Rに画像メモリ出力への重畳画像なしとする指令を出力する。そして、最初のステップS1に戻る。この状態においては、左右の画像表示素子27L,27Rには図6(A)で示したものと相似の左右の画像が表示されることになる。
この場合には、図8に示した画像(点線のOSD画像74は除外)が3D表示装置6の左右の画像表示素子27L,27Rに表示される。
また、ステップS5の判定において、OSD表示スイッチ42がONされたとCPU38により判定された場合には、ステップS9に示すようにPinP表示スイッチ43がONかの判定を行う。
PinP表示スイッチ43がOFFと判定した場合にはCPU38は、ステップS10に示すように画像ミキサ34L,34Rに画像メモリ出力へのOSD画像74の重畳指令を出力する。
ステップS9の判定において、PinP表示スイッチ43がONと判定した場合にはステップS11においてCPU38は、画像ミキサ34L,34Rに画像メモリ出力へのOSD画像74及びPinP画像73の重畳指令を出力する。
この場合には、図8において、PinP画像73と共に、点線で示すOSD画像74が左右の画像に重畳して表示されるようになる。そして、最初のステップS1に戻る。
或いは(ONされた上下スイッチ44における実際にONされたものが)下スイッチ44bがONされた場合には(b)画像メモリ33L若しくは33Rの左画像若しくは右画像の表示位置を下方向に移動する指令を出力する。そしてステップS5に移る。
つまり、本来は同じ画像部分に対しては、実際の表示位置も上下方向で一致しているべきであるが、経年変化等のために上下方向にずれている場合には、一方の画像表示素子27L或いは27Rに対して表示される表示位置を上或いは下に移動する上スイッチ44a或いは下スイッチ44bをONすれば、そのずれを解消できる。なお、PinP画像73やOSD画像74の表示位置は、変更しない。
また、図12の判定において、上下スイッチ44がOFFの場合には、ステップS14に示すようにCPU38は、左右スイッチ45がONにされたかの判定を行う。CPU38は、左右スイッチ45がOFFである判定した場合には、ステップS5の処理に移る。 一方、左右スイッチ45がONである判定した場合には、CPU38は、ステップS15の処理に進む。
ステップS15の処理により、左画像若しくは右画像の表示位置を左方向或いは右方向に移動できる。このため、上記上下方向のずれの場合のように左右の光学系や左右のCCD25L,25Rが経年変化等により最初の設定状態からずれた場合には、それを補正できる。
例えば左右の画像表示素子27L,27Rにおいて、同じ画像部分に対する実際の表示位置が左右方向にずれている場合には、一方の画像表示素子27L或いは27Rに対してその表示位置を左或いは右に移動する左スイッチ45a或いは右スイッチ45bをONすれば、そのずれを解消できる。なお、この場合においては、PinP画像73も、左右の画像における水平方向の調整移動に伴って、同量移動する。
この場合にはステップS3Bに示すようにCPU38は、PinP画像生成部35L,35Rに視点モード2位置への移動指令を出力する。視点モード2位置への移動指令の詳細は後述する。
次のステップS4BにおいてCPU38は、画像メモリ33L、33Rに視点モード2位置への移動指令及び視点モード2マスク画像挿入指令を出力する。
画像メモリ33L、33Rに視点モード2位置への移動指令は、これを行わないと、図6(B)に示す補正なしの状態のままで左右の画像を表示することになるため、水平方向に移動する処理を行う。
このようにすることにより、左右の画像表示素子27L,27Rにより表示される左右の画像及びPinP画像73は、図11(B)に示すようになる。つまり、PinP画像73を除外すると、図6(C)の表示状態と一致し、図6(C)の表示状態における左隅にPinP画像73がそれぞれ同じ状態で表示される。
このため、本変形例によれば、非常に立体観察し易い画像表示ができる効果を有する。 このように本実施例及び変形例における3D表示コントローラによれば、既存の距離算出手段を有しない立体内視鏡の場合にも適用できると共に、距離情報を算出可能とするフォーカス調整手段を有する立体内視鏡の場合まで広く適用でき、その適用により立体観察し易い適切な画像表示ができる。
また、左右の画像を撮像する撮像手段は、左右に離間して配置された2つのCCDの場合に限定されるものでなく、例えば水平方向の画素数を大きくした単一のCCDで形成した場合も含む。
1.請求項3において、前記画像重畳手段は、前記左右の画像中に、左右の画像をそれぞれ親画像とし、前記立体内視鏡に設けられた左右の画像を生成する左右の撮像手段以外に設けた撮像手段により撮像した画像を縮小した子画像として重畳表示するPinP画像生成手段である。
2.請求項3において、前記画像重畳手段は、前記左右の画像中に、メニュー等のグラフィック画像を重畳表示するオンスクリーン画像生成手段である。
3.付記1において、前記画像移動手段による前記左右の画像の移動に連動して、前記PinP画像を、前記左右の画像における中央側に移動する処理を行う。
5.請求項1において、前記画像マスク手段は、前記左右の画像における水平方向の端部付近をマスクするタイミングで黒レベルの信号を出力する。
6.請求項1において、前記画像マスク手段は、前記左右の画像における片方の画像中にのみ表示される画像領域となる水平方向の端部付近をそれぞれマスクする。
8.付記7において、前記制御手段は、前記立体内視鏡の特性に応じて、前記画像移動手段及び前記画像マスク手段の動作を制御する。
11.請求項5において、前記2つの撮像手段に結像する光学系の特性に対応して、前記画像移動手段による移動量及び前記画像マスク手段のマスク量を決定する情報を格納する情報格納手段を有する。
13.付記12において、前記フォーカス調整手段によるフォーカス状態に設定された場合の情報を利用して、前記画像移動手段及び前記画像マスク手段の動作を制御する。
表示変更の指示入力の有無の判定の処理を行う判定ステップと、
前記指示入力に対応して、前記左右の画像における水平方向の表示位置を互いに逆方向に移動する処理を行う画像移動ステップと、
前記画像移動ステップによる処理と連動して前記左右の画像における水平方向の端部付近をマスクする処理を行う画像マスクステップと、
を具備したことを特徴とする立体内視鏡用表示制御方法。
2…立体内視鏡
3…光源装置
4…信号処理装置
5…3D表示コントローラ
6…3D表示装置
11…挿入部
14…光学式内視鏡
15…テレビカメラ
21L,21R,21W…対物光学系
24…結像光学系
25L,25R,25W…CCD
26L,26R,26W…CCU
27L,27R…画像表示素子
31L,31R,31W…A/D変換器
33L,33R…画像メモリ
34L,34R…画像ミキサ
35L,35R…PinP画像生成部
36L,36R…OSD画像生成部
38…CPU
39…操作スイッチ
41…視点モードスイッチ
42…OSD表示スイッチ
43…PinP表示スイッチ
44…上下スイッチ
45…左右スイッチ
51…カート
52…アーム
62…アイシュード部
71…マスク挿入画像
72…黒画像
73…PinP画像
74…OSD画像
代理人 弁理士 伊藤 進
Claims (7)
- 同一被写体に対して立体内視鏡の挿入部に設けられた2つの撮像部により撮像された少なくとも左右に視差を有する左右の撮像信号、又は前記左右の撮像信号から生成された左右の映像信号に対する信号処理を行い、表示手段に対して立体観察用の左右の画像を出力する立体内視鏡用表示制御装置において、
視点を指示するための操作スイッチの操作に応答して視点モードを決定する視点決定部と、
前記視点決定部が決定した視点モードに基づいて、前記表示手段に表示される左右の画像における水平方向の表示位置を互いに逆方向に所定量移動する画像移動手段と、
前記画像移動手段による左右の画像の移動に連動して、前記左右の画像における水平方向の端部付近をマスクする画像マスク手段と、
を具備したことを特徴とする立体内視鏡用表示制御装置。 - 前記画像移動手段が、前記左右の画像における水平方向の表示位置を前記所定量移動した場合、前記画像マスク手段は、前記左右の画像における水平方向の端部付近を前記所定量だけマスクすることを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
- さらに前記左右の画像中に重畳用画像を重畳する画像重畳手段を有し、前記画像移動手段により前記左右の画像の表示位置が水平方向に移動された場合には、前記移動された画像の実際の表示位置に連動して、前記重畳用画像の表示位置を相対的に補正することを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
- さらに、前記左右の画像における少なくとも一方の画像の表示位置を調整する表示位置調整手段を有することを特徴とする請求項1に記載の立体内視鏡用表示制御装置。
- 同一被写体に対して左右に視差を有する撮像手段を挿入部に備えた立体内視鏡と、
前記撮像手段により撮像された左右の撮像信号から左右の映像信号を生成する左右の信号処理手段と、
視点を指示するための操作スイッチの操作に応答して視点モードを決定する視点決定部と、
前記視点決定部が決定した視点モードに基づいて、前記左右の映像信号に対して表示手段に表示される左右の画像における水平方向の表示位置を互いに逆方向に所定量移動する画像移動手段と、
前記画像移動手段による左右の画像の移動に連動して、前記左右の画像における水平方向の端部付近をマスクする画像マスク手段と、
前記画像移動手段及び前記画像マスク手段を経た左右の画像をそれぞれ表示する立体画像表示手段と、
を具備したことを特徴とする立体内視鏡システム。 - 前記視点決定部は、予め設定された複数の視点モードのうちの1つを前記操作スイッチの操作に応答して選択することにより決定する
ことを特徴とする請求項1に記載の立体内視鏡用表示制御装置。 - 前記視点決定部は、予め設定された複数の視点モードのうちの1つを前記操作スイッチの操作に応答して選択することにより決定する
ことを特徴とする請求項5に記載の立体内視鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004238815A JP4594673B2 (ja) | 2004-08-18 | 2004-08-18 | 立体内視鏡用表示制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004238815A JP4594673B2 (ja) | 2004-08-18 | 2004-08-18 | 立体内視鏡用表示制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006055291A JP2006055291A (ja) | 2006-03-02 |
JP4594673B2 true JP4594673B2 (ja) | 2010-12-08 |
Family
ID=36103254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004238815A Expired - Fee Related JP4594673B2 (ja) | 2004-08-18 | 2004-08-18 | 立体内視鏡用表示制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4594673B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170276A (ja) * | 2010-02-22 | 2011-09-01 | Olympus Corp | 内視鏡装置およびプログラム |
JP5948856B2 (ja) * | 2011-12-21 | 2016-07-06 | ソニー株式会社 | 撮像装置とオートフォーカス方法並びにプログラム |
JP6329715B1 (ja) * | 2016-10-31 | 2018-05-23 | オリンパス株式会社 | 内視鏡システムおよび内視鏡 |
JP7294776B2 (ja) * | 2018-06-04 | 2023-06-20 | オリンパス株式会社 | 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0193986A (ja) * | 1987-10-05 | 1989-04-12 | Sharp Corp | 立体テロップ付撮像装置 |
JPH05316541A (ja) * | 1992-05-07 | 1993-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 両眼立体視装置 |
JPH0735989A (ja) * | 1993-07-26 | 1995-02-07 | Olympus Optical Co Ltd | 立体視内視鏡 |
JPH0980323A (ja) * | 1995-09-11 | 1997-03-28 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JP3089306B2 (ja) * | 1993-08-26 | 2000-09-18 | 松下電器産業株式会社 | 立体画像撮像及び表示装置 |
JP2004229083A (ja) * | 2003-01-24 | 2004-08-12 | Pioneer Electronic Corp | 表示装置及び方法 |
-
2004
- 2004-08-18 JP JP2004238815A patent/JP4594673B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0193986A (ja) * | 1987-10-05 | 1989-04-12 | Sharp Corp | 立体テロップ付撮像装置 |
JPH05316541A (ja) * | 1992-05-07 | 1993-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 両眼立体視装置 |
JPH0735989A (ja) * | 1993-07-26 | 1995-02-07 | Olympus Optical Co Ltd | 立体視内視鏡 |
JP3089306B2 (ja) * | 1993-08-26 | 2000-09-18 | 松下電器産業株式会社 | 立体画像撮像及び表示装置 |
JPH0980323A (ja) * | 1995-09-11 | 1997-03-28 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JP2004229083A (ja) * | 2003-01-24 | 2004-08-12 | Pioneer Electronic Corp | 表示装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2006055291A (ja) | 2006-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9756315B2 (en) | Endoscopic system to display three-dimensional picture | |
CN110944566B (zh) | 3d内窥镜装置和3d影像处理装置 | |
US20140187857A1 (en) | Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery | |
JP2005334462A (ja) | 立体視内視鏡システム | |
JP7123053B2 (ja) | 医療用観察装置 | |
WO2014155815A1 (ja) | 立体内視鏡システム | |
JP2001104331A (ja) | 医療用顔面装着型映像表示装置 | |
JP7178385B2 (ja) | 撮像システムおよび観察方法 | |
JP5851656B2 (ja) | 画像信号出力装置及び画像信号送受信システム | |
WO2017138187A1 (ja) | 撮像装置、立体内視鏡および立体内視鏡システム | |
JP3816599B2 (ja) | 体腔内処置観察システム | |
JP4594673B2 (ja) | 立体内視鏡用表示制御装置 | |
CN110383817B (zh) | 图像拾取设备、视频信号处理设备和视频信号处理方法 | |
WO2017145606A1 (ja) | 画像処理装置、画像処理方法及び内視鏡システム | |
JP2007044153A (ja) | 立体視内視鏡装置 | |
JP4573667B2 (ja) | 内視鏡装置 | |
US9848758B2 (en) | Stereoscopic endoscope system | |
JP5818265B2 (ja) | 立体内視鏡装置 | |
JP6021215B2 (ja) | 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム | |
WO2022080008A1 (ja) | 医療用画像処理装置及び医療用観察システム | |
JP2004233480A (ja) | 立体内視鏡システム | |
JP7420141B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP7230923B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2005296467A (ja) | 立体内視鏡用表示制御装置 | |
JP2012189689A (ja) | 撮影画像合成表示装置および画像合成提示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100917 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4594673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |