JP2003504976A - 立体的映像観察および画像拡大システム - Google Patents

立体的映像観察および画像拡大システム

Info

Publication number
JP2003504976A
JP2003504976A JP2001510247A JP2001510247A JP2003504976A JP 2003504976 A JP2003504976 A JP 2003504976A JP 2001510247 A JP2001510247 A JP 2001510247A JP 2001510247 A JP2001510247 A JP 2001510247A JP 2003504976 A JP2003504976 A JP 2003504976A
Authority
JP
Japan
Prior art keywords
image
value
video
image quality
quality control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001510247A
Other languages
English (en)
Inventor
ガイ クスカス
Original Assignee
サージビジョン リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サージビジョン リミテッド filed Critical サージビジョン リミテッド
Publication of JP2003504976A publication Critical patent/JP2003504976A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Microscoopes, Condenser (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Liquid Crystal (AREA)

Abstract

(57)【要約】 立体的映像観察および拡大システムは、カメラモジュールと、ヘッドマウントディスプレイユニットと、オペレータコントローラユニットと、インタフェースおよび処理ユニットと、ビデオ回路および通信リンクとを備え、カメラモジュールに埋め込まれたビデオカメラにより生成された再生される画像の、可変的な拡大された3D表示が、ヘッドマウントディスプレイユニットに提供される。システムは、自動的なビデオカメラの均衡と、再生される画像の自動的な質的な最適化をなす。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】
本発明は、全般的には、立体的映像観察システムに関し、降り詳細には、外科
および他の医療の応用で利用されるべき立体的映像観察および拡大システムに関
する。
【0002】
【従来の技術】
外科治療や他の治療をなす現代の外科医は、異なる一群の外科治療活動の間、
或いは、単一の外科治療活動においても、異なる観察方法を利用することを強い
られている。各観察方法には、異なる器具や機器の使用が含まれている。いくつ
かの外科手術にとっては裸眼或いは自然な観察で充分であるが、多くのタイプの
手術では、手術している視野の拡大や外科医の視覚の強化が必要となる。このよ
うな外科治療をなす外科医には、連想される範囲の拡大能力をもつ一連の光学機
器を用いることにより、手術中の領域の眺め(view)が拡大される。一群の手術用
の拡大機器には、単純な携帯拡大鏡、ヘッドライト付き或いはヘッドライト無し
の装着可能な両眼用の拡大鏡、又は、顕微鏡手術における手術用顕微鏡などが含
まれる。典型的には、拡大鏡の助力をかりた観察は、2ないし3倍の拡大率を得
ることができ(より大きな拡大率を得ることも可能であるが、機材が扱いにくく
あまり利用されない)、その一方、顕微鏡による拡大率は、典型的には8倍以上
である。多数の観察法や関連する機器の使用は、現在の外科治療観察技術に、著
しく不利である。現存する技術は、「人の眼でシースルーする(see-thorough hi
s eyes)」オプションを提供せず、また、外科医が見た画像を、外科医のアシス
タントや外科治療をなす際に立ち会う他の専門家の眼に伝達する能力がない。
【0003】 現在の外科の傾向は、浸襲をより少なくし、浸襲を最小限にし、露出を小さく
するような外科技術に向けられている。したがって、外科技術には、より眺めを
拡大し強化することや、視覚化ツールが求められる。このような浸襲を小さくす
る外科手術には、外科用顕微鏡を必要とする顕微鏡手術、内視鏡や腹腔鏡を利用
する内視鏡手術、コンピュータに補助された手術、特定の治療にて、強化された
リアリティ技術とともに、コンピュータに補助されたシステムを利用して実行さ
れるロボットによる遠隔手術、および、手術領域へのアクセスを最小限にするよ
うな古典的な外科手術或いは直接的な最小浸襲手術が含まれる。
【0004】 内視鏡手術、および、コンピュータに補助されたロボットによる遠隔手術など
、上述した手術のいくつかには、特殊な可視化システムを必要とするものがあり
、これに加えて、拡大をインタフェースする機器や可視化を強める機器の利用を
必要とする場合もある。顕微鏡手術や手術室の顕微鏡の利用が必要な古典的な手
術などの他の方法においても、外科医の眺めの拡大および強化が必要である。遠
隔の組織や解剖組織上の領域の治療は、一般的な手術ステップ、すなわち、顕微
鏡手術による解剖(microsurgical dissection)、縫合技術、フリーフラップ(fre
e flap)、動脈および静脈の解剖、インターポジションヴェイングラフト(interp
osition vein graft)、端側吻合(end to side anastomosis)、神経移植、上顎顔
面の顕微鏡手術(maxillofacial microsurgery)、精管フィステル形成術(vasovas
ostomy)、組織移植手術、ファロピウス管の解剖などや、手術の最中に露出しか
つ到達するのが困難である。遠隔の組織や解剖組織上の領域の治療は、実質的に
は、拡大や3Dオンライン画像化により利益を得ている。現代の外科治療では、
手術の品質を向上させ、手術時間を短縮し、患者の外傷を小さくし、したがって
、合併症の率や入院期間を減じるための可視化の進歩した状況が求められている
【0005】 進歩した可視化ツールは、手術中の状況の変化に応えるように、自動的かつ動
的に均衡されかつ最適化された、3次元の高解像度のカラー画像を提供する調整
可能な表示装置を備えたリアルタイム画像化システムと、広範囲な拡大率をもつ
ツールと、支配的な状況にしたがって操作可能なパラメータのいくつかを変更可
能な容易に利用可能なオペレータコントロールとを含む一体型システムであるべ
きである。システムは、手術処置中に外科医が「シースルー」する選択肢を提供
すべきである。また、システムは、処置中に存在する付加的な人たちの眼に、外
科医に対して表示されているのと同一の画像を適切に送信することにより、当該
手術処置中に、アシスタントや専門家が、「人の眼でシースルー」するような能
力を備えているべきである。付加的に、システムは、学習、解析、記録保管など
の目的のため、処置お記録を繰り返し再生できるような記録能力を備えているべ
きである。従来技術のシステムでは、このような能力が備えられていなかった。
【0006】
【発明の開示】
本発明の一つの態様は、接近した観察の処理、および、適用空間内の物体の操
作を補助するため、身体的な適用空間の、リアルタイムで、動的に、拡大率が変
更される、最適化された、立体的映像による画像を、人間のオペレータに表示す
る方法に関している。この方法は、画像検知デバイスにより適用空間の動的な画
像を生成し、生成された画像を電気信号にエンコードし、オペレータの眼に光学
的に整列されて配置された表示デバイスに、動的な画像を示す信号を送信し、動
的な画像を示す信号をデコードし、かつ、結果として再生された画像をオペレー
タの眼に向けて表示することを含む。
【0007】 本発明の第2の態様は、カラーで、高解像度の、拡大率が変更される、動的で
、立体的映像による、質的に最適に再生された、物理的な手術環境のビデオ画像
を、前記環境内の物体に関連した観察および操作のセッション中に、人間のオペ
レータを補助するために当該人間のオペレータに提供する方法に関する。この方
法は、ビデオカメラによりセッションの動的な画像を注視し、画像をビデオ信号
に変換し、ビデオ信号を、一群の適切な導線を介して、手術環境とオペレータの
眼との間に配置されたそれぞれの視覚スクリーンに送信し、ビデオ画像を表すビ
デオ信号を再生される画像にデコードし、視覚スクリーン上に再生されたビデオ
画像を表示することを含む。
【0008】 本発明の第3の態様は、オペレータにより装着可能なカメラモジュールに埋め
込まれた、機構的にリンクされた二つのビデオカメラと、オペレータにより装着
可能なヘッドマウントディスプレイユニットに埋め込まれた二つの表示スクリー
ンと、インタフェースおよび処理ユニットと、ビデオカメラに接続された適当な
ビデオ回路であって、当該ビデオ回路を介して、カメラが、表示スクリーンに表
示すべき、手術環境の動的な画像を示すビデオ信号を送信するようなビデオ回路
と、再生される画像の監視、連続的で自動的な均衡および最適化を可能にするた
めのシリアル通信リンクおよびシリアル回路であって、これを介して、カメラの
画像品質制御パラメータの値が、インタフェースおよび処理ユニット、および、
オペレータコントローラユニットに送信されるようなシリアル通信リンクおよび
シリアル回路とを含む立体的映像観察および拡大システムに関している。
【0009】 本発明の各々および全ての上記態様は、観察の質を向上させる。 本発明の各々および全ての上記態様は、物体操作の質を向上させ、かつ、操作
セッションの時間を減少させる。
【0010】
【発明を実施するための最良の形態】
本発明は、手術空間の詳細を拡大する必要のある外科および他の治療を補助す
るために新規で万能な立体的映像視覚化システムを提供することにより、従来技
術の欠点を克服する。
【0011】 提案された発明は、外科治療のための、コンピュータ化された立体的映像観察
および拡大システムである。このシステムは、高解像度ビデオの画像品質、ハイ
パワーズームの柔軟性、および、コンピュータ化された自動化により達成される
使用容易性を兼ね備えている。このパワフルで効率の良い機構を使用することに
より、外科医は、より効率的かつより精度よく作業することができ、かつ、より
短時間で、難しく複雑な作業を実施することが可能となる。システムは、外科医
の集中を高めかつ複雑で長時間にわたる外科処置にかかわる物理的努力を低減す
るために、最適な能力および最大の自動化を提供する。このシステムは、可変的
な視野、実際に同一の機器を用いることにより、また、必要であれば同一のセッ
ションにおいて約1倍(裸眼に相当する)から約10倍までの連続的な拡大制御
をなす。システム全体は軽量で、かつ、低消費電力であり、救急救命のクルーが
これを現場の機器として利用することも可能である。さらに、システムは、「シ
ースルー(see-through)」能力、「人の眼でシースルー」する(see-thorough-his
-eyes)オプション、並びに、記録および再生能力など一群の高度な特徴をも備え
ている。
【0012】 まず、図1および図2を参照する。これらは、接近観察、および、物体のマニ
ュアル又はセミ・マニュアルでの操作を要するセッションを実行するために役立
つものとして利用されるようにデザインされたシステムの主たるコンポーネント
が例示されている。操作される物体を極度に集中して観察することが必要であり
、したがって、操作セッションが進行している限り、観察される眺めの可変的な
拡大を求められる、任意に区切られた物理的な適用空間中で、物体のマニュアル
或いはセミ・マニュアルでの操作を要する様々な領域で機能する熟練工に、シス
テム−ユーザがなり得ることが容易に理解できるであろう。開示された実施例は
、本発明の単なる例にすぎない。開示された詳細は、限定するものとして解釈さ
れてはならず、単に、本発明をより良く理解するために寄与する手段としてのみ
解釈されるべきである。
【0013】 本発明の好ましい実施例にかかるユーザ10は、治療実行者、たとえば、手術
のような医学的処置を実行するのに役立つものとしてシステムを利用する外科医
のような者である。好ましくは、ユーザ10は、その体の上に或いは体に近接し
て、主たるコンポーネントを装着する。カメラモジュール(CM)20は、ユー
ザ10の頭の上に位置する、ヘッドバンド、ヘッドセット又はヘルメットのよう
な支持装置に装着されたビデオカメラのような、画像受理、画像エンコーディン
グおよび画像送信に特殊化された一対の軽量センサを備えている。ヘッドギアお
よび二つのビデオカメラは、以下のように設計されている。すなわち、二つの単
眼的な(monoscopic)眺めを表す、一時的には同時であるが部分的にはわずかに異
なって送信される適切なディジタル的にエンコードされた電気信号が、ユーザ1
0の眼に与えられ、これにより、ユーザ10が、立体的映像モード(stereoscopi
c mode)で、手術空間を観察するオプションを実現できる。現実世界の画像を表
す電気信号は、カメラにより光学的に受理され、ユ−ザ10の身体にゆるく取り
付けられたインタフェースおよび処理ユニット(IPU)50に、適当な導線を
介して送信される。取り付けは、ベルトにより装着された機器のような適当な手
段を用いることにより実現される。インタフェースおよび処理ユニット(IPU
)50は、自動的に、かつ、オペレータコントローラ(OC)40を介して入力
された、ユーザ10のマニュアルによる指示にしたがって、ディジタル信号を処
理する。ユーザは、OC40の上面に配置されたプッシュボタンなどの種々のコ
ントロールを手動で起動することにより指示を入力する。ユーザ10の下腕部に
ストラップやベルクロストリップなど適当な手段にて取り付けられたものとして
示されている。処理された信号は、適当なケーブルを介して、ヘッドマウントデ
ィスプレイ(HMD)30に送信される。ヘッドマウントディスプレイ30は、
ユーザ10の眼と光学的に整列するように配置され、手術空間が観察される。提
案されたシステムの全ての他の主たるコンポーネントのように、HMD30も、
装着可能であり、かつ、本発明の好ましい実施例においては、拡大鏡と同じよう
にユーザ10の眼の前に位置している。HMD30に送信される信号はデコード
され、対応する画像に体系化され、かつ、液晶表示(LCD)眼鏡のような一対
の表示装置上に表示される。
【0014】 記載されたコンポーネントの構造、位置および配置が、本発明の他の意図され
る実施例のために異ならしめ得ることに、当業者であれば容易に気付くであろう
。たとえば、本発明の異なる実施例においては、オペレータコントローラユニッ
トが、腕、足、接触或いは声により、その上にある操作可能なコントロールを起
動させることにより利用され得る。ここで開示した詳細は、単に、以下の請求の
範囲のための基礎をなすにすぎない。
【0015】 図3に示すシステムは、観察者の二つの眼に相当する二つのビデオカメラ22
、24のようなイメージ検知デバイスを利用している。カメラ22、24は、瞳
孔間隔(Inter Pupillary Distance:IPD)25として知られている間隔で、互
いに離され、かつ、物体32から距離28だけ離間して配置されている。各カメ
ラは、僅かに異なる角度から物体32に向けられ、その視線が物体32に収束す
るようになっている。視線は、収束角(DA)34を形成する。各カメラにて撮
影される画像は、図1に示すヘッドマウントディスプレイHMD30を用いて、
観察者の対応する眼に向けて表示される。脳は、これら双方の画像を、深さ(デ
プス)の認識能力により、三次元の景観に変換する。
【0016】 図4を参照すると、IPDおよび集束距離Dの値の変化に基づく立体的映像シ
ステムの質的な性能が示されている。試験は、与えられた状況に対する「理想的
3Dシステム(ideal 3D system)」として知られているものを確立するように実
施された。最適なIPDおよび集束距離(D)を確立するときに、テスト結果は
、最適な性能を呈するパラメータの範囲にあることを示す。主たる重要な尺度と
して、IPDとカメラから物体までの距離(D)との比を参照すると、立体的映
像より下の領域(hypo stereoscopy)36(IPDが小さすぎる)、最適な立体的
映像の領域38、および、過度な立体的映像の領域(hyper stereoscopy)38(
IPDが大きすぎる)との間を区別することができる。立体的映像より下の領域
では、深さ(デプス)の不足が感じられる。過度な立体的映像の領域は、短時間
の後に混乱および疲労を強いる。立体的映像の性能を最適化するために、IPD
は、物体への距離にしたがって再調整されるのが望ましい。他の3Dビデオシス
テムと異なり、提案されるシステムは、光学的な立体的映像を実現するために、
IPDおよび収束角度を動的に操作することができ、深さ(デプス)の効果が、
集中の欠如や疲労に関連する望ましくない効果無しに最適化される。
【0017】 システムは、カメラモジュールに埋め込まれた二つのチャージカプルドデバイ
ス(CCD)或いは固体素子センサカメラを用いている。カメラとして、日本の
ソニー社のモデルEVI370DGなどを用いることができる。完全自動モード
での動作を可能にし、或いは、ソニー社の特殊なプロトコルであるRS232/
VIACA(登録商標)のようなシリアル通信ポートを介して外部から制御でき
るように、カメラには、埋め込まれたDSP(ディジタル信号プロセッサ)が設
けられているべきである。カメラの全体の操作可能なパラメータの組は、遠隔コ
ンピュータから(或いは、適当なインタフェースユニットにより)制御可能であ
る。カメラモジュールは、ヘルメット、移動アーム或いは固定ブームなど種々の
表面に装着可能にデザインされている。カメラモジュールは、カメラに加えて、
少なくとも二つの、日本製のギヤードミニモータのような電気モータデバイスを
利用した、瞳孔間隔(IPD)およびカメラの間の収束角(DA)を変更するた
めに必要な機構を備えている。
【0018】 図5を参照すると、図2のシステムのコンポーネントのより詳細な図が示され
ている。二つのカメラ22、24は、カメラモジュールとして組み立てられる。
双方のカメラは、約48.4°ないし約4.3°の水平視野を与える12倍(X
12)のズームレンズを備えている。カメラは、シリアル通信リンク54、56
を用いて制御され、各カメラは、システムパラメータを修正し、かつ、各カメラ
に関連する独立したビデオチャンネルを均衡させるために、独立して制御され得
る。S−Video(スーパーVHS)のビデオ信号が、より高品質な画像を形
成するため、二つの構成部分、輝度(ルミナンス:Luminance)およびクロミナ
ンス(Chrominance)として送信される。システムのカメラは、S−Video出
力を備えているのが望ましい。カメラ間のビデオ信号の最適化および均衡を実現
するために、ルミナンス(y)チャンネルは、ビデオ信号レベルを制御するため
に用いられる。
【0019】 カメラ22、24は、IPD/収束角機構46に接続され、かつ、これにより
制御されるメカニカルアーム44により機構的にリンクされている。カメラ22
は、導線48を介して、ビデオ信号をCPU50に送信し、カメラ24は、導線
52を介して、ビデオ信号をIPU50に送信する。カメラ22およびカメラ2
4の種々の操作可能なパラメータに対応する制御信号は、それぞれ、導線54お
よび56を介して、IPU50に送信される。カメラ22および24の相互間の
正しい位置決めを実現するために、IPU50のディジタル信号処理の結果得ら
れた制御信号は、導線58を介して、IPU50からIPD/収束角制御機構に
送られる。IPU50は、制御導線80を介して、オペレータコントローラ(O
C)40にリンクされ、かつ、導線82を介して、HMD30にリンクされてい
る。HMD30は、LCD眼鏡のような一対の表示ユニット62、64を備えて
いる。表示のために、日本のソニー社のモデルLDI−D100BEなどのよう
な、既知のヘッドマウントディスプレイを用いることができる。モデルLDI−
D100BEは、「シースルー(See-Through)」構成を備えた立体的映像に適し
ている。IPU50から受理されたビデオ信号は、デコードされ、表示ユニット
62、64上に表示される。本発明の好ましい実施例においては、IC40は、
IPU50と結線されている。本発明の他の実施例においては、(家庭用TVの
ように)IR(赤外線)通信コントローラにて利用され、音声駆動、無線通信、
或いは、この目的に適した現存し又は後に開発される他の通信形態により、修正
され得る。
【0020】 カメラモジュールは、インタフェースおよび処理ユニット(IPU)に接続さ
れている。システムの「頭脳」であるインタフェースおよび処理ユニットは、カ
メラ、カメラの位置を変化させる機構(たとえば、IPDおよび収束角)および
ディスプレイを制御する。IPU50は、幾つかの機能的なコンポーネントを含
む。電源コントロールは、システムの主たるコントロールであり、IPU50に
配置された唯一のマニュアルコントロールである。電源コントロール67は、ガ
ードされたタイプのスイッチで、偶発的な電源オフを防止するのが望ましい。I
PU50の他の機能的コンポーネントは、以下の図面に関連して説明する。
【0021】 オペレータコントローラユニット(OC)40は、導線80を介してIPU5
0と接続されている。OC40は、ユーザにより利用され、IPU50に指示を
送信し、かつ、IPU50から,システムのセッティングに関するデータおよび
システムの全般的なステータスを受理する。ユーザ10は、OC40上に配置さ
れた一群のコントロールを介してシステムと通信する。ユーザ10が観察/操作
セッションを開始するときに、初期化コントロール68が起動され、視野、シャ
ッタスピード、焦点距離、IPD、および、収束角(DA)などのシステムの基
礎パラメータをセットするために、スタートアップ−リセット処理を引き起こす
。再調整コントロール70は、オペレータが、システムが上首尾に調整されてい
るかを確認するとき、或いは、背景光などの環境パラメータが変更されたときな
どに用いられる。再調整70の起動は、システムをリアルタイムで最適化するた
めに必要な通常の自動調整の幾つかを入れ替える。
【0022】 「シースルー」することは、a)画像表示モード、および、b)透過(transpa
rent)モードの二つの異なるモードにて動作するための、既知の表示デバイスに
おける高度な特徴である。画像表示モードにおいて、スクリーンは、適切に接続
された画像検知デバイスにより生成されかつ送信された画像を表示する。その一
方、透過モードにおいては、画像が表示スクリーンから取り去られ、次いで、観
察者がスクリーンを通して、その先にある現実の光景を見ることができるように
、スクリーンが透明にされる。シースルー(See-Through)コントロール72が起
動されると、それぞれの表示スクリーンが透明にされることにより、表示ユニッ
ト62、64が透過モード(シースルーモード)となり、これにより、視覚デバ
イスが中性化され、観察者が、自然な視線で観察者自身の眼を通して見ることが
可能となる。シースルーコントロール72をもう一度押すことで、それぞれのビ
デオチャンネルを介したカメラ22、24から送信された画像により与えられる
眺めに戻るよう表示デバイスが切り替えられる。表示ユニット62、64がシー
スルーモードにあるときに、カメラ22、24を含むシステムの残りの部分は、
通常通り動作し続ける。
【0023】 モードコントロール74は、周期的に動作するように意図されている。ユーザ
10が修正できるように特定のパラメータモードを変更するために、モードコン
トロール74は、適切なモードおよび変更すべき関連するパラメータを選択する
ために、繰り返しかつ断続的に起動される。アップコントロール78およびダウ
ンコントロール76は、対応するパラメータの値を選択するために使用される。
たとえば、システムの通常動作中に、デフォルトのモードは、フィールドオブビ
ュー(FOV)にセットされている。FOVモードにおいては、オペレータは表
示された画像の拡大率を制御することができる。アップコントロール78および
ダウンコントロール76を起動することにより、適切なFOVの値が設定され、
対応するズームイン或いはズームアウト効果が実現されて、画像のサイズが有効
に拡大され或いは縮小される。オペレータが異なるパラメータを修正したいとき
には、モードコントロール74が起動され、現在モードが、オートホワイトバラ
ンス(AWB)に切り替えられる。AWBは、自然色を作り出すために画像の色
の要素を均衡させるための方法である。所望のモードに切り替えた後に、新しい
選択を示す対応する指示が表示スクリーン66上に現れる。AWBモードが選択
されるときに、アップコントロール78或いはダウンコントロール76の起動は
、室内、屋外、自動などのAWBのプリセットパラメータ値の適当な選択をなす
。モードコントロール74をさらに起動することにより、スタビライザモードが
選択され、アップコントロール78およびダウンコントロール76は、オン或い
はオフなどのスタビライザモードに関連するパラメータの値をセットする。スク
リーン66は、付加的に、システムステータス、フォーカス、ズームおよび種々
のエラーメッセージを表示できる。
【0024】 付加的なユニットを上述した主たるユニットに接続できることに容易に気付く
であろう。たとえば、何れかのタイプ(付加的なヘッドマウントディスプレイ、
モニター、或いは、ビデオプロジェクタ)の付加的な表示ユニットを、クルーの
他のメンバーが、ユーザ10が眺めている画像を観察できるようにするために、
システムの基本構成に追加することが考えられる。また、画像が、教育目的或い
は相談目的で、ケーブル或いはワイヤレス手段を介して、手術室の外に送信され
ても良い。さらに、システムは、オンラインによる専門家の助力のため、遠隔位
置に、圧縮したフォーマットでビデオ画像を送信するために、通信エンコーダを
利用することも可能である。
【0025】 図6を参照すると、インタフェースおよび処理ユニット(IPU)のコンポー
ネントが詳細に例示されている。IPU50は、プロセッサデバイス88、記憶
デバイス84、タイミングおよび制御ユニット86、電力供給/DCコンバータ
96、カメラコマンドインタフェース92、コントロールユニットインタフェー
ス98、HMDコマンドインタフェース100、サーボインタフェース90、カ
メラコマンドインタフェース92、および、カメラビデオインタフェース94を
有している。図6の記憶デバイス84は、実行可能なバイナリファイル中に、動
作可能なソフトウェア機能を保持する。ソフトウェア機能は、適当なデータ構造
で記憶された、適切な所定のプリセットされたパラメータ値により制御されるコ
ンピュータプログラムである。カメラ22、24は、ビデオ画像を示す信号を、
カメラビデオインタフェース94に送信する。信号は、それぞれの表示デバイス
上で表示されるように、HMDコマンドインタフェース100を介して、HMD
30に送信される。また、カメラ22、24は、プロセッサデバイス88に、光
度(luminous)データを示すディジタル信号を送信し、ディジタル信号は、必要な
場合に、処理され活性化される。カメラ22、24から受理したデータにしたが
って、プロセッサデバイス88は、カメラ22、24の焦点距離など画質に関す
るパラメータの値を変更するために、カメラコマンドインタフェース92および
シリアルコマンドライン54、56を介して、コマンドを、カメラ22、24に
送る。また、プロセッサデバイス88は、カメラ22、24の互いの空間的位置
を適切に変更するために、サーボインタフェース90を介して、コマンドを、I
PD/収束角機構46に送り、これにより、最適なIPDおよびこれに関連する
収束角を確立して、ユーザの眼の疲労を低く抑えつつ、最適なデプスの知覚を達
成する。
【0026】 オペレータコントローラ(OC)40は、プロセッサデバイス88に接続され
ている。OC40により、ユーザ10は、視野、フォーカス、オートホワイトバ
ランスなど、システムの特定のパラメータを制御することができる。ユーザ10
の指示は、プロセッサユニット88に送信され、実行可能なバイナリーフォーマ
ットに適当にエンコードされ、記憶デバイス84に記憶されたソフトウェアファ
ンクションを用いて、プロセッサデバイス88により翻訳される。コマンドは、
カメラコマンドインタフェース92およびサーボインタフェース90を介して、
カメラ22、24およびIPD/収束角制御機構46に送信される。
【0027】 カメラ22、24は、レンズの絞りとシャッタスピードとによりカメラのビデ
オレベルを制御するための、自動ライトコントロール(ALC)などの幾つかの
自動的なビルトイン機能を備えている。自動的なビルトイン機能は、焦点距離な
どの重要な動作可能なパラメータを訂正するために利用され、これにより、プロ
セッサデバイス88が、全ての局面で画像チャンネルを自動的に均衡させること
が可能となる。プロセッサ88は、受理したディジタル制御信号を解析した後、
カメラ22、24のそれぞれのパラメータをセットする。二つの画像は、適切な
フォーカス、ビデオレベルおよびカラーバランスに訂正される。また、プロセッ
サ88は、割り込み処理、エラー復旧などシステムレベルでの種々のタスクを処
理する。
【0028】 提案したシステムの性能は、システムを効率的に動作させるために重要な幾つ
かのパラメータに依存している。カメラが物体に接近して動作するときに、適切
な焦点距離および色の強さが維持されなければならない。双方のカメラが与えら
れたセッション中のいかなる時でも、一様な性能を達成するために、カメラはこ
れらの面の均衡をとる必要がある。
【0029】 図7を参照すると、システムの主たる処理機能のフローチャートが示されてい
る。ステップ104において、オペレータが図5に示す電源コントロール67を
起動すると、電源がオンとなる。引き続いて、ステップ106において、システ
ムが初期化される。初期化処理は、その期間中に全ての機能的なパラメータが、
記憶デバイス84にてテーブルなどのようなあるデータ構造で記憶された、定め
られた値にリセットされるような、システムスタートアップである。初期化処理
の詳細な描写は、以下の図面に関連して後述されるであろう。ステップ108に
おいて、図5のOC40がアクセスされて、図5に記載したプッシュボタンなど
の特定のコントロールを介してマニュアルで入力されたオペレータの指示が読み
出される。ステップ110において、OCコマンドは、図6のプロセッサデバイ
ス88により処理される。処理の詳細な描写は、以下の図面に関連して後述され
るであろう。ステップ112で、平均ビデオレベルが、双方のカメラから読み出
され、ビデオレベルに関してカメラの均衡がとられる。この詳細な描写も、以下
の図面に関連して後述する。ステップ114において、双方のカメラからフォー
カスセッティングが読み出され、焦点距離に関してカメラの均衡がとられる。こ
の詳細な描写も、以下の図面に関連して後述する。ステップ116で、IPDお
よびDAが、先に取得されたフォーカス(焦点)の値にしたがって設定される。
この詳細な描写も、以下の図面に関連して後述する。
【0030】 図8を参照すると、オペレータコントローラ40上のコントロールアクチベー
ションのシーケンスが例示されている。OC40を利用するオペレータにより制
御される基本的な処理、システムの動作のモードは以下のとおりである。 a)初期化モード b)再調整モード c)通常動作(自動モード) d)システムパラメータのマニュアル修正
【0031】 OC40を介して、オペレータには、上述した全ての処理および動作を起動す
る選択肢が与えられる。図7の初期化処理106は、二つの状態で作業をする。
すなわち、図5の電源スイッチ67の起動に引き続き電源がオンされるとき、或
いは、図5の初期化コントロール68が用いられたときである。図5の初期化6
8が用いられることにより、オペレータは、図6のプロセッサデバイス88によ
り自動的に実行される、図6の記憶デバイス84に記憶された一連の所定の機能
を起動させる。ステップ120において、初期化シーケンスは、システムをスタ
ートアップさせることから始まり、次いで、全ての機能的なパラメータが特に定
義された所定の値にリセットされる。初期化処理にて実行される動作可能なステ
ージは以下のとおりである。
【0032】 a)ステップ122において、カメラ22、24がオンされる。 b)ステップ124において、カメラ22、24上のオートホワイトバランス
が室内の値にセットされる。 c)ステップ126において、視野が約35°に設定される。 d)ステップ128において、シャッタスピードが約1/60秒に設定される
。 e)ステップ130において、自動利得コントロール(AGC)がオフにセッ
トされる。AGCは、プリセットレベルと整合させるために、入力信号を引き上
げ或いは引き下げることにより、オーディオ或いはビデオの入力レベルを補償す
る電子回路である。AGCを利用することにより、変更された入力レベルが、単
一の定数設定で出力することができる。 f)ステップ132において、シャッタ優先モードに入るために絞りが自動に
セットされる。 g)ステップ134において、フォーカスが約1.5m(約5フィート)の値
に設定される。 h)ステップ136において、瞳孔間隔(IPD)が75mm(約3インチ)
の値に設定され、収束角が、約2度から約4度(好ましくは2.9度)に設定さ
れる。 i)ステップ138において、現在のパラメータの自動的な変更を防止するた
めに、スタビライザがオンにセットされる。
【0033】 初期化機能は、制御を主たる機能(メインファンクション)に返し、引き続い
て、動作可能なシステムのパラメータを連続的に調整する処理を開始するために
、通常動作(自動モード)に入る。 再調整処理150は、背景光の強度など環境要素が変化したとき、IPDおよ
び収束角に関してカメラの位置が急に変化したとき、或いは、カメラ22、24
に関する双方のビデオチャンネルが不均衡となったときに起動される。再調整処
理150中に実行されるステップは、初期化処理120における処理と類似して
いる。しかしながら、システムの全てのパラメータを定められたデフォルト値に
リセットすることはない。再調整処理150において、ユーザ10に対して表示
されている画像の急速な変化を防止するために、図5のシースルーコントロール
72が起動されるのが望ましい。図5の再調整コントロール70が起動されるの
に引き続いて、記憶デバイス84から対応する機能がロードされ、図5のプロセ
ッサデバイス88により実行される。この機能にて実行されるステップは以下の
とおりである。
【0034】 a)ステップ152において、シャッタスピードが約1/60秒に設定される
。 b)ステップ154において、自動利得コントロールがオフにセットされる。 c)ステップ156において、絞りが自動モードにセットされる。 d)ステップ157において、カメラがビデオレベルに対応して均衡を取られ
る。 e)ステップ158において、フォーカスが自動に設定される。 f)ステップ159において、カメラが争点距離に対応して均衡をとられる。 再調整機能は、制御を主たる論理機能(メインロジックファンクション)に蝿
氏、その結果、動作可能なシステムのパラメータを連続的に自動で、かつ、オン
ラインで調整することを開始するために、通常動作(自動モード)に入る。
【0035】 オペレータには、図5のモードコントロール74を使用してシステムの幾つか
のパラメータを修正する選択肢を与えられる。ステップ140で、モードコント
ロール74を繰り返しかつ断続的に起動することにより、オペレータは、特定の
パラメータを修正できる、所望の動作モードを選択する。双方のカメラに関して
全ての修正が動作可能である。選択されたモードにしたがって、当該選択された
モードに固有の視覚インジケータが、図5の表示スクリーン66上に現れる。デ
フォルトモードは、FOVモード或いは視野の変更である。FOVは、当該FO
Vモードにおいてズームインおよびズームアウトの動作にそれぞれ対応する、ア
ップコントロール78或いはダウンコントロール76の起動を介して、ステップ
142で調整される。その結果、FOVの値の変更は、受理する画像のサイズを
増大或いは減少させる。したがって、このような手法で画像の拡大が実現される
【0036】 ステップ144において、AWB択一モードが選択される。AWBモードにお
いては、双方のカメラに対してホワイトバランスが調整される。ユーザには、ホ
ワイトバランス調整の三つの所定の値を切り替える選択肢が与えら得る。これら
の値は以下のとおりである。 a)室内:人工光にしたがった画像の色の訂正 b)屋外:画像の色を、約6500度ケルビン(degrees Kelvin)の自然光に訂
正する。 c)自動:自動AWBを実行する。
【0037】 ステップ146において、オペレータはカメラ間のフォーカスを均衡させる。
双方のカメラの焦点距離は、必要な場合にチェックされて修正される。カメラに
対して、争点距離が修正されるときに、IPDが計算されて修正される。IPD
の平均値が、立体的映像を見ることができる観察者と、観察される空間の最もク
リアに見られる物体との間の距離の1/20であるときに、立体的映像の眺めが
最適となるため、IPDの値は、約50ないし60mm(好ましくは53mm)
を最小値として焦点距離の1/20に設定される。IPDの修正の後に、収束角
DAが、ルックアップテーブルなどの適当なデータ構造をアクセスして適切な値
を取り出すことにより取得される。
【0038】 図9を参照すると、ビデオレベル112の自動均衡処理が示されている。ステ
ップ166において、光度(luminous)の平均ビデオレベルが双方のカメラから読
み出され、ステップ168で、カメラから取得された値が相互に比較される。ス
テップ170において、二つのカメラ間のビデオレベルの差が、所定の値、たと
えば、10%より大きいか否かが判断される。上記差が所定の値より大きい場合
には、ステップ172において、各カメラがチェックされて、何れのカメラが、
所定に設定されたビデオレベル値、たとえば、ピークトゥピーク(peak to peak)
で約1.0ボルトから離間している設定となっているかを判断する。ステップ1
76或いはステップ174の結果にしたがって、それぞれのカメラの絞りが、所
定の設定された値に調整される。引き続いて、制御はステップ168に戻って、
均衡(バランシング)の処理が繰り返される。ステップ168において、カメラ
のビデオレベル間の差が、所定の値より小さいことが見出された場合には、制御
は、ステップ166に戻り、カメラの光度ビデオレベルが再度取得される。
【0039】 図10を参照すると、カメラ相互のフォーカス設定の自動的均衡(バランシン
グ)114に関する制御フローが示されている。ステップ180において、双方
のカメラの焦点距離の設定が取得され、ステップ182において、その差をとる
ために比較される。ステップ184で、設定の間に差があるか否かが判断される
。差が見出されない場合には、均衡処理を繰り返すために、制御はステップ18
0に戻る。ステップ186において設定に差があることが見出された場合には、
何れのカメラのフォーカス設定が、他のカメラの値よりも高いかが判断される。
ステップ190の結果或いはステップ188の結果にしたがって、より高いフォ
ーカスの値を有するカメラのフォーカスが、他のカメラの値に再セットされる。
【0040】 図11を参照すると、IPDおよびDAの自動的設定に関する論理フローが示
されている。ステップ194において、双方のカメラのフォーカス設定が読み出
され、ステップ196においてIPDが算出される。ステップ198において、
IPDが設定され、ステップ202で、IPDの値によって、ステップ200で
記憶装デバイス上に保持されたルックアップテーブルからDAの値の取り出しが
可能となる。DAの値はステップ204で設定される。結果は、図6のサーボイ
ンタフェース90に供給され、また、所定の信号に変換されて、図6のIPD/
DA制御機構46に送られる。次いで、機能制御は、ステップ194に戻り、双
方のカメラからのフォーカス設定の読み出しが取得され、処理が繰り返される。
【0041】 図12A、12Bおよび12Cを参照すると、図6に示すカメラモジュール2
0の機構的構造が示されている。カメラモジュール20は、関連する機構部品を
備えたモータ216、210を有している。カメラ22、24は、ベース218
からつり下げられている。機構のベース218に対する取り付けポイントは、双
方のモータ210、216を保持するボルトである。前方モータ216は、反対
方向のねじ山をもつ両側の軸を備えている。カメラ22、24を保持するボルト
は、同一のねじ山を有している。したがって、モータ216が一方向に回転する
と、前側212とカメラ22の前側214は、それぞれ、互いに接近するように
移動し、或いは、互いに離間するように移動する。上述したような動きを可能に
するために、ボルトとカメラ22、24のハウジングとの間の連結は、位置を変
更しないが自由に回転できるようになっている。また、背部モータ210には、
双方のアーム206、208を動かすねじ山をもつシャフトが備えられている。
したがって、モータ210の動く方向にしたがって、カメラ22、24の後側の
距離が、モータ210の動く方向にしたがって、増大或いは減少する。上述した
機構により、IPDおよび収束角の双方が制御される。
【0042】 当業者は、上記記載が、本発明の潜在的なコンセプトを単に例示したものであ
り、提案するシステムの製造にて有効となり得る多数の想像可能なデザインから
可能な配置の一つを単に引用したに過ぎないことに、容易に気付くであろう。 本発明の他の実施例においては、手系的な手術室の構造にあわせるために、記
録および再生のオーディオや通信のような付加的機器が追加されるであろう。 また、本発明のさらに他の実施例においては、システムのよりコンパクトなバ
ージョンに、バッテリーやカーバッテリーコネクタで作動される付加的な光源が
設けられるであろう。この実施例において、システムは、屋外で活動する軍や救
急救命のクルーによっても使用可能となる。
【0043】 本発明のさらに他の実施例においては、提案されたシステムは、軍用の低高原
で作動するモノクロの超高感度カメラ(ICCDカメラ)を備えることもできる
。 当業者は、本発明が上に示しまた記述したものに限定されないことを理解する
であろう。むしろ、本発明の範囲は、以下の請求の範囲のみにより確定される。
【図面の簡単な説明】
【図1】 図1は、ユーザの身体に関してコンポーネントの機能的な配置を示
す、システムの主たるコンポーネントを示す図である。
【図2】 図2は、機能的に相互接続されたシステムの主たるコンポーネント
を示す単純化されたブロックダイヤグラムである。
【図3】 図3は、一対のカメラおよび観察される物体の、立体映像に関連す
る空間的関係を定義した幾何学的要素の図形的表示である。
【図4】 図4は、与えられたカメラと物体との距離において、瞳孔間隔の変
化に依存する、立体的映像システムの質的な性能を示すグラフである。
【図5】 図5は、システムのコンポーネントの配置を概略的に示す図である
【図6】 図6は、インタフェースおよび処理ユニットのハードウェアおよび
ソフトウェアのコンポーネントを示す機能的ブロックダイヤグラムである。
【図7】 図7は、システムの主たる動作可能な機能のハイレベルなフローチ
ャートである。
【図8】 図8は、オペレータコントローラユニットにて起動される制御のシ
ーケンスに対応したハイレベルなフローチャートである。
【図9】 図9は、カメラの光度データの読み出しを用いたビデオレベル制御
に関連するハイレベルなフローチャートである。
【図10】 図10は、カメラからの読み出しを利用したフォーカス制御のハ
イレベルなフローチャートである。
【図11】 図11は、先に読み出されたフォーカスを用いたIPDおよびD
Aの値の調整に関連するハイレベルなフローチャートである。
【図12A】 図12Aは、瞳孔間隔(IPD)および収束角(DA)を制御
するモータおよび関連する機構を含むカメラモジュールの機構的構造を示す図で
ある。
【図12B】 図12Bは、瞳孔間隔(IPD)および収束角(DA)を制御
するモータおよび関連する機構を含むカメラモジュールの機構的構造を示す図で
ある。
【図12C】 図12Cは、瞳孔間隔(IPD)および収束角(DA)を制御
するモータおよび関連する機構を含むカメラモジュールの機構的構造を示す図で
ある。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,MZ,SD,SL,SZ,TZ,UG ,ZW),EA(AM,AZ,BY,KG,KZ,MD, RU,TJ,TM),AE,AG,AL,AM,AT, AU,AZ,BA,BB,BG,BR,BY,BZ,C A,CH,CN,CR,CU,CZ,DE,DK,DM ,DZ,EE,ES,FI,GB,GD,GE,GH, GM,HR,HU,ID,IL,IN,IS,JP,K E,KG,KP,KR,KZ,LC,LK,LR,LS ,LT,LU,LV,MA,MD,MG,MK,MN, MW,MX,MZ,NO,NZ,PL,PT,RO,R U,SD,SE,SG,SI,SK,SL,TJ,TM ,TR,TT,TZ,UA,UG,UZ,VN,YU, ZA,ZW

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 接近した観察の処理、および、身体的な適用空間内の物体の操
    作を補助するため、身体的な適用空間の、リアルタイムで、動的に、拡大率が変
    更される、最適化された、立体的映像にエミュレートされた画像を、人間のオペ
    レータに表示する方法であって、 画像生成デバイスにより前記適用空間の動的な画像を生成し、 前記画像生成デバイスの画像品質制御パラメータの値を監視し、 最適な立体的映像の品質を取得するために、前記画像品質制御パラメータの値
    にしたがって、画像生成デバイスの、立体的映像の品質に関連する物理的な位置
    を自動的に調整し、 動的な画像をエンコードされた電気信号にエンコードし、 動的な画像を示す前記エンコードされた電気信号を、前記人間のオペレータの
    眼に光学的に整列した表示デバイスに送信し、 動的な画像を示すエンコードされた信号を、再生画像にデコードし、 人間のオペレータの眼に対して、前記再生された画像を表示し、 前記画像生成デバイスの立体的映像の品質に関連する物理的位置が、前記画像
    生成デバイスの間の瞳孔間隔(IPD)と、前記画像生成デバイスの視線の間の
    収束角(DA)とを含むことを特徴とする方法。
  2. 【請求項2】 画像生成デバイスの、立体的映像の品質に関連する物理的な位
    置を調整するステップが、 前記監視された画像品質制御パラメータの値にしたがって、最適なIPDの値
    およびこれに対応した最適なDAの値を含む、最適な立体的映像の品質制御パラ
    メータの値を算出し、 空間に関する制御デバイスに、前記算出された最適な立体的映像の品質制御パ
    ラメータの値を送信し、 前記算出された最適な立体的映像の品質制御パラメータの値を、適切な物理的
    な位置決め信号に変換し、 前記最適なIPDの値およびDAの値にしたがって、前記画像生成デバイスを
    、空間的な位置に、物理的に位置決めし、かつ、 上記ステップを繰り返すことを特徴とする請求項1に記載の方法。
  3. 【請求項3】 さらに、 前記画像生成デバイスの、画像品質制御パラメータのセッティングを自動的に
    均衡させるステップを備えたことを特徴とする請求項1に記載の方法。
  4. 【請求項4】 前記画像品質制御パラメータのセッティングを自動的にいの区
    させるステップが、 第1の画像生成デバイスの画像品質制御パラメータの値を監視し、 第2の画像生成デバイスの画像品質制御パラメータの値を監視し、 前記第1の画像生成デバイスおよび第2の画像生成デバイスの、前記画像品質
    制御パラメータの値を比較し、 前記第1の画像生成デバイスおよび第2の画像生成デバイスの、画像品質制御
    パラメータの値を均一にし、 上記ステップを繰り返すことを特徴とする請求項3に記載の方法。
  5. 【請求項5】 さらに、前記画像生成デバイスの画像品質制御パラメータを手
    動で制御するステップを備えたことを特徴とする請求項1に記載の方法。
  6. 【請求項6】 画像品質制御パラメータを手動で制御するステップが、 画像生成デバイスの画像品質制御パラメータの値を初期化し、 前記画像生成デバイスの前記画像品質制御パラメータの値を、選択的に再調整
    し、 前記画像生成デバイスの少なくとも一つの画像品質制御パラメータの値を、選
    択的に再設定し、 前記画像生成デバイスの画像品質制御パラメータの値を一定に保ち、 前記画像生成デバイスを、前記表示デバイスから選択的にその接続を絶ち、前
    記適用空間の、表示デバイスの視線を通した観察が可能となるようにすることを
    特徴とする請求項5に記載の方法。
  7. 【請求項7】 少なくとも一つの画像品質制御パラメータの値を、選択的に再
    設定するステップが、 表示される画像の視野および拡大率を制御し、 表示される画像の色バランスを調整し、 表示される画像の鮮明さを調整し、 表示される画像の明るさを設定することを特徴とする請求項6に記載の方法。
  8. 【請求項8】 カラーで、高解像度の、拡大率が変更される、動的で、立体的
    映像による、質的に最適に再生された、物理的な手術環境のビデオ画像を、前記
    環境内の物体に関連した観察および操作のセッション中に、人間のオペレータを
    補助するために当該人間のオペレータに提供する方法であって、 ビデオカメラにより前記観察および操作セッションの動的な画像を注視し、 前記動的な画像を、エンコードされたビデオ信号に変換し、 ビデオカメラの画像品質制御パラメータの値を監視し、 偶発的、手動或いは自動的に、前記画像品質制御パラメータに生じた変化を監
    視し、 ビデオカメラ相互の物理的位置を、自動的に最適化し、 ビデオ画像を表す前記エンコードされた信号を、一群の適当な導線を介して、
    手術環境と人間のオペレータの眼との間に配置されたそれぞれの視覚スクリーン
    に送信し、 動的な画像を表す電気信号を、可視的に再生されるビデオ画像にデコードし、 前記視覚スクリーン上に、前記可視的に構築されたビデオ画像を表示し、 前記ビデオカメラの互いの物理的位置が、ビデオカメラ間の瞳孔間隔(IPD
    )と、前記ビデオカメラの視線の間の収束角(DA)とを含むことを特徴とする
    方法。
  9. 【請求項9】 さらに、前記視覚スクリーン上の均一な画像を実現するために
    、ビデオカメラの前記画像品質制御パラメータの値を均衡させるステップを備え
    たことを特徴とする請求項8に記載の方法。
  10. 【請求項10】 さらに、人間のオペレータにより、ビデオカメラの、操作可
    能な画像品質制御パラメータの値を手動で調整するステップを備えたことを特徴
    とする請求項8に記載の方法。
  11. 【請求項11】 前記手動で調整するステップが、 ビデオカメラの操作可能な設定を予め定められた値に初期化し、 前記ビデオカメラの操作可能な設定を、予め定められた値に、選択的に再調整
    し、 ビデオカメラの少なくとも一つの操作可能な設定を、所定の値に、選択的に再
    設定し、 ビデオカメラの操作可能な設定の自動的な構成を不可能にし、 視覚スクリーン上のビデオ画像の表示を不可能にして、人間のオペレータに、
    その視線を経た明瞭な眺望を提供することを特徴とする請求項10に記載の方法
  12. 【請求項12】 操作可能な設定を初期化するステップが、 ビデオカメラを起動し、 カラーバランスコントロールを予め定められた値に設定し、 拡大率を予め定められた値に請求項手致死、 シャッタスピードを予め定められた値に設定し、 自動利得コントロールとの接続を絶ち、 自動絞り制御を動作可能にし、 争点距離を予め定められた値に設定し、 焦点距離にしたがって、瞳孔間隔の値を算出し、 瞳孔間隔の値にしたがって収束角を算出し、 瞳孔間隔および収束角に対応して、ビデオカメラの移動をなし、 ビデオカメラの制御を一手に保つことを特徴とする請求項11に記載の方法。
  13. 【請求項13】 選択的に再調整するステップが、 シャッタスピードを予め定められた値に設定し、 自動利得コントロールを動作不可能にし、 自動絞り制御を動作可能にし、 自動焦点制御を動作可能にし、 輝度のレベルに関してビデオカメラを均衡させ、 焦点距離に関してビデオカメラを均衡させることを特徴とする請求項11に記
    載の方法。
  14. 【請求項14】 ビデオカメラ相互の物理的位置を自動的に最適化するステッ
    プが、 ビデオカメラの焦点距離の設定を監視し、 最適な瞳孔間隔の値およびこれに対応した最適な収束角の値を算出し、 結果の値を、動作可能なサーボモータインタフェースにより、適当な電気制御
    信号に変換し、 ビデオカメラ相互の位置決めを動作させる適切なサーボモータデバイスを起動
    し、 上記ステップを繰り返すことを特徴とする請求項8に記載の方法。
  15. 【請求項15】 前記瞳孔間隔の算出結果が、焦点距離を予め定められた値で
    割った値により取得されることを特徴とする請求項14に記載の方法。
  16. 【請求項16】 収束角の算出結果が、算出された瞳孔間隔にしたがって、予
    め定められたテーブルから所望の値を取ることにより取得されることを特徴とす
    る請求項14に記載の方法。
  17. 【請求項17】 立体的映像のビデオ観察および拡大システムであって、 人間のオペレータに装着可能なカメラモジュールに埋め込まれた、機構的にリ
    ンクされた二つのビデオカメラと、 人間のオペレータに装着可能な、ヘッドマウントディスプレイユニットに埋め
    込まれた二つの表示スクリーンと、 人間のオペレータに装着可能なオペレータコントローラと、 インタフェースおよび処理ユニットと、 前記二つのビデオカメラに接続された適当なビデオ回路であって、当該ビデオ
    回路を介して、ビデオカメラが、二つの表示スクリーン上に表示すべき、手術環
    境の動的な画像を示す適当な電気信号を送信するようなビデオ回路と、 シリアル通信リンクおよびシリアル回路であって、再生される画像の監視、連
    続的で自動的な均衡および最適化を可能にするために、当該シリアル通信リンク
    およびシリアル回路を介して、ビデオカメラの画像品質制御パラメータを示すデ
    ィジタル信号が、インタフェースおよび処理ユニット、並びに、オペレータコン
    トローラに送信されるように構成された、シリアル通信リンクおよびシリアル回
    路とを備え、 前記カメラモジュールが、 ビデオカメラに連結され、二つのカメラの間の距離に関するカメラの位置決め
    をなす第1のサーボモータと、 二つのビデオカメラに連結され、手術空間の物体へのそれぞれの視線により形
    成される収束角に関して、カメラの位置決めをなす第2のサーボモータとを有し
    、これにより、制御可能な瞳孔間隔/収束角機構が形成されることを特徴とする
    システム。
  18. 【請求項18】 オペレータコントローラが、 システムステータス、画像品質制御パラメータの値、および、現在の動作モー
    ドを示す表示スクリーンと、 人間のオペレータに、画像品質制御パラメータを予め定められた値に設定する
    選択肢を与える初期化コントロールと、 人間のオペレータに、画像品質制御パラメータの値を再調整する選択肢を与え
    る再調整コントロールと、 画像品質制御パラメータを手動で選択するためのモードコントロールと、 現在のモードに関して、パラメータの値を、手動で調整するための、アップコ
    ントロールおよびダウンコントロールと、 オペレータが自然な視線に沿って手術空間を眺めることができるように、ビデ
    オカメラにより可視スクリーンに送信されるビデオ信号の接続を絶つためのシー
    スルーコントロールとを有することを特徴とする請求項17に記載のシステム。
  19. 【請求項19】 前記コントロールがプッシュボタンであることを特徴とする
    請求項18に記載のシステム。
  20. 【請求項20】 インタフェースおよび処理ユニットが、 システムの電源をオンおよびオフするメイン制御デバイスと、 ビデオカメラから受理したビデオ信号を処理するカメラビデオインタフェース
    と、 ビデオカメラから受理した画像品質制御パラメータの値に対応するディジタル
    信号を処理し、かつ、プロセッサデバイスからそれぞれのカメラに、処理された
    ディジタル信号を送信するカメラコマンドインタフェースと、 ビデオ画像に対応する電気信号を、視覚スクリーンに送信するヘッドマウント
    ディスプレイインタフェースと、 ビデオカメラの位置決めに関連する制御信号を、適当なサーボコマンドに変換
    し、かつ、前記サーボコマンドを、それぞれの位置決め調整機構に送信するサー
    ボインタフェースと、 実行可能な制御機能、制御テーブル、および、予め定められた画像品質制御パ
    ラメータの値を保持する記憶デバイスと、 画像品質制御パラメータの値に関するディジタル信号を処理するプロセッサデ
    バイスと、 オペレータからのコマンドを受理する制御ユニットインタフェースと、 電源供給/DCコンバータデバイスと、 タイミングおよび制御ユニットとを有することを特徴とする請求項17に記載
    のシステム。
  21. 【請求項21】 前記メイン制御デバイスが、ガードされたスイッチであるこ
    とを特徴とする請求項20に記載のシステム。
  22. 【請求項22】 前記可視スクリーンが、液晶デバイスであることを特徴とす
    る請求項17に記載のシステム。
  23. 【請求項23】 ビデオカメラがS−VHS出力を有することを特徴とする請
    求項17に記載のシステム。
  24. 【請求項24】 可視スクリーンが、ビルトインされたシースルー能力を有す
    ることを特徴とする請求項17に記載のシステム。
  25. 【請求項25】 さらに、生成された動的な画像に関して、録画および再生能
    力を備えたことを特徴とする請求項17に記載のシステム。
JP2001510247A 1999-07-13 2000-07-06 立体的映像観察および画像拡大システム Pending JP2003504976A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14344399P 1999-07-13 1999-07-13
US60/143,443 1999-07-13
PCT/IL2000/000398 WO2001005161A1 (en) 1999-07-13 2000-07-06 Stereoscopic video observation and image magnification system

Publications (1)

Publication Number Publication Date
JP2003504976A true JP2003504976A (ja) 2003-02-04

Family

ID=22504108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001510247A Pending JP2003504976A (ja) 1999-07-13 2000-07-06 立体的映像観察および画像拡大システム

Country Status (9)

Country Link
EP (1) EP1197094B1 (ja)
JP (1) JP2003504976A (ja)
CN (1) CN1373969A (ja)
AT (1) ATE259571T1 (ja)
AU (1) AU5703400A (ja)
DE (1) DE60008247T2 (ja)
ES (1) ES2218177T3 (ja)
IL (1) IL147530A0 (ja)
WO (1) WO2001005161A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218103A (ja) * 2005-02-10 2006-08-24 Olympus Corp 医療用撮影装置
WO2011002209A2 (ko) * 2009-06-30 2011-01-06 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
JP2015221201A (ja) * 2014-04-24 2015-12-10 ドクター クリストフ エラーブロックDr. Christof Ellerbrock 頭部装着型仮想現実統合プラットフォーム
JP2019186897A (ja) * 2018-04-10 2019-10-24 株式会社シンクアウト ヘッドマウントディスプレイ
JP2021049354A (ja) * 2015-10-16 2021-04-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼の特徴を用いる眼ポーズ識別
US11538280B2 (en) 2015-08-21 2022-12-27 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50201004D1 (de) 2002-03-01 2004-10-21 Brainlab Ag Operationslampe mit Kamerasystem zur 3D-Referenzierung
US7567833B2 (en) 2004-03-08 2009-07-28 Stryker Leibinger Gmbh & Co. Kg Enhanced illumination device and method
BRPI0506340A (pt) * 2005-12-12 2007-10-02 Univ Fed Sao Paulo Unifesp sistema de visualização de realidade aumentada com computação pervasiva
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US20090214436A1 (en) 2008-02-18 2009-08-27 Washington University Dichromic fluorescent compounds
EP2372999A1 (en) * 2010-03-23 2011-10-05 Eliyahu Mashiah Wearable system for filming, recording and communicating during sport activity
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
CN102137269B (zh) * 2011-04-21 2013-02-13 江苏惠通集团有限责任公司 快门式3d眼镜的同步***及方法
EP3338617B1 (en) 2012-01-23 2020-08-19 Washington University Goggle imaging systems and devices
FR2997810B1 (fr) * 2012-11-07 2016-01-29 Stereolabs Alignement automatique des cameras dans un systeme 3d
CN103986897B (zh) * 2013-05-13 2017-12-19 段然 医用影像***和获取医用影像的方法
WO2015179446A1 (en) * 2014-05-20 2015-11-26 BROWND, Samuel, R. Systems and methods for mediated-reality surgical visualization
US10806804B2 (en) 2015-05-06 2020-10-20 Washington University Compounds having RD targeting motifs and methods of use thereof
US10222619B2 (en) 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US9871588B2 (en) * 2015-12-30 2018-01-16 Surefire Llc Systems and methods for tiling optically narrowcast signals
US10973391B1 (en) 2017-05-22 2021-04-13 James X. Liu Mixed reality viewing of a surgical procedure
TWI650100B (zh) * 2017-07-31 2019-02-11 銘異科技股份有限公司 擴增呼吸道檢查系統
CN109992100B (zh) * 2017-12-30 2022-11-29 深圳多哚新技术有限责任公司 一种头戴显示***及其显示方法
FR3091328A1 (fr) * 2018-12-31 2020-07-03 Zedel Dispositif d’équilibrage améliorant le maintien sur la tête d’une lampe frontale
US11712482B2 (en) 2019-12-13 2023-08-01 Washington University Near infrared fluorescent dyes, formulations and related methods
WO2021150921A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc Open view, multi-modal, calibrated digital loupe with depth sensing
CN113238700B (zh) * 2021-06-03 2024-04-05 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其图像自动放大方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218103A (ja) * 2005-02-10 2006-08-24 Olympus Corp 医療用撮影装置
WO2011002209A2 (ko) * 2009-06-30 2011-01-06 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
WO2011002209A3 (ko) * 2009-06-30 2011-04-21 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
KR101190265B1 (ko) 2009-06-30 2012-10-12 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
JP2015221201A (ja) * 2014-04-24 2015-12-10 ドクター クリストフ エラーブロックDr. Christof Ellerbrock 頭部装着型仮想現実統合プラットフォーム
US11538280B2 (en) 2015-08-21 2022-12-27 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
JP2021049354A (ja) * 2015-10-16 2021-04-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼の特徴を用いる眼ポーズ識別
JP7136875B2 (ja) 2015-10-16 2022-09-13 マジック リープ, インコーポレイテッド 眼の特徴を用いる眼ポーズ識別
US11749025B2 (en) 2015-10-16 2023-09-05 Magic Leap, Inc. Eye pose identification using eye features
JP2019186897A (ja) * 2018-04-10 2019-10-24 株式会社シンクアウト ヘッドマウントディスプレイ
JP7139548B2 (ja) 2018-04-10 2022-09-21 株式会社シンクアウト ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
IL147530A0 (en) 2002-08-14
WO2001005161A1 (en) 2001-01-18
ATE259571T1 (de) 2004-02-15
EP1197094A1 (en) 2002-04-17
CN1373969A (zh) 2002-10-09
DE60008247D1 (de) 2004-03-18
DE60008247T2 (de) 2004-12-02
ES2218177T3 (es) 2004-11-16
AU5703400A (en) 2001-01-30
EP1197094B1 (en) 2004-02-11

Similar Documents

Publication Publication Date Title
EP1197094B1 (en) Stereoscopic video observation and image magnification system
EP2903551B1 (en) Digital system for surgical video capturing and display
US9766441B2 (en) Surgical stereo vision systems and methods for microsurgery
RU2645004C2 (ru) Устройство обработки информации, способ обработки информации и система обработки информации
US4395731A (en) Television microscope surgical method and apparatus therefor
US11109916B2 (en) Personalized hand-eye coordinated digital stereo microscopic systems and methods
US7485115B2 (en) Remote operation support system and method
US11546527B2 (en) Methods and apparatuses for compensating for retinitis pigmentosa
US20180345501A1 (en) Systems and methods for establishing telepresence of a remote user
JP7363767B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP7095693B2 (ja) 医療用観察システム
KR20190109406A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
JP3262849B2 (ja) 立体像観察システムおよび内視鏡画像観察システム
WO2021226134A1 (en) Surgery visualization theatre
JP4383188B2 (ja) 立体観察システム
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
JP7453403B2 (ja) ヘッドマウント可視化システム
WO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
US11729493B2 (en) Image capture apparatus and image capture method
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
JP2022523670A (ja) 電子ルーペ
CN1158047C (zh) 医用立体内窥镜
JP2001290103A (ja) 観察システム
WO2021230001A1 (ja) 情報処理装置及び情報処理方法
US20210360146A1 (en) Imaging device, imaging control device, and imaging method