JP2008018015A - 医用ディスプレイ装置及び医用ディスプレイシステム - Google Patents
医用ディスプレイ装置及び医用ディスプレイシステム Download PDFInfo
- Publication number
- JP2008018015A JP2008018015A JP2006191929A JP2006191929A JP2008018015A JP 2008018015 A JP2008018015 A JP 2008018015A JP 2006191929 A JP2006191929 A JP 2006191929A JP 2006191929 A JP2006191929 A JP 2006191929A JP 2008018015 A JP2008018015 A JP 2008018015A
- Authority
- JP
- Japan
- Prior art keywords
- image
- half mirror
- ultrasonic
- user
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】肉眼で見た視野映像に超音波画像を正確に重畳して観察できるようにした医用ディスプレイ装置及び医用ディスプレイシステムを提供する。
【解決手段】ハーフミラーとこのハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを有するヘッドマウントディスプレイユニットをユーザの頭部に取り付け、ユーザがハーフミラーを通して見た視野映像に投影手段からの超音波画像を重畳して観察可能にする。またヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成し、投影手段によって投影される超音波画像を瞳孔位置情報を基に補正する補正手段を具備したものである。
【選択図】 図1
【解決手段】ハーフミラーとこのハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを有するヘッドマウントディスプレイユニットをユーザの頭部に取り付け、ユーザがハーフミラーを通して見た視野映像に投影手段からの超音波画像を重畳して観察可能にする。またヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成し、投影手段によって投影される超音波画像を瞳孔位置情報を基に補正する補正手段を具備したものである。
【選択図】 図1
Description
本発明は、ヘッドマウントディスプレイユニットを利用して、肉眼で見た視野映像(臓器表面の映像)に超音波画像を重畳して観察できるようにした医用ディスプレイ装置及び医用ディスプレイシステムに関し、超音波画像をユーザの瞳孔位置情報を基に自動的に補正して重畳するようにしたものである。
従来、医用分野において、超音波画像を見ながら手術を行う場合、術者は臓器にあてがった超音波プローブの位置・方向を確認し、さらにディスプレイに表示された超音波画像を同時に観察し、併せて臓器表面の実形状と臓器内部の構造とを対応づけて記憶するという作業を行っている。このとき臓器(及び超音波プローブ)とディスプレイは同じところにないため、視線を頻繁に繰り返し移動させる必要があり、非常に煩雑な操作が必要であった。
また、従来の医用分野においては、医師の視点から見た被検体の臓器表面の映像に超音波画像を重畳して表示する技術も研究されている。例えば非特許文献1には、ビデオ透過型ヘッドマウントディスプレイ(HMD)を使用した例が開示されている。この例は概略的に図8に示す構造を有している。
図8において100はヘッドマウントディスプレイ(HMD)であり、ビデオカメラ101とディスプレイ装置102、及び画像合成部103から成っている。ビデオカメラ101は被検体の臓器表面を撮影するものであり、画像合成部103は超音波診断装置(図示せず)からの超音波画像104と、ビデオカメラ101で撮影した画像105とを合成してディスプレイ装置102に表示するようにしている。
これにより、ユーザ(医師、術者)は、ビデオカメラ101で撮影した被検体の画像105に超音波画像104が重畳された画像106を見ながら、開腹手術等を行うことができる。つまり、ビデオカメラ101が「術者の眼」を代行し、術者の眼で見た映像に超音波画像104を重畳することで、被検体の臓器表面と臓器内部の様子を同時に観察しながら手術を行うことができる。
しかしながら、非特許文献1の例では、ユーザが視線方向を変えたい場合、ユーザが自ら頭部の向きを変える必要がある。つまり、ビデオカメラの撮影方向とユーザの視線方向がずれていると、重畳画像の位置ズレを生じるため、視線方向・視点の位置を変える場合はその都度、頭部を動かす必要があった。
言いかえれば、ユーザは眼球を動かしてもディスプレイ装置102に映し出された画像は変化しないため、観察者にとって不自然さを感じるという欠点がある。
特に、術中に超音波診断装置を使って切開・凝固・結紮・穿刺などの手術を行う場合、臓器表面映像と超音波画像の重畳精度は高いものが要求されるため、視線を変えたときには重畳される超音波画像も視線に合わせて変化するのが理想である。しかしながら、眼球を動かしても重畳画像は変化しないため、術者は違和感を抱くことになる。
また特許文献1には、断層写真スライス画像と人体画像とのリアルタイム位置重畳装置及びその方法について記載されている。この例では、超音波振動子を用いて患者の内部の撮影画像を取得し、撮影画像を偏平ディスプレイに表示し、さらにユーザ(医師)の視点と患者との間にハーフミラーを配置する例が記載されている。
ハーフミラーと偏平ディスプレイの配置をうまく設定することにより、ユーザ(医師)はハーフミラーを通して患者の臓器表面を観察するとともに、偏平ディスプレイに表示された臓器内部の撮影画像をハーフミラーで反射して見ることができる。したがってユーザはハーフミラーを覗き込むことで、臓器表面の映像に超音波画像を重畳して見ることができ、被検体の臓器表面と臓器内部の様子を同時に観察しながら手術を行うことができる。
しかしながら、特許文献1の例では、超音波振動子を患部表面に近づけて配置しなければならないため、術中にハーフミラーが邪魔になってしまうという欠点がある。
Augmented-Reality Medical Visualization Research (Department of Computer Science, University of North Carolina at Chapel Hill, February 2002) 特開2003−310611号公報
Augmented-Reality Medical Visualization Research (Department of Computer Science, University of North Carolina at Chapel Hill, February 2002)
従来では、手術中に超音波画像を観察する場合、術者は患者の臓器表面とディスプレイに表示された超音波画像とを交互に観察しながら作業を行っている。このときディスプレイが離れた位置にあるため、視線を頻繁に移動させる必要があった。またビデオ透過型HMDを使用した場合は、構造上、眼球を動かしても重畳画像が変化しないという欠点があった。さらにハーフミラーを眼前に配置する方式では、術中にハーフミラーが邪魔になるという問題があった。
本発明は、上記事情に鑑みてなされたもので、肉眼で見た視野映像に超音波画像を正確に重畳して観察できるようにした医用ディスプレイ装置及び医用ディスプレイシステムを提供することを目的とする。
請求項1記載の本願発明は、外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイ装置であって、ハーフミラーとこのハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する瞳孔位置計測手段と、前記投影手段によって投影される前記超音波画像を、前記瞳孔位置情報を基に補正する補正手段と、を具備したことを特徴とする。
また請求項8記載の本願発明は、外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイシステムであって、超音波プローブを有し前記超音波プローブを利用して被検体内の超音波画像を作成する超音波診断装置と、ハーフミラーとこのハーフミラーに前記超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する第1の計測手段と、前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測して相対位置情報を生成する第2の計測手段と、前記投影手段によって投影される前記超音波画像を前記瞳孔位置情報及び前記相対位置情報を基に補正する補正手段と、を具備したことを特徴とする。
本発明によれば、瞳孔の位置をリアルタイムに計測し、その計測結果に基づいて重畳する超音波画像を補正するため、視野映像と超音波画像との重畳ズレを低減することができ、精度の高い重畳観察が可能となる。
以下、この発明の装置の実施形態について図面を参照して詳細に説明する。
本発明は、光学透過型のヘッドマウントディスプレイユニット(HMDユニット)を用いて、ユーザの視点から見た映像に超音波画像を重畳して観察できるようにしたものである。さらにユーザの瞳孔位置を計測する手段、及びHMDユニットと超音波プローブの位置関係を計測する手段を設け、瞳孔位置情報等をもとに超音波画像を補正するようにしたものである。
本発明の医用ディスプレイ装置の一実施形態を図1,図2に示す。図1は側面図であり、図2は平面図である。
図1,2において、10は光学透過型のヘッドマウントディスプレイユニット(以下、HMDユニット10と称す)であり、ユーザ1(医師、術者)の頭部に取り付け可能になっている。HMDユニット10はヘルメット型やバンドを用いて取り付けるタイプ等が考えられる。HMDユニット10内には、ハーフミラー11,12、投影手段としてのプロジェクタ13、及び瞳孔位置の計測に用いる赤外線カメラ14が設けられている。
ハーフミラー11と12は、図1で示すようにほぼ直交配置されており、ハーフミラー11は、ユーザ1が正面を向いたときの視線e1に対してほぼ45度の角度で交差するようにユーザ1の両眼と対向する位置に配置され、ハーフミラー12はハーフミラー11の上方にユーザ1側に傾斜して配置されている。ハーフミラー11は、ユーザ1側から見た場合、可視光線及び赤外線を反射し、外界から入射する可視光線を透過する特性を有し、ハーフミラー12は、可視光線を反射し赤外線を透過する特性を有している。
プロジェクタ13は、超音波プローブ21を使用して取得した超音波画像をハーフミラー12に投影するものであり、投影用レンズ131を有し、ユーザ1の前頭部側に位置するように配置されている。超音波プローブ21は超音波診断装置本体(図示せず)に接続されている。
赤外線カメラ14は瞳孔位置計測手段を構成するもので、ハーフミラー12の外側にほぼ45度の角度で対向して配置され、ハーフミラー12の方向に赤外線を照射するリング状のLED141と、赤外線を受光する受光部142を前面に設けている。これにより赤外光源であるLED141から出た赤外線はハーフミラー12を透過し、ハーフミラー11で反射してユーザ1の両眼に照射される。さらにユーザ1の両眼で反射された赤外線はハーフミラー11で反射され、ハーフミラー12を透過して受光部142で受光されるようになっている。これによりユーザ1の瞳孔(虹彩)の赤外線画像が赤外線カメラ14でリアルタイムに撮影される。
また、プロジェクタ13から投影された超音波画像による光線は、投影用レンズ131を通過した後、ハーフミラー12と11で反射されてユーザ1の眼に導かれる。したがって、ユーザ1はハーフミラー11を介して入射する外界の視野映像、即ち被検者の患部表面の映像と、プロジェクタ13からの超音波画像とが重畳された画像を観察することができる。
また超音波プローブ21とHMDユニット10には、位置計測手段を構成する位置計測センサ30が取り付けられている。位置計測センサ30は、例えば磁気式のセンサで構成されており、トランスミッタ31と、測定対象に固定したレシーバ32,33を有し、トランスミッタ31は手術室の固定位置に取り付けられ、レシーバ32は超音波プローブ21に取り付けられ、レシーバ33はHMDユニット10に取り付けられている。
トランスミッタ31は磁気発生源であり、トランスミッタ31の磁界内にレシーバ32,33が配置される。位置計測センサ30は、トランスミッタ31を原点としたとき、レシーバ32及び33で検出した磁気をもとにトランスミッタ31からの磁力線の向き及び磁気強度のデータを求め、レシーバ32,33の位置を計測する。これにより対象物(超音波プローブ21及びHMDユニット10)の三次元的な相対位置を計測することができる。磁気式位置計測センサとしては、例えば米国POLHEMUS社製から「FASTRAK」の商品名で販売されている3次元位置計測システムがあり、それを利用することができる。
図1において、プロジェクタ13から投影される画像は、超音波画像に射影変換を付したものであり、重畳画像の虚像は眼球から十分遠い固定位置(例えば0.3m以上)に結像するようにしておく。こうすることでHMDユニット10の装着者は殆どピント合わせを意識しないで視野映像と超音波画像を同時に見ることができる。
図2の平面図から分かるように、赤外線カメラ14は左右に2台ずつ配置し、異なったアングルから瞳孔(虹彩)の赤外線画像を写すようにしており、三角測量の原理で瞳孔の三次元的な位置をリアルタイムに計測できるようにしている。また、プロジェクタ13も左右に2台配置している。
図2では左目に対応する赤外線カメラ14は14L1と14L2で構成し、右目に対応する赤外線カメラ14は14R1と14R2で構成されている。また、左目に対応するプロジェクタ13は13Lで示し、右目に対応するプロジェクタ13は13Rで示している。
図3は、本発明の医用ディスプレイシステムの全体的な構成を示すブロック図である。図3において、図1と同一部分については同一符号を付して説明する。
HMDユニット10は、ユーザ1の頭部に取り付け可能になっており、HMDユニット10内には、ハーフミラー11,12、プロジェクタ13、及び赤外線カメラ14が設けられている。プロジェクタ13及び赤外線カメラ14は、図2で説明したように実際には複数ある。
超音波診断装置20は、超音波プローブ21と超音波診断装置本体22で構成され、超音波プローブ21は超音波診断装置本体22に接続されている。超音波診断装置20は、超音波プローブ21により被検体に対して超音波ビームを送受信してエコー信号を取得し、超音波診断装置本体22ではエコー信号を基に超音波画像を得るもので、超音波画像として、Bモード画像や3次元画像等を作成する。超音波診断装置本体22からの超音波画像データはシステムコントローラ40に供給される。
システムコントローラ40には、レシーバ32で受信した超音波プローブ21の位置情報、及びレシーバ33で受信したHMDユニット10の位置情報が供給され、さらに赤外線カメラ14で受信した赤外線画像信号が供給される。また、トランスミッタ31を制御する。
システムコントローラ40は、瞳孔位置判別部41、位置判別部42、補正部43を含む。瞳孔位置判別部41は赤外線カメラ14で撮影した赤外線画像信号をもとに瞳孔の位置(瞳孔の動き)を判別する。位置判別部42は、レシーバ32,33からの情報を基にHMDユニット10と超音波プローブ21の相対位置を判別する。補正部43は瞳孔位置判別部41及び位置判別部42の判別結果を基に超音波画像を補正する。これにより、システムコントローラ40からはプロジェクタ13に対して補正された超音波画像が供給される。
補正部43からの超音波画像はプロジェクタ13を介してハーフミラー11,12に投影され、ユーザ1がハーフミラー11を通して見た映像と重畳される。以下の説明では投影された超音波画像を重畳画像と呼ぶこともある。
また、システムコントローラ40には、ユーザの指示を入力するインターフェース手段としてフットマウス50が接続され、ユーザは足を使って各種の動作モードや表示モードを選択し、その選択に応じて超音波画像を処理することができる。
フットマウス50は、手で操作するマウスが使えない状況にある人のために開発されたものであり、かかとを支点にして右クリック、左クリック、前後方向といった操作が可能である。術者は両手を常に清潔な状態に保っておく必要があるため、フットマウス50をインターフェースとして使うことにより、HMDユニット10での表示モードの切替えや、重畳画像の調整などの操作を行うことができる。
表示モード切替え/重畳画像の調整操作としては、例えば重畳画像の有無の切替え、通常の超音波画像(例えばBモード画像の表示)の表示操作、重畳画像の輝度調整操作、通常の超音波画像の拡大縮小・回転・平行移動操作等がある。尚、フットマウス50は、グリーンテックサポート社から商品名「足技」として販売されており、これを利用することができる。
次に本発明の医用ディスプレイ装置の動作について説明する。
図4は、HMDユニット10を使用して開腹手術をする場合の、ユーザ(術者)から見た患部の映像を概略的に示したものである。超音波プローブ21は例えば術者以外の操作者が術者の口頭指示に従って操作し、これにより超音波診断装置20からは被検体の超音波画像Aが作成される。超音波画像Aはプロジェクタ13によってハーフミラー11,12を介して術者が両眼に導かれ、術者がハーフミラー11を通して見た外界の視野映像B(この場合は患部表面の映像)に合成されるため、術者は視野映像Bと超音波画像Aの両方を確認することができる。
したがって、術者は臓器表面と臓器内部の状況を素早く確認することができ、従来のように、視線を頻繁に繰り返し移動させてディスプレイに写された超音波画像と視野映像とを見比べる必要がなくなる。勿論、実際に手術を実行する際に超音波画像Aが邪魔になる場合は、フットマウス50を操作することにより、超音波画像Aのない状態に切り替えることができる。
次に本発明の特徴部である赤外線カメラ14を用いた瞳孔位置計測と補正部43による重畳画像の補正動作について図5を参照して説明する。
本発明では、術者の瞳孔の位置を測定して重畳画像を補正するものである。従来のヘッドマウントディスプレイでは、重畳画像の投影原点を眼球中心e0に置いているのが一般的であり、図5の点線βで示すように、視線方向が超音波画像Aの領域の中心と一致しない場合が多い。一般的には、注視する場合を除いて殆どの場合は一致しない。
図5で示すように眼球に入っている光線は必ず瞳孔eを通過するため、投影原点は瞳孔と一致している必要がある。投影原点を瞳孔eの中心に置いた場合を実線αで示す。図5から明らかなように、実際にはハーフミラー11,12が術者の眼球に近いため、術者が見たハーフミラー11上の重畳画像のズレは大きくなり、一般的に点線βと実線αは一致しないため、どうしても重畳ズレが生じてしまう。したがって、ハーフミラー11上の重畳画像aは、a’のように補正する必要がある。
システムコントローラ40の瞳孔位置判別部41は、赤外線カメラ14からの赤外線画像を利用して瞳孔位置を測定するためのものであり、補正部43は、計測した瞳孔位置に応じてハーフミラー11,12上に投影される超音波画像の大きさ、位置、形状等を補正する。
瞳孔位置の測定に関し、雑誌、東芝レビューVol.60, No.11,2005には「リアルタイム高精度瞳検出技術」について記載されており、視線検出への応用を想定して、顔画像からリアルタイムで高精度且つ安定に瞳(虹彩)を検出し追跡する技術が開示されている。即ち、図6に示すように、瞳の形状を表すモデルとして楕円モデルx0を使用し、楕円x0の外側と内側のそれぞれの領域x1,x2に属する画素の輝度値の統計的な違いを計算して瞳孔の形状を高精度に検出する例が示されている。
したがって、HMDユニット10に搭載した複数台の赤外線カメラ14で左右の眼球を撮影し、撮影した赤外線画像から左右の虹彩の楕円輪郭を抽出し、上記の瞳検出技術を組み合わせることで、ユーザ1の瞳孔を検出することができる。また、左右の2台の赤外線カメラ14L1,14L2、及び14R1,14R2を使用してそれぞれ三角測量を行うことにより、瞳孔位置を三次元的にかつリアルタイムに計測できることができる。
補正部43は、計測した瞳孔位置に応じて、ハーフミラー11上の重畳画像を補正する。例えば図5の場合では、ハーフミラー11上の重畳画像aを、a’のように補正する。また、瞳孔位置が変化すれば、それに合わせて重畳画像の大きさ、位置、形状を補正する。
またHMDユニット10を術者の頭部に装着した場合、装着位置のズレが発生する場合もあり、超音波画像の重畳位置のズレはさらに助長されることもある。一般的なヘッドマウントディスプレイでは、重畳位置のズレが多少あっても気づかないか又は許容されるが、医用に使う場合はその重畳精度が非常に高いことが要求される。
したがって、本発明ではさらに位置計測センサ30を用いて超音波プローブ21とHMDユニット10の位置関係を測定し、超音波プローブ21とHMDユニット10間の距離や位置が変化した場合に、その位置情報をもとに重畳画像の大きさや形状等の補正を行うようにしている。例えば超音波画像Aの表示縮尺を視野映像Bと実寸大(1:1)で表示にすることもできる。
重畳画像の補正は以下のようにして行われる。即ち、赤外線カメラ14で撮影された眼球の画像からHMDユニット10に対する瞳孔の三次元的な相対位置が計測され、これとは別に磁気式の位置センサ30により超音波プローブ21とHMDユニット10の三次元的な相対位置が計測される。
一方、超音波プローブ21の撮影領域内における超音波プローブ21の三次元的な相対位置を想定して、それぞれの位置における左右の瞳孔から見込んだ超音波画像の補正量(画像の位置、形状、形状の補正量)を予め計算しておく。そして実際に測定された瞳孔の位置情報と、超音波プローブ21の位置情報をもとに超音波画像を前述の補正量に基いて補正して射影変換し、最終的にプロジェクタ13を介してハーフミラー11,12への投影が行われる。これにより、術者は視野映像と重畳画像を同時に観察することができるようになる。
このように本発明の一実施形態によれば、HMDユニット10を使うことで患部表面と患部内面の状態を正確に対応付けすることができる。
次に本発明の第2の実施形態について図7を参照して説明する。
図7は超音波プローブ21とHMDユニット10の位置関係を計測する3次元位置計測センサの他の実施例を示したものである。この実施例における位置計測センサは、再帰性塗料を塗ったパッシブ・マーカー61を対象物(超音波プローブ21及びHMDユニット10)に固定し、そのマーカー61をカメラ装置62で計測し、対象物の3次元的位置を非接触で計測するものである。
位置計測センサは、2個のカメラ62L,62Rから見て例えば不等辺三角形の頂点に配置されたパッシブ・マーカー61をツールとして予め登録しておき、パターンマッチングの手法で左右のカメラ62L,62Rで撮影した画像から対応点を見つけ出し、三角測量の原理で計算して3次元的な位置情報を得るものである。
具体的には、カメラ62装置は左右に所定間隔を置いて配置したカメラ62L,62Rを有している。カメラ62Lと62Rは同一の構成であり、それぞれCCD、C−MOS等で成るイメージセンサ63L,63Rと、イメージセンサ63L,63Rの受光部周辺を取り囲むように配置した赤外線LED等からなる赤外光源64L,64Rを含んでいる。
赤外光源64L,64Rから放射された赤外線は計測領域内に置かれたパッシブ・マーカー61で反射され、イメージセンサ63L,63Rに戻ってくる。パッシブ・マーカー61は、再帰性塗料が塗布された球体であるため、光が照射されると照射された方向に光を反射する。再帰性塗料としては、アルミなどのガラス小球を混合させた塗料を使用し、マーカー61を対象物(例えば超音波プローブ21及びHMDユニット10)に固着させることで、HMDユニット10とマーカー20間の位置関係がリアルタイムに計測できる。
パッシブ・マーカーを利用した位置計測システムとしては、例えば米国のNorthern Digital Inc.社から「Polaris Vicra」という商品名で製品化されている光学式3次元計測システムがあり、それを利用することができる。
また、超音波診断装置20はBモード画像以外に立体的な3D画像を作成することもできる。
このように本発明の医用ディスプレイ装置によれば、臨床でHMDユニット10を装着して使う場合に、瞳孔の位置をリアルタイムに計測しそれに基づいて重畳画像の補正を行うため、超音波画像を重畳して観察する場合の重畳ズレを低減することができ、精度の高い重畳表示が可能となる。また装着の個人差や瞳孔位置の変化があっても高精度に超音波画像を重畳することができる。
また、超音波画像を視野画像と同等の縮尺で表示することにより、臓器表面形状と内部構造の対応付けが容易に行えるようになる。この場合、重畳画像位置のズレが最小に維持されるため、術中、超音波で確認しながら手術を進める場合に、信頼できる参照画像を提示することができる。
また、左右両眼で夫々の超音波画像を観察することで、超音波画像を単なる平面画像ではなく立体的な画像として術者に提示することが可能となり、位置計測センサによって超音波プローブ21及びHMDユニット10の位置を相対的に計測できるため、超音波診断装置20で3Dの超音波画像を得ることができる場合は、より立体的な重畳画像を提示することができる。
また、フットマウス50を利用することで、術者自身が手を使うことができ、補助者の手を借りることなしに表示モードの切替えや重畳画像のサイズ調整等、各種の操作を行うことができる。
尚、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
1…ユーザ
10…ヘッドマウントディスプレイ(HMD)ユニット
11,12…ハーフミラー
13…プロジェクタ(投影手段)
14…赤外線カメラ(瞳孔位置計測手段)
20…超音波診断装置
21…超音波プローブ
22…超音波診断装置本体
30…相対位置計測手段
31…トランスミッタ
32,33…レシーバ
40…システムコントローラ
41…瞳孔位置判別部
42…位置判別部
43…補正部
50…フットマウス
61…パッシブ・マーカー
62…カメラ装置(相対位置検出手段)
10…ヘッドマウントディスプレイ(HMD)ユニット
11,12…ハーフミラー
13…プロジェクタ(投影手段)
14…赤外線カメラ(瞳孔位置計測手段)
20…超音波診断装置
21…超音波プローブ
22…超音波診断装置本体
30…相対位置計測手段
31…トランスミッタ
32,33…レシーバ
40…システムコントローラ
41…瞳孔位置判別部
42…位置判別部
43…補正部
50…フットマウス
61…パッシブ・マーカー
62…カメラ装置(相対位置検出手段)
Claims (14)
- 外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイ装置であって、
ハーフミラーと、このハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、
前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する瞳孔位置計測手段と、
前記投影手段によって投影される前記超音波画像を、前記瞳孔位置情報を基に補正する補正手段と、
を具備したことを特徴とする医用ディスプレイ装置。 - 前記補正手段は、前記超音波診断装置からの前記超音波画像を前記瞳孔位置情報に基づいて補正し、前記超音波画像の大きさ、位置、及び形状のいずれかを前記ユーザの瞳孔の位置に合わせて補正することを特徴とする請求項1記載の医用ディスプレイ装置。
- 前記ハーフミラーは、前記ユーザの両眼と対向する位置に所定の角度で配置され、このハーフミラーを通して外界を観察可能能とし、前記投影手段からの前記超音波画像を前記ハーフミラーで反射して前記ユーザの両眼に導くようにしたことを特徴とする請求項1記載の医用ディスプレイ装置。
- 前記瞳孔位置計測手段は、赤外線を発生する赤外光源と赤外線を受光する受光部を備える赤外線カメラを含み、
前記赤外線を前記超音波画像の投影方向と同一方向から前記ハーフミラーに照射して前記ユーザの眼球へと導き、前記眼球で反射して戻る赤外線を前記ハーフミラーを介して前記受光部で受光し、前記赤外線カメラで撮影した赤外線画像を基に瞳孔の位置を計測することを特徴とする請求項1記載の医用ディスプレイ装置。 - 前記赤外線カメラをユーザの両眼に対応してそれぞれ複数ずつ配置したことを特徴とする請求項4記載の医用ディスプレイ装置。
- 前記ハーフミラーは、それぞれ第1,第2の面を有し第1の面同士が所定の角度で向き合うように配置した第1,第2のハーフミラーを含み、
前記第1のハーフミラーは、前記ユーザの両眼と対向する位置に所定の角度で配置され、この第1のハーフミラーを通して外界の視野を観察可能とし、前記第2のハーフミラーは、前記投影手段からの前記超音波画像をその第1の面で反射し、かつ前記第1のハーフミラーの第1の面で反射して前記ユーザの両眼に投影するように配置したことを特徴とする請求項1記載の医用ディスプレイ装置。 - 前記瞳孔位置計測手段は、赤外線を発生する赤外光源と赤外線を受光する受光部を備える赤外線カメラを含み、前記赤外線カメラを前記第2のハーフミラーの第2の面側に配置し、
前記赤外光源からの赤外線を前記第2のハーフミラーを透過して前記第1のハーフミラーの第1の面で反射させて前記ユーザの両眼に照射し、眼球で反射して戻る赤外線を前記第1のハーフミラーで反射し前記第2のハーフミラーに透過させて前記受光部で受光するようにしたことを特徴とする請求項6記載の医用ディスプレイ装置。 - 外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイシステムであって、
超音波プローブを有し前記超音波プローブを利用して被検体内の超音波画像を作成する超音波診断装置と、
ハーフミラーと、このハーフミラーに前記超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、
前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する第1の計測手段と、
前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測して相対位置情報を生成する第2の計測手段と、
前記投影手段によって投影される前記超音波画像を、前記瞳孔位置情報及び前記相対位置情報を基に補正する補正手段と、
を具備したことを特徴とする医用ディスプレイシステム。 - 前記補正手段は、前記超音波診断装置からの前記超音波画像を前記瞳孔位置情報及び前記相対位置情報に基づいて補正し、前記超音波画像の大きさ、位置、及び形状のいずれかを、前記ユーザの瞳孔の位置及び前記ヘッドマウントディスプレイユニットに対する前記超音波プローブの位置に合わせて補正することを特徴とする請求項8記載の医用ディスプレイシステム。
- 前記補正手段は、前記超音波診断装置からの前記超音波画像を前記瞳孔位置情報及び前記相対位置情報を基に補正し、ユーザが前記ハーフミラーを通して被検体の対象部位を見たときの映像と前記重畳される超音波画像がほぼ同じ縮尺になるように補正することを特徴とする請求項8記載の医用ディスプレイシステム。
- 前記第1の計測手段は、赤外線を発生する赤外光源と赤外線を受光する受光部を備える赤外線カメラを含み、
前記赤外線を前記超音波画像の投影方向と同一方向から前記ハーフミラーに照射して前記ユーザの眼球へと導き、前記眼球で反射して戻る赤外線を前記ハーフミラーを介して前記受光部で受光し、前記赤外線カメラで撮影した赤外線画像を基に瞳孔の位置を計測することを特徴とする請求項8記載の医用ディスプレイシステム。 - 前記第2の計測手段は、固定位置に取り付けられた磁気発生用のトランスミッタと、前記トランスミッタの磁界内であって前記ヘッドマウントディスプレイユニット及び超音波プローブにそれぞれ取り付けられた磁気レシーバとを具備し、
前記それぞれのレシーバで検出した前記トランスミッタからの磁界方向及び磁界強度のデータを基に前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測することを特徴とする請求項8記載の医用ディスプレイシステム。 - 前記第2の計測手段は、再帰性塗料を塗布したマーカーと、複数の赤外光源及び前記赤外光源近傍に配置され前記赤外光源からの赤外線を前記マーカーに照射したときの反射光を受光する受光手段とを含み、
前記マーカーを前記ヘッドマウントディスプレイユニット及び前記超音波プローブにそれぞれ取り付け、それぞれのマーカーからの反射光を前記受光手段で受光し、その受光結果を基に前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測することを特徴とする請求項8記載の医用ディスプレイシステム。 - 前記超音波診断装置からの超音波画像を処理するシステムコントローラと、前記システムコントローラをユーザ指示によって制御するためのインターフェースをさらに具備し、
前記インターフェースをフットマウスで構成したことを特徴とする請求項8記載の医用ディスプレイシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006191929A JP2008018015A (ja) | 2006-07-12 | 2006-07-12 | 医用ディスプレイ装置及び医用ディスプレイシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006191929A JP2008018015A (ja) | 2006-07-12 | 2006-07-12 | 医用ディスプレイ装置及び医用ディスプレイシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008018015A true JP2008018015A (ja) | 2008-01-31 |
Family
ID=39074455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006191929A Withdrawn JP2008018015A (ja) | 2006-07-12 | 2006-07-12 | 医用ディスプレイ装置及び医用ディスプレイシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008018015A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011091523A (ja) * | 2009-10-21 | 2011-05-06 | Victor Co Of Japan Ltd | 形状認識方法及び形状認識装置 |
JP2011172918A (ja) * | 2010-01-27 | 2011-09-08 | Toshiba Corp | 超音波診断装置、医用画像診断装置、超音波画像処理装置、医用画像処理装置、超音波診断システム及び医用画像診断システム |
EP2544039A1 (en) * | 2011-07-04 | 2013-01-09 | BAE Systems Plc. | Display system |
KR101231926B1 (ko) * | 2008-04-10 | 2013-02-08 | 삼성메디슨 주식회사 | 영상 투사부를 구비하는 초음파 시스템 |
WO2015145395A1 (en) * | 2014-03-28 | 2015-10-01 | Alma Mater Studiorum - Universita' Di Bologna | Augmented reality glasses for medical applications and corresponding augmented reality system |
CN109302594A (zh) * | 2017-07-24 | 2019-02-01 | 三星电子株式会社 | 包括眼睛***的投影显示装置 |
WO2019146904A1 (ko) * | 2018-01-29 | 2019-08-01 | 고려대학교 산학협력단 | 수술 지원 영상을 제공하는 헤드 마운트 시스템 |
KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
JP2020510511A (ja) * | 2017-03-03 | 2020-04-09 | ユニバーシティ オブ メリーランド メディカル センターUniversity of Maryland Medical Center | 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法 |
KR20200111362A (ko) * | 2019-03-19 | 2020-09-29 | 한국광기술원 | 증강현실 구현을 위한 광학계 및 이를 포함한 의료용 증강현실 장치 |
JP2020533721A (ja) * | 2017-09-06 | 2020-11-19 | エクス・ワイ・ジィー リアリティ リミテッドXyz Reality Limited | 建物情報モデルの仮想画像の表示 |
JP2021045272A (ja) * | 2019-09-17 | 2021-03-25 | 株式会社菊池製作所 | 鍼刺用エコーガイドシステム |
CN113797418A (zh) * | 2020-06-12 | 2021-12-17 | 中强光电股份有限公司 | 医疗影像设备以及医疗影像显示方法 |
CN113974552A (zh) * | 2021-12-24 | 2022-01-28 | 深圳纳德光学有限公司 | 一种眼底反馈式光学***及设备 |
US11550145B2 (en) | 2019-01-16 | 2023-01-10 | Korea Photonics Technology Institute | Optical system for implementing augmented reality and device including the same |
-
2006
- 2006-07-12 JP JP2006191929A patent/JP2008018015A/ja not_active Withdrawn
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101231926B1 (ko) * | 2008-04-10 | 2013-02-08 | 삼성메디슨 주식회사 | 영상 투사부를 구비하는 초음파 시스템 |
JP2011091523A (ja) * | 2009-10-21 | 2011-05-06 | Victor Co Of Japan Ltd | 形状認識方法及び形状認識装置 |
JP2011172918A (ja) * | 2010-01-27 | 2011-09-08 | Toshiba Corp | 超音波診断装置、医用画像診断装置、超音波画像処理装置、医用画像処理装置、超音波診断システム及び医用画像診断システム |
EP2544039A1 (en) * | 2011-07-04 | 2013-01-09 | BAE Systems Plc. | Display system |
WO2015145395A1 (en) * | 2014-03-28 | 2015-10-01 | Alma Mater Studiorum - Universita' Di Bologna | Augmented reality glasses for medical applications and corresponding augmented reality system |
US20170160549A1 (en) * | 2014-03-28 | 2017-06-08 | Alma Mater Studiorum-Universita' Di Bologna | Augmented reality glasses for medical applications and corresponding augmented reality system |
US10197803B2 (en) * | 2014-03-28 | 2019-02-05 | Alma Mater Studiorum—Universita' di Bologna | Augmented reality glasses for medical applications and corresponding augmented reality system |
JP2020510511A (ja) * | 2017-03-03 | 2020-04-09 | ユニバーシティ オブ メリーランド メディカル センターUniversity of Maryland Medical Center | 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法 |
CN109302594A (zh) * | 2017-07-24 | 2019-02-01 | 三星电子株式会社 | 包括眼睛***的投影显示装置 |
JP2020533721A (ja) * | 2017-09-06 | 2020-11-19 | エクス・ワイ・ジィー リアリティ リミテッドXyz Reality Limited | 建物情報モデルの仮想画像の表示 |
US11356651B2 (en) | 2018-01-29 | 2022-06-07 | Korea University Research And Business Foundation | Head mount system for providing surgery support image |
KR102055254B1 (ko) | 2018-01-29 | 2019-12-12 | 고려대학교 산학협력단 | 수술 지원 영상을 제공하는 헤드 마운트 시스템 |
WO2019146904A1 (ko) * | 2018-01-29 | 2019-08-01 | 고려대학교 산학협력단 | 수술 지원 영상을 제공하는 헤드 마운트 시스템 |
KR20190091625A (ko) * | 2018-01-29 | 2019-08-07 | 고려대학교 산학협력단 | 수술 지원 영상을 제공하는 헤드 마운트 시스템 |
US11550145B2 (en) | 2019-01-16 | 2023-01-10 | Korea Photonics Technology Institute | Optical system for implementing augmented reality and device including the same |
KR20200111362A (ko) * | 2019-03-19 | 2020-09-29 | 한국광기술원 | 증강현실 구현을 위한 광학계 및 이를 포함한 의료용 증강현실 장치 |
KR102222076B1 (ko) * | 2019-03-19 | 2021-03-03 | 한국광기술원 | 증강현실 구현을 위한 광학계 및 이를 포함한 의료용 증강현실 장치 |
JP7267160B2 (ja) | 2019-09-17 | 2023-05-01 | 株式会社菊池製作所 | 鍼刺用エコーガイドシステム |
JP2021045272A (ja) * | 2019-09-17 | 2021-03-25 | 株式会社菊池製作所 | 鍼刺用エコーガイドシステム |
WO2021071336A1 (ko) * | 2019-10-10 | 2021-04-15 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
CN114615947A (zh) * | 2019-10-10 | 2022-06-10 | 迈迪新球株式会社 | 基于视线检测的智能眼镜显示装置及其方法 |
KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
US12007574B2 (en) | 2019-10-10 | 2024-06-11 | Medithinq Co., Ltd. | Eye detection based smart glasses display device |
CN113797418A (zh) * | 2020-06-12 | 2021-12-17 | 中强光电股份有限公司 | 医疗影像设备以及医疗影像显示方法 |
US11839516B2 (en) | 2020-06-12 | 2023-12-12 | Coretronic Corporation | Medical imaging equipment and medical imaging method |
CN113974552A (zh) * | 2021-12-24 | 2022-01-28 | 深圳纳德光学有限公司 | 一种眼底反馈式光学***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008018015A (ja) | 医用ディスプレイ装置及び医用ディスプレイシステム | |
US11510750B2 (en) | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications | |
AU2016290620B2 (en) | System and method for scanning anatomical structures and for displaying a scanning result | |
US8459794B2 (en) | Image-processor-controlled misalignment-reduction for ophthalmic systems | |
EP3076892B1 (en) | A medical optical tracking system | |
US20220313386A1 (en) | Navigated surgical system with eye to xr headset display calibration | |
US20210186355A1 (en) | Model registration system and method | |
WO2014120909A1 (en) | Apparatus, system and method for surgical navigation | |
JP2007528743A (ja) | 口腔内画像化システム | |
US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
JP2005185431A (ja) | 視線検出方法および視線検出装置 | |
JP3707830B2 (ja) | 術式支援用画像表示装置 | |
KR20150106709A (ko) | 의료용 영상 시스템 및 이의 구동 방법 | |
JP2016158911A (ja) | 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置 | |
KR102097390B1 (ko) | 시선 검출 기반의 스마트 안경 표시 장치 | |
EP4355876A1 (en) | Augmented reality system for real space navigation and surgical system using the same | |
US20150301439A1 (en) | Imaging Projection System | |
US20240081921A1 (en) | System and method for verification of conversion of locations between coordinate systems | |
JPH1066678A (ja) | 非接触視線測定装置 | |
JP6287257B2 (ja) | 画像形成装置及び超音波診断装置 | |
JP4436495B2 (ja) | 手術用観察システム | |
KR20210042784A (ko) | 시선 검출 기반의 스마트 안경 표시 장치 | |
US20240115327A1 (en) | Aiming system and method of use thereof | |
EP4329660A1 (en) | Graphical user interface for a surgical navigation system | |
TW202418223A (zh) | 在即時影像上疊加虛擬影像的頭戴式虛擬影像模組 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091006 |