JPH07271546A

JPH07271546A - 画像表示制御方法

Info

Publication number: JPH07271546A
Application number: JP6064130A
Authority: JP
Inventors: Yuichi Yoshida; 祐一吉田
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1994-03-31
Filing date: 1994-03-31
Publication date: 1995-10-20

Abstract

(57)【要約】【目的】三次元空間のアイコンのコマンド操作を効率
よく行える画像表示制御方法を提供することを目的とす
る。【構成】仮想三次元空間内で、画像は仮想三次元空間
で第１の座標系により求めた視点の位置と視線方向から
生成し、アイコンは仮想三次元空間で第２の座標系を基
準として設定した、操作者を取り囲む三次元領域に生成
して配置し、生成された画像の表示とは独立して前記ア
イコンの表示は制御され、前記仮想三次元空間内での操
作者の移動に伴って前記アイコンも移動し、前記アイコ
ンは操作者の視点および視線方向に表示することによ
り、コマンド操作を効率良く行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、三次元空間の世界でコ
マンド操作を効率よく行える画像表示制御方法に関する
ものである。

【０００２】

【従来の技術】一般に、アイコンとは、コンピュータを
効率よく利用するために、オブジェクト指向を用いて考
え出されたものである。オブジェクト指向とは、基本的
には、処理方法をカプセル化し、オブジェクト同士が、
人間同士が会話しながら仕事を進めるように、メッセー
ジのやりとりを行う。その際、多数のオブジェクトを管
理するために、各オブジェクトはクラス階層構造にす
る。つまり、上位概念的処理を行うオブジェクトのクラ
スから中位，下位のように、各オブジェクトにクラスを
設けてやることにより、夫々のオブジェクトの管理を容
易にするものである。

【０００３】このオブジェクト指向を用いたファイル及
びディレクトリは、キーボードからプログラム名を入力
するような、操作手順を中心に考えるのではなく、マウ
スのようなポインティングデバイスを用いて、容易にコ
マンドを選択或いは実行させるように、アイコンと呼ば
れるオペレータに視認し易い絵柄等の抽象的なマークに
ファイルの内容やプログラムの機能等を持たせる。これ
が、オブジェクト指向の対象をまず念頭に置く考え方で
ある。種々のアイコンは属性により異なり、各々のアイ
コンのグループに分けられる。各グループごとに分けら
れたアイコンを表示させる領域として、通常はウインド
ウと呼ばれる画像表示領域を利用する。ウインドウは、
同一ディスプレイ上に複数のアプリケーションの領域を
表示でき、また、表示領域のサイズ変更の機能を備えて
いるため、ユーザはデータが見易いように、ディスプレ
イ上に表示させ、ウインドウが複数の場合、ユーザの利
用しやすいように、ウインドウの配置或いは編集を行う
ことができる。

【０００４】以上に述べたアイコンの表示を、ユーザが
より見易いように、ウインドウの配置或いは編集を行う
ものに、バーチャルリアリティー技術を応用した画像表
示装置がある。これは、アイコン等の画像を三次元空間
内に表示させる装置である。バーチャルリアリティーと
は、簡単に説明すると、実在する空間の他に仮想現実の
空間をコンピュータグラフィックスで作りだし、オペレ
ータにはその仮想空間があたかも実在する空間のように
思わせる技術等が挙げられる。

【０００５】その技術において、オペレータには三次元
的な画像が見える頭部装着式ディスプレイ装置が用いた
ものが知られている。その頭部装着式ディスプレイは、
装置本体内に、光源と、光源により照らされる液晶パネ
ルと、右目用，左目用と対になっている光学系とを備
え、液晶パネルの画像をオペレータの眼球に投影させる
ように構成されており、オペレータは顔面に装置を密着
させることで、バーチャルリアリティーで実現される三
次元空間内に実在する感覚を得ることができる。

【０００６】また、そのディスプレイにより見える仮想
的な三次元空間内において、オペレータには視点の位
置，視線方向を検出する為のセンサーが必要となる。オ
ペレータの視点の位置，視線方向を検出するためのセン
サーには色々あるが、その中の非接触計測システムには
磁気センサーと呼ばれるセンサーがある。磁気センサー
とは、オペレータの身体を拘束しないようにしたもので
ある。以下、図１８（ａ）を用いて磁気センサーの測定
原理を簡単に説明する。

【０００７】発信用のコイル３０と受信用のコイル３１
を一定の間隔で配置する。発信用のコイル３０に電流Ｉ
を流しコイルを励磁し、磁界を発生させる。発信用のコ
イル３０から発生された磁界の領域内で、受信用のコイ
ル３１を移動させ磁束が変化すると、受信用のコイル３
１に電流ｉが誘導される。磁気センサーには、この両コ
イルの相対的位置が決まることを利用している。

【０００８】これにより、一方向の軸の測定が可能であ
るため、図１８（ｂ）に示すように、Ｘ，Ｙ，Ｚ軸それ
ぞれ一方向の軸の測定用コイルを直交させることで、三
次元空間内での位置，方向を検出するセンサーの発信源
３２と、受信側の磁気センサー３３とを構成している。
上記従来の技術で、三次元空間でコマンド操作に用いら
れるアイコンの表示方法は、アイコンがディスプレイの
特定の位置に配置されるものや、二次元乃至三次元のア
イコンでディレクトリを表示させることにより、操作等
をオペレータに視認可能にするもの（特開平４−９００
３６号公報）や、アイコンの表示を実行段階に応じて変
化させることにより、プログラムの実行段階をユーザに
知らせるために、計算機入力用のアイコンとして三次元
空間内の物体を二次元平面に投影したものを用いて、非
常に、遠近感のある画面を用いて計算機入力をすること
ができるもの（特開平４−１００３０号公報）がある。

【０００９】更に、三次元空間の特定の位置に、三次元
アイコン等が配置される装置も開発されている。

【００１０】

【発明が解決しようとする課題】上記、従来の技術にお
ける三次元アイコンを表示する方法では、図１９（ａ）
に示すように、オペレータがＡの位置から三次元画像３
４を視認していたと仮定して、図１９（ｂ）のように、
空間位置移動手段で三次元空間をＡからＢの位置まで移
動した場合、オペレータには図中後ろに、三次元画像３
４が存在していても、容易にその三次元画像３４を視認
することができなくなる。その為、オペレータは常に三
次元空間におけるアイコンの相対位置をモニターしてい
ないと、アイコンの位置を見失うことになり、アイコン
の消去，再表示等のコマンド操作が繁雑になる。

【００１１】また、三次元空間内でアイコンを選択，実
行するには、Ｘ，Ｙ，Ｚ軸上でポインティングデバイス
によるポインティング位置を操作するので、短時間で選
択するのは困難である。また、ディスプレイ中にワール
ド座標系の三次元空間をコンピュータグラフィックスで
作り出し、それを表示するウィンドウ内に三次元アイコ
ンを表示する場合を想定すると、次のような問題が生じ
る。つまり、アイコンがディスプレイの特定位置に配置
される従来の技術を使った場合、アイコンはウインドウ
の特定位置に固定された状態の為、ウインドウサイズの
縮小等を行うと図２０のようにアイコンの一部が表示か
ら消え、操作する為には元のサイズに戻す手続等を行わ
なければならないといった扱いにくさが考えられる。

【００１２】この発明は上記課題を解決する為になされ
たもので、三次元空間のアイコンのコマンド操作を効率
よく行える画像表示制御方法を提供することを目的とす
る。

【００１３】

【課題を解決するための手段】このような目的を達成す
るために、この発明の画像表示制御方式は、仮想三次元
空間内での視点の位置と視線方向からの画像とアイコン
を生成し、この生成された画像を表示し、操作者による
前記アイコンの操作により画像の表示を制御する画像表
示制御方法において、前記画像は仮想三次元空間で第１
の座標系により求めた視点の位置と視線方向から生成
し、前記アイコンは仮想三次元空間で第２の座標系を基
準として設定した、操作者を取り囲む三次元領域に生成
して配置し、前記生成された画像の表示とは独立して前
記アイコンの表示は制御され、前記仮想三次元空間内で
の操作者の移動に伴って前記アイコンも移動し、前記ア
イコンは操作者の視点および視線方向に表示されること
に特徴がある。

【００１４】また、前記アイコンは、前記第２の座標系
内の視点の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回りの
回転角から操作者の視点、視線方向を基準とする座標系
に変換して表示する。更に、前記画像は、前記第１の座
標系内の視点の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回
りの回転角から操作者の視点、視線方向を基準とする座
標系に変換して表示する。

【００１５】

【作用】この発明によれば、仮想三次元空間内に画像を
生成する第１の座標系と、アイコンを生成して配置する
第２の座標系とを設定し、第１の座標系で第２の座標系
の位置，方向を変え、第２の座標系の視点の位置と視線
方向を変えることができ、その方向に画像を見ることが
できる。また、それとは独立してアイコンを配置した第
２の座標系の視点の位置と視線方向を変えることがで
き、その方向にアイコンを見ることができる。

【００１６】

【実施例】以下、図を用いてこの発明の実施例を説明す
る。（第１実施例）図１はこの発明の第１実施例に係る画像
表示制御方法を説明するための画像表示システム構成の
概略ブロック構成図である。

【００１７】この実施例では、仮想の三次元の画像を表
示するディスプレイにはＦＭＤ（フェイス−マウンティ
ッド−ディスプレイ）１を用いており、ディスプレイ上
に三次元画像，アイコン等を表示するために、モデルデ
ータの画像データベース２を格納する磁気ディスク装置
を設けた。また、磁気ディスク装置のモデルデータを基
に作った三次元空間（以下、ワールド座標系の三次元空
間と呼ぶ）内で、オペレータの視点を原点として、ｚ軸
方向を正方向とする三次元領域（以下、ローカル座標系
の三次元空間と呼ぶ）を作り、その位置，方向を操作す
る相対値出力装置に空間位置検出装置３を用い、ローカ
ル座標系の三次元空間内でのオペレータの視点の位置，
視線方向を検出する絶対値出力装置に空間位置検出セン
サーを用いる。この場合の空間位置検出センサーには、
三次元の磁気センサー４を用いた。そのローカル座標系
の三次元空間内に配置されるアイコン等を指示するのに
用いるポインティングデバイスには、マウス５を用い
た。そして、それら全ては、全ての制御，計算を行う情
報処理部６に接続する。

【００１８】図２は図１のシステムの使用状態の構成を
示したものである。この実施例で、オペレータ７はＦＭ
Ｄ１を顔面部に装着している。そのディスプレイにより
見える仮想現実の三次元空間内において、オペレータ７
は表示されるアイコン等を通常のディスプレイで行うよ
うに、マウス５を用いてアイコンを選択，実行したりす
る。その際、オペレータ７が視認可能なアイコンはロー
カル座標系の三次元空間内に配置されており、オペレー
タ７の視点の位置，視線方向を検出する三次元の磁気セ
ンサー４を、オペレータ７は頭部に装着する。

【００１９】画像生成手段は情報処理部６に該当し、磁
気ディスク装置８に格納されている三次元画像やアイコ
ンのようなモデルデータを、ＦＭＤ１上に表示する。な
お、頭部装着式ディスプレイには、ＦＭＤ１以外にＨＭ
Ｄ（ヘッド−マウンティッド−ディスプレイ）と呼ばれ
るものもあり、オペレータ７に違和感を与えず、三次元
画像を見せることができる装置であれば代用は可能であ
る。

【００２０】また、この実施例ではオペレータ７の頭頂
部に磁気センサー４を装着したが、これに限らず、この
場合、オペレータ７の視点の位置や視線方向に係わって
くる頭部であれば、どこに装着してもかまわない。ま
た、磁気センサー４をＦＭＤ１に内蔵或いは外設するこ
とも可能である。また、この実施例において、ワールド
座標系の三次元空間内のローカル座標系の三次元空間の
位置と方向を操作するのに、空間位置検出装置３を用い
たが、ワールド座標系の三次元空間内でのローカル座標
系の三次元空間の位置とＸ，Ｙ，Ｚ軸回りの回転角を出
力する装置、即ち、相対値として出力する装置であれば
代用も可能である。

【００２１】同様に、ローカル座標系の三次元空間内の
オペレータ７の視点の位置と視線方向を検出するのに、
磁気センサー４を用いたが、オペレータ７の視点の位置
と視線方向のＸ，Ｙ，Ｚ軸回りの角度を、ワールド座標
系の基準点，基準軸から出力する装置、即ち、絶対値と
して出力する装置であれば代用が可能である。また、ポ
インティングデバイスも、ローカル座標系の三次元空間
内に配置されるアイコンの選択をする為のカーソル移動
することができる装置であれば代用することが可能であ
る。

【００２２】三次元マウス９のようなポインティングデ
バイスは、利用手段を使い分けすることで、上記外部入
力装置の機能を満たすことが可能である。また、画像デ
ータベース２の格納媒体には、実施例中では磁気ディス
ク装置８を使用したが、他にも光磁気ディスク装置や、
光ディスク装置等の使用も可能である。

【００２３】図３は、三次元空間上のアイコン等の画像
１０がオペレータ７にはどのように見えているかを第三
者の視線から示したものである。また、図２及び図３で
示すオペレータ７は座っているが、これに限らず使用す
るポインティングデバイスによっては、立っている状態
での使用が可能であり、更に、通常の使用状態では装置
本体とＦＭＤ１等とはケーブルで接続されているため、
歩行しながらの使用範囲は限定されるが、無線によるデ
ータのやりとりが行えれば、歩行しながらの使用も見込
まれる。

【００２４】システムの全体の流れについては、図４の
フローチャートを用いて説明する。最初に、オペレータ
７はシステムの電源をいれ、図１のシステムを立ち上げ
ると、ディスプレイ上には初期画面が表示される（ステ
ップ１０１）。次に、操作を行うためのアイコン等のメ
ニュー画面をディスプレイ上に表示させる（ステップ１
０２）。ディスプレイ上のメニュー画面で、三次元画像
の選択をポインティングデバイス等を用いて行い（ステ
ップ１０３）、情報処理部６により磁気ディスク装置８
に格納されているモデルデータを基に、ディスプレイ上
にコンピュータグラフィックスによる三次元画像を表示
させる。オペレータ７はポインティングデバイスの操作
でアイコンの選択，実行を行い、空間位置検出装置３，
磁気センサー４により、三次元空間内をウォークスルー
或いはシミュレーション等を行う（ステップ１０４）。

【００２５】その際の情報処理部６内では、オペレータ
７の視点の変化と、視線の変化を検出或いは入力し、オ
ペレータ７の変化した視点の位置，視線方向に対応する
三次元画像を磁気ディスク装置８に格納されているモデ
ルデータを基に、情報処理部６により画像をリアルタイ
ムに生成したり、また、アイコンをオペレータ７の視点
の位置，視線方向にくるように情報処理部６内で画像表
示処理が行われて画像が表示されたり、オペレータ７が
視認できるアイコン群から、選択したアイコンのみをポ
インティングデバイス等で選択できるように、ディスプ
レイ上にカーソルを表示したり、選択されたアイコンの
実行結果をディスプレイ上に表示させたりする（ステッ
プ１０５）。

【００２６】また、図５（ａ）は、上記システムの流れ
の中で、空間位置検出装置３による情報処理部６内での
処理を示したものである。ＦＭＤ１には磁気ディスク装
置８に格納されているモデルデータを基に、情報処理部
６でワールド座標系の三次元空間１１（図６参照）が表
示されており、そのワールド座標系の三次元空間１１内
で、オペレータ７を取り囲むローカル座標系の三次元空
間１２が構成されており、その内部にアイコン群が配置
される。ワールド座標系の三次元空間１１内でのローカ
ル座標系の三次元空間１２の位置，方向を任意に変え、
ウォークスルーする為、空間位置検出装置３を操作す
る。この時、ワールド座標系の三次元空間１１内で、ロ
ーカル座標系の三次元空間１２の位置，方向が変化する
ということは、ワールド座標系の三次元空間１１内で、
オペレータ７の視点の位置，視線方向が変化するという
ことであり、オペレータ７の視点の位置を原点とし、ｚ
軸方向を視線方向の正方向と設定しておけば、ワールド
座標系の三次元空間１１内でローカル座標系の三次元空
間１２の位置，方向が変化するということが、ワールド
座標系の三次元空間１１内における視点の位置を原点と
したオペレータ７の変化であることがいえる。そのた
め、視点の位置が変化するということは、オペレータ７
のワールド座標系の三次元空間１１内で、視認可能な画
像が変化するということであり、空間位置検出装置３に
よるワールド座標系の三次元空間１１内の移動は、空間
位置検出装置３から入力されるデータを基に、移動後の
視点の位置，視線方向をワールド座標系で求め（ステッ
プ１１１）、次に、視点を原点とし、視線方向をｚ軸の
正方向とする座標系に変換することで、実際に見える三
次元空間の画像を生成する（ステップ１１２）（式１）
〜（式７）を用いて情報処理部６内で、オペレータ７の
視点の位置を（Ｖｘ，Ｖｙ，Ｖｚ）とし、視点が見てい
る点である目標点の位置を（Ｈｘ，Ｈｙ，Ｈｚ）した場
合、視点を原点とし、視線方向をｚ軸の正方向に取った
座標系に変換する視野変換を行うと座標上の点（ｘ，
ｙ，ｚ）は（Ｘ，Ｙ，Ｚ）になる。（Ｘ，Ｙ，Ｚ，１）＝（ｘ，ｙ，ｚ，１）ＴｄＴｒ …（式１）

【数１】

【数２】Ｔｒ；ワールド座標系の原点を視点に平行移動する変換
行列Ｔｄ；座標系を回転し、ｚ軸の方向を視線の方向に合わ
せる変換行列Ａ，Ｂ；回転角実際に見えるワールド座標系の三次元空間１１内の画像
を情報処理部６で認識し、オペレータ７にリアルタイム
な画像を見せるように、磁気ディスク装置８に格納され
ているモデルデータに基づき画像の生成を行う。アイコ
ンに関しては、磁気ディスク装置８によりローカル座標
系の三次元空間１２内に配置されている為、オペレータ
７から見た位置、座標軸に対する回転角は前回と変化さ
せない（ステップ１１３）。

【００２７】つまり、ローカル座標系の三次元空間１２
内のオペレータ７の視点の位置，視線方向は空間位置検
出装置３の操作により、ワールド座標系の三次元空間１
１内において、図６（ａ）に示すＡからＢへの移動や回
転を行うことを示している。また、図５（ｂ）は、上記
システムの流れの中で、磁気センサー４による情報処理
部６内での処理を示したものである。ＦＭＤ１には磁気
ディスク装置８に格納されているモデルデータを基に、
情報処理部６でワールド座標系の三次元空間１１が表示
されており、そのワールド座標系の三次元空間１１内
で、オペレータ７を取り囲むローカル座標系の三次元空
間１２が構成されており、その内部にアイコン群が配置
される。そのローカル座標系の三次元空間１２内のオペ
レータ７の視点の位置，視線方向を任意に変化させ、ア
イコン群を自由に視認する為、磁気センサー４を用いて
いる。

【００２８】この時、ローカル座標系の三次元空間１２
内で、磁気センサー４の検出値によりオペレータ７の視
点の位置，視線方向が変化する。ローカル座標系の三次
元空間１２内での視点の位置，視線方向をローカル座標
系の三次元空間１２内でのローカル座標系にて、磁気セ
ンサー４により検出された移動量より求める（ステップ
１２１）。ローカル座標系の三次元空間１２内での座標
値をワールド座標系の三次元空間１１での座標値に変換
するのに（式８）〜（式１２）を用いて情報処理部６内
で、ローカル座標軸とワールド座標軸のなす角度をそれ
ぞれ（Ｈｘ，Ｈｙ，Ｈｚ）とし、ローカル座標の原点の
ワールド座標を（Ｖｘ，Ｖｙ，Ｖｚ）として、オペレー
タの視点の位置，視線方向のローカル座標（ｘ，ｙ，
ｚ）をワールド座標（Ｘ，Ｙ，Ｚ）に変換する（ステッ
プ１２２）。（Ｘ，Ｙ，Ｚ，１）＝（ｘ，ｙ，ｚ，１）ＴｄＴｒｘＴｒｙＴｒｚ …（式８）

【数３】

【数４】

【数５】

【数６】Ｔｒｘ；ワールド座標系の原点を視点にＸ軸に平行移動
する変換行列Ｔｒｙ；ワールド座標系の原点を視点にＹ軸に平行移動
する変換行列Ｔｒｚ；ワールド座標系の原点を視点にＺ軸に平行移動
する変換行列ワールド座標に変換されたオペレータ７の視点の位置，
視線方向から視認可能なワールド座標系の三次元空間１
１内の画像の座標値を、空間位置検出装置３の場合と同
様に、ｚ軸方向を視線方向の正方向として視野変換の
（式１）〜（式７）を用いて情報処理部６内で変換する
（ステップ１２３）。視野変換された座標を用いること
により、オペレータ７にとって実際に見える位置に画像
が表示される。

【００２９】また、ローカル座標系の三次元空間１２内
に配置してあるアイコン群も、オペレータ７の視点の位
置，視線方向から磁気ディスク装置８に格納されている
モデルデータを基に、情報処理部６内で生成し、ワール
ド座標系の三次元空間１１内に表示され、オペレータ７
はそのアイコン群を視認することができる。また、ロー
カル座標系の三次元空間１２内でオペレータ７の視点の
位置，視線方向から視認可能なアイコンも同様に、視点
を原点とし、ｚ軸方向を視線方向の正方向とした座標系
に視野変換の（式１）〜（式７）を用いて情報処理部６
内で変換することにより（ステップ１２４）、オペレー
タ７に実際に見える位置に、磁気ディスク装置８に格納
されているモデルデータに基づき画像の生成を行う。

【００３０】また、磁気センサー４のフローチャート
は、上述のものに限られず、磁気センサー４により検出
したオペレータ７の視点の位置，視線方向から視認可能
なローカル座標系の三次元空間１２内のアイコン群の座
標値を視野変換した後（ステップ１２４）、ワールド座
標系の三次元空間１１内の視認可能な画像の座標値を視
野変換を行うこと（ステップ１２３）や、磁気センサー
４により検出したオペレータ７の視点の位置，視線方向
から視認可能なワールド座標系の三次元空間１１内での
画像と、ローカル座標系の三次元空間１２内でのアイコ
ン群との座標値の視野変換を平行して行うことも考えら
れる。

【００３１】また、図示しないが、マウス５による情報
処理部６内での処理を次に説明する。情報処理部６内で
は磁気ディスク装置８に格納されているモデルデータを
基に、情報処理部６により図７のようにアイコン１３群
がＦＭＤ１に表示される。アイコン１３群はローカル座
標系の三次元空間１２内に配置されている為、オペレー
タ７はマウス５でアイコン１３ｂにカーソル１４を合わ
せ、選択，実行を行う。実行されたアイコン１３ｂは、
図８に示すように情報処理部６は各アイコン１３ごとの
メニュー画面１５を表示し、次の処理のためのコマンド
等をＦＭＤ１に表示する。

【００３２】次にオペレータ７が見ることができるロー
カル座標系の三次元空間１２内の画像を図を用いて説明
する。図９はオペレータ７の視線方向を領域で分けて示
した図であり、図１０，１１，１２はオペレータ７の視
線方向を数パターン示す図である。以下に、この発明の
実施例を使用した際の、オペレータ７から見えるアイコ
ン１３を、上記略図を用いて説明する。

【００３３】前で用いた図７は、オペレータ７の視線方
向が図１０と図１１はで、図１２もである場合、上
記フローチャートに沿った処理を情報処理部６で行った
ものである。この場合、オペレータ７に装着された磁気
センサー４で、ローカル座標系の三次元空間１１内に表
示されるアイコン１３群とオペレータ７との視点の位置
を検出し、その状態の視認可能なアイコン１３群をＦＭ
Ｄ１に画像の形成を行い、表示したものである。この場
合のオペレータ７の視点の位置を、ローカル座標系の三
次元空間１２内の基点と仮定し、図７はその位置からオ
ペレータ７が視認可能なアイコン１３を示したものであ
る。その時の視線方向は図９のＥ領域にする。

【００３４】また、ここでのワールド座標系の三次元空
間１１では、ローカル座標系の三次元空間１２を変化さ
せず固定であるものと仮定する。次に、オペレータ７の
視線方向が図１０，図１１は変わらず、図１２がであ
る場合で、上記同様の処理を情報処理部６内で行わせた
例である。その時のオペレータ７の視点の位置はローカ
ル座標系の三次元空間１２内の基点より近づいており、
図１３に示すようにオペレータ７は見ることができ、ま
た、図１２がである場合、オペレータ７の視点の位置
は基点より遠のいており、図１４に示すようにオペレー
タ７は見ることができる。

【００３５】また、オペレータ７の視線方向が図１１，
図１２はで、図１０がである場合、オペレータ７の
視線方向は上、つまりローカル座標系の三次元空間１２
内の基点から図９のＢ領域を見ることができ、図１０が
である場合、オペレータ７の視線方向は下であるロー
カル座標系の三次元空間１２内の基点からＨ領域を見る
ことができる。

【００３６】更に、オペレータ７の視線方向が図１０，
図１２はで、図１１がである場合、オペレータ７の
視線方向は左、つまりローカル座標系の三次元空間１２
内の基点から図９のＤ領域を見ることができ、図１１が
である場合、オペレータ７の視線方向は右であるロー
カル座標系の三次元空間１２内の基点からＦ領域を見る
ことができる。

【００３７】つまり、これらの動作は磁気センサー４に
よりローカル座標系の三次元空間１２内でのオペレータ
７の座標データを検出することでなされており、オペレ
ータ７の視点の位置，視点方向は、その磁気センサー４
によりオペレータ７の動作に基づいた移動，回転をロー
カル座標系の三次元空間１２内で行うことができる。こ
の実施例では、オペレータ７に装着し絶対位置，方向を
検出するセンサーをアイコン１４の位置の制御に、相対
位置，方向を検出するセンサーをローカル座標系の三次
元空間１２内で使用するので、センサーの特性に応じた
使用方法となっている。また、アイコン１４を操作して
いる途中で、オペレータ７の視点の位置，視線方向がロ
ーカル座標系の三次元空間１２内で移動した場合でもア
イコン１３の位置がローカル座標系の三次元空間１２内
に存在するため、コマンド操作を効率良く行うことがで
きる。又、ウインドウサイズを縮小した場合、ウインド
ウに表示されないアイコン１３が発生するが、視点を後
方に移動するか、上下，左右に視点の位置を移動すれば
アイコン１３の位置を発見でき、コマンド操作を行うこ
とができる。（第２実施例）図１５はこの発明の画像表示制御方法に
よる装置の第２実施例のシステム構成をブロック図で簡
単に表したもので、第１実施例と同様のものは同符号を
用いて説明する。

【００３８】この実施例では、オペレータ７は第１実施
例のようにディスプレイにＦＭＤ１を用いるのではな
く、通常の入手が容易なＣＲＴディスプレイ２０を用い
ており、ディスプレイ上に三次元画像，アイコン等を表
示するために、モデルデータの画像データベース２を格
納する磁気ディスク装置を設けた。また、磁気ディスク
装置のモデルデータを基に作った三次元空間（ワールド
座標系，ローカル座標系）内でのオペレータの視点の位
置，視線方向の操作と、ディスプレイ上に表示したアイ
コンを選択するカーソルの移動とを兼用して三次元マウ
ス９を用いた。そして、それら全ては、全ての制御，計
算を行う情報処理部６に接続し、更に、インターフェイ
ス回路２１を通して、ビデオカメラ２２の位置，方向の
制御を、アクチュエータ２３からカメラの支持台２４を
介してビデオカメラ２２に連絡するように接続がされて
いる。

【００３９】この実施例のようにＣＲＴディスプレイ２
０を用いると、ローカル座標系の三次元空間１２内にお
けるオペレータ７の視点の位置や視線方向をリアルタイ
ムに検出する必要がないため、第１実施例で必要だった
磁気センサーは用いなくても良くなる。次に、図１６の
フローチャートは三次元マウス９による情報処理部６内
での、上記システムの処理の流れを示したものである。
最初に、三次元マウス９の操作を行うのに、ワールド座
標系の三次元空間１１内の視点の位置，視線方向を操作
するか、ローカル座標系の三次元空間１２内の視点の位
置，視線方向を操作するか、ローカル座標系の三次元空
間１２内に配置されるアイコン１３の選択をする為のカ
ーソル１４の移動を行うかを、オペレータ７は使用状態
によって選択する（ステップ１３１）。

【００４０】入力モードの選択において（ステップ１３
１）、ワールド座標系の三次元空間１１内の視点の位
置，視線方向を操作するのを選択すると、それ以下の処
理手順は第１実施例の空間位置検出装置による操作を示
した図６（ａ）の（ステップ１１１）〜（ステップ１１
３）までの処理を行っていく。また、入力モードの選択
において（ステップ１３１）、ローカル座標系の三次元
空間１２内の視点の位置，視線方向を操作するのを選択
すると、ローカル座標系の三次元空間１２内でリミット
チェックを行う（ステップ１３２）。それ以下の処理手
順は第１実施例の磁気センサーによる検出を示した図６
（ｂ）の（ステップ１２１）〜（ステップ１２４）まで
の処理を行っていく。

【００４１】更に、入力モードの選択において（ステッ
プ１３１）、ローカル座標系の三次元空間１２内に配置
されるアイコン１３の選択する為のカーソル１４移動を
選択するとカーソル１４が移動し、カーソル１４をアイ
コン１３に合わせてボタンを押すことにより、アイコン
１３の選択又は実行を行い（ステップ１３３）、アイコ
ン１３を実行すると、各アイコン１３ごとのウインドウ
を開き、アイコン群或いはコマンドをディスプレイ上に
表示する。

【００４２】更に、情報処理部６は三次元マウス９によ
り入力する位置，方向からビデオカメラ２２の画像を取
り込めるように、インターフェイス回路２１を通してア
クチュエータ２３を制御し、そのアクチュエータ２３の
ビデオカメラの支持台２４を介してビデオカメラ２２の
位置，方向を制御する。アクチュエータ２３は、この実
施例ではロボットアームを使用している。その制御に
は、ＲＳ−２３２Ｃインターフェイスを介してロボット
アームに外部入力装置（この場合、三次元マウス１７）
からＸ，Ｙ，Ｚ軸方向のデータのダイレクトコマンドを
シリアル伝送し、ロボットアームの制御を行う。

【００４３】この実施例の特徴としては、情報処理部６
はカメラの画像と画像生成したアイコンを、同一ディス
プレイ上に表示することができる。また、ＣＲＴディス
プレイ２０上に表示されるアイコン，ビデオ画像，コン
ピュータグラフィックス画像，メニュー画像等の表示
を、従来のように同一ディスプレイ上に限られることな
く、拡大，縮小を行っても、この場合、三次元マウス９
でオペレータ７がローカル座標系の三次元空間１２内で
自由に見渡したり、選択，実行したりすることが可能と
なる。

【００４４】この時のオペレータから見る三次元空間
は、オペレータ７を中心に四方を囲む箱の切り取られた
窓に当たるＣＲＴディスプレイ２０から、ローカル座標
系の空間を眺めているのと同様であり、その視線方向を
変えるということは、その箱の位置と方向を制御し、窓
の向きを変えるということである。これにより、ローカ
ル座標系の三次元空間１２を自由に見渡すことが可能で
ある。

【００４５】ここで、この実施例を使用した例を、図１
７を用いて説明する。この場合、ビデオカメラ２２とア
クチュエータ２３を内視鏡２５に適用し、オペレータに
相当する医者がＣＲＴディスプレイ２０を見ながら、三
次元マウス９を操作し、情報処理部６内で内視鏡２５を
操作する処理が行われ、インターフェイス回路２１を介
して内視鏡２５を操作する。ＣＲＴディスプレイ２０上
に内視鏡２５からの患部の実画像２６を表示することが
でき、更に、同一ディスプレイ上に、患者の心拍数等の
グラフィックス画像２７を表示させたりすることができ
る。

【００４６】また、例えば実画像２６内にアイコン２８
を表示し、その中の照明用のアイコン２８ａを、三次元
マウス９でカーソルを移動し、実行した場合、照明の輝
度調整用スライダが表示され（図示せず）、三次元マウ
ス９での調節が可能になる。なお、このディスプレイ内
は三次元空間のため、色々なウインドウを開いていても
三次元マウス９を操作することで、視認可能な領域を簡
単に変えることができる。他にも、この例に限らず種々
利用分野が見込まれる。

【００４７】この実施例では三次元マウス９のみを用い
て、画像とアイコンの位置を制御することができるの
で、ハードウェアコストの削減になる。また、オペレー
タの位置をローカル座標系の三次元空間１２内にリミッ
トチェックすることにより、アイコンの位置を見失うこ
とを避けることができる。また、この例でも、グラフィ
ックス画像だけではなく、カメラ画像とアイコンを合成
することが可能であることを示している。

【００４８】

【発明の効果】この発明によれば、アイコンを操作して
いる途中で、オペレータの視点の位置，視線方向からア
イコンの位置を見失っても、アイコンの位置は第２の座
標系の三次元空間内に固定されているため、オペレータ
は容易にアイコンを視認でき、コマンド操作を効率良く
行うことができる。

【図面の簡単な説明】

【図１】第１実施例のシステム構成図。

【図２】第１実施例の使用状態を示す図。

【図３】第３三者からの視点で、オペレータが見ている
画像の図。

【図４】この発明の情報処理部内のフローチャートを示
した図。

【図５】（ａ）空間位置検出装置を用いたフローチャー
トを示した図。（ｂ）磁気センサーを用いたフローチャートを示した
図。

【図６】（ａ）ワールド座標系の三次元空間内で、ロー
カル座標系の三次元空間の移動の様子を示した図。（ｂ）三次元空間内でのオペレータの視点を示した図。

【図７】ローカル座標系の三次元空間内に配置されてい
るアイコンの様子を示した図。

【図８】ローカル座標系の三次元空間内でウインドウを
開いた図。

【図９】ローカル座標系の三次元空間内でオペレータに
視線方向を領域で示した図。

【図１０】オペレータの視点の位置，視線方向を示した
図。

【図１１】オペレータの視点の位置，視線方向を示した
図。

【図１２】オペレータの視点の位置，視線方向を示した
図。

【図１３】ローカル座標系の三次元空間内でオペレータ
がアイコンに近づいた様子を示した図。

【図１４】ローカル座標系の三次元空間内でオペレータ
がアイコンから遠のいた様子を示した図。

【図１５】第２実施例のシステム構成図。

【図１６】三次元マウスを用いたフローチャートを示し
た図。

【図１７】第２実施例の使用例を示す図。

【図１８】（ａ），（ｂ）磁気センサーの構成図。

【図１９】（ａ），（ｂ）従来の技術の説明図。

【図２０】従来の技術の説明図。

【符号の説明】

１ＦＭＤ２画像データベース３空間位置検出装置４磁気センサー５マウス６情報処理部７オペレータ８磁気ディスク装置９三次元マウス１０画像１１ワールド座標系１２ローカル座標系１３，１３ａ，１３ｂ，１３ｃ，１３ｄアイコン１４カーソル１５メニュー画面２０ＣＲＴディスプレイ２１インターフェイス回路２２ビデオカメラ２３アクチュエータ２４支持台２５内視鏡２６実画像２７グラフィックス画像２８，２８ａ，２８ｂ，２８ｃアイコン３０発信用のコイル３１受信用のコイル３２発信源３３磁気センサー３４三次元画像

Claims

【特許請求の範囲】

【請求項１】仮想三次元空間内での視点の位置と視線
方向からの画像とアイコンを生成し、この生成された画
像を表示し、操作者による前記アイコンの操作により画
像の表示を制御する画像表示制御方法において、前記画像は仮想三次元空間で第１の座標系により求めた
視点の位置と視線方向から生成し、前記アイコンは仮想三次元空間で第２の座標系を基準と
して設定した、操作者を取り囲む三次元領域に生成して
配置し、前記生成された画像の表示とは独立して前記アイコンの
表示は制御され、前記仮想三次元空間内での操作者の移動に伴って前記ア
イコンも移動し、前記アイコンは操作者の視点および視
線方向に表示されることを特徴とする画像表示制御方
法。
【請求項２】前記アイコンは、前記第２の座標系内の
視点の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回りの回転
角から操作者の視点、視線方向を基準とする座標系に変
換して表示することを特徴とする請求項１記載の画像表
示制御方法。
【請求項３】前記画像は、前記第１の座標系内の視点
の位置、視線方向のＸ、Ｙ、Ｚ軸の各軸回りの回転角か
ら操作者の視点、視線方向を基準とする座標系に変換し
て表示することを特徴とする請求項１記載の画像表示制
御方法。