JPH05189541A - 画像操作方法 - Google Patents
画像操作方法Info
- Publication number
- JPH05189541A JPH05189541A JP4003673A JP367392A JPH05189541A JP H05189541 A JPH05189541 A JP H05189541A JP 4003673 A JP4003673 A JP 4003673A JP 367392 A JP367392 A JP 367392A JP H05189541 A JPH05189541 A JP H05189541A
- Authority
- JP
- Japan
- Prior art keywords
- rotation
- coordinate
- dimensional
- coordinates
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【目的】画面上に3次元画像として表示された物体を回
転させるとき、実空間上で物体を操作するのと類似した
感覚で、回転の指示が可能なユーザインタフェイスを提
供することにある。 【構成】操作者が、操作の基準となる基準座標3と、操
作の目標となる目標座標4とを入力すると、基準座標の
位置に表示していた部位を、目標座標の位置に表示する
ように、物体を回転する座標変換の行列を導出し、この
行列を用いて回転・投影を行い、物体2を6のように回
転した3次元画像を表示する。
転させるとき、実空間上で物体を操作するのと類似した
感覚で、回転の指示が可能なユーザインタフェイスを提
供することにある。 【構成】操作者が、操作の基準となる基準座標3と、操
作の目標となる目標座標4とを入力すると、基準座標の
位置に表示していた部位を、目標座標の位置に表示する
ように、物体を回転する座標変換の行列を導出し、この
行列を用いて回転・投影を行い、物体2を6のように回
転した3次元画像を表示する。
Description
【0001】
【産業上の利用分野】物体の3次元画像を、画面上に表
示するときの画像操作方法に関する。
示するときの画像操作方法に関する。
【0002】
【従来の技術】計算機などで構築した物体モデルから3
次元画像を生成・表示し、その特徴を認識する場合、一
般に図2に示すような手順により行われる。ここで3次
元原画像データ11は、物体の位置・形状など、物体に
関する情報で少なくとも表示に必要なものを含んでお
り、例えば3次元座標系(X,Y,Z)で表現される。
まず、所望の回転軸(一般には各座標軸)及び回転角に
従って物体を回転させる(処理12)。これを予め定め
た平面(表示面)上に投影し(処理13)、さらに陰面
消去・陰影付けの処理14を行って、画面上に表示させ
る(処理15)。
次元画像を生成・表示し、その特徴を認識する場合、一
般に図2に示すような手順により行われる。ここで3次
元原画像データ11は、物体の位置・形状など、物体に
関する情報で少なくとも表示に必要なものを含んでお
り、例えば3次元座標系(X,Y,Z)で表現される。
まず、所望の回転軸(一般には各座標軸)及び回転角に
従って物体を回転させる(処理12)。これを予め定め
た平面(表示面)上に投影し(処理13)、さらに陰面
消去・陰影付けの処理14を行って、画面上に表示させ
る(処理15)。
【0003】従来、物体の回転角の指示方法には、例え
ば、キーボードから直接数値を入力する方法や、「19
91年電子情報通信学会春季全国大会講演論文集」分冊
7(1991)pp.407〜408において述べられ
ているような専用チャート上にマークを記入して指示す
る方法などがある。
ば、キーボードから直接数値を入力する方法や、「19
91年電子情報通信学会春季全国大会講演論文集」分冊
7(1991)pp.407〜408において述べられ
ているような専用チャート上にマークを記入して指示す
る方法などがある。
【0004】
【発明が解決しようとする課題】上記従来技術では、操
作者は回転角という数値情報を基に指示を行なうため、
指示内容と指示の結果表示される3次元画像とが直接感
覚的に結び付かず、表示される3次元画像を予め把握す
ることが困難であった。また、画面上において指示入力
の位置と3次元画像の位置とが異なるため、操作対象で
ある3次元画像に注目した状態で操作を行なうことが困
難であった。このため、実空間上で実際に物体を回転さ
せるのと類似した感覚で、画面上の物体を回転させるこ
とができるようなユーザインタフェイスを実現すること
は、非常に困難であった。
作者は回転角という数値情報を基に指示を行なうため、
指示内容と指示の結果表示される3次元画像とが直接感
覚的に結び付かず、表示される3次元画像を予め把握す
ることが困難であった。また、画面上において指示入力
の位置と3次元画像の位置とが異なるため、操作対象で
ある3次元画像に注目した状態で操作を行なうことが困
難であった。このため、実空間上で実際に物体を回転さ
せるのと類似した感覚で、画面上の物体を回転させるこ
とができるようなユーザインタフェイスを実現すること
は、非常に困難であった。
【0005】本発明の目的は、このような従来の問題を
解決し、物体の3次元画像を画面上に表示するとき、実
空間上で実際に物体を回転させるのと類似した感覚で、
画面上の物体を回転させることができるようなユーザイ
ンタフェイスにより、物体の回転を指示可能な画像操作
方法を提供することにある。
解決し、物体の3次元画像を画面上に表示するとき、実
空間上で実際に物体を回転させるのと類似した感覚で、
画面上の物体を回転させることができるようなユーザイ
ンタフェイスにより、物体の回転を指示可能な画像操作
方法を提供することにある。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、本発明の画像操作方法は、操作者が、予め表示され
ている物体の像に対して直接操作を行なうことにより、
物体を回転可能なようにした。
に、本発明の画像操作方法は、操作者が、予め表示され
ている物体の像に対して直接操作を行なうことにより、
物体を回転可能なようにした。
【0007】また、操作者は、画面上の座標であって操
作の基準となる基準座標と、画面上の座標であって操作
の目標となる目標座標とを入力すると、基準座標の位置
に表示していた部位を目標座標の位置に表示するよう
に、物体を回転可能なようにした。
作の基準となる基準座標と、画面上の座標であって操作
の目標となる目標座標とを入力すると、基準座標の位置
に表示していた部位を目標座標の位置に表示するよう
に、物体を回転可能なようにした。
【0008】また、操作者は、先ず画面上の座標であっ
て操作の基準となる基準座標を入力した後、画面上の座
標であって操作の目標となる目標座標を逐次入力する
と、目標座標の入力に応じて、基準座標の位置に表示し
ていた部位を目標座標の位置に表示するように、物体を
逐次回転可能なようにした。
て操作の基準となる基準座標を入力した後、画面上の座
標であって操作の目標となる目標座標を逐次入力する
と、目標座標の入力に応じて、基準座標の位置に表示し
ていた部位を目標座標の位置に表示するように、物体を
逐次回転可能なようにした。
【0009】また、物体を表示している画面を、操作者
が直接指示することにより、画面上の座標を取得可能な
手段を用いるようにした。
が直接指示することにより、画面上の座標を取得可能な
手段を用いるようにした。
【0010】また、物体を回転するための座標変換の行
列の生成は、基準座標を、基準座標の位置に表示してい
る部位の3次元座標である3次元基準座標に変換する基
準座標変換手段と、目標座標を、当該部位を目標座標の
位置に表示するように物体を回転したときの当該部位の
3次元座標である3次元目標座標に変換する目標座標変
換手段と、3次元基準座標を3次元目標座標に変換する
座標変換の行列を生成する回転変換行列生成手段とによ
り行うようにした。
列の生成は、基準座標を、基準座標の位置に表示してい
る部位の3次元座標である3次元基準座標に変換する基
準座標変換手段と、目標座標を、当該部位を目標座標の
位置に表示するように物体を回転したときの当該部位の
3次元座標である3次元目標座標に変換する目標座標変
換手段と、3次元基準座標を3次元目標座標に変換する
座標変換の行列を生成する回転変換行列生成手段とによ
り行うようにした。
【0011】また、基準座標変換手段は、陰面消去をZ
バッファアルゴリズムにより行う場合、Zバッファに格
納されている奥行き値を利用し、基準座標と基準座標の
位置の奥行き値とから3次元基準座標を生成するように
した。
バッファアルゴリズムにより行う場合、Zバッファに格
納されている奥行き値を利用し、基準座標と基準座標の
位置の奥行き値とから3次元基準座標を生成するように
した。
【0012】また、回転変換行列生成手段は、予め当該
物体を表示するとき行った回転より前での当該部位の位
置から、目標とする位置へ直接回転可能な座標変換の行
列を生成し、これを3次元基準座標を3次元目標座標に
変換する座標変換の行列とするようにした。
物体を表示するとき行った回転より前での当該部位の位
置から、目標とする位置へ直接回転可能な座標変換の行
列を生成し、これを3次元基準座標を3次元目標座標に
変換する座標変換の行列とするようにした。
【0013】また、回転変換行列生成手段は、予め当該
物体を表示するとき行った回転より後での当該物体の位
置から、目標とする位置へ回転する座標変換の行列を求
め、求めた行列と、予め物体を表示するとき行った回転
に用いた座標変換の行列との積を、3次元基準座標を3
次元目標座標に変換する座標変換の行列とするようにし
た。
物体を表示するとき行った回転より後での当該物体の位
置から、目標とする位置へ回転する座標変換の行列を求
め、求めた行列と、予め物体を表示するとき行った回転
に用いた座標変換の行列との積を、3次元基準座標を3
次元目標座標に変換する座標変換の行列とするようにし
た。
【0014】また、物体の回転は、物体を表現する3次
元座標の3つの座標軸のうち、予め定めた2つの座標軸
の回りに回転させるようにした。
元座標の3つの座標軸のうち、予め定めた2つの座標軸
の回りに回転させるようにした。
【0015】また、物体の回転は、3次元座標の原点
と、3次元基準座標と、3次元目標座標とが作る平面に
垂直で、且つ原点を通る線分を回転軸とし、この回りに
回転させるようにした。
と、3次元基準座標と、3次元目標座標とが作る平面に
垂直で、且つ原点を通る線分を回転軸とし、この回りに
回転させるようにした。
【0016】また、少なくとも、過去の回転に用いた回
転変換行列の履歴を格納できる手段を設け、操作の取消
しを可能なようにした。
転変換行列の履歴を格納できる手段を設け、操作の取消
しを可能なようにした。
【0017】
【作用】本発明の画像操作方法では、操作者が、予め表
示されている3次元画像に対して直接操作を行なうこと
により、物体の回転が可能になる。これによって、ある
視点から見た物体の3次元画像を画面上に表示すると
き、実空間上で実際に物体を回転させるのと類似した感
覚で、画面上の物体を回転させることができるようなユ
ーザインタフェイスを実現できるようになる。
示されている3次元画像に対して直接操作を行なうこと
により、物体の回転が可能になる。これによって、ある
視点から見た物体の3次元画像を画面上に表示すると
き、実空間上で実際に物体を回転させるのと類似した感
覚で、画面上の物体を回転させることができるようなユ
ーザインタフェイスを実現できるようになる。
【0018】
【実施例】以下、本発明の第1の実施例を、図面を用い
て詳細に説明する。
て詳細に説明する。
【0019】本実施例は、物体の一例として人体頭部を
考え、画面上に3次元画像として表示された頭部に対し
て、直接操作を行うことにより、これを回転させるもの
である。その操作方法は、予め図1(a)のように画面
1上に表示された頭部の3次元画像2に対し、先ず例え
ば左の口元3の位置(基準座標)を入力し、次に顔の右
側4の位置(目標座標)を入力する。すると、図1
(b)のように左の口元3が顔の右側4の位置に表示さ
れるように回転した3次元画像6を表示する。図1
(b)の左の口元5の画面上の座標は、図1(a)の顔
の右側4の画面上の座標と一致する。
考え、画面上に3次元画像として表示された頭部に対し
て、直接操作を行うことにより、これを回転させるもの
である。その操作方法は、予め図1(a)のように画面
1上に表示された頭部の3次元画像2に対し、先ず例え
ば左の口元3の位置(基準座標)を入力し、次に顔の右
側4の位置(目標座標)を入力する。すると、図1
(b)のように左の口元3が顔の右側4の位置に表示さ
れるように回転した3次元画像6を表示する。図1
(b)の左の口元5の画面上の座標は、図1(a)の顔
の右側4の画面上の座標と一致する。
【0020】本実施例では、表示する頭部と表示面と
は、図3に示すような位置関係にあるとする。頭部61
はX軸の方向が正面であるように位置し、また表示面6
2は、X=DなるYZ平面である。3次元空間の座標系
は(X,Y,Z)、表示面の座標系は(U,V)であっ
て、その原点は、それぞれ物体中心、表示面中心(X軸
上)である。
は、図3に示すような位置関係にあるとする。頭部61
はX軸の方向が正面であるように位置し、また表示面6
2は、X=DなるYZ平面である。3次元空間の座標系
は(X,Y,Z)、表示面の座標系は(U,V)であっ
て、その原点は、それぞれ物体中心、表示面中心(X軸
上)である。
【0021】さらに物体の回転は、Z軸回りの回転63
と、Y軸回りの回転64とにより行うものとする。回転
の順序はZ軸回り、Y軸回りであり、Z軸回りの回転の
向きは、X軸の正の向きがY軸の正の向きに向く方向の
回転を正方向とし、Y軸回りの回転の向きは、X軸の正
の向きがZ軸の正の向きに向く方向の回転を正方向とす
る。
と、Y軸回りの回転64とにより行うものとする。回転
の順序はZ軸回り、Y軸回りであり、Z軸回りの回転の
向きは、X軸の正の向きがY軸の正の向きに向く方向の
回転を正方向とし、Y軸回りの回転の向きは、X軸の正
の向きがZ軸の正の向きに向く方向の回転を正方向とす
る。
【0022】図4は、本実施例の処理手順である。
【0023】各手段のうち、22、24、26は任意の
方向からの3次元画像を表示するためのもので、図2に
示した従来の手順と同様な働きを有する。31、32、
35は本発明を実現するのに必要な処理手段である。
方向からの3次元画像を表示するためのもので、図2に
示した従来の手順と同様な働きを有する。31、32、
35は本発明を実現するのに必要な処理手段である。
【0024】先ず、各処理手段の説明をする。回転変換
手段22は、回転変換行列36に従って物体の3次元座
標を回転させる。その結果は、回転座標データ23とし
て投影変換手段24に送られる。投影変換手段24は、
予め定めた表示面に投影するのに必要な座標変換を行
う。その結果は、投影画像データ25として陰面消去・
陰影付け手段26に送られる。陰面消去・陰影付け手段
26は、表示の妨げになる陰面の消去や、面に濃淡を加
える陰影付けなど、物体をより立体的に見せるための処
理を行う。その結果は、表示画像データ27として表示
・座標入力手段28に送られる。表示・座標入力手段2
8は、表示画像データ27の画面への表示と、表示され
た画像を観察しながらその画面上の位置を指示すると、
その位置の座標(画面上の座標)を取得できるものであ
る。これは、例えば、CRTや液晶ディスプレイなどの
表示手段と、マウスやタッチパネルなどのポインティン
グ手段との組合せにより実現できる。ここで取得した画
面上の座標は、基準座標29として基準座標変換手段3
1に、若しくは目標座標30として目標座標変換手段3
2に送られる。基準座標変換手段31は、画面上の座標
である基準座標29を3次元空間上の座標に変換する。
3次元空間上の座標とは、基準座標の位置に表示してい
る部位の3次元座標である。その結果は、3次元基準座
標33として回転変換行列生成手段35に送られる。目
標座標変換手段32は、画面上の座標である目標座標3
0を3次元空間上の座標に変換する。3次元空間上の座
標とは、基準座標の位置に表示している部位を、目標座
標の位置に表示するように物体を回転させたとき、その
部位の新たな3次元座標である。その結果は、3次元目
標座標34として回転変換行列生成手段35に送られ
る。回転変換行列生成手段35は、3次元基準座標3
3、3次元目標座標34から、基準座標29の位置に表
示している部位を、目標座標30の位置に表示するよう
に物体を回転させる変換行列を生成する。その結果は、
回転変換行列36として回転変換手段22に送られる。
手段22は、回転変換行列36に従って物体の3次元座
標を回転させる。その結果は、回転座標データ23とし
て投影変換手段24に送られる。投影変換手段24は、
予め定めた表示面に投影するのに必要な座標変換を行
う。その結果は、投影画像データ25として陰面消去・
陰影付け手段26に送られる。陰面消去・陰影付け手段
26は、表示の妨げになる陰面の消去や、面に濃淡を加
える陰影付けなど、物体をより立体的に見せるための処
理を行う。その結果は、表示画像データ27として表示
・座標入力手段28に送られる。表示・座標入力手段2
8は、表示画像データ27の画面への表示と、表示され
た画像を観察しながらその画面上の位置を指示すると、
その位置の座標(画面上の座標)を取得できるものであ
る。これは、例えば、CRTや液晶ディスプレイなどの
表示手段と、マウスやタッチパネルなどのポインティン
グ手段との組合せにより実現できる。ここで取得した画
面上の座標は、基準座標29として基準座標変換手段3
1に、若しくは目標座標30として目標座標変換手段3
2に送られる。基準座標変換手段31は、画面上の座標
である基準座標29を3次元空間上の座標に変換する。
3次元空間上の座標とは、基準座標の位置に表示してい
る部位の3次元座標である。その結果は、3次元基準座
標33として回転変換行列生成手段35に送られる。目
標座標変換手段32は、画面上の座標である目標座標3
0を3次元空間上の座標に変換する。3次元空間上の座
標とは、基準座標の位置に表示している部位を、目標座
標の位置に表示するように物体を回転させたとき、その
部位の新たな3次元座標である。その結果は、3次元目
標座標34として回転変換行列生成手段35に送られ
る。回転変換行列生成手段35は、3次元基準座標3
3、3次元目標座標34から、基準座標29の位置に表
示している部位を、目標座標30の位置に表示するよう
に物体を回転させる変換行列を生成する。その結果は、
回転変換行列36として回転変換手段22に送られる。
【0025】次に、本発明による画像操作方法の手順に
ついて説明する。最初に、頭部の位置・形状に関する情
報を含む3次元原画像データから、頭部の3次元画像が
表示されるまでの手順について、簡単に説明する。
ついて説明する。最初に、頭部の位置・形状に関する情
報を含む3次元原画像データから、頭部の3次元画像が
表示されるまでの手順について、簡単に説明する。
【0026】1)先ず、回転変換手段22により、物体
をZ軸回り、Y軸回りに回転させる。これは、頭部を表
現する3次元座標(Xs,Ys,Zs)に対して、回転
のための座標変換(回転変換)を行うことにより実現さ
れる。即ち,その変換行列(回転変換行列)をRとする
と、 [Xr,Yr,Zr]=[Xs,Ys,Zs]R なる変換を行う。3次元座標(Xr,Yr,Zr)は、
回転後の座標であり、回転画像データ23に相当する。
をZ軸回り、Y軸回りに回転させる。これは、頭部を表
現する3次元座標(Xs,Ys,Zs)に対して、回転
のための座標変換(回転変換)を行うことにより実現さ
れる。即ち,その変換行列(回転変換行列)をRとする
と、 [Xr,Yr,Zr]=[Xs,Ys,Zs]R なる変換を行う。3次元座標(Xr,Yr,Zr)は、
回転後の座標であり、回転画像データ23に相当する。
【0027】回転変換行列Rは、Z軸回り、Y軸回りの
回転角をそれぞれθ、φとすると、次式で与えられる。
回転角をそれぞれθ、φとすると、次式で与えられる。
【0028】
【数1】
【0029】あるいは、後に説明する回転変換行列生成
手段で生成したものを用いる。
手段で生成したものを用いる。
【0030】2)次に投影変換手段24により、回転後
の物体を表示面に投影するための座標変換(投影変換)
を行う。投影するための変換とは、例えば透視投影で用
いれる、表示面との距離に応じて物体の大きさを変化さ
せるような変換のことである。即ち、その変換行列(投
影変換行列)をPとすると、 [Xp,Yp,Zp]=[Xr,Yr,Zr]P なる変換を行う。3次元座標(Xp,Yp,Zp)は、
投影後の座標であり、投影画像データ25に相当する。
の物体を表示面に投影するための座標変換(投影変換)
を行う。投影するための変換とは、例えば透視投影で用
いれる、表示面との距離に応じて物体の大きさを変化さ
せるような変換のことである。即ち、その変換行列(投
影変換行列)をPとすると、 [Xp,Yp,Zp]=[Xr,Yr,Zr]P なる変換を行う。3次元座標(Xp,Yp,Zp)は、
投影後の座標であり、投影画像データ25に相当する。
【0031】ここで、投影変換行列Pは、投影方法、表
示面の位置など、投影に関するパラメータにより決定さ
れる。また本実施例では、表示面は図3に示す位置に存
在する。従って、3次元座標(Xp,Yp,Zp)のう
ちYp、Zpは表示面のU,V座標成分を表す。また、
Xpは物体の前後関係を表し、本実施例では奥行き値を
呼ぶことにする。
示面の位置など、投影に関するパラメータにより決定さ
れる。また本実施例では、表示面は図3に示す位置に存
在する。従って、3次元座標(Xp,Yp,Zp)のう
ちYp、Zpは表示面のU,V座標成分を表す。また、
Xpは物体の前後関係を表し、本実施例では奥行き値を
呼ぶことにする。
【0032】3)最後に、陰面消去・陰影付け手段26
により、陰面の消去や陰影付けなど、物体をより立体的
に見せるための処理が行われえる。
により、陰面の消去や陰影付けなど、物体をより立体的
に見せるための処理が行われえる。
【0033】陰面消去は、例えば奥行き値を用いて行う
ことができる。これはZバッファアルゴリズムと呼ば
れ、表示面に対する2次元バッファであって、各画素に
奥行き値が格納できるバッファ(Zバッファ)を用意
し、各画素ごとに表示面に最も近い奥行き値を選択して
格納することにより、直接見ることのできない面を除去
するものである。
ことができる。これはZバッファアルゴリズムと呼ば
れ、表示面に対する2次元バッファであって、各画素に
奥行き値が格納できるバッファ(Zバッファ)を用意
し、各画素ごとに表示面に最も近い奥行き値を選択して
格納することにより、直接見ることのできない面を除去
するものである。
【0034】さらに、光源の位置や表示面までの距離な
どから、面に濃淡を加える陰影付けを行う。その結果、
表示画像データ27が得られる。
どから、面に濃淡を加える陰影付けを行う。その結果、
表示画像データ27が得られる。
【0035】表示画像データ27は、表示・座標入力手
段28の画面上に表示される。
段28の画面上に表示される。
【0036】以上が、頭部の3次元画像が表示されるま
での手順である。
での手順である。
【0037】次に、予め上記手順により図1(a)に示
すような頭部の3次元画像が表示されているとき、この
頭部を、図1(b)のように回転させる手順について説
明する。
すような頭部の3次元画像が表示されているとき、この
頭部を、図1(b)のように回転させる手順について説
明する。
【0038】1)最初に、操作者が操作の基準となる位
置を指示し、その画面上の座標(Ua、Va)を表示・
座標入力手段28により取得する。例えば、図1(a)
の左の口元3の位置の座標を取得する。この座標を基準
座標29とする。
置を指示し、その画面上の座標(Ua、Va)を表示・
座標入力手段28により取得する。例えば、図1(a)
の左の口元3の位置の座標を取得する。この座標を基準
座標29とする。
【0039】2)次に、基準座標変換手段31におい
て、基準座標(Ua,Va)を3次元基準座標(Xa,
Ya,Za)に変換する。但し、3次元基準座標は、投
影変換手段24での投影変換を行なう前、即ち回転変換
手段22での回転変換を行った後の座標値に対応する形
で表現する。
て、基準座標(Ua,Va)を3次元基準座標(Xa,
Ya,Za)に変換する。但し、3次元基準座標は、投
影変換手段24での投影変換を行なう前、即ち回転変換
手段22での回転変換を行った後の座標値に対応する形
で表現する。
【0040】例えば、陰面消去をZバッファアルゴリズ
ムにより行った場合、Zバッファに格納される奥行き値
(Xp)のうち、基準座標(Ua,Va)での奥行き値
をWaとすると、 [Xa,Ya,Za]=[Wa,Ua,Va]P~1 により、3次元基準座標に変換できる。ここで、P~1は
投影変換行列Pの逆行列である。
ムにより行った場合、Zバッファに格納される奥行き値
(Xp)のうち、基準座標(Ua,Va)での奥行き値
をWaとすると、 [Xa,Ya,Za]=[Wa,Ua,Va]P~1 により、3次元基準座標に変換できる。ここで、P~1は
投影変換行列Pの逆行列である。
【0041】あるいは、回転・投影を行った結果、基準
座標(Ua,Va)に表示されるもののうち、画面上に
表示されるもの(表示面に最も近いもの)を選択し、そ
の基準座標の位置に対する3次元座標を算出することに
よっても変換できる。
座標(Ua,Va)に表示されるもののうち、画面上に
表示されるもの(表示面に最も近いもの)を選択し、そ
の基準座標の位置に対する3次元座標を算出することに
よっても変換できる。
【0042】3)次に、操作者が操作の目標となる位置
を指示し、その画面上の座標(Ub、Vb)を表示・座
標入力手段28により取得する。例えば、図1(a)の
顔の右側4の位置の座標を取得する。この座標を目標座
標30とする。
を指示し、その画面上の座標(Ub、Vb)を表示・座
標入力手段28により取得する。例えば、図1(a)の
顔の右側4の位置の座標を取得する。この座標を目標座
標30とする。
【0043】4)次に、目標座標変換手段32におい
て、目標座標(Ub,Vb)を3次元目標座標(Xb,
Yb,Zb)に変換する。但し、3次元目標座標は、投
影変換手段24での投影変換を行なう前、即ち回転変換
手段22での回転変換を行った後の座標値に対応する形
で表現する。
て、目標座標(Ub,Vb)を3次元目標座標(Xb,
Yb,Zb)に変換する。但し、3次元目標座標は、投
影変換手段24での投影変換を行なう前、即ち回転変換
手段22での回転変換を行った後の座標値に対応する形
で表現する。
【0044】その手順を以下に述べる。
【0045】今、回転後の奥行き値をWbとすると、次
式が成立する。
式が成立する。
【0046】 [Xb,Yb,Zb]=[Wb,Ub,Vb]P~1 ここで、投影変換行列Pの逆行列をP~1を、
【0047】
【数2】
【0048】とすると、 Xb=A+aWb Yb=B+dWb Zb=C+gWd となる。但し、 A=bUb+cVb B=eUb+fVb C=hUb+iVb である。
【0049】物体を回転させるとき、その回転軸が3次
元座標の原点を通るならば、原点から部位までの距離は
一定である。よって図5に示すように、原点から3次元
基準座標51までの距離と、原点から3次元目標座標5
2までの距離は等しい。このことから、次式が成立す
る。
元座標の原点を通るならば、原点から部位までの距離は
一定である。よって図5に示すように、原点から3次元
基準座標51までの距離と、原点から3次元目標座標5
2までの距離は等しい。このことから、次式が成立す
る。
【0050】 r2=Xb2+Yb2+Zb2 =(A+aWb)2+(B+dWb)2+(C+gWd)2 =LWb2+MWb+N 但し、 r2=Xa2+Ya2+Za2 L=a2+d2+g2 M=2aA+2dB+2gC N=A2+B2+C2 である。
【0051】よって、上記2次方程式を解き、得られる
2つの奥行き値(Wb1,Wb2)のうち、表示面に近い
ものをWbとする。そして、 [Xb,Yb,Zb]=[Wb,Ub,Vb]P~1 より、3次元目標座標に変換できる。
2つの奥行き値(Wb1,Wb2)のうち、表示面に近い
ものをWbとする。そして、 [Xb,Yb,Zb]=[Wb,Ub,Vb]P~1 より、3次元目標座標に変換できる。
【0052】ここで、2次方程式の解が解なしの場合、
基準座標の位置に表示された部位を目標座標の位置まで
回転できないことを表す。この場合、再度回転可能な目
標座標の入力を促すようにするか、あるいは目標座標
(Ub,Vb)を、その比は変化させずに大きさのみを
減少させるなどにより対応できる。
基準座標の位置に表示された部位を目標座標の位置まで
回転できないことを表す。この場合、再度回転可能な目
標座標の入力を促すようにするか、あるいは目標座標
(Ub,Vb)を、その比は変化させずに大きさのみを
減少させるなどにより対応できる。
【0053】5)次に、回転座標行列生成手段35にお
いて、基準座標29の位置に表示している部位を、目標
座標30の位置に表示するように物体を回転させる変換
行列、即ち回転変換行列を生成する。この生成は、例え
ば図6に示す手順により行う。
いて、基準座標29の位置に表示している部位を、目標
座標30の位置に表示するように物体を回転させる変換
行列、即ち回転変換行列を生成する。この生成は、例え
ば図6に示す手順により行う。
【0054】先ず、座標逆変換手段41において、3次
元基準座標33を、回転変換手段22での回転変換を行
う前、即ち3次元原画像データでの座標値に対応する形
で表現するための座標変換を行う。式で表現すると、 [Xd,Yd,Zd]=[Xa,Ya,Za]R~1 (数3) となり、3次元座標(Xd,Yd,Zd)が変換後の3
次元基準座標である。ここで、R1~1は回転変換行列R
の逆行列である。
元基準座標33を、回転変換手段22での回転変換を行
う前、即ち3次元原画像データでの座標値に対応する形
で表現するための座標変換を行う。式で表現すると、 [Xd,Yd,Zd]=[Xa,Ya,Za]R~1 (数3) となり、3次元座標(Xd,Yd,Zd)が変換後の3
次元基準座標である。ここで、R1~1は回転変換行列R
の逆行列である。
【0055】次に、回転角決定手段42により、Z軸回
りの回転、Y軸回りの回転それぞれの回転角(θ,φ)
を導出する。その方法の一例を、図7を用いて説明す
る。
りの回転、Y軸回りの回転それぞれの回転角(θ,φ)
を導出する。その方法の一例を、図7を用いて説明す
る。
【0056】図7において、56は3次元基準座標(X
d,Yd,Zd)、52は3次元目標座標(Xb,Y
b,Zb)である。3次元基準座標56を3次元目標座
標52まで回転させるには、先ず、3次元基準座標56
をZ軸回りに回転させる。その回転軌跡は、54のよう
な円弧になる。この回転は、Y座標値がYbとなるまで
行い、そのときの位置53でのX座標値Xcは、
d,Yd,Zd)、52は3次元目標座標(Xb,Y
b,Zb)である。3次元基準座標56を3次元目標座
標52まで回転させるには、先ず、3次元基準座標56
をZ軸回りに回転させる。その回転軌跡は、54のよう
な円弧になる。この回転は、Y座標値がYbとなるまで
行い、そのときの位置53でのX座標値Xcは、
【0057】
【数4】
【0058】となる。
【0059】次に、Y軸回りに回転させると、3次元基
準座標56を3次元目標座標52の位置に回転させるこ
とができる。このときの回転角(θ,φ)は、次式より
導出できる。
準座標56を3次元目標座標52の位置に回転させるこ
とができる。このときの回転角(θ,φ)は、次式より
導出できる。
【0060】 θ=θb−θa φ=φb−φa (数5) 但し、 θa=tan~1(Yd/Xd) θb=tan~1(Yb/Xc) φa=tan~1(Zd/Xc) φb=tan~1(Zb/Xb) であり、 tan~1(y/x)=Tan~1(y/x) (x≧0の時) π+Tan~1(y/x) (x<0,y≧0の時) −π+Tan~1(y/x) (x<0,y<0の時)(数6) である。
【0061】最後に、行列生成手段43において、回転
角(θ,φ)より新たな回転変換行列36を生成する。
回転変換行列Rは、(数1)より生成する。
角(θ,φ)より新たな回転変換行列36を生成する。
回転変換行列Rは、(数1)より生成する。
【0062】6)新たに生成した回転変換行列36を用
いて、図1(a)のような頭部の3次原画像を表示した
ときと同様な手順により、3次元原画像データから新た
な3次元画像を表示させる。すると、図1(b)のよう
に、左の口元3が顔の右側4の位置に表示されるように
頭部を回転させた3次元画像を表示することができる。
いて、図1(a)のような頭部の3次原画像を表示した
ときと同様な手順により、3次元原画像データから新た
な3次元画像を表示させる。すると、図1(b)のよう
に、左の口元3が顔の右側4の位置に表示されるように
頭部を回転させた3次元画像を表示することができる。
【0063】本実施例では、回転角(θ,φ)の導出を
(数5)により行うようにしたが、次式を直接解くこと
によって導出することも可能である。
(数5)により行うようにしたが、次式を直接解くこと
によって導出することも可能である。
【0064】 [Xb,Yb,Zb]=[Xd,Yd,Zd]R Rは、(数1)であることから、
【0065】
【数7】
【0066】となる。但し、 ψ=tan~1(Yd/Xd) である。よって、
【0067】
【数8】
【0068】となり、θが導出できる。さらに、
【0069】
【数9】
【0070】となる。但し、 G=Xdcosθ−Ydsinθ δ=tan~1(Zd/G) である。よって、
【0071】
【数10】
【0072】となり、φが導出できる。
【0073】また、本実施例では、回転角の導出過程に
おいて、(数4)に示したようにXcは常に正の値とで
あるとした。しかし、負の値の場合も基準座標から目標
座標への回転が可能であり、両者を適当に選択して表示
することも可能である。この選択は、操作者の指示によ
り行うことも可能であり、あるいは、基準座標と目標座
標との位置関係などから、自動的に行うことも可能であ
る。
おいて、(数4)に示したようにXcは常に正の値とで
あるとした。しかし、負の値の場合も基準座標から目標
座標への回転が可能であり、両者を適当に選択して表示
することも可能である。この選択は、操作者の指示によ
り行うことも可能であり、あるいは、基準座標と目標座
標との位置関係などから、自動的に行うことも可能であ
る。
【0074】次に、第2の実施例について説明する。
【0075】第1の実施例では、3次元座標の座標軸を
回転軸とした回転により、物体を所望の位置まで回転さ
せるようにした。他の方法として、基準座標と目標座標
とから回転軸を決定した上で、物体を所望の位置まで回
転させることもできる。
回転軸とした回転により、物体を所望の位置まで回転さ
せるようにした。他の方法として、基準座標と目標座標
とから回転軸を決定した上で、物体を所望の位置まで回
転させることもできる。
【0076】例えば、3次元空間上で原点を通り、且つ
3点(3次元基準座標、3次元目標座標、原点)を通る
平面に垂直な線分を回転軸とすることもできる。この場
合、回転変換行列生成手段35での回転変換行列の生成
を、例えば図8に示す手順により行うことができる。
3点(3次元基準座標、3次元目標座標、原点)を通る
平面に垂直な線分を回転軸とすることもできる。この場
合、回転変換行列生成手段35での回転変換行列の生成
を、例えば図8に示す手順により行うことができる。
【0077】先ず、座標逆変換手段41において、第1
の実施例の場合と同様に、(数3)で表現される座標変
換を行う。
の実施例の場合と同様に、(数3)で表現される座標変
換を行う。
【0078】次に、回転軸決定手段44により、回転に
用いる回転軸を決定する。その方法の一例を、図9を用
いて説明する。
用いる回転軸を決定する。その方法の一例を、図9を用
いて説明する。
【0079】図9において、56は3次元基準座標(X
d,Yd,Zd)、52は3次元目標座標(Xb,Y
b,Zb)、71は原点と3次元基準座標、3次元目標
座標とが作る平面、72はこの平面に垂直なベクトルで
あり、物体を回転させるときの回転軸である。本手段で
は、この回転軸の単位ベクトル(L,M,N)を導出す
る。
d,Yd,Zd)、52は3次元目標座標(Xb,Y
b,Zb)、71は原点と3次元基準座標、3次元目標
座標とが作る平面、72はこの平面に垂直なベクトルで
あり、物体を回転させるときの回転軸である。本手段で
は、この回転軸の単位ベクトル(L,M,N)を導出す
る。
【0080】平面71の方程式は、次の同次連立3元1
次方程式の解として与えられる。
次方程式の解として与えられる。
【0081】lX+mY+nZ=0 lXd+mYd+nZd=0 lXb+mYb+nZb=0 ここで、l、m、nは、平面71の方向比である。この
方程式の解は、、 X(YdZb−YbZd)+Y(ZdXb−ZbXd) +Z(XdYb−XbYd)=0 となる。よって、回転軸72の単位ベクトル(L,M,
N)は、 L=(YdZb−YbZd)/H M=(ZdXb−ZbXd)/H N=(XdYb−XbYd)/H (数11) となる。但し、
方程式の解は、、 X(YdZb−YbZd)+Y(ZdXb−ZbXd) +Z(XdYb−XbYd)=0 となる。よって、回転軸72の単位ベクトル(L,M,
N)は、 L=(YdZb−YbZd)/H M=(ZdXb−ZbXd)/H N=(XdYb−XbYd)/H (数11) となる。但し、
【0082】
【数12】
【0083】である。
【0084】最後に、行列生成手段45において、回転
軸の単位ベクトル(L,M,N)を用いて、新たな回転
変換行列36を生成する。これは、例えば以下の手順に
より行うことができる。
軸の単位ベクトル(L,M,N)を用いて、新たな回転
変換行列36を生成する。これは、例えば以下の手順に
より行うことができる。
【0085】先ず、回転軸がZ軸と重なるように、X軸
回り及びY軸回りに回転する。即ち、次式の変換行列R
xにより、回転軸がXZ平面に乗るまで、X軸回りに回
転させる。
回り及びY軸回りに回転する。即ち、次式の変換行列R
xにより、回転軸がXZ平面に乗るまで、X軸回りに回
転させる。
【0086】
【数13】
【0087】但し、
【0088】
【数14】
【0089】である。また、回転の向きは、Y軸の正の
向きがZ軸の正の向きに向く方向の回転が正方向であ
る。さらに、次式の変換行列Ryにより、回転軸がZ軸
と重なるまで、Y軸回りに回転させる。
向きがZ軸の正の向きに向く方向の回転が正方向であ
る。さらに、次式の変換行列Ryにより、回転軸がZ軸
と重なるまで、Y軸回りに回転させる。
【0090】
【数15】
【0091】但し、回転の向きは、X軸の正の向きがZ
軸の正の向きに向く方向の回転が正方向である。この状
態で回転軸はZ軸と重なり、回転軸回りの回転はZ軸回
りの回転になる。
軸の正の向きに向く方向の回転が正方向である。この状
態で回転軸はZ軸と重なり、回転軸回りの回転はZ軸回
りの回転になる。
【0092】次に、次式の変換行列Rzにより、Z軸回
りに回転させる。
りに回転させる。
【0093】
【数16】
【0094】但し、回転の向きは、X軸の正の向きがY
軸の正の向きに向く方向の回転が正方向である。また、
回転角ρは、次式で導出される。
軸の正の向きに向く方向の回転が正方向である。また、
回転角ρは、次式で導出される。
【0095】ρ=ρ2−ρ1 但し、 ρ1=tan~1(Y1/X1) ρ2=tan~1(Y2/X2) [X1,Y1,Z1]=[Xd,Yd,Zd]RxRy [X2,Y2,Z2]=[Xb,Yb,Zb]RxRy であり、tan~1 は、(数6)で定義したものと同じであ
る。
る。
【0096】最後に、X軸回りの回転及びY軸回りの回
転で行った変換の逆変換を施すと、回転後の座標が得ら
れる。即ち、回転変換行列Rは、次式より生成できる。
転で行った変換の逆変換を施すと、回転後の座標が得ら
れる。即ち、回転変換行列Rは、次式より生成できる。
【0097】 R=RxRyRzRy~1Rx~1 (数17) 但し、Rx~1、Ry~1は、それぞれ変換行列Rx、Ry
の逆行列である。
の逆行列である。
【0098】以上の手順により、新たに生成した回転変
換行列Rを用いて、第1の実施例の場合と同様の手順に
より、回転・投影の処理を行うと、物体を所望の位置ま
で回転させた3次元画像を表示することができる。
換行列Rを用いて、第1の実施例の場合と同様の手順に
より、回転・投影の処理を行うと、物体を所望の位置ま
で回転させた3次元画像を表示することができる。
【0099】本実施例では、原点と3次元基準座標、3
次元目標座標とが同一直線上に存在する場合、平面71
を一意に規定できない。このようなとき、3次元基準座
標、あるいは3次元目標座標を、実用上問題無い程度移
動させる、あるいは、3次元基準座標と3次元目標座標
とを含む平面のうち、適当なもの規定するようにするな
どによって対応可能である。
次元目標座標とが同一直線上に存在する場合、平面71
を一意に規定できない。このようなとき、3次元基準座
標、あるいは3次元目標座標を、実用上問題無い程度移
動させる、あるいは、3次元基準座標と3次元目標座標
とを含む平面のうち、適当なもの規定するようにするな
どによって対応可能である。
【0100】次に、第3の実施例について説明する。
【0101】第1に実施例では、物体の回転は、予め物
体を表示するとき行った回転より前での物体の位置か
ら、目標とする位置へ行った。他の方法として、予め物
体を表示するとき行った回転より後での物体の位置か
ら、目標とする位置へ回転を行うようにすることもでき
る。この場合、回転変換行列生成手段35での回転変換
行列の生成を、例えば、図10に示す手順により行うこ
とができる。
体を表示するとき行った回転より前での物体の位置か
ら、目標とする位置へ行った。他の方法として、予め物
体を表示するとき行った回転より後での物体の位置か
ら、目標とする位置へ回転を行うようにすることもでき
る。この場合、回転変換行列生成手段35での回転変換
行列の生成を、例えば、図10に示す手順により行うこ
とができる。
【0102】図10において、回転角決定手段42、行
列生成手段43は、第1の実施例で述べたものと全く同
じである。回転変換行列格納手段46は、現時点での回
転変換行列を格納するものである。行列乗算手段47
は、行列生成手段43で生成した回転変換行列と、回転
変換行列格納手段46で格納している回転変換行列との
積を行うものである。
列生成手段43は、第1の実施例で述べたものと全く同
じである。回転変換行列格納手段46は、現時点での回
転変換行列を格納するものである。行列乗算手段47
は、行列生成手段43で生成した回転変換行列と、回転
変換行列格納手段46で格納している回転変換行列との
積を行うものである。
【0103】以下、図10に従い、回転変換行列の生成
手順を説明する。
手順を説明する。
【0104】先ず、回転角決定手段42により、Z軸回
りの回転、Y軸回りの回転それぞれの回転角(θ,φ)
を導出する。その方法は、第1の実施例の場合と全く同
様でよい。但し、座標逆変換手段41での座標変換は行
わないので、第1の実施例での3次元基準座標(Xd,
Yd,Zd)は、(Xa,Ya,Za)そのものとして
扱うものとする。
りの回転、Y軸回りの回転それぞれの回転角(θ,φ)
を導出する。その方法は、第1の実施例の場合と全く同
様でよい。但し、座標逆変換手段41での座標変換は行
わないので、第1の実施例での3次元基準座標(Xd,
Yd,Zd)は、(Xa,Ya,Za)そのものとして
扱うものとする。
【0105】次に、行列生成手段43において、導出し
た回転角(θ,φ)から(数1)に従って回転変換行列
を生成する。ここで生成した回転変換行列を、R0 とす
る。
た回転角(θ,φ)から(数1)に従って回転変換行列
を生成する。ここで生成した回転変換行列を、R0 とす
る。
【0106】最後に、行列乗算手段47において、次式
の演算を行い、最終的な回転変換行列Rを生成する。
の演算を行い、最終的な回転変換行列Rを生成する。
【0107】 R=R1R0 (数18) ここで、R1は、回転変換行列格納手段46に格納され
ている、現時点での回転変換行列である。また、演算の
結果得られた回転変換行列Rは、次の生成のために、回
転変換行列格納手段46に格納する。
ている、現時点での回転変換行列である。また、演算の
結果得られた回転変換行列Rは、次の生成のために、回
転変換行列格納手段46に格納する。
【0108】以上の手順により、新たに生成した回転変
換行列Rを用いて、第1の実施例の場合と同様の手順に
より、回転・投影の処理を行うと、物体を所望の位置ま
で回転させた3次元画像を表示することができる。
換行列Rを用いて、第1の実施例の場合と同様の手順に
より、回転・投影の処理を行うと、物体を所望の位置ま
で回転させた3次元画像を表示することができる。
【0109】次に、第4の実施例について説明する。
【0110】第2の実施例に対しても、第3の実施例の
場合と同様に、予め物体を表示するとき行った回転より
後での物体の位置から、目標とする位置へ回転を行うよ
うにすることもできる。この場合、回転変換行列生成手
段35での回転変換行列の生成を、例えば、図11に示
す手順により行うことができる。
場合と同様に、予め物体を表示するとき行った回転より
後での物体の位置から、目標とする位置へ回転を行うよ
うにすることもできる。この場合、回転変換行列生成手
段35での回転変換行列の生成を、例えば、図11に示
す手順により行うことができる。
【0111】図11において、回転軸決定手段44、行
列生成手段45は、第2の実施例で述べたものと全く同
じである。回転変換行列格納手段46、行列乗算手段4
7は、第3の実施例で述べたものと全く同じである。
列生成手段45は、第2の実施例で述べたものと全く同
じである。回転変換行列格納手段46、行列乗算手段4
7は、第3の実施例で述べたものと全く同じである。
【0112】以下、図11に従い、回転変換行列の生成
手順を説明する。
手順を説明する。
【0113】先ず、回転軸決定手段44により、回転軸
の単位ベクトル(L,M,N)を導出する。その方法
は、第2の実施例の場合と全く同様でよい。但し、座標
逆変換手段41での座標変換は行わないので、第2の実
施例での3次元基準座標(Xd,Yd,Zd)は、(X
a,Ya,Za)そのものとして扱うものとする。
の単位ベクトル(L,M,N)を導出する。その方法
は、第2の実施例の場合と全く同様でよい。但し、座標
逆変換手段41での座標変換は行わないので、第2の実
施例での3次元基準座標(Xd,Yd,Zd)は、(X
a,Ya,Za)そのものとして扱うものとする。
【0114】次に、行列生成手段45において、導出し
た単位ベクトル(L,M,N)から(数17)に従って
回転変換行列を生成する。ここで生成した回転変換行列
を、R0 とする。
た単位ベクトル(L,M,N)から(数17)に従って
回転変換行列を生成する。ここで生成した回転変換行列
を、R0 とする。
【0115】最後に、行列乗算手段47において、(数
18)の演算を行い、最終的な回転変換行列Rを生成す
る。また、演算の結果得られた回転変換行列Rは、次の
生成のために、回転変換行列格納手段46に格納する。
18)の演算を行い、最終的な回転変換行列Rを生成す
る。また、演算の結果得られた回転変換行列Rは、次の
生成のために、回転変換行列格納手段46に格納する。
【0116】以上の手順により、新たに生成した回転変
換行列Rを用いて、第1の実施例の場合と同様の手順に
より、回転・投影の処理を行うと、物体を所望の位置ま
で回転させた3次元画像を表示することができる。
換行列Rを用いて、第1の実施例の場合と同様の手順に
より、回転・投影の処理を行うと、物体を所望の位置ま
で回転させた3次元画像を表示することができる。
【0117】以上のように、本発明の画像操作方法にお
いては、操作者が表示されている物体を観察しながら、
操作の基準となる基準座標と、操作の目標となる目標座
標とを入力すると、基準座標と目標座標とから、基準座
標の位置に表示していた部位を目標座標の位置に表示す
るように物体を回転可能な回転変換行列を生成するよう
にした。これによって、予め表示されている物体に対し
て直接操作を行うことにより、物体を回転することがで
きるようになるので、実空間上で実際に物体を回転させ
るのと類似した感覚で、画面上の物体を回転させること
ができるような、優れたユーザインタフェイスを実現で
きるようになる。
いては、操作者が表示されている物体を観察しながら、
操作の基準となる基準座標と、操作の目標となる目標座
標とを入力すると、基準座標と目標座標とから、基準座
標の位置に表示していた部位を目標座標の位置に表示す
るように物体を回転可能な回転変換行列を生成するよう
にした。これによって、予め表示されている物体に対し
て直接操作を行うことにより、物体を回転することがで
きるようになるので、実空間上で実際に物体を回転させ
るのと類似した感覚で、画面上の物体を回転させること
ができるような、優れたユーザインタフェイスを実現で
きるようになる。
【0118】以上4つの実施例では、基準座標と目標座
標との2つ座標が入力され、基準座標の位置に表示して
いた部位を目標座標の位置に表示するようにしたが、基
準座標を一旦入力した後、目標座標を逐次入力すると、
目標座標の入力に応じて、基準座標の位置に表示してい
た部位を、目標座標の位置に表示するように、物体を逐
次回転させることも可能である。
標との2つ座標が入力され、基準座標の位置に表示して
いた部位を目標座標の位置に表示するようにしたが、基
準座標を一旦入力した後、目標座標を逐次入力すると、
目標座標の入力に応じて、基準座標の位置に表示してい
た部位を、目標座標の位置に表示するように、物体を逐
次回転させることも可能である。
【0119】例えば、図12に示すように、ディスプレ
イ84と透明タブレット85とが一体になった表示・座
標入力手段84に、頭部87が表示されているとする。
透明タブレット85は、ペン86を用いて画面上の座標
を取得するもので、ペンが画面に接触しているか否か
と、画面に接触したとき及び画面に接触した状態で移動
させたとき、その位置の座標を収集できるものである。
イ84と透明タブレット85とが一体になった表示・座
標入力手段84に、頭部87が表示されているとする。
透明タブレット85は、ペン86を用いて画面上の座標
を取得するもので、ペンが画面に接触しているか否か
と、画面に接触したとき及び画面に接触した状態で移動
させたとき、その位置の座標を収集できるものである。
【0120】そこで、例えば図13に示す手順に従っ
て、頭部の3次元画像を逐次表示するようにする。89
は、取得した基準座標と目標座標とから回転変換行列を
生成し、回転・投影の処理を行って得た3次元画像を表
示する部分で、その手順は今まで説明した通りである。
すると、操作者が、例えば81の位置にペン86を接触
させると、この位置の座標が基準座標となり、ペン86
を画面に接触した状態で例えば82の軌跡に従って移動
させると、その軌跡に従って頭部87が回転し、83の
位置でペン86を画面から離すと、その時点で回転が終
了するようにすることができる。
て、頭部の3次元画像を逐次表示するようにする。89
は、取得した基準座標と目標座標とから回転変換行列を
生成し、回転・投影の処理を行って得た3次元画像を表
示する部分で、その手順は今まで説明した通りである。
すると、操作者が、例えば81の位置にペン86を接触
させると、この位置の座標が基準座標となり、ペン86
を画面に接触した状態で例えば82の軌跡に従って移動
させると、その軌跡に従って頭部87が回転し、83の
位置でペン86を画面から離すと、その時点で回転が終
了するようにすることができる。
【0121】このように、本発明の画像処理方法におい
ては、目標座標の入力に応じて、基準座標の位置に表示
していた部位を、目標座標の位置に表示するように、物
体を逐次回転できるようにした。これによって、操作者
は、指示の結果得られる3次元画像を観察しながら、所
望の回転を決定することができるようになる。
ては、目標座標の入力に応じて、基準座標の位置に表示
していた部位を、目標座標の位置に表示するように、物
体を逐次回転できるようにした。これによって、操作者
は、指示の結果得られる3次元画像を観察しながら、所
望の回転を決定することができるようになる。
【0122】また、物体を表示している画面を、操作者
が直接指示すことにより、表示している物体を回転でき
るようにした。これによって、物体が表示されている位
置と操作者が指示する位置とをほぼ一致させることがで
き、物体により注目した状態で、操作を行うことができ
るようになる。
が直接指示すことにより、表示している物体を回転でき
るようにした。これによって、物体が表示されている位
置と操作者が指示する位置とをほぼ一致させることがで
き、物体により注目した状態で、操作を行うことができ
るようになる。
【0123】さらに、以上4つの実施例では、過去の回
転に用いた回転変換行列の履歴を格納できる手段を設け
ることにより、操作の取消しが可能なようにすることも
できる。
転に用いた回転変換行列の履歴を格納できる手段を設け
ることにより、操作の取消しが可能なようにすることも
できる。
【0124】例えば、図12において頭部を81の位置
から83の位置に回転させるときに用いた回転変換行列
を、図14に示すようなスタックに格納しておく。ここ
で、一番上に格納された回転変換行列91が現在の表示
を得るのに用いたもので、2番目、3番目に格納された
もの92、93は、現時点の1つ前、2つ前に用いた回
転変換行列である。
から83の位置に回転させるときに用いた回転変換行列
を、図14に示すようなスタックに格納しておく。ここ
で、一番上に格納された回転変換行列91が現在の表示
を得るのに用いたもので、2番目、3番目に格納された
もの92、93は、現時点の1つ前、2つ前に用いた回
転変換行列である。
【0125】このとき、操作者が取消しを指示すると、
現時点の1つ前に用いた回転変換行列92を取り出し、
これを用いて回転・投影の処理を行う。すると、現在の
表示を得る1つ前の3次元画像を表示することができ
る。
現時点の1つ前に用いた回転変換行列92を取り出し、
これを用いて回転・投影の処理を行う。すると、現在の
表示を得る1つ前の3次元画像を表示することができ
る。
【0126】また、以上4つの実施例では、表示する物
体が頭部のみであったが、複数の物体が存在する場合、
回転変換行列を全物体に作用させ、全物体を対象に回転
させることもでき、あるいは、例えば回転変換座標を基
準座標の位置に存在した物体のみに作用させ、その物体
のみを回転させることもできる。
体が頭部のみであったが、複数の物体が存在する場合、
回転変換行列を全物体に作用させ、全物体を対象に回転
させることもでき、あるいは、例えば回転変換座標を基
準座標の位置に存在した物体のみに作用させ、その物体
のみを回転させることもできる。
【0127】また、以上4つの実施例では、回転の方法
(回転軸,回転角)を基準座標と目標座標とから決定で
きるようにしたが、従来の方法を併用若しくは付加して
もよい。例えば、新たな回転軸(例えばX軸、Y軸、Z
軸)や回転角(例えば数値入力)を指示して回転を行う
ようにすることもでき、あるいは画面上に表示された3
次元画像は2次元の画像であるので、この画像を表示面
の原点を中心に回転可能な手段を付加してもよい。
(回転軸,回転角)を基準座標と目標座標とから決定で
きるようにしたが、従来の方法を併用若しくは付加して
もよい。例えば、新たな回転軸(例えばX軸、Y軸、Z
軸)や回転角(例えば数値入力)を指示して回転を行う
ようにすることもでき、あるいは画面上に表示された3
次元画像は2次元の画像であるので、この画像を表示面
の原点を中心に回転可能な手段を付加してもよい。
【0128】あるいは、処理時間等の問題からペン86
の移動(例えば82で示す移動)に頭部87の像の回転
表示を追従させることが困難な場合、ペン86の移動に
追従して少なくとも回転の状態を表現可能な文字、記
号、図形等を逐次表示するようにしてもよい。回転の状
態を表示する文字、記号、図形等としては、例えば物体
の領域を示す立方体や、物体の概観を示すワイヤーフレ
ームモデルによる3次元像等を用いることができる。こ
れらの図形についてのみペンの移動に追従して逐次生成
する回転変換行列にしたがって表示の回転の処理を行
い、その間は3次元原画像の投影像の向きは停止させた
ままとするか、もしくは画面から消去しても良い。さら
に、ペン86が画面から離されたこと、もしくはある一
定期間移動しなかったこと検出する検出手段を用い、こ
の検出手段の検出出力をトリガとして3次元原画像の投
影像の回転のための回転変換行列の生成を行い、回転後
の像を算出する。この回転の目標座標は、ペン86が画
面から離された座標、もしくはペン86が停止した座標
である。
の移動(例えば82で示す移動)に頭部87の像の回転
表示を追従させることが困難な場合、ペン86の移動に
追従して少なくとも回転の状態を表現可能な文字、記
号、図形等を逐次表示するようにしてもよい。回転の状
態を表示する文字、記号、図形等としては、例えば物体
の領域を示す立方体や、物体の概観を示すワイヤーフレ
ームモデルによる3次元像等を用いることができる。こ
れらの図形についてのみペンの移動に追従して逐次生成
する回転変換行列にしたがって表示の回転の処理を行
い、その間は3次元原画像の投影像の向きは停止させた
ままとするか、もしくは画面から消去しても良い。さら
に、ペン86が画面から離されたこと、もしくはある一
定期間移動しなかったこと検出する検出手段を用い、こ
の検出手段の検出出力をトリガとして3次元原画像の投
影像の回転のための回転変換行列の生成を行い、回転後
の像を算出する。この回転の目標座標は、ペン86が画
面から離された座標、もしくはペン86が停止した座標
である。
【0129】また、以上4つの実施例では、物体の位置
・形状など、物体に関するもので少なくとも表示に必要
な情報を含む3次元原画像データを基に、3次元画像を
生成、表示する場合について主に説明したが、ボリュー
ムレンダリングなど、ボクセルデータを用い、これを視
線に添って探索して3次元画像を生成、表示する場合に
も、適用可能である。この場合、視線の方向ベクトル
を、回転変換手段によって回転させることにより実現で
きる。但し、物体を回転させるのではなく、視線の方向
を回転させることから、回転変換行列そのものではな
く、その逆行列を作用させるようにする必要がある。
・形状など、物体に関するもので少なくとも表示に必要
な情報を含む3次元原画像データを基に、3次元画像を
生成、表示する場合について主に説明したが、ボリュー
ムレンダリングなど、ボクセルデータを用い、これを視
線に添って探索して3次元画像を生成、表示する場合に
も、適用可能である。この場合、視線の方向ベクトル
を、回転変換手段によって回転させることにより実現で
きる。但し、物体を回転させるのではなく、視線の方向
を回転させることから、回転変換行列そのものではな
く、その逆行列を作用させるようにする必要がある。
【0130】
【発明の効果】以上のように、本発明の画像操作方法に
おいては、操作者が表示されている物体を観察しなが
ら、操作の基準となる基準座標と、操作の目標となる目
標座標とを入力すると、基準座標と目標座標とから、基
準座標の位置に表示していた部位を目標座標の位置に表
示するように物体を回転可能な回転変換行列を生成する
ようにした。これによって、予め表示されている物体に
対して直接操作を行うことにより、物体を回転すること
ができるようになるので、実空間上で実際に物体を回転
させるのと類似した感覚で、画面上の物体を回転させる
ことができるような、優れたユーザインタフェイスを実
現できるようになる。
おいては、操作者が表示されている物体を観察しなが
ら、操作の基準となる基準座標と、操作の目標となる目
標座標とを入力すると、基準座標と目標座標とから、基
準座標の位置に表示していた部位を目標座標の位置に表
示するように物体を回転可能な回転変換行列を生成する
ようにした。これによって、予め表示されている物体に
対して直接操作を行うことにより、物体を回転すること
ができるようになるので、実空間上で実際に物体を回転
させるのと類似した感覚で、画面上の物体を回転させる
ことができるような、優れたユーザインタフェイスを実
現できるようになる。
【0131】さらに、本発明の画像処理方法において
は、目標座標の入力に応じて、基準座標の位置に表示し
ていた部位を、目標座標の位置に表示するように、物体
を逐次回転できるようにした。これによって、操作者
は、指示の結果得られる3次元画像を観察しながら、所
望の回転を決定することができるようになる。
は、目標座標の入力に応じて、基準座標の位置に表示し
ていた部位を、目標座標の位置に表示するように、物体
を逐次回転できるようにした。これによって、操作者
は、指示の結果得られる3次元画像を観察しながら、所
望の回転を決定することができるようになる。
【0132】また、物体を表示している画面を、操作者
が直接指示すことにより、表示している物体を回転でき
るようにした。これによって、物体が表示されている位
置と操作者が指示する位置とをほぼ一致させることがで
き、物体により注目した状態で、操作を行うことができ
るようになる。
が直接指示すことにより、表示している物体を回転でき
るようにした。これによって、物体が表示されている位
置と操作者が指示する位置とをほぼ一致させることがで
き、物体により注目した状態で、操作を行うことができ
るようになる。
【図1】本発明の画像操作方法の一例を説明する図であ
る。
る。
【図2】3次元画像の表示手順の一例を説明する図であ
る。
る。
【図3】頭部と表示面との位置関係を説明する図であ
る。
る。
【図4】本発明の処理手順の一例を説明する図である。
【図5】目標座標変換手段を説明する図である。
【図6】第1の実施例での回転変換行列生成手段を説明
する図である。
する図である。
【図7】回転角決定手段を説明する図である。
【図8】第2の実施例での回転変換行列生成手段を説明
する図である。
する図である。
【図9】回転軸決定手段を説明する図である。
【図10】第3の実施例での回転変換行列生成手段を説
明する図である。
明する図である。
【図11】第4の実施例での回転変換行列生成手段を説
明する図である。
明する図である。
【図12】本発明の画像操作方法の一例を説明する図で
ある。
ある。
【図13】逐次回転可能な手順の一例を説明する図であ
る。
る。
【図14】回転変換行列の履歴を格納する手段の一例を
説明する図である。
説明する図である。
【符号の説明】 1 画面 2 操作前の頭部の3次元画像 3 基準座標 4〜5 目標座標 6 操作後の頭部の3次元画像 21 3次元原画像データ 22 回転変換手段 23 回転画像データ 24 投影変換手段 25 投影画像データ 26 陰面消去・陰影付け手段 27 表示画像データ 28 表示・座標入力手段 29 基準座標 30 目標座標 31 基準座標変換手段 32 目標座標変換手段 33 3次元基準座標 34 3次元目標座標 35 回転変換行列生成手段 36 回転変換行列 41 座標逆変換手段 42 回転角決定手段 43 行列生成手段 44 回転軸決定手段 45 行列生成手段 46 回転変換行列格納手段 47 行列乗算手段
Claims (13)
- 【請求項1】物体の3次元画像を画面上に表示するとき
の画像操作方法であって、前記物体の3次元原画像デ−
タから所定方向の投影画像を作製して画面に表示するこ
と、前記画面上の物体に対する操作者の直接操作を検出
すること、及び前記3次元原画像デ−タから前記直接操
作にしたがう方向の投影画像を作製して前記画面に表示
することの処理過程を含み、もって画面上での前記物体
の回転を行うことを特徴とする画像操作方法。 - 【請求項2】前記操作者の直接操作の検出の過程は、前
記操作者が前記画面上の位置を直接指示した結果を検出
することにより行なう請求項1記載の画像操作方法。 - 【請求項3】前記操作者の直接操作の検出の過程は、前
記操作者から入力された回転の基準となる基準座標を検
出する過程と、前記操作者から入力された回転の目標と
なる目標座標を検出する過程とを含み、前記画面上での
前記物体の回転は前記基準座標の物体部位が前記目標座
標の位置に移動する如く行うことを特徴とする請求項1
記載の画像操作方法。 - 【請求項4】前記操作者の直接操作の検出の過程は、前
記操作者から入力された回転の基準となる基準座標を検
出する過程、前記基準座標を前記3次元原画像デ−タの
座標系である3次元座標系上の位置に変換して3次元基
準座標とする過程、前記操作者から入力された回転の目
標となる目標座標を検出する過程、前記目標座標を前記
3次元座標系上の位置に変換して3次元目標座標とする
過程、及び前記3次元基準座標と前記3次元目標座標か
ら回転変換行列を生成する過程を含む個とを特徴とする
請求項1記載の画像操作方法。 - 【請求項5】前記目標座標の検出、前記目標画像から3
次元目標座標への変換、及び前記回転変換行列の生成の
各過程は操作者の指示座標の移動にしたがって逐次行わ
れ、もって前記画面上での前記物体の回転は操作者の指
示座標の移動を追従するごとく順次行われることを特徴
とする請求項4記載の画像操作方法。 - 【請求項6】逐次生成される回転変換行列は記憶手段に
格納され、もって過去の画像の回転の履歴が記録される
ことを特徴とする請求項4記載の画像操作方法。 - 【請求項7】前記操作者の指示座標の移動に追従する前
記物体の回転は、逐次生成される回転変換行列にしたが
って前記物体の概略を示す表示を順次回転する過程と、
操作者の指示座標の移動が停止したときに生成された回
転変換行列にしたがって前記物体の投影像の向きを回転
させる過程との2段階に分けて実施される請求項5記載
の画像操作方法。 - 【請求項8】前記回転変換行列は前記3次元原画像デ−
タの座標系の原点を通る直線を回転軸として投影像の向
きを回転させる回転変換行列である請求項4記載の画像
操作方法。 - 【請求項9】前記回転変換行列は前記3次元原画像デ−
タの座標系の原点と前記3次元基準座標と前記3次元目
標座標を通る平面に垂直でかつ前記座標系の原点を通る
直線を回転軸として投影像の向きを回転させる回転変換
行列である請求項4記載の画像操作方法。 - 【請求項10】前記回転変換行列は前記3次元原画像デ
−タの座標系の3本の座標軸のうち予め定められた2本
の座標軸を回転軸として投影像の向きを回転させる回転
変換行列である請求項4記載の画像操作方法。 - 【請求項11】前記目標座標から3次元目標座標への変
換はZバッファに格納されている奥行き値を利用して実
施することを特徴とする、請求項4記載の画像操作方
法。 - 【請求項12】前記回転変換行列の生成は、予め当該物
体を表示するとき行った回転より前での当該部位の位置
から、目標とする位置へ直接回転可能な座標変換の行列
を生成し、これを3次元基準座標を3次元目標座標に変
換する座標変換の行列とすることにより行う請求項4に
記載の画像操作方法。 - 【請求項13】前記回転変換行列の生成は、予め当該物
体を表示するとき行った回転より後での当該物体の位置
から、目標とする位置へ回転する座標変換の行列を求
め、求めた行列と、予め物体を表示するとき行った回転
に用いた座標変換の行列との積を求めることにより行う
請求項4に記載の画像操作方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4003673A JPH05189541A (ja) | 1992-01-13 | 1992-01-13 | 画像操作方法 |
US08/001,389 US5644689A (en) | 1992-01-13 | 1993-01-06 | Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4003673A JPH05189541A (ja) | 1992-01-13 | 1992-01-13 | 画像操作方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05189541A true JPH05189541A (ja) | 1993-07-30 |
Family
ID=11563946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4003673A Pending JPH05189541A (ja) | 1992-01-13 | 1992-01-13 | 画像操作方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05189541A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527056A (ja) * | 2003-06-11 | 2006-11-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 3次元ボリューム空間クロップのユーザ制御 |
WO2011033769A1 (ja) | 2009-09-17 | 2011-03-24 | 富士フイルム株式会社 | 医用画像表示装置および方法並びにプログラム |
JP2012040285A (ja) * | 2010-08-23 | 2012-03-01 | Fujifilm Corp | 画像表示装置および方法、並びに、プログラム |
JP2013021459A (ja) * | 2011-07-08 | 2013-01-31 | Toshiba Corp | 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置 |
US8547377B2 (en) | 2008-06-03 | 2013-10-01 | Fujifilm Corporation | Projection image generation apparatus, method, and program |
-
1992
- 1992-01-13 JP JP4003673A patent/JPH05189541A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527056A (ja) * | 2003-06-11 | 2006-11-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 3次元ボリューム空間クロップのユーザ制御 |
US8547377B2 (en) | 2008-06-03 | 2013-10-01 | Fujifilm Corporation | Projection image generation apparatus, method, and program |
WO2011033769A1 (ja) | 2009-09-17 | 2011-03-24 | 富士フイルム株式会社 | 医用画像表示装置および方法並びにプログラム |
US8625867B2 (en) | 2009-09-17 | 2014-01-07 | Fujifilm Corporation | Medical image display apparatus, method, and program |
JP2012040285A (ja) * | 2010-08-23 | 2012-03-01 | Fujifilm Corp | 画像表示装置および方法、並びに、プログラム |
WO2012026090A1 (ja) * | 2010-08-23 | 2012-03-01 | 富士フイルム株式会社 | 画像表示装置および方法、並びに、プログラム |
US8907949B2 (en) | 2010-08-23 | 2014-12-09 | Fujifilm Corporation | Image display apparatus, method and program |
JP2013021459A (ja) * | 2011-07-08 | 2013-01-31 | Toshiba Corp | 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5644689A (en) | Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint | |
EP0856786B1 (en) | Window Displaying apparatus and method | |
JP2559910B2 (ja) | 2次元グラフィック・ディスプレイにおける3次元点の指定方法及び装置 | |
JP2907105B2 (ja) | 3次元表示装置 | |
JP2824454B2 (ja) | 三次元図形入力方式 | |
JP2004362218A (ja) | 三次元物体操作方法 | |
JPH05189541A (ja) | 画像操作方法 | |
CN107481306B (zh) | 一种三维交互的方法 | |
JP4683639B2 (ja) | 画像処理方法、画像処理装置 | |
JP5767371B1 (ja) | 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム | |
US6144384A (en) | Voxel data processing using attributes thereof | |
JP3276949B2 (ja) | 3次元有向体の定位方法及び画像処理装置 | |
CN114089879B (zh) | 一种增强现实显示设备的光标控制方法 | |
JP3413145B2 (ja) | 仮想空間の編集方法及び仮想空間の編集装置 | |
JP3672352B2 (ja) | 3次元立体配置編集方法及び3次元立体配置編集装置 | |
JPH03211686A (ja) | コンピュータ制御デイスプレイ方法および装置 | |
JP3732174B2 (ja) | 3次元立体配置編集方法及び3次元立体配置編集装置 | |
WO2024042763A1 (ja) | 情報処理装置、情報処理システム、およびプログラム | |
JP2005322097A (ja) | 対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラム | |
JPH06243266A (ja) | 透視図作成装置 | |
JPH11175758A (ja) | 立体表示方法および装置 | |
JPH11296302A (ja) | 3次元座標値入力装置 | |
JPH0762793B2 (ja) | 三次元カ−ソル表示装置 | |
JPH06266824A (ja) | 画像表示装置 | |
JPH11272891A (ja) | 三次元空間表示システムにおける表示状態の制御方法および装置並びに制御用記録媒体 |