JP2000182058A - 三次元運動入力方法及び三次元運動入力システム - Google Patents

Abstract

(57)【要約】 【課題】 ステレオ撮影方式を用いて三次元運動情報を
入力する場合に、運動抽出点の対応点指定作業を空間的
にも時間的にも自動化し、効率的に運動情報の入力を行
えるようにすること。 【解決手段】 三次元運動入力方法は、視差のある一対
の動画像を撮影する撮影工程と、撮影された前記一対の
動画像を、立体視されるようにステレオ表示する表示工
程（Ｓ８００２、Ｓ８０１４）と、ステレオ表示された
画像を観察する観察者の視線方向を検知する視線検知工
程（Ｓ８０１０）と、検知された視線方向に基づいて、
前記一対の動画像の対応点を検出する対応点検出工程
（Ｓ８０１１）と、検出された対応点に対応する動画像
上の点の三次元座標を算出する算出工程（Ｓ８０１１）
と、三次元座標を時間に対応付けて記憶する記憶工程
（Ｓ８０１２）とを有することを特徴とする

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は三次元運動入力方法
及び三次元運動入力システムに関し、更に詳しくは、ス
テレオ撮影方式により実在する物体の三次元運動を入力
する場合の、三次元運動入力方法及び三次元運動入力シ
ステムに関するものである。

【０００２】

【従来の技術】近年、映画等の特撮シーンの制作に、コ
ンピュータグラフィックス（以降ＣＧと略す）を利用し
たデジタル映像合成技術が多用されるようになってきて
いる。これは、現実の撮影方法では撮影不可能、または
撮影困難とされるシーン作成に利用され、実写シーン中
の特定の物体をＣＧによって作成された人工的な映像で
置き換えたり、新たなＣＧ映像を追加したりする方法で
ある。この場合、実写映像とＣＧ映像のより正確な合成
を行うためには、実写映像中の置換対象となる物***置
や、ＣＧ映像追加位置の三次元座標情報とその時間変
化、すなわち三次元運動情報を、何らかの方法で知る必
要がある。

【０００３】一方、上記デジタル映像合成技術は実在物
体による映像をＣＧによる人工的な映像で補完するもの
と考えられるが、これとは逆に、全てＣＧによって作ら
れた映像に、実在物体の運動特性を与える技術の必要性
も大きい。すなわち、実在物体の三次元運動情報を何ら
かの方法で数値として抽出し、この運動情報をＣＧによ
る映像生成過程に反映させる技術である。この用途で行
われる運動特性の抽出処理はモーションキャプチャリン
グと呼ばれている。モーションキャプチャリングの使用
例は、コンピュータグラフィックスによって作られたキ
ャラクタが実在のダンサーのように踊る映像等に見られ
る。また、最近のコンピュータゲーム等ではキャラクタ
の動きに現実性を持たせるために一般的に用いられてい
る。

【０００４】このような背景のもと、実在の運動物体か
ら、撮影や計測によって三次元運動情報を抽出する技
術、すなわち、三次元運動入力の技術が近年、ますます
必要とされている。

【０００５】三次元運動入力は、運動物体の特定の点に
着目し、この点の三次元情報を時系列順に抽出すること
によって行われる。この三次元運動入力を実現するため
の現在利用可能な方法には、磁気センサ方式、光学方
式、およびステレオ撮影方式等が上げられる。以下、こ
れら方式の原理を簡単に説明する。

【０００６】１．磁気センサ方式 磁気センサ方式は現在、精度の良い三次元運動入力の有
力な手段として多く利用されている。これは計測対象に
磁気センサを装着し、トランスミッターとよばれる信号
源からの信号を磁気センサにより検知することによって
磁気センサの空間位置や方向を取得するものである。こ
の磁気センサ方式は三次元座標を直接、高速に得ること
ができるため、実時間での三次元座標入力が可能であ
る。また、一センサあたり、位置と方向の両方の情報が
得られるので高精度の三次元運動入力が可能である。こ
のため、磁気センサ方式は現在、モーションキャプチャ
リングに多く利用されている。ただし、磁気センサ方式
ではセンサの装着が必須であり、これは計測対象の運動
にある程度の負担をかけ、同時に可動領域にも制限をつ
ける。更に、計測は計測装置を配備した撮影スタジオ内
に限られる、という制限が付く。

【０００７】２．光学方式 光学方式は、計測対象に光学的なマーカーを装着し、予
め位置と方向のわかっている複数のカメラの撮影によっ
て三次元運動を抽出する方法である。この場合、撮影時
に赤外線等の特定波長で計測対象を照射し、マーカーに
はこの特定波長を強く反射する素材を用いる。これによ
りマーカーの像のみからなる映像を撮影することがで
き、マーカーの撮影画像と各カメラの座標情報からマー
カーの座標情報を算出することができる。この方法は計
測対象の運動に磁気センサ方式ほどの負荷はかけないも
のの、計測は磁気センサ方式同様、計測装置を配置した
特殊な撮影スタジオ内に限られる。

【０００８】３．ステレオ撮影方式 複数の静止画像から物体の三次元情報を抽出する方法と
して、ステレオカメラ撮影による方法が知られている。
これは、図１に示すように、二台のカメラ１０１，１０
２、あるいは二回の撮影により、二視点から撮影された
視差のある二画像を情報源に用いる。この視差を持つ左
右二画像１０３，１０４を用い、着目点の左右二画像中
での対応点をそれぞれ指定することによって、三角測量
の原理により、着目点の三次元座標が得られる。以降、
このステレオカメラ撮影と対応点指定による三次元座標
の抽出方法をステレオ撮影方式と呼ぶことにする。この
ステレオ撮影方式を一連の時系列画像に適用すれば、原
理的には三次元運動入力が可能となる。

【０００９】前述したように、三次元運動入力の目的と
して、モーションキャプチャリングのように三次元運動
情報源の運動情報のみを必要とし、映像情報は必要で無
い場合がある。この場合は、磁気センサ方式や光学方式
が有効であり、実際よく使用されている。しかし、撮影
対象が限定されるという欠点がある。一方、三次元運動
入力と撮像の撮影を同一事象の情報源から行う必要性も
存在する。それは、実写撮影によって得られた映像か
ら、特定の撮影物の三次元運動情報を得たい場合などで
ある。この場合、磁気センサ方式や光学方式では、セン
サやマーカーの画像が撮影画像に混入するため、撮影画
像自体はほとんど使用できない。また、特殊な撮影スタ
ジオでの撮影に限定される点も大きな障害となる。よっ
て、三次元運動入力と撮像の撮影を同一事象の情報源か
ら行うためにはステレオ撮影方式が最も適した選択とな
る。

【００１０】前記従来技術で説明したように、従来の磁
気センサ方式や光学方式が適用不可能な状況下での三次
元運動入力の必要性が多く存在する。そして、その要求
を満たすために、現状では、ステレオ撮影方式が最も有
効な方法と考えられる。

【００１１】更に、ステレオ撮影方式は磁気センサ方式
や光学方式に比べ安価に実現可能である。また、通常の
映像取得を目的とした撮影にもう一台のカメラを追加す
るだけの装置構成で済み、映像取得を目的とした撮影と
の新和性が高い。よって、磁気センサ方式や光学方式の
代用として使用する利点は大きい。ところが、このステ
レオ撮影方式による三次元運動入力には以下の欠点が存
在した。

【００１２】まず第一に、左右画像からの三次元座標情
報導出に左右二画像中の対応点指定を行わなければなら
なかった。これは特定の着目点に対し、左右二つの画像
上の各対応点をマウス等により、手動で指定する作業を
必要とした。この作業は、図１に示すように、左（或い
は右）画像１０３に着目し、マウスで適当な代表点１０
５を選び、次に右（或いは左）画像１０４に着目し、先
に選んだ代表点に対応する点１０６をマウスで選ぶ、と
いう単純な作業である。しかし、三次元運動入力を行う
場合は、この作業を全ての時刻について行う必要があ
り、操作者に大きな負担をかけるだけでなく、時間もか
かっていた。

【００１３】このような対応点の指定作業を軽減させる
方法として、左右画像の相関計算を行い、自動的に対応
点を算出する方法が知られている。これは左右画像の二
点に対し、相関度を定義し、左（または右）画像上に与
えられた一点に対し、相関度が最大になる、右（または
左）画像上の点を対応点とするものである。相関度の計
算は、左右画像の二点に対し、それらの点を囲む大きさ
の等しい矩形領域を、左右画像上でそれぞれ定義し、こ
の矩形領域内において、左画素値データＬ（ｘ，ｙ）と
左画素値データＲ（ｘ，ｙ）の二次元相関をとることに
よって行われる。しかしながら、この相関計算による自
動的な対応点検出にも、多くの計算時間を要する点、左
右画像、少なくともどちらか一方の画像において運動抽
出点を指定する必要がある点等、幾つかの問題があり、
今のところ対応点検出処理の大きな改善は得られていな
い。よって、従来のステレオ撮影方式を使用する場合は
多大な時間をかけて三次元運動入力が行われていた。

【００１４】上記、左右画像の対応点指定作業は、左右
二つの視点を基準にした二つの座標系間の対応付けであ
り、空間的な対応点の指定であると言える。一方、ステ
レオ撮影方式を時系列画像に適用する場合、この空間的
な対応点指定に加え、時間的な対応点の指定作業が必要
になる。すなわち、ある時刻の画像上の一点で指定され
る三次元空間中の物体の一点が、次時刻の画像上のどの
点に対応しているのかを指定する必要がある。この時間
的な対応点指定に関し、次に述べる問題が発生する。

【００１５】ここで、単に、右画像、または左画像どち
らかの時系列画像を同一画面上に連続表示した場合を考
えてみる。この場合、撮影物体の特定の点に着目し、そ
の点を時間経過とともに追跡する事は容易である。なぜ
なら、画面上で連続的に一を変える抽出点に着目し、認
識し続けることは人間の動画認識能力上、容易だからで
ある。しかし、右左の時系列画面上異なる位置に時間順
に表示し、順次、対応点指定作業を行う場合は、一時刻
ごとに左右画像の対応点指定作業が必要となる。図１２
はこの状況を表している。よって、当然、画像の時間的
連続性は途切れ、更に操作者の視線は異なる位置にある
左右画像間で行き来する（１１００１，１１００３）。
これらの理由から従来のステレオ撮影方式を時系列ステ
レオ画像に順次適用する、という方法では着目点のフレ
ーム間に渡る追跡を失い易い、つまり、運動の抽出点と
してどの点に着目していたかを見失い易く、場合によっ
ては時間的に前後のフレーム間での画像比較が必要にな
る（１１００２）。

【００１６】

【発明が解決しようとする課題】以上説明したとおり、
従来のステレオ撮影方式による三次元運動入力には、一
点の三次元座標抽出時の左右画像対応点指定作業に時間
がかかる点、および運動の抽出点の時間軸上での追尾、
すなわち時間的な対応点指定作業が難しいという点に問
題があった。

【００１７】本発明は上記問題点を鑑みてなされたもの
であり、ステレオ撮影方式を用いて三次元運動情報を入
力する場合に、運動抽出点の対応点指定作業を空間的に
も時間的にも自動化し、効率的に運動情報の入力を行う
ことのできる三次元運動入力方法及び三次元運動入力シ
ステムを提供することを目的とする。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の三次元運動入力方法は、視差のある一対の
動画像を撮影する撮影工程と、前記撮影工程において撮
影された前記一対の動画像を、立体視されるようにステ
レオ表示する表示工程と、前記表示工程でステレオ表示
された画像を観察する観察者の視線方向を検知する視線
検知工程と、前記視線検知工程で検知された視線方向に
基づいて、前記一対の動画像の対応点を検出する対応点
検出工程と、前記対応点検出工程により検出された対応
点に対応する動画像上の点の三次元座標を算出する算出
工程と、前記算出工程により得られた三次元座標を時間
に対応付けて記憶する記憶工程とを有する。

【００１９】または、視差のある一対の動画像を記録媒
体から読み出す読み出し工程と、前記読み出し工程で前
記記録媒体から読み出された前記一対の動画像を、立体
視されるようにステレオ表示する表示工程と、前記表示
工程でステレオ表示された画像を観察する観察者の視線
方向を検知する視線検知工程と、前記視線検知工程で検
知された視線方向に基づいて、前記一対の動画像の対応
点を検出する対応点検出工程と、前記対応点検出工程に
より検出された対応点に対応する動画像上の点の三次元
座標を算出する算出工程と、前記算出工程により得られ
た三次元座標を時間に対応付けて記憶する記憶工程とを
有する。

【００２０】また、本発明の三次元運動入力システム
は、視差のある一対の動画像を撮影する撮影手段と、前
記撮影手段により撮影された前記一対の動画像を、立体
視されるようにステレオ表示する表示手段と、前記表示
手段でステレオ表示された画像を観察する観察者の視線
方向を検知する視線検知手段と、前記視線検知手段で検
知された視線方向に基づいて、前記一対の動画像の対応
点を検出する対応点検出手段と、前記対応点検出手段に
より検出された対応点に対応する動画像上の点の三次元
座標を算出する算出手段と、前記算出手段により得られ
た三次元座標を時間に対応付けて記憶する記憶手段とを
有する。

【００２１】または、視差のある一対の動画像を記録媒
体から読み出す読み出し手段と、前記読み出し手段によ
り前記記録媒体から読み出された前記一対の動画像を、
立体視されるようにステレオ表示する表示手段と、前記
表示手段でステレオ表示された画像を観察する観察者の
視線方向を検知する視線検知手段と、前記視線検知手段
で検知された視線方向に基づいて、前記一対の動画像の
対応点を検出する対応点検出手段と、前記対応点検出手
段により検出された対応点に対応する動画像上の点の三
次元座標を算出する算出手段と、前記算出手段により得
られた三次元座標を時間に対応付けて記憶する記憶手段
とを有する。

【００２２】上記構成によれば、実写映像からステレオ
撮影方式により三次元運動情報を抽出する場合に、三次
元座標の時系列抽出にかかる作業量および作業時間を大
幅に削減することができるため、センサ不要のメリット
を持つステレオ撮影方式を、三次元運動入力方法として
使用することが容易となり、三次元運動入力の撮影対象
をより広範なものにすることができる。

【００２３】本発明の好適な一態様によれば、前記撮影
工程では、前記撮影手段は、撮影位置および方向を固定
した状態で動画像を撮影する。

【００２４】または、本発明の好適な別の一態様によれ
ば、前記撮影工程では、予め決められた軌道上で前記撮
影手段による撮影位置を移動しながら動画像を撮影す
る。

【００２５】上記構成により、本発明を静止物体の形状
入力に利用することが可能となり、容易に形状表示の精
度を向上することができる。

【００２６】更に、本発明の好適な一態様によれば、前
記対応点検出工程では、前記対応点検出手段により前記
動画像における静止物体上の点と、前記動画像における
運動物体の点の、それぞれの対応点を検出し、前記算出
工程では、前記静止物体上の点を基準とした動物体上の
点の三次元座標を算出する。これにより、撮影位置が任
意に変化した場合でも、撮影された画像内の静止物体を
基準とした三次元座標を得ることができるため、撮影時
の自由度が向上する。

【００２７】更に、本発明の好適な一態様によれば、前
記表示工程では、前記表示手段上に所定時間毎に、前記
一対の動画像の一時刻における一対の画像を、それぞれ
次の時刻の画像に更新して表示し、前記算出工程では、
前記算出手段により前記所定時間間隔で動画像上の点の
三次元座標を算出する。

【００２８】また、本発明の好適な別の一態様によれ
ば、前記表示工程では、前記表示手段上に外部からの指
示に基づいて、前記一対の動画像の一時刻における一対
の画像を、それぞれ次の時刻の画像に更新して表示し、
前記算出工程では、前記算出手段により前記画像更新工
程で更新された一対の画像上の点の三次元座標を算出す
る。これにより、観察者が自由に運動入力のタイミング
を指示することができるため、観察者にかかる負担を軽
減することができる。

【００２９】また、本発明の好適な一態様によれば、前
記算出工程では、前記算出手段により前記一対の動画像
中、前記対応点検出工程で得られた対応点付近の二次元
領域について二次元相関演算を行い、得られた相関値に
基づいて前記一対の動画像上の新たな対応点を求め、新
たに求められた対応点に基づいて動画像上の点の三次元
座標を算出する。

【００３０】また、本発明の好適な一態様によれば、前
記視線検知工程では、前記視線検知手段内の非可視光光
源により非可視光を観察者の眼球に照射し、前記視線検
知手段は観察者の眼球瞳孔中心位置と角膜反射面からの
非可視光の虚像位置の相対関係から、観察者の眼球の回
転角度を求め、視線方向を検知する。

【００３１】また、本発明の好適な一態様によれば、前
記視線検知手段は、非可視光を観察者の眼球に照射する
光源を有し、観察者の眼球瞳孔中心位置と角膜反射面か
らの非可視光の虚像位置の相対関係から、観察者の眼球
の回転角度を求め、視線方向を検知する。

【００３２】また、好ましくは、前記表示手段は、観察
者の頭部と表示面の相対的な位置関係を固定することの
可能な頭部装着型立体画像表示装置である。

【００３３】また、更に好ましくは、前記頭部装着型画
像表示装置は、前記視線検知手段を有する。

【００３４】また、本発明の好適な一態様によれば、前
記表示手段は、前記表示手段に対する観測者頭部の相対
的な位置を検知する機構を有する立体画像表示装置であ
り、前記立体画像表示装置に対する観測者頭部の相対的
位置変化を検知し、検知した相対的位置変化に基づい
て、前記視線検知手段における視線方向を補正する。

【００３５】

【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。

【００３６】＜第１の実施形態＞本実施の形態における
三次元運動入力システムはステレオ画像撮影装置、頭部
装着型立体画像表示装置、視線検出装置、およびコンピ
ュータから構成される。

【００３７】図２は本実施の形態における三次元運動入
力システムの全体構成の概念図を示している。ステレオ
画像撮影装置２０１および２０２は、運動物体を時系列
ステレオ画像として撮影する。運動物体は時刻１に２０
３ａ、時刻２に２０３ｂにあるものとする。撮影された
時系列ステレオ画像はコンピュータ２０４に入力され、
頭部装着型の視線検出装置付きの立体画像表示装置２０
５に表示される。この時、時刻１の運動物体２０３ａの
画像、次いで時刻２の運動物体２０３ｂの画像という順
に表示される。運動入力の作業中、観測者２００は立体
画像表示装置２０５に時系列順に表示される仮想物体２
０６ａ，２０６ｂの一点を注視し続ける。この時、観測
者２００の視線を視線検出装置２０５により検出する。
視線情報はコンピュータに入力され、コンピュータは視
線情報を時系列順に解析し、三次元運動情報２０７を導
出する。

【００３８】（ステレオ撮影）図２の２０１、および２
０２は本発明の実施の形態に使われるステレオ画像の撮
影装置（以下、それぞれ「左眼用カメラ］および「右眼
用カメラ」と呼ぶ。）である。本実施の形態では二台の
デジタルビデオカメラを使用する。左目用カメラ２０１
と右目用カメラ２０２は一定距離離し、それぞれの光軸
が平行になるように配置される。本実施例では時系列画
像を得るためにデジタルビデオカメラを使用するが、ア
ナログビデオカメラを使用してもよい。

【００３９】（撮影時のタイムコード記録）上記左右二
台のビデオカメラ２０１，２０２によって撮影された映
像はそれぞれ別々の記録テープなどの記録媒体に記録さ
れる。記録テープの再生時、すなわちステレオ立体画像
生成時には、左右画像の時刻同期をとる必要がある。つ
まり、右眼用カメラ２０２で撮影された映像から、着目
時刻「時刻Ｔ」の画像を選んだならば、左眼用カメラ２
０１の映像からは「時刻Ｔ」と同時刻の画像を選び、一
組のステレオ画像を作らなければならない。もちろん、
撮影開始時に記録テープを完全に巻き戻し、左右二台の
カメラの撮影を同時に開始し、記録テープの再生時にテ
ープを完全に巻き戻した状態から開始すれば、テープ走
行量から時刻同期は得られる。しかし、実際はこのよう
な方法は不便であるため、ビデオカメラは記録テープへ
のタイムコード記録機能を持つことが好ましい。タイム
コード記録機能はほとんどのビデオカメラに装備されて
いるが、仮にタイムコード記録機能が装備されていない
カメラであっても撮影対象となる現象の直前に、後に左
右画像の時刻特定が可能な現象を意図的に入れタイムコ
ードの代用にしてもよい。

【００４０】本実施の形態では二台のビデオカメラを使
用するが、二台のビデオカメラを用いなくとも１台のビ
デオカメラの光学系を工夫し、光学像検出装置、例えば
ＣＣＤの結像面上に左右二視点からの像が半分ずつ写る
ようにしてもよい。このようにすれば一台のビデオカメ
ラのみ使用する構成にすることができる。

【００４１】また、使用する撮影装置は通常の動画撮影
用に使われるアナログビデオカメラやデジタルビデオカ
メラでなくとも、時間変化する現象を十分短い時間間隔
で任意の記録媒体に撮影し記録することのできる任意の
撮影装置を本発明に適用可能であることは明らかであ
る。

【００４２】図３は本発明の実施に使われるコンピュー
タ２０４の構成を示したものである。コンピュータ２０
４の主記憶装置３００３には、視線情報から三次元運動
情報を導出するためのプログラムが格納され、このプロ
グラムはコンピュータのＣＰＵ３００４によって実行さ
れる。記録媒体３０１１に記録されている時系列ステレ
オ画像は、記録媒体再生装置３０１２と映像信号入力回
路３００２を介して入力され、二次記憶装置３０１５に
デジタル情報の時系列ステレオ画像として保持される。
三次元座標抽出の処理対象となるステレオ画像は画像メ
モリ３００５に置かれ、立体画像表示装置３０１３に、
映像信号出力回路３００６を通じて出力される。視線検
出装置３０１４から送出される視線データは、視線デー
タ入力回路３００７により受信され、コンピュータ２０
４内に取り込まれる。操作者とコンピュータの対話に
は、マウス３００８、キーボード３００９等の入力装置
を用いる。

【００４３】立体画像表示装置３０１３と視線検出装置
３０１４の説明を行う前に、まず、立体視の原理と、視
線情報から、注目点の三次元座標情報、更には三次元運
動情報を導出する原理について簡単に説明する。

【００４４】（融像動作）一組のステレオ静止画像を利
用した立体画像表示装置によって、人間が立体感を得ら
れる原理についてはよく知られているが、ここで、この
原理について簡単に触れておく。

【００４５】図４の４０１は物体４０３と、物体４０３
を観測する観測者の眼球の様子を上から見た図であり、
図４（ｂ）は観測者の眼球の様子と立体画像表示装置３
０１３を上から見た図である。人間は三次元空間中にあ
る物体４０３の注目点４０２を注視した場合、図４
（ａ）に示すように、眼球の左右の光軸が注目点４０２
で交差するよう調節する。この動作は左右眼球の網膜上
での左右画像の位置、すなわち注目点４０２の位置を一
致させる事に相当し、「融像」と呼ばれている。ステレ
オ立体視を利用した立体画像表示装置は、この融像動作
を、観測者に人工的に誘起させる事によって立体感を与
えている。すなわち、図４（ｂ）に示すように、視差の
ある左右画像４０５と４０６を、何らかの方法で、左右
の目に分離入力されるように工夫する。この時、表示装
置を注視する観測者は、視差のある注目点の左右画像を
融像すべく、眼球の光軸を図４（ｂ）に示すように制御
する。この結果、光軸の交差する点、すなわち図４の点
４０７に、物体の注目点が存在するように錯覚される。

【００４６】なお、図４（ｂ）では、左右画像４０５と
４０６は、説明の都合上、前後ずらした位置に表示され
ているが、実際には同じ位置に表示される。本実施の形
態では、図５に示すように、二つのＬＣＤ５０１、５０
２に表示された別々の左右画像を、左右異なる光学系５
０３、５０４を通して観察する。このため、同じ表示位
置５０５に表示される、異なるＬＣＤ画像の虚像が、左
右眼球に分離入力されるように工夫されている。

【００４７】以上説明した融像動作は、人間の脳で行わ
れる左右画像の自然なパターンマッチングにより、全く
無意識に行われると考えられる。本発明では、人間が持
つ、この自然な融像動作を利用して、左右画像の対応点
を導き出す。すなわち、注目点を融像している観測者の
視線は、左右画像上での注目点の対応点をそれぞれ指し
ている。よって、観測者の視線を検出することにより、
左右画像上での注目点の対応点座標を知ることができ
る。左右画像上での注目点の座標が求まれば、あとは三
角測量の原理によって、注目点の三次元座標が導き出さ
れる。以上が、視線情報から、注目点の三次元座標情報
を導出する原理である。

【００４８】（着目点時間追尾動作）上記の三次元座標
導出方法において、ステレオ画像の表示方法として、時
系列ステレオ画像を時系列順に表示し、ステレオ画像を
動画として表示する。この時、ステレオ画像を観測する
観測者は運動物体の抽出点を意識的に追尾することが可
能である。以上に説明したように、ステレオ撮影された
動画を立体画像表示装置に表示し、物体を立体視させな
がら注目点を追尾させ、この時の観測者の視線を時間経
過とともに検出すれば、注目点の三次元運動情報が得ら
れる。

【００４９】（立体画像表示装置と視線検出装置の詳
細）次に立体画像表示装置３０１３と視線検出装置３０
１４の詳細を説明する。

【００５０】図６は本発明の実施に使われる立体画像表
示装置３０１３と視線検出装置３０１４の構成を示した
ものである。

【００５１】２０５は、立体画像表示装置３０１３と視
線検出装置３０１４を内包する視線検出装置付き立体画
像表示装置であり、頭部に装着される筐体に、表示装置
を組み込んだものである。通常、Ｈｅａｄ Ｍｏｕｎｔ
ｅｄ Ｄｉｓｐｌａｙ（ＨＭＤ）と呼ばれている。

【００５２】まず、表示系について説明する。

【００５３】映像入力回路６００３は、コンピュータ２
０４からの映像信号を入力する。ＬＣＤ表示回路６００
２は、ステレオ画像を左右二つのＬＣＤ（液晶表示素
子）５０１，５０２にそれぞれ表示する。先に図５を参
照して説明したように、ＬＣＤ５０１，５０２の画像は
プリズム型接眼レンズ５０３，５０４により、観測者全
面の適度な位置と虚像として導かれる。

【００５４】次に視線検出系について説明する。

【００５５】６０１０は眼球照明用赤外線発光ダイオー
ド（ＩＲＥＤ），６００７，６００８は眼球撮像用光学
系、６００６は眼球撮像素子、６００５は視線検出回路
である。

【００５６】本実施例が採用する視線検出装置３０１４
は既に実施されており、原理はよく知られているため、
ここでは図６と図７を参照して視線検出の原理について
簡単に説明する。観測者の眼球は、それぞれの眼球に対
し左右対称に配置された二つの赤外線発光ダイオード
（図６のＩＲＥＤ６０１０）によって照明され、光学系
６００７，６００８を介して撮像素子６００６によって
撮影される。図７（ｂ）と（ｄ）は観測者が正面を注視
している状態と、左方を注視している状態の眼球撮影画
像の模式図である。図７（ｂ），（ｄ）中、黒い領域は
瞳孔像であり、瞳孔内の明るい二点は、角膜によって反
射された、二つのＩＲＥＤの虚像である。

【００５７】図７（ａ），（ｃ）に示すように、眼球光
軸の水平方向に対する傾き角ａは、瞳孔中心位置Ｃと角
膜曲率中心位置Ｏの垂直方向の差Ｄ、及び瞳孔中心と角
膜曲率中心間の距離ＣＯによって決定できる。

【００５８】瞳孔中心の位置Ｃは、眼球撮影の画像解析
により、瞳孔の画像領域の中心点を求めることによって
決定できる。また、角膜の曲率中心の位置Ｏは、ＩＲＥ
Ｄの角膜反射による虚像の位置から決定できる。よっ
て、眼球撮影画像の解析から瞳孔中心位置と角膜曲率中
心位置の差Ｄが求められる。

【００５９】一方、瞳孔中心と角膜曲率中心間の距離Ｃ
Ｏは、個人に依存する因子である。また、中央注視時の
眼球の光軸は、通常、眼球中心と前方正面中央点を結ぶ
軸（直視軸）とは一致せず、直視軸に対しある程度の角
度を持っている。この角度も、個人に依存する因子であ
る。これら個人依存の因子は、眼球撮影像から視線角度
を算出する上での二つ補正因子として扱われる。結局、
片眼の水平方向の視線角度ａは瞳孔中心と角膜曲率中心
間の水平方向距離ｄｘ、および補正項Ｃ１，Ｃ２の関数
として式（１）のように表せる。

【００６０】 ａ＝ａｒｃｓｉｎ（ｄｘ×Ｃ１）−Ｃ２ （１） 同様に、片眼の垂直方向の視線角度ｂは瞳孔中心と角膜
曲率中心間の垂直方向距離ｄｙ、および補正項Ｃ３，Ｃ
４の関数として式（２）のように表せる。

【００６１】 ｂ＝ａｒｃｓｉｎ（ｄｙ×Ｃ３）−Ｃ４ （２） Ｃ１，Ｃ２，Ｃ３，Ｃ４の補正項は、各個人の視線検出
行為に一度行われる補正処理によって決定される。補正
処理は、特定の補正点を画面に表示し、その点を観測者
に注視させ、その時の眼球撮影像を分析することによっ
て行われる。一度、補正項が決定されれば眼球撮影像の
情報から視線角度が随時算出できる。以上の処理を左右
の眼球について行うことにより、左右眼球の視線方向を
求めることができる。

【００６２】本実施例では、視線検出回路６００５でｄ
ｘ，ｄｙの算出のみを行う。ｄｘ，ｄｙは視線データ送
信回路６００４により、コンピュータ２０４に送られ、
コンピュータ側のプログラムで式（１）、式（２）の計
算が行われる。しかし、コンピュータ側で式（１）、式
（２）の計算を行わずに、視線検出回路側で式（１）、
式（２）の計算まで行ってもよいことは言うまでもな
い。

【００６３】なお、本実施の形態では以降、視線検出装
置３０１４から出力されるデータを視線データと呼ぶ。
すなわち、左眼球についての瞳孔中心と角膜曲率中心間
の水平方向距離、及び垂直方向距離（ｄｘ＿ｌ，ｄｙ＿
ｌ）、そして右眼球についての瞳孔中心と角膜曲率中心
間の水平方向距離、及び垂直方向距離（ｄｘ＿ｒ、ｄｙ
＿ｒ）を視線データと呼ぶことにする。

【００６４】本実施の形態では、立体画像表示装置３０
１３と視線検出装置３０１４が一体化された頭部装着型
の立体画像表示装置（ＨＭＤ）２０５を用いるが、これ
は立体画像表示装置と観測者頭部位置の相対位置が固定
され、精度よく着目点座標の検出が行えるからである。
しかし、本発明はこれに限るものではなく、観測者頭部
位置が立体画像表示装置に対し変動しない場合や、たと
え変動したとしても、この変化量を検出する機構と、変
化量に基づく着目点座標の補正手段を装備すれば、立体
画像表示装置と視線検出装置を分離してもよい。例え
ば、立体画像表示装置として通常よく利用される卓上型
のインターレース表示ディスプレイと液晶シャッター眼
鏡、あるいは眼鏡なしレンチキュラ型立体ディスプレイ
などを使用してもよく、視線検出装置は単に眼鏡に装着
するという構成によっても本発明は容易に実現できる。

【００６５】次に、上記構成を有する装置により、三次
元運動入力を行う手順を図８をフローチャートを用いて
説明する。

【００６６】前記視線検出の原理で説明したように、視
線検出には個人依存の補正項を決定する必要がある。よ
って、三次元運動入力作業に先だち、まず、視線検出に
関わる補正処理をステップＳ８００２で行う。

【００６７】コンピュータは補正用の標識を立体画像表
示装置３０１３に表示し、観測者にその標識を注視させ
る。この時、視線検出装置３０１４から送出された視線
データｄｘ，ｄｙを取得する。

【００６８】標識の表示位置、すなわち、観測者がそれ
を注視した場合の視線角度ａ，ｂは正確に知られてお
り、この視線角度ａ，ｂと対応する視線データｄｘ，ｄ
ｙを式（１）、式（２）に代入することによって補正項
が決まる。補正項は片眼に付き２点の測定で決定できる
が、二点以上の測定を行い、最小二乗法で決めてもよ
い。

【００６９】次にステップＳ８００３では、撮影された
時系列ステレオ画像を、コンピュータ２０４で処理でき
るようにコンピュータ２０４の二次記憶装置３０１５に
デジタル画像データとして蓄積する。以下、この工程を
説明する。

【００７０】ステレオ画像撮影装置３０１０によって撮
影された時系列ステレオ画像は、ビデオテープ等の記録
媒体３０１１に記録されている。

【００７１】まず、左眼用または右眼用カメラ１０１、
１０２（ステレオ画像撮影装置３０１０）のどちらか一
方で撮影された記録媒体から時系列画像を取り込む方法
を説明する。記録媒体３０１１は記録媒体再生装置３０
１２によって再生され映像信号が出力される。使用する
ステレオ画像撮影装置３０１０がアナログビデオカメラ
である場合は、再生される映像信号はアナログ信号であ
り、記録映像は映像信号入力装置３０１２のアナログ／
デジタル変換機構により時系列順にデジタル画像データ
に変換される。このような映像信号入力装置は現在普通
に入手できる。使用するステレオ画像撮影装置３０１０
がデジタルビデオカメラである場合は、記録媒体再生装
置３０１２として専用のデジタル信号を出力するものが
提供される場合が多く、この時は映像信号入力装置とし
て専用のデジタル信号を時系列順にデジタル画像データ
に変換する機構があればよい。このような記録媒体再生
装置は通常デジタルビデオカメラ本体に組み込まれてい
る。またデジタル信号用の映像信号入力装置はコンピュ
ータの周辺機器として容易に入手可能である。

【００７２】次に時系列ステレオ画像を構成する方法を
説明する。ここで、記録媒体３０１１の内、右眼用カメ
ラ２０２の記録媒体を記録媒体１、左眼用カメラ２０１
の記録媒体を記録媒体２とする。記録媒体１からある時
刻の画像をデジタル画像データとしてコンピュータ２０
４に取り込む。前述したように記録媒体にはタイムコー
ドが記録されているので、記録媒体１からタイムコード
を読み出し、このタイムコードに一致するタイムコード
を持つ画像を記録媒体２から読み出し、デジタル画像デ
ータとしてコンピュータ２０４の二次記憶装置３０１５
に取り込む。特定のタイムコードを持つ画像を取り込む
には記録媒体再生装置３０１２を制御する必要がある
が、これは再生制御回路３０１６によって行われる。

【００７３】通常、放送業務用のビデオテープの再生装
置はシリアルデータによる外部からの命令を受け付け、
特定のタイムコードの画像再生等の制御が可能である。
この場合、再生制御回路３０１６とはコンピュータのシ
リアル通信制御回路に相当する。記録媒体再生装置３０
１２に外部制御機能がない場合は操作者が手動で行えば
よい。記録媒体１の再生装置と記録媒体２の再生装置が
同じタイムコード画像を再生するよう制御されれば、以
降は単純なコマ送り再生により、ステレオ画像の取り込
みができる。

【００７４】このようにして取り込まれた同一タイムコ
ードを持つ二つのデジタル画像データは以後、同一時刻
のステレオ画像の一組として認識、管理される。この管
理は、コンピュータの基本ソフトでオペレーティングシ
ステムとよばれるものが通常備える二次記憶装置上のデ
ータ管理機能を利用する。すなわち、時系列データ群を
区別する文字、時刻に対応した整数番号、及び右眼用画
像か左眼用画像かを区別する文字を組み合わせ名前を生
成し、この名前をファイル名としてファイルに画像デー
タを保存する。例えば、「ｔｅｓｔ」と名付けられた映
像から採集された時刻１の右眼用画像、時刻１の左眼用
画像、時刻２の右眼用画像、時刻２の左眼用画像はそれ
ぞれ「ｔｅｓｔ−０００１−ｒ」，「ｔｅｓｔ−０００
１−１」，「ｔｅｓｔ−０００２−ｒ」，「ｔｅｓｔ−
０００２−１」といった名前でファイルに保存される。
保存ファイルはＪＰＥＧ等の画像データ圧縮を行っても
よい。

【００７５】なお、上記説明では、右眼用カメラ２０２
の記録媒体を記録媒体１としているが、当然、左眼用カ
メラ２０１の記録媒体を記録媒体１としてもよく、記録
媒体２についても同様である。

【００７６】また、上記説明はコンピュータの二次記憶
装置３０１５に十分な容量があり、必要な時系列ステレ
オ画像を全て蓄積できることを仮定している。しかし、
二次記憶装置に十分な容量がない場合であっても記録媒
体から特定時刻のステレオ画像を十分な速度で画像メモ
リ上に読み込むことが可能であれば二次記憶装置３０１
５への時系列ステレオ画像の蓄積は不要である。この場
合、処理対象のステレオ画像が必要になった時に初め
て、記録媒体からのステレオ画像データの読み込みを行
えばよい。

【００７７】ステップＳ８００３における時系列ステレ
オ画像の読み込みと蓄積が終わると、次に、撮影された
映像のうち、どの部分から運動入力を行うかを決めるサ
ブルーチンに入る。以下、図９を用いこのサブルーチン
の説明を行う。

【００７８】まず、時刻を管理する時刻番号Ｎを値
「１」に初期化する（Ｓ９００２）。この初期値は読み
込まれた時系列ステレオ画像の時刻範囲内であれば任意
の値でよい。

【００７９】次に、時刻番号Ｎに対応するステレオ画像
が読み出され、立体画像表示装置に表示される（Ｓ９０
０３）。以下、この動作を説明する。

【００８０】時刻番号Ｎの右眼用画像と左眼用画像のフ
ァイルをコンピュータ２０４の二次記憶装置３０１５か
ら読み出す。前記ステップＳ８００３の「時系列ステレ
オ画像の読み込み」で説明したように、保存ファイル名
から時刻番号Ｎの右眼用画像と左眼用画像に対応するフ
ァイルを特定できる。特定されたファイルのデータをコ
ンピュータ２０４の二次記憶装置３０１５から読み出
す。読み出された二画像は画像メモリ３００５に置かれ
る。画像メモリ３００５上に置かれた左右二枚の画像デ
ータは、映像信号出力回路３００６により、映像信号に
変換され、立体画像表示装置３０１３に出力される。こ
の映像信号は左右画像をインターレース合成し、ＮＴＳ
Ｃインターレース信号としてＨＭＤ２０５に出力する。
ＨＭＤ２０５では，このインターレース映像信号を受信
し、左右画像を分離し、左目用ＬＣＤ５０１、右目用Ｌ
ＣＤ５０２にそれぞれ右目用画像、左目用画像を表示す
る。ＮＴＳＣインターレース信号を使わなくとも、本装
置専用の映像信号を用い、左右画像用にそれぞれ独立し
た信号線を使用してそれぞれの画像を表示するようにし
てもよい。

【００８１】以上により、立体画像表示装置３０１３に
立体画像が表示され、表示装置を注視する観測者は、前
述の融像動作が可能な状態、すなわち立体可視可能な状
態となる。

【００８２】次にステップＳ９００４に進み、操作者か
らの入力を調べる。ステップＳ９００５において、入力
が「三次元運動入力の開始要求」であると判断した場合
は、開始点決定サブルーチンを終了し、図８のメインフ
ローのステップＳ８００５に復帰し、そうでなければス
テップＳ９００７に進む。

【００８３】ステップＳ９００７では更に操作者からの
入力を調べ、入力が「時刻番号を１増加させる要求」で
あった場合は、ステップＳ９００８で時刻番号Ｎを
「１」増加させ、次時刻のステレオ画像を表示すべくス
テップＳ９００３に戻る。入力が「時刻１をステップ増
加させる要求」でなければ（ステップＳ９００７でＮ
ｏ）、ステップＳ９００９で更に入力を調べ、入力が
「時刻番号を第Ｍへ遷移させる要求」であった場合はス
テップＳ９０１０で時刻番号ＮにＭを代入し、時刻番号
Ｍのステレオ画像を表示すべくステップＳ９００３に戻
る。ここでＭとは操作者が入力する数値である。入力が
「時刻番号を第Ｍへ遷移させる要求」でなかった場合に
は（ステップＳ９００９でＮｏ）、操作者の入力を待つ
べくステップＳ９００４に戻る。

【００８４】以上の繰り返し処理により、操作者は希望
する運動入力開始点を選択することができる。また、運
動抽出点を選ぶ機会もここで与えられる。すなわち、操
作者は「三次元運動入力の開始要求」をコンピュータに
与えるまでは表示物体を観察することができる。よって
この間、物体の外観を観察し、運動抽出に適した場所を
探すことができる。運動抽出点が決まったら、操作者は
運動抽出点を注視した状態で「三次元運動入力の開始要
求」の入力をコンピュータ２０４に与え、三次元運動入
力処理に入る。

【００８５】ステップＳ８００４で開始点が決定する
と、ステップＳ８００５に進む。ステップＳ８００５で
はステレオ画像を更新した時刻を記憶するための変数Ｔ
＿ｌａｓｔに、現在時刻の値を代入する。以降、コンピ
ュータの制御プログラムは以下の処理ルーチンを終了条
件を満たすまで繰り返す。

【００８６】まず、コンピュータ２０４の入力装置によ
る操作者からの指示を調べる。入力装置からの入力を調
べ（Ｓ８００６）、入力があれば、入力データを取り出
し（Ｓ８００７）、ステップＳ８００８に進む。

【００８７】ステップＳ８００８において、もし、入力
が「運動入力の終了要求」の場合、プログラムを終了す
る。この時、後述の三次元運動データをコンピュータ２
０４の二次記憶装置３０１５に保存して終了する。も
し、入力が「運動入力の終了要求」でない場合は、ステ
ップＳ８００９に進む。

【００８８】ステップＳ８００９では、現在時刻と「Ｔ
＿ｌａｓｔ＋ｄＴ」の値を比較する。ここでｄＴは時系
列ステレオ画像を動画として再生する場合の再生速度調
整パラメータである。ｄＴは希望する再生速度、すなわ
ちフレームレートをＮフレーム／秒とするとｄＴ＝１／
Ｎとして決まる。ステップＳ８００９の比較で現在時刻
が「Ｔ＿ｌａｓｔ＋ｄＴ」より大きくなっていた場合、
座標抽出とステレオ画像の更新を行う時刻が到来したと
判断し、ステップＳ８０１０に進む。ステップＳ８００
９の比較で現在時刻が「Ｔ＿ｌａｓｔ＋ｄＴ」より小さ
い場合は再生速度調整用の待機期間であると判断し、操
作者からの入力を検査すべく再びステップＳ８００６に
戻る。ここで、再生速度調整用の待機期間中に必要であ
れば何か別の処理を行ってもよい。

【００８９】ステップＳ８０１０では、視線データの取
得を行う。視線検出装置３０１４からは視線データが定
期的に送信され、コンピュータ２０４の視線データ入力
回路３００７によって受信されている。よって、視線デ
ータを取得するには、視線データ入力回路３００７に受
信された最新の視線データを読み出せばよい。視線デー
タが準備されると左右それぞれにつき、式（１）、式
（２）に従い視線角度が算出される。ここで、式
（１）、式（２）の補正項はステップＳ８００２におい
て決定されている。座標抽出点に対応する左右視線角度
が用意されると、次のステップＳ８０１１に進む。

【００９０】ステップＳ８０１１では三次元座標の算出
処理が行われる。ステップＳ８０１０において得られた
左右の視線角度は、次式（３）により、抽出点の左右画
像上での二次元座標にそれぞれ変換される。

【００９１】 Ｘｌ＝Ｌ×ｔａｎ（ａｌ） Ｙｌ＝Ｌ×ｔａｎ（ｂｌ） Ｘｒ＝Ｌ×ｔａｎ（ａｒ） Ｘｒ＝Ｌ×ｔａｎ（ｂｒ） （３） ここで、ａｌ，ｂｌ，ａｒ，ｂｒ，Ｘｌ，Ｙｌ，Ｘｒ，
Ｙｒ，Ｌの意味は以下の通りである。

【００９２】ａｌ：左眼球光軸のＹ軸を回転軸とした場
合の回転角度 ｂｌ：左眼球光軸のＸ軸を回転軸とした場合の回転角度 ａｒ：右眼球光軸のＹ軸を回転軸とした場合の回転角度 ｂｒ：右眼球光軸のＸ軸を回転軸とした場合の回転角度 Ｘｌ：左目用画像上での抽出点のＸ座標 Ｙｌ：左目用画像上での抽出点のＹ座標 Ｘｒ：右目用画像上での抽出点のＸ座標 Ｙｒ：右目用画像上での抽出点のＹ座標 Ｌ：眼球から表示面までの距離 なお、Ｘ軸は、図７（ａ）に示すように中央を見ている
場合において、紙面に平行で、かつ光軸Ｆに対して垂直
な方向（紙上では上下方向）を示し、Ｙ軸は、Ｘ軸およ
び光軸Ｆに対して直交する方向（紙面に垂直な方向）を
示すものである。

【００９３】上記式（３）に基づいて得られた左右画像
上の二次元座標の組（Ｘｌ，Ｙｌ）、（Ｘｒ、Ｙｒ）か
ら、三次元空間中での抽出点の三次元座標（Ｘｃ，Ｙ
ｃ，Ｚｃ）を、次式（４）に基づいて計算する。

【００９４】 Ｘｃ＝Ｘｌ×ｔ Ｙｃ＝Ｙｌ×ｔ Ｚｃ＝Ｌ×ｔ （４） ここで、ｔはｔ＝Ｄ／（Ｘｌ−Ｘｒ）と定義され、Ｄは
左右眼間距離を表す。

【００９５】ステップＳ８０１１で式（４）により抽出
点の三次元座標が得られると、ステップＳ８０１２に進
む。

【００９６】ステップＳ８０１２ではステップＳ８０１
１で得られた抽出点の三次元座標（Ｘｃ，Ｙｃ，Ｚｃ）
を、運動抽出点の特定時刻における三次元座標として三
次元運動データへ追加する。

【００９７】三次元運動データは、図１１の（ａ）に示
すように、ある時刻の三次元座標を格納する構造を要素
とし、この要素を時刻の総番号数分用意した配列構造と
なっている。この配列構造はコンピュータ２４のメモリ
３０２０上に構成される。以降、この配列構造を運動配
列データとよぶことにする。

【００９８】第Ｎ時刻の三次元座標が導出されると、運
動配列データの第Ｎ番目の要素が満たされ、保持され
る。複数の運動抽出点の運動を抽出する場合は、一運動
抽出点あたり一つの運動配列データを用意し、複数の運
動配列データを持てはよい。均等な時間間隔で運動抽出
を行う場合は運動配列中の要素の位置から時刻番号が一
意に決まるため、一要素あたりの時刻情報は不要であ
る。しかし、不均等な時間間隔での運動抽出も想定し、
一要素中に時刻番号の情報を付加してもよい（図１１の
（ｂ））。

【００９９】運動入力の終了時、三次元運動データを保
存する場合は、コンピュータ２４のメモリ３０２０上に
構成された運動配列データの内容をハードディスク等の
記憶装置に保存する。

【０１００】以上のようにして、ステップＳ８０１２に
おいて、抽出された三次元座標が三次元運動データへ追
加される。この後、次時刻のステレオ画像を処理すべ
く、ステップＳ８０１３において時刻番号Ｎを「１」増
加させる。次にステップＳ８０１４において、時刻番号
Ｎに対応するステレオ画像が読み出され、立体画像表示
装置に表示される。このステップＳ８０１４における処
理は、ステップＳ８００４における前記運動入力開始点
決定サブルーチンの「時刻番号Ｎのステレオ画像の読み
込みと表示」（図９のステップＳ９００３）で説明した
処理と全く同じ内容であるため、ここでは説明を省略す
る。ステップＳ８０１４においてステレオ画像の更新が
終わると、運動入力を繰り返すべくステップＳ８００５
に戻る。

【０１０１】上記説明した処理を行うことによって三次
元運動情報が得られる。得られた三次元運動情報には実
際の物体の三次元運動情報以外に視線検出の誤差等、種
々のノイズが混入している可能性がある。このノイズは
次の方法によってある程度除去できる。

【０１０２】運動の特性は物理法則等から予測がつく場
合があり、この時は予測される運動曲線の方程式に有限
のパラメータを持たせ、三次元運動情報データ群に対し
最小二乗法等でマッチングを行う。これにより決定され
たパラメータから得られる運動曲線を目的の三次元運動
情報として採用すればよい。また、運動の特性を予測で
きない場合であっても、運動の予測曲線として多くパラ
メータを含む適当な高次曲線等を使用すればよい。

【０１０３】上記の通り、本発明の第１の実施形態によ
れば、運動抽出点の三次元座標が自動的に時系列順に抽
出され、効率的な三次元運動入力が可能となる。

【０１０４】＜第２の実施形態＞上記第１の実施形態で
は、ある時刻のステレオ画像の処理から次時刻のステレ
オ画像の処理への遷移がコンピュータによって自動的に
行われている。この方法は効率的ではあるが、操作者が
運動入力開始から終了まで、一時も運動抽出点から眼が
離せないという問題がある。よって本第２の実施形態で
は時刻遷移を操作者の操作によって行うようにする。以
下、第２の実施形態に於ける動作手順を図１０のフロー
チャートを参照して説明する。

【０１０５】図１０のフローチャートにおいて、図８の
同様の処理には同じステップ番号を付し、その詳細説明
を省略する。

【０１０６】ステップＳ８００２からステップＳ８００
４までの処理により運動入力の準備が行われ、その後、
ステップＳ１０００５とステップＳ１０００６において
操作者からの入力を待ち、入力があれば入力内容を検査
する。次のステップＳ８００８において、入力が「運動
入力の終了要求」の場合、プログラムを終了し、入力が
「運動入力の終了要求」でない場合には、ステップＳ１
０００７に進む。ステップＳ１０００７において更に入
力を調べ、もし、入力が「座標抽出要求」であればステ
ップＳ８０１０以降に進んで座標抽出とステレオ画像の
更新を行う。もし、入力が「座標抽出要求」でなければ
入力を監視すべくステップＳ１０００５に戻る。

【０１０７】以上述べた方法により、運動抽出点の三次
元座標が操作者の視線の動きに基づき半自動的に時系列
順に抽出され、効率的な三次元運動入力が可能となる。

【０１０８】＜変形例１＞前記第１、または第２の実施
形態では物体の三次元運動を、撮影カメラの位置と向き
を基準にした座標系、すなわちＣＧ分野において視界空
間またはカメラ空間とよばれるものに対して求めてい
る。しかし、現実の撮影では撮影対象とカメラの両方が
運動し、かつ、撮影対象の運動を大地等の静止座標系に
対して求めたいという要求も発生する。このような場合
は、前記第１、または第２の実施形態における三次元運
動抽出を、撮影対象と静止座標系の抽出点、例えば大地
に対して静止している樹木や建築物の両方に対して行え
ばよい。そして、撮影対象の三次元座標から静止座標系
の抽出点の三次元座標を引き算することにより撮影対象
の三次元運動を静止座標系に対して求めることができ
る。

【０１０９】＜変形例２＞前記変形例１は、目的物体の
運動からカメラ運動の影響を除去するという考え方であ
るが、このカメラ運動の影響を逆に利用し、カメラに意
図的な運動を与え、静止物体の三次元座標入力、すなわ
ち静止物体の三次元形状入力の精度向上に利用してもよ
い。以下、この方法を説明する。

【０１１０】ステレオ撮影時、カメラを既知の規則で運
動させ物体をステレオ撮影する。例えば対象物体付近の
既知の一点を中心にし、既知の回転速度で回転撮影す
る。これにより、等角速度で回転運動する物体の映像が
得られる。後は前記第１、または第２の実施形態と同じ
方法を使い抽出点の三次元運動を抽出する。抽出点の三
次元運動は一時刻の抽出点位置を唯一の未知数とし、三
次元座標を時間の関数として正確に表現できる、すなわ
ち予測できる。よって、前記第１、または第２の実施形
態によって得られた三次元運動情報データ群に最小二乗
法等を適用し、未知数であった一時刻の抽出点位置を求
める。これにより、単にある時刻の、すなわち一組のス
テレオ画像により得られる情報より高い精度の三次元座
標情報が得られる。また、カメラに与える運動は既知で
なくともよい。その場合は物体の運動曲線として多くの
パラメータを含む適当な高次曲線等を使用し、三次元運
動情報データ群に最小二乗法等を適用し、運動曲線を決
定する。決定された運動曲線から得られるある時刻の抽
出点三次元座標は、既知の運動を与えた場合と同様に、
単に一組のステレオ画像によって得られる情報よりも高
い精度の三次元座標情報を持つ。

【０１１１】このような同一点の複数撮影による抽出座
標の精度向上は、ステレオ静止画像を使用する従来の三
次元形状入力方法において、複数方向から撮影されたス
テレオ静止画像を使用することと計算上は等価である。

【０１１２】しかし、本実施の形態の特徴は形状抽出の
ための情報を三次元運動として取得する点にあり、この
点に大きな利点がある。それは、異なるステレオ画像間
を連続する画像でつなぐことで抽出点の視線による連続
的な追尾が可能となり、異なるステレオ画像間における
抽出点の対応関係を自動的に与えることができる。すな
わち、連続する時系列画像ではなく、従来のように不連
続なステレオ画像を静止画として複数使用した場合は、
左右一組のステレオ画像内での左右画像の対応点指示に
加え、異なるステレオ画像間での対応点指示が必要であ
る。これに対し本実施の形態を用いれば、左右一組のス
テレオ画像内での左右画像の対応点指示は前記人間の融
像動作によって自動化され、かつ、異なるステレオ画像
間での対応点指示も前記人間の着目点時間追尾動作によ
って自動化される。

【０１１３】なお、カメラと物体は空間的に相対的な関
係にあるので、上記カメラの意図的運動は物体に対して
与えてもよい。これによって同様の効果が得られるのは
明白である。

【０１１４】＜第３の実施形態＞本発明の対応点検出の
方法は、現在の技術では人間の画像認識による自然なパ
ターンマッチング、すなわち融像動作がコンピュータの
相関計算によるパターンマッチングより優れているとい
う点に基づいている。この比較基準は精度、処理時間、
操作性等、多岐にわたっており、また今後のコンピュー
タの性能向上等にも左右される。このため、ステレオ画
像の対応点検出に人間の融像動作による方法よりもコン
ピュータによる相関計算の使用が優位と判断される状況
も存在し得る。

【０１１５】しかしながら、このような状況においても
本発明は有効であり、コンピュータの相関計算と本発明
を併用することが可能である。すなわち、コンピュータ
による相関計算の前処理として、本発明を使用する。

【０１１６】具体的には図８または図１０のステップＳ
８０１１における処理に、相関計算を適用する。ステッ
プＳ８０１０で得られた対応点の組に基づき、相関計算
を行う領域を絞り込み、この小さな領域に対しコンピュ
ータによる相関計算を行う。このようにすれば、単に相
関計算を行うよりも計算時間を短縮することができる。
また、相関計算を行う場合にも、時間軸上の一時刻の左
右どちらかの画像上で抽出点を手動で指定する必要があ
るが、この操作を視線入力によって指定できるので効率
的である。

【０１１７】

【発明の効果】本発明によれば、実写映像からステレオ
撮影方式により三次元運動情報を抽出する場合に、三次
元座標の時系列抽出にかかる作業量および作業時間を大
幅に削減することができるため、センサ不要のメリット
を持つステレオ撮影方式を、三次元運動入力方法として
使用することが容易となり、三次元運動入力の撮影対象
をより広範なものにすることができる。

【０１１８】更に、本発明を静止物体の形状入力に利用
することにより、容易に形状表示の精度を向上すること
が可能となる。また、撮影された画像内の静止物体を基
準として三次元座標を得ることにより、撮影時の自由度
が向上する。また、観察者が自由に運動入力のタイミン
グを指示することにより、観察者にかかる負担を軽減す
ることができる。

【図面の簡単な説明】

【図１】ステレオ画像撮影を利用した三次元座標抽出を
説明する図である。

【図２】本発明の実施の形態における運動入力システム
の装置構成を説明する概念図である。

【図３】本発明の実施の形態で使われるコンピュータと
その周辺機器の構成図である。

【図４】ステレオ立体視の原理を説明する図である。

【図５】左右画像の分離入力の方法を説明する図であ
る。

【図６】視線検出装置付き頭部装着型立体画像表示装置
の構成を示すブロック酢である。

【図７】視線検出の原理を説明する図である。

【図８】本発明の第１の実施形態における三次元運動入
力の処理手順を説明するフローチャートである。

【図９】第１の実施形態における運動入力開始点決定サ
ブルーチンを説明するフローチャートである。

【図１０】本発明の第２の実施形態における三次元運動
入力の処理手順を説明するフローチャートである。

【図１１】三次元運動データの構造を説明する図であ
る。

【図１２】従来技術におけるステレオ撮影方式の空間的
時間的対応点指定作業を説明する図である。

【符号の説明】 １０１ 左眼用カメラ １０２ 右眼用カメラ １０３ 左画像 １０４ 右画像 １０５ 左画像における代表点 １０６ 右画像における代表点 ２０１ 左眼用カメラ ２０２ 右眼用カメラ ２０３ａ 時刻１の運動物体 ２０３ｂ 時刻２の運動物体 ２０４ コンピュータ ２０５ 視線検出装置付き立体画像表示装置 ２０６ａ 時刻１の運動物体のステレオ立体視画像 ２０６ｂ 時刻２の運動物体のステレオ立体視画像 ２０７ 三次元運動情報 ３００２ 映像信号入力回路 ３００３ 主記憶装置 ３００４ ＣＰＵ ３００５ 画像メモリ ３００６ 映像信号出力回路 ３００７ 視線データ入力回路 ３００８ マウス ３００９ キーボード ３０１０ ステレオ画像撮影装置 ３０１１ 記録媒体 ３０１２ 記録媒体再生装置 ３０１３ 立体画像表示装置 ３０１４ 視線検出装置 ３０１５ 二次記憶装置 ３０２０ メモリ ４０２ 注目点 ４０３ 実在物体 ４０５ 右目用表示画像 ４０６ 左目用表示画像 ４０７ 仮想物体上の注目点 ５０１、５０２ ＬＣＤ ５０３、５０４ プリズム型接眼レンズ ５０５ ＬＣＤ表示面虚像位置 ６００２ ＬＣＤ表示回路 ６００３ 映像入力回路 ６００４ 視線データ送信回路 ６００５ 視線検出回路 ６００６ 眼球撮像素子 ６００７ 眼球撮像用レンズ ６００８ 眼球撮像用レンズ ６０１０ 赤外線発光ダイオードＩＲＥＤ

フロントページの続き Ｆターム(参考） 2F065 AA04 AA09 AA39 CC16 DD06 FF05 FF41 GG07 GG21 JJ03 JJ05 JJ26 QQ24 QQ41 SS13 5B057 CA08 CA13 CA16 CB08 CB13 CB16 CD14 CH08 DA07 DA20 DB03 DB09 DC34 5B087 AA07 AE00 BC12 BC13 BC16 BC32 DJ01 DJ03

Claims (21)

【特許請求の範囲】
1. 【請求項１】 視差のある一対の動画像を撮影する撮影
   工程と、 前記撮影工程において撮影された前記一対の動画像を、
   立体視されるようにステレオ表示する表示工程と、 前記表示工程でステレオ表示された画像を観察する観察
   者の視線方向を検知する視線検知工程と、 前記視線検知工程で検知された視線方向に基づいて、前
   記一対の動画像の対応点を検出する対応点検出工程と、 前記対応点検出工程により検出された対応点に対応する
   動画像上の点の三次元座標を算出する算出工程と、 前記算出工程により得られた三次元座標を時間に対応付
   けて記憶する記憶工程とを有することを特徴とする三次
   元運動入力方法。
2. 【請求項２】 視差のある一対の動画像を記録媒体から
   読み出す読み出し工程と、 前記読み出し工程で前記記録媒体から読み出された前記
   一対の動画像を、立体視されるようにステレオ表示する
   表示工程と、 前記表示工程でステレオ表示された画像を観察する観察
   者の視線方向を検知する視線検知工程と、 前記視線検知工程で検知された視線方向に基づいて、前
   記一対の動画像の対応点を検出する対応点検出工程と、 前記対応点検出工程により検出された対応点に対応する
   動画像上の点の三次元座標を算出する算出工程と、 前記算出工程により得られた三次元座標を時間に対応付
   けて記憶する記憶工程とを有することを特徴とする三次
   元運動入力方法。
3. 【請求項３】 前記撮影工程では、撮影位置および方向
   を固定した状態で動画像を撮影することを特徴とする請
   求項１に記載の三次元運動入力方法。
4. 【請求項４】 前記撮影工程では、予め決められた軌道
   上で撮影位置を移動しながら動画像を撮影することを特
   徴とする請求項１に記載の三次元運動入力方法。
5. 【請求項５】 前記対応点検出工程では、前記動画像に
   おける静止物体上の点と、前記動画像における運動物体
   の点の、それぞれの対応点を検出し、前記算出工程で
   は、前記静止物体上の点を基準とした動物体上の点の三
   次元座標を算出することを特徴とする請求項１または２
   に記載の三次元運動入力方法。
6. 【請求項６】 前記表示工程では、所定時間毎に、前記
   一対の動画像の一時刻における一対の画像を、それぞれ
   次の時刻の画像に更新して表示し、前記算出工程では、
   前記所定時間間隔で動画像上の点の三次元座標を算出す
   ることを特徴とする請求項１乃至５のいずれかに記載の
   三次元運動入力方法。
7. 【請求項７】 前記表示工程では、外部からの指示に基
   づいて、前記一対の動画像の一時刻における一対の画像
   を、それぞれ次の時刻の画像に更新して表示し、前記算
   出工程では、前記表示工程で更新された一対の画像上の
   点の三次元座標を算出することを特徴とする請求項１乃
   至５のいずれかに記載の三次元運動入力方法。
8. 【請求項８】 前記算出工程では、前記一対の動画像
   中、前記対応点検出工程で得られた対応点付近の二次元
   領域について二次元相関演算を行い、得られた相関値に
   基づいて前記一対の動画像上の新たな対応点を求め、新
   たに求められた対応点に基づいて動画像上の点の三次元
   座標を算出することを特徴とする請求項１乃至７のいず
   れかに記載の三次元運動入力方法。
9. 【請求項９】前記視線検知工程では、非可視光を観察者
   の眼球に照射し、観察者の眼球瞳孔中心位置と角膜反射
   面からの非可視光の虚像位置の相対関係から、観察者の
   眼球の回転角度を求め、視線方向を検知することを特徴
   とする請求項１乃至８のいずれかに記載の三次元運動入
   力方法。
10. 【請求項１０】 視差のある一対の動画像を撮影する撮
    影手段と、 前記撮影手段により撮影された前記一対の動画像を、立
    体視されるようにステレオ表示する表示手段と、 前記表示手段でステレオ表示された画像を観察する観察
    者の視線方向を検知する視線検知手段と、 前記視線検知手段で検知された視線方向に基づいて、前
    記一対の動画像の対応点を検出する対応点検出手段と、 前記対応点検出手段により検出された対応点に対応する
    動画像上の点の三次元座標を算出する算出手段と、 前記算出手段により得られた三次元座標を時間に対応付
    けて記憶する記憶手段とを有することを特徴とする三次
    元運動入力システム。
11. 【請求項１１】 視差のある一対の動画像を記録媒体か
    ら読み出す読み出し手段と、 前記読み出し手段により前記記録媒体から読み出された
    前記一対の動画像を、立体視されるようにステレオ表示
    する表示手段と、 前記表示手段でステレオ表示された画像を観察する観察
    者の視線方向を検知する視線検知手段と、 前記視線検知手段で検知された視線方向に基づいて、前
    記一対の動画像の対応点を検出する対応点検出手段と、 前記対応点検出手段により検出された対応点に対応する
    動画像上の点の三次元座標を算出する算出手段と、 前記算出手段により得られた三次元座標を時間に対応付
    けて記憶する記憶手段とを有することを特徴とする三次
    元運動入力システム。
12. 【請求項１２】 前記撮影手段は、撮影位置および方向
    を固定した状態で動画像を撮影することを特徴とする請
    求項１０に記載の三次元運動入力システム。
13. 【請求項１３】 前記撮影手段は、予め決められた軌道
    上を移動しながら動画像を撮影することを特徴とする請
    求項１０に記載の三次元運動入力システム。
14. 【請求項１４】 前記対応点検出手段は、前記動画像に
    おける静止物体上の点と、前記動画像における運動物体
    の点の、それぞれの対応点を検出し、前記算出手段は、
    前記静止物体上の点を基準とした動物体上の点の三次元
    座標を算出することを特徴とする請求項１０または１１
    に記載の三次元運動入力システム。
15. 【請求項１５】 前記表示手段は、所定時間毎に、前記
    一対の動画像の一時刻における一対の画像を、それぞれ
    次の時刻の画像に更新して表示し、前記算出手段は、前
    記所定時間間隔で動画像上の点の三次元座標を算出する
    ことを特徴とする請求項１０乃至１４のいずれかに記載
    の三次元運動入力システム。
16. 【請求項１６】 前記表示手段は、外部からの指示に基
    づいて、前記一対の動画像の一時刻における一対の画像
    を、それぞれ次の時刻の画像に更新して表示し、前記算
    出手段は、前記表示手段で更新された一対の画像上の点
    の三次元座標を算出することを特徴とする請求項１０乃
    至１４のいずれかに記載の三次元運動入力システム。
17. 【請求項１７】 前記算出手段は、前記一対の動画像
    中、前記対応点検出手段により得られた対応点付近の二
    次元領域について二次元相関演算を行い、得られた相関
    値に基づいて前記一対の動画像上の新たな対応点を求
    め、新たに求められた対応点に基づいて動画像上の点の
    三次元座標を算出することを特徴とする請求項１０乃至
    １６のいずれかに記載の三次元運動入力システム。
18. 【請求項１８】 前記視線検知手段は、非可視光を観察
    者の眼球に照射する光源を有し、観察者の眼球瞳孔中心
    位置と角膜反射面からの非可視光の虚像位置の相対関係
    から、観察者の眼球の回転角度を求め、視線方向を検知
    することを特徴とする請求項１０乃至１７のいずれかに
    記載の三次元運動入力システム。
19. 【請求項１９】 前記表示手段は、観察者の頭部と表示
    面の相対的な位置関係を固定することの可能な頭部装着
    型立体画像表示装置であることを特徴とする請求項１０
    乃至１８のいずれかに記載の三次元運動入力システム。
20. 【請求項２０】 前記頭部装着型画像表示装置は、前記
    視線検知手段を有することを特徴とする請求項１９に記
    載の三次元運動入力システム。
21. 【請求項２１】 前記表示手段は、前記表示手段に対す
    る観測者頭部の相対的な位置を検知する機構を有する立
    体画像表示装置であり、前記立体画像表示装置に対する
    観測者頭部の相対的位置変化を検知し、検知した相対的
    位置変化に基づいて、前記視線検知手段における視線方
    向を補正することを特徴とする請求項１０乃至２０のい
    ずれかに記載の三次元運動入力システム。