JP2003256804A - 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 - Google Patents
視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体Info
- Publication number
- JP2003256804A JP2003256804A JP2002052556A JP2002052556A JP2003256804A JP 2003256804 A JP2003256804 A JP 2003256804A JP 2002052556 A JP2002052556 A JP 2002052556A JP 2002052556 A JP2002052556 A JP 2002052556A JP 2003256804 A JP2003256804 A JP 2003256804A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- procedure
- line
- camera
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 実環境中に存在する人の視野に映っている情
景を、映像として生成できるようにする。 【解決手段】 3次元形状モデル獲得手段5は実環境の
3次元形状モデルを獲得する。画像データ獲得手段3は
実環境中に設置された複数のカメラを用いて画像データ
を獲得する。カメラパラメータ獲得手段1はカメラの特
性を表すパラメータとして、位置、姿勢、焦点距離、レ
ンズ中心のいずれか、または、それらの複数からなるパ
ラメータを獲得する。視線計測手段8は人の眼球位置と
視線方向を計測する。映像生成手段9は、実環境中の3
次元形状データ、画像データ人の眼球位置と視線方向を
利用し、人の眼球位置と視線方向に対応した映像を生成
する。映像生成手段は、各カメラ姿勢、人の視線方向に
基づいて、複数のカメラの画像データの中からテクスチ
ャマッピングするカメラの画像データを選択する。
景を、映像として生成できるようにする。 【解決手段】 3次元形状モデル獲得手段5は実環境の
3次元形状モデルを獲得する。画像データ獲得手段3は
実環境中に設置された複数のカメラを用いて画像データ
を獲得する。カメラパラメータ獲得手段1はカメラの特
性を表すパラメータとして、位置、姿勢、焦点距離、レ
ンズ中心のいずれか、または、それらの複数からなるパ
ラメータを獲得する。視線計測手段8は人の眼球位置と
視線方向を計測する。映像生成手段9は、実環境中の3
次元形状データ、画像データ人の眼球位置と視線方向を
利用し、人の眼球位置と視線方向に対応した映像を生成
する。映像生成手段は、各カメラ姿勢、人の視線方向に
基づいて、複数のカメラの画像データの中からテクスチ
ャマッピングするカメラの画像データを選択する。
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数のカメラから
得られる画像に基づき、新しい視点からの画像を計算機
処理で生成する視野映像生成技術、並びに、人の眼球運
動の計測技術の応用に関するものである。
得られる画像に基づき、新しい視点からの画像を計算機
処理で生成する視野映像生成技術、並びに、人の眼球運
動の計測技術の応用に関するものである。
【0002】
【従来の技術】従来、実環境中にある同一対象を複数台
のカメラより観測し、そこで得られた画像を処理するこ
とにより、実際にはカメラを設置していない位置・アン
グルにあたかもカメラを設置し、撮影したかのような任
意視点の画像を生成する技術がある。その詳細は、例え
ば、下記の文献に開示される。
のカメラより観測し、そこで得られた画像を処理するこ
とにより、実際にはカメラを設置していない位置・アン
グルにあたかもカメラを設置し、撮影したかのような任
意視点の画像を生成する技術がある。その詳細は、例え
ば、下記の文献に開示される。
【0003】しかしながら、この技術で画像を生成する
場合、生成したい画像に対応する仮想カメラの視点の位
置、方向のデータは利用者が別途、計画の上、計算機に
与える必要があった。
場合、生成したい画像に対応する仮想カメラの視点の位
置、方向のデータは利用者が別途、計画の上、計算機に
与える必要があった。
【0004】文献「斎藤英雄、“多視点画像からの自由
視点映像生成技術の動向”、電学論C,121巻10
号、PP.1493−1499(2001)」また、人
の眼球位置や視線方向を計測する装置を用いて、頭部側
面または前面に装着したカメラと併用することにより、
カメラから得られた画像中に人の注視点を図示する技術
がある。これは、認知科学や心理学などの学術分野にお
いて利用されている。
視点映像生成技術の動向”、電学論C,121巻10
号、PP.1493−1499(2001)」また、人
の眼球位置や視線方向を計測する装置を用いて、頭部側
面または前面に装着したカメラと併用することにより、
カメラから得られた画像中に人の注視点を図示する技術
がある。これは、認知科学や心理学などの学術分野にお
いて利用されている。
【0005】
【発明が解決しようとする課題】前述のように、従来の
任意視点の映像生成技術では、生成する映像の視点を人
手で与える必要があり、人が実際に見ている情景を映像
として自動的に合成することはできない。
任意視点の映像生成技術では、生成する映像の視点を人
手で与える必要があり、人が実際に見ている情景を映像
として自動的に合成することはできない。
【0006】また、頭部に装着したカメラと視線計測装
置を併用する場合、人が着目する大まかな対象は把握で
きるものの、得られる画像はあくまでも頭部の向きに対
応する画像であり、本来、人が見ている画像、つまり、
眼球が向いている先の画像を得ることができない。
置を併用する場合、人が着目する大まかな対象は把握で
きるものの、得られる画像はあくまでも頭部の向きに対
応する画像であり、本来、人が見ている画像、つまり、
眼球が向いている先の画像を得ることができない。
【0007】本発明は、認知科学や心理学などの学術分
野において利用されている上述したような従来技術の有
する欠点を解決し、実環境中に存在する人の視野に映っ
ている情景を、映像として生成できる視野映像生成装
置、方法、プログラムおよび記録媒体を提供することを
目的とする。
野において利用されている上述したような従来技術の有
する欠点を解決し、実環境中に存在する人の視野に映っ
ている情景を、映像として生成できる視野映像生成装
置、方法、プログラムおよび記録媒体を提供することを
目的とする。
【0008】
【課題を解決するための手段】上記の課題を解決するた
め、本発明は以下の視野映像生成装置、方法、プログラ
ムおよび記録媒体を特徴とする。
め、本発明は以下の視野映像生成装置、方法、プログラ
ムおよび記録媒体を特徴とする。
【0009】(装置の発明)
(1)実環境の3次元形状モデルを獲得する「3次元形
状モデル獲得手段」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手段」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手段」と、人の眼球位置と視線方向を計測
する「視線計測手段」と、前記「3次元形状モデル獲得
手段」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手段」で獲得された画像デー
タ、及び、前記「視線計測手段」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手段」とを備えた
ことを特徴とする。
状モデル獲得手段」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手段」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手段」と、人の眼球位置と視線方向を計測
する「視線計測手段」と、前記「3次元形状モデル獲得
手段」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手段」で獲得された画像デー
タ、及び、前記「視線計測手段」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手段」とを備えた
ことを特徴とする。
【0010】(2)前記「映像生成手段」は、前記各カ
メラ姿勢、及び、前記「視線計測手段」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
段」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手段」を備えたことを特徴とす
る。
メラ姿勢、及び、前記「視線計測手段」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
段」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手段」を備えたことを特徴とす
る。
【0011】(方法の発明)
(3)実環境の3次元形状モデルを獲得する「3次元形
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「3次元形状モデル獲得
手順」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とを有する
ことを特徴とする。
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「3次元形状モデル獲得
手順」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とを有する
ことを特徴とする。
【0012】(4)前記「映像生成手順」は、前記各カ
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。
【0013】(プログラムの発明)
(5)実環境の3次元形状モデルを獲得する「3次元形
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「3次元形状モデル獲得
手順」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とをコンピ
ュータで実行可能に構成したことを特徴とする。
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「3次元形状モデル獲得
手順」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とをコンピ
ュータで実行可能に構成したことを特徴とする。
【0014】(6)前記「映像生成手順」は、前記各カ
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。
【0015】(記録媒体の発明)
(7)実環境の3次元形状モデルを獲得する「3次元形
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「3次元形状モデル獲得
手順」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とを有する
プログラムを記録したことを特徴とする。
状モデル獲得手順」と、該実環境中に設置された複数の
カメラを用いて画像データを獲得する「画像データ獲得
手順」と、該カメラの特性を表すパラメータとして、位
置、姿勢、焦点距離、レンズ中心のいずれか、または、
それらの複数からなるパラメータを獲得する「カメラパ
ラメータ獲得手順」と、人の眼球位置と視線方向を計測
する「視線計測手順」と、前記「3次元形状モデル獲得
手順」で獲得された実環境中の3次元形状データ、及
び、前記「画像データ獲得手順」で獲得された画像デー
タ、及び、前記「視線計測手順」により計測された人の
眼球位置と視線方向を利用し、人の眼球位置と視線方向
に対応した映像を生成する「映像生成手順」とを有する
プログラムを記録したことを特徴とする。
【0016】(8)前記「映像生成手順」は、前記各カ
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。
メラ姿勢、及び、前記「視線計測手順」により計測され
た人の視線方向に基づいて、前記「画像データ獲得手
順」によって獲得された複数のカメラの画像データの中
からテクスチャマッピングするカメラの画像データを選
択する「画像データ選択手順」を有することを特徴とす
る。
【0017】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を詳細に説明する。なお、ここでは一例として屋
内環境における一形態を説明するが、本発明は屋内環境
以外の環境においても同様に有効である。
の形態を詳細に説明する。なお、ここでは一例として屋
内環境における一形態を説明するが、本発明は屋内環境
以外の環境においても同様に有効である。
【0018】図1は、本発明の一実施形態(屋内環境)
に関する視野映像生成装置の構成図である。この図にお
いては、1はカメラパラメータ獲得手段、2はカメラキ
ャリブレーション手段、3は画像データ獲得手段、4は
屋内環境に設置した複数のカメラ、5は3次元モデル獲
得手段、6は3次元形状計測手段、7は三角パッチ作成
手段、8は視線計測手段、9は映像生成手段、10は画
像データ選択手段、11は画像座標算出手段、12はテ
クスチャマッピング手段からなる。
に関する視野映像生成装置の構成図である。この図にお
いては、1はカメラパラメータ獲得手段、2はカメラキ
ャリブレーション手段、3は画像データ獲得手段、4は
屋内環境に設置した複数のカメラ、5は3次元モデル獲
得手段、6は3次元形状計測手段、7は三角パッチ作成
手段、8は視線計測手段、9は映像生成手段、10は画
像データ選択手段、11は画像座標算出手段、12はテ
クスチャマッピング手段からなる。
【0019】図2は、本発明の一実施形態における、視
野映像装置の全体を説明する図で、実環境中のカメラ、
人、視線計測装置の配置、及び、カメラ、人、環境、各
々に関する座標系を説明する図である。図においてワー
ルド座標系Wとは、複数のカメラ、視線測定装置に共通
な座標系である。
野映像装置の全体を説明する図で、実環境中のカメラ、
人、視線計測装置の配置、及び、カメラ、人、環境、各
々に関する座標系を説明する図である。図においてワー
ルド座標系Wとは、複数のカメラ、視線測定装置に共通
な座標系である。
【0020】また、図3は本発明の一実施形態(屋内環
境)に関する視野映像装置を天井から見た外観を説明す
る図である。
境)に関する視野映像装置を天井から見た外観を説明す
る図である。
【0021】以下では、本発明の一実施形態における動
作を具体的に説明する。ここでは、時刻tにおける人の
眼球位置の視線方向に対応した一実施形態を説明する
が、本発明は、時間的に変化する人の眼球位置と視線方
向に対しても、同様に実現可能である。
作を具体的に説明する。ここでは、時刻tにおける人の
眼球位置の視線方向に対応した一実施形態を説明する
が、本発明は、時間的に変化する人の眼球位置と視線方
向に対しても、同様に実現可能である。
【0022】「カメラパラメータ獲得手段(1)」は、
実環境内に設置した複数カメラと「カメラキャリブレー
ション手段(2)」からなり、複数設置した各カメラに
対して、カメラパラメータを獲得する。
実環境内に設置した複数カメラと「カメラキャリブレー
ション手段(2)」からなり、複数設置した各カメラに
対して、カメラパラメータを獲得する。
【0023】カメラパラメータとは、ワールド座標系に
おけるカメラの姿勢、位置、焦点距離、レンズ歪み係
数、レンズスケールファクター、画素サイズ、レンズ中
心のいずれか、またはこれらを複数含んだものであり、
ワールド座標系とカメラの画像座標系の幾何学的関係を
表現したものである。
おけるカメラの姿勢、位置、焦点距離、レンズ歪み係
数、レンズスケールファクター、画素サイズ、レンズ中
心のいずれか、またはこれらを複数含んだものであり、
ワールド座標系とカメラの画像座標系の幾何学的関係を
表現したものである。
【0024】まず、「カメラキャリブレーション手段
(2)」では、一例として、実空間中から選んだ数点
(例えば、図2に示す点a,b,c,dなど)に対し、
ワールド座標系における3次元座標(X,Y,Z)とカ
メラの画像座標系における2次元座標(x,y)との対
応点の組を入力として、Tsaiのカメラキャリブレー
ションアルゴリズムを適用することにより、カメラパラ
メータを出力する。その結果を記憶装置(ハードディス
ク、メモリなど)に記録する。
(2)」では、一例として、実空間中から選んだ数点
(例えば、図2に示す点a,b,c,dなど)に対し、
ワールド座標系における3次元座標(X,Y,Z)とカ
メラの画像座標系における2次元座標(x,y)との対
応点の組を入力として、Tsaiのカメラキャリブレー
ションアルゴリズムを適用することにより、カメラパラ
メータを出力する。その結果を記憶装置(ハードディス
ク、メモリなど)に記録する。
【0025】Tsaiのキャリブレーションアルゴリズ
ムによって算出されたカメラパラメータは、次の(1)
式で表現され、実空間中のある点P(X,Y,Z)は画
像上の点p(x,y)に投影することが可能となる。
ムによって算出されたカメラパラメータは、次の(1)
式で表現され、実空間中のある点P(X,Y,Z)は画
像上の点p(x,y)に投影することが可能となる。
【0026】
【数1】
【0027】ここで、hはスケールファクタ、P11,
…,P14はカメラパラメータを表す。なお、本発明
は、Tsai以外のカメラキャリブレーション手法を用
いても、同様に実現可能である。
…,P14はカメラパラメータを表す。なお、本発明
は、Tsai以外のカメラキャリブレーション手法を用
いても、同様に実現可能である。
【0028】Tsaiのキャリブレーションアルゴリズ
ムの参考文献「R.Tsai、“AVersatile Camera Calibrat
ion Technique for High-Accuracy 3D Machine Vision
Metrology Using Off-the-Shelf Tv Cameras and Lense
s",IEEE Journal of Robotics and Automation RA-3,4,
pp323-344(1987)」 次に、「画像データ獲得手段(3)」は、「屋内環境中
に設置した複数のカメラ(4)」を用いて、それぞれの
位置や方向から見た画像を次の(2)式に示すデータ形
式で撮影し、記憶装置(ハードディスク、メモリなど)
に記録する。
ムの参考文献「R.Tsai、“AVersatile Camera Calibrat
ion Technique for High-Accuracy 3D Machine Vision
Metrology Using Off-the-Shelf Tv Cameras and Lense
s",IEEE Journal of Robotics and Automation RA-3,4,
pp323-344(1987)」 次に、「画像データ獲得手段(3)」は、「屋内環境中
に設置した複数のカメラ(4)」を用いて、それぞれの
位置や方向から見た画像を次の(2)式に示すデータ形
式で撮影し、記憶装置(ハードディスク、メモリなど)
に記録する。
【0029】なお、カメラの設置数、各カメラの姿勢や
位置は、実空間上の同一点が少なくとも二つのカメラか
ら撮影されるように選ぶ。ここで、撮影した画像データ
は、後に、3次元形状モデルにマッピングするテクスチ
ャとして用いる。
位置は、実空間上の同一点が少なくとも二つのカメラか
ら撮影されるように選ぶ。ここで、撮影した画像データ
は、後に、3次元形状モデルにマッピングするテクスチ
ャとして用いる。
【0030】
【数2】
【0031】ただし、n:カメラの個数、x:x座標、
y:y座標、R:赤成分を256階調で表現した濃度
値、G:緑成分を256階調で表現した濃度値、B:青
成分を256階調で表現した濃度値。
y:y座標、R:赤成分を256階調で表現した濃度
値、G:緑成分を256階調で表現した濃度値、B:青
成分を256階調で表現した濃度値。
【0032】次に、「3次元モデル獲得手段(5)」
は、「3次元形状計測手段(6)」と「三角パッチ作成
手段(7)」からなる。
は、「3次元形状計測手段(6)」と「三角パッチ作成
手段(7)」からなる。
【0033】「3次元形状計測手段(6)」では、一般
的な3次元形状計測手段として用いられているレーザー
レンジファインダ、ステレオマッチング手法などを用い
て、屋内環境の3次元表面形状を観測し、ワールド座標
系における3次元座標(X,YZ)の観測点群を獲得す
る。
的な3次元形状計測手段として用いられているレーザー
レンジファインダ、ステレオマッチング手法などを用い
て、屋内環境の3次元表面形状を観測し、ワールド座標
系における3次元座標(X,YZ)の観測点群を獲得す
る。
【0034】「三角パッチ作成手段(7)」では、ばら
ばらになっている3次元座標の点群を入力として、それ
らの点群を三角パッチの集合として表現することで、屋
内環境を構成する3次元形状モデルを出力し、その結果
を記憶装置(ハードディスク、メモリなど)に記録す
る。
ばらになっている3次元座標の点群を入力として、それ
らの点群を三角パッチの集合として表現することで、屋
内環境を構成する3次元形状モデルを出力し、その結果
を記憶装置(ハードディスク、メモリなど)に記録す
る。
【0035】次に、「視線計測手段(8)」では、実環
境中に存在する人の眼球位置と視線方向を取得する。一
例として、非接触型で連続的に視線を計測できる視線測
定装置を用いた場合を説明するが、本発明は、上記の以
外の視線測定装置を用いても実現可能である。
境中に存在する人の眼球位置と視線方向を取得する。一
例として、非接触型で連続的に視線を計測できる視線測
定装置を用いた場合を説明するが、本発明は、上記の以
外の視線測定装置を用いても実現可能である。
【0036】はじめに、当該視線測定装置をTsaiの
手法を用いてキャリブレーションを行い、視線測定装置
のカメラ座標とワールド座標の幾何学的関係を求めてお
く。キャリブレーション済みの視線測定装置は、人の眼
球位置と視線方向を視線データとして、例えばサンプリ
ングレート30Hzで連続的に計測する。計測の結果得
られた視線測定装置の座標系で表現されている人の眼球
位置と視線方向を、ワールド座標系における人の眼球位
置S(t)=(Sx(t),Sy(t),Sz(t))
と、視線方向kE(t)=(Ex(t),Ey(t),
Ez(t))に変換して出力し、その結果を記憶装置
(ハードディスク、メモリ等)に記録する。
手法を用いてキャリブレーションを行い、視線測定装置
のカメラ座標とワールド座標の幾何学的関係を求めてお
く。キャリブレーション済みの視線測定装置は、人の眼
球位置と視線方向を視線データとして、例えばサンプリ
ングレート30Hzで連続的に計測する。計測の結果得
られた視線測定装置の座標系で表現されている人の眼球
位置と視線方向を、ワールド座標系における人の眼球位
置S(t)=(Sx(t),Sy(t),Sz(t))
と、視線方向kE(t)=(Ex(t),Ey(t),
Ez(t))に変換して出力し、その結果を記憶装置
(ハードディスク、メモリ等)に記録する。
【0037】視線測定装置の参考文献「大野健彦、武川
直樹、吉川原、“眼球モデルに基づく視線測定システム
−視線入力デバイスの実現に向けて−”、HI研究会93
-7,pp.47-54(2001)」 次に、「映像生成手段(9)」は、「画像データ選択手
段(10)」と「画像座標算出手段(11)」と「テク
スチャマッピング手段(12)」からなる。
直樹、吉川原、“眼球モデルに基づく視線測定システム
−視線入力デバイスの実現に向けて−”、HI研究会93
-7,pp.47-54(2001)」 次に、「映像生成手段(9)」は、「画像データ選択手
段(10)」と「画像座標算出手段(11)」と「テク
スチャマッピング手段(12)」からなる。
【0038】「画像データ選択手段(10)」では、人
の視点で見えている映像と近い画質にするために、「視
線計測手段(8)」により獲得した人の視線方向と、
「カメラパラメータ獲得手段(1)」により獲得した各
カメラの光軸方向を入力して、それらのベクトルの成す
角を計算することにより、テクスチャマッピングする画
像データをどのカメラから撮影したものから構成するか
決定し、その結果を記憶装置(ハードディスク、メモリ
等)に記録する。
の視点で見えている映像と近い画質にするために、「視
線計測手段(8)」により獲得した人の視線方向と、
「カメラパラメータ獲得手段(1)」により獲得した各
カメラの光軸方向を入力して、それらのベクトルの成す
角を計算することにより、テクスチャマッピングする画
像データをどのカメラから撮影したものから構成するか
決定し、その結果を記憶装置(ハードディスク、メモリ
等)に記録する。
【0039】具体的には、図3に示すように、ワールド
座標における人の視線方向ベクトルE(t)=(Ex
(t),Ey(t),Ez(t))と、各カメラ光軸方
向ベクトルHn=(Hnx,Hny,Hnz)(n:カ
メラ番号)に着目して、それらのベクトルの成す角を
(3)式によって算出する。
座標における人の視線方向ベクトルE(t)=(Ex
(t),Ey(t),Ez(t))と、各カメラ光軸方
向ベクトルHn=(Hnx,Hny,Hnz)(n:カ
メラ番号)に着目して、それらのベクトルの成す角を
(3)式によって算出する。
【0040】
【数3】
【0041】ただし、nはカメラ番号
次に、(3)式によって得られた角の値を調べ、小さい
値を示すカメラから得られた画像を最も優先度の高いテ
クスチャマッピングの候補として、角度の小さい順に優
先度をカメラ毎に決定する画像データとする。例えば、
図3の場合は、C7の優先度が最も高く、次にC8とな
る。
値を示すカメラから得られた画像を最も優先度の高いテ
クスチャマッピングの候補として、角度の小さい順に優
先度をカメラ毎に決定する画像データとする。例えば、
図3の場合は、C7の優先度が最も高く、次にC8とな
る。
【0042】「画像座標算出手段(11)」では、前記
の「3次元形状モデル獲得手段(5)」により獲得した
3次元形状モデルの各三角パッチの各頂点3次元座標
(X,Y,Z)を入力として、「画像データ選択手段
(10)」により選択されたカメラのパラメータを用い
ることにより、それらの3次元座標が投影されている画
像座標系における2次元座標(x,y)を算出し、その
結果を配慮装置(ハードディスク、メモリ等)に記録す
る。
の「3次元形状モデル獲得手段(5)」により獲得した
3次元形状モデルの各三角パッチの各頂点3次元座標
(X,Y,Z)を入力として、「画像データ選択手段
(10)」により選択されたカメラのパラメータを用い
ることにより、それらの3次元座標が投影されている画
像座標系における2次元座標(x,y)を算出し、その
結果を配慮装置(ハードディスク、メモリ等)に記録す
る。
【0043】「テクスチャマッピング手段(12)」で
は、各三角パッチの各頂点3次元座標(X,Y,Z)が
投影されている画像座標系における2次元座標(x,
y)と、「画像データ選択手段(10)」によって選択
された画像データを入力として、それらの2次元座標
(x,y)を結んだ各3角形領域の画像データを記憶装
置から取り出し、それらを各三角パッチにテクスチャマ
ッピングし、その結果をディスプレイ等の出力装置に出
力する。
は、各三角パッチの各頂点3次元座標(X,Y,Z)が
投影されている画像座標系における2次元座標(x,
y)と、「画像データ選択手段(10)」によって選択
された画像データを入力として、それらの2次元座標
(x,y)を結んだ各3角形領域の画像データを記憶装
置から取り出し、それらを各三角パッチにテクスチャマ
ッピングし、その結果をディスプレイ等の出力装置に出
力する。
【0044】また、各三角パッチの面の向きによって
は、上記、最も優先度の高いカメラに対応する画像デー
タだけでは、人の視点の前方にある三角パッチにマッピ
ングするテクスチャが得られない場合がある。例えば、
図3に示したように、カメラの光軸のベクトルと三角パ
ッチの法線ベクトルの内積が正となる。すなわち、三角
パッチの面がカメラの光軸に対して裏を向いている場合
である。
は、上記、最も優先度の高いカメラに対応する画像デー
タだけでは、人の視点の前方にある三角パッチにマッピ
ングするテクスチャが得られない場合がある。例えば、
図3に示したように、カメラの光軸のベクトルと三角パ
ッチの法線ベクトルの内積が正となる。すなわち、三角
パッチの面がカメラの光軸に対して裏を向いている場合
である。
【0045】このとき、「画像データ選択手段(1
0)」により得られた優先度の順にカメラから得られた
画像データを選択し、カメラ光軸に対して三角パッチが
表になる条件となるように、「画像座標算出手段(1
1)」と「テクスチャマッピング手段(12)」を繰り
返す。
0)」により得られた優先度の順にカメラから得られた
画像データを選択し、カメラ光軸に対して三角パッチが
表になる条件となるように、「画像座標算出手段(1
1)」と「テクスチャマッピング手段(12)」を繰り
返す。
【0046】以上の手段により、時刻tにおける人の眼
球位置S(t)=(Sx(t),Sy(t),Sz
(t))と視線方向E(t)=(Ex(t),Ey
(t),Ez(t))に対応した視野映像生成が実現可
能となる。
球位置S(t)=(Sx(t),Sy(t),Sz
(t))と視線方向E(t)=(Ex(t),Ey
(t),Ez(t))に対応した視野映像生成が実現可
能となる。
【0047】なお、本手段は、時刻tが連続的に変化す
る場合も同様に実現できる。また、形状や物体の配置が
リアルタイムに変化する場合にも同様に実現できること
は明らかである。
る場合も同様に実現できる。また、形状や物体の配置が
リアルタイムに変化する場合にも同様に実現できること
は明らかである。
【0048】また、本発明は、図1に示した装置の一部
又は全部の処理機能をプログラムとして構成してコンピ
ュータを用いて実現すること、あるいは図1〜図3で示
した処理手順をプログラムとして構成してコンピュータ
に実行させることができる。また、コンピュータでその
各部の処理機能を実現するためのプログラム、あるいは
コンピュータにその処理手順を実行させるためのプログ
ラムを、そのコンピュータが読み取り可能な記録媒体、
例えば、FD(フロッピーディスク:登録商標)、M
O、ROM、メモリカード、CD、DVD、リムーバブ
ルディスクなどに記録して、保存したり、提供したりす
ることが可能であり、また、インターネットのような通
信ネットワークを介して配布したりすることが可能であ
る。
又は全部の処理機能をプログラムとして構成してコンピ
ュータを用いて実現すること、あるいは図1〜図3で示
した処理手順をプログラムとして構成してコンピュータ
に実行させることができる。また、コンピュータでその
各部の処理機能を実現するためのプログラム、あるいは
コンピュータにその処理手順を実行させるためのプログ
ラムを、そのコンピュータが読み取り可能な記録媒体、
例えば、FD(フロッピーディスク:登録商標)、M
O、ROM、メモリカード、CD、DVD、リムーバブ
ルディスクなどに記録して、保存したり、提供したりす
ることが可能であり、また、インターネットのような通
信ネットワークを介して配布したりすることが可能であ
る。
【0049】
【発明の効果】以上、説明したように、本発明は、複数
のカメラから得られる画像に基づき新しい視点からの画
像を計算機上で生成する映像生成技術、並びに、人の眼
球運動計測技術の応用によって、実環境中に存在する人
の視野に映っている情景を、映像として生成できる装置
を提供することができる。
のカメラから得られる画像に基づき新しい視点からの画
像を計算機上で生成する映像生成技術、並びに、人の眼
球運動計測技術の応用によって、実環境中に存在する人
の視野に映っている情景を、映像として生成できる装置
を提供することができる。
【0050】また、過去の研究から、人の視線には、そ
の人の意図や興味、情動や気分など心理的な状態が反映
しているとされている。本発明を用いれば、実環境中に
存在する人の興味や行動の推移が観測可能となる。
の人の意図や興味、情動や気分など心理的な状態が反映
しているとされている。本発明を用いれば、実環境中に
存在する人の興味や行動の推移が観測可能となる。
【図1】本発明の実施形態を示す視野映像生成装置の構
成図。
成図。
【図2】実施形態における視野映像生成装置の外観図。
【図3】実施形態における天井から見た視野映像生成装
置の外観図。
置の外観図。
1…カメラパラメータ獲得手段
2…カメラキャリブレーション手段
3…画像データ獲得手段
4…屋内環境に設置した複数のカメラ
5…3次元モデル獲得手段
6…3次元形状計測手段
7…三角パッチ作成手段
8…視線計測手段
9…映像生成手段
10…画像データ選択手段
11…画像座標算出手段
12…テクスチャマッピング手段
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 武川 直樹
東京都千代田区大手町二丁目3番1号 日
本電信電話株式会社内
Fターム(参考) 5B050 BA06 CA07 DA07 EA17 EA27
FA02 FA09
5B057 BA13 CA13 CA16 CB13 CB16
CD01 DB03 DC08
5C022 AA00 AC00
Claims (8)
- 【請求項1】 実環境の3次元形状モデルを獲得する
「3次元形状モデル獲得手段」と、 該実環境中に設置された複数のカメラを用いて画像デー
タを獲得する「画像データ獲得手段」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
焦点距離、レンズ中心のいずれか、または、それらの複
数からなるパラメータを獲得する「カメラパラメータ獲
得手段」と、 人の眼球位置と視線方向を計測する「視線計測手段」
と、 前記「3次元形状モデル獲得手段」で獲得された実環境
中の3次元形状データ、及び、前記「画像データ獲得手
段」で獲得された画像データ、及び、前記「視線計測手
段」により計測された人の眼球位置と視線方向を利用
し、人の眼球位置と視線方向に対応した映像を生成する
「映像生成手段」と、を備えたことを特徴とする視野映
像生成装置。 - 【請求項2】 前記「映像生成手段」は、前記各カメラ
姿勢、及び、前記「視線計測手段」により計測された人
の視線方向に基づいて、前記「画像データ獲得手段」に
よって獲得された複数のカメラの画像データの中からテ
クスチャマッピングするカメラの画像データを選択する
「画像データ選択手段」を備えたことを特徴とする請求
項1に記載の視野映像生成装置。 - 【請求項3】 実環境の3次元形状モデルを獲得する
「3次元形状モデル獲得手順」と、 該実環境中に設置された複数のカメラを用いて画像デー
タを獲得する「画像データ獲得手順」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
焦点距離、レンズ中心のいずれか、または、それらの複
数からなるパラメータを獲得する「カメラパラメータ獲
得手順」と、 人の眼球位置と視線方向を計測する「視線計測手順」
と、 前記「3次元形状モデル獲得手順」で獲得された実環境
中の3次元形状データ、及び、前記「画像データ獲得手
順」で獲得された画像データ、及び、前記「視線計測手
順」により計測された人の眼球位置と視線方向を利用
し、人の眼球位置と視線方向に対応した映像を生成する
「映像生成手順」と、を有することを特徴とする視野映
像生成方法。 - 【請求項4】 前記「映像生成手順」は、前記各カメラ
姿勢、及び、前記「視線計測手順」により計測された人
の視線方向に基づいて、前記「画像データ獲得手順」に
よって獲得された複数のカメラの画像データの中からテ
クスチャマッピングするカメラの画像データを選択する
「画像データ選択手順」を有することを特徴とする請求
項3に記載の視野映像生成方法。 - 【請求項5】 実環境の3次元形状モデルを獲得する
「3次元形状モデル獲得手順」と、 該実環境中に設置された複数のカメラを用いて画像デー
タを獲得する「画像データ獲得手順」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
焦点距離、レンズ中心のいずれか、または、それらの複
数からなるパラメータを獲得する「カメラパラメータ獲
得手順」と、 人の眼球位置と視線方向を計測する「視線計測手順」
と、 前記「3次元形状モデル獲得手順」で獲得された実環境
中の3次元形状データ、及び、前記「画像データ獲得手
順」で獲得された画像データ、及び、前記「視線計測手
順」により計測された人の眼球位置と視線方向を利用
し、人の眼球位置と視線方向に対応した映像を生成する
「映像生成手順」と、をコンピュータで実行可能に構成
したことを特徴とする視野映像生成プログラム。 - 【請求項6】 前記「映像生成手順」は、前記各カメラ
姿勢、及び、前記「視線計測手順」により計測された人
の視線方向に基づいて、前記「画像データ獲得手順」に
よって獲得された複数のカメラの画像データの中からテ
クスチャマッピングするカメラの画像データを選択する
「画像データ選択手順」を有することを特徴とする請求
項5に記載の視野映像生成プログラム。 - 【請求項7】 実環境の3次元形状モデルを獲得する
「3次元形状モデル獲得手順」と、 該実環境中に設置された複数のカメラを用いて画像デー
タを獲得する「画像データ獲得手順」と、 該カメラの特性を表すパラメータとして、位置、姿勢、
焦点距離、レンズ中心のいずれか、または、それらの複
数からなるパラメータを獲得する「カメラパラメータ獲
得手順」と、 人の眼球位置と視線方向を計測する「視線計測手順」
と、 前記「3次元形状モデル獲得手順」で獲得された実環境
中の3次元形状データ、及び、前記「画像データ獲得手
順」で獲得された画像データ、及び、前記「視線計測手
順」により計測された人の眼球位置と視線方向を利用
し、人の眼球位置と視線方向に対応した映像を生成する
「映像生成手順」と、を有するプログラムを記録したこ
とを特徴とする視野映像生成プログラムを記録した記録
媒体。 - 【請求項8】 前記「映像生成手順」は、前記各カメラ
姿勢、及び、前記「視線計測手順」により計測された人
の視線方向に基づいて、前記「画像データ獲得手順」に
よって獲得された複数のカメラの画像データの中からテ
クスチャマッピングするカメラの画像データを選択する
「画像データ選択手順」を有することを特徴とする請求
項7に記載の視野映像生成プログラムを記録した記録媒
体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002052556A JP2003256804A (ja) | 2002-02-28 | 2002-02-28 | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002052556A JP2003256804A (ja) | 2002-02-28 | 2002-02-28 | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003256804A true JP2003256804A (ja) | 2003-09-12 |
Family
ID=28664220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002052556A Pending JP2003256804A (ja) | 2002-02-28 | 2002-02-28 | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003256804A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005141655A (ja) * | 2003-11-10 | 2005-06-02 | Olympus Corp | 3次元モデリング装置及び3次元モデリング方法 |
JP2005174151A (ja) * | 2003-12-12 | 2005-06-30 | Topcon Corp | 三次元画像表示装置及び方法 |
US7746377B2 (en) | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
KR101675967B1 (ko) * | 2010-04-30 | 2016-11-30 | 부산대학교 산학협력단 | 4d 영상 인지 프로세서 |
WO2017187694A1 (ja) * | 2016-04-28 | 2017-11-02 | シャープ株式会社 | 注目領域画像生成装置 |
JPWO2018078857A1 (ja) * | 2016-10-31 | 2019-08-08 | 日本電気株式会社 | 視線推定装置、視線推定方法及びプログラム記録媒体 |
-
2002
- 2002-02-28 JP JP2002052556A patent/JP2003256804A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005141655A (ja) * | 2003-11-10 | 2005-06-02 | Olympus Corp | 3次元モデリング装置及び3次元モデリング方法 |
US7746377B2 (en) | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
JP2005174151A (ja) * | 2003-12-12 | 2005-06-30 | Topcon Corp | 三次元画像表示装置及び方法 |
KR101675967B1 (ko) * | 2010-04-30 | 2016-11-30 | 부산대학교 산학협력단 | 4d 영상 인지 프로세서 |
WO2017187694A1 (ja) * | 2016-04-28 | 2017-11-02 | シャープ株式会社 | 注目領域画像生成装置 |
CN109155055A (zh) * | 2016-04-28 | 2019-01-04 | 夏普株式会社 | 关注区域图像生成装置 |
CN109155055B (zh) * | 2016-04-28 | 2023-06-20 | 夏普株式会社 | 关注区域图像生成装置 |
JPWO2018078857A1 (ja) * | 2016-10-31 | 2019-08-08 | 日本電気株式会社 | 視線推定装置、視線推定方法及びプログラム記録媒体 |
US11232585B2 (en) | 2016-10-31 | 2022-01-25 | Nec Corporation | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium |
US11232584B2 (en) | 2016-10-31 | 2022-01-25 | Nec Corporation | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium |
US11232586B2 (en) | 2016-10-31 | 2022-01-25 | Nec Corporation | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4804256B2 (ja) | 情報処理方法 | |
US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
US9841271B2 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
CN110874864A (zh) | 获取对象三维模型的方法、装置、电子设备及*** | |
CN105704479B (zh) | 3d显示***用的测量人眼瞳距的方法及***和显示设备 | |
TWI496108B (zh) | AR image processing apparatus and method | |
JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
JP2002058045A (ja) | 現実の物体をバーチャル3次元空間に登場させるためのシステム及び方法 | |
US11961250B2 (en) | Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method, and image display method | |
CN110458897A (zh) | 多摄像头自动标定方法及***、监控方法及*** | |
US20190340807A1 (en) | Image generating device and method of generating image | |
EP3813019A1 (en) | Method and system for estimating the geometry of a scene | |
US20220148207A1 (en) | Processing of depth maps for images | |
CN107864372A (zh) | 立体拍照方法、装置及终端 | |
US20200211275A1 (en) | Information processing device, information processing method, and recording medium | |
JP2003256804A (ja) | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 | |
JP5759439B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
WO2018173205A1 (ja) | 情報処理システム、その制御方法、及びプログラム | |
CN115205491A (zh) | 一种手持多视图三维重建的方法及装置 | |
JP2023093170A (ja) | 携帯端末装置、および、そのプログラム | |
JP6586730B2 (ja) | 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム | |
JP6210447B2 (ja) | 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法 | |
CN107478227B (zh) | 交互式大型空间的定位算法 | |
JP7465133B2 (ja) | 情報処理装置、情報処理方法 |