JP2002159019A - 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 - Google Patents
表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体Info
- Publication number
- JP2002159019A JP2002159019A JP2000350157A JP2000350157A JP2002159019A JP 2002159019 A JP2002159019 A JP 2002159019A JP 2000350157 A JP2000350157 A JP 2000350157A JP 2000350157 A JP2000350157 A JP 2000350157A JP 2002159019 A JP2002159019 A JP 2002159019A
- Authority
- JP
- Japan
- Prior art keywords
- image
- photographing
- marker
- real
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】実写映像とＣＧ画像の重ね合わせを的確に行う
ことができ、より自然な立体視を実現可能な表示制御装
置等を提供する。 【解決手段】 被写体を撮影する撮影手段によって得ら
れた実写映像と造形的に作成された仮装画像とを合成し
て表示部に表示する際に、前記実写映像に撮影されたマ
ーカーを参照して前記仮装画像の位置決めを行う画像位
置決め方法において、同一の被写体を撮影する２つの撮
影手段によって得られた２つの実写映像のそれぞれに前
記仮装画像を合成して表示する場合に、前記２つの実写
映像の両方に撮影されたマーカーのみを用いて前記仮装
画像の位置決めを行う。
ことができ、より自然な立体視を実現可能な表示制御装
置等を提供する。 【解決手段】 被写体を撮影する撮影手段によって得ら
れた実写映像と造形的に作成された仮装画像とを合成し
て表示部に表示する際に、前記実写映像に撮影されたマ
ーカーを参照して前記仮装画像の位置決めを行う画像位
置決め方法において、同一の被写体を撮影する２つの撮
影手段によって得られた２つの実写映像のそれぞれに前
記仮装画像を合成して表示する場合に、前記２つの実写
映像の両方に撮影されたマーカーのみを用いて前記仮装
画像の位置決めを行う。
Description
【０００１】
【発明の属する技術分野】ＶＲ（Ｖｉｒｔｕｌ Ｒｅａ
ｌｉｔｙ），ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術
を用いたゲーム、各種画像表示などに使用する表示制御
装置等に関する。
ｌｉｔｙ），ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術
を用いたゲーム、各種画像表示などに使用する表示制御
装置等に関する。
【０００２】
【従来の技術】近年、操作者の右眼及び左眼に対応させ
た２つのＬＣＤを有するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ
Ｄｉｓｐｌａｙ）と、小型ビデオカメラとを組み合わ
せ、実写映像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉ
ｃｓ）画像を合成してＨＭＤに表示するＭＲ技術が注目
されている。このＭＲ技術を使用することで、あたかも
現実世界の中にＣＧによる仮想の物体が現れたかのよう
に見せることができる。
た２つのＬＣＤを有するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ
Ｄｉｓｐｌａｙ）と、小型ビデオカメラとを組み合わ
せ、実写映像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉ
ｃｓ）画像を合成してＨＭＤに表示するＭＲ技術が注目
されている。このＭＲ技術を使用することで、あたかも
現実世界の中にＣＧによる仮想の物体が現れたかのよう
に見せることができる。
【０００３】このＭＲ技術を実現するためには、実写映
像とＣＧ映像の重ね合わせを一致させる必要がある。そ
こで、従来では、ＨＭＤに取り付けた左眼用及び右眼用
の２台のビデオカメラからそれぞれ取り込んだ同一場面
のビデオ映像（つまり実写映像）上にＣＧ画像を上書き
するに際し、左眼用と右眼用の実写映像のそれぞれにつ
いて独立して、実写映像に撮影されたマーカー（目印）
を基にＣＧ画像の表示位置を微調整することで、実写映
像とＣＧ画像の位置合わせを行っている。
像とＣＧ映像の重ね合わせを一致させる必要がある。そ
こで、従来では、ＨＭＤに取り付けた左眼用及び右眼用
の２台のビデオカメラからそれぞれ取り込んだ同一場面
のビデオ映像（つまり実写映像）上にＣＧ画像を上書き
するに際し、左眼用と右眼用の実写映像のそれぞれにつ
いて独立して、実写映像に撮影されたマーカー（目印）
を基にＣＧ画像の表示位置を微調整することで、実写映
像とＣＧ画像の位置合わせを行っている。
【０００４】この位置合わせ方法について右眼側を例と
して具体的に説明すると、図１１に示すように、ビデオ
カメラから取り込んだ実写映像（図１１の５００）の２
値化処理を行って実写映像からマーカー４５０〜４５３
を探す（５１０）。一方、マーカーの３次元座標（既
知)について、モデリング変換行列及び射影変換行列を
用いて変換処理を行い、マーカーが画面上で表示される
予想位置を求める（６１０）。
して具体的に説明すると、図１１に示すように、ビデオ
カメラから取り込んだ実写映像（図１１の５００）の２
値化処理を行って実写映像からマーカー４５０〜４５３
を探す（５１０）。一方、マーカーの３次元座標（既
知)について、モデリング変換行列及び射影変換行列を
用いて変換処理を行い、マーカーが画面上で表示される
予想位置を求める（６１０）。
【０００５】そして、実写映像上のマーカー４５０〜４
５３の位置とマーカーの表示予想位置とを比較し、その
差分によりマーカーの表示予想位置の補正を行う（６２
０）。これによって、ＣＧ画像４５４，４５５の表示位
置を微調整することができる（６３０）。
５３の位置とマーカーの表示予想位置とを比較し、その
差分によりマーカーの表示予想位置の補正を行う（６２
０）。これによって、ＣＧ画像４５４，４５５の表示位
置を微調整することができる（６３０）。
【０００６】
【発明が解決しようとする課題】しかしながら、上記従
来の位置合わせ方法では、左眼用と右眼用の実写映像に
おいて異なったマーカーに合わせて位置合わせを行うこ
とがあり、この場合には、左右の映像で位置合わせの補
正量や方向が異なるものになる。つまり、左右の映像の
相対位置関係が変わり、その結果、不自然な立体映像を
生成してしまうことがあった。
来の位置合わせ方法では、左眼用と右眼用の実写映像に
おいて異なったマーカーに合わせて位置合わせを行うこ
とがあり、この場合には、左右の映像で位置合わせの補
正量や方向が異なるものになる。つまり、左右の映像の
相対位置関係が変わり、その結果、不自然な立体映像を
生成してしまうことがあった。
【０００７】本発明は上記従来の問題点に鑑み、実写映
像とＣＧ画像の重ね合わせを的確に行うことができ、よ
り自然な立体視を実現可能な表示制御装置等を提供する
ことを目的とする。
像とＣＧ画像の重ね合わせを的確に行うことができ、よ
り自然な立体視を実現可能な表示制御装置等を提供する
ことを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、本願における請求項１に記載の発明によれば、互い
に異なる第１の画像と第２の画像を入力する画像入力手
段と、入力された前記第１の画像と前記第２の画像とを
画像合成する手段であって、前記第１の画像に前記第２
の画像を合成する際、前記第１の画像中より検出した所
定のマーカーに基づいて第２の画像を位置決めするよう
になされた画像合成手段と、前記画像合成手段より出力
された合成画像を表示する表示手段とを備え、前記画像
合成手段は、同一の被写体を異なる位置から撮影した複
数の第１の画像に対して前記第２の画像を合成する際、
前記複数の第１の画像に共通に検出されたマーカーに基
づいて、前記第２の画像の位置決めを行うように構成さ
れた表示制御装置を特徴とする。
に、本願における請求項１に記載の発明によれば、互い
に異なる第１の画像と第２の画像を入力する画像入力手
段と、入力された前記第１の画像と前記第２の画像とを
画像合成する手段であって、前記第１の画像に前記第２
の画像を合成する際、前記第１の画像中より検出した所
定のマーカーに基づいて第２の画像を位置決めするよう
になされた画像合成手段と、前記画像合成手段より出力
された合成画像を表示する表示手段とを備え、前記画像
合成手段は、同一の被写体を異なる位置から撮影した複
数の第１の画像に対して前記第２の画像を合成する際、
前記複数の第１の画像に共通に検出されたマーカーに基
づいて、前記第２の画像の位置決めを行うように構成さ
れた表示制御装置を特徴とする。
【０００９】また請求項２に記載の発明によれば、請求
項１において、前記第１の画像は実写画像であり、前記
第２の画像はＣＧ等の仮想画像であることを特徴とす
る。
項１において、前記第１の画像は実写画像であり、前記
第２の画像はＣＧ等の仮想画像であることを特徴とす
る。
【００１０】また請求項３に記載の発明によれば、請求
項２において、前記第１の画像は、ステレオ画像を構成
する左右の画像であることを特徴とする。
項２において、前記第１の画像は、ステレオ画像を構成
する左右の画像であることを特徴とする。
【００１１】また請求項４に記載の発明によれば、請求
項２において、前記マーカーは、前記実写画像の撮影対
象に予め付与され、前記撮影対象に対して位置が不変で
あることを特徴とする。
項２において、前記マーカーは、前記実写画像の撮影対
象に予め付与され、前記撮影対象に対して位置が不変で
あることを特徴とする。
【００１２】また請求項５に記載の発明によれば、互い
に異なる第１の画像と第２の画像を入力する画像入力ス
テップと、前記画像入力ステップにおいて入力された前
記第１の画像と前記第２の画像とを画像合成する処理を
行うステップであって、前記第１の画像に前記第２の画
像を合成する際、前記第１の画像中より検出した所定の
マーカーに基づいて第２の画像を位置決めするようにな
された画像合成ステップと、前記画像合成ステップによ
って生成された合成画像を表示する表示ステップとを備
え、前記画像合成ステップは、同一の被写体を異なる位
置から撮影した複数の第１の画像に対して前記第２の画
像を合成する際、前記複数の第１の画像に共通に検出さ
れたマーカーに基づいて、前記第２の画像の位置決めを
行うようにした表示制御方法を特徴とする。
に異なる第１の画像と第２の画像を入力する画像入力ス
テップと、前記画像入力ステップにおいて入力された前
記第１の画像と前記第２の画像とを画像合成する処理を
行うステップであって、前記第１の画像に前記第２の画
像を合成する際、前記第１の画像中より検出した所定の
マーカーに基づいて第２の画像を位置決めするようにな
された画像合成ステップと、前記画像合成ステップによ
って生成された合成画像を表示する表示ステップとを備
え、前記画像合成ステップは、同一の被写体を異なる位
置から撮影した複数の第１の画像に対して前記第２の画
像を合成する際、前記複数の第１の画像に共通に検出さ
れたマーカーに基づいて、前記第２の画像の位置決めを
行うようにした表示制御方法を特徴とする。
【００１３】また請求項６に記載の発明によれば、請求
項５において、前記第１の画像は実写画像であり、前記
第２の画像はＣＧ等の仮想画像であることを特徴とす
る。
項５において、前記第１の画像は実写画像であり、前記
第２の画像はＣＧ等の仮想画像であることを特徴とす
る。
【００１４】また請求項７に記載の発明によれば、請求
項６において、前記第１の画像は、ステレオ画像を構成
する左右の画像であることを特徴とする。
項６において、前記第１の画像は、ステレオ画像を構成
する左右の画像であることを特徴とする。
【００１５】また請求項８に記載の発明によれば、請求
項６において、前記マーカーは、前記実写画像の撮影対
象に予め付与され、前記撮影対象に対して位置が不変で
あることを特徴とする。
項６において、前記マーカーは、前記実写画像の撮影対
象に予め付与され、前記撮影対象に対して位置が不変で
あることを特徴とする。
【００１６】請求項９記載の発明に係る表示制御装置で
は、被写体を撮影する撮影手段によって得られた実写映
像と造形的に作成された仮装画像とを合成して表示部に
表示する表示手段と、前記表示手段の合成表示の際に、
前記実写映像に撮影されたマーカーを参照して前記仮装
画像の位置決めを行う位置決め手段とを有する表示制御
装置において、前記表示手段により、同一の被写体を撮
影する２つの撮影手段によって得られた２つの実写映像
のそれぞれに前記仮装画像を合成して表示する際に、前
記位置決め手段は、前記２つの実写映像の両方に撮影さ
れたマーカーのみを用いて前記仮装画像の位置決めを行
うことを特徴とする。
は、被写体を撮影する撮影手段によって得られた実写映
像と造形的に作成された仮装画像とを合成して表示部に
表示する表示手段と、前記表示手段の合成表示の際に、
前記実写映像に撮影されたマーカーを参照して前記仮装
画像の位置決めを行う位置決め手段とを有する表示制御
装置において、前記表示手段により、同一の被写体を撮
影する２つの撮影手段によって得られた２つの実写映像
のそれぞれに前記仮装画像を合成して表示する際に、前
記位置決め手段は、前記２つの実写映像の両方に撮影さ
れたマーカーのみを用いて前記仮装画像の位置決めを行
うことを特徴とする。
【００１７】請求項１０記載の発明に係る表示制御装置
では、請求項９記載の表示制御装置において、前記２つ
の撮影手段は、左眼用カメラと右眼用カメラであること
を特徴とする。
では、請求項９記載の表示制御装置において、前記２つ
の撮影手段は、左眼用カメラと右眼用カメラであること
を特徴とする。
【００１８】請求項１１記載の発明に係る表示制御装置
では、請求項１０記載の表示制御装置において、前記表
示部は、左眼用表示部と右眼用表示部で構成され、前記
左眼用表示部は、前記２つの実写映像のうち前記左眼用
カメラで撮影された左眼用の実写映像を表示し、前記右
眼用表示部は、前記右眼用カメラで撮影された右眼用の
実写映像を表示することを特徴とする。
では、請求項１０記載の表示制御装置において、前記表
示部は、左眼用表示部と右眼用表示部で構成され、前記
左眼用表示部は、前記２つの実写映像のうち前記左眼用
カメラで撮影された左眼用の実写映像を表示し、前記右
眼用表示部は、前記右眼用カメラで撮影された右眼用の
実写映像を表示することを特徴とする。
【００１９】請求項１２記載の発明に係る撮影位置推測
装置では、被写体を撮影する撮影手段によって得られた
実写映像からマーカーを検出する検出手段と、前記マー
カーを参照して前記被写体の撮影位置を推測する推測手
段とを備えた撮影位置推測装置において、前記検出手段
は、同一の被写体を撮影する２つの撮影手段によって得
られた２つの実写映像からそれぞれマーカーを検出する
ように構成し、前記推測手段は、前記検出手段で検出さ
れたマーカーのうち、前記２つの実写映像の両方に撮影
されたマーカーのみを選択し、その選択されたマーカー
を参照して前記被写体の撮影位置を推測することを特徴
とする。
装置では、被写体を撮影する撮影手段によって得られた
実写映像からマーカーを検出する検出手段と、前記マー
カーを参照して前記被写体の撮影位置を推測する推測手
段とを備えた撮影位置推測装置において、前記検出手段
は、同一の被写体を撮影する２つの撮影手段によって得
られた２つの実写映像からそれぞれマーカーを検出する
ように構成し、前記推測手段は、前記検出手段で検出さ
れたマーカーのうち、前記２つの実写映像の両方に撮影
されたマーカーのみを選択し、その選択されたマーカー
を参照して前記被写体の撮影位置を推測することを特徴
とする。
【００２０】請求項１３記載の発明に係る撮影位置推測
装置では、請求項１２記載の撮影位置推測装置におい
て、前記２つの撮影手段は、左眼用カメラと右眼用カメ
ラであることを特徴とする。
装置では、請求項１２記載の撮影位置推測装置におい
て、前記２つの撮影手段は、左眼用カメラと右眼用カメ
ラであることを特徴とする。
【００２１】請求項１４記載の発明に係る表示システム
では、請求項９乃至請求項１１記載の表示制御装置を有
することを特徴とする。
では、請求項９乃至請求項１１記載の表示制御装置を有
することを特徴とする。
【００２２】請求項１５記載の発明に係る撮影システム
では、請求項１２または請求項１３記載の撮影位置推測
装置を有することを特徴とする。
では、請求項１２または請求項１３記載の撮影位置推測
装置を有することを特徴とする。
【００２３】請求項１６記載の発明に係る画像位置決め
方法では、被写体を撮影する撮影手段によって得られた
実写映像と造形的に作成された仮装画像とを合成して表
示部に表示する際に、前記実写映像に撮影されたマーカ
ーを参照して前記仮装画像の位置決めを行う画像位置決
め方法において、同一の被写体を撮影する２つの撮影手
段によって得られた２つの実写映像のそれぞれに前記仮
装画像を合成して表示する場合に、前記２つの実写映像
の両方に撮影されたマーカーのみを用いて前記仮装画像
の位置決めを行うことを特徴とする。
方法では、被写体を撮影する撮影手段によって得られた
実写映像と造形的に作成された仮装画像とを合成して表
示部に表示する際に、前記実写映像に撮影されたマーカ
ーを参照して前記仮装画像の位置決めを行う画像位置決
め方法において、同一の被写体を撮影する２つの撮影手
段によって得られた２つの実写映像のそれぞれに前記仮
装画像を合成して表示する場合に、前記２つの実写映像
の両方に撮影されたマーカーのみを用いて前記仮装画像
の位置決めを行うことを特徴とする。
【００２４】請求項１７記載の発明に係る画像位置決め
方法では、請求項１６記載の画像位置決め方法におい
て、前記２つの撮影手段は、左眼用カメラと右眼用カメ
ラであることを特徴とする。
方法では、請求項１６記載の画像位置決め方法におい
て、前記２つの撮影手段は、左眼用カメラと右眼用カメ
ラであることを特徴とする。
【００２５】請求項１８記載の発明に係る画像位置決め
方法では、請求項１７記載の画像位置決め方法におい
て、前記表示部は、左眼用表示部と右眼用表示部で構成
され、前記左眼用表示部は、前記２つの実写映像のうち
前記左眼用カメラで撮影された左眼用の実写映像を表示
し、前記右眼用表示部は、前記右眼用カメラで撮影され
た右眼用の実写映像を表示することを特徴とする。
方法では、請求項１７記載の画像位置決め方法におい
て、前記表示部は、左眼用表示部と右眼用表示部で構成
され、前記左眼用表示部は、前記２つの実写映像のうち
前記左眼用カメラで撮影された左眼用の実写映像を表示
し、前記右眼用表示部は、前記右眼用カメラで撮影され
た右眼用の実写映像を表示することを特徴とする。
【００２６】請求項１９記載の発明に係る撮影位置推測
方法では、被写体を撮影する撮影手段によって得られた
実写映像からマーカーを検出する検出行程と、前記マー
カーを参照して前記被写体の撮影位置を推測する推測行
程とを実行する撮影位置推測方法において、前記検出行
程は、同一の被写体を撮影する２つの撮影手段によって
得られた２つの実写映像からそれぞれマーカーを検出
し、前記推測行程は、前記検出行程で検出されたマーカ
ーのうち、前記２つの実写映像の両方に撮影されたマー
カーのみを選択し、その選択されたマーカーを参照して
前記被写体の撮影位置を推測することを特徴とする。
方法では、被写体を撮影する撮影手段によって得られた
実写映像からマーカーを検出する検出行程と、前記マー
カーを参照して前記被写体の撮影位置を推測する推測行
程とを実行する撮影位置推測方法において、前記検出行
程は、同一の被写体を撮影する２つの撮影手段によって
得られた２つの実写映像からそれぞれマーカーを検出
し、前記推測行程は、前記検出行程で検出されたマーカ
ーのうち、前記２つの実写映像の両方に撮影されたマー
カーのみを選択し、その選択されたマーカーを参照して
前記被写体の撮影位置を推測することを特徴とする。
【００２７】請求項２０記載の発明に係る撮影位置推測
方法では、請求項１９記載の撮影位置推測方法におい
て、前記２つの撮影手段は、左眼用カメラと右眼用カメ
ラであることを特徴とする。
方法では、請求項１９記載の撮影位置推測方法におい
て、前記２つの撮影手段は、左眼用カメラと右眼用カメ
ラであることを特徴とする。
【００２８】請求項２１記載の発明に係る処理プログラ
ムを記録した記録媒体では、被写体を撮影する撮影手段
によって得られた実写映像と造形的に作成された仮装画
像とを合成して表示部に表示する際に、前記実写映像に
撮影されたマーカーを参照して前記仮装画像の位置決め
を行う画像位置決め方法を実行するための処理プログラ
ムを記録した記録媒体であって、前記処理プログラム
は、同一の被写体を撮影する２つの撮影手段によって得
られた２つの実写映像のそれぞれに前記仮装画像を合成
して表示する場合に、前記２つの実写映像の両方に撮影
されたマーカーのみを用いて前記仮装画像の位置決めを
行う内容を有することを特徴とする。
ムを記録した記録媒体では、被写体を撮影する撮影手段
によって得られた実写映像と造形的に作成された仮装画
像とを合成して表示部に表示する際に、前記実写映像に
撮影されたマーカーを参照して前記仮装画像の位置決め
を行う画像位置決め方法を実行するための処理プログラ
ムを記録した記録媒体であって、前記処理プログラム
は、同一の被写体を撮影する２つの撮影手段によって得
られた２つの実写映像のそれぞれに前記仮装画像を合成
して表示する場合に、前記２つの実写映像の両方に撮影
されたマーカーのみを用いて前記仮装画像の位置決めを
行う内容を有することを特徴とする。
【００２９】請求項２２記載の発明に係る処理プログラ
ムを記録した記録媒体では、マーカーが付された被写体
を撮影する撮影手段によって得られた実写映像からマー
カーを検出し、このマーカーを参照して前記被写体の撮
影位置を推測する撮影位置推測方法を実行するための処
理プログラムを記録した記録媒体であって、前記処理プ
ログラムは、同一の被写体を撮影する２つの撮影手段に
よって得られた２つの実写映像からそれぞれマーカーを
検出する第１のステップと、前記第１のステップによっ
て検出されたマーカーのうち、前記２つの実写映像の両
方に撮影されたマーカーのみを選択する第２のステップ
と、前記第２のステップで選択されたマーカーを参照し
て前記被写体の撮影位置を推測する第３のステップとを
備えたことを特徴とする。
ムを記録した記録媒体では、マーカーが付された被写体
を撮影する撮影手段によって得られた実写映像からマー
カーを検出し、このマーカーを参照して前記被写体の撮
影位置を推測する撮影位置推測方法を実行するための処
理プログラムを記録した記録媒体であって、前記処理プ
ログラムは、同一の被写体を撮影する２つの撮影手段に
よって得られた２つの実写映像からそれぞれマーカーを
検出する第１のステップと、前記第１のステップによっ
て検出されたマーカーのうち、前記２つの実写映像の両
方に撮影されたマーカーのみを選択する第２のステップ
と、前記第２のステップで選択されたマーカーを参照し
て前記被写体の撮影位置を推測する第３のステップとを
備えたことを特徴とする。
【００３０】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。
施の形態を説明する。
【００３１】図１は、本発明の実施の一形態に係る表示
システムの概略の外観図である。
システムの概略の外観図である。
【００３２】同図に示すシステムは、ＭＲ技術を用いた
ゲーム用のシステムの一例であり、プレイヤーの頭部に
装着されるＨＭＤ１００、プレイヤーの頭部の３次元空
間における位置及び方位を検出する３次元センサ本体２
００、前記３次元センサ２００と協働して位置検出を可
能とする３次元センサ固定局２１０、プレイヤーの位置
演算、ＣＧ画像生成、合成等、各種の処理を行う計算機
３００、及びゲームフィールド４００により構成されて
いる。
ゲーム用のシステムの一例であり、プレイヤーの頭部に
装着されるＨＭＤ１００、プレイヤーの頭部の３次元空
間における位置及び方位を検出する３次元センサ本体２
００、前記３次元センサ２００と協働して位置検出を可
能とする３次元センサ固定局２１０、プレイヤーの位置
演算、ＣＧ画像生成、合成等、各種の処理を行う計算機
３００、及びゲームフィールド４００により構成されて
いる。
【００３３】ＨＭＤ１００は、ＨＭＤ本体に取り付けら
れたビデオカメラで撮影した実画像にＣＧ画像などを合
成して表示するビデオシースルー方式のＨＭＤであり、
図２（ａ），（ｂ）に示すように、ステレオ画像（３Ｄ
画像）を構成する左右画像をそれぞれ撮像するための左
眼及び右眼用カメラ１１０，１１１、３次元位置センサ
２００に接続され、検出した位置方位を３次元位置セン
サ２００へと送信する３次元位置センサ移動局１２０、
及び左眼及び右眼用ＬＣＤ１３０，１３１からなる。
れたビデオカメラで撮影した実画像にＣＧ画像などを合
成して表示するビデオシースルー方式のＨＭＤであり、
図２（ａ），（ｂ）に示すように、ステレオ画像（３Ｄ
画像）を構成する左右画像をそれぞれ撮像するための左
眼及び右眼用カメラ１１０，１１１、３次元位置センサ
２００に接続され、検出した位置方位を３次元位置セン
サ２００へと送信する３次元位置センサ移動局１２０、
及び左眼及び右眼用ＬＣＤ１３０，１３１からなる。
【００３４】ここで、プレイヤーの頭部位置及び方位の
検出は、たとえば、３次元位置センサ固定局２１０より
空間に磁場を発生させ、磁気センサによって構成された
３次元位置センサ移動局１２０によって、磁気の変化を
検出して３次元位置センサ２００へと送信し、使用者の
位置及び方位を演算し、計算機３００へと供給するよう
に構成されている。
検出は、たとえば、３次元位置センサ固定局２１０より
空間に磁場を発生させ、磁気センサによって構成された
３次元位置センサ移動局１２０によって、磁気の変化を
検出して３次元位置センサ２００へと送信し、使用者の
位置及び方位を演算し、計算機３００へと供給するよう
に構成されている。
【００３５】プレイヤーは、ＨＭＤ１００を装着してゲ
ームプレーし、この時、図３に示すように、ＨＭＤ１０
０内のＬＣＤ１３０，１３１には、カメラ１１０，１１
１で撮影された実写映像５００とＣＧ画像６００が合成
された合成画像７００が表示される。
ームプレーし、この時、図３に示すように、ＨＭＤ１０
０内のＬＣＤ１３０，１３１には、カメラ１１０，１１
１で撮影された実写映像５００とＣＧ画像６００が合成
された合成画像７００が表示される。
【００３６】本実施形態ではビデオシースルー方式のＨ
ＭＤを使用したが、これは本発明を制限するものではな
く、光学シースルー方式のＨＭＤとビデオカメラを組み
合わせた方式のＨＭＤに対して本発明を適応することも
可能である。
ＭＤを使用したが、これは本発明を制限するものではな
く、光学シースルー方式のＨＭＤとビデオカメラを組み
合わせた方式のＨＭＤに対して本発明を適応することも
可能である。
【００３７】ゲームフィールド４００には、図４に示す
ように、例えば４つのブロック４１０，４１１，４１
３，４１４が置かれており、これらブロックの側面には
それぞれマーカー４５０，４５１，４５２，４５３がそ
れぞれ貼付されている。ゲームフィールド４００の位置
は、ブロック４１０〜４１４とマーカー４５０〜４５３
の位置を含めて正確に測定してある。
ように、例えば４つのブロック４１０，４１１，４１
３，４１４が置かれており、これらブロックの側面には
それぞれマーカー４５０，４５１，４５２，４５３がそ
れぞれ貼付されている。ゲームフィールド４００の位置
は、ブロック４１０〜４１４とマーカー４５０〜４５３
の位置を含めて正確に測定してある。
【００３８】図５は、本実施形態の表示制御システムの
機能構成を示すブロック図である。
機能構成を示すブロック図である。
【００３９】ＨＭＤ１００に表示される映像は、計算機
３００により作成される。計算機３００は、ＣＰＵ３０
１、メモリ３０２、ＰＣＩブリッジ３０３、シリアルＩ
／Ｏ３１０、ビデオキャプチャカード３２０，３２１、
及びビデオボード３３０，３３１から構成されている。
３００により作成される。計算機３００は、ＣＰＵ３０
１、メモリ３０２、ＰＣＩブリッジ３０３、シリアルＩ
／Ｏ３１０、ビデオキャプチャカード３２０，３２１、
及びビデオボード３３０，３３１から構成されている。
【００４０】そして、ＨＭＤ１００の左右のビデオカメ
ラ１１０，１１１より出力された画像信号（例えばＮＴ
ＳＣ方式のビデオ信号）は、それぞれ計算機３００内の
ビデオキャプチャカード３２０，３２１へと供給され、
画像信号が取り込まれ、ＰＣＩ，ＰＣＩブリッジ３０３
を介してメモリ３０２へ供給され、あるいはＣＰＵ３０
１へと供給されて各種画像処理が行われる。
ラ１１０，１１１より出力された画像信号（例えばＮＴ
ＳＣ方式のビデオ信号）は、それぞれ計算機３００内の
ビデオキャプチャカード３２０，３２１へと供給され、
画像信号が取り込まれ、ＰＣＩ，ＰＣＩブリッジ３０３
を介してメモリ３０２へ供給され、あるいはＣＰＵ３０
１へと供給されて各種画像処理が行われる。
【００４１】また予めメモリ３０２に記憶され、あるい
は外部より周知の手段で供給された画像情報に基づい
て、ＣＰＵ３０１内でＣＧ画像が生成されるとともに、
ビデオキャプチャカード３２０、３２１からの実画像と
合成され、ビデオカード３３０，３３１を介してＨＭＤ
１００の左右のＬＣＤ表示部へと供給される（例えばＶ
ＧＡ画像で）。
は外部より周知の手段で供給された画像情報に基づい
て、ＣＰＵ３０１内でＣＧ画像が生成されるとともに、
ビデオキャプチャカード３２０、３２１からの実画像と
合成され、ビデオカード３３０，３３１を介してＨＭＤ
１００の左右のＬＣＤ表示部へと供給される（例えばＶ
ＧＡ画像で）。
【００４２】尚、左右のカメラ１１０，１１１からの実
画像と、ＣＧ画像の合成にあたっては、３次元位置セン
サ２００より、プレイヤーの頭部の位置及び方位の情報
が供給され、画像合成の際の、カメラからの実画像と、
ＣＧ画像との位置合わせが行われる。すなわちプレイヤ
ーの位置及び視線方向に対応したＣＧ画像の合成を行う
わけである。
画像と、ＣＧ画像の合成にあたっては、３次元位置セン
サ２００より、プレイヤーの頭部の位置及び方位の情報
が供給され、画像合成の際の、カメラからの実画像と、
ＣＧ画像との位置合わせが行われる。すなわちプレイヤ
ーの位置及び視線方向に対応したＣＧ画像の合成を行う
わけである。
【００４３】３次元位置センサ２００は、３次元位置セ
ンサ固定局２１０より発生された磁気を、ＨＭＤ内蔵の
３次元センサ移動局１２０によって検出し、その検出結
果に基づいて、３次元位置センサ固定局２１０とＨＭＤ
内蔵の３次元位置センサ１２０の相対位置を測定するも
ので、位置情報は、ｘ（縦方向），ｙ（横方向），ｚ
（奥行き方向），ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗの６つ
の位置について自由度を測定できる。
ンサ固定局２１０より発生された磁気を、ＨＭＤ内蔵の
３次元センサ移動局１２０によって検出し、その検出結
果に基づいて、３次元位置センサ固定局２１０とＨＭＤ
内蔵の３次元位置センサ１２０の相対位置を測定するも
ので、位置情報は、ｘ（縦方向），ｙ（横方向），ｚ
（奥行き方向），ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗの６つ
の位置について自由度を測定できる。
【００４４】また、３次元位置センサ２００は、計算機
３００とシリアルインターフェイスで通信を行い、３次
元位置センサ固定局２１０の位置は、事前に正確に測定
してあり、ＨＭＤ内蔵位置センサ１２０の３次元位置セ
ンサ固定局２１０に対する相対位置を知ることで、ＨＭ
Ｄ１００の絶対位置（ゲームフィールド４００の中心を
原点とする）を知ることができる。図６は、本実施形態
に係る計算機３００のＨＭＤ表示スレッドを示すフロー
チャートである。
３００とシリアルインターフェイスで通信を行い、３次
元位置センサ固定局２１０の位置は、事前に正確に測定
してあり、ＨＭＤ内蔵位置センサ１２０の３次元位置セ
ンサ固定局２１０に対する相対位置を知ることで、ＨＭ
Ｄ１００の絶対位置（ゲームフィールド４００の中心を
原点とする）を知ることができる。図６は、本実施形態
に係る計算機３００のＨＭＤ表示スレッドを示すフロー
チャートである。
【００４５】なお、左右の眼の処理は基本的に同じなの
で、ここでは右眼の処理について説明する。この図６の
フローチャートに従ったプログラムを計算機３００内の
メモリ３０２等の記憶装置に格納し動作することによ
り、以下の制御方法を実現させることが可能となる。
で、ここでは右眼の処理について説明する。この図６の
フローチャートに従ったプログラムを計算機３００内の
メモリ３０２等の記憶装置に格納し動作することによ
り、以下の制御方法を実現させることが可能となる。
【００４６】ビデオカメラ１１０からの実写映像は、ビ
デオキャプチャカード３２０を通じて計算機３００に取
り込まれる（ステップＳ１００）。取り込んだ実写映像
は、メモリ３０２上のビデオバッファに書き込む（ステ
ップＳ１０１）。このビデオバッファは、作成途中の映
像を格納するための作業領域である。取り込んだ実写映
像を書き込むことで、実写映像をＣＧ画像の背景画像と
することができる。
デオキャプチャカード３２０を通じて計算機３００に取
り込まれる（ステップＳ１００）。取り込んだ実写映像
は、メモリ３０２上のビデオバッファに書き込む（ステ
ップＳ１０１）。このビデオバッファは、作成途中の映
像を格納するための作業領域である。取り込んだ実写映
像を書き込むことで、実写映像をＣＧ画像の背景画像と
することができる。
【００４７】次いで、シリアルＩ／Ｏ３１０を通じて３
次元位置センサ２００からＨＭＤ１００の位置情報を得
る（ステップＳ１０２）。ＨＭＤ１００の位置は、ワー
ルド座標に変換してから格納する。ワールド座標は、ゲ
ームフィールド４００の中心を原点とした座標系であ
る。ワールド座標への変換は、予め測定してあるゲーム
フィールド４００の位置と３次元位置センサ固定局２１
０の位置を用いることで簡単に行うことができる。
次元位置センサ２００からＨＭＤ１００の位置情報を得
る（ステップＳ１０２）。ＨＭＤ１００の位置は、ワー
ルド座標に変換してから格納する。ワールド座標は、ゲ
ームフィールド４００の中心を原点とした座標系であ
る。ワールド座標への変換は、予め測定してあるゲーム
フィールド４００の位置と３次元位置センサ固定局２１
０の位置を用いることで簡単に行うことができる。
【００４８】続いて、ＣＧ画像を描画に使用する射影変
換のための行列と、モデリング変換のための行列を作成
する（ステップＳ１０３）。ＨＭＤ１００のワールド座
標を用いてモデリング変換行列を作成する。また、予め
測定しておいたカメラの焦点距離などのパラメータか
ら、射影変換行列を作成する（射影行列の作成は最初の
１回のみで、以降は使い回す）。
換のための行列と、モデリング変換のための行列を作成
する（ステップＳ１０３）。ＨＭＤ１００のワールド座
標を用いてモデリング変換行列を作成する。また、予め
測定しておいたカメラの焦点距離などのパラメータか
ら、射影変換行列を作成する（射影行列の作成は最初の
１回のみで、以降は使い回す）。
【００４９】そして、ビデオカメラ１１０に写ったゲー
ムフィールド４００上のマーカー４５０，４５１，４５
２，４５３を使ってＣＧ画像と実写映像の位置合わせを
行う（ステップＳ１０４）。位置の補正は、カメラの方
向を補正する変換行列を作成し、これをモデリング行列
に乗ずる。位置合わせの詳細については後述する。
ムフィールド４００上のマーカー４５０，４５１，４５
２，４５３を使ってＣＧ画像と実写映像の位置合わせを
行う（ステップＳ１０４）。位置の補正は、カメラの方
向を補正する変換行列を作成し、これをモデリング行列
に乗ずる。位置合わせの詳細については後述する。
【００５０】出来上がった変換行列を用い、ＣＧ画像デ
ータをビデオバッファに描画する（ステップＳ１０
５）。ビデオバッファに上書きすることで、実写映像上
にＣＧ画像が描画される。なお、ＣＧ画像データは、別
スレッドが必要に応じて動かしている。本実施形態では
魚とロケットのＣＧ画像を動かしたが、ＣＧ画像の動か
し方は本発明と関連ないので説明を省略する。
ータをビデオバッファに描画する（ステップＳ１０
５）。ビデオバッファに上書きすることで、実写映像上
にＣＧ画像が描画される。なお、ＣＧ画像データは、別
スレッドが必要に応じて動かしている。本実施形態では
魚とロケットのＣＧ画像を動かしたが、ＣＧ画像の動か
し方は本発明と関連ないので説明を省略する。
【００５１】描画が終わると、ビデオバッファをビデオ
ボード３３０上のフレームバッファに転送し、ＨＭＤ１
００内のＬＣＤ１３０に映像を描画する（ステップＳ１
０６）。
ボード３３０上のフレームバッファに転送し、ＨＭＤ１
００内のＬＣＤ１３０に映像を描画する（ステップＳ１
０６）。
【００５２】次に、上記ステップＳ１０３で実行される
ＣＧ画像の表示位置補正処理（実写映像とＣＧ画像映像
との位置合わせ方法）について、図７のイメージ図と、
図８及び図９のフローチャートを参照しつつ詳細に説明
する。
ＣＧ画像の表示位置補正処理（実写映像とＣＧ画像映像
との位置合わせ方法）について、図７のイメージ図と、
図８及び図９のフローチャートを参照しつつ詳細に説明
する。
【００５３】ＣＧ画像の表示位置の補正は、実写映像中
に写ったゲームフィールド４００上のマーカー４５０，
４５１，４５２，４５３の位置と、ＨＭＤ内蔵の３次元
位置センサ１２０から得られた位置にカメラを置いた時
に（座標は既知）マーカーが見える位置との差分により
行う。実際の補正は、カメラの方向をずらすことにより
行う。以下、具体的に説明する。
に写ったゲームフィールド４００上のマーカー４５０，
４５１，４５２，４５３の位置と、ＨＭＤ内蔵の３次元
位置センサ１２０から得られた位置にカメラを置いた時
に（座標は既知）マーカーが見える位置との差分により
行う。実際の補正は、カメラの方向をずらすことにより
行う。以下、具体的に説明する。
【００５４】最初に、左右のカメラについて、図８に示
すステップＳ２００〜ステップＳ２０５の処理を行う。
すステップＳ２００〜ステップＳ２０５の処理を行う。
【００５５】本実施形態では、特に左右のカメラ１１
０，１１１の両方に写っているマーカーのみを使用して
位置補正を行うことを特徴とする。
０，１１１の両方に写っているマーカーのみを使用して
位置補正を行うことを特徴とする。
【００５６】まず、ＨＭＤ内蔵の３次元位置センサ１２
０からの位置情報を基に、カメラ１１０，１１１の位置
からモデリング変換行列を、また予め測定しておいたカ
メラ１１０，１１１の画角情報などから射影変換行列を
作成する（ステップＳ２００）。
０からの位置情報を基に、カメラ１１０，１１１の位置
からモデリング変換行列を、また予め測定しておいたカ
メラ１１０，１１１の画角情報などから射影変換行列を
作成する（ステップＳ２００）。
【００５７】次いで、マーカー４５０〜４５３の座標
（ゲームフィールド４００上に固定されているので座標
は既知）を、作成したモデリング変換行列と射影変換行
列を使って変換し、マーカーが画面上で表示される予想
位置を求める（ステップＳ２０１、図１１の６１０参
照）。
（ゲームフィールド４００上に固定されているので座標
は既知）を、作成したモデリング変換行列と射影変換行
列を使って変換し、マーカーが画面上で表示される予想
位置を求める（ステップＳ２０１、図１１の６１０参
照）。
【００５８】次に、左右の実写映像（図７の５０１，５
０２）からマーカーを探す。本実施形態では、例えばオ
レンジ色のマーカー（マーカーは、それ以外の画像と区
別できれば、色は何でもよい）を使用する。マーカーの
識別は、取り込んだ実写映像から一定面積以上のオレン
ジ色の部分を取り出すことで行う。そして、取り込んだ
実写映像を、オレンジ色の部分とそうでない部分とを識
別することで２値化する（ステップＳ２０２、図７の５
１１，５１２）。オレンジ色の部分の識別は、映像の各
画素を輝度信号Ｙ，色差信号Ｃｂ，Ｃｒに変換し、Ｃ
ｂ，Ｃｒの値が一定の範囲（カメラの特性、画像処理に
おける精度等によって変化するので、システムによって
適当な値に設定する）であるときにオレンジ色であると
した。
０２）からマーカーを探す。本実施形態では、例えばオ
レンジ色のマーカー（マーカーは、それ以外の画像と区
別できれば、色は何でもよい）を使用する。マーカーの
識別は、取り込んだ実写映像から一定面積以上のオレン
ジ色の部分を取り出すことで行う。そして、取り込んだ
実写映像を、オレンジ色の部分とそうでない部分とを識
別することで２値化する（ステップＳ２０２、図７の５
１１，５１２）。オレンジ色の部分の識別は、映像の各
画素を輝度信号Ｙ，色差信号Ｃｂ，Ｃｒに変換し、Ｃ
ｂ，Ｃｒの値が一定の範囲（カメラの特性、画像処理に
おける精度等によって変化するので、システムによって
適当な値に設定する）であるときにオレンジ色であると
した。
【００５９】２値化した映像をブロックごとに分割する
ために、映像をラベリングする（ステップＳ２０３）。
ラベリングのアルゴリズムは一般に知られているので、
ここでは説明を省略する。
ために、映像をラベリングする（ステップＳ２０３）。
ラベリングのアルゴリズムは一般に知られているので、
ここでは説明を省略する。
【００６０】ラベリングが終了したら、一定以上の面積
（本実施形態では１０ドット以上）のブロックの重心を
求める（ステップＳ２０４）。ブロックの重心は、ブロ
ックを構成する画素の座標の平均値を求めることで得る
ことができる。このブロックの重心（中心座標）が、実
写映像から検出したマーカーの画面上の位置となる。
（本実施形態では１０ドット以上）のブロックの重心を
求める（ステップＳ２０４）。ブロックの重心は、ブロ
ックを構成する画素の座標の平均値を求めることで得る
ことができる。このブロックの重心（中心座標）が、実
写映像から検出したマーカーの画面上の位置となる。
【００６１】マーカーの予想位置から最も近い位置にあ
るブロックを探し、その対応関係を記録する（ステップ
Ｓ２０５）。ただし、最も近いブロックが一定以上の距
離で離れていた場合には、そのマーカーに対応するブロ
ックは存在しなかったものとして記録する。
るブロックを探し、その対応関係を記録する（ステップ
Ｓ２０５）。ただし、最も近いブロックが一定以上の距
離で離れていた場合には、そのマーカーに対応するブロ
ックは存在しなかったものとして記録する。
【００６２】以上の処理を左右のカメラ１１０，１１１
について行った後、得られた左右のカメラ１１０，１１
１についてのマーカー描画予想位置と、実写映像からの
マーカー（ブロック）検出位置との対応関係を用いて、
左右のカメラ１１０，１１１のそれぞれについて図９に
示した処理を行う。
について行った後、得られた左右のカメラ１１０，１１
１についてのマーカー描画予想位置と、実写映像からの
マーカー（ブロック）検出位置との対応関係を用いて、
左右のカメラ１１０，１１１のそれぞれについて図９に
示した処理を行う。
【００６３】まず、左右のカメラ１１０，１１１の両方
で対応の取れたマーカー４５０，４５２を選択する（ス
テップＳ３００、図７の５１３，５１４）。
で対応の取れたマーカー４５０，４５２を選択する（ス
テップＳ３００、図７の５１３，５１４）。
【００６４】続いて、選択したマーカーについて予想位
置とラベリングしたブロックとの変位を求める（ステッ
プＳ３０１、図７の６２１，６２２）。すなわち、選択
されたマーカーについて、選択されたマーカー表示予測
位置すべての座標をベクトルとみなしたときの平均ベク
トルと、選択された実写映像から検出したマーカー位置
すべての座標をベクトルとみなしたときの平均ベクトル
とを計算する。
置とラベリングしたブロックとの変位を求める（ステッ
プＳ３０１、図７の６２１，６２２）。すなわち、選択
されたマーカーについて、選択されたマーカー表示予測
位置すべての座標をベクトルとみなしたときの平均ベク
トルと、選択された実写映像から検出したマーカー位置
すべての座標をベクトルとみなしたときの平均ベクトル
とを計算する。
【００６５】このマーカー表示予想位置の平均ベクトル
と、実写映像から検出したマーカー位置の平均ベクトル
とにより、補正のためにカメラを回転する方向を求め
る。カメラ位置の補正のための回転方向と角度の求め方
を図１０に示す。
と、実写映像から検出したマーカー位置の平均ベクトル
とにより、補正のためにカメラを回転する方向を求め
る。カメラ位置の補正のための回転方向と角度の求め方
を図１０に示す。
【００６６】図１０において、マーカー表示予測位置の
平均ベクトルを（ｍｘ，ｍｙ）、実写映像から検出した
マーカー位置の平均ベクトルを（ｌｘ，ｌｙ）としたと
き、カメラの焦点距離（正確には焦点距離［ｍｍ］を１
画素のサイズ［ｍｍ／ｐｉｘｅｌ］で割った値）をｄと
して Ｍ＝（ｍｘ，ｍｙ，ｄ） Ｌ＝（ｌｘ，ｌｙ，ｄ） の成す角度Θを求める。このΘがカメラ位置を回転させ
る角度となる。ΘはＭとＬの内積 ｜Ｍ｜・｜Ｌ｜・ｃｏｓΘ ＝Ｍ・Ｌ を解くことで求めることができる。また、回転軸は、回
転軸と平行するベクトルをＭとＬの外積により求めるこ
とができる。
平均ベクトルを（ｍｘ，ｍｙ）、実写映像から検出した
マーカー位置の平均ベクトルを（ｌｘ，ｌｙ）としたと
き、カメラの焦点距離（正確には焦点距離［ｍｍ］を１
画素のサイズ［ｍｍ／ｐｉｘｅｌ］で割った値）をｄと
して Ｍ＝（ｍｘ，ｍｙ，ｄ） Ｌ＝（ｌｘ，ｌｙ，ｄ） の成す角度Θを求める。このΘがカメラ位置を回転させ
る角度となる。ΘはＭとＬの内積 ｜Ｍ｜・｜Ｌ｜・ｃｏｓΘ ＝Ｍ・Ｌ を解くことで求めることができる。また、回転軸は、回
転軸と平行するベクトルをＭとＬの外積により求めるこ
とができる。
【００６７】以上の方法により求めた回転方向と角度を
基に、カメラ位置補正のための回転行列を作成し、カメ
ラ位置の補正行列とする（本実施形態では、カメラ自体
を回転させる代わりに世界全体を回転させる）。
基に、カメラ位置補正のための回転行列を作成し、カメ
ラ位置の補正行列とする（本実施形態では、カメラ自体
を回転させる代わりに世界全体を回転させる）。
【００６８】そして、カメラ位置の補正行列をモデリン
グ変換行列に乗ずる（ステップＳ３０３）。
グ変換行列に乗ずる（ステップＳ３０３）。
【００６９】以上の処理により、実写映像とＣＧ画像を
重ね合わせる際のＣＧ画像描画位置の補正時に、左右の
カメラ１１０，１１１の両方で撮影されたマーカーのみ
を補正に使うことで、左右のＣＧ画像描画位置の補正方
向を合わせ、より自然な立体視を実現することができ
る。
重ね合わせる際のＣＧ画像描画位置の補正時に、左右の
カメラ１１０，１１１の両方で撮影されたマーカーのみ
を補正に使うことで、左右のＣＧ画像描画位置の補正方
向を合わせ、より自然な立体視を実現することができ
る。
【００７０】すなわち、前述したように、従来システム
において、左右のＣＧ画像の位置合わせが不自然になる
要因の１つは、左眼右眼で位置合わせに使用するマーカ
ーが異なることである。異なるマーカーを使用して補正
するため、補正量や方向が左右の眼で異なり違和感を感
じさせる原因となっていた。この点を考慮して本実施形
態では、左右の実写映像いずれか一方のみに撮影された
マーカーを当該表示位置補正に使用せずに、左右の実写
映像の両方に撮影されたマーカーのみを位置合わせに使
用することで、より自然な立体視を実現する。
において、左右のＣＧ画像の位置合わせが不自然になる
要因の１つは、左眼右眼で位置合わせに使用するマーカ
ーが異なることである。異なるマーカーを使用して補正
するため、補正量や方向が左右の眼で異なり違和感を感
じさせる原因となっていた。この点を考慮して本実施形
態では、左右の実写映像いずれか一方のみに撮影された
マーカーを当該表示位置補正に使用せずに、左右の実写
映像の両方に撮影されたマーカーのみを位置合わせに使
用することで、より自然な立体視を実現する。
【００７１】本発明は、上述した実施形態の装置に限定
されず、複数の機器から構成されるシステムに適用して
も、１つの機器から成る装置に適用してもよい。前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記憶した記憶媒体をシステムあるいは装置に供
給し、そのシステムあるいは装置のコンピュータ（また
はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラム
コードを読み出し実行することによっても、完成される
ことは言うまでもない。
されず、複数の機器から構成されるシステムに適用して
も、１つの機器から成る装置に適用してもよい。前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記憶した記憶媒体をシステムあるいは装置に供
給し、そのシステムあるいは装置のコンピュータ（また
はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラム
コードを読み出し実行することによっても、完成される
ことは言うまでもない。
【００７２】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピー
（登録商標）ディスク、ハードディスク、光ディスク、
光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テー
プ、不揮発性のメモリカード、ＲＯＭを用いることがで
きる。また、コンピュータが読み出したプログラムコー
ドを実行することにより、前述した実施形態の機能が実
現されるだけではなく、そのプログラムコードの指示に
基づき、コンピュータ上で稼動しているＯＳなどが実際
の処理の一部または全部を行い、その処理によって前述
した実施形態の機能が実現される場合も含まれることは
言うまでもない。
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピー
（登録商標）ディスク、ハードディスク、光ディスク、
光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テー
プ、不揮発性のメモリカード、ＲＯＭを用いることがで
きる。また、コンピュータが読み出したプログラムコー
ドを実行することにより、前述した実施形態の機能が実
現されるだけではなく、そのプログラムコードの指示に
基づき、コンピュータ上で稼動しているＯＳなどが実際
の処理の一部または全部を行い、その処理によって前述
した実施形態の機能が実現される場合も含まれることは
言うまでもない。
【００７３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、次のプログラムコードの指
示に基づき、その拡張機能を拡張ボードや拡張ユニット
に備わるＣＰＵなどが処理を行って実際の処理の一部ま
たは全部を行い、その処理によって前述した実施形態の
機能が実現される場合も含まれることは言うまでもな
い。
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、次のプログラムコードの指
示に基づき、その拡張機能を拡張ボードや拡張ユニット
に備わるＣＰＵなどが処理を行って実際の処理の一部ま
たは全部を行い、その処理によって前述した実施形態の
機能が実現される場合も含まれることは言うまでもな
い。
【００７４】
【発明の効果】以上詳述したように、本発明によれば、
同一の被写体を撮影する２つの撮影手段によって得られ
た２つの実写映像のそれぞれに仮装画像を合成して表示
する際に、２つの実写映像の両方に撮影されたマーカー
のみを用いて仮装画像の位置決めを行うようにしたの
で、２つの実写映像として例えば左眼用と右眼用の実写
映像において、位置決め後も左右の実写映像の相対位置
関係が変更されずに維持でき、より自然な立体視を実現
することが可能になる。
同一の被写体を撮影する２つの撮影手段によって得られ
た２つの実写映像のそれぞれに仮装画像を合成して表示
する際に、２つの実写映像の両方に撮影されたマーカー
のみを用いて仮装画像の位置決めを行うようにしたの
で、２つの実写映像として例えば左眼用と右眼用の実写
映像において、位置決め後も左右の実写映像の相対位置
関係が変更されずに維持でき、より自然な立体視を実現
することが可能になる。
【図１】本発明の実施の一形態に係る表示制御システム
の概略の外観図である。
の概略の外観図である。
【図２】図１に示したＨＭＤの詳細図である。
【図３】合成画像の生成を示すイメージ図である。
【図４】図１に示したゲームフィールドの拡大図であ
る。
る。
【図５】実施形態の表示制御システムの機能構成を示す
ブロック図である。
ブロック図である。
【図６】実施形態に係る計算機３００のＨＭＤ表示スレ
ッドを示すフローチャートである。
ッドを示すフローチャートである。
【図７】実施形態に係るＣＧ画像の表示位置補正処理を
示すイメージ図である。
示すイメージ図である。
【図８】実施形態に係るＣＧ画像の表示位置補正処理を
示すフローチャートである。
示すフローチャートである。
【図９】図８の続きのフローチャートである。
【図１０】カメラ位置の補正のための回転方向と角度の
求め方を説明するための図である。
求め方を説明するための図である。
【図１１】従来のＣＧ画像の表示位置補正処理を示すイ
メージ図である。
メージ図である。
１００ ＨＭＤ １１０，１１１ ビデオカメラ １３０，１３１ ＬＣＤ １２０ ＨＭＤ内蔵位置センサ １３０，１３１ 液晶ディスプレイ ２００ ３次元位置センサ本体 ２１０ ３次元位置センサ固定局 ３００ 計算機 ３０１ ＣＰＵ ３０２ メモリ ３０３ ＰＣＩブリッジ ３１０ シリアルＩ／Ｏ ３２０，３２１ ビデオキャプチャボード ３３０，３３１ ビデオボード
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/04 Ｈ０４Ｎ 13/04 17/04 17/04 Ａ Ｆターム(参考） 2C001 BA05 BC00 BC08 CB01 CC00 CC03 CC09 5C023 AA11 CA03 5C054 EA01 EA05 EH01 FA02 FA05 FC12 FE12 HA15 5C061 AA01 AB04 AB10 AB12 AB14 AB18 AB20 BB15
Claims (22)
- 【請求項１】 互いに異なる第１の画像と第２の画像を
入力する画像入力手段と、入力された前記第１の画像と
前記第２の画像とを画像合成する手段であって、前記第
１の画像に前記第２の画像を合成する際、前記第１の画
像中より検出した所定のマーカーに基づいて第２の画像
を位置決めするようになされた画像合成手段と、前記画
像合成手段より出力された合成画像を表示する表示手段
とを備え、 前記画像合成手段は、同一の被写体を異なる位置から撮
影した複数の第１の画像に対して前記第２の画像を合成
する際、前記複数の第１の画像に共通に検出されたマー
カーに基づいて、前記第２の画像の位置決めを行うよう
に構成されていることを特徴とする表示制御装置。 - 【請求項２】 請求項１において、前記第１の画像は実
写画像であり、前記第２の画像はＣＧ等の仮想画像であ
ることを特徴とする表示制御装置。 - 【請求項３】 請求項２において、前記第１の画像は、
ステレオ画像を構成する左右の画像であることを特徴と
する表示制御装置。 - 【請求項４】 請求項２において、前記マーカーは、前
記実写画像の撮影対象に予め付与され、前記撮影対象に
対して位置が不変であることを特徴とする表示制御装
置。 - 【請求項５】 互いに異なる第１の画像と第２の画像を
入力する画像入力ステップと、前記画像入力ステップに
おいて入力された前記第１の画像と前記第２の画像とを
画像合成する処理を行うステップであって、前記第１の
画像に前記第２の画像を合成する際、前記第１の画像中
より検出した所定のマーカーに基づいて第２の画像を位
置決めするようになされた画像合成ステップと、前記画
像合成ステップによって生成された合成画像を表示する
表示ステップとを備え、 前記画像合成ステップは、同一の被写体を異なる位置か
ら撮影した複数の第１の画像に対して前記第２の画像を
合成する際、前記複数の第１の画像に共通に検出された
マーカーに基づいて、前記第２の画像の位置決めを行う
ことを特徴とする表示制御方法。 - 【請求項６】 請求項５において、前記第１の画像は実
写画像であり、前記第２の画像はＣＧ等の仮想画像であ
ることを特徴とする表示制御方法。 - 【請求項７】 請求項６において、前記第１の画像は、
ステレオ画像を構成する左右の画像であることを特徴と
する表示制御方法。 - 【請求項８】 請求項６において、前記マーカーは、前
記実写画像の撮影対象に予め付与され、前記撮影対象に
対して位置が不変であることを特徴とする表示制御方
法。 - 【請求項９】 被写体を撮影する撮影手段によって得ら
れた実写映像と造形的に作成された仮装画像とを合成し
て表示部に表示する表示手段と、前記表示手段の合成表
示の際に、前記実写映像に撮影されたマーカーを参照し
て前記仮装画像の位置決めを行う位置決め手段とを有す
る表示制御装置において、 前記表示手段により、同一の被写体を撮影する２つの撮
影手段によって得られた２つの実写映像のそれぞれに前
記仮装画像を合成して表示する際に、前記位置決め手段
は、前記２つの実写映像の両方に撮影されたマーカーの
みを用いて前記仮装画像の位置決めを行うことを特徴と
する表示制御装置。 - 【請求項１０】 前記２つの撮影手段は、左眼用カメラ
と右眼用カメラであることを特徴とする請求項９記載の
表示制御装置。 - 【請求項１１】 前記表示部は、左眼用表示部と右眼用
表示部で構成され、前記左眼用表示部は、前記２つの実
写映像のうち前記左眼用カメラで撮影された左眼用の実
写映像を表示し、前記右眼用表示部は、前記右眼用カメ
ラで撮影された右眼用の実写映像を表示することを特徴
とする請求項１０記載の表示制御装置。 - 【請求項１２】 被写体を撮影する撮影手段によって得
られた実写映像からマーカーを検出する検出手段と、前
記マーカーを参照して前記被写体の撮影位置を推測する
推測手段とを備えた撮影位置推測装置において、 前記検出手段は、同一の被写体を撮影する２つの撮影手
段によって得られた２つの実写映像からそれぞれマーカ
ーを検出するように構成し、 前記推測手段は、前記検出手段で検出されたマーカーの
うち、前記２つの実写映像の両方に撮影されたマーカー
のみを選択し、その選択されたマーカーを参照して前記
被写体の撮影位置を推測することを特徴とする撮影位置
推測装置。 - 【請求項１３】 前記２つの撮影手段は、左眼用カメラ
と右眼用カメラであることを特徴とする請求項１２記載
の撮影位置推測装置。 - 【請求項１４】 請求項９乃至請求項１１記載の表示制
御装置を有することを特徴とする表示システム。 - 【請求項１５】 請求項１２または請求項１３記載の撮
影位置推測装置を有することを特徴とする撮影システ
ム。 - 【請求項１６】 被写体を撮影する撮影手段によって得
られた実写映像と造形的に作成された仮装画像とを合成
して表示部に表示する際に、前記実写映像に撮影された
マーカーを参照して前記仮装画像の位置決めを行う画像
位置決め方法において、 同一の被写体を撮影する２つの撮影手段によって得られ
た２つの実写映像のそれぞれに前記仮装画像を合成して
表示する場合に、前記２つの実写映像の両方に撮影され
たマーカーのみを用いて前記仮装画像の位置決めを行う
ことを特徴とする画像位置決め方法。 - 【請求項１７】 前記２つの撮影手段は、左眼用カメラ
と右眼用カメラであることを特徴とする請求項１６記載
の画像位置決め方法。 - 【請求項１８】 前記表示部は、左眼用表示部と右眼用
表示部で構成され、前記左眼用表示部は、前記２つの実
写映像のうち前記左眼用カメラで撮影された左眼用の実
写映像を表示し、前記右眼用表示部は、前記右眼用カメ
ラで撮影された右眼用の実写映像を表示することを特徴
とする請求項１７記載の画像位置決め方法。 - 【請求項１９】 被写体を撮影する撮影手段によって得
られた実写映像からマーカーを検出する検出行程と、前
記マーカーを参照して前記被写体の撮影位置を推測する
推測行程とを実行する撮影位置推測方法において、 前記検出行程は、同一の被写体を撮影する２つの撮影手
段によって得られた２つの実写映像からそれぞれマーカ
ーを検出し、 前記推測行程は、前記検出行程で検出されたマーカーの
うち、前記２つの実写映像の両方に撮影されたマーカー
のみを選択し、その選択されたマーカーを参照して前記
被写体の撮影位置を推測することを特徴とする撮影位置
推測方法。 - 【請求項２０】 前記２つの撮影手段は、左眼用カメラ
と右眼用カメラであることを特徴とする請求項１９記載
の撮影位置推測方法。 - 【請求項２１】 被写体を撮影する撮影手段によって得
られた実写映像と造形的に作成された仮装画像とを合成
して表示部に表示する際に、前記実写映像に撮影された
マーカーを参照して前記仮装画像の位置決めを行う画像
位置決め方法を実行するための処理プログラムを記録し
た記録媒体であって、 前記処理プログラムは、 同一の被写体を撮影する２つの撮影手段によって得られ
た２つの実写映像のそれぞれに前記仮装画像を合成して
表示する場合に、前記２つの実写映像の両方に撮影され
たマーカーのみを用いて前記仮装画像の位置決めを行う
内容を有することを特徴とする処理プログラムを記録し
た記録媒体。 - 【請求項２２】 マーカーが付された被写体を撮影する
撮影手段によって得られた実写映像からマーカーを検出
し、このマーカーを参照して前記被写体の撮影位置を推
測する撮影位置推測方法を実行するための処理プログラ
ムを記録した記録媒体であって、 前記処理プログラムは、 同一の被写体を撮影する２つの撮影手段によって得られ
た２つの実写映像からそれぞれマーカーを検出する第１
のステップと、 前記第１のステップによって検出されたマーカーのう
ち、前記２つの実写映像の両方に撮影されたマーカーの
みを選択する第２のステップと、 前記第２のステップで選択されたマーカーを参照して前
記被写体の撮影位置を推測する第３のステップとを備え
たことを特徴とする処理プログラムを記録した記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000350157A JP2002159019A (ja) | 2000-11-16 | 2000-11-16 | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000350157A JP2002159019A (ja) | 2000-11-16 | 2000-11-16 | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002159019A true JP2002159019A (ja) | 2002-05-31 |
Family
ID=18823439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000350157A Pending JP2002159019A (ja) | 2000-11-16 | 2000-11-16 | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002159019A (ja) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003083526A1 (en) * | 2002-03-28 | 2003-10-09 | Linus Ab | A method and a device for co-ordinated displaying of a direct image and an electro-optical image |
| KR100447778B1 (ko) * | 2002-07-18 | 2004-09-08 | 김장헌 | 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 |
| JP2006515128A (ja) * | 2003-01-24 | 2006-05-18 | マイコイ・コーポレーション | 立体パノラマ画像取り込み装置 |
| JP2007042073A (ja) * | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
| JP2007097129A (ja) * | 2005-08-29 | 2007-04-12 | Canon Inc | ステレオ表示装置及びその制御方法 |
| JP2008048386A (ja) * | 2006-08-17 | 2008-02-28 | Pixart Imaging Inc | 三次元立体データを生成するインタラクティブシステム |
| US7834909B2 (en) | 2005-05-11 | 2010-11-16 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP2010271950A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 情報処理装置及びキャリブレーション処理方法 |
| US8049775B2 (en) | 2007-04-25 | 2011-11-01 | Canon Kabushiki Kaisha | System for obtaining connection relationships between stereoscopic image processing devices |
| JP2012094102A (ja) * | 2010-09-27 | 2012-05-17 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
| WO2013128612A1 (ja) * | 2012-03-01 | 2013-09-06 | パイオニア株式会社 | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
| JP2014515961A (ja) * | 2011-05-23 | 2014-07-07 | レゴ エー／エス | 拡張現実向けの玩具構築システム |
| JP2014515962A (ja) * | 2011-05-23 | 2014-07-07 | レゴ エー／エス | 構造要素モデルの組立指示の生成 |
| JP2016019199A (ja) * | 2014-07-10 | 2016-02-01 | Kddi株式会社 | 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法 |
| US9282319B2 (en) | 2010-06-02 | 2016-03-08 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| GB2535722A (en) * | 2015-02-25 | 2016-08-31 | Bae Systems Plc | Method and apparatus for data verification in a mixed reality system |
| WO2017076231A1 (zh) * | 2015-11-05 | 2017-05-11 | 丰唐物联技术（深圳）有限公司 | 头戴式虚拟现实显示器的显示方法及显示控制*** |
| JP2018069069A (ja) * | 2013-06-07 | 2018-05-10 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法 |
| US10015473B2 (en) | 2010-06-11 | 2018-07-03 | Nintendo Co., Ltd. | Computer-readable storage medium, image display apparatus, image display system, and image display method |
| CN108905202A (zh) * | 2018-06-21 | 2018-11-30 | 网易（杭州）网络有限公司 | 控制虚拟现实场景转动方法及装置，存储介质，电子装置 |
| CN109600599A (zh) * | 2018-10-29 | 2019-04-09 | 上海神添实业有限公司 | 一种快速定位目标的立体视觉处理装置及其处理方法 |
| US10303435B2 (en) | 2015-01-15 | 2019-05-28 | Seiko Epson Corporation | Head-mounted display device, method of controlling head-mounted display device, and computer program |
| WO2020020102A1 (zh) * | 2018-07-23 | 2020-01-30 | 广东虚拟现实科技有限公司 | 生成虚拟内容的方法、终端设备及存储介质 |
-
2000
- 2000-11-16 JP JP2000350157A patent/JP2002159019A/ja active Pending
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003083526A1 (en) * | 2002-03-28 | 2003-10-09 | Linus Ab | A method and a device for co-ordinated displaying of a direct image and an electro-optical image |
| KR100447778B1 (ko) * | 2002-07-18 | 2004-09-08 | 김장헌 | 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 |
| JP2006515128A (ja) * | 2003-01-24 | 2006-05-18 | マイコイ・コーポレーション | 立体パノラマ画像取り込み装置 |
| US7834909B2 (en) | 2005-05-11 | 2010-11-16 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP2007042073A (ja) * | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
| US8139087B2 (en) | 2005-07-01 | 2012-03-20 | Canon Kabushiki Kaisha | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program |
| JP2007097129A (ja) * | 2005-08-29 | 2007-04-12 | Canon Inc | ステレオ表示装置及びその制御方法 |
| JP4717728B2 (ja) * | 2005-08-29 | 2011-07-06 | キヤノン株式会社 | ステレオ表示装置及びその制御方法 |
| US8885027B2 (en) | 2005-08-29 | 2014-11-11 | Canon Kabushiki Kaisha | Stereoscopic display device and control method therefor |
| JP2008048386A (ja) * | 2006-08-17 | 2008-02-28 | Pixart Imaging Inc | 三次元立体データを生成するインタラクティブシステム |
| US8049775B2 (en) | 2007-04-25 | 2011-11-01 | Canon Kabushiki Kaisha | System for obtaining connection relationships between stereoscopic image processing devices |
| JP2010271950A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 情報処理装置及びキャリブレーション処理方法 |
| US8830304B2 (en) | 2009-05-21 | 2014-09-09 | Canon Kabushiki Kaisha | Information processing apparatus and calibration processing method |
| US9282319B2 (en) | 2010-06-02 | 2016-03-08 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| US10015473B2 (en) | 2010-06-11 | 2018-07-03 | Nintendo Co., Ltd. | Computer-readable storage medium, image display apparatus, image display system, and image display method |
| US9278281B2 (en) | 2010-09-27 | 2016-03-08 | Nintendo Co., Ltd. | Computer-readable storage medium, information processing apparatus, information processing system, and information processing method |
| JP2012094102A (ja) * | 2010-09-27 | 2012-05-17 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
| US10549209B2 (en) | 2011-05-23 | 2020-02-04 | Lego A/S | Toy construction system for augmented reality |
| US11911709B2 (en) | 2011-05-23 | 2024-02-27 | Lego A/S | Toy construction system for augmented reality |
| US11014014B2 (en) | 2011-05-23 | 2021-05-25 | Lego A/S | Toy construction system for augmented reality |
| JP2014515961A (ja) * | 2011-05-23 | 2014-07-07 | レゴ エー／エス | 拡張現実向けの玩具構築システム |
| JP2014515962A (ja) * | 2011-05-23 | 2014-07-07 | レゴ エー／エス | 構造要素モデルの組立指示の生成 |
| US9821242B2 (en) | 2011-05-23 | 2017-11-21 | Lego A/S | Generation of building instructions for construction element models |
| US9827507B2 (en) | 2011-05-23 | 2017-11-28 | Lego A/S | Toy construction system for augmented reality |
| WO2013128612A1 (ja) * | 2012-03-01 | 2013-09-06 | パイオニア株式会社 | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
| US10974136B2 (en) | 2013-06-07 | 2021-04-13 | Sony Interactive Entertainment LLC | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| JP2018069069A (ja) * | 2013-06-07 | 2018-05-10 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法 |
| JP2020171712A (ja) * | 2013-06-07 | 2020-10-22 | ソニー・インタラクティブエンタテインメント エルエルシー | より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法 |
| JP7073444B2 (ja) | 2013-06-07 | 2022-05-23 | ソニー・インタラクティブエンタテインメント エルエルシー | より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法 |
| JP2016019199A (ja) * | 2014-07-10 | 2016-02-01 | Kddi株式会社 | 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法 |
| US10303435B2 (en) | 2015-01-15 | 2019-05-28 | Seiko Epson Corporation | Head-mounted display device, method of controlling head-mounted display device, and computer program |
| GB2535722A (en) * | 2015-02-25 | 2016-08-31 | Bae Systems Plc | Method and apparatus for data verification in a mixed reality system |
| WO2017076231A1 (zh) * | 2015-11-05 | 2017-05-11 | 丰唐物联技术（深圳）有限公司 | 头戴式虚拟现实显示器的显示方法及显示控制*** |
| CN106680996A (zh) * | 2015-11-05 | 2017-05-17 | 丰唐物联技术（深圳）有限公司 | 头戴式虚拟现实显示器的显示方法及显示控制*** |
| CN108905202A (zh) * | 2018-06-21 | 2018-11-30 | 网易（杭州）网络有限公司 | 控制虚拟现实场景转动方法及装置，存储介质，电子装置 |
| WO2020020102A1 (zh) * | 2018-07-23 | 2020-01-30 | 广东虚拟现实科技有限公司 | 生成虚拟内容的方法、终端设备及存储介质 |
| US11049324B2 (en) | 2018-07-23 | 2021-06-29 | Guangdong Virtual Reality Technology Co., Ltd. | Method of displaying virtual content based on markers |
| CN109600599A (zh) * | 2018-10-29 | 2019-04-09 | 上海神添实业有限公司 | 一种快速定位目标的立体视觉处理装置及其处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002159019A (ja) | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| US6940538B2 (en) | Extracting a depth map from known camera and model tracking data | |
| US6810152B2 (en) | Image processing apparatus, method of processing images, and storage medium | |
| CN102282857B (zh) | 拍摄装置以及方法 | |
| KR100823649B1 (ko) | 캘리브레이션 방법 및 장치 | |
| EP3067861A2 (en) | Determination of a coordinate conversion parameter | |
| JP2004213355A (ja) | 情報処理方法 | |
| KR100941749B1 (ko) | 증강 현실 장치 및 가상 이미지 합성 방법 | |
| JP2002157606A (ja) | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 | |
| KR20150013709A (ko) | 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템 | |
| US20110249095A1 (en) | Image composition apparatus and method thereof | |
| US20070252833A1 (en) | Information processing method and information processing apparatus | |
| US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| CN104584032A (zh) | 混合式精确跟踪 | |
| JP4242529B2 (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
| JP2003344018A (ja) | 画像処理装置およびその方法並びにプログラム、記憶媒体 | |
| CN112166397A (zh) | 用于加速头戴式显示器的位置跟踪的装置、***和方法 | |
| JP2014095808A (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
| TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
| CN110969706B (zh) | 增强现实设备及其图像处理方法、***以及存储介质 | |
| JP6061334B2 (ja) | 光学式シースルー型ｈｍｄを用いたａｒシステム | |
| JPH11136575A (ja) | 撮像装置及び撮像画像合成方法 | |
| JP2006012042A (ja) | 画像生成方法及び装置 | |
| KR100945307B1 (ko) | 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060407 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |