JP2008033840A - 動画表示装置、動画表示方法、及びコンピュータプログラム - Google Patents
動画表示装置、動画表示方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2008033840A JP2008033840A JP2006209249A JP2006209249A JP2008033840A JP 2008033840 A JP2008033840 A JP 2008033840A JP 2006209249 A JP2006209249 A JP 2006209249A JP 2006209249 A JP2006209249 A JP 2006209249A JP 2008033840 A JP2008033840 A JP 2008033840A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image
- moving
- view
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims description 35
- 239000002131 composite material Substances 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 description 77
- 210000000707 wrist Anatomy 0.000 description 13
- 210000003423 ankle Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 241001050985 Disco Species 0.000 description 2
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】モーションキャプチャ技術により得られた三次元モデル像の特定の部位を指定して、その部位を含む動画を表示再生する。
【解決手段】動画表示装置は、モーションキャプチャ技術により得られた動体動画データで規定される三次元モデル像の中の特定の部位の指定を受け付けると、その部位が、表示内容を決定する仮想カメラの撮像範囲中の基準枠に収まるか否かを、動体動画データを形成する動画フレームごとに検知する。検知結果に基づき、指定された部位が全ての動画フレームにおいて基準枠に収まるように動画表示装置は撮像範囲を調整する。撮像範囲を調整した仮想カメラで撮像された内容をフレーム画像G1、G2、G3・・・として、動画表示装置は順次表示し、指定された部位を含む動画を再生表示する。
【選択図】図10
【解決手段】動画表示装置は、モーションキャプチャ技術により得られた動体動画データで規定される三次元モデル像の中の特定の部位の指定を受け付けると、その部位が、表示内容を決定する仮想カメラの撮像範囲中の基準枠に収まるか否かを、動体動画データを形成する動画フレームごとに検知する。検知結果に基づき、指定された部位が全ての動画フレームにおいて基準枠に収まるように動画表示装置は撮像範囲を調整する。撮像範囲を調整した仮想カメラで撮像された内容をフレーム画像G1、G2、G3・・・として、動画表示装置は順次表示し、指定された部位を含む動画を再生表示する。
【選択図】図10
Description
本発明は、モーションキャプチャ技術により得られたモーションデータに係る動体を含む動画を表示する処理において、ユーザが指定する動体の部位が確実に表示されるように自動で表示内容の拡大縮小を行う動画表示装置、動画表示方法、及びコンピュータプログラムに関する。
従来、モーションキャプチャ技術を用いて動体の三次元座標系における単位時間ごとの状態(位置及び姿勢等)を表すモーションデータを取得し、この取得したモーションデータに基づいて三次元的なコンピュータグラフィックスによる動画を表示することが行われている。
モーションキャプチャ技術では、人体の所要箇所にデータ取得対象となるマーカを複数取り付けた状態で、その人にダンス及びスポーツの動きを行ってもらうことにより、三次元座標におけるマーカを付した箇所の座標値及び角度を表すデータ(モーションテータ)を取得できる(特許文献1、2参照)。このように取得したモーションデータに基づいて、人体を表すコンピュータグラフィックスによる三次元モデル像(動体に相当)が様々な動作を行う内容の動画を作成して表示できる。
上述したモーションキャプチャ技術に基づく動画では、三次元モデル像を見る方向(以下、視点方向と称す)、及び表示画面中の三次元モデル像の大きさ等をオペレータの操作により自由に設定できる。視点方向及び三次元モデル像の大きさの設定は、仮想的な三次元空間において三次元モデル像を仮想的なカメラ(以下、仮想カメラと称す)で撮像する感覚で行うことが一般的である。具体的には、仮想的な三次元空間に位置する三次元モデルに対する撮像方向(視点方向に相当)、及び三次元モデルを表示する大きさに関連する仮想カメラの撮像範囲(撮像アングル)をオペレータが設定操作することで、所望の方向から見た所望の大きさで三次元モデル像を含む動画を作成できる。
なお、特許文献3では、三次元コンピュータグラフィックスに基づく三次元モデル像に関する視点方向を容易に設定できるように、立方体状の基準物体をカメラで撮像することが開示されている。また、特許文献4では、仮想的な三次元空間ではなく実際の被写体を撮像した画像を表示する場合で、広角像と、その広角像の一部を拡大撮像した拡大像を並べて表示する際の処理をスムーズに行えるようにした内容が開示されている。
特開平10−222668号公報
特表2003−514298号公報
特開平9−134453号公報
特開2004−341713号公報
モーションキャプチャ技術に基づく三次元モデル像に対する視点方向及び大きさは、所定の操作設定により適宜変更できるが、このような操作設定は、動画の最初から最後まで、三次元モデル像の動作及び動き量と、表示画面の画面寸法との関係を考慮に入れて行う必要がある。例えば、図18(a)に示すように、静止状態の三次元モデル像Mが、表示画面の表示枠Wの中で一方に片寄った状態で収まるように視点方向、及び大きさが設定されると、その後、動画の進行に伴って三次元モデル像Mが右手を上げると、右手先端が表示枠Wより外方へ出てしまい、この場合は三次元モデル像Mの全体を常に表示できないことになる。また、図18(b)に示すように、三次元モデル像Mが大きく移動する場合も、移動により三次元モデル像Mが表示枠Wから外れることもある。
一方、三次元モデル像がダンス又はスポーツの動作を行うものであり、ユーザがダンス又はスポーツの細かい動きを確認するために、三次元モデル像の腕、手先などの特定の部位のみを拡大表示する設定を行うことがある。このような拡大表示を行うときは、拡大に伴って部位の移動量も大きくなるため、図18(a)(b)に示す表示枠Wから外れる事態が一層生じやすく、オペレータが適切に三次元モデル像に対する視点方向及び大きさを設定することが非常に困難になると云う問題がある。
本発明は、斯かる事情に鑑みてなされたものであり、モーションキャプチャ技術を用いて取得されたモーションデータに基づく三次元モデル像を含む動画に対して、三次元モデル像の指定された部位を表示する場合、その部位を確実に表示できるようにした動画表示装置、動画表示方法、及びコンピュータプログラムを提供することを目的とする。
上記課題を解決するために本発明に係る動画表示装置は、動体動画データを形成する複数の時系列順の動画フレームで三次元的な状態が規定された動体に対して、動体を見る視点方向の指定を受け付ける手段と、受け付けた視点方向からの視界に含まれる内容を表示する処理を動画フレーム順に行う表示処理手段とを備える動画表示装置において、動体の部位の指定を受け付ける手段と、指定を受け付けた部位を前記視点方向で見た場合、該部位が視界に係る基準枠に収まるか否かの検知を各動画フレームに対して行う検知手段と、該検知手段の検知結果に基づき、前記部位が前記基準枠に収まるように前記視界の範囲を調整する調整手段とを備え、前記表示処理手段は、前記調整手段が範囲を調整した視界に含まれる内容を表示する処理を行うことを特徴とする。
本発明にあっては、指定を受け付けた部位が視界に係る基準枠に収まるかを全動画フレームに対して検知すると共に、部位が基準枠に収まるように視界の範囲を調整した状態で表示処理を行うので、ユーザに指定された部位を表示範囲から外れることなく表示して動画の再生を行える。なお、上述した検知及び視界範囲の調整は、ユーザから指定の部位を受け付けたことに応じて行うことが、動画の表示再生をスムーズに行う上で好ましいが、部位の指定受付から、動画再生の指示までが連続的に行われたときは、動画の表示再生を行う前に、上述した検知及び視界範囲の調整を行うことになる。
また、本発明に係る動画表示装置は、前記調整手段が、視界の広がり角度を変更して視界の範囲を調整することを特徴とする。
本発明にあっては、視界の広がり角度を変更して視界の範囲を調整するので、動体を見る位置を変更することなく容易に視界の角度を調整可能となる。なお、視界の広がり角度の変更は、三次元空間で動体を見ることに相当する仮想カメラの撮像に係るズーム倍率を変更することで行うことになる。
本発明にあっては、視界の広がり角度を変更して視界の範囲を調整するので、動体を見る位置を変更することなく容易に視界の角度を調整可能となる。なお、視界の広がり角度の変更は、三次元空間で動体を見ることに相当する仮想カメラの撮像に係るズーム倍率を変更することで行うことになる。
さらに、本発明に係る動画表示装置は、前記調整手段が、動体を見る位置の動体までの距離を変更して視界の範囲を調整することを特徴とする。
本発明にあっては、動体を見る位置を変更して視界の範囲を調整するので、視界の広がり角度の変更で視界の範囲を調整する場合に比べて、三次元空間の奥行き感を相異させた表示内容で視界の範囲を調整できる。なお、動体の見る位置の変更と、視界の広がり角度の変更とを組み合わせて、視界の範囲を調整することも可能である。
本発明にあっては、動体を見る位置を変更して視界の範囲を調整するので、視界の広がり角度の変更で視界の範囲を調整する場合に比べて、三次元空間の奥行き感を相異させた表示内容で視界の範囲を調整できる。なお、動体の見る位置の変更と、視界の広がり角度の変更とを組み合わせて、視界の範囲を調整することも可能である。
さらにまた、本発明に係る動画表示装置は、時系列順で前後する動画フレームの差分に基づき前記部位の動き量を算出する算出手段と、該算出手段が算出した動き量を閾値と比較する比較手段と、該比較手段が比較した結果に応じて、複数の動画フレームを、閾値を超える動き量の部位に応じた動画フレームのグループ、及び閾値未満の動き量の部位に応じた動画フレームのグループに分類する分類手段とを備え、前記調整手段は、分類した同一のグループごとに視界の範囲を調整することを特徴とする。
本発明にあっては、指定された部位の動き量に応じて分類したグループごとに視界の範囲を調整するので、指定された部位の動き量が動画全体で大きい場合でも、分類したグループにおける部位の動き量に応じて視界の範囲が調整されることになり、ユーザの見たい部位の動き量が状況に応じてグループごとに最も見やすい大きさで表示される。
また、本発明に係る動画表示装置は、前記調整手段が範囲を調整した視界に含まれる内容に応じた第1画像と、該第1画像に係る視界と相異する視界に含まれる内容に応じた第2画像とを並べた複合画像を生成する生成手段を備え、前記表示処理手段は、前記生成手段が生成した複合画像を表示する処理を行うことを特徴とする。
本発明にあっては、視界の範囲を調整したときの第1画像と、第1画像に係る視界の範囲と相異する内容の第2画像とを並べた複合画像を表示するので、視界の範囲を調整したときの第1画像を、他の視界の範囲に係る第2画像の内容と比較することが可能となり、ユーザが指定する部位が含まれる第1画像の内容を把握しやすくなる。なお、動体における第1画像の表示内容の関係の把握を容易にするためには、第2画像を、動体全体が入るようにしたものにすることが好適である。
本発明にあっては、視界の範囲を調整したときの第1画像と、第1画像に係る視界の範囲と相異する内容の第2画像とを並べた複合画像を表示するので、視界の範囲を調整したときの第1画像を、他の視界の範囲に係る第2画像の内容と比較することが可能となり、ユーザが指定する部位が含まれる第1画像の内容を把握しやすくなる。なお、動体における第1画像の表示内容の関係の把握を容易にするためには、第2画像を、動体全体が入るようにしたものにすることが好適である。
さらに、本発明に係る動画表示装置は、前記第2画像は、動体の全体を含む内容であり、前記生成手段は、前記第2画像中に、前記第1画像の位置を示す画像枠を配置して複合画像を生成することを特徴とする。
本発明にあっては、動体を全体的に含む第2画像中に、第1画像の位置を示す画像枠を配置するので、第1画像の表示内容が動体におけるどのような箇所に位置するかを一目で確認でき、第1画像の表示内容の把握を一層容易にできる。
本発明にあっては、動体を全体的に含む第2画像中に、第1画像の位置を示す画像枠を配置するので、第1画像の表示内容が動体におけるどのような箇所に位置するかを一目で確認でき、第1画像の表示内容の把握を一層容易にできる。
また、本発明に係る動画表示方法は、動画表示装置が、動体動画データを形成する複数の時系列順の動画フレームで三次元的な状態が規定された動体に対して、該動体を見る視点方向の指定を受け付け、受け付けた視点方向からの視界に含まれる内容を表示する処理を動画フレーム順に行う動画表示方法において、前記動画表示装置は、動体の部位の指定を受け付け、指定を受け付けた部位を前記視点方向で見た場合、該部位が視界に係る基準枠に収まるか否かの検知を各動画フレームに対して行い、検知結果に基づき、前記部位が前記基準枠に収まるように前記視界の範囲を調整し、範囲を調整した視界に含まれる内容を表示する処理を行うことを特徴とする。
本発明にあっては、動画表示方法においても、上述した動画表示装置と同等の処理を行うことで、指定された部位を確実に表示する動画再生を行える。
本発明にあっては、動画表示方法においても、上述した動画表示装置と同等の処理を行うことで、指定された部位を確実に表示する動画再生を行える。
さらに、本発明に係るコンピュータプログラムは、コンピュータに、動体動画データを形成する複数の時系列順の動画フレームで三次元的な状態が規定された動体に対して、該動体を見る視点方向の指定を受け付けさせて、該視点方向からの視界に含まれる内容を表示する処理を動画フレーム順に行わせるためのコンピュータプログラムにおいて、コンピュータを、動体の部位の指定を受け付ける手段と、指定を受け付けた部位を前記視点方向で見た場合、該部位が視界に係る基準枠に収まるか否かの検知を各動画フレームに対して行う検知手段と、検知結果に基づき、前記部位が前記基準枠に収まるように前記視界の範囲を調整する調整手段と、範囲を調整した視界に含まれる内容を表示する処理を行う手段として機能させることを特徴とする。
本発明にあっては、コンピュータプログラムにおいても、上述した動画表示装置と同等の処理を行うことで、指定された部位を確実に表示する動画再生を行える。
本発明にあっては、コンピュータプログラムにおいても、上述した動画表示装置と同等の処理を行うことで、指定された部位を確実に表示する動画再生を行える。
本発明にあっては、指定を受け付けた部位が基準枠に収まるように視界の範囲を調整した状態で表示処理を行うので、難しい設定操作を行うことなく、指定された部位を確実に含んだ動画表示を行える。
また、本発明にあっては、視界の広がり角度を変更して視界の範囲を調整するので、容易に視界の範囲を調整できる。
さらに、本発明にあっては、動体を見る位置を変更して視界の範囲を調整するので、視界の広がり角度の変更で視界の範囲を調整する場合に比べて、三次元空間の奥行き感を相異させて視界の範囲を調整できる。
また、本発明にあっては、視界の広がり角度を変更して視界の範囲を調整するので、容易に視界の範囲を調整できる。
さらに、本発明にあっては、動体を見る位置を変更して視界の範囲を調整するので、視界の広がり角度の変更で視界の範囲を調整する場合に比べて、三次元空間の奥行き感を相異させて視界の範囲を調整できる。
本発明にあっては、指定された部位の動き量に応じて分類したグループごとに視界の範囲を調整するので、グループごとに最も見やすい大きさで表示形態を切り替えて、指定された部位を適切に表示できる。
また、本発明にあっては、視界の範囲を調整したときの第1画像と、第1画像に係る視界の範囲と相異する内容の第2画像とを並べた複合画像を表示するので、視界の範囲を調整したときの第1画像を、他の視界の範囲に係る第2画像の内容と容易に比較可能な状態で表示できる。
さらに、本発明にあっては、動体を全体的に含む第2画像中に、第1画像の位置を示す画像枠を配置するので、第1画像の表示内容が動体における何れの箇所に位置するかを一目で確認でき、第1画像の表示内容を容易に把握することに貢献できる。
また、本発明にあっては、視界の範囲を調整したときの第1画像と、第1画像に係る視界の範囲と相異する内容の第2画像とを並べた複合画像を表示するので、視界の範囲を調整したときの第1画像を、他の視界の範囲に係る第2画像の内容と容易に比較可能な状態で表示できる。
さらに、本発明にあっては、動体を全体的に含む第2画像中に、第1画像の位置を示す画像枠を配置するので、第1画像の表示内容が動体における何れの箇所に位置するかを一目で確認でき、第1画像の表示内容を容易に把握することに貢献できる。
図1は、本発明の実施形態に係る動画表示装置1を示している。本実施形態の動画表示装置1は汎用のパーソナルコンピュータを適用し、コンピュータ本体1aに動画、各種メニュー等を表示するディスプレイ装置10、並びにユーザからの操作指示を受け付けるキーボード11及びマウス12を接続している。動画表示装置1は、モーションキャプチャ技術により得られたモーションデータを動画フレームごとに含んだ動体動画データを予め記憶しており、ユーザ(オペレータ)により指定された動体の部位が確実に表示されるように、表示内容の大きさを自動で調整してから、動画を再生表示するものである。以下、動画表示装置1について詳説する。
動画表示装置1は、コンピュータ本体1aの内部において、各種制御処理を行う制御部2(プロセッサ)に、RAM3、ROM4、表示用インタフェース5、操作部インタフェース6、音声出力処理部7、及びハードディスク装置9を内部バス1bで接続している。RAM3は制御部2の処理に従うデータ及びフォルダ等を一時的に記憶し、ROM4は制御部2が行う基本的な処理内容を規定したプログラム等を予め記憶している。
表示用インタフェース5は、本実施形態の動画表示装置1では外部機器になるディスプレイ装置10と接続されており、動体動画データの表示処理を行って再生した動画をディスプレイ装置10へ順次送り、ディスプレイ装置10の画面10aに動画を表示する処理を行う。また、操作部インタフェース6は、キーボード11及びマウス12が接続されており、図6、7に示すメニュー25〜28等でユーザからの指示を受け付けると共に、受け付けた指示内容を制御部2へ伝える処理を行う。さらに、音声出力処理部7はスピーカ8を接続しており、動体動画データに関連付けられた音声データの再生及び増幅等の処理を行って、再生音をスピーカ8から出力する。
ハードディスク装置9は、各種プログラム及びデータ等を記憶し、本実施形態ではプログラムとして、コンピュータ本体1aを作動させる上でベースとなる処理を規定したシステムプログラム14、本発明に係る表示処理を規定した表示処理プログラム(本発明のコンピュータプログラムに相当)15、動画コンテンツデータD、及びメニュー画像データ16等を記憶している。
ハードディスク装置9に記憶される動画コンテンツデータDは、複数種類のダンス指導用の動体動画データを含み、具体的にはダンス用の動体動画データとしてタンゴ用動画データd1、ハワイアン用動画データd2、ディスコ用動画データd3、フラメンコ用動画データd4等を含んでいる。これら各種ダンス用の動画データd1〜d4等は複数の動画フレームで形成されており、ダンスを行う実際のダンサーにマーカを付してモーションキャプチャ技術により得られた三次元空間におけるマーカの座標及び角度(三次元的な状態に相当)等を規定したモーションデータを各動画フレームが含んでいる。各種ダンス用の動画データd1〜d4等は、ダンサーを見たい方向(視点方向)を指定することで、ダンサーに応じた三次元モデル像(動体に相当)の動きを所望の方向から眺めたフレーム画像を作成して動画を表示再生できる。
図2は、動体動画データが含むモーションデータに基づく動体のイメージを表したものである。図2では、仮想的な三次元空間を表すX軸、Y軸、Z軸で構成されるXYZ座標上に、モーションデータに基づき三次元コンピュータグラフィックス技術により作成される三次元モデル像(ダンサーに応じた動体に相当)20が位置する状態を示している。
また、図2では、動体動画データの再生表示を行う際に、表示内容を特定する仮想カメラ21を様々な箇所に配置できる状況を示しており、図2で示す仮想カメラ21の位置(三次元モデル像20を見る位置に相当)を指定することで、三次元モデル像20を見る視点方向が特定される。なお、図2で示す仮想カメラ21の位置は例示的なものであり、実際には、三次元モデル像20に対して、あらゆる方向の位置に仮想カメラ21を配置できる。また、仮想カメラ21には、三次元モデル像20に関連する三次元座標系(XYZ座標系)と相異する座標系であるUVW座標系が関連付けてあり、このUVW座標系は仮想カメラ21の撮像方向(視点方向)及びカメラ位置等の特定に関係し、XYZ座標系とUVW座標系との相対関係を規定することで、ユーザが所望する方向及び位置からの動画表示が可能になる。
なお、仮想カメラ21は、UVW座標系のV軸を撮像レンズ21aの撮像方向(視点方向に相当)に一致させると共に、撮像レンズ21aに係るズーム倍率を基準倍率から倍率を減らす方向と、倍率を増やす方向のいずれの方向にも変更可能にしており、ズーム倍率を変更することで仮想カメラ21の撮像範囲を調整できる。この仮想カメラ21の撮像範囲(撮像アングル)が、三次元モデル像20を見る視界に相当し、撮像された内容(撮像画像)の輪郭は矩形状になっている。
また、図3(a)は、三次元コンピュータグラフィックス技術を用いてモーションデータに基づき作成される三次元モデル像20の具体的な外観の一例を示しており、この三次元モデル像20は図3(b)に示すように、人体の骨に相当するボーンBと云う棒状のリンク部材を連結したものに、人体の皮膚に相当するスキンを被せて作成される。なお、図3(b)に示すボーンBの各所に付された点P1〜P17が、実際のダンサーに付されたマーカ位置に相当し、これら各点P1〜P17ごとにモーションデータが存在している。なお、図3(b)に示す各点P1〜P17の位置及び個数は一例であり、ダンサーに付すマーカの位置及び個数に応じて適宜変更できる。
図4は、各ダンス用の動体動画データを形成する各動画フレームに含まれるモーションデータの内容を、三次元モデル像20の正面から見た状態でイメージ的に表したものである。動体動画データは、時刻t1、t2、t3・・・にそれぞれ対応する時系列順の動画フレームf1、f2、f3・・・を有し、動画表示装置1が、各動画フレームf1、f2、f3等に応じた内容を順次表示することで、各動画フレームf1、f2、f3等に含まれる三次元モデル像20が動く動画を再生表示できる。なお、本実施形態の動体動画データは、1秒当たりのフレーム数を60個(60フレーム/秒)にしているが、この数値はあくまで一例であり、モーションデータを取得できる動画フレーム数の範囲であれば、要求される動画品質に応じて適宜増減できる。
図5は、時刻t1、t2における第1動画フレームf1、第2動画フレームf2に含まれる三次元モデル像20に応じたモーションデータM1、M2の中身を概略的に示したものである。モーションデータM1、M2は、図3(b)に示す各点P1〜P17ごとに、図2に示すXYZ座標系におけるX軸、Y軸、Z軸のそれぞれに対する回転角度、及び座標値を有する。このような動画フレームごとのモーションデータに基づいて、図4に示す各動画フレームに含まれる三次元モデル像20が作成される。なお、回転角度は、図2中、X、Y、Z軸を正方向から負方向に見た場合で、時計方向の回転角度がプラス(+)、反時計方向の回転角度がマイナス(−)になる。
一方、図6(a)(b)及び図7(a)(b)に示すメニュー25〜28は、ハードディスク装置9に記憶されるメニュー画像データ16に対応する内容の一例である。図6(a)のメニュー25は、表示処理プログラム15を起動させた場合、最初に表示されるトップメニューに相当し、各種設定を行うために「ダンス種類選択」と云う第1ボタン25a、「視点方向指定」と云う第2ボタン25b、及び「部位指定」と云う第3ボタン25cを有すると共に、「動画再生」と云う第4ボタン25d、及び「終了」と云う第5ボタン25eを有する。
メニュー25の各ボタン25a〜25eが、キーボード11又はマウス12の操作により選択された場合の処理が、表示処理プログラム15により規定されており、例えば、「ダンス種類選択」の第1ボタン25aが選択されると、次に図6(b)のダンス種類選択メニュー26がディスプレイ装置10の画面10aに表示され、以下、「視点方向指定」の第2ボタン25bが選択されると、図7(a)の視点方向指定メニュー27が表示され、「部位指定」と云う第3ボタン25cが選択されると、図7(b)の部位指定メニュー28が表示される。なお、「動画再生」の第4ボタン25dが選択された場合、設定された内容で動体動画データの表示処理が行われ、「終了」の第5ボタン25が選択されると、起動していた表示処理プログラム15の処理が終了する。
図6(b)は、ダンス種類選択メニュー26であり、図1の動画表示装置1がハードディスク装置9で記憶する動画コンテンツデータDに含まれる動体動画データの種類に対応して、「タンゴ」ボタン26a、「ハワイアン」ボタン26b、「ディスコ」ボタン26c、「フラメンコ」ボタン26d等を有する。このダンス種類選択メニュー26で各ボタン26a〜26dの中から、いずれかのボタンが選択されると、動画表示装置1は、ハードディスク装置9に記憶された中から、選択されたダンスに対応する動体動画データを表示対象として決定する。なお、いずれかのボタンが選択されると、表示内容を切り替えて動画表示装置1は、図6(a)のメニュー25を自動的に再表示する。
また、図7(a)の視点方向指定メニュー27は視点方向の指定を受け付ける手段に相当し、基本的な視点方向を選択するための矢印形の方向ボタン27a〜27eを有すると共に、詳細な視点方向を指定するための詳細ボタン27f、及び決定ボタン27gを有する。三次元モデル像に対して前後、左右、及び上の5方向のいずれかの視点方向を指定する方向ボタン27a〜27eの中で一つが指定選択された状態で、決定ボタン27gが選択されると、動画表示装置1は、指定された方向を視点方向として受け付けて、その視点方向に応じた仮想カメラ21の位置(図2参照)を決定する。それから、動画表示装置1は、図6(a)のメニュー25に表示を切り替える。なお、詳細ボタン27fは、基本的な5方向以外で視点を指定する場合に選択されるものであり、マウス12の操作により360度のいずれの方向も視点方向として指定できる。
さらに、図7(b)の部位指定メニュー28は、三次元モデル像20の中で、表示すべき部位の指定を受け付ける手段に相当し、各部位の指定を受け付ける計16種類の指定ボタン28aを有すると共に、決定ボタン28bを有する。なお、16種類の指定ボタン28aは複数のボタンを同時に指定選択できるようになっている。部位指定メニュー28において、16個の中のいずれかの指定ボタン28aが選択された状態で、決定ボタン28bが選択されると、動画表示装置1は、選択された指定ボタン28aに対応する部位の指定を受け付けて、その部位を表示するように、仮想カメラ21のズーム倍率の調整処理を行う。
次に、表示処理プログラム15が規定する処理内容を説明する。表示処理プログラム15は制御部2が行う各種制御を規定しており、起動すると、先ず図6(a)のメニュー25のメニュー画像データ16を読み出して表示用インタフェース5から出力し、ディスプレイ装置10の画面10aにメニュー25を表示させる処理を制御部2に行わせることを規定している。また、メニュー25を表示した状態で第1ボタン25b〜第3ボタン25cが選択されたことが操作部インタフェース6から制御部2に伝えられると、図6(b)〜図7(b)の各メニュー26〜28を適宜表示し、各種設定(ダンス種類選択、視点方向指定、及び部位指定)をユーザから受け付けることを規定している。
ダンス種類選択、視点方向指定、及び部位指定の全てを受け付けたとき、表示処理プログラム15は、受け付けた部位を表示画面中に表示するために各種処理を行う。先ず、表示処理プログラム15は、選択されたダンスの種類に応じた動体動画データを動画コンテンツデータDの中から決定すると共に、その決定した動体動画データのモーションデータにより規定される三次元モデル像20の視点方向を、指定された方向にするため、仮想カメラ21の位置及び撮像方向(V軸の向き)を決定する。それから、表示処理プログラム15は、決定された位置から仮想カメラ21で、三次元モデル像20の指定された部位が撮像範囲に収まる中で、最大になるように撮像レンズ21aのズーム倍率を変更することを規定している。なお、仮想カメラ21のズーム倍率は処理を開始する時点では、基準倍率になっている。
図8(a)(b)は、撮像範囲の調整に係る処理を説明するための図である。部位指定メニュー28で、例えば三次元モデル像20の右肩20a及び右手首20bが指定された場合、表示処理プログラム15が規定する内容に基づき、制御部2は検知手段として、仮想カメラ21の撮像レンズ21aのズーム倍率が基準倍率であるときの撮像範囲H(図8(a)中、実線で示す範囲)の中に右肩20a及び右手首20bが収まるか否かを検知する。
具体的には、図8(b)に示すように仮想カメラ21は、矩形状の撮像画像Sの中に、撮像画像Sより一回り小さい基準枠K(図中、波線で示す)を設けており、この基準枠Kの中に右肩20a及び右手首20bが収まるか否かを制御部20bは検知する。検知により、右肩20a及び右手首20bが収まるとき、制御部2は仮想カメラ21のズーム倍率を段階的に上昇させて、右肩20a及び右手首20bが基準枠Kに収まる範囲で最も大きいズーム倍率で特定する。一方、ズーム倍率が基準倍率であるときの検知で、右肩20a及び右手首20bが基準枠Kから外れる場合、制御部2は仮想カメラ21のズーム倍率を段階的に減少させて、右肩20a及び右手首20bが収まる範囲で最も大きいズーム倍率を特定する。
なお、図8(a)に示す場合であれば、基準倍率であるときの撮像範囲H(図中、実線で示す範囲)より、ズーム倍率を上昇させて撮像範囲Hの角度(視界の角度に相当)を小さな角度(図中、波線で挟まれた角度C1)になるように変更することになる。また、基準倍率からズーム倍率を減少させたときは、図8(a)に示す撮像範囲Hの角度が大きくなるように変更されることになる。さらに、図8(b)に示す視界に係る基準枠Kの大きさ寸法は、あくまで一例であり、図8(b)に示す状態より小さくすること、又は、大きくすることも可能であり、大きくしたときは、基準枠Kと撮像画像Sの外周枠を一致させて、指定された部位ができるだけ大きく表示できるようにしてもよい。
上述したような仮想カメラ21のズーム倍率の特定を、選択したダンス用の動体動画データを構成する全ての動画フレームに対して制御部2は行う。それから、制御部2は調整手段として、全動画フレームに対して特定されたズーム倍率の中で最も小さいズーム倍率を表示処理用の倍率として特定し、特定した最小のズーム倍率になるように仮想カメラ21の撮像レンズ21の倍率を変更して撮像範囲Hを調整する。このように、動画フレームごとに特定されたズーム倍率の中で最小のものを選ぶことで、その最小のズーム倍率であれば、指定された部位(右肩20a及び右手首20b)は、全動画フレームに対して必ず基準枠Kの中に収まるようになる。
設定段階で上述したように仮想カメラ21の撮像範囲が調整され、それから図6(a)のメニュー25で、「動画再生」の第4ボタン25dが選択されると、制御部2は、ズーム倍率が特定された仮想カメラ21で撮像を行い、撮像範囲に含まれる内容をフレーム画像として表示する処理を、複数の動画フレームの時系列順に行う。これにより動体動画データを再生した動画が表示される。
図9は、上述した表示処理プログラム15の処理内容を整理した第1フローチャートを示し、この第1フローチャートの処理手順が本発明の動画表示装置1が行う動画表示方法の内容に該当する。この第1フローチャートは、既にダンスの種類と、視点方向の受け付けが完了した以降の処理を示している。以下、この第1フローチャートに従って、本発明の動画表示方法の一連の処理を整理して説明する。
動画表示装置1は、図7(b)に示す部位指定メニュー28を表示して、三次元モデル像20の中の特定の部位の指定を受け付けたか否かを判断する(S1)。部位の指定を受け付けていない場合(S1:NO)、指定の受付待ちとなり、指定を受け付けた場合(S1:YES)、動画表示装置1は指定に応じた部位を仮想カメラ21の撮像対象に決定する(S2)。次に動画表示装置1は、先の段階で指定を受け付けた視点方向に係る位置に仮想カメラ21を配置して三次元モデル像20を撮像し、決定した部位が基準枠K(図8(b)参照)に収まるか否かの検知処理を最初の動画フレームに対して行い(S3)、検知処理の結果に基づいて、最初の動画フレームに対応する仮想カメラ21のズーム倍率を特定する(S4)。
それから、動画表示装置1は、最後の動画フレームまでズーム倍率を特定する処理が終了したか否かを判断し(S5)、最後の動画フレームまでズーム倍率を特定していない場合(S5:NO)、検知処理の段階(S3)へ戻り、以降、最後の動画フレームに対するズーム倍率を特定するまで、S3からS5の処理段階を繰り返す。一方、最後の動画フレームまでズーム倍率を特定する処理を行った場合(S5:YES)、動画表示装置1は、特定した各動画フレームに対応するズーム倍率の中で、最小のズーム倍率に仮想カメラ21を変更して撮像範囲Hを調整する(S6)。
そして、動画表示装置1は、図6(a)のメニュー25で、動画再生の第4ボタン25dが選択されたか否かを判断し(S7)、第4ボタン25dが選択されていない場合(S7:NO)、選択待ちとなる。また、第4ボタン25dが選択された場合(S7:YES)、動画表示装置1は、撮像範囲Hが調整された仮想カメラ20で動体動画データに含まれる三次元モデル像20の部位を撮像し、撮像範囲Hに含まれる内容をフレーム画像として表示する処理を動画フレーム順に行って動画の表示再生を行う(S8)。
図10は、上述した処理を経て表示される動画を構成するフレーム画像G1、G2、G3・・・を時系列順に並べたものである。これらフレーム画像G1、G2、G3・・・は、三次元モデル像20の右肩20a及び右手首20bが指定されたときのものであり、最初(時刻t1)のフレーム画像G1は、図4に示す時刻t1の動画フレームf1に示す波線枠f1aの範囲に相当し、波線枠f1aがフレーム画像G1の画像枠G1aに一致するように波線枠f1aの中身が拡大された内容になっている。時刻t2以降のフレーム画像G2、G3等も、図4の動画フレームf2、f3等の右肩及び右手首の部分を拡大した内容になっている。なお、図10に示す各フレーム画像G1、G2等の視点方向は、図4に示す場合と同じ方向(三次元モデル像20に正面から見た方向)が指定されているものとする。
このように、本発明を用いることで、三次元モデル像20の特定の部位を拡大表示するときは、表示した部位を指定するだけで、その部位を確実に表示する動画再生を行えるので、ダンス又はスポーツ等の細かい動きを確認したい場合に、容易な設定操作で所望の部位を表示できるようになる。なお、図9の第1フローチャートにおいて、部位指定(S1:YES)を受け付けてから、動画再生の選択(S7:YES)を受け付けるまでの時間が短いときは、検知処理(S3)に時間を要するため、撮像範囲の調整(S6)が終了していないこともあるが、この場合は、動画再生の選択が行われても撮像範囲の調整を終わらせてから動画再生を行うことになる。さらに、図9の第1フローチャートの手順を入れ替えて、動画再生の選択(S7:YES)を受け付けた後に、検知処理(S3)から撮像範囲の調整(S6)までの処理を行って、それから動画の表示再生(S8)を行う処理手順にすることも可能である。
また、ユーザに選択された三次元モデル像20自体の移動量が大きい場合も、本発明を用いることで、三次元モデル像20が全体的に、どのような移動を行っているかを示す内容の動画表示を、難しい設定を行うことなく部位の指定のみで行える。
例えば、図11に示すように、表示対象となる動体動画データに含まれる三次元モデル像20が最初の動画フレームから最後の動画フレームまでの間に、X軸方向でx10の位置からx11の位置まで移動する場合で、三次元モデル像20の左右手首が、特定の部位としてユーザに選択されたとする。この場合、図9の第1フローチャートのS3の検知処理からS5の処理までを繰り返すことにより、仮想カメラ21の撮像範囲Hの角度C2は、図8(b)に示す角度C1に比べて広角となるように、ズーム倍率が変更される。
図12は、仮想カメラ20が上述したズーム倍率に変更された場合で、表示処理が行われた動画を構成するフレーム画像G10、G11、G12・・・を時系列順に並べたものである。なお、視点方向は図10のときと同様に三次元モデル像20の正面に対向する方向になっている。この場合、三次元モデル像20のX軸方向に沿った移動量が大きいため(図11参照)、動画の最初から最後まで、ユーザに指定された左右手首が表示範囲に収まるように、広角アングルのズーム倍率で撮像されるので、各フレーム画像中に収まる三次元モデル像20は小さくなっているが、三次元モデル像20の全体的な動きを把握できる動画を、簡易な設定で再生表示できるようになる。
なお、本発明は上述した実施形態に限定されるものではなく、種々の変形例の適用が可能になっている。例えば、仮想カメラ21の撮像範囲Hの調整は、撮像範囲Hの角度が変更されるようにズーム倍率を調整する以外に、仮想カメラ21の三次元モデル像20までの距離を変更して行ってもよい。
具体的には、図13(a)に示すように、三次元モデル像20に対して距離L1の位置に仮想カメラ21を配置した状態から、図13(b)に示すように距離L2(L2<L1)となるように、撮像方向(視点方向)を定める線22の上で仮想カメラ21の位置を変更すると、撮像範囲Hの角度は同じでも仮想カメラ21の撮像範囲Hに収まる三次元モデル像20の範囲も変化する。よって、ユーザにより指定された部位に応じて、三次元モデル像20に対する仮想カメラ21の距離(間隔)を調整して、指定された部位が撮像範囲Hに収まるようにすることも可能である。このように、仮想カメラ21の位置を変更する処理は、図2に示す仮想三次元空間における仮想カメラ21の位置変更を行う制御処理を、図1に示す制御部2が行うと共に、このような制御部2の処理が表示処理プログラム15で規定されることになる。
なお、仮想カメラ21の撮像レンズ21aのズーム倍率を変更して撮像範囲Hを調整する場合と、仮想カメラ21の位置を変更して撮像範囲Hを調整する場合では、表示される動画内容の奥行き感に違いが生じる。例えば、ユーザにより指定された部位を拡大表示するように撮像範囲Hを調整する場合、ズーム倍率を増加して拡大表示する方が、仮想カメラ21の位置を三次元モデル20に近づけて拡大表示する場合に比べて、奥行きが深いイメージの動画を表示できる。また、撮像レンズ21aのズーム倍率を変更することと、仮想カメラ21の位置を変更することの両方を組み合わせて、撮像範囲Hを調整することも勿論可能であり、このように2つの方式を組み合わせて撮像範囲を調整することで、撮像範囲Hの調整幅を1つの方式で行う場合に比べて大きくできる。
また、本発明の別の変形例を説明すると、上述した仮想カメラ21の撮像範囲Hの調整は、表示対象となる動画の最初から最後まで同一に維持するのではなく、ユーザにより特定された部位の動き量に応じて、所定数の動画フレームを含むグループ単位で変更するようにしてもよい。
例えば、図14に示す動体動画データを形成する各動画フレームf20、f21、f22・・・等に対して、右足首20cがユーザにより指定された場合、時刻t20〜t22に対応する動画フレームf20〜f22では、右足の先の向きが上下に変わる程度で、右足首20cの動き量は大きくない。しかし、時刻t23〜t25に対応する動画フレームf23〜f25では、三次元モデル像20が右足を付け根から持ち上げ、その状態で右膝を曲げたりするので、右足首20cの動き量は、先の時間帯の動画フレームf20〜f22に比べて大きくなる。そのため、時刻t20〜t22までの時間帯に含まれる動画フレームf20〜f22を第1グループ、時刻t23〜t25までの時間帯に含まれる動画フレームf23〜f25を第2グループとして分類し、分類したグループごとに仮想カメラ21の撮像範囲Hを調整することで、ユーザの指定する部位が常に確認しやすい大きさで表示することが可能になる。
図15は、分類したグループで仮想カメラ21の撮像範囲Hが同一となるように調整した状態で得られた動画を構成するフレーム画像G20〜G25を示している。フレーム画像G20〜G22は、図14の時刻t20〜t22の動画フレームf20〜f22に対して右足首20cが基準枠K(図8(b)参照)に収まるように仮想カメラ21の撮像範囲Hが調整された状態(図15中、第1撮像パターンに相当)で撮像されたものになっている。また、フレーム画像G23〜G25は、図14の時刻t23〜t25の動画フレームf23〜f25に対して右足首20cが基準枠Kに収まるように仮想カメラ21の撮像範囲Hが調整された状態(図15中、第2撮像パターンに相当)で撮像されたものになっており、第2撮像パターンの方が、第1撮像パターンより拡大率が小さい。
このように分類したグループごとに仮想カメラ21の撮像パターン(第1撮像パターン、第2撮像パターン)を設定することで、指定した部位の動き量に応じて適切に拡大された内容を容易に表示することが可能となり、指定した部位の動きをユーザは確認しやすくなる。
図16は、図15に示すような表示を行うための動画表示装置1の処理手順(動画表示方法の処理内容)を示す第2フローチャートである。この第2フローチャートの処理を行うためには、指定された部位の動き量を判断するための閾値を動画表示装置1は、予めROM4又はハードディスク装置9に記憶しておく必要があると共に、表示処理プログラム15が規定する内容も第2フローチャートで示される処理手順にしておく必要がある。以下、第2フローチャートに基づいて変形例の処理を説明する。なお、この第2フローチャートは、既に各種設定(ダンス種類選択、視点方向指定、部位指定)が完了した段階以降の処理を示している。
先ず、動画表示装置1は、選択されたダンス種類に対応する動体動画データを形成する動画フレームの中で、時系列順で前後する動画フレームに対して、特定された部位に応じたモーションデータの差分を求めて部位の動き量を算出する(S10)。例えば、図14に示す場合では、先ず、時刻t20の動画フレームf20と、時刻t21の動画フレームf21に対して右足首20cの位置の差分を求めて動き量を算出することになる。また、時刻t20の動画フレームf20は、最初の動画フレームなので1番目のグループ(第1グループ)に予め属するように表示処理プログラム15により設定されている。
次に、動画表示装置1は、算出した動き量と、予め記憶する閾値を比較して、動き量が閾値以上であるか否かを判断する(S11)。動き量が閾値以上でない場合(S11:NO)、即ち、閾値未満のとき、動画表示装置1は時系列順で後側の動画フレーム(上記例では、動画フレームf11)が属するグループを、時系列順で前側の動画フレームが属するグループ(第1グループ)と同一に維持して分類する(S12)。一方、動き量が閾値以上である場合(S11:YES)、動画表示装置1は、時系列順で後ろ側の動画フレームが属するグループを第2グループに設定し、前側の動画フレームが属するグループと変更して分類する(S13)。
動画表示装置1は、上述したように時系列順で後側の動画フレームのグループ分類を行ってから、図9の第1フローチャートの検知処理段階(S3)と同様に検知処理を行い(S14)、それから、分類したグループに関連付けてズーム倍率の特定処理(第1フローチャートのS4段階の処理と同等)を行う(S15)。そして、動画表示装置1は、最後の動画フレームまでズーム倍率を特定する処理が終了したか否かを判断し(S16)、最後の動画フレームまでズーム倍率を特定していない場合(S16:NO)、動き量の算出段階(S10)へ戻り、以降、最後の動画フレームのズーム倍率を特定するまで、S10からS16の処理段階を繰り返す。
一方、最後の動画フレームまでズーム倍率を特定する処理を行った場合(S16:YES)、関連付けたグループごとに最小のズーム倍率を特定し、グループごとに最小のズーム倍率に仮想カメラ20を変更して撮像範囲Hをグループごとに調整する(S17)。このようにグループごとに撮像範囲Hが調整された状態で、動画表示装置1が動画再生の指示を受け付けると、グループ毎に調整した同一の撮像範囲Hに応じた撮像パターン(図15の第1撮像パターン、第2撮像パターン)で撮像された内容をフレーム画像として順次表示する処理を行い、図15に示すように時刻t22でのフレーム画像G22と、時刻t23でのフレーム画像G23との間で撮像パターンを切り替える。なお、上述した説明では、一つの閾値を用いて計2つにグループ分けして撮像パターンを切り替える処理にしているが、閾値を複数用いて3以上にグループ分けして撮像パターンを切り替えて動画表示を行うことも勿論可能である。
図17(a)は、さらに別の変形例に係る処理を経て表示される動画のフレーム画像30を示す概略図である。このフレーム画像30は、指定された部位(右肩及び右手首)が拡大表示されたフレーム画像に相当する第1画像31と、撮像範囲Hが調整される前のズーム倍率が基準倍率で撮像されたフレーム画像に相当する第2画像32とを並べた複合画像に相当する。よって、この変形例では、動画表示装置1は、図17(a)に示すような複合画像を各動画フレーム順に生成して、表示することで、2つの内容を含む動画を一画面で表示できる。このように2つの内容を一画面で表示することで、ユーザが三次元モデル像20の特定の部位の動きと、全体的な動きを対比して確認することができる。
なお、図17(a)に示すフレーム画像30の表示は、図9に示す第1フローチャートの表示再生の段階(S8)で、動画表示装置1は仮想カメラ21の撮像処理を時分割的に行って、撮像範囲を調整した状態で撮像を行って拡大表示した第1画像31を得ると共に、ズーム倍率を基準倍率に戻した状態で撮像した第2画像32を得て、これら2つの第1画像31、32を並べた複合画像のフレーム画像30を生成して表示し、以降、この処理を順次行うことで実現している。
さらに、この変形例では、図17(b)に示すように、三次元モデル像20を全体的に含む基準倍率に応じた第2画像32′の中に、拡大表示した第1画像31′の画像範囲位置を示す画像枠32a′(図中、波線で示す)を重畳配置して表示する処理を加えてもよい。このように生成したフレーム画像30′を表示することで、拡大した第1画像31′の箇所が、全体的な第2画像32′の中において、どのような箇所に位置するかを一目で把握できるようになる。なお、動画表示装置1は、撮像範囲を調整したときの第1画像31′を、撮像方向(視点方向)を一致させた状態で、基準倍率に応じた第2画像32′に合わせることで、第2画像32′の中における第1画像31′に応じた画像枠32a′の位置及び大きさを特定して画像枠32a′を形成している。
また、複数の画像を組み合わせる複合画像では、第2画像32を基準倍率の撮像範囲Hで撮像した内容にする以外に、第1画像31の撮像範囲Hと相異する撮像範囲となるように調整した状態で撮像した内容にしてもよい。さらには、複合画像を3つ以上の画像の組み合わせで生成することも可能であり、さらにまた、仮想カメラ21の視点方向を時分割で複数設定し、複数の相異する視点方向に応じた画像を複数組み合わせて複合画像を生成することも可能である。
1 動画表示装置
2 制御部
9 ハードディスク装置
15 表示処理プログラム
16 メニュー画像データ
20 三次元モデル像
21 仮想カメラ
f1〜f8 動画フレーム
D 動画コンテンツデータ
G1〜G8 フレーム画像
H 撮像範囲
K 基準枠
M1、M2 モーションデータ
P1〜P17 点
2 制御部
9 ハードディスク装置
15 表示処理プログラム
16 メニュー画像データ
20 三次元モデル像
21 仮想カメラ
f1〜f8 動画フレーム
D 動画コンテンツデータ
G1〜G8 フレーム画像
H 撮像範囲
K 基準枠
M1、M2 モーションデータ
P1〜P17 点
Claims (8)
- 動体動画データを形成する複数の時系列順の動画フレームで三次元的な状態が規定された動体に対して、動体を見る視点方向の指定を受け付ける手段と、受け付けた視点方向からの視界に含まれる内容を表示する処理を動画フレーム順に行う表示処理手段とを備える動画表示装置において、
動体の部位の指定を受け付ける手段と、
指定を受け付けた部位を前記視点方向で見た場合、該部位が視界に係る基準枠に収まるか否かの検知を各動画フレームに対して行う検知手段と、
該検知手段の検知結果に基づき、前記部位が前記基準枠に収まるように前記視界の範囲を調整する調整手段とを備え、
前記表示処理手段は、前記調整手段が範囲を調整した視界に含まれる内容を表示する処理を行うことを特徴とする動画表示装置。 - 前記調整手段は、視界の広がり角度を変更して視界の範囲を調整する請求項1に記載の動画表示装置。
- 前記調整手段は、動体を見る位置の動体までの距離を変更して視界の範囲を調整する請求項1又は請求項2に記載の動画表示装置。
- 時系列順で前後する動画フレームの差分に基づき前記部位の動き量を算出する算出手段と、
該算出手段が算出した動き量を閾値と比較する比較手段と、
該比較手段が比較した結果に応じて、複数の動画フレームを、閾値を超える動き量の部位に応じた動画フレームのグループ、及び閾値未満の動き量の部位に応じた動画フレームのグループに分類する分類手段とを備え、
前記調整手段は、分類したグループごとに視界の範囲を調整する請求項1乃至請求項3のいずれか1つに記載の動画表示装置。 - 前記調整手段が範囲を調整した視界に含まれる内容に応じた第1画像と、該第1画像に係る視界と相異する視界に含まれる内容に応じた第2画像とを並べた複合画像を生成する生成手段を備え、
前記表示処理手段は、前記生成手段が生成した複合画像を表示する処理を行う請求項1乃至請求項4のいずれか1つに記載の動画表示装置。 - 前記第2画像は、動体の全体を含む内容であり、
前記生成手段は、前記第2画像中に、前記第1画像の位置を示す画像枠を配置して複合画像を生成する請求項5に記載の動画表示装置。 - 動画表示装置が、動体動画データを形成する複数の時系列順の動画フレームで三次元的な状態が規定された動体に対して、該動体を見る視点方向の指定を受け付け、受け付けた視点方向からの視界に含まれる内容を表示する処理を動画フレーム順に行う動画表示方法において、
前記動画表示装置は、
動体の部位の指定を受け付け、
指定を受け付けた部位を前記視点方向で見た場合、該部位が視界に係る基準枠に収まるか否かの検知を各動画フレームに対して行い、
検知結果に基づき、前記部位が前記基準枠に収まるように前記視界の範囲を調整し、
範囲を調整した視界に含まれる内容を表示する処理を行うことを特徴とする動画表示方法。 - コンピュータに、動体動画データを形成する複数の時系列順の動画フレームで三次元的な状態が規定された動体に対して、該動体を見る視点方向の指定を受け付けさせて、該視点方向からの視界に含まれる内容を表示する処理を動画フレーム順に行わせるためのコンピュータプログラムにおいて、
コンピュータを、
動体の部位の指定を受け付ける手段と、
指定を受け付けた部位を前記視点方向で見た場合、該部位が視界に係る基準枠に収まるか否かの検知を各動画フレームに対して行う検知手段と、
検知結果に基づき、前記部位が前記基準枠に収まるように前記視界の範囲を調整する調整手段と、
範囲を調整した視界に含まれる内容を表示する処理を行う手段として機能させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006209249A JP2008033840A (ja) | 2006-07-31 | 2006-07-31 | 動画表示装置、動画表示方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006209249A JP2008033840A (ja) | 2006-07-31 | 2006-07-31 | 動画表示装置、動画表示方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008033840A true JP2008033840A (ja) | 2008-02-14 |
Family
ID=39123147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006209249A Pending JP2008033840A (ja) | 2006-07-31 | 2006-07-31 | 動画表示装置、動画表示方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008033840A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011194026A (ja) * | 2010-03-19 | 2011-10-06 | Brother Industries Ltd | 運動支援装置、運動支援方法及びプログラム |
JP2012525643A (ja) * | 2009-05-01 | 2012-10-22 | マイクロソフト コーポレーション | モーションキャプチャにモデルトラッキングを適用するための方法及びシステム |
JP2019128721A (ja) * | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
JP2019139336A (ja) * | 2018-02-07 | 2019-08-22 | 一成 伊藤 | 図形処理装置、図形処理方法及び図形処理のためのコンピュータプログラム |
JP2021192273A (ja) * | 2016-09-01 | 2021-12-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2006
- 2006-07-31 JP JP2006209249A patent/JP2008033840A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012525643A (ja) * | 2009-05-01 | 2012-10-22 | マイクロソフト コーポレーション | モーションキャプチャにモデルトラッキングを適用するための方法及びシステム |
KR101625259B1 (ko) | 2009-05-01 | 2016-05-27 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 모션 캡처를 위하여 모델 추적을 적용하는 시스템 및 방법 |
JP2011194026A (ja) * | 2010-03-19 | 2011-10-06 | Brother Industries Ltd | 運動支援装置、運動支援方法及びプログラム |
JP2021192273A (ja) * | 2016-09-01 | 2021-12-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7263456B2 (ja) | 2016-09-01 | 2023-04-24 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019128721A (ja) * | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
JP2019139336A (ja) * | 2018-02-07 | 2019-08-22 | 一成 伊藤 | 図形処理装置、図形処理方法及び図形処理のためのコンピュータプログラム |
JP7045688B2 (ja) | 2018-02-07 | 2022-04-01 | 一成 伊藤 | 図形処理装置、図形処理方法及び図形処理のためのコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
JP4508049B2 (ja) | 360°画像撮影装置 | |
JP6019567B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 | |
US9633443B2 (en) | Image processing device, image processing method, and program for cutting out a cut-out image from an input image | |
JP4700476B2 (ja) | 多視点映像合成装置及び多視点映像合成システム | |
CN112640472B (zh) | 信息处理设备、信息处理方法和存储介质 | |
JP5857946B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6702657B2 (ja) | 映像処理装置、映像処理方法、及びプログラム | |
US20210349620A1 (en) | Image display apparatus, control method and non-transitory computer-readable storage medium | |
JP2008033840A (ja) | 動画表示装置、動画表示方法、及びコンピュータプログラム | |
JP2023017920A (ja) | 画像処理装置 | |
US20220277511A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP5312505B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
JP2021135776A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4769653B2 (ja) | 対象画像検出システム,対象画像部分の一致判定装置および対象画像部分のソーティング装置ならびにそれらの制御方法 | |
JP2009145805A (ja) | 動画表示システム、動画表示方法、およびコンピュータプログラム | |
JP2006099058A (ja) | 表示装置、表示方法、およびプログラム | |
JPWO2016158119A1 (ja) | 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置 | |
JPWO2016158184A1 (ja) | 医療用観察装置、レンズ駆動制御装置、レンズ駆動制御方法、プログラム、及びビデオ顕微鏡装置 | |
JP4762050B2 (ja) | 表示処理装置、表示処理方法、及びコンピュータプログラム | |
JP2007102099A (ja) | 電子機器、画像処理方法及びプログラム | |
JP7341674B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019022186A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2022060816A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2018036942A (ja) | 3次元ユーザインタフェース装置および3次元操作用プログラム |