JP2000315259A - データベース作成装置及びデータベース作成プログラムを記録した記録媒体 - Google Patents
データベース作成装置及びデータベース作成プログラムを記録した記録媒体Info
- Publication number
- JP2000315259A JP2000315259A JP11125991A JP12599199A JP2000315259A JP 2000315259 A JP2000315259 A JP 2000315259A JP 11125991 A JP11125991 A JP 11125991A JP 12599199 A JP12599199 A JP 12599199A JP 2000315259 A JP2000315259 A JP 2000315259A
- Authority
- JP
- Japan
- Prior art keywords
- database
- frame
- moving image
- information storage
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 動画像のデータベース作成において、モーシ
ョンキャプチャシステムにより、所望の場面の動画を再
生しながら同時に人間等の動作に関する数値データを参
照することを可能にするデータベース作成装置を提供す
ること。 【解決手段】 被験者の動画像や音声をフレーム毎に格
納するデータベース101と、前記動画像及び音声のデ
ータにラベル付けしたイベント情報を格納するイベント
情報格納部102と、前記被験者の身体上の各セグメン
トの座標情報をフレーム毎に格納する座標情報格納部1
03と、前記被験者の各セグメントの回転情報をフレー
ム毎に格納する回転情報格納部104と、データベース
101、前記イベント情報格納部102、前記座標情報
格納部103、及び前記回転情報格納部104に格納さ
れた各々の情報をフレーム毎に同期をとって統合し、マ
ルチモーダルデータベースを生成する統合部105と、
データベース101からアクセスされた動画像及び音声
のデータを出力する出力部106と、を備える。
ョンキャプチャシステムにより、所望の場面の動画を再
生しながら同時に人間等の動作に関する数値データを参
照することを可能にするデータベース作成装置を提供す
ること。 【解決手段】 被験者の動画像や音声をフレーム毎に格
納するデータベース101と、前記動画像及び音声のデ
ータにラベル付けしたイベント情報を格納するイベント
情報格納部102と、前記被験者の身体上の各セグメン
トの座標情報をフレーム毎に格納する座標情報格納部1
03と、前記被験者の各セグメントの回転情報をフレー
ム毎に格納する回転情報格納部104と、データベース
101、前記イベント情報格納部102、前記座標情報
格納部103、及び前記回転情報格納部104に格納さ
れた各々の情報をフレーム毎に同期をとって統合し、マ
ルチモーダルデータベースを生成する統合部105と、
データベース101からアクセスされた動画像及び音声
のデータを出力する出力部106と、を備える。
Description
【0001】
【発明の属する技術分野】本発明は、動画像のデータを
記録するデータベース作成装置及びデータベース作成プ
ログラムを記録した記録媒体に関する。
記録するデータベース作成装置及びデータベース作成プ
ログラムを記録した記録媒体に関する。
【0002】
【従来の技術】近年、高性能のワークステーションやパ
ソコンに併せて、記憶容量の大きな光磁気ディスク等の
記憶媒体が低廉化され、高解像度の表示装置やマルチメ
ディアに適応した周辺機器も低廉化されつつある。従っ
て、文書処理、画像データ処理その他の分野では、処理
対象となるデータの情報量の増大に適応可能なデータベ
ース機能の向上が要求され、従来、主として文字や数値
に施されていた処理に併せて動画にも多様な処理を施す
ことが可能な種々の画像データベースが構築されつつあ
る。
ソコンに併せて、記憶容量の大きな光磁気ディスク等の
記憶媒体が低廉化され、高解像度の表示装置やマルチメ
ディアに適応した周辺機器も低廉化されつつある。従っ
て、文書処理、画像データ処理その他の分野では、処理
対象となるデータの情報量の増大に適応可能なデータベ
ース機能の向上が要求され、従来、主として文字や数値
に施されていた処理に併せて動画にも多様な処理を施す
ことが可能な種々の画像データベースが構築されつつあ
る。
【0003】言語データをデータベースとして集成し研
究の基礎資料とすることは久しく行なわれてきている。
言語データベースの場合、単に生データを集めるだけで
はなく、言語学的なラベルを付与することによってその
データを構造化しておくことがほぼ常識となり、データ
を共有するためそうしたラベルを標準化しようという動
きが盛んになっている。一方、動画情報を含むビデオ素
材から人間等の動作に関してデータベースを作成する場
合、特開平8−153120号公報に開示されているよ
うに、動画像データをフレーム毎に分割して静止画像に
変換し、各フレームにラベルを付与して画像データベー
スを生成し、そのラベルに基づいて検索する方式、ある
いは特開平7−253986号公報に開示されているよ
うに、動画像及び音声を含むデータベースから、たとえ
ば頭が上下に動く(うなずき動作)が見られるフレーム
区間に、〔unazuki〕等のラベル(タグ)を付与し、検
索時にそのラベルを入力すると、登録時に関連したラベ
ルを付与されていた動画像および音声を抽出する方式が
提案されている。
究の基礎資料とすることは久しく行なわれてきている。
言語データベースの場合、単に生データを集めるだけで
はなく、言語学的なラベルを付与することによってその
データを構造化しておくことがほぼ常識となり、データ
を共有するためそうしたラベルを標準化しようという動
きが盛んになっている。一方、動画情報を含むビデオ素
材から人間等の動作に関してデータベースを作成する場
合、特開平8−153120号公報に開示されているよ
うに、動画像データをフレーム毎に分割して静止画像に
変換し、各フレームにラベルを付与して画像データベー
スを生成し、そのラベルに基づいて検索する方式、ある
いは特開平7−253986号公報に開示されているよ
うに、動画像及び音声を含むデータベースから、たとえ
ば頭が上下に動く(うなずき動作)が見られるフレーム
区間に、〔unazuki〕等のラベル(タグ)を付与し、検
索時にそのラベルを入力すると、登録時に関連したラベ
ルを付与されていた動画像および音声を抽出する方式が
提案されている。
【0004】
【発明が解決しようとする課題】上記の従来技術では、
ラベルを付ける作業者の個人差や主観によるばらつきが
生じることが多かった。また、同じ〔unazuki〕動作で
も、大きなうなずきや小さなうなずき等の区別をラベル
に反映させることが難しかった。画像から観察者が人間
等の頭の動きや向き、手の形などをコード化して手動で
ラベルを付ける試みはあるものの(参考文献:“Han
d and Mind”D.McNeille著)、や
はり観察者の主観に左右されることが多く、ラベルの付
け方にばらつきが出るなどの問題点があった。
ラベルを付ける作業者の個人差や主観によるばらつきが
生じることが多かった。また、同じ〔unazuki〕動作で
も、大きなうなずきや小さなうなずき等の区別をラベル
に反映させることが難しかった。画像から観察者が人間
等の頭の動きや向き、手の形などをコード化して手動で
ラベルを付ける試みはあるものの(参考文献:“Han
d and Mind”D.McNeille著)、や
はり観察者の主観に左右されることが多く、ラベルの付
け方にばらつきが出るなどの問題点があった。
【0005】上述したように、音声、動画像を含む対話
データにおいて、人間等の動作に対し、客観的、統一的
なラベルを付ける方法が望まれている。一方、モーショ
ンキャプチャシステム(カメラを用いて人聞等の関節の
位置を計測する装置)は、人間等の顔の向きや頭の動
き、手の動きなど動作に関する3次元位置座標を自動的
に抽出することを可能にした。本発明は上述の点に着目
してなされたもので、動画像のデータベース作成におい
て、モーションキャプチャシステム等を利用することに
より、所望の場面の動画を再生しながら同時に人間等の
動作に関する数値データを参照することを可能にするデ
ータベース作成装置及びデータベース作成プログラムを
記録した記録媒体を提供することを目的とする。
データにおいて、人間等の動作に対し、客観的、統一的
なラベルを付ける方法が望まれている。一方、モーショ
ンキャプチャシステム(カメラを用いて人聞等の関節の
位置を計測する装置)は、人間等の顔の向きや頭の動
き、手の動きなど動作に関する3次元位置座標を自動的
に抽出することを可能にした。本発明は上述の点に着目
してなされたもので、動画像のデータベース作成におい
て、モーションキャプチャシステム等を利用することに
より、所望の場面の動画を再生しながら同時に人間等の
動作に関する数値データを参照することを可能にするデ
ータベース作成装置及びデータベース作成プログラムを
記録した記録媒体を提供することを目的とする。
【0006】
【課題を解決するための手段】本発明のデータベース作
成装置は、動画像をフレーム毎に格納する動画像格納手
段と、被写体の1以上の所定の部分の位置情報をフレー
ム毎に格納する位置情報格納手段と、前記動画像格納手
段によって格納される動画像についてのイベント情報を
格納するイベント情報格納手段と、を備えるものであ
る。また、前記位置情報に基づいて前記イベント情報を
抽出するイベント抽出手段を備えることで、人間等の動
作に対して、イベント生起区間を抽出し、自動的にラベ
ル付けを行うことができる。
成装置は、動画像をフレーム毎に格納する動画像格納手
段と、被写体の1以上の所定の部分の位置情報をフレー
ム毎に格納する位置情報格納手段と、前記動画像格納手
段によって格納される動画像についてのイベント情報を
格納するイベント情報格納手段と、を備えるものであ
る。また、前記位置情報に基づいて前記イベント情報を
抽出するイベント抽出手段を備えることで、人間等の動
作に対して、イベント生起区間を抽出し、自動的にラベ
ル付けを行うことができる。
【0007】さらに、前記位置情報格納手段が格納する
位置情報には、3次元座標及び3次元回転角が含まれる
ことで、回転情報を利用してイベントを判断することが
できる。また、前記イベント抽出手段は、前記位置情報
に基づいて速度又は加速度を求めることで、人間等の動
作に対して、速度又は加速度情報を基に、動きの激しい
区間や緩慢な区間を抽出し、会話の盛り上がりや退屈な
ど、感情に係わるラベル付けを自動的に行うことができ
る。
位置情報には、3次元座標及び3次元回転角が含まれる
ことで、回転情報を利用してイベントを判断することが
できる。また、前記イベント抽出手段は、前記位置情報
に基づいて速度又は加速度を求めることで、人間等の動
作に対して、速度又は加速度情報を基に、動きの激しい
区間や緩慢な区間を抽出し、会話の盛り上がりや退屈な
ど、感情に係わるラベル付けを自動的に行うことができ
る。
【0008】また、本発明は、コンピュータを、動画像
をフレーム毎に格納する動画像格納手段と、被写体の1
以上の所定の部分の位置情報をフレーム毎に格納する位
置情報格納手段と、前記動画像格納手段によって格納さ
れる動画像についてのイベント情報を格納するイベント
情報格納手段として機能させるためのデータベース作成
プログラムを記録したことを特徴とするコンピュータ読
み取り可能な記録媒体である。
をフレーム毎に格納する動画像格納手段と、被写体の1
以上の所定の部分の位置情報をフレーム毎に格納する位
置情報格納手段と、前記動画像格納手段によって格納さ
れる動画像についてのイベント情報を格納するイベント
情報格納手段として機能させるためのデータベース作成
プログラムを記録したことを特徴とするコンピュータ読
み取り可能な記録媒体である。
【0009】
【発明の実施の形態】以下、添付図面を参照しながら本
発明の好適な実施の形態について詳細に説明する。図1
は、本発明の第1実施の形態の基本構成を示すブロック
図である。ここでは、被写体としての被験者の身体上の
関節の位置および回転情報を得る手段として、光学式の
モーションキャプチャシステムを用いた例を説明する。
発明の好適な実施の形態について詳細に説明する。図1
は、本発明の第1実施の形態の基本構成を示すブロック
図である。ここでは、被写体としての被験者の身体上の
関節の位置および回転情報を得る手段として、光学式の
モーションキャプチャシステムを用いた例を説明する。
【0010】所定の動作を行う人間等(被験者)の動画
像や音声データはA/D変換され、最小の時間単位とし
てのフレーム(=1/30sec)毎にデータベース1
01に入力される。イベント情報格納部102では、た
とえば特開平7−253986号公報に示される手法に
より、前記フレーム毎に格納された動画像及び音声のデ
ータに発話内容やあいづちやおじぎ、笑いといったイベ
ント情報をラベル付けして格納する。
像や音声データはA/D変換され、最小の時間単位とし
てのフレーム(=1/30sec)毎にデータベース1
01に入力される。イベント情報格納部102では、た
とえば特開平7−253986号公報に示される手法に
より、前記フレーム毎に格納された動画像及び音声のデ
ータに発話内容やあいづちやおじぎ、笑いといったイベ
ント情報をラベル付けして格納する。
【0011】座標情報格納部103は、モーションキャ
プチャシステムから得られる前記被験者の身体上の各セ
グメント(関節)の位置情報としての3次元座標データ
をフレーム毎に格納する。回転情報格納部104は、モ
ーションキャプチャシステムから得られる前記被験者の
各セグメントの回転情報としての3次元回転角データを
フレーム毎に格納する。
プチャシステムから得られる前記被験者の身体上の各セ
グメント(関節)の位置情報としての3次元座標データ
をフレーム毎に格納する。回転情報格納部104は、モ
ーションキャプチャシステムから得られる前記被験者の
各セグメントの回転情報としての3次元回転角データを
フレーム毎に格納する。
【0012】統合部105は、前記データベース10
1、イベント情報格納部102、座標情報格納部10
3、及び回転情報格納部104に格納された音声、動画
像、イベント情報、座標情報、回転情報をフレーム毎に
同期をとって統合し、マルチモーダルデータベースを生
成するとともに、前記データベース101の動画像及び
音声のデータにアクセスして出力部106より出力す
る。図2は、第1実施の形態の具体的なシステム構成図
である。2人の被験者100、200を別々の部屋に配
置する。各被験者は着座し、上半身の頭、肩、肘、手首
など、被験者の動きが特徴づけられる点にマーカ11、
21を付けた状態で動作を行う。
1、イベント情報格納部102、座標情報格納部10
3、及び回転情報格納部104に格納された音声、動画
像、イベント情報、座標情報、回転情報をフレーム毎に
同期をとって統合し、マルチモーダルデータベースを生
成するとともに、前記データベース101の動画像及び
音声のデータにアクセスして出力部106より出力す
る。図2は、第1実施の形態の具体的なシステム構成図
である。2人の被験者100、200を別々の部屋に配
置する。各被験者は着座し、上半身の頭、肩、肘、手首
など、被験者の動きが特徴づけられる点にマーカ11、
21を付けた状態で動作を行う。
【0013】上記マーカを付ける点の例を図3(a)に
示す。この例では、上半身の18箇所にマーカ11(2
1)を付けている。マーカは、頭であればヘアバンドの
ようなものにつけたり、また肩や肘であればスポーツな
どで使用される伸縮性があり、しかも身体に密着するサ
ポータのようなものにとりつける。ただし、マーカの数
や取り付け位置や装着方法はこれに限定されるものでは
なく、例えば、全身にマーカを付けたり、マーカの数を
増やしたり、あるいは、スウェットスーツのようなもの
に取りつけたりしてもよい。図2において、各被験者1
00、200の前にはハーフミラー12、22が配置さ
れており、このハーフミラー12、22を見ることによ
りモニタ13、23に写し出される相手(上半身)と対
面するようになっている。
示す。この例では、上半身の18箇所にマーカ11(2
1)を付けている。マーカは、頭であればヘアバンドの
ようなものにつけたり、また肩や肘であればスポーツな
どで使用される伸縮性があり、しかも身体に密着するサ
ポータのようなものにとりつける。ただし、マーカの数
や取り付け位置や装着方法はこれに限定されるものでは
なく、例えば、全身にマーカを付けたり、マーカの数を
増やしたり、あるいは、スウェットスーツのようなもの
に取りつけたりしてもよい。図2において、各被験者1
00、200の前にはハーフミラー12、22が配置さ
れており、このハーフミラー12、22を見ることによ
りモニタ13、23に写し出される相手(上半身)と対
面するようになっている。
【0014】図1の実施の形態と図2に示すシステム構
成図との対応関係については、以下の通りである。統合
部105はコンピュータ本体31内に内蔵されている。
コンピュータ本体31には、前記座標情報格納部103
と、回転情報格納部104と、イベント情報格納部10
2に対応するディスク装置32と、データベース101
に対応する光磁気ディスク装置33と、ディスプレイ3
4とが接続されている。光磁気ディスク装置33には、
出力部106としてのモニタ35と、被験者に配置され
た入出力装置18、28が接続されている。入出力装置
18、28は、ビデオカメラ14、24、マイク15、
25、モニタ13、23及びスピーカ16、26から構
成されている。マイク15、25は被験者が装着するタ
イピン型のものである。ビデオカメラ14、24はハー
フミラーの背後に配置されている。さらに、被験者10
0、200のマーカ位置を捉えるための赤外線カメラ1
7、27が配置されている。これらマイク15、25、
ビデオカメラ14、24、及び赤外線カメラ17、27
は互いに同期しており、被験者の撮影を同時に開始し、
同時に終了する。
成図との対応関係については、以下の通りである。統合
部105はコンピュータ本体31内に内蔵されている。
コンピュータ本体31には、前記座標情報格納部103
と、回転情報格納部104と、イベント情報格納部10
2に対応するディスク装置32と、データベース101
に対応する光磁気ディスク装置33と、ディスプレイ3
4とが接続されている。光磁気ディスク装置33には、
出力部106としてのモニタ35と、被験者に配置され
た入出力装置18、28が接続されている。入出力装置
18、28は、ビデオカメラ14、24、マイク15、
25、モニタ13、23及びスピーカ16、26から構
成されている。マイク15、25は被験者が装着するタ
イピン型のものである。ビデオカメラ14、24はハー
フミラーの背後に配置されている。さらに、被験者10
0、200のマーカ位置を捉えるための赤外線カメラ1
7、27が配置されている。これらマイク15、25、
ビデオカメラ14、24、及び赤外線カメラ17、27
は互いに同期しており、被験者の撮影を同時に開始し、
同時に終了する。
【0015】マイク15、25により録音された被験者
の音声、及び、ビデオカメラ14、24により撮影され
た被験者の上半身の動画像はそれぞれデジタル化され、
最小の時間単位としてフレーム毎(1/30sec)に
光磁気ディスク36に記録される。光磁気ディスク装置
33は、コンピュータ31によりコントロールされ、書
き込み及び再生が行われる。再生時の動画像及び音声は
モニタ35に出力される。イベント情報、座標情報、回
転情報等のデータ及びデータ作成プログラムはディスク
装置32に書き込まれる。上述のように、データベース
101には、被験者の音声および上半身の動画像データ
がA/D変換され、フレーム単位に格納されている。
の音声、及び、ビデオカメラ14、24により撮影され
た被験者の上半身の動画像はそれぞれデジタル化され、
最小の時間単位としてフレーム毎(1/30sec)に
光磁気ディスク36に記録される。光磁気ディスク装置
33は、コンピュータ31によりコントロールされ、書
き込み及び再生が行われる。再生時の動画像及び音声は
モニタ35に出力される。イベント情報、座標情報、回
転情報等のデータ及びデータ作成プログラムはディスク
装置32に書き込まれる。上述のように、データベース
101には、被験者の音声および上半身の動画像データ
がA/D変換され、フレーム単位に格納されている。
【0016】次に、イベント情報格納部102について
説明する。データベース101に格納されている動画像
や音声のデータに対し、音声データを基に会話内容をラ
ベル付けしたり、また、動画像のデータを基に、特開平
7−253986号公報に示すような手法で、相槌やお
辞儀のしぐさ、あるいは笑いや微笑みの表情などのイベ
ント情報にラベル付けすることが可能である。
説明する。データベース101に格納されている動画像
や音声のデータに対し、音声データを基に会話内容をラ
ベル付けしたり、また、動画像のデータを基に、特開平
7−253986号公報に示すような手法で、相槌やお
辞儀のしぐさ、あるいは笑いや微笑みの表情などのイベ
ント情報にラベル付けすることが可能である。
【0017】図4は、データベース101に格納されて
いる動画像や音声のデータについて、イベント情報にラ
ベル付けをした例を示す図である。イベント情報は各属
性名に続く行にそれぞれのイベントの開始フレーム、終
了フレーム、イベント名の順で記述されたファイルに格
納されている。なお、ここでいう開始フレームおよび終
了フレームは、光磁気ディスク36に記録されているデ
ータのフレーム番号を表している。例えば、イベント属
性speechでは、フレーム番号21843から21853まで、「う
ん」と発話していることを表し、また、イベント属性ge
sture では、フレーム番号21726から21737まで、うなず
いていることを示している。
いる動画像や音声のデータについて、イベント情報にラ
ベル付けをした例を示す図である。イベント情報は各属
性名に続く行にそれぞれのイベントの開始フレーム、終
了フレーム、イベント名の順で記述されたファイルに格
納されている。なお、ここでいう開始フレームおよび終
了フレームは、光磁気ディスク36に記録されているデ
ータのフレーム番号を表している。例えば、イベント属
性speechでは、フレーム番号21843から21853まで、「う
ん」と発話していることを表し、また、イベント属性ge
sture では、フレーム番号21726から21737まで、うなず
いていることを示している。
【0018】次に、座標情報格納部103及び回転情報
格納部104について説明する。本装置で使用している
光学式モーションキャプチャシステムでは、一人の被験
者を複数(ここでは4台)の赤外線カメラ17、27で
とらえることにより、マーカ位置の3次元座標の時系列
データを作成する。さらに、図3(a)に示す、体の外
側に付いているマーカ11(21)の位置を基に、人間
等の骨格を表わすスケルトンの各関節を表わすバーチャ
ルマーカを計算、設定することにより、図3(b)に示
すスケルトン構造の階層構造を決定し、その各セグメン
ト(関節:図3(b)中の1〜11)の設定されている
ローカル座標での回転情報と相対位置座標を計算するこ
とができる。
格納部104について説明する。本装置で使用している
光学式モーションキャプチャシステムでは、一人の被験
者を複数(ここでは4台)の赤外線カメラ17、27で
とらえることにより、マーカ位置の3次元座標の時系列
データを作成する。さらに、図3(a)に示す、体の外
側に付いているマーカ11(21)の位置を基に、人間
等の骨格を表わすスケルトンの各関節を表わすバーチャ
ルマーカを計算、設定することにより、図3(b)に示
すスケルトン構造の階層構造を決定し、その各セグメン
ト(関節:図3(b)中の1〜11)の設定されている
ローカル座標での回転情報と相対位置座標を計算するこ
とができる。
【0019】前記セグメントは、図3(b)の例では、
上半身の頭〔Head〕1、首〔Neck〕2、上半身〔UpperT
orso〕3、左鎖骨〔LCollarBone〕4、右鎖骨〔RCollar
Bone〕5、左上腕〔LUpArm〕6、右上腕〔RUpArm〕7、
左下腕〔LLowArm〕8、右下腕〔RLowArm〕9、左手〔LH
and〕10、右手〔RHand〕11の11箇所である。上記
モーションキャプチャシステムにより得られる各セグメ
ント1〜11のローカル座標での相対位置座標は座標情
報格納部103に、また、各セグメントのローカル座標
での回転情報は回転情報格納部104にそれぞれ格納さ
れる。座標情報格納部103に入力されているファイル
の例を図5に、また、回転情報格納部に入力されている
ファイルの例を図6に示す。
上半身の頭〔Head〕1、首〔Neck〕2、上半身〔UpperT
orso〕3、左鎖骨〔LCollarBone〕4、右鎖骨〔RCollar
Bone〕5、左上腕〔LUpArm〕6、右上腕〔RUpArm〕7、
左下腕〔LLowArm〕8、右下腕〔RLowArm〕9、左手〔LH
and〕10、右手〔RHand〕11の11箇所である。上記
モーションキャプチャシステムにより得られる各セグメ
ント1〜11のローカル座標での相対位置座標は座標情
報格納部103に、また、各セグメントのローカル座標
での回転情報は回転情報格納部104にそれぞれ格納さ
れる。座標情報格納部103に入力されているファイル
の例を図5に、また、回転情報格納部に入力されている
ファイルの例を図6に示す。
【0020】図5は、座標情報格納部103のファイル
の例を示す図である。各セグメント1〜11のローカル
座標での3次元相対位置座標(x,y,z)の時系列デー
タ(フレーム毎)が含まれている。例えば、セグメント
〔Head〕の第3フレームでの座標は(0.000002, −0.88
6932, 0.000004)である。図6は、回転情報格納部10
4のファイルの例を示す図である。各セグメント1〜1
1のローカル座標での3次元回転角(x,y,z)の時系
列データ(フレーム毎)が含まれている。例えば、セグ
メント〔Head〕の第3フレームでの回転角は、(−2.69
3428, 0.355944, 0.420237)である。
の例を示す図である。各セグメント1〜11のローカル
座標での3次元相対位置座標(x,y,z)の時系列デー
タ(フレーム毎)が含まれている。例えば、セグメント
〔Head〕の第3フレームでの座標は(0.000002, −0.88
6932, 0.000004)である。図6は、回転情報格納部10
4のファイルの例を示す図である。各セグメント1〜1
1のローカル座標での3次元回転角(x,y,z)の時系
列データ(フレーム毎)が含まれている。例えば、セグ
メント〔Head〕の第3フレームでの回転角は、(−2.69
3428, 0.355944, 0.420237)である。
【0021】前記統合部105では、前記データベース
101に格納された動画像と音声のデータと、前記イベ
ント情報格納部102、座標情報格納部103、及び回
転情報格納部104に各々格納されたイベント情報、座
標情報、及び回転情報を、フレーム毎に同期をとって統
合することによってマルチモーダルデータベースを生成
する。
101に格納された動画像と音声のデータと、前記イベ
ント情報格納部102、座標情報格納部103、及び回
転情報格納部104に各々格納されたイベント情報、座
標情報、及び回転情報を、フレーム毎に同期をとって統
合することによってマルチモーダルデータベースを生成
する。
【0022】図7は、ディスプレイ34に表示される、
統合部105において生成されたマルチモーダルデータ
ベースのラベル付けに係る画面構成である。イベント情
報ウインドウ40には、前記イベント情報格納部102
に格納された各イベントのラベルがフレームに対応して
表示される。フレーム番号は、フレームウインドウ50
に表示されている。イベント情報ウインドウ40におい
て、ラベルは、各イベントごとに直線上に並べて表示さ
れており、イベントの位置を示すラベルの開始フレーム
から終了フレームまでの領域が矩形41で表わされてい
る。たとえば、イベントspeechにはフレーム番号21843
から21853まで、「うん」と発話していることが表示さ
れ(符号41)、また、イベントgestureでは、フレー
ム番号21726から21737までに、うなずきが現れているこ
とが表示されている(符号42)。さらに、イベントfa
ceでは、フレーム番号21696から21725まで笑いが起こっ
ていることを示している(符号43)。
統合部105において生成されたマルチモーダルデータ
ベースのラベル付けに係る画面構成である。イベント情
報ウインドウ40には、前記イベント情報格納部102
に格納された各イベントのラベルがフレームに対応して
表示される。フレーム番号は、フレームウインドウ50
に表示されている。イベント情報ウインドウ40におい
て、ラベルは、各イベントごとに直線上に並べて表示さ
れており、イベントの位置を示すラベルの開始フレーム
から終了フレームまでの領域が矩形41で表わされてい
る。たとえば、イベントspeechにはフレーム番号21843
から21853まで、「うん」と発話していることが表示さ
れ(符号41)、また、イベントgestureでは、フレー
ム番号21726から21737までに、うなずきが現れているこ
とが表示されている(符号42)。さらに、イベントfa
ceでは、フレーム番号21696から21725まで笑いが起こっ
ていることを示している(符号43)。
【0023】なお、ディスプレイ上には、図示するよう
に、音声波形60および基本周波数(ピッチ)70を表
示してもよい。座標情報ウインドウ80には、座標情報
格納部103に格納された被験者の身体上の各セグメン
ト(図3(b))の相対位置座標が、x軸、y軸、z軸
ごとに表示されている。ここでは、セグメント〔Head〕
の座標情報を例に説明すると、たとえば、図7の符号8
1、82、83では、Head(頭)のセグメントがy軸
(上下)方向に動いている。また、符号84、85、8
6では、Head(頭)のセグメントがz軸(前後)方向に
動いていることがわかる。一方、x軸方向への顕著な動
きは見られない。
に、音声波形60および基本周波数(ピッチ)70を表
示してもよい。座標情報ウインドウ80には、座標情報
格納部103に格納された被験者の身体上の各セグメン
ト(図3(b))の相対位置座標が、x軸、y軸、z軸
ごとに表示されている。ここでは、セグメント〔Head〕
の座標情報を例に説明すると、たとえば、図7の符号8
1、82、83では、Head(頭)のセグメントがy軸
(上下)方向に動いている。また、符号84、85、8
6では、Head(頭)のセグメントがz軸(前後)方向に
動いていることがわかる。一方、x軸方向への顕著な動
きは見られない。
【0024】回転情報ウインドウ90には、前記回転情
報格納部104に格納された被験者の身体上の各セグメ
ントの回転情報(角度)が、x軸、y軸、z軸ごとに表
示されている。セグメント〔Head〕の回転情報を例に説
明すると、たとえば、図7の符号91、92、93で
は、Head(頭)のセグメントがx軸を軸に回転している
ことがわかる。一方、x,y軸方向への顕著な動きは見
られない。本実施の形態では、ディスプレイ上に、各セ
グメントの情報を個別に表示する例を示したが、全セグ
メントを並べて表示して、各セグメント間の動きを比較
できるようにしてもよい。
報格納部104に格納された被験者の身体上の各セグメ
ントの回転情報(角度)が、x軸、y軸、z軸ごとに表
示されている。セグメント〔Head〕の回転情報を例に説
明すると、たとえば、図7の符号91、92、93で
は、Head(頭)のセグメントがx軸を軸に回転している
ことがわかる。一方、x,y軸方向への顕著な動きは見
られない。本実施の形態では、ディスプレイ上に、各セ
グメントの情報を個別に表示する例を示したが、全セグ
メントを並べて表示して、各セグメント間の動きを比較
できるようにしてもよい。
【0025】本明細書では、前記データベース101に
格納された動画像と音声のデータと、前記イベント情報
格納部102、前記座標情報格納部103、および前記
回転情報格納部104に格納されたイベント情報、座標
情報、回転情報とを統合したものをマルチモーダルデー
タベースと呼ぶ。なお、前記イベント情報ウインドウ4
0上では、特開平7−25986号公報等に示されてい
る手法により、マウスカーソルの座標を検出し、ラベル
の開始フレームと終了フレームで構成される矩形内にマ
ウスカーソルがあるときにマウスのボタンが押されるの
を検知すると、このラベルの開始フレームから終了フレ
ームに相当する区間が選択されていることを示すため
に、通常の状態とは異なる色に変わると同時に、該当フ
レーム区間の動画像及び音声がデータベース101にア
クセスされて、出力部106より再生される。
格納された動画像と音声のデータと、前記イベント情報
格納部102、前記座標情報格納部103、および前記
回転情報格納部104に格納されたイベント情報、座標
情報、回転情報とを統合したものをマルチモーダルデー
タベースと呼ぶ。なお、前記イベント情報ウインドウ4
0上では、特開平7−25986号公報等に示されてい
る手法により、マウスカーソルの座標を検出し、ラベル
の開始フレームと終了フレームで構成される矩形内にマ
ウスカーソルがあるときにマウスのボタンが押されるの
を検知すると、このラベルの開始フレームから終了フレ
ームに相当する区間が選択されていることを示すため
に、通常の状態とは異なる色に変わると同時に、該当フ
レーム区間の動画像及び音声がデータベース101にア
クセスされて、出力部106より再生される。
【0026】さらに、ディスプレイ上には、前記座標情
報格納部103に格納された3次元位置座標データをも
とに、図8のような2次元ワイヤーフレーム画像を描画
し、前記動画像及び音声データと同期をとって再生する
ことも可能である。このワイヤーフレーム画像は、各セ
グメントの相対位置座標値を取り込んで描画されるもの
で、各セグメント間を直線で結んだものである。このよ
うなCG画像を表示することで、被験者の動きの観察が
容易になる。
報格納部103に格納された3次元位置座標データをも
とに、図8のような2次元ワイヤーフレーム画像を描画
し、前記動画像及び音声データと同期をとって再生する
ことも可能である。このワイヤーフレーム画像は、各セ
グメントの相対位置座標値を取り込んで描画されるもの
で、各セグメント間を直線で結んだものである。このよ
うなCG画像を表示することで、被験者の動きの観察が
容易になる。
【0027】あるいは、3次元ワイヤーフレームを描画
することも可能であるし、さらには、スケルトンモデル
を予め用意しておき、各ノードの座標値として取り込め
ば、3次元CG画像を動かすことも可能である。本実施
の形態では、このように、動画像や音声のデータと動き
の3次元数値データを統合することでマルチモーダルデ
ータベースを作成し、所望の場面の動画像や音声を再生
しながら同時に人間等の動作に関する数値データを参照
することを可能にする。
することも可能であるし、さらには、スケルトンモデル
を予め用意しておき、各ノードの座標値として取り込め
ば、3次元CG画像を動かすことも可能である。本実施
の形態では、このように、動画像や音声のデータと動き
の3次元数値データを統合することでマルチモーダルデ
ータベースを作成し、所望の場面の動画像や音声を再生
しながら同時に人間等の動作に関する数値データを参照
することを可能にする。
【0028】図9は、本発明の第2実施の形態の基本構
成を示すブロック図で、上記第1実施の形態に加えて、
座標情報及び回転情報の位置情報に基づく被験者の身体
上の各セグメントの動きに対し、うなずき等のイベント
を自動的に抽出するイベント抽出部107を備えた例で
ある。従来、所定の動作をしている人聞等の動きにラベ
ル(タグ)をつけるにあたって、例えばうなずいている
個所をラベル付けするには、動画像をフレーム毎に再生
して、うなずき始めとうなずき終りを見つけていた。し
かし、このような目による観察では、観察者の主観によ
るばらつきが大きく、誤差が生じるのを避けることが難
しかった。また、大きなうなずきや、細かなうなずき
等、うなずきの種類をラベル付けすることが難しかっ
た。
成を示すブロック図で、上記第1実施の形態に加えて、
座標情報及び回転情報の位置情報に基づく被験者の身体
上の各セグメントの動きに対し、うなずき等のイベント
を自動的に抽出するイベント抽出部107を備えた例で
ある。従来、所定の動作をしている人聞等の動きにラベ
ル(タグ)をつけるにあたって、例えばうなずいている
個所をラベル付けするには、動画像をフレーム毎に再生
して、うなずき始めとうなずき終りを見つけていた。し
かし、このような目による観察では、観察者の主観によ
るばらつきが大きく、誤差が生じるのを避けることが難
しかった。また、大きなうなずきや、細かなうなずき
等、うなずきの種類をラベル付けすることが難しかっ
た。
【0029】しかし、第1実施の形態で示したように、
モーションキャプチャシステムにより得られる各セグメ
ントの座標情報を利用すれば、たとえば、着座した人間
のうなずき部分を、セグメント〔Head〕(頭)の動きの
移動量から抽出することが可能になる。そこで、第2実
施の形態では、うなずき等のイベントの生起区間を自動
的に抽出する。
モーションキャプチャシステムにより得られる各セグメ
ントの座標情報を利用すれば、たとえば、着座した人間
のうなずき部分を、セグメント〔Head〕(頭)の動きの
移動量から抽出することが可能になる。そこで、第2実
施の形態では、うなずき等のイベントの生起区間を自動
的に抽出する。
【0030】着座した人間が会話中に行ううなずき動作
を観察してみると、頭を、(1)下上(前後)に動か
す、(2)上下上(後前後)に動かす、(3)上下(後
前)に動かす、(4)下(前)に動かす、(5)下上
(前後)に動かす動作を数回繰り返す、等、様々なパタ
ーンがあるが、共通しているのは頭を上下(後前)方向
に動かす、ということである。具体的には、うなずき時
に頭を下に動かしたときには、y軸のマイナス方向およ
びz軸のプラス方向への移動量が観察され、頭を上に動
かした時には、y軸のブラス方向およびz軸のマイナス
方向への移動量が観察される。一方、x軸方向の移動量
はほとんどない。この特徴を利用して、頭部分のセグメ
ント〔Head〕の位置座標においてx,y,z軸方向の移動
量を調べることにより、y,z軸方向に顕著な移動があ
ればうなずきであるとみなし、うなずき区間を抽出する
ことができる。なお、同じ頭部分の動きについて、「い
いえ」の動作である頭の横振りの場合は、x,z軸方向
に顕著な移動が見られ、迷い等を表わす「かしげ」の動
作の場合は、x,y,z軸方向に顕著な移動が見られる。
を観察してみると、頭を、(1)下上(前後)に動か
す、(2)上下上(後前後)に動かす、(3)上下(後
前)に動かす、(4)下(前)に動かす、(5)下上
(前後)に動かす動作を数回繰り返す、等、様々なパタ
ーンがあるが、共通しているのは頭を上下(後前)方向
に動かす、ということである。具体的には、うなずき時
に頭を下に動かしたときには、y軸のマイナス方向およ
びz軸のプラス方向への移動量が観察され、頭を上に動
かした時には、y軸のブラス方向およびz軸のマイナス
方向への移動量が観察される。一方、x軸方向の移動量
はほとんどない。この特徴を利用して、頭部分のセグメ
ント〔Head〕の位置座標においてx,y,z軸方向の移動
量を調べることにより、y,z軸方向に顕著な移動があ
ればうなずきであるとみなし、うなずき区間を抽出する
ことができる。なお、同じ頭部分の動きについて、「い
いえ」の動作である頭の横振りの場合は、x,z軸方向
に顕著な移動が見られ、迷い等を表わす「かしげ」の動
作の場合は、x,y,z軸方向に顕著な移動が見られる。
【0031】図10乃至図12は、座標情報を使って、
着座した人間の会話中のうなずき動作区間を抽出するこ
とを例にとって、イベント抽出部107の動作を説明す
るフローチャートである。イベント抽出部107では
x,y,z軸それぞれの移動量を並列に調べる。まず、y
軸に対する抽出処理(ステップS100)の説明をす
る。頭の上下方向(y軸方向)の移動量を抽出するため
に、座標情報格納部103に入力されているセグメント
〔Head〕のy軸方向の各フレームの座標値Ty(n)を基
に、y軸座標値の変化率Pty(n) を次式により求める
(S101)。
着座した人間の会話中のうなずき動作区間を抽出するこ
とを例にとって、イベント抽出部107の動作を説明す
るフローチャートである。イベント抽出部107では
x,y,z軸それぞれの移動量を並列に調べる。まず、y
軸に対する抽出処理(ステップS100)の説明をす
る。頭の上下方向(y軸方向)の移動量を抽出するため
に、座標情報格納部103に入力されているセグメント
〔Head〕のy軸方向の各フレームの座標値Ty(n)を基
に、y軸座標値の変化率Pty(n) を次式により求める
(S101)。
【0032】Pty(n)={Ty(n)−Ty(n−1)}/
{n−(n−1)} ここで、nは現フレーム番号である。変化率Pty(n)
がプラスであれば頭は上方向に動いていることを表わ
し、マイナスであれば、下方向に動いていることを示
す。プラスであればS103に移行し、マイナスであれ
ばS110に移行する(S102)。S103では、S
101で抽出された動きが単なる体の揺れ等に伴う微か
な動きではなく、うなずき区間を見つけるために、フレ
ームnでの変化率Pty(n)がある閾値D1(ここでは0.
05)を越えている(Pty(n)>D1)の場合、該当区
間の始点フレーム番号Spty(n) および終点フレーム番
号Epty(n) を求める。
{n−(n−1)} ここで、nは現フレーム番号である。変化率Pty(n)
がプラスであれば頭は上方向に動いていることを表わ
し、マイナスであれば、下方向に動いていることを示
す。プラスであればS103に移行し、マイナスであれ
ばS110に移行する(S102)。S103では、S
101で抽出された動きが単なる体の揺れ等に伴う微か
な動きではなく、うなずき区間を見つけるために、フレ
ームnでの変化率Pty(n)がある閾値D1(ここでは0.
05)を越えている(Pty(n)>D1)の場合、該当区
間の始点フレーム番号Spty(n) および終点フレーム番
号Epty(n) を求める。
【0033】ところで、頭の前後あるいは上下の運動を
伴う動作には、うなずき以外にも、例えばおじぎ等があ
る。一般に、おじぎの動作に伴う時間はうなずきよりも
長い。そこで、おじぎ等の動きではなく、うなずき区間
を抽出するために、S103で抽出された区間のフレー
ム長(Epty(n)−Spty(n))を計算し、その長さが所
定の時間長A1(ここでは20フレーム)を越えない区
間の始点フレーム番号Spty(n) および終点フレーム番
号Epty(n) を求める。同区間では、頭は上方向に動い
ているので、〔Spty(n),Epty(n),upward〕としてS
401へ送る(S104)。
伴う動作には、うなずき以外にも、例えばおじぎ等があ
る。一般に、おじぎの動作に伴う時間はうなずきよりも
長い。そこで、おじぎ等の動きではなく、うなずき区間
を抽出するために、S103で抽出された区間のフレー
ム長(Epty(n)−Spty(n))を計算し、その長さが所
定の時間長A1(ここでは20フレーム)を越えない区
間の始点フレーム番号Spty(n) および終点フレーム番
号Epty(n) を求める。同区間では、頭は上方向に動い
ているので、〔Spty(n),Epty(n),upward〕としてS
401へ送る(S104)。
【0034】一方、S110では、フレームnでの変化
率Pty(n) の絶対値がある閾値D1(ここでは0.0
5)を越えている(|Pty(n)|>D1)場合、該当区
間の始点フレーム番号Spty(n) 及び終点フレーム番号
Epty(n) を求める。さらに、S111では、S110
で抽出された区間のフレーム長(Epty(n)−Spty
(n))を計算し、その長さが所定の時間長A1(ここで
は20フレーム)を越えない区間の始点フレーム番号S
pty(n) 及び終点フレーム番号Epty(n) を求める。同
区間では、頭は下方向に動いているので、〔Spty(n),
Epty(n),downward〕としてS401へ送る。
率Pty(n) の絶対値がある閾値D1(ここでは0.0
5)を越えている(|Pty(n)|>D1)場合、該当区
間の始点フレーム番号Spty(n) 及び終点フレーム番号
Epty(n) を求める。さらに、S111では、S110
で抽出された区間のフレーム長(Epty(n)−Spty
(n))を計算し、その長さが所定の時間長A1(ここで
は20フレーム)を越えない区間の始点フレーム番号S
pty(n) 及び終点フレーム番号Epty(n) を求める。同
区間では、頭は下方向に動いているので、〔Spty(n),
Epty(n),downward〕としてS401へ送る。
【0035】次に、z軸に対する抽出処理(S200)
の説明をする。頭の前後方向(z軸方向)の移動量を抽
出するために、座標情報格納部103に入力されている
セグメント〔Head〕のz軸方向の各フレームの座標値T
z(n)を基に、z軸座標値の変化率Ptz(n) を次式によ
り求める(S201)。 Ptz(n)={Tz(n)−Tz(n−1)}/{n−(n−
1)} ここで、nは現フレーム番号である。変化率Ptz(n)
がプラスであれば頭は前方向に動いていることを表わ
し、マイナスであれば、後ろ方向に動いていることを示
す。プラスであればS203に移行し、マイナスであれ
ばS210に移行する(S202)。
の説明をする。頭の前後方向(z軸方向)の移動量を抽
出するために、座標情報格納部103に入力されている
セグメント〔Head〕のz軸方向の各フレームの座標値T
z(n)を基に、z軸座標値の変化率Ptz(n) を次式によ
り求める(S201)。 Ptz(n)={Tz(n)−Tz(n−1)}/{n−(n−
1)} ここで、nは現フレーム番号である。変化率Ptz(n)
がプラスであれば頭は前方向に動いていることを表わ
し、マイナスであれば、後ろ方向に動いていることを示
す。プラスであればS203に移行し、マイナスであれ
ばS210に移行する(S202)。
【0036】S203では、うなずき区間を抽出するた
めに、フレームnでの変化率Ptz(n) がある閾値D2
(ここでは0.05)を越えている(Ptz(n)>D2)区
間の始点フレーム番号Sptz(n) 及び終点フレーム番号
Eptz(n) を求める。さらに、おじぎ等と区別するため
に、S203で抽出された区間のフレーム長(Eptz
(n)−Sptz(n))を計算し、その長さが所定の時間長
A2(ここでは20フレーム)を越えない区間の始点フ
レーム番号Sptz(n) および終点フレーム番号Eptz
(n) を求める。同区間では、頭は前方向に動いている
ので、〔Sptz(n),Eptz(n),forward〕としてS40
1へ送る(S204)。
めに、フレームnでの変化率Ptz(n) がある閾値D2
(ここでは0.05)を越えている(Ptz(n)>D2)区
間の始点フレーム番号Sptz(n) 及び終点フレーム番号
Eptz(n) を求める。さらに、おじぎ等と区別するため
に、S203で抽出された区間のフレーム長(Eptz
(n)−Sptz(n))を計算し、その長さが所定の時間長
A2(ここでは20フレーム)を越えない区間の始点フ
レーム番号Sptz(n) および終点フレーム番号Eptz
(n) を求める。同区間では、頭は前方向に動いている
ので、〔Sptz(n),Eptz(n),forward〕としてS40
1へ送る(S204)。
【0037】一方、S210では、フレームnでの変化
率Ptz(n) の絶対値がある閾値D2(ここでは0.0
5)を越えている (|Ptz(n)|>D2)場合、該当区
間の始点フレーム番号Sptz(n) 及び終点フレーム番号
Eptz(n) を求める。さらに、S211では、S210
で抽出された区間のフレーム長(Eptz(n)−Sptz
(n))を計算し、その長さが所定の時間長A2(ここで
は20フレーム)を越えない区間の始点フレーム番号S
ptz(n) 及び終点フレーム番号Eptz(n) を求める。同
区間では、頭は後ろ方向に動いているので、〔Sptz
(n),Eptz(n),backward〕としてS401へ送る。
率Ptz(n) の絶対値がある閾値D2(ここでは0.0
5)を越えている (|Ptz(n)|>D2)場合、該当区
間の始点フレーム番号Sptz(n) 及び終点フレーム番号
Eptz(n) を求める。さらに、S211では、S210
で抽出された区間のフレーム長(Eptz(n)−Sptz
(n))を計算し、その長さが所定の時間長A2(ここで
は20フレーム)を越えない区間の始点フレーム番号S
ptz(n) 及び終点フレーム番号Eptz(n) を求める。同
区間では、頭は後ろ方向に動いているので、〔Sptz
(n),Eptz(n),backward〕としてS401へ送る。
【0038】次に、x軸に対する抽出処理(S300)
の説明をする。座標情報格納部103に入力されている
セグメント〔Head〕のx軸方向の各フレームの座標値T
x(n) を基に、x軸座標値の変化率Ptx(n) を次式に
より求める(S301)。 Ptx(n)={Tx(n)−Tx(n−1)}/{n−(n−
1)} ここで、nは現フレーム番号である。変化率Ptx(n)
がプラスであれば頭は左方向に動いていることを表わ
し、マイナスであれば、右方向に動いていることを示
す。プラスであればS303に移行し、マイナスであれ
ばS310に移行する(S302)。
の説明をする。座標情報格納部103に入力されている
セグメント〔Head〕のx軸方向の各フレームの座標値T
x(n) を基に、x軸座標値の変化率Ptx(n) を次式に
より求める(S301)。 Ptx(n)={Tx(n)−Tx(n−1)}/{n−(n−
1)} ここで、nは現フレーム番号である。変化率Ptx(n)
がプラスであれば頭は左方向に動いていることを表わ
し、マイナスであれば、右方向に動いていることを示
す。プラスであればS303に移行し、マイナスであれ
ばS310に移行する(S302)。
【0039】S303では、うなずき区間を抽出するた
めに、フレームnでの変化率Pty(n) がある閾値D3
(ここでは0.05)を越えている(Ptx(n)>D3)区
間の始点フレーム番号Sptx(n) 及び終点フレーム番号
Eptx(n) を求める。なお、うなずき動作の場合は、x
軸方向での顕著な移動は見られないので、|Ptx(n)
|<D3、となり、抽出されない。S304では、S3
02で抽出された区間のフレーム長(Eptx(n)−Sptx
(n))を計算し、その長さが所定の時間長A3(ここで
は20フレーム)を越えない区間の始点フレーム番号S
ptx(n) 及び終点フレーム番号Eptx(n) を求める。同
区間では、頭は左方向に動いているので、〔Sptx(n),
Eptx(n),leftward〕としてS401へ送る。
めに、フレームnでの変化率Pty(n) がある閾値D3
(ここでは0.05)を越えている(Ptx(n)>D3)区
間の始点フレーム番号Sptx(n) 及び終点フレーム番号
Eptx(n) を求める。なお、うなずき動作の場合は、x
軸方向での顕著な移動は見られないので、|Ptx(n)
|<D3、となり、抽出されない。S304では、S3
02で抽出された区間のフレーム長(Eptx(n)−Sptx
(n))を計算し、その長さが所定の時間長A3(ここで
は20フレーム)を越えない区間の始点フレーム番号S
ptx(n) 及び終点フレーム番号Eptx(n) を求める。同
区間では、頭は左方向に動いているので、〔Sptx(n),
Eptx(n),leftward〕としてS401へ送る。
【0040】一方、S310では、フレームnでの変化
率Ptx(n) の絶対値がある閾値D3(ここでは0.0
5)を越えている(|Ptx(n)|>D3)場合、該当区
間の始点フレーム番号Sptx(n) 及び終点フレーム番号
Eptx(n) を求める。さらに、S311では、S310
で抽出された区間のフレーム長(Eptx(n)−Sptx
(n))を計算し、その長さが所定の時間長A3(ここで
は20フレーム)を越えない区間の始点フレーム番号S
ptx(n) 及び終点フレーム番号Eptx(n) を求める。同
区間では、頭は右方向に動いているので、〔Sptx(n),
Eptx(n),rightward〕としてS401へ送る。
率Ptx(n) の絶対値がある閾値D3(ここでは0.0
5)を越えている(|Ptx(n)|>D3)場合、該当区
間の始点フレーム番号Sptx(n) 及び終点フレーム番号
Eptx(n) を求める。さらに、S311では、S310
で抽出された区間のフレーム長(Eptx(n)−Sptx
(n))を計算し、その長さが所定の時間長A3(ここで
は20フレーム)を越えない区間の始点フレーム番号S
ptx(n) 及び終点フレーム番号Eptx(n) を求める。同
区間では、頭は右方向に動いているので、〔Sptx(n),
Eptx(n),rightward〕としてS401へ送る。
【0041】S401では、S104、S204、S3
04で得られたフレーム区間を基に、(x,y,z)軸方
向のイベント抽出結果が、(0,upward,backward)とな
る区間を、上(後ろ)方向のうなずき区間〔Head_up〕
と判断して、始点フレーム番号Spt(n) と終点フレー
ム番号Ept(n) を求め、イベント名〔up〕と共に、イ
ベント情報格納部102に送る。また、(0,downward,
forward)となる区間を、下(前)方向のうなずき区間
〔Head_down〕と判断して、始点フレーム番号Spt(n)
と終点フレーム番号Ept(n) を求め、イベント名〔do
wn〕と共に、イベント情報格納部102に入力して当該
処理を終了する(S401)。
04で得られたフレーム区間を基に、(x,y,z)軸方
向のイベント抽出結果が、(0,upward,backward)とな
る区間を、上(後ろ)方向のうなずき区間〔Head_up〕
と判断して、始点フレーム番号Spt(n) と終点フレー
ム番号Ept(n) を求め、イベント名〔up〕と共に、イ
ベント情報格納部102に送る。また、(0,downward,
forward)となる区間を、下(前)方向のうなずき区間
〔Head_down〕と判断して、始点フレーム番号Spt(n)
と終点フレーム番号Ept(n) を求め、イベント名〔do
wn〕と共に、イベント情報格納部102に入力して当該
処理を終了する(S401)。
【0042】図13は、ディスプレイ34に表示され
る、統合部105において生成されたマルチモーダルデ
ータベースのラベル付けに係る画面構成図である。イベ
ント抽出部107で抽出されたイベント生起区間は、イ
ベント情報格納部102のファイル(図4)に入力さ
れ、統合部105に送られて、マルチモーダルデータベ
ースのラベル付けに係る画面のイベント情報ウインドウ
40に表示される。たとえば、区間87では、所定の時
間長Aを越えない間、y軸方向にマイナス、z軸方向に
プラスに頭が動いており、かつx軸方向への移動量が閾
値Dに達していないので、下(前)方向に頭が動いてい
ると判断されて、〔Head_down〕として抽出されている
(区間44)。また、区間88では、所定の時間長Aを
越えない間、y軸方向にプラス、z軸方向にマイナスに
頭が動いていて、かつx軸方向への移動量が閾値Dに達
していないので、上(後ろ)方向に頭が動いてると判断
されて〔Head_up〕として抽出されている(区間4
5)。
る、統合部105において生成されたマルチモーダルデ
ータベースのラベル付けに係る画面構成図である。イベ
ント抽出部107で抽出されたイベント生起区間は、イ
ベント情報格納部102のファイル(図4)に入力さ
れ、統合部105に送られて、マルチモーダルデータベ
ースのラベル付けに係る画面のイベント情報ウインドウ
40に表示される。たとえば、区間87では、所定の時
間長Aを越えない間、y軸方向にマイナス、z軸方向に
プラスに頭が動いており、かつx軸方向への移動量が閾
値Dに達していないので、下(前)方向に頭が動いてい
ると判断されて、〔Head_down〕として抽出されている
(区間44)。また、区間88では、所定の時間長Aを
越えない間、y軸方向にプラス、z軸方向にマイナスに
頭が動いていて、かつx軸方向への移動量が閾値Dに達
していないので、上(後ろ)方向に頭が動いてると判断
されて〔Head_up〕として抽出されている(区間4
5)。
【0043】この自動的に付されたラベルを基に、たと
えば、区間44の〔Head_down〕と区間45の〔Head_
up〕を合わせてうなずき区間〔unazuki〕としてラベル
付けすることが可能となる(区間46)。また、区間4
6のうなずきは、〔Head_down〕と〔Head_up〕から構
成されるうなずき〔unazuki〕であるのに対し、区間4
7では、〔Head_up〕と〔Head_down〕の動きから構成
されるうなずき〔unazuki〕であることもわかる。この
ように、これまでビデオをフレーム毎に再生しながら手
作業で行ってきたラベル付けの作業を、自動的に容易に
行えるようになる。
えば、区間44の〔Head_down〕と区間45の〔Head_
up〕を合わせてうなずき区間〔unazuki〕としてラベル
付けすることが可能となる(区間46)。また、区間4
6のうなずきは、〔Head_down〕と〔Head_up〕から構
成されるうなずき〔unazuki〕であるのに対し、区間4
7では、〔Head_up〕と〔Head_down〕の動きから構成
されるうなずき〔unazuki〕であることもわかる。この
ように、これまでビデオをフレーム毎に再生しながら手
作業で行ってきたラベル付けの作業を、自動的に容易に
行えるようになる。
【0044】なお、ここでは、移動量がある閾値を越え
る区間をうなずき区間として抽出しているが、うなずき
には大小あり、その程度は連続的なものである。そこ
で、セグメント〔Head〕の移動量t(x,y,z) を抽出
する関数fthを設定し、うなずき程度に応じてたラベル
つけをするようにしてもよい。また、ここではセグメン
ト〔Head〕の動きからうなずき区間を抽出したが、例え
ば、セグメント〔UpperTorso〕など、他のセグメントの
動きとの相互関係からうなずき区間を抽出することもで
きる。また、本実施例では、うなずき区間を抽出する例
を述べたが、手の動きや体の動きなど、人間が対話中な
どに行うさまざまな動きのイベント情報を抽出すること
ができる。
る区間をうなずき区間として抽出しているが、うなずき
には大小あり、その程度は連続的なものである。そこ
で、セグメント〔Head〕の移動量t(x,y,z) を抽出
する関数fthを設定し、うなずき程度に応じてたラベル
つけをするようにしてもよい。また、ここではセグメン
ト〔Head〕の動きからうなずき区間を抽出したが、例え
ば、セグメント〔UpperTorso〕など、他のセグメントの
動きとの相互関係からうなずき区間を抽出することもで
きる。また、本実施例では、うなずき区間を抽出する例
を述べたが、手の動きや体の動きなど、人間が対話中な
どに行うさまざまな動きのイベント情報を抽出すること
ができる。
【0045】うなずき等のイベント発生区間の自動抽出
は、同様に、各セグメントの回転情報(回転角)を利用
して行うことも可能である(第3実施の形態)。すなわ
ち、第2実施の形態のイベント抽出部107において、
回転情報に基づいて、前記被験者の身体上の各セグメン
トの動きに対し、うなずき等のイベントを自動的に抽出
する。着座した人間が会話中に行ううなずき動作の場
合、下(前)方向の動きは、セグメント〔Head〕がx軸
の回りにプラス方向に回転することであり、上(後ろ)
方向の動きは、x軸の回りにマイナス方向に回転するこ
とであると見なせる。従って、回転情報格納部104に
入力されているセグメント〔Head〕のx軸方向フレーム
の回転情報を基に、うなずきの区間を抽出することがで
きる。
は、同様に、各セグメントの回転情報(回転角)を利用
して行うことも可能である(第3実施の形態)。すなわ
ち、第2実施の形態のイベント抽出部107において、
回転情報に基づいて、前記被験者の身体上の各セグメン
トの動きに対し、うなずき等のイベントを自動的に抽出
する。着座した人間が会話中に行ううなずき動作の場
合、下(前)方向の動きは、セグメント〔Head〕がx軸
の回りにプラス方向に回転することであり、上(後ろ)
方向の動きは、x軸の回りにマイナス方向に回転するこ
とであると見なせる。従って、回転情報格納部104に
入力されているセグメント〔Head〕のx軸方向フレーム
の回転情報を基に、うなずきの区間を抽出することがで
きる。
【0046】図13には、この第3実施の形態も示し、
該図において、区間94では、所定の時間長Aを越えな
い間、所定の閾値Dを越える角度でx軸の回りに、プラ
ス方向に頭が動いているので、下(前)方向に頭が動い
ていると判断されて〔Head_down〕として抽出される
(区間44)。また、区間95では、所定の時間長Aを
越えない間、所定の閾値Dを越える角度でx軸回りにマ
イナスに頭が動いているので、上(後ろ)方向に頭が動
いていると判断されて〔Head_up〕として抽出される
(区間45)。
該図において、区間94では、所定の時間長Aを越えな
い間、所定の閾値Dを越える角度でx軸の回りに、プラ
ス方向に頭が動いているので、下(前)方向に頭が動い
ていると判断されて〔Head_down〕として抽出される
(区間44)。また、区間95では、所定の時間長Aを
越えない間、所定の閾値Dを越える角度でx軸回りにマ
イナスに頭が動いているので、上(後ろ)方向に頭が動
いていると判断されて〔Head_up〕として抽出される
(区間45)。
【0047】このように、回転情報を利用して、うなず
き等のイベント情報を自動的に行えるようになる。な
お、本実施例においては、回転角がある閾値を越える区
間をうなずき区間として抽出しているが、セグメント
〔Head〕の回転角r(x,y,z) を抽出する関数frhを
設定し、うなずき程度に応じたラベルつけをするように
してもよい。また、ここではセグメント〔Head〕の回転
角からうなずき区間を抽出したが、例えば、セグメント
〔UpperTorso〕など、他のセグメントの回転角との相互
関係からうなずき区間を抽出することもできる。また、
本実施例では、うなずき区間を抽出する例を述べたが、
手の動きや体の動きなど、人間が対話中などに行うさま
ざまな動きのイベント情報を抽出することができる。
き等のイベント情報を自動的に行えるようになる。な
お、本実施例においては、回転角がある閾値を越える区
間をうなずき区間として抽出しているが、セグメント
〔Head〕の回転角r(x,y,z) を抽出する関数frhを
設定し、うなずき程度に応じたラベルつけをするように
してもよい。また、ここではセグメント〔Head〕の回転
角からうなずき区間を抽出したが、例えば、セグメント
〔UpperTorso〕など、他のセグメントの回転角との相互
関係からうなずき区間を抽出することもできる。また、
本実施例では、うなずき区間を抽出する例を述べたが、
手の動きや体の動きなど、人間が対話中などに行うさま
ざまな動きのイベント情報を抽出することができる。
【0048】図14は、本発明の第4実施の形態の基本
構成を示すブロック図で、第1実施の形態に加えて、前
記座標情報に基づいて算出された、各セグメントのある
一定のフレーム毎(たとえば10フレーム毎)の速度を
格納する速度情報格納部108と、加速度を格納する加
速度情報格納部109を備えている。この速度又は加速
度情報に基づいて、被験者の身体上の各セグメントの動
きに対し、うなずきや手の動き等のイベントをその強度
に応じて自動的にラベルを付すイベント強度抽出部11
0を備えている。
構成を示すブロック図で、第1実施の形態に加えて、前
記座標情報に基づいて算出された、各セグメントのある
一定のフレーム毎(たとえば10フレーム毎)の速度を
格納する速度情報格納部108と、加速度を格納する加
速度情報格納部109を備えている。この速度又は加速
度情報に基づいて、被験者の身体上の各セグメントの動
きに対し、うなずきや手の動き等のイベントをその強度
に応じて自動的にラベルを付すイベント強度抽出部11
0を備えている。
【0049】所定の動作をしている人間等の動きを解析
するには、その移動量だけでなく、速度や加速度といっ
た運動量も重要な情報である。うなずき動作を例にとる
と、同じ時間長を持つうなずきでも、大きな頭の上下運
動を伴ううなずきや、細かな上下運動が複数回繰り返さ
れるうなずきなど、様々なパターンがある。また、会話
がさらにのってくると、手や体の各セグメントの動きが
活発になってくる。このような動きの変化は会話の乗り
や退屈等の感情と深く関わりがある。そこで、本実施の
形態では、速度や加速度を利用して、うなずきや手の動
き等、人間等の動きの強度に対し、自動的なラベル付け
を可能にする。まず、速度は、時刻tにおける位置を座
標値x(t),y(t),z(t) とすると、(x(t),y
(t),z(t))を時間微分した次式で求めることができ
る。
するには、その移動量だけでなく、速度や加速度といっ
た運動量も重要な情報である。うなずき動作を例にとる
と、同じ時間長を持つうなずきでも、大きな頭の上下運
動を伴ううなずきや、細かな上下運動が複数回繰り返さ
れるうなずきなど、様々なパターンがある。また、会話
がさらにのってくると、手や体の各セグメントの動きが
活発になってくる。このような動きの変化は会話の乗り
や退屈等の感情と深く関わりがある。そこで、本実施の
形態では、速度や加速度を利用して、うなずきや手の動
き等、人間等の動きの強度に対し、自動的なラベル付け
を可能にする。まず、速度は、時刻tにおける位置を座
標値x(t),y(t),z(t) とすると、(x(t),y
(t),z(t))を時間微分した次式で求めることができ
る。
【0050】 (u,v,w)≡(dx/dt,dy/dt,dz/dt) また、加速度は、速度を微分、すなわち位置を2階微分
することにより、求めることができる。 (u',v',w')≡(d2x/dt2,d2y/dt2,d2z/
dt2) このようにして求めた速度情報および加速度情報は、統
合部105において、データベース101に格納された
動画像と音声、また、イベント情報格納部102に格納
されたイベント情報と統合されてマルチモーダルデータ
ベースが生成される。
することにより、求めることができる。 (u',v',w')≡(d2x/dt2,d2y/dt2,d2z/
dt2) このようにして求めた速度情報および加速度情報は、統
合部105において、データベース101に格納された
動画像と音声、また、イベント情報格納部102に格納
されたイベント情報と統合されてマルチモーダルデータ
ベースが生成される。
【0051】なお、さらに座標情報格納部103および
回転情報格納部104に格納された座標情報、回転情報
と統合することにより、角速度、角加速度を求め、利用
してもよい。着座した状態で、たとえば会話がはずんで
くると、頭や手、肩や肘部分など、各セグメントの動き
が激しくなると予想される。そのような区間を抽出する
には、各セグメントの速度又は加速度がそれぞれ一定の
閾値を越えている区間を見つければ良い。イベント強度
抽出部110では、前記速度情報格納部108又は前記
加速度情報格納部109に入力されている各セグメント
のフレーム毎の速度情報又は加速度情報を基に、各セグ
メント毎に予め設定した閾値を越えるフレーム区間を身
体の動きの激しい区間すなわち会話がはずんで感情が高
ぶっている区間として抽出する。
回転情報格納部104に格納された座標情報、回転情報
と統合することにより、角速度、角加速度を求め、利用
してもよい。着座した状態で、たとえば会話がはずんで
くると、頭や手、肩や肘部分など、各セグメントの動き
が激しくなると予想される。そのような区間を抽出する
には、各セグメントの速度又は加速度がそれぞれ一定の
閾値を越えている区間を見つければ良い。イベント強度
抽出部110では、前記速度情報格納部108又は前記
加速度情報格納部109に入力されている各セグメント
のフレーム毎の速度情報又は加速度情報を基に、各セグ
メント毎に予め設定した閾値を越えるフレーム区間を身
体の動きの激しい区間すなわち会話がはずんで感情が高
ぶっている区間として抽出する。
【0052】あるいは、話題が途切れて退屈してくる
と、各セグメントの動きが鈍くなると予想される。その
ような区間を抽出するには、各セグメントの速度又は加
速度がそれぞれ一定の閾値を越えない区間を見つければ
良い。このような身体の動きをとらえることにより、た
とえば会話がのっているとか、退屈している、といった
感情に関するラベル付けも自動的に容易に行えるように
なる。
と、各セグメントの動きが鈍くなると予想される。その
ような区間を抽出するには、各セグメントの速度又は加
速度がそれぞれ一定の閾値を越えない区間を見つければ
良い。このような身体の動きをとらえることにより、た
とえば会話がのっているとか、退屈している、といった
感情に関するラベル付けも自動的に容易に行えるように
なる。
【0053】本実施例では、動きの速度又は加速度があ
る閾値を越える区間を動きが激しい区間、越えない区間
を動きが緩やかな区間としてカテゴリ分けしているが、
動きの強度は連続的なものである。そこで、例えばセグ
メント〔Head〕の速度又は加速度v(x,y,z) を抽出
する関数fvhを設定し、動きの強度に応じたラベルつけ
をするようにしてもよい。これにより動きがだんだん緩
やかになる区間や急激な変化の見られる区間等を抽出で
きるようになる。また、単一のセグメントの動きからだ
けでなく、複数のセグメントの動きの相互関係から、動
きの強度に応じてイベント情報を抽出することもでき
る。なお、本発明は上記実施の形態に限定されるもので
はない。
る閾値を越える区間を動きが激しい区間、越えない区間
を動きが緩やかな区間としてカテゴリ分けしているが、
動きの強度は連続的なものである。そこで、例えばセグ
メント〔Head〕の速度又は加速度v(x,y,z) を抽出
する関数fvhを設定し、動きの強度に応じたラベルつけ
をするようにしてもよい。これにより動きがだんだん緩
やかになる区間や急激な変化の見られる区間等を抽出で
きるようになる。また、単一のセグメントの動きからだ
けでなく、複数のセグメントの動きの相互関係から、動
きの強度に応じてイベント情報を抽出することもでき
る。なお、本発明は上記実施の形態に限定されるもので
はない。
【0054】以上説明したデータベース作成装置は、こ
のデータベース作成装置を機能させるためのプログラム
でも実現される。このプログラムはコンピュータで読み
取り可能な記録媒体に格納されている。本発明では、こ
の記録媒体として、図2に示されているディスク装置3
2がプログラムメディアであってもよいし、また外部記
憶装置として図示されていない光磁気ディスク装置等の
プログラム読み取り装置が設けられ、そこに記録媒体を
挿入することで読み取り可能な光磁気ディスク等のプロ
グラムメディアであってもよい。いずれの場合において
も、格納されているプログラムはコンピュータ本体31
がアクセスして実行させる構成であってもよいし、ある
いはいずれの場合もプログラムを読み出し、読み出され
たプログラムは、図示されていないプログラム記憶エリ
アにダウンロードされて、そのプログラムが実行される
方式であってもよい。このダウンロード用のプログラム
は予めディスク装置32等に格納されているものとす
る。
のデータベース作成装置を機能させるためのプログラム
でも実現される。このプログラムはコンピュータで読み
取り可能な記録媒体に格納されている。本発明では、こ
の記録媒体として、図2に示されているディスク装置3
2がプログラムメディアであってもよいし、また外部記
憶装置として図示されていない光磁気ディスク装置等の
プログラム読み取り装置が設けられ、そこに記録媒体を
挿入することで読み取り可能な光磁気ディスク等のプロ
グラムメディアであってもよい。いずれの場合において
も、格納されているプログラムはコンピュータ本体31
がアクセスして実行させる構成であってもよいし、ある
いはいずれの場合もプログラムを読み出し、読み出され
たプログラムは、図示されていないプログラム記憶エリ
アにダウンロードされて、そのプログラムが実行される
方式であってもよい。このダウンロード用のプログラム
は予めディスク装置32等に格納されているものとす
る。
【0055】ここで、上記プログラムメディアは、コン
ピュータ本体31と分離可能に構成される記録媒体でよ
く、磁気テープやカセットテープ等のテープ系、フロッ
ピーディスクやハードディスク等の磁気ディスクやCD
−ROM/MO/MD/DVD等の光ディスクのディス
ク系、ICカード/光カード等のカード系、あるいはマ
スクROM、EPROM、EEPROM、フラッシュR
OM等による半導体メモリを含めた固定的にプログラム
を担持する媒体であってもよい。
ピュータ本体31と分離可能に構成される記録媒体でよ
く、磁気テープやカセットテープ等のテープ系、フロッ
ピーディスクやハードディスク等の磁気ディスクやCD
−ROM/MO/MD/DVD等の光ディスクのディス
ク系、ICカード/光カード等のカード系、あるいはマ
スクROM、EPROM、EEPROM、フラッシュR
OM等による半導体メモリを含めた固定的にプログラム
を担持する媒体であってもよい。
【0056】さらに、図示されていないが、外部の通信
ネットワークとの接続が可能な手段を備えている場合に
は、その通信接続手段を介して通信ネットワークからプ
ログラムをダウンロードするように、流動的にプログラ
ムを担持する媒体であってもよい。なお、このように通
信ネットワークからプログラムをダウンロードする場合
には、そのダウンロード用プログラムは予めディスク装
置32に格納しておくか、あるいは別な記録媒体からイ
ンストールされるものであってもよい。なお、記録媒体
に格納されている内容としてはプログラムに限定され
ず、データであってもよい。
ネットワークとの接続が可能な手段を備えている場合に
は、その通信接続手段を介して通信ネットワークからプ
ログラムをダウンロードするように、流動的にプログラ
ムを担持する媒体であってもよい。なお、このように通
信ネットワークからプログラムをダウンロードする場合
には、そのダウンロード用プログラムは予めディスク装
置32に格納しておくか、あるいは別な記録媒体からイ
ンストールされるものであってもよい。なお、記録媒体
に格納されている内容としてはプログラムに限定され
ず、データであってもよい。
【0057】
【発明の効果】以上、詳述したように、本発明によれ
ば、被写体の動画像と共に被写体の各部の位置情報を格
納するので、作成したデータベースにより動画像を再生
しながら被写体の動作に関する数値データを参照するこ
とができると共に、イベント生起区間を抽出し、イベン
ト情報を格納することができる。
ば、被写体の動画像と共に被写体の各部の位置情報を格
納するので、作成したデータベースにより動画像を再生
しながら被写体の動作に関する数値データを参照するこ
とができると共に、イベント生起区間を抽出し、イベン
ト情報を格納することができる。
【図1】本発明の第1実施の形態の基本構成を示すブロ
ック図である。
ック図である。
【図2】第1実施の形態の具体的なシステム構成図であ
る。
る。
【図3】(a)はモーションキャプチャシステムにおい
て、被験者の身体上に装着するマーカ位置を示す図、
(b)は(a)のマーカ位置を基に設定された人間の骨
格を表わすスケルトンの各セグメント位置を表わす図で
ある。
て、被験者の身体上に装着するマーカ位置を示す図、
(b)は(a)のマーカ位置を基に設定された人間の骨
格を表わすスケルトンの各セグメント位置を表わす図で
ある。
【図4】データベースに格納されている動画像や音声の
データについて、イベント情報にラベル付けをした例を
示す図である。
データについて、イベント情報にラベル付けをした例を
示す図である。
【図5】座標情報格納部のファイルの例を示す図であ
る。
る。
【図6】回転情報格納部のファイルの例を示す図であ
る。
る。
【図7】統合部において生成されたマルチモーダルデー
タベースのラベル付けに係る画面構成図である。
タベースのラベル付けに係る画面構成図である。
【図8】座標情報格納部に格納された3次元位置座標デ
ータをもとに描画された2次元ワイヤーフレーム画像の
例である。
ータをもとに描画された2次元ワイヤーフレーム画像の
例である。
【図9】第2実施の形態の基本構成を示すブロック図で
ある。
ある。
【図10】イベント抽出部の動作を説明するフローチャ
ート(その1)である。
ート(その1)である。
【図11】イベント抽出部の動作を説明するフローチャ
ート(その2)である。
ート(その2)である。
【図12】イベント抽出部の動作を説明するフローチャ
ート(その3)である。
ート(その3)である。
【図13】第3実施の形態における統合部において生成
されたマルチモーダルデータベースのラベル付けに係る
画面構成図である。
されたマルチモーダルデータベースのラベル付けに係る
画面構成図である。
【図14】本発明の第4実施の形態の基本構成を示すブ
ロック図である。
ロック図である。
100、200 被験者 101 データベース 102 イベント情報格納部 103 座標情報格納部 104 回転情報格納部 105 統合部 106 出力部 107 イベント抽出部 108 速度情報格納部 109 加速度情報格納部 110 イベント強度抽出部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B050 BA09 BA10 DA01 EA24 EA28 FA02 FA10 GA08 5B075 ND12 NK02 NK10 NR05 PP03 PQ02 5C052 AA03 AB04 AC08 CC01 DD10 EE10 5L096 AA09 CA05 GA34 HA02 9A001 BB03 EZ05 HH29 HH30 JJ01 KK54
Claims (5)
- 【請求項1】 動画像をフレーム毎に格納する動画像格
納手段と、 被写体の1以上の所定の部分の位置情報をフレーム毎に
格納する位置情報格納手段と、 前記動画像格納手段によって格納される動画像について
のイベント情報を格納するイベント情報格納手段と、を
備えることを特徴とするデータベース作成装置。 - 【請求項2】 前記位置情報に基づいて前記イベント情
報を抽出するイベント抽出手段を備えることを特徴とす
る請求項1記載のデータベース作成装置。 - 【請求項3】 前記位置情報格納手段が格納する位置情
報には、3次元座標及び3次元回転角が含まれることを
特徴とする請求項1又は2記載のデータベース作成装
置。 - 【請求項4】 前記イベント抽出手段は、前記位置情報
から求めた速度又は加速度に基づいてイベント情報を抽
出することを特徴とする請求項2又は3記載のデータベ
ース作成装置。 - 【請求項5】 コンピュータを、 動画像をフレーム毎に格納する動画像格納手段と、 被写体の1以上の所定の部分の位置情報をフレーム毎に
格納する位置情報格納手段と、 前記動画像格納手段によって格納される動画像について
のイベント情報を格納するイベント情報格納手段として
機能させるためのデータベース作成プログラムを記録し
たことを特徴とするコンピュータ読み取り可能な記録媒
体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11125991A JP2000315259A (ja) | 1999-05-06 | 1999-05-06 | データベース作成装置及びデータベース作成プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11125991A JP2000315259A (ja) | 1999-05-06 | 1999-05-06 | データベース作成装置及びデータベース作成プログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000315259A true JP2000315259A (ja) | 2000-11-14 |
Family
ID=14924030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11125991A Pending JP2000315259A (ja) | 1999-05-06 | 1999-05-06 | データベース作成装置及びデータベース作成プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000315259A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366958A (ja) * | 2001-06-08 | 2002-12-20 | Toshiba Corp | 画像認識方法および画像認識装置 |
KR100508761B1 (ko) * | 2002-10-24 | 2005-08-17 | 이일병 | 모션캡쳐데이터 마크업언어의 설계 방법 및 장치 |
JP2006514366A (ja) * | 2003-02-11 | 2006-04-27 | 株式会社ソニー・コンピュータエンタテインメント | リアルタイムのモーション・キャプチャ方法および装置 |
JP2008046801A (ja) * | 2006-08-14 | 2008-02-28 | Advanced Telecommunication Research Institute International | 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム |
JP2008197598A (ja) * | 2007-02-16 | 2008-08-28 | Denso It Laboratory Inc | ドライブ情報の知識化システム、方法、プログラム |
JP2016092512A (ja) * | 2014-10-31 | 2016-05-23 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置、画像生成方法および較正方法 |
JP2017535830A (ja) * | 2014-08-29 | 2017-11-30 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | ジェスチャー解析のための時間的セグメンテーションの方法及びシステム |
WO2020166372A1 (ja) * | 2019-02-15 | 2020-08-20 | ソニー株式会社 | データ処理装置、表示制御方法 |
US11093735B2 (en) | 2017-01-20 | 2021-08-17 | Fujitsu Limited | Image processing method, image processing apparatus, and non-transitory computer-readable storage medium storing program for image processing having gesture recognition |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07253986A (ja) * | 1994-03-15 | 1995-10-03 | Sharp Corp | 音声及び動画の検索装置 |
JPH10261090A (ja) * | 1997-03-19 | 1998-09-29 | Tokyo Electric Power Co Inc:The | モーションキャプチャシステム |
JPH1186005A (ja) * | 1997-09-08 | 1999-03-30 | Nissan Motor Co Ltd | 動作検出装置 |
-
1999
- 1999-05-06 JP JP11125991A patent/JP2000315259A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07253986A (ja) * | 1994-03-15 | 1995-10-03 | Sharp Corp | 音声及び動画の検索装置 |
JPH10261090A (ja) * | 1997-03-19 | 1998-09-29 | Tokyo Electric Power Co Inc:The | モーションキャプチャシステム |
JPH1186005A (ja) * | 1997-09-08 | 1999-03-30 | Nissan Motor Co Ltd | 動作検出装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366958A (ja) * | 2001-06-08 | 2002-12-20 | Toshiba Corp | 画像認識方法および画像認識装置 |
KR100508761B1 (ko) * | 2002-10-24 | 2005-08-17 | 이일병 | 모션캡쳐데이터 마크업언어의 설계 방법 및 장치 |
JP2006514366A (ja) * | 2003-02-11 | 2006-04-27 | 株式会社ソニー・コンピュータエンタテインメント | リアルタイムのモーション・キャプチャ方法および装置 |
JP4723863B2 (ja) * | 2003-02-11 | 2011-07-13 | 株式会社ソニー・コンピュータエンタテインメント | リアルタイムのモーション・キャプチャ方法および装置 |
JP2008046801A (ja) * | 2006-08-14 | 2008-02-28 | Advanced Telecommunication Research Institute International | 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム |
JP2008197598A (ja) * | 2007-02-16 | 2008-08-28 | Denso It Laboratory Inc | ドライブ情報の知識化システム、方法、プログラム |
JP2017535830A (ja) * | 2014-08-29 | 2017-11-30 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | ジェスチャー解析のための時間的セグメンテーションの方法及びシステム |
JP2016092512A (ja) * | 2014-10-31 | 2016-05-23 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置、画像生成方法および較正方法 |
US10362297B2 (en) | 2014-10-31 | 2019-07-23 | Sony Interactive Entertainment Inc. | Image generation apparatus, image generation method, and calibration method |
US11093735B2 (en) | 2017-01-20 | 2021-08-17 | Fujitsu Limited | Image processing method, image processing apparatus, and non-transitory computer-readable storage medium storing program for image processing having gesture recognition |
WO2020166372A1 (ja) * | 2019-02-15 | 2020-08-20 | ソニー株式会社 | データ処理装置、表示制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110785735B (zh) | 用于语音命令情景的装置和方法 | |
EP2996016B1 (en) | Information processing device and application execution method | |
CN109637518A (zh) | 虚拟主播实现方法及装置 | |
US7262788B2 (en) | Conference support system, information displaying apparatus, machine readable medium storing thereon a plurality of machine readable instructions, and control method | |
US20190188903A1 (en) | Method and apparatus for providing virtual companion to a user | |
JP2007289658A (ja) | 画像出力装置、画像出力方法、および画像出力プログラム | |
TWI255141B (en) | Method and system for real-time interactive video | |
JP2007293818A (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
JP5044237B2 (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
WO2020153785A1 (ko) | 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법 | |
EP3739573B1 (en) | Information processing device, information processing method, and program | |
JP2007289656A (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
US20200275875A1 (en) | Method for deriving and storing emotional conditions of humans | |
Gibbon et al. | Audio-visual and multimodal speech-based systems | |
Caridakis et al. | A multimodal corpus for gesture expressivity analysis | |
JP2009048447A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2000315259A (ja) | データベース作成装置及びデータベース作成プログラムを記録した記録媒体 | |
JP2007289657A (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
JP2000259834A (ja) | 人物認識装置における登録装置及びその方法 | |
JP3608758B2 (ja) | 索引生成方法、索引生成装置、索引付け装置、索引付け方法、ビデオ議事録生成方法、フレーム編集方法及びフレーム編集装置 | |
JP2002006874A (ja) | 音声処理装置、動画像処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体 | |
JP2004192653A (ja) | マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法 | |
JP5329130B2 (ja) | 検索結果表示方法 | |
JP3879793B2 (ja) | 発言構造検出表示装置 | |
JP7130290B2 (ja) | 情報抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041027 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041124 |