JP3508013B2 - カメラワーク情報によるｍｐｅｇビデオ検索装置およびｍｐｅｇビデオ検索プログラムを記録した記録媒体 - Google Patents
カメラワーク情報によるｍｐｅｇビデオ検索装置およびｍｐｅｇビデオ検索プログラムを記録した記録媒体Info
- Publication number
- JP3508013B2 JP3508013B2 JP14511499A JP14511499A JP3508013B2 JP 3508013 B2 JP3508013 B2 JP 3508013B2 JP 14511499 A JP14511499 A JP 14511499A JP 14511499 A JP14511499 A JP 14511499A JP 3508013 B2 JP3508013 B2 JP 3508013B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- camerawork
- time interval
- input
- video format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、多数のＭＰＥＧ動
画情報を記憶媒体に蓄積し、そのＭＰＥＧ動画情報を検
索し、そのＭＰＥＧ動画情報に動画特徴情報を付与して
利用者に提供するＭＰＥＧビデオ検索装置およびＭＰＥ
Ｇビデオ検索プログラムを記録した記憶媒体に関する。
画情報を記憶媒体に蓄積し、そのＭＰＥＧ動画情報を検
索し、そのＭＰＥＧ動画情報に動画特徴情報を付与して
利用者に提供するＭＰＥＧビデオ検索装置およびＭＰＥ
Ｇビデオ検索プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】入力した動画情報からオプティカルフロ
ー（動画フレームを均等ブロックに細分化し、各領域で
動きベクトルを算出してフレーム上に動きベクトル分布
を示した情報）を求め、その動きベクトル分布の傾向に
よりカメラワークの判定を行うカメラワーク判定方法
が、例えば映像情報メディア学会技術報告VOL. 22, No.
1に掲載の論文「A Study on a Motion Recongnition fr
om Moving Images with Camera Works」に示されてい
る。
ー（動画フレームを均等ブロックに細分化し、各領域で
動きベクトルを算出してフレーム上に動きベクトル分布
を示した情報）を求め、その動きベクトル分布の傾向に
よりカメラワークの判定を行うカメラワーク判定方法
が、例えば映像情報メディア学会技術報告VOL. 22, No.
1に掲載の論文「A Study on a Motion Recongnition fr
om Moving Images with Camera Works」に示されてい
る。
【０００３】本論文に示されている技術は、入力した動
画情報からオプティカルフローを求めた後、図９で示す
通り、フレームを数個の領域に分割し、動きベクトルの
水平成分と垂直成分について、各々の領域で平均値を算
出し、７１および７２に領域を分割した状態で全ての領
域の動きベクトル水平成分平均が一定でかつ垂直成分平
均が０に近い場合、カメラワークは左右どちらかにパン
していると判定し、７１および７２に領域を分割した状
態で全ての領域の動きベクトル水平成分平均が０に近
く、かつ垂直成分平均が一定である場合、カメラワーク
は上下どちらかにチルトしていると判定し、７３に領域
を分割した状態で７３１と７３２の領域の動きベクトル
垂直成分平均が正の値であり、かつ７３３と７３４の領
域の垂直成分平均が負の値であり、かつ７３１と７３３
の領域の水平垂直成分平均が負の値であり、かつ７３２
と７３４の領域の水平垂直成分平均が正の値である場
合、カメラワークはズームインしていると判定し、７３
に領域を分割した状態で７３１と７３２の領域の動きベ
クトル垂直成分平均が負の値であり、かつ７３３と７３
４の領域の垂直成分平均が正の値であり、かつ７３１と
７３３の領域の水平垂直成分平均が正の値であり、かつ
７３２と７３４の領域の水平垂直成分平均が負の値であ
る場合、カメラワークはズームアウトしていると判定す
る。
画情報からオプティカルフローを求めた後、図９で示す
通り、フレームを数個の領域に分割し、動きベクトルの
水平成分と垂直成分について、各々の領域で平均値を算
出し、７１および７２に領域を分割した状態で全ての領
域の動きベクトル水平成分平均が一定でかつ垂直成分平
均が０に近い場合、カメラワークは左右どちらかにパン
していると判定し、７１および７２に領域を分割した状
態で全ての領域の動きベクトル水平成分平均が０に近
く、かつ垂直成分平均が一定である場合、カメラワーク
は上下どちらかにチルトしていると判定し、７３に領域
を分割した状態で７３１と７３２の領域の動きベクトル
垂直成分平均が正の値であり、かつ７３３と７３４の領
域の垂直成分平均が負の値であり、かつ７３１と７３３
の領域の水平垂直成分平均が負の値であり、かつ７３２
と７３４の領域の水平垂直成分平均が正の値である場
合、カメラワークはズームインしていると判定し、７３
に領域を分割した状態で７３１と７３２の領域の動きベ
クトル垂直成分平均が負の値であり、かつ７３３と７３
４の領域の垂直成分平均が正の値であり、かつ７３１と
７３３の領域の水平垂直成分平均が正の値であり、かつ
７３２と７３４の領域の水平垂直成分平均が負の値であ
る場合、カメラワークはズームアウトしていると判定す
る。
【０００４】
【発明が解決しようとする課題】上述した従来のカメラ
ワーク判定方法では、全画面領域のオプティカルフロー
を求めてカメラワークの判定を行うため、長い処理時間
が必要となる。例えば、動画を撮影した後に即時的にそ
の動画情報の特徴情報としてカメラワーク判定結果情報
を導出したり、記憶媒体に蓄積されている多数の動画情
報を検索するために事前にカメラワーク情報による索引
を作製する機能を実現する方法としては適さない、とい
う問題がある。
ワーク判定方法では、全画面領域のオプティカルフロー
を求めてカメラワークの判定を行うため、長い処理時間
が必要となる。例えば、動画を撮影した後に即時的にそ
の動画情報の特徴情報としてカメラワーク判定結果情報
を導出したり、記憶媒体に蓄積されている多数の動画情
報を検索するために事前にカメラワーク情報による索引
を作製する機能を実現する方法としては適さない、とい
う問題がある。
【０００５】また、動く物体を撮影しながら同時に撮影
カメラを操作する場合、動きベクトルを生じさせる要因
がカメラワークのみではなくなるため、カメラワークを
判定する精度が劣化する。例えば、風景のように撮影対
象物に動きが少ないものを撮影しながらカメラを操作し
て動画情報を作成したものに適応することはできるが、
撮影対象物が急激に動いている状況を撮影しながらカメ
ラを操作して作成した動画情報に適応することができな
い、という問題がある。
カメラを操作する場合、動きベクトルを生じさせる要因
がカメラワークのみではなくなるため、カメラワークを
判定する精度が劣化する。例えば、風景のように撮影対
象物に動きが少ないものを撮影しながらカメラを操作し
て動画情報を作成したものに適応することはできるが、
撮影対象物が急激に動いている状況を撮影しながらカメ
ラを操作して作成した動画情報に適応することができな
い、という問題がある。
【０００６】本発明の目的は、より短い処理で、より精
度の高いカメラワーク判定処理を行うことができるＭＰ
ＥＧビデオ検索装置およびＭＰＥＧビデオ検索プログラ
ムを記録した記録媒体を提供することにある。
度の高いカメラワーク判定処理を行うことができるＭＰ
ＥＧビデオ検索装置およびＭＰＥＧビデオ検索プログラ
ムを記録した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】本発明は、ＭＰＥＧビデ
オ形式の動画情報のフォーマット解析により動きベクト
ルを抽出し、フレーム上の全領域ではなく、カメラワー
ク判定に有効な一部の領域のみの動きベクトルを用いて
カメラワークの判定処理を行うことにより、カメラワー
ク判定処理時間の短縮および判定精度の向上を図ったも
のである。
オ形式の動画情報のフォーマット解析により動きベクト
ルを抽出し、フレーム上の全領域ではなく、カメラワー
ク判定に有効な一部の領域のみの動きベクトルを用いて
カメラワークの判定処理を行うことにより、カメラワー
ク判定処理時間の短縮および判定精度の向上を図ったも
のである。
【０００８】ただし、ＭＰＥＧビデオ形式の動画情報に
は、Intra マクロブロック（ＭＰＥＧビデオ形式で動き
ベクトルが符号化されないフレーム内符号化マクロブロ
ックの領域）や動きベクトルが符号化されたとしても実
際の撮影対象物の動きと異なった情報として符号化が行
われている領域が存在し、その領域をカメラワークの判
定処理に活用すると判定結果の精度が劣化する。例え
ば、ＭＰＥＧビデオ形式の動画を入力することにより、
オプティカルフロー抽出処理の負荷を軽減するという利
点はあるが、判定結果の精度が劣化することにより、信
頼できる判定結果が得られない、という問題が新たに発
生する。
は、Intra マクロブロック（ＭＰＥＧビデオ形式で動き
ベクトルが符号化されないフレーム内符号化マクロブロ
ックの領域）や動きベクトルが符号化されたとしても実
際の撮影対象物の動きと異なった情報として符号化が行
われている領域が存在し、その領域をカメラワークの判
定処理に活用すると判定結果の精度が劣化する。例え
ば、ＭＰＥＧビデオ形式の動画を入力することにより、
オプティカルフロー抽出処理の負荷を軽減するという利
点はあるが、判定結果の精度が劣化することにより、信
頼できる判定結果が得られない、という問題が新たに発
生する。
【０００９】このようなカメラワーク判定結果の精度を
劣化させるマクロブロックが存在している可能性が高い
のは、前フレームで撮影されていなかった実世界の空間
が現フレームに新たに出現する可能性の高いフレーム周
辺部のマクロブロックであり、この領域の動きベクトル
を用いないでカメラワーク判定を行うことで、上述のＭ
ＰＥＧビデオ形式を動画情報として活用する際の問題を
解決する。
劣化させるマクロブロックが存在している可能性が高い
のは、前フレームで撮影されていなかった実世界の空間
が現フレームに新たに出現する可能性の高いフレーム周
辺部のマクロブロックであり、この領域の動きベクトル
を用いないでカメラワーク判定を行うことで、上述のＭ
ＰＥＧビデオ形式を動画情報として活用する際の問題を
解決する。
【００１０】図８にカメラワーク判定有効領域を示す。
【００１１】カメラワーク判定に有効な領域は、６１に
示す横Ｍ個、縦Ｎ個のマクロブロックから成り立つ矩形
領域であるフレーム全領域の中で、６２に示すカメラワ
ーク以外の撮影対象物の動きによる動きベクトルが発生
する可能性が高い中心部の、カメラワーク判定の妨げと
なる領域１を除き、６３に示すＭＰＥＧビデオ形式でIn
tra マクロブロックとして符号化されたり動きベクトル
が符号化されたとしても実際の撮影対象物の動きと異な
った情報として符号化が行われている可能性が高いフレ
ーム周辺部の、カメラワーク判定の妨げとなる領域２を
除く、６４１，６４２，６４３，６４４に示す部分から
成り立つ画面の領域である。
示す横Ｍ個、縦Ｎ個のマクロブロックから成り立つ矩形
領域であるフレーム全領域の中で、６２に示すカメラワ
ーク以外の撮影対象物の動きによる動きベクトルが発生
する可能性が高い中心部の、カメラワーク判定の妨げと
なる領域１を除き、６３に示すＭＰＥＧビデオ形式でIn
tra マクロブロックとして符号化されたり動きベクトル
が符号化されたとしても実際の撮影対象物の動きと異な
った情報として符号化が行われている可能性が高いフレ
ーム周辺部の、カメラワーク判定の妨げとなる領域２を
除く、６４１，６４２，６４３，６４４に示す部分から
成り立つ画面の領域である。
【００１２】フレーム中の左端から水平方向ｍ番目、上
端から垂直方向ｎ番目の位置に存在するマクロブロック
位置を（ｍ，ｎ）と表現してカメラワーク判定有効領域
を説明すると、６４１に示すカメラワーク判定有効領域
は、（Ａ，Ｂ）、（Ｍ−Ａ，Ｂ）、（Ａ，Ｂ＋Ｌ）、
（Ｍ−Ａ，Ｂ＋Ｌ）を頂点とした矩形領域、６４２に示
すカメラワーク判定有効領域は、（Ａ，Ｎ−Ｂ−Ｌ）、
（Ｍ−Ａ，Ｎ−Ｂ−Ｌ）、（Ａ，Ｎ−Ｂ）、（Ｍ−Ａ，
Ｎ−Ｂ）を頂点とした矩形領域、６４３に示すカメラワ
ーク判定有効領域は、（Ａ，Ｂ）、（Ａ＋Ｌ，Ｂ）、
（Ａ，Ｎ−Ｂ）、（Ａ＋Ｌ，Ｎ−Ｂ）を頂点とした矩形
領域、６４４に示すカメラワーク判定有効領域は、（Ｎ
−Ａ−Ｌ，Ｂ）、（Ｍ−Ａ，Ｂ）、（Ｍ−Ａ−Ｌ，Ｎ−
Ｂ）、（Ｍ−Ａ，Ｎ−Ｂ）を頂点とした矩形領域であ
り、Ａ＋Ｌ＜Ｍ／２、Ｂ＋Ｌ＜Ｎ／２、Ｌ＞０、Ａ＞
０、Ｂ＞０の各条件を満足する前提で、カメラワーク判
定に適するように経験的にＬ，Ａ，Ｂの値を決定する。
端から垂直方向ｎ番目の位置に存在するマクロブロック
位置を（ｍ，ｎ）と表現してカメラワーク判定有効領域
を説明すると、６４１に示すカメラワーク判定有効領域
は、（Ａ，Ｂ）、（Ｍ−Ａ，Ｂ）、（Ａ，Ｂ＋Ｌ）、
（Ｍ−Ａ，Ｂ＋Ｌ）を頂点とした矩形領域、６４２に示
すカメラワーク判定有効領域は、（Ａ，Ｎ−Ｂ−Ｌ）、
（Ｍ−Ａ，Ｎ−Ｂ−Ｌ）、（Ａ，Ｎ−Ｂ）、（Ｍ−Ａ，
Ｎ−Ｂ）を頂点とした矩形領域、６４３に示すカメラワ
ーク判定有効領域は、（Ａ，Ｂ）、（Ａ＋Ｌ，Ｂ）、
（Ａ，Ｎ−Ｂ）、（Ａ＋Ｌ，Ｎ−Ｂ）を頂点とした矩形
領域、６４４に示すカメラワーク判定有効領域は、（Ｎ
−Ａ−Ｌ，Ｂ）、（Ｍ−Ａ，Ｂ）、（Ｍ−Ａ−Ｌ，Ｎ−
Ｂ）、（Ｍ−Ａ，Ｎ−Ｂ）を頂点とした矩形領域であ
り、Ａ＋Ｌ＜Ｍ／２、Ｂ＋Ｌ＜Ｎ／２、Ｌ＞０、Ａ＞
０、Ｂ＞０の各条件を満足する前提で、カメラワーク判
定に適するように経験的にＬ，Ａ，Ｂの値を決定する。
【００１３】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１４】図１は本発明の一実施形態の、カメラワー
クによるＭＰＥＧ動画検索装置の構成図である。
クによるＭＰＥＧ動画検索装置の構成図である。
【００１５】このＭＰＥＧ動画像検索システムはＭＰＥ
Ｇ動画情報管理装置１１と利用者端末装置１２で構成さ
れている。
Ｇ動画情報管理装置１１と利用者端末装置１２で構成さ
れている。
【００１６】カメラワーク情報を具えたＭＰＥＧ動画情
報管理装置１１は、ＭＰＥＧビデオ形式情報、時間間隔
情報群を入力し、ＭＰＥＧビデオ形式情報からフレーム
間符号化ピクチャの動きベクトルを抽出し、入力した時
間間隔情報に示される開始時間から終了時間内に含まれ
るフレームに対し、同一フレーム二次元位置のマクロブ
ロック毎に動きベクトルの平均を計算し、全時間間隔情
報に対して本計算を繰り返し、時間間隔情報およびその
時間間隔で算出した平均の動きベクトル情報群の組みを
時間間隔情報個数出力する動きベクトル抽出部１１１
と、フレームの動きベクトル情報群を入力し、予め指定
したカメラワーク判定有効領域内に存在する動きベクト
ル情報のみを用い、予め指定したカメラワーク判定ルー
ルを用いてカメラワークを判定し、判定したカメラワー
ク判定結果情報を出力するカメラワーク判定部１１２
と、ＭＰＥＧビデオ形式情報、ビデオ識別子情報、時間
間隔情報、カメラワーク判定結果情報を入力し、それら
の情報を関連付けて二次記憶媒体に蓄積するカメラワー
ク情報蓄積部１１３と、カメラワーク情報とビデオ識別
子情報を入力し、そのカメラワーク情報とビデオ識別子
情報を二次記憶媒体から検索し、一致する情報が存在し
ていた場合、その情報に関連付けられた時間間隔情報群
とＭＰＥＧビデオ形式情報を出力するか、もしくは、ビ
デオ識別子を入力し、そのビデオ識別子情報を二次記憶
媒体から検索し、一致する情報が存在している場合、そ
の情報に関連付けられた時間間隔情報群とカメラワーク
判定結果情報群とＭＰＥＧビデオ形式情報を出力するカ
メラワーク検索部１１４により構成されている。
報管理装置１１は、ＭＰＥＧビデオ形式情報、時間間隔
情報群を入力し、ＭＰＥＧビデオ形式情報からフレーム
間符号化ピクチャの動きベクトルを抽出し、入力した時
間間隔情報に示される開始時間から終了時間内に含まれ
るフレームに対し、同一フレーム二次元位置のマクロブ
ロック毎に動きベクトルの平均を計算し、全時間間隔情
報に対して本計算を繰り返し、時間間隔情報およびその
時間間隔で算出した平均の動きベクトル情報群の組みを
時間間隔情報個数出力する動きベクトル抽出部１１１
と、フレームの動きベクトル情報群を入力し、予め指定
したカメラワーク判定有効領域内に存在する動きベクト
ル情報のみを用い、予め指定したカメラワーク判定ルー
ルを用いてカメラワークを判定し、判定したカメラワー
ク判定結果情報を出力するカメラワーク判定部１１２
と、ＭＰＥＧビデオ形式情報、ビデオ識別子情報、時間
間隔情報、カメラワーク判定結果情報を入力し、それら
の情報を関連付けて二次記憶媒体に蓄積するカメラワー
ク情報蓄積部１１３と、カメラワーク情報とビデオ識別
子情報を入力し、そのカメラワーク情報とビデオ識別子
情報を二次記憶媒体から検索し、一致する情報が存在し
ていた場合、その情報に関連付けられた時間間隔情報群
とＭＰＥＧビデオ形式情報を出力するか、もしくは、ビ
デオ識別子を入力し、そのビデオ識別子情報を二次記憶
媒体から検索し、一致する情報が存在している場合、そ
の情報に関連付けられた時間間隔情報群とカメラワーク
判定結果情報群とＭＰＥＧビデオ形式情報を出力するカ
メラワーク検索部１１４により構成されている。
【００１７】利用者端末装置１２は、カメラワーク情報
とビデオ識別子情報、もしくはビデオ識別子情報を入力
し、その情報をＭＰＥＧ動画情報管理装置１１に送信す
るカメラワーク検索キー送信部１２１と、時間間隔情報
群とＭＰＥＧビデオ形式情報、もしくは時間間隔情報と
カメラワーク判定結果情報群とＭＰＥＧビデオ形式情報
をＭＰＥＧ動画情報管理装置１１から受信する結果受信
部１２２と、時間間隔情報とＭＰＥＧビデオ形式情報を
入力し、時間間隔情報に示された開始時間と終了時間の
範囲でＭＰＥＧビデオ形式情報を再生するか、もしくは
時間間隔情報群とカメラワーク判定結果情報群とＭＰＥ
Ｇビデオ形式情報を入力し、時間間隔情報に示された開
始時間と終了時間の範囲で関連付けられたカメラワーク
判定結果情報を付加情報としてＭＰＥＧビデオ形式情報
の再生に加えて表示する結果再生部１２３により構成さ
れている。
とビデオ識別子情報、もしくはビデオ識別子情報を入力
し、その情報をＭＰＥＧ動画情報管理装置１１に送信す
るカメラワーク検索キー送信部１２１と、時間間隔情報
群とＭＰＥＧビデオ形式情報、もしくは時間間隔情報と
カメラワーク判定結果情報群とＭＰＥＧビデオ形式情報
をＭＰＥＧ動画情報管理装置１１から受信する結果受信
部１２２と、時間間隔情報とＭＰＥＧビデオ形式情報を
入力し、時間間隔情報に示された開始時間と終了時間の
範囲でＭＰＥＧビデオ形式情報を再生するか、もしくは
時間間隔情報群とカメラワーク判定結果情報群とＭＰＥ
Ｇビデオ形式情報を入力し、時間間隔情報に示された開
始時間と終了時間の範囲で関連付けられたカメラワーク
判定結果情報を付加情報としてＭＰＥＧビデオ形式情報
の再生に加えて表示する結果再生部１２３により構成さ
れている。
【００１８】ＭＰＥＧ動画情報投入者１３は、ＭＰＥＧ
ビデオ形式情報、ビデオ識別子情報、時間間隔情報群を
ＭＰＥＧ動画情報管理装置１１に投入する。ＭＰＥＧ動
画情報検索者１４は、カメラワーク情報およびビデオ識
別情報を利用者端末装置１２に投入し、欲するビデオ識
別情報のＭＰＥＧビデオ形式情報の映像を、該当カメラ
ワーク情報の時間範囲だけ見るか、もしくはビデオ識別
情報を利用者端末装置１２に投入し、欲するビデオ識別
情報のＭＰＥＧビデオ形式情報の映像を、カメラワーク
判定結果情報を付加情報として合わせて見る。
ビデオ形式情報、ビデオ識別子情報、時間間隔情報群を
ＭＰＥＧ動画情報管理装置１１に投入する。ＭＰＥＧ動
画情報検索者１４は、カメラワーク情報およびビデオ識
別情報を利用者端末装置１２に投入し、欲するビデオ識
別情報のＭＰＥＧビデオ形式情報の映像を、該当カメラ
ワーク情報の時間範囲だけ見るか、もしくはビデオ識別
情報を利用者端末装置１２に投入し、欲するビデオ識別
情報のＭＰＥＧビデオ形式情報の映像を、カメラワーク
判定結果情報を付加情報として合わせて見る。
【００１９】図１のカメラワーク判定部１１２で実行さ
れるカメラワーク判定処理方法を図２に示す。処理２１
において、入力した動きベクトル情報群の中でIntra マ
クロブロックが占める割合を計算し、Ｒ以上の割合でIn
tra マクロブロックが存在した場合、カメラワークが無
い期間と判定する。割合Ｒは、あらかじめカメラワーク
判定に適するように経験的に決定される。処理２２にお
いて、処理２１でカメラワークが無いと判定されなかっ
た場合、図８に示すカメラワーク判定有効領域の６４
１，６４２，６４３，６４４のフレーム二次元位置に存
在するマイクロブロック単位動きベクトルに対し、各々
の領域で動きベクトルの水平方向成分平均、垂直方向成
分平均、水平方向成分分散、垂直方向成分分散を計算す
る。処理２３において、処理２２で得られた４領域毎の
４つの統計情報とカメラワーク判定ルールより各種カメ
ラワークの判定を行う。カメラワーク判定ルールは、予
めカメラワーク判定に適するように経験的に決定され
る。処理２４において、処理２３で得られたカメラワー
ク判定結果を出力する。
れるカメラワーク判定処理方法を図２に示す。処理２１
において、入力した動きベクトル情報群の中でIntra マ
クロブロックが占める割合を計算し、Ｒ以上の割合でIn
tra マクロブロックが存在した場合、カメラワークが無
い期間と判定する。割合Ｒは、あらかじめカメラワーク
判定に適するように経験的に決定される。処理２２にお
いて、処理２１でカメラワークが無いと判定されなかっ
た場合、図８に示すカメラワーク判定有効領域の６４
１，６４２，６４３，６４４のフレーム二次元位置に存
在するマイクロブロック単位動きベクトルに対し、各々
の領域で動きベクトルの水平方向成分平均、垂直方向成
分平均、水平方向成分分散、垂直方向成分分散を計算す
る。処理２３において、処理２２で得られた４領域毎の
４つの統計情報とカメラワーク判定ルールより各種カメ
ラワークの判定を行う。カメラワーク判定ルールは、予
めカメラワーク判定に適するように経験的に決定され
る。処理２４において、処理２３で得られたカメラワー
ク判定結果を出力する。
【００２０】図１の構成において実行されるカメラワー
クによるＭＰＥＧ動画検索用索引作成処理を図３に示
す。処理３１において、動きベクトル抽出部１１が、Ｍ
ＰＥＧ動画情報投入者１３から投入されたＭＰＥＧビデ
オ形式情報、時間間隔情報群を入力し、ＭＰＥＧビデオ
形式情報内のフレーム間符号化ピクチャの動きベクトル
を抽出し、時間間隔情報に示される開始時間から終了時
間内に含まれるフレームに対し、同一フレーム二次元位
置のマクロブロック毎に動きベクトルの平均を計算し、
全時間間隔情報に対して本計算を繰り返し、時間間隔情
報およびその時間間隔で算出した平均の動きベクトル情
報群の組みを時間間隔情報個数出力する、動きベクトル
抽出処理を行う。処理３２において、カメラワーク判定
部１１２が、処理３１で出力された動きベクトル情報群
を入力し、予め指定したカメラワーク判定有効領域内に
存在する動きベクトル情報のみを用い、予め指定したカ
メラワーク判定ルールを用いてカメラワークを判定し、
判定したカメラワーク判定結果情報を出力するカメラワ
ーク判定処理を行う。処理３２は、全ての時間間隔情報
に対する動きベクトル情報群のカメラワークの判定が終
了するまで繰り返し実施する（処理３３）。処理３４に
おいて、カメラワーク情報蓄積部１１３が、ＭＰＥＧ動
画情報投入者１３から投入されたＭＰＥＧビデオ形式情
報、ビデオ識別子情報、時間間隔情報、処理３２で出力
された時間間隔情報毎のカメラワーク判定結果情報を関
連付けて二次記憶媒体に蓄積するカメラワーク情報蓄積
処理を行う。 図１の構成において実行されるカメラワ
ークによるＭＰＥＧ動画検索処理を図４に示す。
クによるＭＰＥＧ動画検索用索引作成処理を図３に示
す。処理３１において、動きベクトル抽出部１１が、Ｍ
ＰＥＧ動画情報投入者１３から投入されたＭＰＥＧビデ
オ形式情報、時間間隔情報群を入力し、ＭＰＥＧビデオ
形式情報内のフレーム間符号化ピクチャの動きベクトル
を抽出し、時間間隔情報に示される開始時間から終了時
間内に含まれるフレームに対し、同一フレーム二次元位
置のマクロブロック毎に動きベクトルの平均を計算し、
全時間間隔情報に対して本計算を繰り返し、時間間隔情
報およびその時間間隔で算出した平均の動きベクトル情
報群の組みを時間間隔情報個数出力する、動きベクトル
抽出処理を行う。処理３２において、カメラワーク判定
部１１２が、処理３１で出力された動きベクトル情報群
を入力し、予め指定したカメラワーク判定有効領域内に
存在する動きベクトル情報のみを用い、予め指定したカ
メラワーク判定ルールを用いてカメラワークを判定し、
判定したカメラワーク判定結果情報を出力するカメラワ
ーク判定処理を行う。処理３２は、全ての時間間隔情報
に対する動きベクトル情報群のカメラワークの判定が終
了するまで繰り返し実施する（処理３３）。処理３４に
おいて、カメラワーク情報蓄積部１１３が、ＭＰＥＧ動
画情報投入者１３から投入されたＭＰＥＧビデオ形式情
報、ビデオ識別子情報、時間間隔情報、処理３２で出力
された時間間隔情報毎のカメラワーク判定結果情報を関
連付けて二次記憶媒体に蓄積するカメラワーク情報蓄積
処理を行う。 図１の構成において実行されるカメラワ
ークによるＭＰＥＧ動画検索処理を図４に示す。
【００２１】処理４１において、カメラワーク検索キー
送信部１２１が、ＭＰＥＧ動画情報検索者１４から投入
されたカメラワーク情報およびビデオ識別子情報をＭＰ
ＥＧ動画情報管理装置１１に送信するカメラワーク検索
キー送信処理を行う。
送信部１２１が、ＭＰＥＧ動画情報検索者１４から投入
されたカメラワーク情報およびビデオ識別子情報をＭＰ
ＥＧ動画情報管理装置１１に送信するカメラワーク検索
キー送信処理を行う。
【００２２】処理４２において、カメラワーク検索部１
１４が、処理４１で送信されたカメラワーク情報および
ビデオ識別子情報より、カメラワーク情報蓄積部１１３
に蓄積されている情報を検索し、一致するビデオ識別子
情報に関連付けられたＭＰＥＧビデオ形式情報と、一致
するビデオ識別子情報およびカメラワーク判定結果情報
に関連付けられた時間間隔情報群を出力し、利用者端末
装置１２に送信するカメラワーク情報検索処理を行う。
処理４３において、結果受信部１２２が、処理４２で送
信されたＭＰＥＧビデオ形式情報と時間間隔情報群を受
信する結果受信処理を行う。処理４４において、結果再
生部１２３が、処理４３で受信したＭＰＥＧビデオ形式
情報を受信した時間間隔情報に示される時間範囲のみ映
像再生する結果再生処理を行う。
１４が、処理４１で送信されたカメラワーク情報および
ビデオ識別子情報より、カメラワーク情報蓄積部１１３
に蓄積されている情報を検索し、一致するビデオ識別子
情報に関連付けられたＭＰＥＧビデオ形式情報と、一致
するビデオ識別子情報およびカメラワーク判定結果情報
に関連付けられた時間間隔情報群を出力し、利用者端末
装置１２に送信するカメラワーク情報検索処理を行う。
処理４３において、結果受信部１２２が、処理４２で送
信されたＭＰＥＧビデオ形式情報と時間間隔情報群を受
信する結果受信処理を行う。処理４４において、結果再
生部１２３が、処理４３で受信したＭＰＥＧビデオ形式
情報を受信した時間間隔情報に示される時間範囲のみ映
像再生する結果再生処理を行う。
【００２３】もしくは処理４１において、カメラワーク
検索キー送信部１２１が、ＭＰＥＧ動画情報検索者１４
から投入されたビデオ識別子情報を、ＭＰＥＧ動画情報
管理装置１１に送信するカメラワーク検索キー送信処理
を行う。処理４２において、カメラワーク検索部１１４
が、処理４１で送信されたビデオ識別子情報より、カメ
ラワーク情報蓄積部１１３に蓄積されている情報を検索
し、一致するビデオ識別子情報に関連付けられたＭＰＥ
Ｇビデオ形式情報と、一致するビデオ識別子情報に関連
付けられたカメラワーク判定結果情報群と時間間隔情報
群を出力し、利用者端末装置１２に送信するカメラワー
ク情報検索処理を行う。処理４３において、結果受信部
１２２が、処理４２で送信されたＭＰＥＧビデオ形式情
報とカメラワーク判定結果情報群と時間間隔情報群を受
信する結果受信処理２を行う。処理４４において、結果
再生部１２３が処理４３で受信したＭＰＥＧビデオ形式
情報を受信した時間間隔情報に示される時間範囲でカメ
ラワーク判定結果をビデオ特徴情報として付加して表示
して映像再生する結果再生処理を行う。
検索キー送信部１２１が、ＭＰＥＧ動画情報検索者１４
から投入されたビデオ識別子情報を、ＭＰＥＧ動画情報
管理装置１１に送信するカメラワーク検索キー送信処理
を行う。処理４２において、カメラワーク検索部１１４
が、処理４１で送信されたビデオ識別子情報より、カメ
ラワーク情報蓄積部１１３に蓄積されている情報を検索
し、一致するビデオ識別子情報に関連付けられたＭＰＥ
Ｇビデオ形式情報と、一致するビデオ識別子情報に関連
付けられたカメラワーク判定結果情報群と時間間隔情報
群を出力し、利用者端末装置１２に送信するカメラワー
ク情報検索処理を行う。処理４３において、結果受信部
１２２が、処理４２で送信されたＭＰＥＧビデオ形式情
報とカメラワーク判定結果情報群と時間間隔情報群を受
信する結果受信処理２を行う。処理４４において、結果
再生部１２３が処理４３で受信したＭＰＥＧビデオ形式
情報を受信した時間間隔情報に示される時間範囲でカメ
ラワーク判定結果をビデオ特徴情報として付加して表示
して映像再生する結果再生処理を行う。
【００２４】カメラワーク判定処理１１２における処理
の設定例を図５を用いて説明する。
の設定例を図５を用いて説明する。
【００２５】５１に示す横が２２個のマクロブロック
（横が３５２画素）で縦が１５個のマクロブロック（縦
が２４０画素）からなるフレームサイズで、動きベクト
ルの大きさの単位が半画素であるＭＰＥＧビデオ形式情
報を用い、１フレームの全３３０個のマクロブロックの
うちで、３割（９９個）以上Intra マクロブロックが存
在した場合にカメラワークが無いショットと判定するよ
う設定し、５１に示すフレームの左端から水平方向ｍ番
目、上端から垂直方向ｎ番目の位置に存在するマクロブ
ロック位置を（ｍ，ｎ）と表現する場合、５２１に示す
カメラワーク判定有効領域１を（１，１）、（２１，
１）、（１，３）、（２１，３）を頂点とした矩形領域
に設定し、５２２に示すカメラワーク判定有効領域２を
（１，１２）、（２１、１２）、（１，１４）、（２
１，１４）を頂点とした矩形領域に設定し、５２３に示
すカメラワーク判定有効領域３を（１，１）、（３，
１）、（１，１４）、（３，１４）を頂点とした矩形領
域に設定し、５２４に示すカメラワーク判定有効領域４
を（１９，１）、（２１，１）、（１９，１４）、（２
１，１４）を頂点とした矩形領域に設定し、５２１の領
域内での全動きベクトルの水平方向成分平均を１ avg
x, 垂直方向成分平均を１ avg y, 水平方向成分分散を
１ sd x,垂直方向成分分散を１ sd y とし、５２２の領
域内での全動きベクトルの水平方向成分平均を1 avg x,
垂直方向成分平均を2 avg y,水平方向成分分散を2 sd
x, 垂直方向成分分散を2 sd yとし、５２３の領域内で
の全動きベクトルの水平方向成分平均を1 avg x,垂直方
向成分平均を3 avg y,水平方向成分分散を3 sd x, 垂直
方向成分分散を3 sd yとし、５２４の領域内での全動き
ベクトルの水平方向成分平均を1 avg x,垂直方向成分平
均を4 avg y,水平方向成分分散を4 sd x, 垂直方向成分
分散を4 sd yとし、動きベクトル水平方向成分の右から
左方向の動きが正の値とされ、垂直方向成分の下から上
の方向の動きが正の値とされていた場合、カメラワーク
判定ルールとして、1 avg y ＜０かつ2 avg y ＞０かつ
3 avg y ＜０かつ4 avg x ＞０の状態はズームアウト、
1 avg y ＞０かつ2 avg y ＜０かつ3 avg y ＞０かつ4
avg x ＜０の状態はズームイン、3 avg x ＞０かつ4 av
g x ＞０かつ1 sd y×2 sd y ＜32の状態は右にパン、
3 avg x ＜０かつ4 avg x ＜０かつ1 sd y×2 sd y＜32
の状態は左にパン、1 avg y ＞０かつ2 avg y ＞０かつ
3 sd x×4 sd x＜32の状態は下にチルト、1 avg y ＜０
かつ2 avg y ＜０かつ3 sd x×4 sd x＜32の状態は上に
チルト、と判定するように設定する。
（横が３５２画素）で縦が１５個のマクロブロック（縦
が２４０画素）からなるフレームサイズで、動きベクト
ルの大きさの単位が半画素であるＭＰＥＧビデオ形式情
報を用い、１フレームの全３３０個のマクロブロックの
うちで、３割（９９個）以上Intra マクロブロックが存
在した場合にカメラワークが無いショットと判定するよ
う設定し、５１に示すフレームの左端から水平方向ｍ番
目、上端から垂直方向ｎ番目の位置に存在するマクロブ
ロック位置を（ｍ，ｎ）と表現する場合、５２１に示す
カメラワーク判定有効領域１を（１，１）、（２１，
１）、（１，３）、（２１，３）を頂点とした矩形領域
に設定し、５２２に示すカメラワーク判定有効領域２を
（１，１２）、（２１、１２）、（１，１４）、（２
１，１４）を頂点とした矩形領域に設定し、５２３に示
すカメラワーク判定有効領域３を（１，１）、（３，
１）、（１，１４）、（３，１４）を頂点とした矩形領
域に設定し、５２４に示すカメラワーク判定有効領域４
を（１９，１）、（２１，１）、（１９，１４）、（２
１，１４）を頂点とした矩形領域に設定し、５２１の領
域内での全動きベクトルの水平方向成分平均を１ avg
x, 垂直方向成分平均を１ avg y, 水平方向成分分散を
１ sd x,垂直方向成分分散を１ sd y とし、５２２の領
域内での全動きベクトルの水平方向成分平均を1 avg x,
垂直方向成分平均を2 avg y,水平方向成分分散を2 sd
x, 垂直方向成分分散を2 sd yとし、５２３の領域内で
の全動きベクトルの水平方向成分平均を1 avg x,垂直方
向成分平均を3 avg y,水平方向成分分散を3 sd x, 垂直
方向成分分散を3 sd yとし、５２４の領域内での全動き
ベクトルの水平方向成分平均を1 avg x,垂直方向成分平
均を4 avg y,水平方向成分分散を4 sd x, 垂直方向成分
分散を4 sd yとし、動きベクトル水平方向成分の右から
左方向の動きが正の値とされ、垂直方向成分の下から上
の方向の動きが正の値とされていた場合、カメラワーク
判定ルールとして、1 avg y ＜０かつ2 avg y ＞０かつ
3 avg y ＜０かつ4 avg x ＞０の状態はズームアウト、
1 avg y ＞０かつ2 avg y ＜０かつ3 avg y ＞０かつ4
avg x ＜０の状態はズームイン、3 avg x ＞０かつ4 av
g x ＞０かつ1 sd y×2 sd y ＜32の状態は右にパン、
3 avg x ＜０かつ4 avg x ＜０かつ1 sd y×2 sd y＜32
の状態は左にパン、1 avg y ＞０かつ2 avg y ＞０かつ
3 sd x×4 sd x＜32の状態は下にチルト、1 avg y ＜０
かつ2 avg y ＜０かつ3 sd x×4 sd x＜32の状態は上に
チルト、と判定するように設定する。
【００２６】全処理の流れを図６と図７を用いて説明す
る。
る。
【００２７】動画像情報投入者１３は多数のショット
（場面）により構成される１つの動画像情報１３１を二
次記憶媒体１１５に蓄積する際、動画識別番号１３５
と、各ショットに関する開始カット（ショット開始フレ
ーム番号）１３２と終了カット（ショット終了フレーム
番号）１３３で定義されるショット時間情報群をシステ
ムに入力する。
（場面）により構成される１つの動画像情報１３１を二
次記憶媒体１１５に蓄積する際、動画識別番号１３５
と、各ショットに関する開始カット（ショット開始フレ
ーム番号）１３２と終了カット（ショット終了フレーム
番号）１３３で定義されるショット時間情報群をシステ
ムに入力する。
【００２８】カメラワーク判定部１１２では、動きベク
トル抽出部１１１により抽出された動きベクトルによ
り、ショット毎にカメラワーク判定を行い、カメラワー
ク判定結果情報１３４を動画情報の特徴情報として獲得
し、動画識別番号１３５と開始カット１３２と終了カッ
ト１３３とカメラワーク判定結果情報１３４と動画情報
１３１を、関連付けられた一組のカメラワーク情報とし
て、カメラワーク情報蓄積部１１３が二次記憶媒体１１
５に蓄積する。
トル抽出部１１１により抽出された動きベクトルによ
り、ショット毎にカメラワーク判定を行い、カメラワー
ク判定結果情報１３４を動画情報の特徴情報として獲得
し、動画識別番号１３５と開始カット１３２と終了カッ
ト１３３とカメラワーク判定結果情報１３４と動画情報
１３１を、関連付けられた一組のカメラワーク情報とし
て、カメラワーク情報蓄積部１１３が二次記憶媒体１１
５に蓄積する。
【００２９】動画情報検索者１４は、撮影対象物を注目
するカメラワークとしてズームインのカメラワークを実
施しているカットを選定し、その再生初期フレーム（頭
出し位置）を得て、直ちにその時間位置から再生したい
と要求した場合、ズームインのカメラワーク検索キー１
４１と動画識別番号１３５をカメラワーク検索キー送信
部１２１を通じてカメラワーク検索部１１４に入力し、
図７に示す通り、カメラワーク検索部１１４は、二次記
憶媒体１１５に蓄積している情報から、動画識別検索キ
ー１４２と一致する動画識別情報で、かつカメラワーク
検索キー１４１と一致するカメラワーク判定結果情報を
検索し、一致した情報に関連付けられた全ての開始カッ
トと終了カットの組みを、回答開始カット１４３、回答
終了カット１４４からなる回答ショット時間情報群とし
て、結果受信部１２２を通じて結果再生部１２３に送信
する。同時に一致した情報に関連付けられたＭＰＥＧビ
デオ形式情報を回答動画情報１４５として、結果受信部
１２２を通じて結果再生部１２３に送信する。結果再生
部１２３は、回答動画情報１４５を回答ショット時間情
報群で示される時間範囲のみ再生する。
するカメラワークとしてズームインのカメラワークを実
施しているカットを選定し、その再生初期フレーム（頭
出し位置）を得て、直ちにその時間位置から再生したい
と要求した場合、ズームインのカメラワーク検索キー１
４１と動画識別番号１３５をカメラワーク検索キー送信
部１２１を通じてカメラワーク検索部１１４に入力し、
図７に示す通り、カメラワーク検索部１１４は、二次記
憶媒体１１５に蓄積している情報から、動画識別検索キ
ー１４２と一致する動画識別情報で、かつカメラワーク
検索キー１４１と一致するカメラワーク判定結果情報を
検索し、一致した情報に関連付けられた全ての開始カッ
トと終了カットの組みを、回答開始カット１４３、回答
終了カット１４４からなる回答ショット時間情報群とし
て、結果受信部１２２を通じて結果再生部１２３に送信
する。同時に一致した情報に関連付けられたＭＰＥＧビ
デオ形式情報を回答動画情報１４５として、結果受信部
１２２を通じて結果再生部１２３に送信する。結果再生
部１２３は、回答動画情報１４５を回答ショット時間情
報群で示される時間範囲のみ再生する。
【００３０】また、動画情報検索者１４は、指定する動
画情報をカメラワーク判定結果情報１３４を動画特徴情
報として付加して同時に再生したいと要求した場合、動
画識別番号１３５をカメラワーク検索キー送信部１２１
を通じてカメラワーク検索部１１４に入力し、図７に示
す通り、カメラワーク検索部１１４は二次記憶媒体１１
５に蓄積している情報から、動画識別検索キー１４２と
一致する動画識別情報を検索し、一致した情報に関連付
けられた全ての開始カットと終了カットとカメラワーク
判定結果情報の組みを、回答開始カット１４３、回答終
了カット１４４からなるショット時間情報および回答カ
メラワーク情報１４６からなる回答動画特徴情報群とし
て、結果受信部１２２を通じて結果再生部１２３に送信
する。同時に一致した情報に関連付けられたＭＰＥＧビ
デオ形式情報を回答動画情報１４５として、結果受信部
１２２を通じて結果再生部１２３に送信する。結果再生
部１２３は、回答動画情報１４５の再生に伴い、回答動
画特徴情報の回答カメラワーク情報１３６を付加情報と
して表示する。回答カメラワーク情報１４６は回答動画
情報１４５の回答ショット時間情報で示される時間範囲
毎に切り替えて表示する。
画情報をカメラワーク判定結果情報１３４を動画特徴情
報として付加して同時に再生したいと要求した場合、動
画識別番号１３５をカメラワーク検索キー送信部１２１
を通じてカメラワーク検索部１１４に入力し、図７に示
す通り、カメラワーク検索部１１４は二次記憶媒体１１
５に蓄積している情報から、動画識別検索キー１４２と
一致する動画識別情報を検索し、一致した情報に関連付
けられた全ての開始カットと終了カットとカメラワーク
判定結果情報の組みを、回答開始カット１４３、回答終
了カット１４４からなるショット時間情報および回答カ
メラワーク情報１４６からなる回答動画特徴情報群とし
て、結果受信部１２２を通じて結果再生部１２３に送信
する。同時に一致した情報に関連付けられたＭＰＥＧビ
デオ形式情報を回答動画情報１４５として、結果受信部
１２２を通じて結果再生部１２３に送信する。結果再生
部１２３は、回答動画情報１４５の再生に伴い、回答動
画特徴情報の回答カメラワーク情報１３６を付加情報と
して表示する。回答カメラワーク情報１４６は回答動画
情報１４５の回答ショット時間情報で示される時間範囲
毎に切り替えて表示する。
【００３１】なお、図１に示した各部の処理はＭＰＥＧ
ビデオ検索プログラムとして、ＦＤ（フロッピィ・ディ
スク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記
録媒体に記録しておき、パソコン等のコンピュータで実
行することができる。
ビデオ検索プログラムとして、ＦＤ（フロッピィ・ディ
スク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記
録媒体に記録しておき、パソコン等のコンピュータで実
行することができる。
【００３２】
【発明の効果】以上説明したように、本発明によれば、
ＭＰＥＧビデオ形式のフォーマット解析により抽出され
た一部の画面領域の動きベクトル情報を活用すること
で、より短い処理時間で、より精度の高いカメラワーク
判定処理を行うことが可能になり、これにより、動画を
撮影した後に即時的にその動画情報の特徴情報としてカ
メラワーク判定結果情報を導出したり、記憶媒体に蓄積
されている多数の動画情報を検索するために事前にカメ
ラワーク情報による索引を作成する機能として、カメラ
ワーク判別処理を活用することが可能となる。また、撮
影対象物が急激に動いている状況を撮影しながらカメラ
を操作して作成した動画情報を活用することが可能とな
る。
ＭＰＥＧビデオ形式のフォーマット解析により抽出され
た一部の画面領域の動きベクトル情報を活用すること
で、より短い処理時間で、より精度の高いカメラワーク
判定処理を行うことが可能になり、これにより、動画を
撮影した後に即時的にその動画情報の特徴情報としてカ
メラワーク判定結果情報を導出したり、記憶媒体に蓄積
されている多数の動画情報を検索するために事前にカメ
ラワーク情報による索引を作成する機能として、カメラ
ワーク判別処理を活用することが可能となる。また、撮
影対象物が急激に動いている状況を撮影しながらカメラ
を操作して作成した動画情報を活用することが可能とな
る。
【図１】本発明の一実施形態のカメラワークによるＭＰ
ＥＧ動画検索装置の構成図である。
ＥＧ動画検索装置の構成図である。
【図２】図１の実施形態のカメラワーク判定処理を示す
フローチャートである。
フローチャートである。
【図３】図１の実施形態のカメラワークによるＭＰＥＧ
動画検索用索引作成方法を示すフローチャートである。
動画検索用索引作成方法を示すフローチャートである。
【図４】図１の実施形態のカメラワークによるＭＰＥＧ
動画検索を示すフローチャートである。
動画検索を示すフローチャートである。
【図５】図１の実施形態で判定処理の詳細な設定例を説
明するための図である。
明するための図である。
【図６】図１の実施形態で情報の流れを説明するための
図である。
図である。
【図７】図１の実施形態で関連付けられた情報例を説明
するための図である。
するための図である。
【図８】本発明のカメラワーク判定有効領域を示す図で
ある。
ある。
【図９】従来の技術を説明するための図である。
１１ ＭＰＥＧ動画情報管理装置
１１１ 動きベクトル抽出部
１１２ カメラワーク判定部
１１３ カメラワーク情報蓄積部
１１４ カメラワーク検索部
１１５ 二次記憶媒体
１２ 利用者端末装置
１２１ カメラワーク検索キー送信部
１２２ 結果受信部
１２３ 結果再生部
１３ ＭＰＥＧ動画情報投入者
３４ ＭＰＥＧ動画情報検索者
２１〜２４，３１〜３４，４１〜４４ 処理
５２１〜５２４ カメラワーク判定有効領域
１３１ 動画情報
１３２ 開始カット
１３３ 終了カット
１３４ カメラワーク判定結果情報
１３５ 動画識別番号
１４１ カメラワーク検索キー
１４２ 動画識別検索キー
１４３ 回答開始カット
１４４ 回答終了カット
１４５ 回答動画情報
１４６ 回答カメラワーク情報
６１ フレーム全領域
６２，６３ カメラワーク判定の妨げとなる領域
６４１〜６４４ カメラワーク判定有効領域
７１ 左右パンのカメラワーク判定の領域分割
７２ 上下チルトのカメラワーク判定の領域分割
７３ ズームのカメラワーク判定の領域分割
７３１〜７３４ ズームのカメラワーク判定領域
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/222 - 5/257
H04N 5/76 - 5/95
Claims (6)
- 【請求項１】 ＭＰＥＧ１ビデオ形式（ＩＳＯ／ＴＥＣ
１１１７２−２）もしくはＭＰＥＧ２ビデオ形式（Ｉ
ＳＯ／ＴＥＣ １３８１８−２）にしたがい符号化され
た情報および開始時間と終了時間から成り立つ時間間隔
情報の集合を入力し、該ＭＰＥＧビデオ形式情報からフ
レーム間符号化ピクチャ（ＰピクチャおよびＢピクチ
ャ）の動きベクトルを抽出し、入力した該時間間隔情報
に示される開始時間から終了時間内に含まれるフレーム
に対し、同一フレーム二次元位置のマクロブロック毎に
動きベクトルの平均を計算し、全時間間隔情報に対して
本計算を繰り返し、時間間隔情報および該時間間隔で算
出した平均の動きベクトル情報群の組みを時間間隔情報
個数出力する動きベクトル抽出手段と、 フレームの平均の動きベクトル情報群を入力し、カメラ
ワーク判定ルールを用いてカメラワークを判定し、判定
したカメラワーク判定結果情報を出力するカメラワーク
判定手段と、 ＭＰＥＧビデオ形式情報、ビデオ識別子情報、時間間隔
情報、カメラワーク判定結果情報を入力し、それらの情
報を関連付けて記憶手段に記憶するカメラワーク情報蓄
積手段と、 カメラワーク情報とビデオ識別子情報を入力し、該カメ
ラワーク情報と該ビデオ識別子情報を記憶手段から検索
し、一致する情報が存在していた場合、該情報に関連付
けられた時間間隔情報群とＭＰＥＧビデオ形式情報を出
力するか、もしくは、ビデオ識別子情報を入力し、該ビ
デオ識別子情報を前記記憶手段から検索し、一致する情
報が存在していた場合、該情報に関連付けられた時間間
隔情報群とカメラワーク判定結果情報群とＭＰＥＧビデ
オ形式情報を出力するカメラワーク検索手段と、 時間間隔情報とＭＰＥＧビデオ形式情報を入力し、該時
間間隔情報に示された開始時間と終了時間の範囲で該Ｍ
ＰＥＧビデオ形成情報を再生するか、もしくは時間間隔
情報群とカメラワーク判定結果情報群とＭＰＥＧビデオ
形式情報を入力し、該時間間隔情報に示された開始時間
と終了時間の範囲で該時間間隔情報に関連付けられたカ
メラワーク判定結果情報を付加情報として該ＭＰＥＧビ
デオ形式情報の再生に加えて表示する結果再生手段を有
する、カメラワーク情報によるＭＰＥＧビデオ検索装
置。 - 【請求項２】 前記カメラワーク判定手段は、横Ｍ個、
縦Ｎ個のマクロブロックから成り立つＭＰＥＧビデオ形
式情報のフレーム領域の中で、フレームの左端から水平
方向ｍ番目、上端から垂直方向ｎ番目の位置に存在する
マクロブロック位置を（ｍ，ｎ）と表現した場合、
（Ａ，Ｂ）、（Ｍ−Ａ，Ｂ）、（Ａ，Ｂ＋Ｌ）、（Ｍ−
Ａ，Ｂ＋Ｌ）を頂点とした矩形領域と、（Ａ，Ｎ−Ｂ−
Ｌ）、（Ｍ−Ａ，Ｎ−Ｂ−Ｌ）、（Ａ，Ｎ−Ｂ）、（Ｍ
−Ａ，Ｎ−Ｂ）を頂点とした矩形領域と、（Ａ，Ｂ）、
（Ａ＋Ｌ，Ｂ）、（Ａ，Ｎ−Ｂ）、（Ａ＋Ｌ，Ｎ−Ｂ）
を頂点とした矩形領域と、（Ｍ−Ａ−Ｌ，Ｂ）、（Ｍ−
Ａ，Ｂ）、（Ｍ−Ａ−Ｌ，Ｎ−Ｂ）、（Ｍ−Ａ，Ｎ−
Ｂ）を頂点とした矩形領域をカメラワーク判定有効領域
とし、該カメラワーク判定有効領域内に存在する動きベ
クトルのみを用いてカメラワーク判定を行い、Ａ＋Ｌ＜
Ｍ／２、Ｂ＋Ｌ＜Ｎ／２、Ｌ＞０、Ａ＞０、Ｂ＞０の各
条件を満足する前提でＬ，Ａ，Ｂの値を選択する請求項
１記載の検索装置。 - 【請求項３】 ＭＰＥＧ１ビデオ形式（ＩＳＯ／ＴＥＣ
１１１７２−２）もしくはＭＰＥＧ２ビデオ形式（Ｉ
ＳＯ／ＴＥＣ １３８１８−２）にしたがい符号化され
た情報および開始時間と終了時間から成り立つ時間間隔
情報の集合を入力し、該ＭＰＥＧビデオ形式情報からフ
レーム間符号化ピクチャ（ＰピクチャおよびＢピクチ
ャ）の動きベクトルを抽出し、入力した該時間間隔情報
に示される開始時間から終了時間内に含まれるフレーム
に対し、同一フレーム二次元位置のマクロブロック毎に
動きベクトルの平均を計算し、全時間間隔情報に対して
本計算を繰り返し、時間間隔情報および該時間間隔で算
出した平均の動きベクトル情報群の組みを時間間隔情報
個数出力する動きベクトル抽出処理と、 フレームの平均動きベクトル情報群を入力し、カメラワ
ーク判定ルールを用いてカメラワークを判定し、判定し
たカメラワーク判定結果情報を出力するカメラワーク判
定処理と、 カメラワーク情報とビデオ識別子情報を入力し、該カメ
ラワーク情報と該ビデオ識別子情報を、ＭＰＥＧビデオ
形式情報、ビデオ識別子情報、時間間隔情報、カメラワ
ーク判定結果情報を入力し、それらの情報を関連付けて
記憶する記憶手段から検索し、一致する情報が存在して
いた場合、該情報に関連付けられた時間間隔情報群とＭ
ＰＥＧビデオ形式情報を出力するか、もしくは、ビデオ
識別子情報を入力し、該ビデオ識別子情報を前記記憶手
段から検索し、一致する情報が存在していた場合、該情
報に関連付けられた時間間隔情報群とカメラワーク判定
結果情報群とＭＰＥＧビデオ形式情報を出力するカメラ
ワーク検索処理をコンピュータに実行させるための、Ｍ
ＰＥＧ動画情報管理装置に実装されるＭＰＥＧビデオ検
索プログラムを記録した記録媒体。 - 【請求項４】 カメラワーク情報とビデオ識別子情報、
もしくはビデオ識別子情報を入力し、その情報をＭＰＥ
Ｇ動画情報管理装置に送信するカメラワーク検索キー送
信処理と、 時間間隔情報群とＭＰＥＧビデオ形式情報、もしくは時
間間隔情報群とカメラワーク判定結果情報群とＭＰＥＧ
ビデオ形成情報を前記ＭＰＥＧ動画情報管理装置から受
信する結果受信処理と、 時間間隔情報とＭＰＥＧビデオ形式情報を入力し、時間
間隔情報に示された開始時間と終了時間の範囲でＭＰＥ
Ｇビデオ形式情報を再生するか、もしくは時間間隔情報
群とカメラワーク判定結果情報群とＭＰＥＧビデオ形式
情報を入力し、時間間隔情報に示された開始時間と終了
時間の範囲で関連付けられたカメラワーク判定結果情報
を付加情報としてＭＰＥＧビデオ形式情報の再生に加え
て表示する結果再生処理をコンピュータに実行させるた
めの、利用者端末装置に実装されるＭＰＥＧビデオ検索
プログラムを記録した記録媒体。 - 【請求項５】 ＭＰＥＧ１ビデオ形式（ＩＳＯ／ＴＥＣ
１１１７２−２）もしくはＭＰＥＧ２ビデオ形式（Ｉ
ＳＯ／ＴＥＣ １３８１８−２）にしたがい符号化され
た情報および開始時間と終了時間から成り立つ時間間隔
情報の集合を入力し、該ＭＰＥＧビデオ形式情報からフ
レーム間符号化ピクチャ（ＰピクチャおよびＢピクチ
ャ）の動きベクトルを抽出し、入力した該時間間隔情報
に示される開始時間から終了時間内に含まれるフレーム
に対し、同一フレーム二次元位置のマクロブロック毎に
動きベクトルの平均を計算し、全時間間隔情報に対して
本計算を繰り返し、時間間隔情報および該時間間隔で算
出した平均の動きベクトル情報群の組みを時間間隔情報
個数出力する動きベクトル抽出処理と、 フレームの平均の動きベクトル情報群を入力し、カメラ
ワーク判定ルールを用いてカメラワークを判定し、判定
したカメラワーク判定結果情報を出力するカメラワーク
判定処理と、 カメラワーク情報とビデオ識別子情報を入力し、該カメ
ラワーク情報と該ビデオ識別子情報を、ＭＰＥＧビデオ
形式情報、ビデオ識別子情報、時間間隔情報、カメラワ
ーク判定結果情報を入力し、それらの情報を関連付けて
記憶する記憶手段から検索し、一致する情報が存在して
いた場合、該情報に関連付けられた時間間隔情報群とＭ
ＰＥＧビデオ形式情報を出力するか、もしくは、ビデオ
識別子情報を入力し、該ビデオ識別子情報を前記記憶手
段から検索し、一致する情報が存在していた場合、該情
報に関連付けられた時間間隔情報群とカメラワーク判定
結果情報群とＭＰＥＧビデオ形式情報を出力するカメラ
ワーク検索処理と、 カメラワーク情報とビデオ識別子情報、もしくはビデオ
識別子情報を入力し、その情報を前記カメラワーク検索
処理に出力するカメラワーク検索キー出力処理と、 時間間隔情報とＭＰＥＧビデオ形式情報を入力し、時間
間隔情報に示された開始時間と終了時間の範囲でＭＰＥ
Ｇビデオ形式情報を再生するか、もしくは時間間隔情報
群とカメラワーク判定結果情報群とＭＰＥＧビデオ形式
情報を入力し、時間間隔情報に示された開始時間と終了
時間の範囲で関連付けられたカメラワーク判定結果情報
を付加情報としてＭＰＥＧビデオ形式情報の再生に加え
て表示する結果再生処理をコンピュータに実行させるた
めのＭＰＥＧビデオ検索プログラムを記録した記録媒
体。 - 【請求項６】 横Ｍ個、縦Ｎ個のマクロブロックから成
り立つＭＰＥＧビデオ形式情報のフレーム領域の中で、
フレームの左端から水平方向ｍ番目、上端から垂直方向
ｎ番目の位置に存在するマクロブロック位置を（ｍ，
ｎ）と表現した場合、（Ａ，Ｂ）、（Ｍ−Ａ，Ｂ）、
（Ａ，Ｂ＋Ｌ）、（Ｍ−Ａ，Ｂ＋Ｌ）を頂点とした矩形
領域と、（Ａ，Ｎ−Ｂ−Ｌ）、（Ｍ−Ａ，Ｎ−Ｂ−
Ｌ）、（Ａ，Ｎ−Ｂ）、（Ｍ−Ａ，Ｎ−Ｂ）を頂点とし
た矩形領域と、（Ａ，Ｂ）、（Ａ＋Ｌ，Ｂ）、（Ａ，Ｎ
−Ｂ）、（Ａ＋Ｌ，Ｎ−Ｂ）を頂点とした矩形領域と、
（Ｍ−Ａ−Ｌ，Ｂ）、（Ｍ−Ａ，Ｂ）、（Ｍ−Ａ−Ｌ，
Ｎ−Ｂ）、（Ｍ−Ａ，Ｎ−Ｂ）を頂点とした矩形領域を
カメラワーク判定有効領域とし、該カメラワーク判定有
効領域内に存在する動きベクトルのみを用いてカメラワ
ーク判定を行い、Ａ＋Ｌ＜Ｍ／２、Ｂ＋Ｌ＜Ｎ／２、Ｌ
＞０、Ａ＞０、Ｂ＞０の各条件を満足する前提でＬ，
Ａ，Ｂの値を選択する請求項３または５記載の記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14511499A JP3508013B2 (ja) | 1999-05-25 | 1999-05-25 | カメラワーク情報によるｍｐｅｇビデオ検索装置およびｍｐｅｇビデオ検索プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14511499A JP3508013B2 (ja) | 1999-05-25 | 1999-05-25 | カメラワーク情報によるｍｐｅｇビデオ検索装置およびｍｐｅｇビデオ検索プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000341613A JP2000341613A (ja) | 2000-12-08 |
| JP3508013B2 true JP3508013B2 (ja) | 2004-03-22 |
Family
ID=15377721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14511499A Expired - Fee Related JP3508013B2 (ja) | 1999-05-25 | 1999-05-25 | カメラワーク情報によるｍｐｅｇビデオ検索装置およびｍｐｅｇビデオ検索プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3508013B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002536746A (ja) * | 1999-02-01 | 2002-10-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動画シーケンスを表す記述子とその記述子を使用する画像検索システム |
| JP5272940B2 (ja) * | 2009-07-17 | 2013-08-28 | 富士通株式会社 | 画像符号化装置 |
| CN110611824B (zh) * | 2018-06-14 | 2021-12-24 | 连株式会社 | 精彩视频产生方法、使用其的精彩视频产生装置以及介质 |
-
1999
- 1999-05-25 JP JP14511499A patent/JP3508013B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000341613A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2576690C (en) | Method and device for motion estimation and compensation for panorama image | |
| EP2134080B1 (en) | Information processing apparatus, image-capturing system, reproduction control method, recording control method, and program | |
| KR101436639B1 (ko) | 정보 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 기록 매체 | |
| US8064656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
| TWI472228B (zh) | 資訊處理裝置，成像裝置，影像顯示控制方法及電腦程式 | |
| JP2005312018A (ja) | 監視システム、撮像制御装置、撮像設定装置、制御方法、及びプログラム | |
| CA2739716A1 (en) | Media container file | |
| WO2004066631A1 (ja) | パノラマ画像を用いた監視装置及び監視方法 | |
| JP3131560B2 (ja) | 動画像処理システムにおける動画像情報検出装置 | |
| JPH0993588A (ja) | 動画像処理方法 | |
| CN116366992A (zh) | 记录装置、记录装置的控制方法和记录介质 | |
| JP3508013B2 (ja) | カメラワーク情報によるｍｐｅｇビデオ検索装置およびｍｐｅｇビデオ検索プログラムを記録した記録媒体 | |
| JP2003061038A (ja) | 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法 | |
| JP4497761B2 (ja) | 画像処理装置及びインデックス作成方法 | |
| JP4243034B2 (ja) | 符号化装置 | |
| CN102007765A (zh) | 执行运动图像的记录以及播放的装置 | |
| JP2009230635A (ja) | 画像データ生成装置、画像データ生成方法、および画像データ生成用プログラム | |
| JP6355634B2 (ja) | データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム | |
| WO2023029252A1 (zh) | 多视点视频数据处理方法、设备及存储介质 | |
| CN116193155A (zh) | 基于视频分析的检索方法、视频监控***和计算机设备 | |
| KR101793702B1 (ko) | 영상 저장 장치 및 그의 영상 검색 방법 | |
| JP5070179B2 (ja) | シーン類似判定装置、そのプログラム及びサマリ映像生成システム | |
| KR102063495B1 (ko) | 멀티미디어 콘텐츠 처리를 위한 장치 및 제어방법 | |
| JP4317003B2 (ja) | ハイライト静止画生成・配信装置 | |
| JP4320738B2 (ja) | オーディオビデオ信号記録装置、オーディオビデオ信号記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031210 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100109 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110109 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |