JP3524007B2 - 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 - Google Patents
動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置Info
- Publication number
- JP3524007B2 JP3524007B2 JP29249798A JP29249798A JP3524007B2 JP 3524007 B2 JP3524007 B2 JP 3524007B2 JP 29249798 A JP29249798 A JP 29249798A JP 29249798 A JP29249798 A JP 29249798A JP 3524007 B2 JP3524007 B2 JP 3524007B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- frame
- moving image
- dissimilarity
- display order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明が属する技術分野】本発明は、動画中のカット
点、ならびにディゾルブおよびワイプを含むトランジシ
ョン効果を用いた場面の転換点を検出するための動画場
面検出装置および方法ならびに該検出制御プログラムを
記憶した媒体と、該装置を用いた動画処理装置とに関す
る。
点、ならびにディゾルブおよびワイプを含むトランジシ
ョン効果を用いた場面の転換点を検出するための動画場
面検出装置および方法ならびに該検出制御プログラムを
記憶した媒体と、該装置を用いた動画処理装置とに関す
る。
【0002】
【従来の技術】図22は、動画の一般的な構成を説明す
るための模式図である。動画は、1または複数のショッ
トから構成される。ショットとは、すなわち場面であ
り、1つの場面を得るための1連の操作によって連続的
に撮影された1または複数のフレームの集合である。フ
レームとは、動画を構成する静止画に相当する。動画内
の連続する2つのショットが転換される部分、すなわち
動画転換部は、いわゆるカット点と、いわゆるトランジ
ション効果のためのフレームの集合がある部分であるト
ランジション部分との2種類がある。
るための模式図である。動画は、1または複数のショッ
トから構成される。ショットとは、すなわち場面であ
り、1つの場面を得るための1連の操作によって連続的
に撮影された1または複数のフレームの集合である。フ
レームとは、動画を構成する静止画に相当する。動画内
の連続する2つのショットが転換される部分、すなわち
動画転換部は、いわゆるカット点と、いわゆるトランジ
ション効果のためのフレームの集合がある部分であるト
ランジション部分との2種類がある。
【0003】カット点とは、前記2つのショットがフレ
ーム間で切換わる点である。トランジション効果とは、
ショットの転換が、表示順が連続する複数のフレーム間
で徐々に起きるようにした効果であり、具体的には、た
とえばディゾルブおよびワイプが挙げられる。ディゾル
ブは、視聴者から見て、連続する2つのショットのうち
の先行ショットから該2つのショットのうちの後続ショ
ットが徐々に浮出してくるように見える効果である。ワ
イプは、先行ショットが後続ショットによって拭い去ら
れるように変化して、後続ショットに移る効果である。
ーム間で切換わる点である。トランジション効果とは、
ショットの転換が、表示順が連続する複数のフレーム間
で徐々に起きるようにした効果であり、具体的には、た
とえばディゾルブおよびワイプが挙げられる。ディゾル
ブは、視聴者から見て、連続する2つのショットのうち
の先行ショットから該2つのショットのうちの後続ショ
ットが徐々に浮出してくるように見える効果である。ワ
イプは、先行ショットが後続ショットによって拭い去ら
れるように変化して、後続ショットに移る効果である。
【0004】図23(A)〜(C)は、動画内の動画転
換部およびその近傍のフレームを、表示順に並列に並べ
て示す図である。図23(A)で示すように、2つのシ
ョット11,12がカット点13で転換される場合、2
つのショット11,12のうちの先行ショット11の末
尾のフレーム14が表示された後、該2つのフレームの
うちの後続ショット12の先頭のフレーム15が表示さ
れる。すなわち前記場合、カット点13は、先行ショッ
ト11の末尾のフレーム14と、後続ショット12の先
頭のフレーム15との間の点に相当する。またカット点
13の直前または直後のフレーム14,15が、カット
点のフレームと称されることがある。
換部およびその近傍のフレームを、表示順に並列に並べ
て示す図である。図23(A)で示すように、2つのシ
ョット11,12がカット点13で転換される場合、2
つのショット11,12のうちの先行ショット11の末
尾のフレーム14が表示された後、該2つのフレームの
うちの後続ショット12の先頭のフレーム15が表示さ
れる。すなわち前記場合、カット点13は、先行ショッ
ト11の末尾のフレーム14と、後続ショット12の先
頭のフレーム15との間の点に相当する。またカット点
13の直前または直後のフレーム14,15が、カット
点のフレームと称されることがある。
【0005】図23(B),(C)で示すように、2つ
のショット21,22がトランジション部分23で転換
される場合、前記2つのショットのうちの先行ショット
21内の末尾から1または複数遡ったフレーム24が表
示された後、トランジション部分23を構成する1また
は複数の合成フレームが表示され、表示後、2つのショ
ットのうちの後続ショット22内の先頭から1または複
数進んだフレーム25が表示される。前記複数の合成フ
レームは、先行ショット21内の前記遡ったフレーム2
4の次から該先行ショット21の末尾までの1または複
数のフレームと、後続ショット22内の先頭から該後続
ショット22の前記進んだフレーム25よりも1つ手前
までの1または複数のフレームとが、それぞれ合成され
て構成される。これらフレームの合成手法は、トランジ
ション効果の具体的な手法に応じて異なる。
のショット21,22がトランジション部分23で転換
される場合、前記2つのショットのうちの先行ショット
21内の末尾から1または複数遡ったフレーム24が表
示された後、トランジション部分23を構成する1また
は複数の合成フレームが表示され、表示後、2つのショ
ットのうちの後続ショット22内の先頭から1または複
数進んだフレーム25が表示される。前記複数の合成フ
レームは、先行ショット21内の前記遡ったフレーム2
4の次から該先行ショット21の末尾までの1または複
数のフレームと、後続ショット22内の先頭から該後続
ショット22の前記進んだフレーム25よりも1つ手前
までの1または複数のフレームとが、それぞれ合成され
て構成される。これらフレームの合成手法は、トランジ
ション効果の具体的な手法に応じて異なる。
【0006】近年、動画の内容把握を容易にするために
動画内の各ショットの一覧表示を行うため、または動画
内のショットの検索を容易にするために、動画内の場面
転換部の検出に関する従来技術が多数提案されている。
特開平3−214364号公報、特開平6−89545
号公報、特開平6−319108号公報、特開平8−1
39995号公報および特開平4−111181号公報
は、前記従来技術のうちのカット点の検出に関する技術
を開示する。また特開平7−288840号公報および
特開平8−214210号公報は、前記カット点および
トランジション部分の検出に関する技術を開示する。こ
れら公報において、動画は映像と称されることがあり、
ショットはシーンと称されることがあり、カット点はシ
ーン変化と称されることがある。
動画内の各ショットの一覧表示を行うため、または動画
内のショットの検索を容易にするために、動画内の場面
転換部の検出に関する従来技術が多数提案されている。
特開平3−214364号公報、特開平6−89545
号公報、特開平6−319108号公報、特開平8−1
39995号公報および特開平4−111181号公報
は、前記従来技術のうちのカット点の検出に関する技術
を開示する。また特開平7−288840号公報および
特開平8−214210号公報は、前記カット点および
トランジション部分の検出に関する技術を開示する。こ
れら公報において、動画は映像と称されることがあり、
ショットはシーンと称されることがあり、カット点はシ
ーン変化と称されることがある。
【0007】一般的にカット点検出に関する従来技術
は、動画内の連続する2つのフレーム間の相関に関する
指標を、該フレームを該動画内でずらしながらそれぞれ
求め、該指標が予め定める閾値未満になった2つのフレ
ーム間にカット点があると判断する。特開平3−214
364号公報のシーン変化検出方法を用いる装置は、前
記指標として、前記2つのフレームの輝度ヒストグラム
の差分を求める。特開平6−89545号公報の場面転
換部検出方法を用いた装置は、前記指標として、前記2
つのフレームをそれぞれ構成する複数の画素のうち、両
フレームで相互に異なる画素の数を用いる。特開平6−
319108号公報のシーン変化検出装置は、前記指標
として、前記2つのフレームをそれぞれ構成する複数の
画素のうち、該2つのフレーム間の特徴ベクトルの分布
の誤差に相当する距離が予め定める閾値未満である画素
の数を用いる。特開平8−139995号公報のシーン
変化点検出方法を用いる装置は、前記指標として、前記
2つのフレーム間の画素値ヒストグラムのχ二乗分布を
用いる。また特開平4−111181号公報の変換点検
出方法を用いる装置は、カット点の誤検出を防止するた
めに、前記相関の変化率を前記指標として用いている。
は、動画内の連続する2つのフレーム間の相関に関する
指標を、該フレームを該動画内でずらしながらそれぞれ
求め、該指標が予め定める閾値未満になった2つのフレ
ーム間にカット点があると判断する。特開平3−214
364号公報のシーン変化検出方法を用いる装置は、前
記指標として、前記2つのフレームの輝度ヒストグラム
の差分を求める。特開平6−89545号公報の場面転
換部検出方法を用いた装置は、前記指標として、前記2
つのフレームをそれぞれ構成する複数の画素のうち、両
フレームで相互に異なる画素の数を用いる。特開平6−
319108号公報のシーン変化検出装置は、前記指標
として、前記2つのフレームをそれぞれ構成する複数の
画素のうち、該2つのフレーム間の特徴ベクトルの分布
の誤差に相当する距離が予め定める閾値未満である画素
の数を用いる。特開平8−139995号公報のシーン
変化点検出方法を用いる装置は、前記指標として、前記
2つのフレーム間の画素値ヒストグラムのχ二乗分布を
用いる。また特開平4−111181号公報の変換点検
出方法を用いる装置は、カット点の誤検出を防止するた
めに、前記相関の変化率を前記指標として用いている。
【0008】特開平7−288840号公報の映像変化
点検出方法を用いる装置は、1つの動画内の複数種類の
動画転換部を検出するために、ディゾルブおよびそれに
類似の効果を用いる場面転換部と、ワイプおよびそれに
類似の効果を用いる場面転換部と、カメラ動作に起因す
る場面転換部と、カット点とをそれぞれ検出するための
処理を、1つの動画に対し順次行う。特開平8−214
210号公報の映像カット点検出装置は、動画内の連続
する複数のフレームからなる区間内の全ての組合わせの
フレーム間の画像間距離を求めてテーブルとして記憶
し、該テーブル内の画像間距離に基づいて前記区間内の
フレームの変化率を求め、該変化率と予め定める閾値と
の大小関係に基づいて、該区間が動画転換部であるかど
うかを判断する。該公報において、画像間距離とは、前
記組合わせのフレームの相違度に相当する。
点検出方法を用いる装置は、1つの動画内の複数種類の
動画転換部を検出するために、ディゾルブおよびそれに
類似の効果を用いる場面転換部と、ワイプおよびそれに
類似の効果を用いる場面転換部と、カメラ動作に起因す
る場面転換部と、カット点とをそれぞれ検出するための
処理を、1つの動画に対し順次行う。特開平8−214
210号公報の映像カット点検出装置は、動画内の連続
する複数のフレームからなる区間内の全ての組合わせの
フレーム間の画像間距離を求めてテーブルとして記憶
し、該テーブル内の画像間距離に基づいて前記区間内の
フレームの変化率を求め、該変化率と予め定める閾値と
の大小関係に基づいて、該区間が動画転換部であるかど
うかを判断する。該公報において、画像間距離とは、前
記組合わせのフレームの相違度に相当する。
【0009】
【発明が解決しようとする課題】トランジション部分を
含む動画内の任意の連続する2つのフレームの相関は、
該フレームが動画内のどの位置にある場合でも、カット
点を挟む2つのフレームの相関よりも充分に高いことが
多い。このため上述の複数の公報にそれぞれ開示された
カット点検出のための装置を用い、連続する2つのフレ
ームの相関と閾値との大小関係に基づいて、トランジシ
ョン部分を検出することは困難である。
含む動画内の任意の連続する2つのフレームの相関は、
該フレームが動画内のどの位置にある場合でも、カット
点を挟む2つのフレームの相関よりも充分に高いことが
多い。このため上述の複数の公報にそれぞれ開示された
カット点検出のための装置を用い、連続する2つのフレ
ームの相関と閾値との大小関係に基づいて、トランジシ
ョン部分を検出することは困難である。
【0010】また特開平7−288840号公報の方法
を用いる装置において、動画に施される前記複数の処理
は、相互に異なる種類のトランジション効果をそれぞれ
用いた動画転換部だけを、それぞれ検出する。このため
前記装置は、検出するべき動画転換部の種類が複数ある
ならば、各種類の動画転換部の検出に特有の処理を1つ
の動画にそれぞれ施す必要がある。この結果検出するべ
き動画転換部の種類が増加するほど、動画に施すべき処
理の数が増加するため、動画転換部検出に拘わる処理全
体が複雑になる。また前記装置は前記複数の処理のため
の手段をそれぞれ備える必要があるので、装置が複雑に
なる。
を用いる装置において、動画に施される前記複数の処理
は、相互に異なる種類のトランジション効果をそれぞれ
用いた動画転換部だけを、それぞれ検出する。このため
前記装置は、検出するべき動画転換部の種類が複数ある
ならば、各種類の動画転換部の検出に特有の処理を1つ
の動画にそれぞれ施す必要がある。この結果検出するべ
き動画転換部の種類が増加するほど、動画に施すべき処
理の数が増加するため、動画転換部検出に拘わる処理全
体が複雑になる。また前記装置は前記複数の処理のため
の手段をそれぞれ備える必要があるので、装置が複雑に
なる。
【0011】さらにまた特開平8−214210号公報
の装置は、前記区間内の全てのフレーム間の画像間距離
をテーブルの作成に際し、動画内で前記区間が1フレー
ム分だけシフトされた場合、少なくとも該区間内のフレ
ームの数と同数の画像間距離を新たに演算する必要があ
る。このため前記装置は、前記動画転換部の検出に関す
る演算に、非常に時間がかかる。
の装置は、前記区間内の全てのフレーム間の画像間距離
をテーブルの作成に際し、動画内で前記区間が1フレー
ム分だけシフトされた場合、少なくとも該区間内のフレ
ームの数と同数の画像間距離を新たに演算する必要があ
る。このため前記装置は、前記動画転換部の検出に関す
る演算に、非常に時間がかかる。
【0012】本発明の目的は、トランジション効果の種
類に拘わりなく、トランジション効果を用いた動画転換
部を、容易に検出することができる動画転換部検出装置
および方法ならびに動画転換部検出制御プログラムを記
憶した媒体と、該動画転換部検出装置を用いた動画処理
装置とを、提供することである。
類に拘わりなく、トランジション効果を用いた動画転換
部を、容易に検出することができる動画転換部検出装置
および方法ならびに動画転換部検出制御プログラムを記
憶した媒体と、該動画転換部検出装置を用いた動画処理
装置とを、提供することである。
【0013】
【課題を解決するための手段】第1の発明は、複数のシ
ョットから構成される動画を記憶し、該各ショットは特
徴が同一または近似しかつ時間経過に伴って順次的に表
示されるべき複数のフレームからそれぞれ構成される動
画記憶手段と、前記各フレームを1または複数の領域に
区分し、前記各フレーム内の各領域を代表する少なくと
も1つの色と該各領域内の該色の出現頻度とをそれぞれ
検出して、該各フレーム内の全ての領域の検出された色
および出現頻度の組合わせを、前記各フレームの前記特
徴を示す特徴データとして出力する特徴データ生成手段
と、前記動画内のいずれか1つのフレームである第1フ
レームの、前記動画内のフレームの表示順に予め定める
複数の基準枚数だけ該第1フレームからそれぞれ離れた
複数の第2フレームとの特徴の相違の程度をそれぞれ表
す複数の離反フレーム間相違度を、前記特徴データに基
づいて、前記第1フレームをずらしてそれぞれ演算する
離反フレーム間相違度演算手段と、前記フレームの前記
各第2フレームに対応する離反フレーム間相違度の前記
表示順に従う変化の特性を、それぞれ検出する特性検出
手段と、前記特性検出手段によって検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出するトランジション検出手段とを
含むことを特徴とする動画場面転換部検出装置である。
ョットから構成される動画を記憶し、該各ショットは特
徴が同一または近似しかつ時間経過に伴って順次的に表
示されるべき複数のフレームからそれぞれ構成される動
画記憶手段と、前記各フレームを1または複数の領域に
区分し、前記各フレーム内の各領域を代表する少なくと
も1つの色と該各領域内の該色の出現頻度とをそれぞれ
検出して、該各フレーム内の全ての領域の検出された色
および出現頻度の組合わせを、前記各フレームの前記特
徴を示す特徴データとして出力する特徴データ生成手段
と、前記動画内のいずれか1つのフレームである第1フ
レームの、前記動画内のフレームの表示順に予め定める
複数の基準枚数だけ該第1フレームからそれぞれ離れた
複数の第2フレームとの特徴の相違の程度をそれぞれ表
す複数の離反フレーム間相違度を、前記特徴データに基
づいて、前記第1フレームをずらしてそれぞれ演算する
離反フレーム間相違度演算手段と、前記フレームの前記
各第2フレームに対応する離反フレーム間相違度の前記
表示順に従う変化の特性を、それぞれ検出する特性検出
手段と、前記特性検出手段によって検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出するトランジション検出手段とを
含むことを特徴とする動画場面転換部検出装置である。
【0014】第1の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、前記特徴データ生成手段をさら
に含み、かつ、前記離反フレーム間相違度演算手段が上
述のように動作する構成になっている。単一の領域内の
色の出現頻度は、該領域内の前記色の部分の面積と等価
である。この結果前記離反フレーム間相違度が、前記2
つのフレームの差異の変化に応答して過敏および鈍感に
それぞれ変化することがなく、該変化に適切に応答す
る。この結果前記離反フレームの前記変化の特徴が崩れ
にくくなるので、第1の発明の動画場面転換部検出装置
は、トランジション効果を用いた場面転換部の検出精度
を、さらに向上させることができる。
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、前記特徴データ生成手段をさら
に含み、かつ、前記離反フレーム間相違度演算手段が上
述のように動作する構成になっている。単一の領域内の
色の出現頻度は、該領域内の前記色の部分の面積と等価
である。この結果前記離反フレーム間相違度が、前記2
つのフレームの差異の変化に応答して過敏および鈍感に
それぞれ変化することがなく、該変化に適切に応答す
る。この結果前記離反フレームの前記変化の特徴が崩れ
にくくなるので、第1の発明の動画場面転換部検出装置
は、トランジション効果を用いた場面転換部の検出精度
を、さらに向上させることができる。
【0015】第2の発明は、複数のショットから構成さ
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記表示順が連続する複数のフレームの複数の離反フレ
ーム間相違度の前記表示順に伴う変化パターンが、予め
定める複数の基準パターンとそれぞれ一致するか否かを
判断して、前記フレームの前記各第2フレームに対応す
る離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する特性検出手段と、前記特性検出手
段によって検出された特性に基づいて、動画内の表示順
が隣接するべきフレームが重なって合成されたトランジ
ション効果を有する合成フレームを、動画内から検出す
るトランジション検出手段とを含み、前記全ての基準パ
ターンのうち、前記いずれか1つの離反フレーム間相違
度の変化パターンと比較されるべき第1基準パターン、
および該いずれか1つの離反フレーム間相違度よりも算
出時の前記基準枚数が多い離反フレーム間相違度の変化
パターンと比較されるべき第2基準パターンは、該第1
および第2基準パターンをそれぞれ示すグラフの形状が
凸状であり、かつ、前記第1基準パターンのグラフの高
さおよび幅がそれぞれ前記第2基準パターンのグラフの
高さおよび幅未満であることを特徴とする動画場面転換
部検出装置である。
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記表示順が連続する複数のフレームの複数の離反フレ
ーム間相違度の前記表示順に伴う変化パターンが、予め
定める複数の基準パターンとそれぞれ一致するか否かを
判断して、前記フレームの前記各第2フレームに対応す
る離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する特性検出手段と、前記特性検出手
段によって検出された特性に基づいて、動画内の表示順
が隣接するべきフレームが重なって合成されたトランジ
ション効果を有する合成フレームを、動画内から検出す
るトランジション検出手段とを含み、前記全ての基準パ
ターンのうち、前記いずれか1つの離反フレーム間相違
度の変化パターンと比較されるべき第1基準パターン、
および該いずれか1つの離反フレーム間相違度よりも算
出時の前記基準枚数が多い離反フレーム間相違度の変化
パターンと比較されるべき第2基準パターンは、該第1
および第2基準パターンをそれぞれ示すグラフの形状が
凸状であり、かつ、前記第1基準パターンのグラフの高
さおよび幅がそれぞれ前記第2基準パターンのグラフの
高さおよび幅未満であることを特徴とする動画場面転換
部検出装置である。
【0016】第2の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、前記特性検出手段が上述のよう
に動作する構成になっている。この結果前記特性検出手
段は、前記特性として、各離反フレーム間相違度の変化
パターンと前記複数の基準パターンとの比較結果を出力
する。すなわち前記第2の発明の動画場面転換部検出装
置は、前記複数の離反フレーム間相違度の変化パターン
に基づき、前記動画から前記場面転換部を容易に検出す
ることができる。
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、前記特性検出手段が上述のよう
に動作する構成になっている。この結果前記特性検出手
段は、前記特性として、各離反フレーム間相違度の変化
パターンと前記複数の基準パターンとの比較結果を出力
する。すなわち前記第2の発明の動画場面転換部検出装
置は、前記複数の離反フレーム間相違度の変化パターン
に基づき、前記動画から前記場面転換部を容易に検出す
ることができる。
【0017】第3の発明は、複数のショットから構成さ
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記表示順が連続する複数のフレームの各離反フレーム
間相違度の変化パターンをそれぞれ近似するグラフの数
式をそれぞれ求める近似式算出手段と、求められた複数
の前記数式に基づいて定められるパラメータに基づき、
該各数式のグラフで近似される変化パターンが前記各基
準パターンと一致するか否かを判断して、前記フレーム
の前記各第2フレームに対応する離反フレーム間相違度
の前記表示順に従う変化の特性を、それぞれ検出する特
性検出手段と、前記特性検出手段によって検出された特
性に基づいて、動画内の表示順が隣接するべきフレーム
が重なって合成されたトランジション効果を有する合成
フレームを、動画内から検出するトランジション検出手
段とを含むことを特徴とする動画場面転換部検出装置で
ある。
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記表示順が連続する複数のフレームの各離反フレーム
間相違度の変化パターンをそれぞれ近似するグラフの数
式をそれぞれ求める近似式算出手段と、求められた複数
の前記数式に基づいて定められるパラメータに基づき、
該各数式のグラフで近似される変化パターンが前記各基
準パターンと一致するか否かを判断して、前記フレーム
の前記各第2フレームに対応する離反フレーム間相違度
の前記表示順に従う変化の特性を、それぞれ検出する特
性検出手段と、前記特性検出手段によって検出された特
性に基づいて、動画内の表示順が隣接するべきフレーム
が重なって合成されたトランジション効果を有する合成
フレームを、動画内から検出するトランジション検出手
段とを含むことを特徴とする動画場面転換部検出装置で
ある。
【0018】第3の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、前記近似式算出手段をさらに含
み、かつ前記特性検出手段が上述のように動作する構成
になっている。この結果前記各離反フレーム間相違度の
変化パターンと前記各基準パターンとの比較を、たとえ
ば各フレーム内のノイズに起因する各離反フレーム間相
違度の変動に対してロバストに行うことができる。この
結果前記第3の発明の動画場面転換部検出装置は、トラ
ンジション効果を用いた場面転換部の検出精度を、さら
に向上させることができる。
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、前記近似式算出手段をさらに含
み、かつ前記特性検出手段が上述のように動作する構成
になっている。この結果前記各離反フレーム間相違度の
変化パターンと前記各基準パターンとの比較を、たとえ
ば各フレーム内のノイズに起因する各離反フレーム間相
違度の変動に対してロバストに行うことができる。この
結果前記第3の発明の動画場面転換部検出装置は、トラ
ンジション効果を用いた場面転換部の検出精度を、さら
に向上させることができる。
【0019】第4の発明の動画場面転換部検出装置は、
前記数式は、2次関数であり、前記パラメータは、前記
算出された2次関数の係数であることを特徴とする。
前記数式は、2次関数であり、前記パラメータは、前記
算出された2次関数の係数であることを特徴とする。
【0020】第4の発明に従えば、前記動画場面転換部
検出装置は、第3の発明の動画場面転換部検出装置にお
いて、前記数式およびパラメータが上述のものになって
いる。前記2次関数のグラフは、凸部が1つなので、前
記基準パターンに近似しやすい。また前記2次関数の式
は構成が簡単なので、前記グラフの凸部の中心、幅、位
置、高さに関するパラメータを抽出しやすい。この結果
前記第4の発明の装置内の特性検出手段は、前記各変化
パターンと前記各基準パターンとの比較を、容易に行う
ことができる。
検出装置は、第3の発明の動画場面転換部検出装置にお
いて、前記数式およびパラメータが上述のものになって
いる。前記2次関数のグラフは、凸部が1つなので、前
記基準パターンに近似しやすい。また前記2次関数の式
は構成が簡単なので、前記グラフの凸部の中心、幅、位
置、高さに関するパラメータを抽出しやすい。この結果
前記第4の発明の装置内の特性検出手段は、前記各変化
パターンと前記各基準パターンとの比較を、容易に行う
ことができる。
【0021】第5の発明の動画場面転換部検出装置は、
前記数式は、正弦関数を含む関数であり、前記パラメー
タは、前記算出された関数内の正弦関数の位相およびゲ
インであることを特徴とする。
前記数式は、正弦関数を含む関数であり、前記パラメー
タは、前記算出された関数内の正弦関数の位相およびゲ
インであることを特徴とする。
【0022】第5の発明に従えば、前記動画場面転換部
検出装置は、第3の発明の動画場面転換部検出装置にお
いて、前記数式およびパラメータが上述のものになって
いる。前記正弦関数を含む関数のグラフのうちの半周期
分の部分は、凸部が1つなので、前記基準パターンに近
似しやすい。また前記関数の式は構成が簡単なので、前
記グラフの凸部の中心、幅、位置、高さに関するパラメ
ータを抽出しやすい。この結果前記第5の発明の装置内
の特性検出手段は、前記各変化パターンと前記各基準パ
ターンとの比較を、容易に行うことができる。
検出装置は、第3の発明の動画場面転換部検出装置にお
いて、前記数式およびパラメータが上述のものになって
いる。前記正弦関数を含む関数のグラフのうちの半周期
分の部分は、凸部が1つなので、前記基準パターンに近
似しやすい。また前記関数の式は構成が簡単なので、前
記グラフの凸部の中心、幅、位置、高さに関するパラメ
ータを抽出しやすい。この結果前記第5の発明の装置内
の特性検出手段は、前記各変化パターンと前記各基準パ
ターンとの比較を、容易に行うことができる。
【0023】第6の発明は、複数のショットから構成さ
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、前記特性検出手段によって
検出された特性に基づいて、動画内の表示順が隣接する
べきフレームが重なって合成されたトランジション効果
を有する合成フレームを、動画内から検出するトランジ
ション検出手段と、前記動画内の各フレーム毎に、該各
フレームの表示順と1つだけ異なる表示順のフレームと
該各フレームとの特徴の違いを示す隣接フレーム間相違
度を、それぞれ算出する隣接フレーム間相違度算出手段
と、前記各フレームの隣接フレーム間相違度から、該各
フレームを含み表示順が連続した複数のフレームのうち
の該各フレームを除く残余のフレームの隣接フレーム間
相違度と予め定める複数の重み係数との積の総和を、そ
れぞれ減算する隣接フレーム間相違度補正手段と、前記
減算後の隣接フレーム間相違度が予め定めるカット点検
出用閾値以上のフレームを、前記動画内から検出するフ
レーム検出手段と、前記検出されたフレームに基づき、
前記動画内のカット点を検出するカット点検出手段とを
含み、前記残余の各フレームの隣接フレーム間相違度に
乗算される各重み係数は、前記残余のフレームの隣接フ
レーム間相違度のうちの該各隣接フレーム間相違度より
も小さい隣接フレーム間相違度に乗算される重み係数以
上であることを特徴とする動画場面転換部検出装置であ
る。
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、前記特性検出手段によって
検出された特性に基づいて、動画内の表示順が隣接する
べきフレームが重なって合成されたトランジション効果
を有する合成フレームを、動画内から検出するトランジ
ション検出手段と、前記動画内の各フレーム毎に、該各
フレームの表示順と1つだけ異なる表示順のフレームと
該各フレームとの特徴の違いを示す隣接フレーム間相違
度を、それぞれ算出する隣接フレーム間相違度算出手段
と、前記各フレームの隣接フレーム間相違度から、該各
フレームを含み表示順が連続した複数のフレームのうち
の該各フレームを除く残余のフレームの隣接フレーム間
相違度と予め定める複数の重み係数との積の総和を、そ
れぞれ減算する隣接フレーム間相違度補正手段と、前記
減算後の隣接フレーム間相違度が予め定めるカット点検
出用閾値以上のフレームを、前記動画内から検出するフ
レーム検出手段と、前記検出されたフレームに基づき、
前記動画内のカット点を検出するカット点検出手段とを
含み、前記残余の各フレームの隣接フレーム間相違度に
乗算される各重み係数は、前記残余のフレームの隣接フ
レーム間相違度のうちの該各隣接フレーム間相違度より
も小さい隣接フレーム間相違度に乗算される重み係数以
上であることを特徴とする動画場面転換部検出装置であ
る。
【0024】第6の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、カット点検出に拘わる上述の手
段を含む構成になっている。前記補正によって、前記各
隣接フレーム相違度内の、動画内の各ショットの撮影時
のカメラおよび被写体の動きに起因する該各ショット内
の連続するフレームの差異に起因する成分が、小さくな
る。この結果前記第6の発明の動画場面転換部検出装置
は、カット点の検出精度を向上させることができる。
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、カット点検出に拘わる上述の手
段を含む構成になっている。前記補正によって、前記各
隣接フレーム相違度内の、動画内の各ショットの撮影時
のカメラおよび被写体の動きに起因する該各ショット内
の連続するフレームの差異に起因する成分が、小さくな
る。この結果前記第6の発明の動画場面転換部検出装置
は、カット点の検出精度を向上させることができる。
【0025】第7の発明は、複数のショットから構成さ
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、前記特性検出手段によって
検出された特性に基づいて、動画内の表示順が隣接する
べきフレームが重なって合成されたトランジション効果
を有する合成フレームを、動画内から検出するトランジ
ション検出手段と、前記動画内の各フレーム毎に、該各
フレームの表示順と1つだけ異なる表示順のフレームと
該各フレームとの特徴の違いを示す隣接フレーム間相違
度を、それぞれ算出する隣接フレーム間相違度算出手段
と、前記動画内から、隣接フレーム間相違度が予め定め
るカット点検出用閾値以上の全てのフレームのうち、該
各フレームを含み配列順が連続する複数の各フレームの
いずれか1つの離反フレーム間相違度が、全て予め定め
る閾値以上であるフレームを、検出するフレーム検出手
段と、前記検出されたフレームに基づき、前記動画内の
カット点を検出するカット点検出手段とを含むことを特
徴とする動画場面転換部検出装置である。
れる動画を記憶し、該各ショットは特徴が同一または近
似しかつ時間経過に伴って順次的に表示されるべき複数
のフレームからそれぞれ構成される動画記憶手段と、前
記動画内のいずれか1つのフレームである第1フレーム
の、前記動画内のフレームの表示順に予め定める複数の
基準枚数だけ該第1フレームからそれぞれ離れた複数の
第2フレームとの特徴の相違の程度をそれぞれ表す複数
の離反フレーム間相違度を、前記第1フレームをずらし
てそれぞれ演算する離反フレーム間相違度演算手段と、
前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、前記特性検出手段によって
検出された特性に基づいて、動画内の表示順が隣接する
べきフレームが重なって合成されたトランジション効果
を有する合成フレームを、動画内から検出するトランジ
ション検出手段と、前記動画内の各フレーム毎に、該各
フレームの表示順と1つだけ異なる表示順のフレームと
該各フレームとの特徴の違いを示す隣接フレーム間相違
度を、それぞれ算出する隣接フレーム間相違度算出手段
と、前記動画内から、隣接フレーム間相違度が予め定め
るカット点検出用閾値以上の全てのフレームのうち、該
各フレームを含み配列順が連続する複数の各フレームの
いずれか1つの離反フレーム間相違度が、全て予め定め
る閾値以上であるフレームを、検出するフレーム検出手
段と、前記検出されたフレームに基づき、前記動画内の
カット点を検出するカット点検出手段とを含むことを特
徴とする動画場面転換部検出装置である。
【0026】第7の発明に従えば、動画場面転換部検出
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、カット点検出に拘わる上述の手
段を含む構成になっている。この結果前記フレーム検出
手段は、動画内の各ショット内の連続する2つのフレー
ムの隣接フレーム間相違度が前記カット点検出用閾値以
上になっている場合、該2つのフレームを含み連続する
複数のフレームの離反フレーム間相違度と前記閾値との
大小関係に応じて、前記2つのフレームを検出するか否
かを定める。前記離反フレーム相違度の増加は、たとえ
ば、単一のショット内の連続する2つのフレームのうち
の一方の撮影時だけに、フラッシュがたかれている場合
に、起こる。この結果前記第7の発明の動画場面転換部
検出装置は、フラッシュの影響に起因するカット点の誤
検出を防止することができるので、カット点の検出精度
を向上させることができる。
装置は、前記複数の各離反フレーム間相違度の表示順に
基づく変化の特性を検出し、該特性に基づいて、前記動
画内から前記合成フレームを検出する。この結果前記装
置は、トランジション効果の種類に拘わりなく、前記合
成フレーム、すなわち動画内のトランジション効果を用
いた場面転換部を検出することができる。さらに前記装
置は、前記場面転換部の検出のための計算量を、従来技
術の場面転換部の検出のための装置の計算量よりも減少
させることができ、かつ、該検出の精度を、前記従来技
術の装置よりも向上させることができる。また前記動画
場面転換部検出装置は、カット点検出に拘わる上述の手
段を含む構成になっている。この結果前記フレーム検出
手段は、動画内の各ショット内の連続する2つのフレー
ムの隣接フレーム間相違度が前記カット点検出用閾値以
上になっている場合、該2つのフレームを含み連続する
複数のフレームの離反フレーム間相違度と前記閾値との
大小関係に応じて、前記2つのフレームを検出するか否
かを定める。前記離反フレーム相違度の増加は、たとえ
ば、単一のショット内の連続する2つのフレームのうち
の一方の撮影時だけに、フラッシュがたかれている場合
に、起こる。この結果前記第7の発明の動画場面転換部
検出装置は、フラッシュの影響に起因するカット点の誤
検出を防止することができるので、カット点の検出精度
を向上させることができる。
【0027】第8の発明は、フレームが表示可能な表示
手段と、請求項1〜7のうちのいずれかに記載の動画場
面転換部検出装置と、前記動画場面転換部検出装置によ
って検出された合成フレームの動画内の位置に基づき、
前記動画内の各ショット内から、少なくとも1枚のフレ
ームをそれぞれ抽出するフレーム抽出手段と、抽出され
た前記フレームを前記表示手段に表示させる表示制御手
段とを含むことを特徴とする動画処理装置である。
手段と、請求項1〜7のうちのいずれかに記載の動画場
面転換部検出装置と、前記動画場面転換部検出装置によ
って検出された合成フレームの動画内の位置に基づき、
前記動画内の各ショット内から、少なくとも1枚のフレ
ームをそれぞれ抽出するフレーム抽出手段と、抽出され
た前記フレームを前記表示手段に表示させる表示制御手
段とを含むことを特徴とする動画処理装置である。
【0028】第8の発明に従えば、前記動画処理装置
は、前記第1〜第7の発明のうちのいずれかの動画場面
転換部検出装置を備える。この結果前記動画処理装置
は、前記検出装置によって検出された場面転換部に基づ
き、前記動画内の各ショットを自動的に認識することが
でき、かつ該各ショットのフレームを抽出して表示する
ことができる。この結果前記動画処理装置は、動画をシ
ョット単位で処理する場合に、前記場面転換部の検出に
要する負担を軽減し、かつ動画の処理精度を向上するこ
とができる。
は、前記第1〜第7の発明のうちのいずれかの動画場面
転換部検出装置を備える。この結果前記動画処理装置
は、前記検出装置によって検出された場面転換部に基づ
き、前記動画内の各ショットを自動的に認識することが
でき、かつ該各ショットのフレームを抽出して表示する
ことができる。この結果前記動画処理装置は、動画をシ
ョット単位で処理する場合に、前記場面転換部の検出に
要する負担を軽減し、かつ動画の処理精度を向上するこ
とができる。
【0029】第9の発明は、前記表示制御手段は、前記
抽出された全てのフレームを、前記動画内の表示順が早
いものから順に、時間経過に伴って順次的に、前記表示
手段に表示させることを特徴とする。
抽出された全てのフレームを、前記動画内の表示順が早
いものから順に、時間経過に伴って順次的に、前記表示
手段に表示させることを特徴とする。
【0030】第9の発明に従えば、前記動画処理装置
は、第8の発明の動画処理装置において、前記表示制御
手段が上述のように動作する。この結果第9の発明の動
画処理装置は、前記抽出された複数のフレームから構成
される動画、すなわちフレームの抽出元である元の動画
の早見のための動画を、前記表示手段に表示することが
できる。この結果該動画処理装置の操作者は、元の動画
の内容を、適確かつ短時間に把握することができる。
は、第8の発明の動画処理装置において、前記表示制御
手段が上述のように動作する。この結果第9の発明の動
画処理装置は、前記抽出された複数のフレームから構成
される動画、すなわちフレームの抽出元である元の動画
の早見のための動画を、前記表示手段に表示することが
できる。この結果該動画処理装置の操作者は、元の動画
の内容を、適確かつ短時間に把握することができる。
【0031】第10の発明の動画処理装置は、前記表示
制御手段は、前記抽出された各フレームを縮小し、縮小
された該各フレームを合成した合成フレームを、前記表
示手段に表示させることを特徴とする。
制御手段は、前記抽出された各フレームを縮小し、縮小
された該各フレームを合成した合成フレームを、前記表
示手段に表示させることを特徴とする。
【0032】第10の発明に従えば、前記動画処理装置
は、第8の発明の動画処理装置において、前記表示制御
手段が上述のように動作する。この結果第10の発明の
動画処理装置は、前記抽出された複数のフレームの縮小
フレームの合成フレーム、すなわちフレームの抽出元で
ある元の動画の各ショットの一覧のためのフレームを、
前記表示手段に表示することができる。この結果該動画
処理装置の操作者は、元の動画の内容を、適確かつ短時
間に把握することができる。
は、第8の発明の動画処理装置において、前記表示制御
手段が上述のように動作する。この結果第10の発明の
動画処理装置は、前記抽出された複数のフレームの縮小
フレームの合成フレーム、すなわちフレームの抽出元で
ある元の動画の各ショットの一覧のためのフレームを、
前記表示手段に表示することができる。この結果該動画
処理装置の操作者は、元の動画の内容を、適確かつ短時
間に把握することができる。
【0033】第11の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記各フレームを1ま
たは複数の領域に区分し、前記各フレーム内の各領域を
代表する少なくとも1つの色と該各領域内の該色の出現
頻度とをそれぞれ検出して、該各フレーム内の全ての領
域の検出された色および出現頻度の組合わせを、前記各
フレームの前記特徴を示す特徴データとして出力する処
理と、前記動画内のいずれか1つのフレームである第1
フレームの、前記動画内のフレームの表示順に予め定め
る複数の基準枚数だけ該第1フレームからそれぞれ離れ
た複数の第2フレームとの特徴の相違の程度をそれぞれ
表す複数の離反フレーム間相違度を、前記特徴データに
基づいて、前記第1フレームをずらしてそれぞれ演算す
る処理と、前記フレームの前記各第2フレームに対応す
る離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理とを含むことを特徴とす
る動画場面転換部検出方法である。第11の発明に従え
ば、前記動画場面転換部検出方法において、前記複数の
各離反フレーム間相違度の表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内から前記合成フ
レームを検出する。この結果前記方法が用いられる場
合、トランジション効果の種類に拘わりなく、前記合成
フレーム、すなわち動画内のトランジション効果を用い
た場面転換部を検出することができる。さらに前記方法
が用いられる場合、前記場面転換部の検出のための計算
量を、従来の場面転換部の検出のための方法の計算量よ
りも減少させることができ、かつ、該検出の精度を、前
記従来の方法よりも向上させることができる。また前記
動画場面転換部検出方法は、前記特徴データを出力する
処理をさらに含み、かつ、前記特徴データに基づいて、
離反フレーム間相違度を演算する。単一の領域内の色の
出現頻度は、該領域内の前記色の部分の面積と等価であ
る。この結果前記離反フレーム間相違度が、前記2つの
フレームの差異の変化に応答して過敏および鈍感にそれ
ぞれ変化することがなく、該変化に適切に応答する。こ
の結果前記離反フレームの前記変化の特徴が崩れにくく
なるので、第11の発明の動画場面転換部検出方法は、
トランジション効果を用いた場面転換部の検出精度を、
さらに向上させることができる。
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記各フレームを1ま
たは複数の領域に区分し、前記各フレーム内の各領域を
代表する少なくとも1つの色と該各領域内の該色の出現
頻度とをそれぞれ検出して、該各フレーム内の全ての領
域の検出された色および出現頻度の組合わせを、前記各
フレームの前記特徴を示す特徴データとして出力する処
理と、前記動画内のいずれか1つのフレームである第1
フレームの、前記動画内のフレームの表示順に予め定め
る複数の基準枚数だけ該第1フレームからそれぞれ離れ
た複数の第2フレームとの特徴の相違の程度をそれぞれ
表す複数の離反フレーム間相違度を、前記特徴データに
基づいて、前記第1フレームをずらしてそれぞれ演算す
る処理と、前記フレームの前記各第2フレームに対応す
る離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理とを含むことを特徴とす
る動画場面転換部検出方法である。第11の発明に従え
ば、前記動画場面転換部検出方法において、前記複数の
各離反フレーム間相違度の表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内から前記合成フ
レームを検出する。この結果前記方法が用いられる場
合、トランジション効果の種類に拘わりなく、前記合成
フレーム、すなわち動画内のトランジション効果を用い
た場面転換部を検出することができる。さらに前記方法
が用いられる場合、前記場面転換部の検出のための計算
量を、従来の場面転換部の検出のための方法の計算量よ
りも減少させることができ、かつ、該検出の精度を、前
記従来の方法よりも向上させることができる。また前記
動画場面転換部検出方法は、前記特徴データを出力する
処理をさらに含み、かつ、前記特徴データに基づいて、
離反フレーム間相違度を演算する。単一の領域内の色の
出現頻度は、該領域内の前記色の部分の面積と等価であ
る。この結果前記離反フレーム間相違度が、前記2つの
フレームの差異の変化に応答して過敏および鈍感にそれ
ぞれ変化することがなく、該変化に適切に応答する。こ
の結果前記離反フレームの前記変化の特徴が崩れにくく
なるので、第11の発明の動画場面転換部検出方法は、
トランジション効果を用いた場面転換部の検出精度を、
さらに向上させることができる。
【0034】第12の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記表示順が連続する複数のフレームの複数の
離反フレーム間相違度の前記表示順に伴う変化パターン
が、予め定める複数の基準パターンとそれぞれ一致する
か否かを判断して、前記フレームの前記各第2フレーム
に対応する離反フレーム間相違度の前記表示順に従う変
化の特性を、それぞれ検出する処理と、前記検出された
特性に基づいて、動画内の表示順が隣接するべきフレー
ムが重なって合成されたトランジション効果を有する合
成フレームを、動画内から検出する処理とを含み、前記
全ての基準パターンのうち、前記いずれか1つの離反フ
レーム間相違度の変化パターンと比較されるべき第1基
準パターン、および該いずれか1つの離反フレーム間相
違度よりも算出時の前記基準枚数が多い離反フレーム間
相違度の変化パターンと比較されるべき第2基準パター
ンは、該第1および第2基準パターンをそれぞれ示すグ
ラフの形状が凸状であり、かつ、前記第1基準パターン
のグラフの高さおよび幅がそれぞれ前記第2基準パター
ンのグラフの高さおよび幅未満であることを特徴とする
動画場面転換部検出方法である。第12の発明に従え
ば、前記動画場面転換部検出方法において、前記複数の
各離反フレーム間相違度の表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内から前記合成フ
レームを検出する。この結果前記方法が用いられる場
合、トランジション効果の種類に拘わりなく、前記合成
フレーム、すなわち動画内のトランジション効果を用い
た場面転換部を検出することができる。さらに前記方法
が用いられる場合、前記場面転換部の検出のための計算
量を、従来の場面転換部の検出のための方法の計算量よ
りも減少させることができ、かつ、該検出の精度を、前
記従来の方法よりも向上させることができる。また前記
動画場面転換部検出方法における前記複数の各離反フレ
ーム間相違度の表示順に基づく変化の特性を、それぞれ
検出する処理において、前記表示順が連続する複数のフ
レームの複数の離反フレーム間相違度の前記表示順に伴
う変化パターンが、予め定める複数の基準パターンとそ
れぞれ一致するか否かを判断するようになっている。こ
の結果前記複数の各離反フレーム間相違度の表示順に基
づく変化の特性を、それぞれ検出する処理において、前
記特性として、各離反フレーム間相違度の変化パターン
と前記複数の基準パターンとの比較結果を出力する。す
なわち前記第12の発明の動画場面転換部検出方法は、
前記複数の離反フレーム間相違度の変化パターンに基づ
き、前記動画から前記場面転換部を容易に検出すること
ができる。
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記表示順が連続する複数のフレームの複数の
離反フレーム間相違度の前記表示順に伴う変化パターン
が、予め定める複数の基準パターンとそれぞれ一致する
か否かを判断して、前記フレームの前記各第2フレーム
に対応する離反フレーム間相違度の前記表示順に従う変
化の特性を、それぞれ検出する処理と、前記検出された
特性に基づいて、動画内の表示順が隣接するべきフレー
ムが重なって合成されたトランジション効果を有する合
成フレームを、動画内から検出する処理とを含み、前記
全ての基準パターンのうち、前記いずれか1つの離反フ
レーム間相違度の変化パターンと比較されるべき第1基
準パターン、および該いずれか1つの離反フレーム間相
違度よりも算出時の前記基準枚数が多い離反フレーム間
相違度の変化パターンと比較されるべき第2基準パター
ンは、該第1および第2基準パターンをそれぞれ示すグ
ラフの形状が凸状であり、かつ、前記第1基準パターン
のグラフの高さおよび幅がそれぞれ前記第2基準パター
ンのグラフの高さおよび幅未満であることを特徴とする
動画場面転換部検出方法である。第12の発明に従え
ば、前記動画場面転換部検出方法において、前記複数の
各離反フレーム間相違度の表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内から前記合成フ
レームを検出する。この結果前記方法が用いられる場
合、トランジション効果の種類に拘わりなく、前記合成
フレーム、すなわち動画内のトランジション効果を用い
た場面転換部を検出することができる。さらに前記方法
が用いられる場合、前記場面転換部の検出のための計算
量を、従来の場面転換部の検出のための方法の計算量よ
りも減少させることができ、かつ、該検出の精度を、前
記従来の方法よりも向上させることができる。また前記
動画場面転換部検出方法における前記複数の各離反フレ
ーム間相違度の表示順に基づく変化の特性を、それぞれ
検出する処理において、前記表示順が連続する複数のフ
レームの複数の離反フレーム間相違度の前記表示順に伴
う変化パターンが、予め定める複数の基準パターンとそ
れぞれ一致するか否かを判断するようになっている。こ
の結果前記複数の各離反フレーム間相違度の表示順に基
づく変化の特性を、それぞれ検出する処理において、前
記特性として、各離反フレーム間相違度の変化パターン
と前記複数の基準パターンとの比較結果を出力する。す
なわち前記第12の発明の動画場面転換部検出方法は、
前記複数の離反フレーム間相違度の変化パターンに基づ
き、前記動画から前記場面転換部を容易に検出すること
ができる。
【0035】第13の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記表示順が連続する複数のフレームの各離反
フレーム間相違度の変化パターンをそれぞれ近似するグ
ラフの数式をそれぞれ求める処理と、求められた複数の
前記数式に基づいて定められるパラメータに基づき、該
各数式のグラフで近似される変化パターンが前記各基準
パターンと一致するか否かを判断して、前記フレームの
前記各第2フレームに対応する離反フレーム間相違度の
前記表示順に従う変化の特性を、それぞれ検出する処理
と、前記検出された特性に基づいて、動画内の表示順が
隣接するべきフレームが重なって合成されたトランジシ
ョン効果を有する合成フレームを、動画内から検出する
処理とを含むことを特徴とする動画場面転換部検出方法
である。第13の発明に従えば、前記動画場面転換部検
出方法において、前記複数の各離反フレーム間相違度の
表示順に基づく変化の特性を検出し、該特性に基づい
て、前記動画内から前記合成フレームを検出する。この
結果前記方法が用いられる場合、トランジション効果の
種類に拘わりなく、前記合成フレーム、すなわち動画内
のトランジション効果を用いた場面転換部を検出するこ
とができる。さらに前記方法が用いられる場合、前記場
面転換部の検出のための計算量を、従来の場面転換部の
検出のための方法の計算量よりも減少させることがで
き、かつ、該検出の精度を、前記従来の方法よりも向上
させることができる。また前記動画場面転換部検出方法
において、前記表示順が連続する複数のフレームの各離
反フレーム間相違度の変化パターンをそれぞれ近似する
グラフの数式をそれぞれ求める処理をさらに含み、かつ
前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する処理において、求められた複数の前記数式に
基づいて定められるパラメータに基づき、該各数式のグ
ラフで近似される変化パターンが前記各基準パターンと
一致するか否かを判断するようになっている。この結果
前記各離反フレーム間相違度の変化パターンと前記各基
準パターンとの比較を、たとえば各フレーム内のノイズ
に起因する各離反フレーム間相違度の変動に対してロバ
ストに行うことができる。この結果前記第13の発明の
動画場面転換部検出方法は、トランジション効果を用い
た場面転換部の検出精度を、さらに向上させることがで
きる。
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記表示順が連続する複数のフレームの各離反
フレーム間相違度の変化パターンをそれぞれ近似するグ
ラフの数式をそれぞれ求める処理と、求められた複数の
前記数式に基づいて定められるパラメータに基づき、該
各数式のグラフで近似される変化パターンが前記各基準
パターンと一致するか否かを判断して、前記フレームの
前記各第2フレームに対応する離反フレーム間相違度の
前記表示順に従う変化の特性を、それぞれ検出する処理
と、前記検出された特性に基づいて、動画内の表示順が
隣接するべきフレームが重なって合成されたトランジシ
ョン効果を有する合成フレームを、動画内から検出する
処理とを含むことを特徴とする動画場面転換部検出方法
である。第13の発明に従えば、前記動画場面転換部検
出方法において、前記複数の各離反フレーム間相違度の
表示順に基づく変化の特性を検出し、該特性に基づい
て、前記動画内から前記合成フレームを検出する。この
結果前記方法が用いられる場合、トランジション効果の
種類に拘わりなく、前記合成フレーム、すなわち動画内
のトランジション効果を用いた場面転換部を検出するこ
とができる。さらに前記方法が用いられる場合、前記場
面転換部の検出のための計算量を、従来の場面転換部の
検出のための方法の計算量よりも減少させることがで
き、かつ、該検出の精度を、前記従来の方法よりも向上
させることができる。また前記動画場面転換部検出方法
において、前記表示順が連続する複数のフレームの各離
反フレーム間相違度の変化パターンをそれぞれ近似する
グラフの数式をそれぞれ求める処理をさらに含み、かつ
前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する処理において、求められた複数の前記数式に
基づいて定められるパラメータに基づき、該各数式のグ
ラフで近似される変化パターンが前記各基準パターンと
一致するか否かを判断するようになっている。この結果
前記各離反フレーム間相違度の変化パターンと前記各基
準パターンとの比較を、たとえば各フレーム内のノイズ
に起因する各離反フレーム間相違度の変動に対してロバ
ストに行うことができる。この結果前記第13の発明の
動画場面転換部検出方法は、トランジション効果を用い
た場面転換部の検出精度を、さらに向上させることがで
きる。
【0036】第14の発明の動画場面転換部検出方法
は、前記数式は、2次関数であり、前記パラメータは、
前記算出された2次関数の係数であることを特徴とす
る。第14の発明に従えば、前記動画場面転換部検出方
法は、第13の発明の動画場面転換部検出方法におい
て、前記数式およびパラメータが上述のものになってい
る。前記2次関数のグラフは、凸部が1つなので、前記
基準パターンに近似しやすい。また前記2次関数の式は
構成が簡単なので、前記グラフの凸部の中心、幅、位
置、高さに関するパラメータを抽出しやすい。この結果
前記第14の発明の方法における特性を検出する処理に
おいて、前記各変化パターンと前記各基準パターンとの
比較を、容易に行うことができる。
は、前記数式は、2次関数であり、前記パラメータは、
前記算出された2次関数の係数であることを特徴とす
る。第14の発明に従えば、前記動画場面転換部検出方
法は、第13の発明の動画場面転換部検出方法におい
て、前記数式およびパラメータが上述のものになってい
る。前記2次関数のグラフは、凸部が1つなので、前記
基準パターンに近似しやすい。また前記2次関数の式は
構成が簡単なので、前記グラフの凸部の中心、幅、位
置、高さに関するパラメータを抽出しやすい。この結果
前記第14の発明の方法における特性を検出する処理に
おいて、前記各変化パターンと前記各基準パターンとの
比較を、容易に行うことができる。
【0037】第15の発明の動画場面転換部検出方法
は、前記数式は、正弦関数を含む関数であり、前記パラ
メータは、前記算出された関数内の正弦関数の位相およ
びゲインであることを特徴とする。第15の発明に従え
ば、前記動画場面転換部検出方法は、第13の発明の動
画場面転換部検出方法において、前記数式およびパラメ
ータが上述のものになっている。前記正弦関数を含む関
数のグラフのうちの半周期分の部分は、凸部が1つなの
で、前記基準パターンに近似しやすい。また前記関数の
式は構成が簡単なので、前記グラフの凸部の中心、幅、
位置、高さに関するパラメータを抽出しやすい。この結
果前記第15の発明の方法における特性を検出する処理
において、前記各変化パターンと前記各基準パターンと
の比較を、容易に行うことができる。
は、前記数式は、正弦関数を含む関数であり、前記パラ
メータは、前記算出された関数内の正弦関数の位相およ
びゲインであることを特徴とする。第15の発明に従え
ば、前記動画場面転換部検出方法は、第13の発明の動
画場面転換部検出方法において、前記数式およびパラメ
ータが上述のものになっている。前記正弦関数を含む関
数のグラフのうちの半周期分の部分は、凸部が1つなの
で、前記基準パターンに近似しやすい。また前記関数の
式は構成が簡単なので、前記グラフの凸部の中心、幅、
位置、高さに関するパラメータを抽出しやすい。この結
果前記第15の発明の方法における特性を検出する処理
において、前記各変化パターンと前記各基準パターンと
の比較を、容易に行うことができる。
【0038】第16の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記フレームの前記各第2フレームに対応する
離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理と、前記動画内の各フレ
ーム毎に、該各フレームの表示順と1つだけ異なる表示
順のフレームと該各フレームとの特徴の違いを示す隣接
フレーム間相違度を、それぞれ算出する処理と、前記各
フレームの隣接フレーム間相違度から、該各フレームを
含み表示順が連続した複数のフレームのうちの該各フレ
ームを除く残余のフレームの隣接フレーム間相違度と予
め定める複数の重み係数との積の総和を、それぞれ減算
する処理と、前記減算後の隣接フレーム間相違度が予め
定めるカット点検出用閾値以上のフレームを、前記動画
内から検出する処理と、前記検出されたフレームに基づ
き、前記動画内のカット点を検出する処理とを含み、前
記残余の各フレームの隣接フレーム間相違度に乗算され
る各重み係数は、前記残余のフレームの隣接フレーム間
相違度のうちの該各隣接フレーム間相違度よりも小さい
隣接フレーム間相違度に乗算される重み係数以上である
ことを特徴とする動画場面転換部検出方法である。第1
6の発明に従えば、前記動画場面転換部検出方法におい
て、前記複数の各離反フレーム間相違度の表示順に基づ
く変化の特性を検出し、該特性に基づいて、前記動画内
から前記合成フレームを検出する。この結果前記方法が
用いられる場合、トランジション効果の種類に拘わりな
く、前記合成フレーム、すなわち動画内のトランジショ
ン効果を用いた場面転換部を検出することができる。さ
らに前記方法が用いられる場合、前記場面転換部の検出
のための計算量を、従来の場面転換部の検出のための方
法の計算量よりも減少させることができ、かつ、該検出
の精度を、前記従来の方法よりも向上させることができ
る。また前記動画場面転換部検出方法において、カット
点検出に拘わる上述の処理を含む構成になっている。前
記補正によって、前記各隣接フレーム相違度内の、動画
内の各ショットの撮影時のカメラおよび被写体の動きに
起因する該各ショット内の連続するフレームの差異に起
因する成分が、小さくなる。この結果前記第16の発明
の動画場面転換部検出方法は、カット点の検出精度を向
上させることができる。
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記フレームの前記各第2フレームに対応する
離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理と、前記動画内の各フレ
ーム毎に、該各フレームの表示順と1つだけ異なる表示
順のフレームと該各フレームとの特徴の違いを示す隣接
フレーム間相違度を、それぞれ算出する処理と、前記各
フレームの隣接フレーム間相違度から、該各フレームを
含み表示順が連続した複数のフレームのうちの該各フレ
ームを除く残余のフレームの隣接フレーム間相違度と予
め定める複数の重み係数との積の総和を、それぞれ減算
する処理と、前記減算後の隣接フレーム間相違度が予め
定めるカット点検出用閾値以上のフレームを、前記動画
内から検出する処理と、前記検出されたフレームに基づ
き、前記動画内のカット点を検出する処理とを含み、前
記残余の各フレームの隣接フレーム間相違度に乗算され
る各重み係数は、前記残余のフレームの隣接フレーム間
相違度のうちの該各隣接フレーム間相違度よりも小さい
隣接フレーム間相違度に乗算される重み係数以上である
ことを特徴とする動画場面転換部検出方法である。第1
6の発明に従えば、前記動画場面転換部検出方法におい
て、前記複数の各離反フレーム間相違度の表示順に基づ
く変化の特性を検出し、該特性に基づいて、前記動画内
から前記合成フレームを検出する。この結果前記方法が
用いられる場合、トランジション効果の種類に拘わりな
く、前記合成フレーム、すなわち動画内のトランジショ
ン効果を用いた場面転換部を検出することができる。さ
らに前記方法が用いられる場合、前記場面転換部の検出
のための計算量を、従来の場面転換部の検出のための方
法の計算量よりも減少させることができ、かつ、該検出
の精度を、前記従来の方法よりも向上させることができ
る。また前記動画場面転換部検出方法において、カット
点検出に拘わる上述の処理を含む構成になっている。前
記補正によって、前記各隣接フレーム相違度内の、動画
内の各ショットの撮影時のカメラおよび被写体の動きに
起因する該各ショット内の連続するフレームの差異に起
因する成分が、小さくなる。この結果前記第16の発明
の動画場面転換部検出方法は、カット点の検出精度を向
上させることができる。
【0039】第17の発明は、特徴が同一または近似し
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記フレームの前記各第2フレームに対応する
離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理と、前記動画内の各フレ
ーム毎に、該各フレームの表示順と1つだけ異なる表示
順のフレームと該各フレームとの特徴の違いを示す隣接
フレーム間相違度を、それぞれ算出する処理と、前記動
画内から、隣接フレーム間相違度が予め定めるカット点
検出用閾値以上の全てのフレームのうち、該各フレーム
を含み配列順が連続する複数の各フレームのいずれか1
つの離反フレーム間相違度が、全て予め定める閾値以上
であるフレームを検出する処理と、前記検出されたフレ
ームに基づき、前記動画内のカット点を検出する処理と
を含むことを特徴とする動画場面転換部検出方法であ
る。第17の発明に従えば、前記動画場面転換部検出方
法において、前記複数の各離反フレーム間相違度の表示
順に基づく変化の特性を検出し、該特性に基づいて、前
記動画内から前記合成フレームを検出する。この結果前
記方法が用いられる場合、トランジション効果の種類に
拘わりなく、前記合成フレーム、すなわち動画内のトラ
ンジション効果を用いた場面転換部を検出することがで
きる。さらに前記方法が用いられる場合、前記場面転換
部の検出のための計算量を、従来の場面転換部の検出の
ための方法の計算量よりも減少させることができ、か
つ、該検出の精度を、前記従来の方法よりも向上させる
ことができる。また前記動画場面転換部検出方法におい
て、カット点検出に拘わる上述の処理を含む構成になっ
ている。この結果動画内の各ショット内の連続する2つ
のフレームの隣接フレーム間相違度が前記カット点検出
用閾値以上になっている場合、該2つのフレームを含み
連続する複数のフレームの離反フレーム間相違度と前記
閾値との大小関係に応じて、前記2つのフレームを検出
するか否かを定める。前記離反フレーム相違度の増加
は、たとえば、単一のショット内の連続する2つのフレ
ームのうちの一方の撮影時だけに、フラッシュがたかれ
ている場合に、起こる。この結果前記第17の発明の動
画場面転換部検出方法は、フラッシュの影響に起因する
カット点の誤検出を防止することができるので、カット
点の検出精度を向上させることができる。
かつ時間経過に伴って順次的に表示されるべき複数のフ
レームからそれぞれ構成される複数のショットから構成
される動画を記憶させる処理と、前記動画内のいずれか
1つのフレームである第1フレームの、前記動画内のフ
レームの表示順に予め定める複数の基準枚数だけ該第1
フレームからそれぞれ離れた複数の第2フレームとの特
徴の相違の程度をそれぞれ表す複数の離反フレーム間相
違度を、前記第1フレームをずらしてそれぞれ演算する
処理と、前記フレームの前記各第2フレームに対応する
離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、前記検出された特性に基
づいて、動画内の表示順が隣接するべきフレームが重な
って合成されたトランジション効果を有する合成フレー
ムを、動画内から検出する処理と、前記動画内の各フレ
ーム毎に、該各フレームの表示順と1つだけ異なる表示
順のフレームと該各フレームとの特徴の違いを示す隣接
フレーム間相違度を、それぞれ算出する処理と、前記動
画内から、隣接フレーム間相違度が予め定めるカット点
検出用閾値以上の全てのフレームのうち、該各フレーム
を含み配列順が連続する複数の各フレームのいずれか1
つの離反フレーム間相違度が、全て予め定める閾値以上
であるフレームを検出する処理と、前記検出されたフレ
ームに基づき、前記動画内のカット点を検出する処理と
を含むことを特徴とする動画場面転換部検出方法であ
る。第17の発明に従えば、前記動画場面転換部検出方
法において、前記複数の各離反フレーム間相違度の表示
順に基づく変化の特性を検出し、該特性に基づいて、前
記動画内から前記合成フレームを検出する。この結果前
記方法が用いられる場合、トランジション効果の種類に
拘わりなく、前記合成フレーム、すなわち動画内のトラ
ンジション効果を用いた場面転換部を検出することがで
きる。さらに前記方法が用いられる場合、前記場面転換
部の検出のための計算量を、従来の場面転換部の検出の
ための方法の計算量よりも減少させることができ、か
つ、該検出の精度を、前記従来の方法よりも向上させる
ことができる。また前記動画場面転換部検出方法におい
て、カット点検出に拘わる上述の処理を含む構成になっ
ている。この結果動画内の各ショット内の連続する2つ
のフレームの隣接フレーム間相違度が前記カット点検出
用閾値以上になっている場合、該2つのフレームを含み
連続する複数のフレームの離反フレーム間相違度と前記
閾値との大小関係に応じて、前記2つのフレームを検出
するか否かを定める。前記離反フレーム相違度の増加
は、たとえば、単一のショット内の連続する2つのフレ
ームのうちの一方の撮影時だけに、フラッシュがたかれ
ている場合に、起こる。この結果前記第17の発明の動
画場面転換部検出方法は、フラッシュの影響に起因する
カット点の誤検出を防止することができるので、カット
点の検出精度を向上させることができる。
【0040】第18の発明は、請求項11〜17のうち
のいずれかに記載の動画場面転換部検出方法を、コンピ
ュータに実行させるための動画場面転換部検出制御プロ
グラムを記憶する媒体である。第18の発明に従えば、
前記媒体は、前記動画場面転換部検出制御プログラムを
含む。前記プログラムをコンピュータにインストールし
て実行させた場合、該コンピュータは、第1〜第7のう
ちのいずれかの発明の動画場面転換部検出装置と同様に
動作する。この結果前記コンピュータは、第1〜第7の
発明の装置と同様に、動画内のトランジション効果を用
いた場面転換部を、該トランジション効果の種類に拘わ
らず、検出することができ、かつ、前記場面転換部の検
出に要する計算量の減少、および該検出の精度の向上を
図ることができる。
のいずれかに記載の動画場面転換部検出方法を、コンピ
ュータに実行させるための動画場面転換部検出制御プロ
グラムを記憶する媒体である。第18の発明に従えば、
前記媒体は、前記動画場面転換部検出制御プログラムを
含む。前記プログラムをコンピュータにインストールし
て実行させた場合、該コンピュータは、第1〜第7のう
ちのいずれかの発明の動画場面転換部検出装置と同様に
動作する。この結果前記コンピュータは、第1〜第7の
発明の装置と同様に、動画内のトランジション効果を用
いた場面転換部を、該トランジション効果の種類に拘わ
らず、検出することができ、かつ、前記場面転換部の検
出に要する計算量の減少、および該検出の精度の向上を
図ることができる。
【0041】
【0042】
【発明の実施の形態】図1は、本発明の第1の実施の形
態である動画場面転換部検出装置50の機能的構成を示
すブロック図である。第1の実施の形態の動画場面転換
部検出装置(以後、「第1転換部検出装置」と略称す
る)50は、機能的には、フレーム展開部51、フレー
ム記憶部52、フレーム内特徴抽出部53、フレーム内
特徴記憶部54、相違度計算部55、相違度記憶部5
6、特徴形状検出部57、カット検出部58、検出結果
出力部59、および制御回路60を含む。制御回路60
は、第1転換部検出装置50内の他の部51〜59の動
作タイミングを制御する。
態である動画場面転換部検出装置50の機能的構成を示
すブロック図である。第1の実施の形態の動画場面転換
部検出装置(以後、「第1転換部検出装置」と略称す
る)50は、機能的には、フレーム展開部51、フレー
ム記憶部52、フレーム内特徴抽出部53、フレーム内
特徴記憶部54、相違度計算部55、相違度記憶部5
6、特徴形状検出部57、カット検出部58、検出結果
出力部59、および制御回路60を含む。制御回路60
は、第1転換部検出装置50内の他の部51〜59の動
作タイミングを制御する。
【0043】処理対象となる動画、すなわち対象動画
は、前述の図22で説明したものと同様に、複数のショ
ットが場面転換部を介して順次接続されて構成されてい
るとする。前記各ショットは、時間経過に伴って順次表
示するべき1または複数のフレームの集合である。前記
対象動画内の場面転換部は、図23(A)で説明したカ
ット点でもよく、図23(B),(C)で説明したトラ
ンジション部分、すなわちトランジション効果を用いた
ショットの転換のための合成フレームの集合であっても
よい。各フレームは、動画を構成するための静止画に相
当する。このような構成の対象動画の各フレームをそれ
ぞれ示すデータが、予め定める表示順に従い、時間経過
に伴って順次的に、第1転換部検出装置50に入力され
る。
は、前述の図22で説明したものと同様に、複数のショ
ットが場面転換部を介して順次接続されて構成されてい
るとする。前記各ショットは、時間経過に伴って順次表
示するべき1または複数のフレームの集合である。前記
対象動画内の場面転換部は、図23(A)で説明したカ
ット点でもよく、図23(B),(C)で説明したトラ
ンジション部分、すなわちトランジション効果を用いた
ショットの転換のための合成フレームの集合であっても
よい。各フレームは、動画を構成するための静止画に相
当する。このような構成の対象動画の各フレームをそれ
ぞれ示すデータが、予め定める表示順に従い、時間経過
に伴って順次的に、第1転換部検出装置50に入力され
る。
【0044】入力された前記対象動画の各フレームを示
すデータは、与えられた順に、フレーム展開部51にそ
れぞれ与えられる。フレーム展開部51は、各フレーム
のデータの形態を、転換部検出装置31内で処理するの
に適した形態に、それぞれ変換する。以後の説明では、
形態変換後のデータが示すフレームは、複数個の画素が
行列状に配置されて構成される静止画であるとし、該形
態変換後の各フレームのデータは、該各フレームを構成
する全ての画素の色および輝度をそれぞれ示す画素デー
タセットの集合、すなわちいわゆる格子状データである
とする。
すデータは、与えられた順に、フレーム展開部51にそ
れぞれ与えられる。フレーム展開部51は、各フレーム
のデータの形態を、転換部検出装置31内で処理するの
に適した形態に、それぞれ変換する。以後の説明では、
形態変換後のデータが示すフレームは、複数個の画素が
行列状に配置されて構成される静止画であるとし、該形
態変換後の各フレームのデータは、該各フレームを構成
する全ての画素の色および輝度をそれぞれ示す画素デー
タセットの集合、すなわちいわゆる格子状データである
とする。
【0045】すなわちたとえばフレーム展開部51は、
入力時点の各フレームのデータがアナログデータである
ならば、該データをアナログ/デジタル変換した後に格
子状データに変換し、入力時点の各フレームのデータが
圧縮されたデジタルデータであるならば、該データを展
開した後に格子状データに変換する。なお第1転換部検
出装置31内で、対象動画内の各フレームは前記格子状
データの形態で取扱われ、対象動画は該動画を構成する
全てのフレームの格子状データの集合として取扱われる
が、以後の説明では取扱われる形態に拘わらず、「フレ
ーム」,「対象動画」と称する。
入力時点の各フレームのデータがアナログデータである
ならば、該データをアナログ/デジタル変換した後に格
子状データに変換し、入力時点の各フレームのデータが
圧縮されたデジタルデータであるならば、該データを展
開した後に格子状データに変換する。なお第1転換部検
出装置31内で、対象動画内の各フレームは前記格子状
データの形態で取扱われ、対象動画は該動画を構成する
全てのフレームの格子状データの集合として取扱われる
が、以後の説明では取扱われる形態に拘わらず、「フレ
ーム」,「対象動画」と称する。
【0046】形態変換後の対象動画内の各フレームは、
フレーム記憶部52に順次記憶される。以後、対象動画
を構成する全てのフレームのうち、表示順に従い、先頭
からn番目のフレームを、第nフレームと称する。n
は、0以上でかつ対象画像の全フレーム数N未満の任意
の整数である。すなわち前記対象動画は、第0フレーム
〜第N−1フレームによって構成されるとする。フレー
ム記憶部52は、少なくとも1枚の形態変換後のフレー
ムを記憶可能であるとする。
フレーム記憶部52に順次記憶される。以後、対象動画
を構成する全てのフレームのうち、表示順に従い、先頭
からn番目のフレームを、第nフレームと称する。n
は、0以上でかつ対象画像の全フレーム数N未満の任意
の整数である。すなわち前記対象動画は、第0フレーム
〜第N−1フレームによって構成されるとする。フレー
ム記憶部52は、少なくとも1枚の形態変換後のフレー
ムを記憶可能であるとする。
【0047】フレーム内特徴抽出部53は、フレーム記
憶部52内のフレームに基づき、該フレームのフレーム
内特徴を求める。第nフレームのフレーム内特徴Rn
は、第nフレームを対象動画内の他のフレームと区別す
るために用いる定量的な数値の集まりである。添字nは
0以上N−1以下の整数である。
憶部52内のフレームに基づき、該フレームのフレーム
内特徴を求める。第nフレームのフレーム内特徴Rn
は、第nフレームを対象動画内の他のフレームと区別す
るために用いる定量的な数値の集まりである。添字nは
0以上N−1以下の整数である。
【0048】フレーム内特徴記憶部54は、縦列接続さ
れた予め定める数NFの特徴バッファBF[0]〜BF
[NF−1]を備え、各特徴バッファBF[f]にそれ
ぞれ1つのフレーム内特徴Rnを記憶する。NFは、1
以上N以下の任意の整数であり、fは0以上NF−1以
下の任意の整数である。すなわちフレーム内特徴記憶部
54は、少なくとも3つ以上の特徴バッファBF[f]
を備える。各特徴バッファBF[f]は、添字fが大き
いほど、対象動画内の表示順の早いフレームのフレーム
内特徴を記憶するものとする。
れた予め定める数NFの特徴バッファBF[0]〜BF
[NF−1]を備え、各特徴バッファBF[f]にそれ
ぞれ1つのフレーム内特徴Rnを記憶する。NFは、1
以上N以下の任意の整数であり、fは0以上NF−1以
下の任意の整数である。すなわちフレーム内特徴記憶部
54は、少なくとも3つ以上の特徴バッファBF[f]
を備える。各特徴バッファBF[f]は、添字fが大き
いほど、対象動画内の表示順の早いフレームのフレーム
内特徴を記憶するものとする。
【0049】相違度計算部55は、フレーム内特徴記憶
部54内の複数のフレーム内特徴R 〜Rn-NF+1を用い、
対象動画内の各フレーム毎に、複数のフレーム間相違度
をそれぞれ求める。第nフレームのいずれか1つのフレ
ーム間相違度D(n,n−Lx)は、第nフレームと、
該第nフレームから予め定める第xフレーム間距離Lx
だけそれぞれ離れた他のフレームとの相違性をそれぞれ
数量化したものである。xは、1以上の任意の整数であ
る。フレーム間相違度が大きいほど、第nフレームと前
記他のフレームとの違いが大きい。フレーム間距離と
は、基準の第nフレームと比較対象である前記他のフレ
ームとの表示順番の差である。フレーム間距離は、基本
的には、検出しようとしているトランジション部分内の
全フレーム数以下であればよく、該フレーム数は、基本
的には、単一ショットを構成する全フレーム数未満であ
る。
部54内の複数のフレーム内特徴R 〜Rn-NF+1を用い、
対象動画内の各フレーム毎に、複数のフレーム間相違度
をそれぞれ求める。第nフレームのいずれか1つのフレ
ーム間相違度D(n,n−Lx)は、第nフレームと、
該第nフレームから予め定める第xフレーム間距離Lx
だけそれぞれ離れた他のフレームとの相違性をそれぞれ
数量化したものである。xは、1以上の任意の整数であ
る。フレーム間相違度が大きいほど、第nフレームと前
記他のフレームとの違いが大きい。フレーム間距離と
は、基準の第nフレームと比較対象である前記他のフレ
ームとの表示順番の差である。フレーム間距離は、基本
的には、検出しようとしているトランジション部分内の
全フレーム数以下であればよく、該フレーム数は、基本
的には、単一ショットを構成する全フレーム数未満であ
る。
【0050】本実施の形態では、第nフレームに関し、
該第nフレームと、該第nフレームよりも第1〜第3フ
レーム間距離L1〜L3だけ表示順が早いフレーム、す
なわち第n−L1,第n−L2,第n−L3フレームと
の相違性をそれぞれ数量化した第1〜第3フレーム間相
違度D(n,n−L1),D(n,n−L2),D
(n,n−L3)がそれぞれ求められるとする。この
際、第1フレーム間距離L1は1であり、第2フレーム
間距離L2は2以上の整数であり、第3フレーム間相違
度L3は第2フレーム間距離L3よりも大きく、かつ前
記トランジション部分の全フレーム数以下であるとす
る。すなわち第1フレーム間相違度D(n,n−L1)
は、対象動画内で連続する2つのフレーム間の相違度、
すなわち隣接フレーム間相違度であり、第2および第3
フレーム間相違度D(n,n−L2),D(n,n−L
3)は、対象動画内で少なくとも1つの他のフレームを
挟んで並ぶ2つのフレーム間の相違度、すなわち離反フ
レーム間相違度である。本実施の形態では、1秒分の動
画が30フレームから構成され、トランジション効果が
およそ1秒間(30フレーム)として、第2フレーム間
距離L2を10とし、第3フレーム間距離L3を30と
する。
該第nフレームと、該第nフレームよりも第1〜第3フ
レーム間距離L1〜L3だけ表示順が早いフレーム、す
なわち第n−L1,第n−L2,第n−L3フレームと
の相違性をそれぞれ数量化した第1〜第3フレーム間相
違度D(n,n−L1),D(n,n−L2),D
(n,n−L3)がそれぞれ求められるとする。この
際、第1フレーム間距離L1は1であり、第2フレーム
間距離L2は2以上の整数であり、第3フレーム間相違
度L3は第2フレーム間距離L3よりも大きく、かつ前
記トランジション部分の全フレーム数以下であるとす
る。すなわち第1フレーム間相違度D(n,n−L1)
は、対象動画内で連続する2つのフレーム間の相違度、
すなわち隣接フレーム間相違度であり、第2および第3
フレーム間相違度D(n,n−L2),D(n,n−L
3)は、対象動画内で少なくとも1つの他のフレームを
挟んで並ぶ2つのフレーム間の相違度、すなわち離反フ
レーム間相違度である。本実施の形態では、1秒分の動
画が30フレームから構成され、トランジション効果が
およそ1秒間(30フレーム)として、第2フレーム間
距離L2を10とし、第3フレーム間距離L3を30と
する。
【0051】相違度記憶部56は、縦列接続された予め
定める数の相違度バッファから構成されるバッファ群
を、1つのフレームに対するフレーム間相違度の数と同
数備える。すなわち本実施の形態では、相違度記憶部5
6は、第1〜第3バッファ群、すなわちそれぞれ縦列接
続された予め定める数NDずつの第1〜第3相違度バッ
ファBDL1[0]〜BDL1[ND−1],BDL2
[0]〜BDL2[ND−1],BDL3[0]〜BD
L3[ND−1]をそれぞれ備え、各相違度バッファB
DL1[d],BDL2[d],BDL3[d]がそれ
ぞれ1つの第1〜第3フレーム間相違度D(n,n−L
1),D(n,n−L2),D(n,n−L3)をそれ
ぞれ記憶する。NDは1以上N以下の任意の整数であ
り、dは0以上ND−1以下の任意の整数である。各第
1〜第3相違度バッファBDL1[d]〜BDL3
[d]は、添字dが大きいほど、対象動画内の表示順の
早いフレームの第1〜第3フレーム間相違度を記憶する
ものとする。
定める数の相違度バッファから構成されるバッファ群
を、1つのフレームに対するフレーム間相違度の数と同
数備える。すなわち本実施の形態では、相違度記憶部5
6は、第1〜第3バッファ群、すなわちそれぞれ縦列接
続された予め定める数NDずつの第1〜第3相違度バッ
ファBDL1[0]〜BDL1[ND−1],BDL2
[0]〜BDL2[ND−1],BDL3[0]〜BD
L3[ND−1]をそれぞれ備え、各相違度バッファB
DL1[d],BDL2[d],BDL3[d]がそれ
ぞれ1つの第1〜第3フレーム間相違度D(n,n−L
1),D(n,n−L2),D(n,n−L3)をそれ
ぞれ記憶する。NDは1以上N以下の任意の整数であ
り、dは0以上ND−1以下の任意の整数である。各第
1〜第3相違度バッファBDL1[d]〜BDL3
[d]は、添字dが大きいほど、対象動画内の表示順の
早いフレームの第1〜第3フレーム間相違度を記憶する
ものとする。
【0052】カット検出部58は、少なくとも相違度記
憶部56内の複数のフレームの第1フレーム間相違度D
(n,n−L1)を用い、対象動画内からカット点を検
出する。特徴形状検出部57は、少なくとも相違度記憶
部56内の複数のフレームの第2および第3フレーム間
相違度D(n,n−L2),D(n,n−L3)を用
い、対象動画内から、トランジション部分を検出する。
検出結果出力部59は、カットおよび特徴形状検出部5
8,57の検出結果に基づき、対象動画内にカット点ま
たはトランジション部分のうちの少なくとも一方、すな
わち場面転換部があるか否かを、検出結果として出力す
る。
憶部56内の複数のフレームの第1フレーム間相違度D
(n,n−L1)を用い、対象動画内からカット点を検
出する。特徴形状検出部57は、少なくとも相違度記憶
部56内の複数のフレームの第2および第3フレーム間
相違度D(n,n−L2),D(n,n−L3)を用
い、対象動画内から、トランジション部分を検出する。
検出結果出力部59は、カットおよび特徴形状検出部5
8,57の検出結果に基づき、対象動画内にカット点ま
たはトランジション部分のうちの少なくとも一方、すな
わち場面転換部があるか否かを、検出結果として出力す
る。
【0053】一般的に、任意の2つのフレームが同一シ
ョット内のフレームである場合、該2つのフレーム間の
フレーム間距離が短いほど、該2つのフレーム間の相違
度が小さく、該フレーム間距離が長いほど、該相違度が
大きくなる。これは以下の理由からである。前記場合、
前記フレーム間距離が短いほど、前記2つの各フレーム
の撮影時点間の時間間隔が短くなるので、該2つの撮影
時点間の被写体とカメラとの相対的な位置関係のずれが
小さくなる。この結果2つの各フレームには、前記被写
体がほぼ同一の位置に写っているので、該2つのフレー
ムの相関が高い。これと逆に、前記場合、前記フレーム
間距離が長いほど、前記2つの各フレームの撮影時点間
の時間間隔が長くなるので、該2つの撮影時点間の前記
位置関係のずれが大きくなる。この結果2つのフレーム
の相関が低くなる。2つのフレームの相関が高いほど、
該2つのフレーム間の前記フレーム間相違度は低い。
ョット内のフレームである場合、該2つのフレーム間の
フレーム間距離が短いほど、該2つのフレーム間の相違
度が小さく、該フレーム間距離が長いほど、該相違度が
大きくなる。これは以下の理由からである。前記場合、
前記フレーム間距離が短いほど、前記2つの各フレーム
の撮影時点間の時間間隔が短くなるので、該2つの撮影
時点間の被写体とカメラとの相対的な位置関係のずれが
小さくなる。この結果2つの各フレームには、前記被写
体がほぼ同一の位置に写っているので、該2つのフレー
ムの相関が高い。これと逆に、前記場合、前記フレーム
間距離が長いほど、前記2つの各フレームの撮影時点間
の時間間隔が長くなるので、該2つの撮影時点間の前記
位置関係のずれが大きくなる。この結果2つのフレーム
の相関が低くなる。2つのフレームの相関が高いほど、
該2つのフレーム間の前記フレーム間相違度は低い。
【0054】具体的な前記トランジション効果は、たと
えば、ディゾルブ、ワイプ、スライド、プッシュ、スト
レッチ、およびピール等がある。ディゾルブは、先行シ
ョットと後続ショットとの切換えの際に、先行ショット
内から後続ショットを浮き出させる。ワイプは、前記切
換えの際に、先行ショットが後続ショットによって拭い
去らせる。スライドは、前記切換えの際に、先行ショッ
トに後続ショットをスライドして挿入させる。プッシュ
は、前記切換の際に、後続ショットが先行ショットを押
し出すように挿入させる。ストレッチは、前記切換えの
際に、先行ショットと後続ショットとをそれぞれ縮小し
て並べ、かつ該各ショットの面積比率を変更する、ピー
ルは、先行ショットを紙がめくれるように変化させて後
続ショットと切換える。具体的なトランジション効果
は、この他に、たとえば2つのショットのうちの一方を
3次元的に変形かつ移動させるものがある。またたとえ
ばワイプ、スライド、プッシュおよびストレッチは、シ
ョットの変形する方向が、表示装置の画面の上下左右の
うちのどの方向でもよく、またワイプは後続ショットが
画面中央、画面両端、画面の四隅のうちのどこから現れ
ても良い。
えば、ディゾルブ、ワイプ、スライド、プッシュ、スト
レッチ、およびピール等がある。ディゾルブは、先行シ
ョットと後続ショットとの切換えの際に、先行ショット
内から後続ショットを浮き出させる。ワイプは、前記切
換えの際に、先行ショットが後続ショットによって拭い
去らせる。スライドは、前記切換えの際に、先行ショッ
トに後続ショットをスライドして挿入させる。プッシュ
は、前記切換の際に、後続ショットが先行ショットを押
し出すように挿入させる。ストレッチは、前記切換えの
際に、先行ショットと後続ショットとをそれぞれ縮小し
て並べ、かつ該各ショットの面積比率を変更する、ピー
ルは、先行ショットを紙がめくれるように変化させて後
続ショットと切換える。具体的なトランジション効果
は、この他に、たとえば2つのショットのうちの一方を
3次元的に変形かつ移動させるものがある。またたとえ
ばワイプ、スライド、プッシュおよびストレッチは、シ
ョットの変形する方向が、表示装置の画面の上下左右の
うちのどの方向でもよく、またワイプは後続ショットが
画面中央、画面両端、画面の四隅のうちのどこから現れ
ても良い。
【0055】図2は、対象動画内のトランジション部分
および該部分の前後のショット内のフレームを、表示順
に並べた模式図である。複数の合成フレームから構成さ
れるトランジション部分TRを介して、2つのショット
SA,SBが連結されている。トランジション部分TR
内のフレームC(1)〜C(NN)は、2つのショット
のうちの先行ショットSAの末尾よりも表示順が予め定
める数NNだけ早いフレームから末尾のフレームまでの
複数のフレームAと、2つのショットのうちの後続ショ
ットSBの先頭フレームから該先頭フレームよりも表示
順が予め定める数NNだけ遅いフレームまでの複数のフ
レームBとが、それぞれ式1に基づいて合成されたもの
である。
および該部分の前後のショット内のフレームを、表示順
に並べた模式図である。複数の合成フレームから構成さ
れるトランジション部分TRを介して、2つのショット
SA,SBが連結されている。トランジション部分TR
内のフレームC(1)〜C(NN)は、2つのショット
のうちの先行ショットSAの末尾よりも表示順が予め定
める数NNだけ早いフレームから末尾のフレームまでの
複数のフレームAと、2つのショットのうちの後続ショ
ットSBの先頭フレームから該先頭フレームよりも表示
順が予め定める数NNだけ遅いフレームまでの複数のフ
レームBとが、それぞれ式1に基づいて合成されたもの
である。
【0056】
C(n)= α(n)B+(1−α(n))A
n = 1,2,3,…,NN …(1)
0 < α(n)< 1 …(2)
α(n)= n÷(NN+1) …(3)
式1において、「NN」はトランジション効果を用いた
場面転換部に用いられるフレームの数であり、係数「α
(n)」は式2,3によって定義される。前記フレーム
の数NNに規定はなく、どのような数値でもよい。具体
的には、たとえばトランジション部分がディゾルブ効果
を用いる場合、前述の2つのショットSA,SBのフレ
ームA,Bの対応画素の色が、式1の関係で混合され
る。対応画素とは、2枚のフレームを座標系を一致させ
て重ね合わせた場合に、相互に重なり合う画素を指す。
またたとえばトランジション部分Tがワイプ効果を用い
る場合、表示装置の画面上に占める前述の2つのショッ
トSA,SBのフレームA,Bの面積比率が、式1の関
係で変化する。
場面転換部に用いられるフレームの数であり、係数「α
(n)」は式2,3によって定義される。前記フレーム
の数NNに規定はなく、どのような数値でもよい。具体
的には、たとえばトランジション部分がディゾルブ効果
を用いる場合、前述の2つのショットSA,SBのフレ
ームA,Bの対応画素の色が、式1の関係で混合され
る。対応画素とは、2枚のフレームを座標系を一致させ
て重ね合わせた場合に、相互に重なり合う画素を指す。
またたとえばトランジション部分Tがワイプ効果を用い
る場合、表示装置の画面上に占める前述の2つのショッ
トSA,SBのフレームA,Bの面積比率が、式1の関
係で変化する。
【0057】対象動画内のフレームの離反フレーム間相
違度、すなわち本実施の形態の第2および第3フレーム
間相違度の表示順に従う変化と、トランジション効果と
の関係を、以下に説明する。
違度、すなわち本実施の形態の第2および第3フレーム
間相違度の表示順に従う変化と、トランジション効果と
の関係を、以下に説明する。
【0058】図3は、対象動画内のトランジション部分
内およびその近傍のフレームの第2および第3フレーム
間相違度D(n,n−L2),D(n,n−L3)を、
該フレームの表示順に従ってプロットしたグラフであ
る。グラフGD1,GD2は、第2および第3フレーム
間相違度D(n,n−L2),D(n,n−L3)の表
示順に従う変化を、それぞれ示す。なお図3において、
先行ショット内の複数のフレームおよび後続ショット内
の複数のフレームは、それぞれほとんど相違がないと仮
定する。またフレーム間相違度の演算において、演算対
象となる第nフレームを着目フレーム、該第nフレーム
よりも前記フレーム間距離だけ表示順が早いフレーム
を、比較用フレームと称する。
内およびその近傍のフレームの第2および第3フレーム
間相違度D(n,n−L2),D(n,n−L3)を、
該フレームの表示順に従ってプロットしたグラフであ
る。グラフGD1,GD2は、第2および第3フレーム
間相違度D(n,n−L2),D(n,n−L3)の表
示順に従う変化を、それぞれ示す。なお図3において、
先行ショット内の複数のフレームおよび後続ショット内
の複数のフレームは、それぞれほとんど相違がないと仮
定する。またフレーム間相違度の演算において、演算対
象となる第nフレームを着目フレーム、該第nフレーム
よりも前記フレーム間距離だけ表示順が早いフレーム
を、比較用フレームと称する。
【0059】グラフGD1,GD2のうちの区間WA
1,WA2内の離反フレーム間相違度の算出時、着目お
よび比較用フレームの両方が先行ショット内のフレーム
である。この場合前記離反フレーム間相違度は比較的低
い値を保ち、かつ離反フレーム該相違度の表示順に伴う
変化は小さい。グラフGD1,GD2のうちの区間WB
1,WB2内の離反フレーム間相違度の算出時、着目フ
レームだけがトランジション部分内のフレームであり、
比較用フレームは先行ショット内のフレームである。こ
の場合、着目フレームの表示順が増加するほど該着目フ
レームは先行ショットから離れるので、着目フレームの
表示順が大きいほど、前記離反フレーム間相違度は大き
い。
1,WA2内の離反フレーム間相違度の算出時、着目お
よび比較用フレームの両方が先行ショット内のフレーム
である。この場合前記離反フレーム間相違度は比較的低
い値を保ち、かつ離反フレーム該相違度の表示順に伴う
変化は小さい。グラフGD1,GD2のうちの区間WB
1,WB2内の離反フレーム間相違度の算出時、着目フ
レームだけがトランジション部分内のフレームであり、
比較用フレームは先行ショット内のフレームである。こ
の場合、着目フレームの表示順が増加するほど該着目フ
レームは先行ショットから離れるので、着目フレームの
表示順が大きいほど、前記離反フレーム間相違度は大き
い。
【0060】グラフGD1,GD2のうちの区間WC
1,WC2内の離反フレーム間相違度の算出時、着目お
よび比較用フレームの両方がトランジション部分内のフ
レームであるか、または、両フレームがトランジション
部分を挟む2つのショットそれぞれのフレームである。
すなわち後者の場合、着目フレームだけが先行ショット
内のフレームであり、比較用フレームだけが後続ショッ
ト内のフレームである。これらの場合前記離反フレーム
間相違度は比較的高い値を保ち、かつ該相違度の表示順
に伴う変化は小さい。
1,WC2内の離反フレーム間相違度の算出時、着目お
よび比較用フレームの両方がトランジション部分内のフ
レームであるか、または、両フレームがトランジション
部分を挟む2つのショットそれぞれのフレームである。
すなわち後者の場合、着目フレームだけが先行ショット
内のフレームであり、比較用フレームだけが後続ショッ
ト内のフレームである。これらの場合前記離反フレーム
間相違度は比較的高い値を保ち、かつ該相違度の表示順
に伴う変化は小さい。
【0061】グラフGD1,GD2のうちの区間WD
1,WD2内の離反フレーム間相違度の算出時、着目フ
レームだけが後続ショット内のフレームであり、比較用
フレームはトランジション部分内のフレームである。こ
の場合、着目フレームの表示順が大きくなるほど該着目
フレームは後続ショットに近付くので、着目フレームの
表示順が大きいほど、前記離反フレーム間相違度は小さ
い。グラフGD1,GD2のうちの区間WE1,WE2
内の離反フレーム間相違度の算出時、着目および比較用
フレームの両方が後続ショット内のフレームである。こ
の場合前記離反フレーム間相違度は比較的低い値を保
ち、かつ離反フレーム該相違度の表示順に伴う変化は小
さい。
1,WD2内の離反フレーム間相違度の算出時、着目フ
レームだけが後続ショット内のフレームであり、比較用
フレームはトランジション部分内のフレームである。こ
の場合、着目フレームの表示順が大きくなるほど該着目
フレームは後続ショットに近付くので、着目フレームの
表示順が大きいほど、前記離反フレーム間相違度は小さ
い。グラフGD1,GD2のうちの区間WE1,WE2
内の離反フレーム間相違度の算出時、着目および比較用
フレームの両方が後続ショット内のフレームである。こ
の場合前記離反フレーム間相違度は比較的低い値を保
ち、かつ離反フレーム該相違度の表示順に伴う変化は小
さい。
【0062】またグラフGD1,GD2に基づき、区間
WB1,WB2の開始時点、すなわち第2および第3フ
レーム間相違度が増加し始める時点TBは相互にほぼ等
しく、かつ、区間WC1,WD1,WE1の開始時点、
すなわち増加開始後の第2フレーム間相違度のグラフG
D1の変化点よりも、区間WC2,WD2,WE2の開
始時点、すなわち増加開始後の第3フレーム間相違度の
グラフの変化点のほうが、それぞれ遅いことがわかる。
またグラフGD1,GD2に基づき、区間WC1内の第
2フレーム間相違度D(n,n−L2)よりも、区間W
C2内の第3フレーム間相違度D(n,n−L3)のほ
うが大きく、かつ、区間WC1よりも区間WC2のほう
が短いことが分かる。
WB1,WB2の開始時点、すなわち第2および第3フ
レーム間相違度が増加し始める時点TBは相互にほぼ等
しく、かつ、区間WC1,WD1,WE1の開始時点、
すなわち増加開始後の第2フレーム間相違度のグラフG
D1の変化点よりも、区間WC2,WD2,WE2の開
始時点、すなわち増加開始後の第3フレーム間相違度の
グラフの変化点のほうが、それぞれ遅いことがわかる。
またグラフGD1,GD2に基づき、区間WC1内の第
2フレーム間相違度D(n,n−L2)よりも、区間W
C2内の第3フレーム間相違度D(n,n−L3)のほ
うが大きく、かつ、区間WC1よりも区間WC2のほう
が短いことが分かる。
【0063】すなわち対象動画内のトランジション部分
およびその近傍のフレームの第2および第3フレーム間
相違度の表示順に従う変化パターンをそれぞれ示すグラ
フGD1,GD2は、凸状部分GP1,GP2をそれぞ
れ含み、かつ、両グラフGD1,GD2の凸状部分GP
1,GP2の起点が相互にほぼ等しく、かつ前者のグラ
フGD1の凸状部分GP1は後者のグラフGP2の凸状
部分GP2よりも幅および高さがそれぞれ小さい。
およびその近傍のフレームの第2および第3フレーム間
相違度の表示順に従う変化パターンをそれぞれ示すグラ
フGD1,GD2は、凸状部分GP1,GP2をそれぞ
れ含み、かつ、両グラフGD1,GD2の凸状部分GP
1,GP2の起点が相互にほぼ等しく、かつ前者のグラ
フGD1の凸状部分GP1は後者のグラフGP2の凸状
部分GP2よりも幅および高さがそれぞれ小さい。
【0064】各離反フレーム相違度の変化パターン内の
凸状部分は、フレーム撮影時のカメラおよび被写体間の
相対的な動きによってそれぞれ生じることがある。前記
各離反フレーム間相違度の変化パターン内の凸状部分
が、前記着目フレームが対象動画内の前記トランジショ
ン部分およびその近傍のフレームであることに起因して
生じている場合、これらの凸状部分は、前述の関係を満
たす。このような複数の離反フレーム間相違度の変化パ
ターンの関係は、トランジション部分に用いられるトラ
ンジション効果が具体的にどのような効果であっても、
当てはまる。
凸状部分は、フレーム撮影時のカメラおよび被写体間の
相対的な動きによってそれぞれ生じることがある。前記
各離反フレーム間相違度の変化パターン内の凸状部分
が、前記着目フレームが対象動画内の前記トランジショ
ン部分およびその近傍のフレームであることに起因して
生じている場合、これらの凸状部分は、前述の関係を満
たす。このような複数の離反フレーム間相違度の変化パ
ターンの関係は、トランジション部分に用いられるトラ
ンジション効果が具体的にどのような効果であっても、
当てはまる。
【0065】図4は、トランジション効果としてディゾ
ルブ効果が用いられた場合の対象動画内のトランジショ
ン部分TR内およびその近傍のフレームの実際の第1〜
第3フレーム間相違度D(n,n−L1),D(n,n
−L2),D(n,n−L3)を、該フレームの表示順
に従ってプロットしたグラフである。図5(A)〜
(C)は、図4のグラフにおいて、着目フレームが、ト
ランジション部分TRの先頭フレームK0、トランジシ
ョン部分TR内のフレーム、および後続ショット内のフ
レームである場合の第1〜第3フレーム間相違度演算用
の比較用フレームを示すための模式図である。図5
(A)〜(C)の数直線は、それぞれトランジション部
分TR内およびその近傍のフレームを表示順に並べたも
のに相当し、該数直線の各目盛りが各フレームに相当す
るとする。
ルブ効果が用いられた場合の対象動画内のトランジショ
ン部分TR内およびその近傍のフレームの実際の第1〜
第3フレーム間相違度D(n,n−L1),D(n,n
−L2),D(n,n−L3)を、該フレームの表示順
に従ってプロットしたグラフである。図5(A)〜
(C)は、図4のグラフにおいて、着目フレームが、ト
ランジション部分TRの先頭フレームK0、トランジシ
ョン部分TR内のフレーム、および後続ショット内のフ
レームである場合の第1〜第3フレーム間相違度演算用
の比較用フレームを示すための模式図である。図5
(A)〜(C)の数直線は、それぞれトランジション部
分TR内およびその近傍のフレームを表示順に並べたも
のに相当し、該数直線の各目盛りが各フレームに相当す
るとする。
【0066】グラフGL1に示すように、着目フレーム
がトランジション部分TR内にある場合の第1フレーム
間相違度、すなわち隣接フレーム間相違度の変化パター
ンは、着目フレームが先行および後続ショットSA,S
B内にある場合の第1フレーム間相違度の変化パターン
とほぼ等しい。後者の場合の第1フレーム間相違度の微
小な変化は、各フレーム撮影時の被写体およびカメラ間
の相対的な位置関係の変化に起因して、生じている。す
なわち第1フレーム間相違度は、着目フレームが先行お
よび後続ショット内ならびにトランジション部分内のど
こにある場合も、ほぼ同じ値を保つ。これは、トランジ
ション効果を用いた場面転換部、すなわちトランジショ
ン部分は、複数フレームにわたってショットを徐々に転
換させているので、連続する2つのフレーム間の差が小
さいためである。
がトランジション部分TR内にある場合の第1フレーム
間相違度、すなわち隣接フレーム間相違度の変化パター
ンは、着目フレームが先行および後続ショットSA,S
B内にある場合の第1フレーム間相違度の変化パターン
とほぼ等しい。後者の場合の第1フレーム間相違度の微
小な変化は、各フレーム撮影時の被写体およびカメラ間
の相対的な位置関係の変化に起因して、生じている。す
なわち第1フレーム間相違度は、着目フレームが先行お
よび後続ショット内ならびにトランジション部分内のど
こにある場合も、ほぼ同じ値を保つ。これは、トランジ
ション効果を用いた場面転換部、すなわちトランジショ
ン部分は、複数フレームにわたってショットを徐々に転
換させているので、連続する2つのフレーム間の差が小
さいためである。
【0067】グラフGL2に示すように、第2フレーム
間相違度は、着目フレームがトランジション部分TRの
先頭フレームK0になった後、徐々に大きくなり、着目
フレームがトランジション部分TRのほぼ中央のフレー
ムK1になった場合にほぼ最大になり、さらに前記場合
から着目フレームがトランジション部分TRの末尾のフ
レームKTを越えて後続ショット内のフレームK2にな
るまでの間、減少する。このように第2フレーム相違度
の変化パターンには、着目フレームおよび比較用フレー
ムのうちの少なくとも一方がトランジション部分TR内
にあることに起因する凸状部分が含まれる。これは以下
の理由からである。
間相違度は、着目フレームがトランジション部分TRの
先頭フレームK0になった後、徐々に大きくなり、着目
フレームがトランジション部分TRのほぼ中央のフレー
ムK1になった場合にほぼ最大になり、さらに前記場合
から着目フレームがトランジション部分TRの末尾のフ
レームKTを越えて後続ショット内のフレームK2にな
るまでの間、減少する。このように第2フレーム相違度
の変化パターンには、着目フレームおよび比較用フレー
ムのうちの少なくとも一方がトランジション部分TR内
にあることに起因する凸状部分が含まれる。これは以下
の理由からである。
【0068】図5(A)〜(C)に示すように、着目フ
レームがトランジション部分TR内の先頭〜中央部のフ
レームK0〜K1に変化する間、着目および比較用フレ
ーム間にトランジション部分TR内のフレームが徐々に
多く含まれるようになる。このため第2フレーム間相違
度に対するトランジション効果を用いた場面転換の影響
が徐々に大きくなるので、第2フレーム間相違度は徐々
に大きくなる。また着目フレームが前記中央部のフレー
ムK1近傍である場合、着目および比較用フレーム間内
のフレームが全てトランジション部分TR内のフレーム
なので、第2フレーム間相違度は最大になる。さらにま
た着目フレームがトランジション部分TR内の中央部〜
後続ショット内のフレームK1〜K2に変化する間、着
目および比較用フレーム間にトランジション部分TR内
のフレームが徐々に含まれなくなる。このため第2フレ
ーム間相違度に対するトランジション効果を用いた場面
転換の影響が徐々に小さくなるので、第2フレーム間相
違度は徐々に小さくなる。
レームがトランジション部分TR内の先頭〜中央部のフ
レームK0〜K1に変化する間、着目および比較用フレ
ーム間にトランジション部分TR内のフレームが徐々に
多く含まれるようになる。このため第2フレーム間相違
度に対するトランジション効果を用いた場面転換の影響
が徐々に大きくなるので、第2フレーム間相違度は徐々
に大きくなる。また着目フレームが前記中央部のフレー
ムK1近傍である場合、着目および比較用フレーム間内
のフレームが全てトランジション部分TR内のフレーム
なので、第2フレーム間相違度は最大になる。さらにま
た着目フレームがトランジション部分TR内の中央部〜
後続ショット内のフレームK1〜K2に変化する間、着
目および比較用フレーム間にトランジション部分TR内
のフレームが徐々に含まれなくなる。このため第2フレ
ーム間相違度に対するトランジション効果を用いた場面
転換の影響が徐々に小さくなるので、第2フレーム間相
違度は徐々に小さくなる。
【0069】グラフGL3に示すように、第3フレーム
間相違度は、着目フレームがトランジション部分TRの
先頭フレームK0になる時点以後、徐々に大きくなり、
着目フレームが後続ショット内のフレームK2になる時
点でほぼ最大になり、以後徐々に小さくなる。このよう
に第3フレーム間相違度の変化パターンには、凸状部分
が含まれる。第3フレーム間相違度の変化パターンの凸
状部分は、第2フレーム間相違度の変化パターンの凸状
部分と相似し、かつ前者の凸状部分は後者の凸状部分よ
りも大きい。これは以下の理由からである。
間相違度は、着目フレームがトランジション部分TRの
先頭フレームK0になる時点以後、徐々に大きくなり、
着目フレームが後続ショット内のフレームK2になる時
点でほぼ最大になり、以後徐々に小さくなる。このよう
に第3フレーム間相違度の変化パターンには、凸状部分
が含まれる。第3フレーム間相違度の変化パターンの凸
状部分は、第2フレーム間相違度の変化パターンの凸状
部分と相似し、かつ前者の凸状部分は後者の凸状部分よ
りも大きい。これは以下の理由からである。
【0070】図5(A)〜(C)に示すように、フレー
ム間距離が長くなるほど、着目および比較用フレームが
トランジション部分TRを挟む2つのショットSA,S
B内のフレームになり易いので、これらショットSA,
SBの転換の影響が前記着目及び比較用フレーム間の相
違度に大きく影響する。この結果前記凸状部分のフレー
ム間相違度の最大値は、フレーム間距離が長いほど大き
くなる。また図5(A)〜(C)に示すように、フレー
ム間距離が長くなるほど、着目および比較用フレーム間
にトランジション部分TRの少なくとも一部分を含み得
る着目フレームの表示順が遅くなる。この結果前記凸状
部分の幅は、フレーム間距離が長いほど広がるのであ
る。
ム間距離が長くなるほど、着目および比較用フレームが
トランジション部分TRを挟む2つのショットSA,S
B内のフレームになり易いので、これらショットSA,
SBの転換の影響が前記着目及び比較用フレーム間の相
違度に大きく影響する。この結果前記凸状部分のフレー
ム間相違度の最大値は、フレーム間距離が長いほど大き
くなる。また図5(A)〜(C)に示すように、フレー
ム間距離が長くなるほど、着目および比較用フレーム間
にトランジション部分TRの少なくとも一部分を含み得
る着目フレームの表示順が遅くなる。この結果前記凸状
部分の幅は、フレーム間距離が長いほど広がるのであ
る。
【0071】以上のことに基づき、転換部検出装置31
は、複数の離反フレーム間相違度の表示順に従う変化パ
ターンの形状的特徴に基づいて、対象動画内にトランジ
ション効果を用いた場面転換部があるか否かを、容易に
判断することができる。また前記凸状部分の第2および
第3フレーム間相違度の変化率は、前記フレーム撮影時
の相対的な位置関係の変化に起因する第2および第3フ
レーム間相違度の変化分以上である。ゆえに前記形状的
特徴に基づく判断時には、実際には、前記離反フレーム
間相違度のグラフGL2,GL3の凸状部分GP2,G
P3をたとえば平滑化して得られる曲線CL2,CL3
に基づいて、トランジション効果を用いた場面転換部の
有無を判断するとよい。
は、複数の離反フレーム間相違度の表示順に従う変化パ
ターンの形状的特徴に基づいて、対象動画内にトランジ
ション効果を用いた場面転換部があるか否かを、容易に
判断することができる。また前記凸状部分の第2および
第3フレーム間相違度の変化率は、前記フレーム撮影時
の相対的な位置関係の変化に起因する第2および第3フ
レーム間相違度の変化分以上である。ゆえに前記形状的
特徴に基づく判断時には、実際には、前記離反フレーム
間相違度のグラフGL2,GL3の凸状部分GP2,G
P3をたとえば平滑化して得られる曲線CL2,CL3
に基づいて、トランジション効果を用いた場面転換部の
有無を判断するとよい。
【0072】図6は、対象動画内のカット点およびその
近傍のフレームの実際の第1〜第3フレーム間相違度D
(n,n−L1),D(n,n−L2),D(n,n−
L3)を、該フレームの表示順に従ってプロットしたグ
ラフGL1〜GL3である。グラフGL1に示すよう
に、第1フレーム間相違度は、着目フレームがカット点
のフレームNCである場合だけ、予め定める閾値TC以
上に大きくなる。閾値TCは、着目フレームが先行およ
び後続ショット内のフレームである場合の第1フレーム
間相違度よりも充分に大きい。すなわち転換部検出装置
31は、少なくとも隣接フレーム間相違度と予め定める
閾値TCとの大小関係に基づいて、対象動画内のカット
点を検出することができる。
近傍のフレームの実際の第1〜第3フレーム間相違度D
(n,n−L1),D(n,n−L2),D(n,n−
L3)を、該フレームの表示順に従ってプロットしたグ
ラフGL1〜GL3である。グラフGL1に示すよう
に、第1フレーム間相違度は、着目フレームがカット点
のフレームNCである場合だけ、予め定める閾値TC以
上に大きくなる。閾値TCは、着目フレームが先行およ
び後続ショット内のフレームである場合の第1フレーム
間相違度よりも充分に大きい。すなわち転換部検出装置
31は、少なくとも隣接フレーム間相違度と予め定める
閾値TCとの大小関係に基づいて、対象動画内のカット
点を検出することができる。
【0073】またグラフGL2に示すように、第2フレ
ーム間相違度は、着目フレームがカット点のフレームで
ある場合に前記閾値TC以上の最大値になり、かつ該着
目フレームが後続ショット内のフレームである場合、該
フレームの表示順が遅くなるのにつれて、徐々に小さく
なる。グラフGL3に示すように、第3フレーム間相違
度は、着目フレームがカット点のフレームである場合に
前記閾値TC以上の最大値になり、かつ該着目フレーム
が後続ショット内のフレームである場合、前記第3フレ
ーム間距離に応じた範囲内で、前記閾値TC以上の値を
保つ。なおたとえばフレーム間距離が大きいほど、単一
ショット内の2つのフレーム間の相違度の被写体および
カメラの相対的な位置関係の変化に起因する変化分が大
きくなるので、上記第1〜第3フレーム間相違度がカッ
ト点NCで同時に急激に大きくならないこともある。
ーム間相違度は、着目フレームがカット点のフレームで
ある場合に前記閾値TC以上の最大値になり、かつ該着
目フレームが後続ショット内のフレームである場合、該
フレームの表示順が遅くなるのにつれて、徐々に小さく
なる。グラフGL3に示すように、第3フレーム間相違
度は、着目フレームがカット点のフレームである場合に
前記閾値TC以上の最大値になり、かつ該着目フレーム
が後続ショット内のフレームである場合、前記第3フレ
ーム間距離に応じた範囲内で、前記閾値TC以上の値を
保つ。なおたとえばフレーム間距離が大きいほど、単一
ショット内の2つのフレーム間の相違度の被写体および
カメラの相対的な位置関係の変化に起因する変化分が大
きくなるので、上記第1〜第3フレーム間相違度がカッ
ト点NCで同時に急激に大きくならないこともある。
【0074】図7は、第1転換部検出装置50における
場面転換部検出処理の主動作を説明するためのフローチ
ャートである。たとえばフレーム記憶部52に形態変換
後の対象動画のフレームが少なくとも1つ記憶された時
点で、ステップA1からステップA2に進む。またフレ
ーム展開部51は、ステップA1〜A13の処理と並行
して、対象動画のフレームの形態変換を順次行っている
とする。
場面転換部検出処理の主動作を説明するためのフローチ
ャートである。たとえばフレーム記憶部52に形態変換
後の対象動画のフレームが少なくとも1つ記憶された時
点で、ステップA1からステップA2に進む。またフレ
ーム展開部51は、ステップA1〜A13の処理と並行
して、対象動画のフレームの形態変換を順次行っている
とする。
【0075】制御回路60は、ステップA2で、入力さ
れるフレームの表示順の規定の基準となるカウンタ、す
なわち対象動画内の全てのフレームのうちの当座の処理
対象とする着目フレームを規定するためのカウンタn
を、0に初期化する、制御回路60は、ステップA3
で、場面転換部の有無を示す場面転換フラグFCを「F
ALSE」にセットする。FALSEにセットされた場
面転換フラグFCは、着目フレームに基づき場面転換部
が検出されていないことを示す。
れるフレームの表示順の規定の基準となるカウンタ、す
なわち対象動画内の全てのフレームのうちの当座の処理
対象とする着目フレームを規定するためのカウンタn
を、0に初期化する、制御回路60は、ステップA3
で、場面転換部の有無を示す場面転換フラグFCを「F
ALSE」にセットする。FALSEにセットされた場
面転換フラグFCは、着目フレームに基づき場面転換部
が検出されていないことを示す。
【0076】制御回路60は、ステップA4で、フレー
ム記憶部52内のフレームのうち、カウンタnで規定さ
れる着目フレーム、すなわち第nフレームを、フレーム
内特徴抽出部53に与える。フレーム内特徴抽出部53
は、ステップA4で、着目フレームに基づき、着目フレ
ームのフレーム内特徴Rnを抽出する。着目フレームの
フレーム内特徴Rnは、たとえば、着目フレームの輝度
または色に関する画素の出現頻度を示すヒストグラムで
もよく、着目フレームを縮小した縮小フレームを構成す
る複数の画素の色または輝度の相互の差の総和であって
もよい。
ム記憶部52内のフレームのうち、カウンタnで規定さ
れる着目フレーム、すなわち第nフレームを、フレーム
内特徴抽出部53に与える。フレーム内特徴抽出部53
は、ステップA4で、着目フレームに基づき、着目フレ
ームのフレーム内特徴Rnを抽出する。着目フレームの
フレーム内特徴Rnは、たとえば、着目フレームの輝度
または色に関する画素の出現頻度を示すヒストグラムで
もよく、着目フレームを縮小した縮小フレームを構成す
る複数の画素の色または輝度の相互の差の総和であって
もよい。
【0077】抽出後、制御回路60は、ステップA5
で、抽出された着目フレームのフレーム内特徴Rnを、
フレーム内特徴記憶部54に記憶させる。具体的には、
フレーム内特徴抽出部53が最新のフレーム内特徴Rn
を求めたならば、フレーム内特徴記憶部54は、末尾の
特徴バッファBF[NF−1]内のフレーム内特徴R
n-1-(NF-1)を廃棄し、先頭〜末尾よりも1つ前の各特徴
バッファBF[0]〜BF[NF−2]内のフレーム内
特徴Rn-1 〜Rn-1-(NF-2)を該各特徴バッファの前段の
特徴バッファBF[1]〜BF[NF−1]にそれぞれ
転送し、先頭の特徴バッファBF[0]に前記最新のフ
レーム内特徴Rn を記憶させる。この結果表1に示すよ
うに、フレーム内特徴記憶部54は、第n−NF+1〜
第nフレームのフレーム内特徴Rn-(NF-1)〜Rn を記憶
する。
で、抽出された着目フレームのフレーム内特徴Rnを、
フレーム内特徴記憶部54に記憶させる。具体的には、
フレーム内特徴抽出部53が最新のフレーム内特徴Rn
を求めたならば、フレーム内特徴記憶部54は、末尾の
特徴バッファBF[NF−1]内のフレーム内特徴R
n-1-(NF-1)を廃棄し、先頭〜末尾よりも1つ前の各特徴
バッファBF[0]〜BF[NF−2]内のフレーム内
特徴Rn-1 〜Rn-1-(NF-2)を該各特徴バッファの前段の
特徴バッファBF[1]〜BF[NF−1]にそれぞれ
転送し、先頭の特徴バッファBF[0]に前記最新のフ
レーム内特徴Rn を記憶させる。この結果表1に示すよ
うに、フレーム内特徴記憶部54は、第n−NF+1〜
第nフレームのフレーム内特徴Rn-(NF-1)〜Rn を記憶
する。
【0078】
【表1】
【0079】フレーム内特徴記憶部54は、少なくとも
着目フレームから第3フレーム間距離L3だけ表示順が
古いフレームまでの複数のフレームのフレーム内特徴R
n-L3を記憶する。これは、相違度計算部55におけるフ
レーム間相違度の演算時に、着目フレームよりも表示順
がフレーム間距離L1〜L3だけ古いフレームのフレー
ム内特徴Rn-L1、Rn-L2,Rn-L3が必要になるからであ
る。
着目フレームから第3フレーム間距離L3だけ表示順が
古いフレームまでの複数のフレームのフレーム内特徴R
n-L3を記憶する。これは、相違度計算部55におけるフ
レーム間相違度の演算時に、着目フレームよりも表示順
がフレーム間距離L1〜L3だけ古いフレームのフレー
ム内特徴Rn-L1、Rn-L2,Rn-L3が必要になるからであ
る。
【0080】記憶後、制御回路60は、相違度計算部5
5に、フレーム内特徴記憶部54の記憶内容に基づき、
着目フレームの第1〜第3フレーム間相違度D(n,n
−L1),D(n,n−L2),D(n,n−L3)を
それぞれ求めさせる。すなわち、相違度計算部55は、
先頭の特徴バッファBF[0]内のフレーム内特徴Rn
と、先頭のバッファから第1〜第3フレーム間距離L1
〜L3と同数だけ添字が進んだ特徴バッファBF[L
1],BF[L2],BF[L3]内のフレーム内特徴
Rn-L1、Rn-L2,Rn-L3との相違度D(BF[0],B
F[L1]),D(BF[0],BF[L2]),D
(BF[0],BF[L3])を求める。
5に、フレーム内特徴記憶部54の記憶内容に基づき、
着目フレームの第1〜第3フレーム間相違度D(n,n
−L1),D(n,n−L2),D(n,n−L3)を
それぞれ求めさせる。すなわち、相違度計算部55は、
先頭の特徴バッファBF[0]内のフレーム内特徴Rn
と、先頭のバッファから第1〜第3フレーム間距離L1
〜L3と同数だけ添字が進んだ特徴バッファBF[L
1],BF[L2],BF[L3]内のフレーム内特徴
Rn-L1、Rn-L2,Rn-L3との相違度D(BF[0],B
F[L1]),D(BF[0],BF[L2]),D
(BF[0],BF[L3])を求める。
【0081】たとえば各フレームのフレーム内特徴がフ
レームの輝度または色のヒストグラムであるなら、フレ
ーム間相違度として、式4に示すヒストグラムの差の絶
対値の総和、または式5に示す該ヒストグラムのχ二乗
検定が求められる。また各フレームのフレーム内特徴が
前述の縮小フレームに基づいて求められている場合、フ
レーム間相違度として、2枚のフレームの対応画素毎の
色または輝度の差の絶対値の総和が求められる。以下の
式において、「H(n,i)」,「H(x,i)」は、
第nおよび第xフレームにおけるi番目の色または輝度
の画素の出現頻度を示す。xは、0以上N以下でかつn
以外の整数である。i番目の色または輝度とは、前記ヒ
ストグラムにおける横軸の目盛りに相当する。
レームの輝度または色のヒストグラムであるなら、フレ
ーム間相違度として、式4に示すヒストグラムの差の絶
対値の総和、または式5に示す該ヒストグラムのχ二乗
検定が求められる。また各フレームのフレーム内特徴が
前述の縮小フレームに基づいて求められている場合、フ
レーム間相違度として、2枚のフレームの対応画素毎の
色または輝度の差の絶対値の総和が求められる。以下の
式において、「H(n,i)」,「H(x,i)」は、
第nおよび第xフレームにおけるi番目の色または輝度
の画素の出現頻度を示す。xは、0以上N以下でかつn
以外の整数である。i番目の色または輝度とは、前記ヒ
ストグラムにおける横軸の目盛りに相当する。
【0082】
D(n,x)=Σi|H(n,i)−H(x,i)| …(4)
D(n,x)=Σi|H(n,i)−H(x,i)|÷H(x,i)
…(5)
計算後、制御回路60は、ステップA7で、求められた
着目フレームの第1〜第3フレーム間相違度D(n,n
−L1),D(n,n−L2),D(n,n−L3)
を、相違度記憶部56内の第1〜第3バッファ群にそれ
ぞれ記憶させる。具体的には、相違度計算部55が着目
フレームの第1フレーム間相違度D(n,n−L1)を
求めたならば、相違度記憶部56は、第1バッファ群の
末尾の相違度バッファBDL1[ND−1]内の第1フ
レーム間相違度D(n−1−(ND−1),n−1−
(ND−1)−L1)を廃棄し、先頭〜末尾よりも1つ
前の各相違度バッファBDL1[0]〜BDL1[ND
−2]内の第1フレーム間相違度D(n−1,n−1−
L1)〜D(n−1−(ND−2),n−1−(ND−
2)−L1)を該各相違度バッファの前段の相違度バッ
ファBDL1[1]〜BDL1[ND−1]にそれぞれ
転送し、先頭の相違度バッファBDL1[0]に前記着
目フレームの第1フレーム間相違度D(n,n−L1)
を記憶させる。第2および第3バッファ群内の各相違度
バッファBDL2[d],BDL3[d]の具体的な挙
動は、第1バッファ群内の各相違度バッファBDL1
[d]と等しい。この結果表2〜表4にそれぞれ示すよ
うに、第1〜第3バッファ群内に、常に第n−(ND−
1)〜第nフレームの第1〜第3フレーム間相違度が記
憶される。
着目フレームの第1〜第3フレーム間相違度D(n,n
−L1),D(n,n−L2),D(n,n−L3)
を、相違度記憶部56内の第1〜第3バッファ群にそれ
ぞれ記憶させる。具体的には、相違度計算部55が着目
フレームの第1フレーム間相違度D(n,n−L1)を
求めたならば、相違度記憶部56は、第1バッファ群の
末尾の相違度バッファBDL1[ND−1]内の第1フ
レーム間相違度D(n−1−(ND−1),n−1−
(ND−1)−L1)を廃棄し、先頭〜末尾よりも1つ
前の各相違度バッファBDL1[0]〜BDL1[ND
−2]内の第1フレーム間相違度D(n−1,n−1−
L1)〜D(n−1−(ND−2),n−1−(ND−
2)−L1)を該各相違度バッファの前段の相違度バッ
ファBDL1[1]〜BDL1[ND−1]にそれぞれ
転送し、先頭の相違度バッファBDL1[0]に前記着
目フレームの第1フレーム間相違度D(n,n−L1)
を記憶させる。第2および第3バッファ群内の各相違度
バッファBDL2[d],BDL3[d]の具体的な挙
動は、第1バッファ群内の各相違度バッファBDL1
[d]と等しい。この結果表2〜表4にそれぞれ示すよ
うに、第1〜第3バッファ群内に、常に第n−(ND−
1)〜第nフレームの第1〜第3フレーム間相違度が記
憶される。
【0083】
【表2】
【0084】
【表3】
【0085】
【表4】
【0086】記憶後、制御回路60は、ステップA9
で、カット検出部58に、相違度記憶部56に記憶内容
に基づき、着目フレームよりも表示順が予め定める数B
Cだけ早い第n−BCフレームと、該フレームの隣のフ
レームとの間にカット点があるか否かを判断させる。具
体的には、カット検出部58は、式6に示すように、第
1バッファ群内のBC番目の相違度バッファBDL1
[BC]内の第1フレーム間相違度D(n−BC,n−
BC−L1)が予め定めるカット検出用閾値TCを越え
ており、かつ、式7に示すように、第2バッファ群内の
先頭からBC番目までの複数の相違度バッファBDL2
[0]〜BDL2[BC]内の第2フレーム間相違度D
(n,n−L2)〜D(n−BC,n−BC−L1)
が、それぞれ前記カット検出用閾値TCを越えているか
否かを判断する。前記予め定める値BCは、たとえば第
2フレーム間距離L2の半分(L2/2)とする。
で、カット検出部58に、相違度記憶部56に記憶内容
に基づき、着目フレームよりも表示順が予め定める数B
Cだけ早い第n−BCフレームと、該フレームの隣のフ
レームとの間にカット点があるか否かを判断させる。具
体的には、カット検出部58は、式6に示すように、第
1バッファ群内のBC番目の相違度バッファBDL1
[BC]内の第1フレーム間相違度D(n−BC,n−
BC−L1)が予め定めるカット検出用閾値TCを越え
ており、かつ、式7に示すように、第2バッファ群内の
先頭からBC番目までの複数の相違度バッファBDL2
[0]〜BDL2[BC]内の第2フレーム間相違度D
(n,n−L2)〜D(n−BC,n−BC−L1)
が、それぞれ前記カット検出用閾値TCを越えているか
否かを判断する。前記予め定める値BCは、たとえば第
2フレーム間距離L2の半分(L2/2)とする。
【0087】
BDL1[BC]> TC and …(6)
BDL2[i]> TC (i=0,1,2,…,BC) …(7)
上記条件を全て満たす場合だけ、前記第n−BCフレー
ムとその隣のフレームとの間にカット点があると判断さ
れる。この場合制御装置60は、場面転換フラグFCに
TRUEをセットする。TRUEがセットされた場面転
換フラグFCは、対象動画内に場面転換部があることを
示す。式6,7のうちの少なくとも一方が満たされない
場合、前記第n−BCフレームとその隣のフレームとの
間のカット点がないと判断される。この場合場面転換フ
ラグFCはFALSEのまま保たれる。
ムとその隣のフレームとの間にカット点があると判断さ
れる。この場合制御装置60は、場面転換フラグFCに
TRUEをセットする。TRUEがセットされた場面転
換フラグFCは、対象動画内に場面転換部があることを
示す。式6,7のうちの少なくとも一方が満たされない
場合、前記第n−BCフレームとその隣のフレームとの
間のカット点がないと判断される。この場合場面転換フ
ラグFCはFALSEのまま保たれる。
【0088】カット点検出後、制御回路60は、ステッ
プA10で、場面転換フラグFCがTRUEであるか否
かを判断する。そうである場合、ステップA10からス
テップ12へ進み、そうではない場合、ステップA10
からステップA11に進む。
プA10で、場面転換フラグFCがTRUEであるか否
かを判断する。そうである場合、ステップA10からス
テップ12へ進み、そうではない場合、ステップA10
からステップA11に進む。
【0089】制御装置60は、ステップA11で、特徴
形状検出部57に、トランジション部分の検出を行わせ
る。概略的には、特徴形状検出部57は、相違度記憶部
56内に記憶された複数の第2および第3フレーム相違
度の変化パターン内に、前述したトランジション部分に
関連する特徴的形状、すなわち凸状部分があるかどうか
を調べる。
形状検出部57に、トランジション部分の検出を行わせ
る。概略的には、特徴形状検出部57は、相違度記憶部
56内に記憶された複数の第2および第3フレーム相違
度の変化パターン内に、前述したトランジション部分に
関連する特徴的形状、すなわち凸状部分があるかどうか
を調べる。
【0090】図8は、第2および第3バッファ群の先頭
の相違度バッファBDL2[0],BDL3[0]にト
ランジション部分の末尾のフレームの第2および第3フ
レーム間相違度が記憶された状態において、第2および
第3バッファ群内の第2および第3フレーム間相違度
を、該相違度が記憶される相違度バッファBDL2
[j],BDL3[j]のバッファ番号jに従ってプロ
ットしたグラフである。図8のグラフは、前述の図4の
グラフのフレームK0〜K2の部分と、縦軸に並行な仮
想軸線を中心に線対称になっている。特徴形状検出部5
7は、最新の着目フレームを末尾とするトランジション
部分が対象動画内にあるかどうかを調べるために、第2
および第3バッファ群の記憶内容が図8に示す状態にな
っているかどうかを検出する。
の相違度バッファBDL2[0],BDL3[0]にト
ランジション部分の末尾のフレームの第2および第3フ
レーム間相違度が記憶された状態において、第2および
第3バッファ群内の第2および第3フレーム間相違度
を、該相違度が記憶される相違度バッファBDL2
[j],BDL3[j]のバッファ番号jに従ってプロ
ットしたグラフである。図8のグラフは、前述の図4の
グラフのフレームK0〜K2の部分と、縦軸に並行な仮
想軸線を中心に線対称になっている。特徴形状検出部5
7は、最新の着目フレームを末尾とするトランジション
部分が対象動画内にあるかどうかを調べるために、第2
および第3バッファ群の記憶内容が図8に示す状態にな
っているかどうかを検出する。
【0091】具体的には、特徴形状検出部57は、第2
および第3バッファ群の予め定める区間j、すなわち第
2および第3バッファ群内の連続する複数の相違度バッ
ファBDL2[0]〜BDL2[I],BDL3[0]
〜BDL3[I]内の第2および第3フレーム間相違度
が、以下の8つの条件を全て満たすか否かを判断する。
なお以下の表内の式において、相違度バッファの参照符
は該バッファ内のフレーム間相違度を示す。また「TL
2」,「TL3」は予め定める閾値であり、「ε」は予
め定める許容誤差であり、「I/2」は前記区間jの最
後尾のバッファの番号Iの半分の値である。さらにま
た、区間j、「HL1」,「HL2」は以下の式8〜1
0で定義され、許容誤差εはたとえば式11で設定され
る。また式12で示すように、区間j内の第3フレーム
間相違度の変化パターンの高さに相当する値HL3と比
較される閾値TL3は、区間j内の第2フレーム間相違
度の変化パターンの高さに相当する値HL2と比較され
る閾値TL2以上の値である。
および第3バッファ群の予め定める区間j、すなわち第
2および第3バッファ群内の連続する複数の相違度バッ
ファBDL2[0]〜BDL2[I],BDL3[0]
〜BDL3[I]内の第2および第3フレーム間相違度
が、以下の8つの条件を全て満たすか否かを判断する。
なお以下の表内の式において、相違度バッファの参照符
は該バッファ内のフレーム間相違度を示す。また「TL
2」,「TL3」は予め定める閾値であり、「ε」は予
め定める許容誤差であり、「I/2」は前記区間jの最
後尾のバッファの番号Iの半分の値である。さらにま
た、区間j、「HL1」,「HL2」は以下の式8〜1
0で定義され、許容誤差εはたとえば式11で設定され
る。また式12で示すように、区間j内の第3フレーム
間相違度の変化パターンの高さに相当する値HL3と比
較される閾値TL3は、区間j内の第2フレーム間相違
度の変化パターンの高さに相当する値HL2と比較され
る閾値TL2以上の値である。
【0092】
【表5】
【0093】
j=0,1,2,…,I …(8)
HL2=BDL2[I/2]−max(BDL2[0],BDL2[I])
…(9)
HL3=BDL3[0]−BDL3[I]) …(10)
ε=HL2÷4 …(11)
TL2≦TL3 …(12)
条件1,2,および5において、前記区間内の複数の相
違度バッファ内のフレーム間相違度が減少または増加傾
向であるかは、実際には、以下のように判断するとよ
い。たとえば前記区間内のフレーム間相違度の図8の実
線で示すように滑らかに変動しているならば、前記区間
内のうちの任意の1つの相違度バッファ内のフレーム間
相違度から該相違度バッファの隣の相違度バッファ内の
フレーム相違度を減算した差を、該任意の相違度バッフ
ァを前記区間内で変更しつつそれぞれ求め、得られた複
数の差それぞれの符号が正であるか負であるかに応じ
て、相違度の傾向を判断する。また図8の破線で示すよ
うに、前記相違度が滑らかに変化していない場合、傾向
の判断に先立ち、前記区間内の複数の相違度バッファ内
のフレーム内相違度の平滑化を行う。平滑化の結果、前
記フレーム間相違度は、図9に示すように滑らかに変化
するので、平滑化後のフレーム間相違度を用いて、上述
の手順で傾向を判断すればよい。以上が、フレーム間相
違度の変化傾向の判断手順である。
違度バッファ内のフレーム間相違度が減少または増加傾
向であるかは、実際には、以下のように判断するとよ
い。たとえば前記区間内のフレーム間相違度の図8の実
線で示すように滑らかに変動しているならば、前記区間
内のうちの任意の1つの相違度バッファ内のフレーム間
相違度から該相違度バッファの隣の相違度バッファ内の
フレーム相違度を減算した差を、該任意の相違度バッフ
ァを前記区間内で変更しつつそれぞれ求め、得られた複
数の差それぞれの符号が正であるか負であるかに応じ
て、相違度の傾向を判断する。また図8の破線で示すよ
うに、前記相違度が滑らかに変化していない場合、傾向
の判断に先立ち、前記区間内の複数の相違度バッファ内
のフレーム内相違度の平滑化を行う。平滑化の結果、前
記フレーム間相違度は、図9に示すように滑らかに変化
するので、平滑化後のフレーム間相違度を用いて、上述
の手順で傾向を判断すればよい。以上が、フレーム間相
違度の変化傾向の判断手順である。
【0094】再び図7を参照する。上記の8つの条件を
全て満たす場合だけ、最新の着目フレームを末尾とする
トランジション部分が対象動画内にあると判断される。
この場合制御装置60は、場面転換フラグFCにTRU
Eをセットする。8つの条件のうちの少なくとも一1つ
が満たされない場合、前記トランジション部分がないと
判断される。この場合場面転換フラグFCはFALSE
のまま保たれる。
全て満たす場合だけ、最新の着目フレームを末尾とする
トランジション部分が対象動画内にあると判断される。
この場合制御装置60は、場面転換フラグFCにTRU
Eをセットする。8つの条件のうちの少なくとも一1つ
が満たされない場合、前記トランジション部分がないと
判断される。この場合場面転換フラグFCはFALSE
のまま保たれる。
【0095】制御回路60は、ステップA12で、対象
動画内に、カット点またはトランジション部である場面
転換があるか否かを判断する。具体的には、制御回路6
0は、場面転換フラグが「TRUE」であるか「FAL
SE」であるかを判断する。前者である場合、制御回路
60は、検出結果として、場面転換部があることを示す
データを出力する。後者である場合、制御回路60は、
検出結果として、場面転換部がないことを示すデータを
出力する。データ出力後、制御回路60は、前記カウン
タnに1を加算して更新し、更新後、ステップA3に戻
る。
動画内に、カット点またはトランジション部である場面
転換があるか否かを判断する。具体的には、制御回路6
0は、場面転換フラグが「TRUE」であるか「FAL
SE」であるかを判断する。前者である場合、制御回路
60は、検出結果として、場面転換部があることを示す
データを出力する。後者である場合、制御回路60は、
検出結果として、場面転換部がないことを示すデータを
出力する。データ出力後、制御回路60は、前記カウン
タnに1を加算して更新し、更新後、ステップA3に戻
る。
【0096】以上の処理によって、第1転換部検出装置
50は、トランジション効果の具体的な手法に拘わら
ず、対象動画内にトランジション部分があるか否かを、
容易に判断することができる。また第1転換部検出装置
50は、場面転換部の有無だけを示すデータを出力して
いるが、出力されるデータは、これに限らず、場面転換
部に関する他の事項であってもよい。たとえば前記場面
転換部に相当するフレームが対象動画内のどこにあるか
を示すものを、前記データとしてもよい。
50は、トランジション効果の具体的な手法に拘わら
ず、対象動画内にトランジション部分があるか否かを、
容易に判断することができる。また第1転換部検出装置
50は、場面転換部の有無だけを示すデータを出力して
いるが、出力されるデータは、これに限らず、場面転換
部に関する他の事項であってもよい。たとえば前記場面
転換部に相当するフレームが対象動画内のどこにあるか
を示すものを、前記データとしてもよい。
【0097】ステップA9の式6,7の判断は、以下の
理由に基づく。前述の図6のグラフに基づき、着目およ
び比較用フレームが単一ショット内の2つのフレームで
ある場合、フレーム間相違度は前記カット点検出用閾値
TCよりも充分小さく、着目および比較用フレームがカ
ット点の前後の2つの各ショット内のフレームである場
合、フレーム間相違度は前記カット点検出用閾値TCよ
りも充分大きいことが分かる。これは後者の場合、対象
動画内のこれらフレームの位置で、ショットが転換され
ているためである。ゆえに基本的には、前記閾値TC以
上の隣接フレーム間相違度を有するフレームと該フレー
ムの隣のフレームとの間に、カット点があると判断する
ことができる。
理由に基づく。前述の図6のグラフに基づき、着目およ
び比較用フレームが単一ショット内の2つのフレームで
ある場合、フレーム間相違度は前記カット点検出用閾値
TCよりも充分小さく、着目および比較用フレームがカ
ット点の前後の2つの各ショット内のフレームである場
合、フレーム間相違度は前記カット点検出用閾値TCよ
りも充分大きいことが分かる。これは後者の場合、対象
動画内のこれらフレームの位置で、ショットが転換され
ているためである。ゆえに基本的には、前記閾値TC以
上の隣接フレーム間相違度を有するフレームと該フレー
ムの隣のフレームとの間に、カット点があると判断する
ことができる。
【0098】単一ショットの撮影中にたとえばフラッシ
ュが用いられているならば、フラッシュの影響を受けた
フレームと受けていないフレームとが連続している場
合、これら2つのフレーム間の隣接フレーム相違度が、
前記閾値TC以上になることがある。この場合、前記2
つのフレームを挟んでならぶ2つのフレームは、単一シ
ョット内のフレームなので、該2つのフレームの離反フ
レーム間相違度は前記閾値TC未満になると予想され
る。すなわち式6の条件が前述のフラッシュの影響を受
けたフレームの隣接フレーム間相違度によって成立した
場合、式7の条件は全ての変数iにおいて成立しないと
予想される。この結果式6の条件に加えて式7の条件を
用いるならば、単一ショット内の連続する2つのフレー
ムの相違度が大きい場合に、該2つのフレーム間にカッ
ト点があると誤認することを、防止することができる。
ュが用いられているならば、フラッシュの影響を受けた
フレームと受けていないフレームとが連続している場
合、これら2つのフレーム間の隣接フレーム相違度が、
前記閾値TC以上になることがある。この場合、前記2
つのフレームを挟んでならぶ2つのフレームは、単一シ
ョット内のフレームなので、該2つのフレームの離反フ
レーム間相違度は前記閾値TC未満になると予想され
る。すなわち式6の条件が前述のフラッシュの影響を受
けたフレームの隣接フレーム間相違度によって成立した
場合、式7の条件は全ての変数iにおいて成立しないと
予想される。この結果式6の条件に加えて式7の条件を
用いるならば、単一ショット内の連続する2つのフレー
ムの相違度が大きい場合に、該2つのフレーム間にカッ
ト点があると誤認することを、防止することができる。
【0099】また式7の条件判定に用いる離反フレーム
間相違度は、演算時のフレーム間距離ができるだけ小さ
いもの、たとえば該フレーム間距離が2以上9以下程度
であることが好ましい。これは、単一ショット内の2つ
のフレームのフレーム間距離が大きいほど、該2つのフ
レームの相関が低くなる、すなわち該2つのフレームの
離反フレーム間相違度が大きくなるので、前記誤認の防
止が困難になるからである。以上が式6,7の説明であ
る。
間相違度は、演算時のフレーム間距離ができるだけ小さ
いもの、たとえば該フレーム間距離が2以上9以下程度
であることが好ましい。これは、単一ショット内の2つ
のフレームのフレーム間距離が大きいほど、該2つのフ
レームの相関が低くなる、すなわち該2つのフレームの
離反フレーム間相違度が大きくなるので、前記誤認の防
止が困難になるからである。以上が式6,7の説明であ
る。
【0100】前記対象動画は、たとえば、ビデオカメラ
によって被写体を撮影して得られる動画、映画、あるい
はアナログまたはデジタルテレビジョン放送によって放
映される動画で実現される。前記対象動画内の各場面転
換部は、前述の図23で説明したものと同様に、それぞ
れ、いわゆるカット点、またはトランジション効果を用
いた場面転換のための合成フレームの集合であるトラン
ジション部分であるとする。前記対象動画の各フレーム
は、テレビジョン放送におけるいわゆるフレームに限ら
ず、動画を構成するための静止画であるならばどんなも
のでもよい。また前記対象動画のデータ形式は、第1転
換部検出装置50に入力される時点では、デジタルデー
タでもよく、アナログデータでもよい。また前記対象動
画を示すデータは、圧縮されていてもよい。
によって被写体を撮影して得られる動画、映画、あるい
はアナログまたはデジタルテレビジョン放送によって放
映される動画で実現される。前記対象動画内の各場面転
換部は、前述の図23で説明したものと同様に、それぞ
れ、いわゆるカット点、またはトランジション効果を用
いた場面転換のための合成フレームの集合であるトラン
ジション部分であるとする。前記対象動画の各フレーム
は、テレビジョン放送におけるいわゆるフレームに限ら
ず、動画を構成するための静止画であるならばどんなも
のでもよい。また前記対象動画のデータ形式は、第1転
換部検出装置50に入力される時点では、デジタルデー
タでもよく、アナログデータでもよい。また前記対象動
画を示すデータは、圧縮されていてもよい。
【0101】単一のショットは、たとえば動画を撮影可
能な撮影装置を用いた1回の一連の撮影操作において、
撮影開始から撮影終了までの間に撮影された全てのフレ
ームのうちの少なくとも一部のフレームによって、構成
される。前記撮影装置は、たとえばビデオカメラであ
る。すなわち単一のショットは、前記全てのフレームか
ら構成されてもよく、撮影後の編集処理によって前記全
てのフレームのうちから一部のフレームを除いた残余の
フレームから構成されてもよい。一般的に、単一のショ
ット内の複数のフレームのうちの任意の2枚のフレーム
は、該2枚のフレーム間のフレーム間距離が小さくなる
ほど相関が高く、該フレーム間距離が大きくなるほど無
相関になる。
能な撮影装置を用いた1回の一連の撮影操作において、
撮影開始から撮影終了までの間に撮影された全てのフレ
ームのうちの少なくとも一部のフレームによって、構成
される。前記撮影装置は、たとえばビデオカメラであ
る。すなわち単一のショットは、前記全てのフレームか
ら構成されてもよく、撮影後の編集処理によって前記全
てのフレームのうちから一部のフレームを除いた残余の
フレームから構成されてもよい。一般的に、単一のショ
ット内の複数のフレームのうちの任意の2枚のフレーム
は、該2枚のフレーム間のフレーム間距離が小さくなる
ほど相関が高く、該フレーム間距離が大きくなるほど無
相関になる。
【0102】また第1転換部検出装置50は、電気的に
は、フレーム展開部51と、中央演算処理回路と、前述
の各記憶部52,54,56とを含む。前述のフレーム
内特徴抽出部53、相違度計算部55、特徴形状検出部
57、カット検出部58、検出結果出力部59、および
制御回路60は、中央演算処理回路の演算処理によって
それぞれ実現される仮想的な部品である。またこの場
合、各記憶部52,54,56は、個別の記憶装置によ
って実現されてもよく、1つの記憶装置内に設定される
記憶領域として実現されてもよい。またこの場合、フレ
ーム展開部51も、中央演算処理回路の演算処理によっ
て実現されてもよい。さらにまた第1転換部検出装置5
0は、前述の各部53,55,57〜60のうちの少な
くとも1つを、中央演算処理回路とは別個の実在の回路
によって実現してもよい。
は、フレーム展開部51と、中央演算処理回路と、前述
の各記憶部52,54,56とを含む。前述のフレーム
内特徴抽出部53、相違度計算部55、特徴形状検出部
57、カット検出部58、検出結果出力部59、および
制御回路60は、中央演算処理回路の演算処理によって
それぞれ実現される仮想的な部品である。またこの場
合、各記憶部52,54,56は、個別の記憶装置によ
って実現されてもよく、1つの記憶装置内に設定される
記憶領域として実現されてもよい。またこの場合、フレ
ーム展開部51も、中央演算処理回路の演算処理によっ
て実現されてもよい。さらにまた第1転換部検出装置5
0は、前述の各部53,55,57〜60のうちの少な
くとも1つを、中央演算処理回路とは別個の実在の回路
によって実現してもよい。
【0103】また前記対象動画の代わりに、該対象動画
内から等間隔に抽出した複数のフレームを時間経過に伴
って順次表示することによって得られる動画を、用いて
も良い。この場合、対象動画が第1転換部検出装置50
で処理される前の時点では、該対象動画内のどこにカッ
ト点がありどこにトランジション部分があるかが分かっ
ていないので、前記複数のフレームは対象動画内から等
間隔に抜出されるのが好ましい。この際、単一ショット
内の複数のフレームであってもフレーム間距離が大きく
なるほどフレーム間の相関が小さくなるので、本実施の
形態の場面転換部の検出手法を用いるためには、1秒分
のフレーム、すなわち30枚のフレームあたり10枚以
上15枚以下程度のフレームを抽出することが好まし
い。すなわち対象動画内から、2〜3フレーム毎に1枚
のフレームを抽出することが好ましい。
内から等間隔に抽出した複数のフレームを時間経過に伴
って順次表示することによって得られる動画を、用いて
も良い。この場合、対象動画が第1転換部検出装置50
で処理される前の時点では、該対象動画内のどこにカッ
ト点がありどこにトランジション部分があるかが分かっ
ていないので、前記複数のフレームは対象動画内から等
間隔に抜出されるのが好ましい。この際、単一ショット
内の複数のフレームであってもフレーム間距離が大きく
なるほどフレーム間の相関が小さくなるので、本実施の
形態の場面転換部の検出手法を用いるためには、1秒分
のフレーム、すなわち30枚のフレームあたり10枚以
上15枚以下程度のフレームを抽出することが好まし
い。すなわち対象動画内から、2〜3フレーム毎に1枚
のフレームを抽出することが好ましい。
【0104】本実施の形態では、第2フレーム間距離が
10であり、第3フレーム間距離が30であるとしてい
る。これは一般的な動画で用いられるトランジション部
分の長さが約1秒であるため、1秒以上のショットから
構成される動画内から1秒程度のトランジション部分を
検出することを目的としているからである。すなわち第
1転換部検出装置は、基本的には、動画内から、第3フ
レーム間距離以上の長さのトランジション部分を検出可
能である。
10であり、第3フレーム間距離が30であるとしてい
る。これは一般的な動画で用いられるトランジション部
分の長さが約1秒であるため、1秒以上のショットから
構成される動画内から1秒程度のトランジション部分を
検出することを目的としているからである。すなわち第
1転換部検出装置は、基本的には、動画内から、第3フ
レーム間距離以上の長さのトランジション部分を検出可
能である。
【0105】また本実施の形態では、2つのフレーム間
距離を用い、1フレームに対し2つの離反フレーム間相
違度を求めている。1フレームについて求められる離反
フレーム間相違度の数は、2つに限らず、3つ以上でも
よい。たとえば第3フレーム間距離よりも長い第4フレ
ーム間距離をさらに用いる場合、第2および第3フレー
ム間相違度の変化パターンの特徴に基づくトランジショ
ン部分の検出とほぼ同様の手順で、第3および第4フレ
ーム間相違度の変化パターンの特徴に基づいて、前者の
トランジション部分よりも使用フレーム数が多いトラン
ジション部分を、検出することができる。またたとえ
ば、第2および第3フレーム間相違度とは異なる第4フ
レーム間距離を用いる場合、第2〜第4フレーム間相違
度の変化パターンが前記トランジション部分においてど
のような関係になるかを予め調べておき、これら3つの
フレーム間相違度の変化パターンが前記関係になる場合
に、対象動画内のトランジション部分があると判断して
もよい。この場合、トランジション部分の検出精度が向
上する。
距離を用い、1フレームに対し2つの離反フレーム間相
違度を求めている。1フレームについて求められる離反
フレーム間相違度の数は、2つに限らず、3つ以上でも
よい。たとえば第3フレーム間距離よりも長い第4フレ
ーム間距離をさらに用いる場合、第2および第3フレー
ム間相違度の変化パターンの特徴に基づくトランジショ
ン部分の検出とほぼ同様の手順で、第3および第4フレ
ーム間相違度の変化パターンの特徴に基づいて、前者の
トランジション部分よりも使用フレーム数が多いトラン
ジション部分を、検出することができる。またたとえ
ば、第2および第3フレーム間相違度とは異なる第4フ
レーム間距離を用いる場合、第2〜第4フレーム間相違
度の変化パターンが前記トランジション部分においてど
のような関係になるかを予め調べておき、これら3つの
フレーム間相違度の変化パターンが前記関係になる場合
に、対象動画内のトランジション部分があると判断して
もよい。この場合、トランジション部分の検出精度が向
上する。
【0106】本発明の第2の実施の形態である動画場面
転換部検出装置について、以下に説明する。第2の実施
の形態の動画場面転換部検出装置(以後「第2転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、フレーム内特徴抽出部および相違度計算部にお
けるフレーム内特徴およびフレーム間相違度の具体的な
計算手法が異なり、他は等しい。ゆえに第2転換部検出
装置の構造および動作のうち、第1転換部検出装置50
と同じ構造および動作の説明は省略する。また第2転換
部検出装置内の部品のうち、第1転換部検出装置50と
同じ部品には同じ参照符を付す。
転換部検出装置について、以下に説明する。第2の実施
の形態の動画場面転換部検出装置(以後「第2転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、フレーム内特徴抽出部および相違度計算部にお
けるフレーム内特徴およびフレーム間相違度の具体的な
計算手法が異なり、他は等しい。ゆえに第2転換部検出
装置の構造および動作のうち、第1転換部検出装置50
と同じ構造および動作の説明は省略する。また第2転換
部検出装置内の部品のうち、第1転換部検出装置50と
同じ部品には同じ参照符を付す。
【0107】図10は、第2転換部検出装置におけるフ
レーム内特徴Rnおよびフレーム間相違度の概略的な検
出手法を説明するための模式図である。
レーム内特徴Rnおよびフレーム間相違度の概略的な検
出手法を説明するための模式図である。
【0108】第2転換部検出装置のフレーム内特徴抽出
部は、任意の1つのフレームFAのフレーム内特徴を求
めるために、まず該フレームFAを予め定める数MMA
Xの領域に分割し、次いで該各領域内から、該領域を代
表する少なくとも1つの色と、該領域内の該色の画素の
出現頻度とを、それぞれ求める。この結果前記フレーム
FAのフレーム内特徴RFAは、該フレームFA内の全て
の各領域の代表色および該色の出現頻度を含む。これら
代表色の色番号および出現頻度をそれぞれ記憶するため
に、フレーム内特徴記憶部54の各特徴バッファは、M
MAX×PMAX個の代表色領域Rn[0][p].C
OL〜RFA[MMAX−1][p].COL(p=1,
2,…,MP−1)と、同数の出現頻度領域RFA[0]
[p].FRQ〜RFA[MMAX−1][p].FRQ
とを備える。フレームの分割数MMAXは、たとえば1
2であり、単一のフレームは3行4列の行列状の領域に
分割される。また単一の領域内から抽出される代表色の
上限値PMAXは、たとえば画素が取得る色の数が26
5色の場合、たとえば8である。このようなフレーム内
特徴RFAは、たとえば図10に示す表形式で、フレーム
内特徴記憶部54内の特徴バッファに記憶される。
部は、任意の1つのフレームFAのフレーム内特徴を求
めるために、まず該フレームFAを予め定める数MMA
Xの領域に分割し、次いで該各領域内から、該領域を代
表する少なくとも1つの色と、該領域内の該色の画素の
出現頻度とを、それぞれ求める。この結果前記フレーム
FAのフレーム内特徴RFAは、該フレームFA内の全て
の各領域の代表色および該色の出現頻度を含む。これら
代表色の色番号および出現頻度をそれぞれ記憶するため
に、フレーム内特徴記憶部54の各特徴バッファは、M
MAX×PMAX個の代表色領域Rn[0][p].C
OL〜RFA[MMAX−1][p].COL(p=1,
2,…,MP−1)と、同数の出現頻度領域RFA[0]
[p].FRQ〜RFA[MMAX−1][p].FRQ
とを備える。フレームの分割数MMAXは、たとえば1
2であり、単一のフレームは3行4列の行列状の領域に
分割される。また単一の領域内から抽出される代表色の
上限値PMAXは、たとえば画素が取得る色の数が26
5色の場合、たとえば8である。このようなフレーム内
特徴RFAは、たとえば図10に示す表形式で、フレーム
内特徴記憶部54内の特徴バッファに記憶される。
【0109】第2転換部検出装置の相違度計算部は、着
目フレームFAのフレーム内特徴RFAと比較用フレーム
FBのフレーム内特徴RFBとに基づき、後述する図13
で示す計算手法を用いて、第1〜第3フレーム間相違度
をそれぞれ演算する。前記各フレーム間相違度は、概略
的には、両フレームFA,FBのフレーム内特徴RFA,
RFB内の各代表色の色間距離の近いもの同士の出現頻度
の差分と該近いもの同士の代表色との積の総和に、相当
する。第2転換部検出装置の特徴形状およびカット点検
出部57,58は、上述の手順で求められた複数の第1
〜第3フレーム間相違度を用いて、動画内の場面転換部
をそれぞれ検出し、検出結果出力部59に検出結果を出
力させる。
目フレームFAのフレーム内特徴RFAと比較用フレーム
FBのフレーム内特徴RFBとに基づき、後述する図13
で示す計算手法を用いて、第1〜第3フレーム間相違度
をそれぞれ演算する。前記各フレーム間相違度は、概略
的には、両フレームFA,FBのフレーム内特徴RFA,
RFB内の各代表色の色間距離の近いもの同士の出現頻度
の差分と該近いもの同士の代表色との積の総和に、相当
する。第2転換部検出装置の特徴形状およびカット点検
出部57,58は、上述の手順で求められた複数の第1
〜第3フレーム間相違度を用いて、動画内の場面転換部
をそれぞれ検出し、検出結果出力部59に検出結果を出
力させる。
【0110】図11は、第2転換部検出装置のフレーム
内特徴抽出部におけるフレーム内特徴の具体的な抽出手
法を説明するためのフローチャートである。図11の説
明において、前記フレーム内特徴抽出部を「抽出部」と
略称する。図11の演算は、図7で説明した場面転換部
の検出処理全体のうち、ステップA5の演算に置換えて
実行されるものである。すなわち図7のステップA4に
おいて、少なくとも処理対象の着目フレーム、すなわち
第nフレームがフレーム記憶部52に記憶された時点
で、制御回路60は、前記抽出部に、第nフレームのフ
レーム内特徴の抽出処理を開始させる。この結果ステッ
プB1からステップB2に進む。
内特徴抽出部におけるフレーム内特徴の具体的な抽出手
法を説明するためのフローチャートである。図11の説
明において、前記フレーム内特徴抽出部を「抽出部」と
略称する。図11の演算は、図7で説明した場面転換部
の検出処理全体のうち、ステップA5の演算に置換えて
実行されるものである。すなわち図7のステップA4に
おいて、少なくとも処理対象の着目フレーム、すなわち
第nフレームがフレーム記憶部52に記憶された時点
で、制御回路60は、前記抽出部に、第nフレームのフ
レーム内特徴の抽出処理を開始させる。この結果ステッ
プB1からステップB2に進む。
【0111】前記抽出部は、ステップB2で、第nフレ
ームに、特徴抽出のための前処理を施す。前記前処理
は、具体的には、第nフレームの画素数および色数を減
少させる処理である。たとえば前記抽出部は、フレーム
の縮小のために、処理対象の第nフレームを構成する全
ての画素のうちから、周期的に画素をまびく。これによ
ってたとえば、640×480ドットの第nフレーム
が、80×60ドットまで縮小される。またたとえば前
記抽出部は、色数の削減のために、いわゆる均等量子化
法を用いる。これによって、元のフレーム内の単一の画
素データセットにおいて、たとえば、赤、緑、および青
を示すためのデータに8ビットずつ、すなわち258階
調が割振られている場合、前処理後のフレーム内の単一
の画素データセットにおいて、赤および緑を示すための
データに3ビットずつ、ならびに青を示すためのデータ
に2ビットが割振られる。すなわち単一の画素が取得る
色が、約1600万色から256色まで減らされる。
ームに、特徴抽出のための前処理を施す。前記前処理
は、具体的には、第nフレームの画素数および色数を減
少させる処理である。たとえば前記抽出部は、フレーム
の縮小のために、処理対象の第nフレームを構成する全
ての画素のうちから、周期的に画素をまびく。これによ
ってたとえば、640×480ドットの第nフレーム
が、80×60ドットまで縮小される。またたとえば前
記抽出部は、色数の削減のために、いわゆる均等量子化
法を用いる。これによって、元のフレーム内の単一の画
素データセットにおいて、たとえば、赤、緑、および青
を示すためのデータに8ビットずつ、すなわち258階
調が割振られている場合、前処理後のフレーム内の単一
の画素データセットにおいて、赤および緑を示すための
データに3ビットずつ、ならびに青を示すためのデータ
に2ビットが割振られる。すなわち単一の画素が取得る
色が、約1600万色から256色まで減らされる。
【0112】前処理後、前記抽出部は、ステップB3
で、第nフレームを予め定める数MMAXの領域に分割
し、かつ、領域番号カウンタmを0に初期化する。たと
えば第nフレームは、図12に示すように、行列状に分
割されるとする。また全ての領域に、たとえばラスタ順
で、領域番号0〜MMAX−1を付すとする。領域番号
カウンタmは、ステップB5〜B11の処理における処
理対象の領域を規定するためのものであり、該カウンタ
が記憶する数値と等しい領域番号の領域、すなわち第m
領域が、処理対象の領域であるとする。初期化後、前記
抽出部は、ステップB4で、領域番号カウンタmの計数
値が全ての領域の数MMAX未満であるか否かを判断す
る。そうである場合、ステップB4からステップB5に
進む。
で、第nフレームを予め定める数MMAXの領域に分割
し、かつ、領域番号カウンタmを0に初期化する。たと
えば第nフレームは、図12に示すように、行列状に分
割されるとする。また全ての領域に、たとえばラスタ順
で、領域番号0〜MMAX−1を付すとする。領域番号
カウンタmは、ステップB5〜B11の処理における処
理対象の領域を規定するためのものであり、該カウンタ
が記憶する数値と等しい領域番号の領域、すなわち第m
領域が、処理対象の領域であるとする。初期化後、前記
抽出部は、ステップB4で、領域番号カウンタmの計数
値が全ての領域の数MMAX未満であるか否かを判断す
る。そうである場合、ステップB4からステップB5に
進む。
【0113】前記抽出部は、ステップB5で、処理対象
の領域、すなわち第nフレーム内の第m領域に関する色
のヒストグラムを作成する。前記ヒストグラムは、前記
第m領域内における画素が取得る複数の色それぞれの出
現頻度を示す。作成後、前記抽出部は、ステップB6
で、色数カウンタpを0に初期化する。初期化後、前記
抽出部は、ステップB7で、色数カウンタpの計数値が
予め定める最大抽出色数PMAX未満であるか否かを判
断する。そうである場合、ステップB7からステップB
8に進む。
の領域、すなわち第nフレーム内の第m領域に関する色
のヒストグラムを作成する。前記ヒストグラムは、前記
第m領域内における画素が取得る複数の色それぞれの出
現頻度を示す。作成後、前記抽出部は、ステップB6
で、色数カウンタpを0に初期化する。初期化後、前記
抽出部は、ステップB7で、色数カウンタpの計数値が
予め定める最大抽出色数PMAX未満であるか否かを判
断する。そうである場合、ステップB7からステップB
8に進む。
【0114】前記抽出部は、ステップB8で、画素が取
得る全ての色のうち、第m領域内における出現頻度が多
いほうからp+1番目の色Cp+1 を、前記ヒストグラム
から検索する。「p+1」は、現時点の色数カウンタp
の値よりも1大きい数である。検索後、前記抽出部は、
ステップB9で、検索された色Cp+1 の色番号と第m領
域内における該色の出現頻度HC[Cp+1 ]を、フレー
ム内特徴記憶部54内の先頭の特徴バッファ内の第m領
域のp+1番目の代表色およびその出現頻度をそれぞれ
記憶するための代表色および出現頻度領域Rn[m]
[p].COL,Rn[m][p].FRQに記憶させ
る。記憶後、前記抽出部は、ステップB10で、色数カ
ウンタpの値に1加算して更新し、ステップB10から
ステップB7に戻る。このように本実施の形態では、領
域の代表色として、画素が取得る全ての色のうち、該領
域における出現頻度が高いほうの色を用いる。これは、
領域内の出現頻度が高い方の色は、該領域の特徴として
安定していると考えられるからである。
得る全ての色のうち、第m領域内における出現頻度が多
いほうからp+1番目の色Cp+1 を、前記ヒストグラム
から検索する。「p+1」は、現時点の色数カウンタp
の値よりも1大きい数である。検索後、前記抽出部は、
ステップB9で、検索された色Cp+1 の色番号と第m領
域内における該色の出現頻度HC[Cp+1 ]を、フレー
ム内特徴記憶部54内の先頭の特徴バッファ内の第m領
域のp+1番目の代表色およびその出現頻度をそれぞれ
記憶するための代表色および出現頻度領域Rn[m]
[p].COL,Rn[m][p].FRQに記憶させ
る。記憶後、前記抽出部は、ステップB10で、色数カ
ウンタpの値に1加算して更新し、ステップB10から
ステップB7に戻る。このように本実施の形態では、領
域の代表色として、画素が取得る全ての色のうち、該領
域における出現頻度が高いほうの色を用いる。これは、
領域内の出現頻度が高い方の色は、該領域の特徴として
安定していると考えられるからである。
【0115】ステップB7〜B10の処理は、色数カウ
ンタpの値が最大抽出色数PMAX以上になるまで、繰
返される。この結果、第m領域から検出された予め定め
る数PMAXの代表色およびそれらの出現頻度が、表6
に示すように、第m領域用の代表色および出現頻度領域
Rn[m][0].COL〜Rn[m][PMAX−
1].COL,Rn[m][0].FRQ〜Rn[m]
[PMAX−1].FRQにそれぞれ記憶される。また
これらの代表色および出現頻度は、表6に示すように、
得られた時点の色数カウンタpの値に対応付けられる。
この結果第m領域の代表色およびその頻度が、簡潔にま
とめられる。
ンタpの値が最大抽出色数PMAX以上になるまで、繰
返される。この結果、第m領域から検出された予め定め
る数PMAXの代表色およびそれらの出現頻度が、表6
に示すように、第m領域用の代表色および出現頻度領域
Rn[m][0].COL〜Rn[m][PMAX−
1].COL,Rn[m][0].FRQ〜Rn[m]
[PMAX−1].FRQにそれぞれ記憶される。また
これらの代表色および出現頻度は、表6に示すように、
得られた時点の色数カウンタpの値に対応付けられる。
この結果第m領域の代表色およびその頻度が、簡潔にま
とめられる。
【0116】
【表6】
【0117】ステップB7で、色数カウンタpの計数値
が予め定める最大抽出色数PMAX以上であると判断さ
れる場合、ステプB6からステップB11に進む。記
憶、前記抽出部は、ステップB10で、領域番号カウン
タmの値に1加算して更新し、ステップB11からステ
ップB4に戻る。この結果、ステップB4〜B11の処
理は、領域番号カウンタmが前記最大領域数MMAX以
上になるまで、繰返される。この結果、第0〜第MMA
X−1領域の代表色および出現頻度が、それぞれ得られ
る。ステップB4で、領域番号カウンタmの計数値が予
め定める数MMAX以上であると判断される場合、ステ
ップB4からステップB12に進み、当該フローチャー
トの処理動作を終了する。
が予め定める最大抽出色数PMAX以上であると判断さ
れる場合、ステプB6からステップB11に進む。記
憶、前記抽出部は、ステップB10で、領域番号カウン
タmの値に1加算して更新し、ステップB11からステ
ップB4に戻る。この結果、ステップB4〜B11の処
理は、領域番号カウンタmが前記最大領域数MMAX以
上になるまで、繰返される。この結果、第0〜第MMA
X−1領域の代表色および出現頻度が、それぞれ得られ
る。ステップB4で、領域番号カウンタmの計数値が予
め定める数MMAX以上であると判断される場合、ステ
ップB4からステップB12に進み、当該フローチャー
トの処理動作を終了する。
【0118】前記特徴抽出のための処理において、処理
対象の第nフレームにステップB2で前記前処理を施す
のは、以下の理由からである。一般的に、単一のフレー
ム内の隣合う2つの画素の相関は高いので、該フレーム
に含まれる情報には冗長性がある。このためフレームの
大きさを縮小した場合、すなわち単一フレームを構成す
る画素の数を減少させた場合、縮小後のフレーム内の情
報の傾向は、縮小前の元のフレーム内の情報の傾向とほ
ぼ等しいことが多い。たとえばVGAサイズ、すなわち
640×480ドットの複数のフレームを、80×60
ドットまでそれぞれ縮小した場合、縮小後の複数のフレ
ーム間の相関および相違度の変化の傾向は、元の複数の
フレーム間の相関および相違度の変化の傾向とほぼ等し
い。ゆえに処理対象のフレームの画素数を特徴抽出の前
に予め減少される場合、該フレームの記憶のために必要
なメモリの容量が、フレームを縮小しない場合よりも減
少する。また前記場合、縮小後のフレームの特徴抽出の
ために該フレーム内の各画素が記憶された前記メモリ内
の部分へのアクセス回数が、フレームが縮小されていな
い場合よりも減少するので、特徴抽出のための演算量が
フレームが縮小しない場合よりも減少する。また前記フ
レーム内の画素の色の数を減少させた場合、フレームの
画素数を減少させた場合と同様の理由によって、メモリ
の容量の削減および特徴抽出における計算量の削減が図
られる。このように単一のフレームの画素数および色数
を減少させることによって、フレーム内の情報の取扱い
が容易になる。以上が、フレームに前処理を施す理由で
ある。
対象の第nフレームにステップB2で前記前処理を施す
のは、以下の理由からである。一般的に、単一のフレー
ム内の隣合う2つの画素の相関は高いので、該フレーム
に含まれる情報には冗長性がある。このためフレームの
大きさを縮小した場合、すなわち単一フレームを構成す
る画素の数を減少させた場合、縮小後のフレーム内の情
報の傾向は、縮小前の元のフレーム内の情報の傾向とほ
ぼ等しいことが多い。たとえばVGAサイズ、すなわち
640×480ドットの複数のフレームを、80×60
ドットまでそれぞれ縮小した場合、縮小後の複数のフレ
ーム間の相関および相違度の変化の傾向は、元の複数の
フレーム間の相関および相違度の変化の傾向とほぼ等し
い。ゆえに処理対象のフレームの画素数を特徴抽出の前
に予め減少される場合、該フレームの記憶のために必要
なメモリの容量が、フレームを縮小しない場合よりも減
少する。また前記場合、縮小後のフレームの特徴抽出の
ために該フレーム内の各画素が記憶された前記メモリ内
の部分へのアクセス回数が、フレームが縮小されていな
い場合よりも減少するので、特徴抽出のための演算量が
フレームが縮小しない場合よりも減少する。また前記フ
レーム内の画素の色の数を減少させた場合、フレームの
画素数を減少させた場合と同様の理由によって、メモリ
の容量の削減および特徴抽出における計算量の削減が図
られる。このように単一のフレームの画素数および色数
を減少させることによって、フレーム内の情報の取扱い
が容易になる。以上が、フレームに前処理を施す理由で
ある。
【0119】図13は、第2転換部検出装置の相違度計
算部におけるフレーム間相違度の具体的な抽出手法を説
明するためのフローチャートである。図13の説明にお
いて、前記相違度計算部を「計算部」と略称する。図1
3の演算は、第1〜第3フレーム間相違度の演算それぞ
れに適用することができるので、以後の説明では、これ
ら3つのフレーム間相違度のうちの任意の1つだけにつ
いて説明し、該任意の1つのフレーム間相違度を「フレ
ーム間相違度」と略称する。
算部におけるフレーム間相違度の具体的な抽出手法を説
明するためのフローチャートである。図13の説明にお
いて、前記相違度計算部を「計算部」と略称する。図1
3の演算は、第1〜第3フレーム間相違度の演算それぞ
れに適用することができるので、以後の説明では、これ
ら3つのフレーム間相違度のうちの任意の1つだけにつ
いて説明し、該任意の1つのフレーム間相違度を「フレ
ーム間相違度」と略称する。
【0120】図13の演算は、図7で説明した場面転換
部の検出処理全体のうち、ステップA7の演算に置換え
て実行されるものである。すなわち図7のステップA6
において、少なくとも着目および比較用フレームである
第n,第n−Lxフレームのフレーム内特徴Rn ,R
n-Lxがフレーム内特徴記憶部54に記憶された時点で、
制御回路60は、前記計算部に、前記フレーム間相違度
の計算を開始させる。この結果ステップC1からステッ
プC2に進む。
部の検出処理全体のうち、ステップA7の演算に置換え
て実行されるものである。すなわち図7のステップA6
において、少なくとも着目および比較用フレームである
第n,第n−Lxフレームのフレーム内特徴Rn ,R
n-Lxがフレーム内特徴記憶部54に記憶された時点で、
制御回路60は、前記計算部に、前記フレーム間相違度
の計算を開始させる。この結果ステップC1からステッ
プC2に進む。
【0121】前記計算部は、ステップC2で、フレーム
間相違度を記憶するための変数DSUMを0に初期化
し、ステップC3で、領域番号カウンタmを0に初期化
する。初期化後、前記計算部は、ステップC4で、領域
番号カウンタmの計数値が全ての領域の数MMAX未満
であるか否かを判断する。そうである場合、ステップC
4からステップC5に進む。前記計算部は、ステップC
5で、色数カウンタpを0に初期化する。初期化後、前
記抽出部は、ステップC6で、色数カウンタpの計数値
が予め定める最大抽出色数PMAX未満であるか否かを
判断する。そうである場合、ステップC6からステップ
C7に進む。着目フレームのフレーム内特徴Rnのう
ち、変数m,pが現時点の領域および色数カウンタm,
pの値とそれぞれ等しい代表色および出現頻度領域Rn
[m][p].COL,Rn[m][p].FRQが、
ステップC7〜C14における現時点の処理対象の代表
色および出現頻度領域となる。
間相違度を記憶するための変数DSUMを0に初期化
し、ステップC3で、領域番号カウンタmを0に初期化
する。初期化後、前記計算部は、ステップC4で、領域
番号カウンタmの計数値が全ての領域の数MMAX未満
であるか否かを判断する。そうである場合、ステップC
4からステップC5に進む。前記計算部は、ステップC
5で、色数カウンタpを0に初期化する。初期化後、前
記抽出部は、ステップC6で、色数カウンタpの計数値
が予め定める最大抽出色数PMAX未満であるか否かを
判断する。そうである場合、ステップC6からステップ
C7に進む。着目フレームのフレーム内特徴Rnのう
ち、変数m,pが現時点の領域および色数カウンタm,
pの値とそれぞれ等しい代表色および出現頻度領域Rn
[m][p].COL,Rn[m][p].FRQが、
ステップC7〜C14における現時点の処理対象の代表
色および出現頻度領域となる。
【0122】前記計算部は、ステップC7で、現時点の
処理対象の代表色の出現頻度領域Rn[m][p].F
RQ内に現時点で記憶される出現頻度が、0以上である
か否かを判断する。そうである場合、ステップC7から
ステップC8に進む。前記計算部は、ステップC8で、
比較用フレームのフレーム内特徴Rn-LX内の第m領域用
の全ての現時点の出現頻度のうちから、該第m領域内の
全ての代表色のうちで現時点の処理対象の代表色に最も
近い色の出現頻度であり、かつ有効な出現頻度を、探索
する。前記第m領域は、比較用フレームRn-LX内の全て
の領域のうちで、領域番号カウンタmの値と番号が等し
い領域である。変数qは、0以上PMAX−1以下の任
意の整数である。有効な出現頻度とは、出現頻度Rn-LX
[m][q].FRQが0以上のものである。
処理対象の代表色の出現頻度領域Rn[m][p].F
RQ内に現時点で記憶される出現頻度が、0以上である
か否かを判断する。そうである場合、ステップC7から
ステップC8に進む。前記計算部は、ステップC8で、
比較用フレームのフレーム内特徴Rn-LX内の第m領域用
の全ての現時点の出現頻度のうちから、該第m領域内の
全ての代表色のうちで現時点の処理対象の代表色に最も
近い色の出現頻度であり、かつ有効な出現頻度を、探索
する。前記第m領域は、比較用フレームRn-LX内の全て
の領域のうちで、領域番号カウンタmの値と番号が等し
い領域である。変数qは、0以上PMAX−1以下の任
意の整数である。有効な出現頻度とは、出現頻度Rn-LX
[m][q].FRQが0以上のものである。
【0123】すなわち前記計算部は、比較用フレームの
フレーム内特徴Rn-LXを記憶する特徴バッファの中の、
第m領域用の代表色領域Rn-LX[m][0].COL〜
Rn-LX[m][PMAX−1].COL内の代表色のう
ちで現時点の処理対象の代表色領域Rn[m][p].
COL内の代表色Cp+1に最も近い色を記憶する代表色
領域Rn-LX[m][q].COLを、比較用フレームの
現時点の処理対象の代表色領域として探索し、かつ、該
特徴バッファの中の第m領域用の全ての出現頻度領域R
n-LX[m][0].FRQ〜Rn-LX[m][PMAX−
1].FRQ内に現時点で記憶される出現頻度のうちか
ら、該代表色領域Rn-LX[m][q].COLに対応す
る出現頻度領域であり、かつ0以上の出現頻度を記憶す
る出現頻度領域Rn-LX[m][q].FRQを、比較用
フレームの現時点の処理対象の代表色の出現頻度領域と
して、探索する。
フレーム内特徴Rn-LXを記憶する特徴バッファの中の、
第m領域用の代表色領域Rn-LX[m][0].COL〜
Rn-LX[m][PMAX−1].COL内の代表色のう
ちで現時点の処理対象の代表色領域Rn[m][p].
COL内の代表色Cp+1に最も近い色を記憶する代表色
領域Rn-LX[m][q].COLを、比較用フレームの
現時点の処理対象の代表色領域として探索し、かつ、該
特徴バッファの中の第m領域用の全ての出現頻度領域R
n-LX[m][0].FRQ〜Rn-LX[m][PMAX−
1].FRQ内に現時点で記憶される出現頻度のうちか
ら、該代表色領域Rn-LX[m][q].COLに対応す
る出現頻度領域であり、かつ0以上の出現頻度を記憶す
る出現頻度領域Rn-LX[m][q].FRQを、比較用
フレームの現時点の処理対象の代表色の出現頻度領域と
して、探索する。
【0124】探索後、前記計算部は、ステップC9で、
有効な変数qが存在するか否かを判断する。変数qが有
効ではなくなるのは、ステップC7の探索処理におい
て、比較用フレームのフレーム内特徴Rn-LX内の第m領
域用の出現頻度領域Rn-LX[m][0].FRQ〜R
n-LX[m][PMAX−1].FRQの記憶内容が全て
0になっている場合であり、この場合変数qは不定にな
る。すなわちこの場合、前記現時点の処置対象の代表色
および出現頻度領域が定められない。変数qが有効であ
るならば、ステップC9からステップC10に進む。
有効な変数qが存在するか否かを判断する。変数qが有
効ではなくなるのは、ステップC7の探索処理におい
て、比較用フレームのフレーム内特徴Rn-LX内の第m領
域用の出現頻度領域Rn-LX[m][0].FRQ〜R
n-LX[m][PMAX−1].FRQの記憶内容が全て
0になっている場合であり、この場合変数qは不定にな
る。すなわちこの場合、前記現時点の処置対象の代表色
および出現頻度領域が定められない。変数qが有効であ
るならば、ステップC9からステップC10に進む。
【0125】前記計算部は、ステップC10で、式13
に示すように、着目および比較用フレームの現時点の処
理対象の代表色の出現頻度領域Rn[m][p].FR
Q,Rn-LX[m][q].FRQ内の出現頻度のうちか
ら、小さいほうの値FMINを求める。選択後、前記計
算部は、ステップC11,C12で、式14,15に示
すように、着目および比較用フレームの現時点の処理対
象の代表色の出現頻度領域Rn[m][p].FRQ,
Rn-LX[m][q].FRQの記憶内容から、前記小さ
いほうの出現頻度FMINをそれぞれ減算して、更新す
る。この結果、前記2つの出現頻度領域のうちの一方が
0になり、他方が該2つの出現頻度の差を記憶する。
に示すように、着目および比較用フレームの現時点の処
理対象の代表色の出現頻度領域Rn[m][p].FR
Q,Rn-LX[m][q].FRQ内の出現頻度のうちか
ら、小さいほうの値FMINを求める。選択後、前記計
算部は、ステップC11,C12で、式14,15に示
すように、着目および比較用フレームの現時点の処理対
象の代表色の出現頻度領域Rn[m][p].FRQ,
Rn-LX[m][q].FRQの記憶内容から、前記小さ
いほうの出現頻度FMINをそれぞれ減算して、更新す
る。この結果、前記2つの出現頻度領域のうちの一方が
0になり、他方が該2つの出現頻度の差を記憶する。
【0126】
FMIN=min(Rn[m][p].FRQ,Rn-LX[m][q].FRQ)
…(13)
Rn[m][p].FRQ=Rn[m][p].FRQ−FMIN
…(14)
Rn-LX[m][q].FRQ=Rn-LX[m][q].FRQ−FMIN
…(15)
更新後、前記計算部は、ステップC13で、式16に示
すように、着目および比較用フレームの現時点の処理対
象の代表色の色番号に基づき、該代表色の色間距離dを
求める。色間距離dとは、2つの色の違いを定量的に示
す数値である。たとえば2つの色C1,C2がRGB色
空間内部で、座標(R1,G1,B1),(R2,G
2,B2)でそれぞれ表される場合、色間距離dは、本
実施の形態では、前記座標(R1,G1,B1),(R
2,G2,B2)の各座標値を、該色C1,C2の画素
の画素データセット内の赤、緑、および青にそれぞれ割
付けられたビットが示す数値であるとして、式17に示
すように、定義している。
すように、着目および比較用フレームの現時点の処理対
象の代表色の色番号に基づき、該代表色の色間距離dを
求める。色間距離dとは、2つの色の違いを定量的に示
す数値である。たとえば2つの色C1,C2がRGB色
空間内部で、座標(R1,G1,B1),(R2,G
2,B2)でそれぞれ表される場合、色間距離dは、本
実施の形態では、前記座標(R1,G1,B1),(R
2,G2,B2)の各座標値を、該色C1,C2の画素
の画素データセット内の赤、緑、および青にそれぞれ割
付けられたビットが示す数値であるとして、式17に示
すように、定義している。
【0127】
d=Rn[m][p].COLとRn-LX[m][q].COLとの差 …(16)
d=|R1−R2|+|G1−G2|+|B1−B2| …(17)
算出後、前記計算部は、式18に示すように、現時点の
相違度変数DSUMの値に、着目および比較用フレーム
の現時点の処理対象の代表色の更新後の出現頻度領域の
記憶内容のうちの大きいほうの値と前記色間距離dとの
積を加算し、更新する。すなわち現時点の相違度変数
に、前記色間距離と前記2つの出現頻度の差との積が加
算される。更新後、ステップC14からステップC15
に戻る。この結果ステップC7〜C14の処理は、着目
フレームの現時点の処理対象の代表色の出現頻度領域R
n[m][p].FRQの記憶内容が0になるまで、ま
たは変数qが無効となるまで、繰返される。
相違度変数DSUMの値に、着目および比較用フレーム
の現時点の処理対象の代表色の更新後の出現頻度領域の
記憶内容のうちの大きいほうの値と前記色間距離dとの
積を加算し、更新する。すなわち現時点の相違度変数
に、前記色間距離と前記2つの出現頻度の差との積が加
算される。更新後、ステップC14からステップC15
に戻る。この結果ステップC7〜C14の処理は、着目
フレームの現時点の処理対象の代表色の出現頻度領域R
n[m][p].FRQの記憶内容が0になるまで、ま
たは変数qが無効となるまで、繰返される。
【0128】
DSUM=DSUM+max(Rn[m][p].FRQ,Rn-LX[m][q].FRQ)×d
…(18)
ステップC7で前記出現頻度領域Rn[m][p].F
RQの記憶内容が0以下になったと判断された場合、ス
テップC7からステップC15に進む。またステップC
9で変数qが有効ではないと判断された場合、ステップ
C9からステップC15に進む。前記計算部は、ステッ
プC15で、色数カウンタpの計数値に1を加算して更
新し、ステップC15からステップC6に戻る。この結
果ステップC6〜C15の処理は、色数カウンタpの計
数値が予め定める値PMAXになるまで、すなわち着目
または比較用フレームの第m領域用の全ての出現頻度領
域の記憶内容が0以下になるまで、繰返される。
RQの記憶内容が0以下になったと判断された場合、ス
テップC7からステップC15に進む。またステップC
9で変数qが有効ではないと判断された場合、ステップ
C9からステップC15に進む。前記計算部は、ステッ
プC15で、色数カウンタpの計数値に1を加算して更
新し、ステップC15からステップC6に戻る。この結
果ステップC6〜C15の処理は、色数カウンタpの計
数値が予め定める値PMAXになるまで、すなわち着目
または比較用フレームの第m領域用の全ての出現頻度領
域の記憶内容が0以下になるまで、繰返される。
【0129】ステップC6で色数カウンタpの計数値が
前記値PMAX以上になったと判断された場合、ステッ
プC6からステップC16に進む。前記計算部は、ステ
ップC16で、領域番号カウンタmの計数値に1を加算
して更新し、ステップC16からステップC4に戻る。
この結果ステップC4〜C16の処理は、領域番号カウ
ンタmの計数値が予め定める分割数MMAXになるま
で、繰返される。この結果、着目および比較用フレーム
の全ての領域に対して、ステップC4〜C16の処理が
施される。ステップC4で領域番号カウンタmの計数値
が前記分割数MMAX以上になったと判断された場合、
ステップC4からステップC17に進み、当該フローチ
ャートの処理動作を終了する。この結果、図13のフロ
ーチャートが終了した時点の相違度変数DSAMに記憶
される値が、前記着目および比較用フレーム間のフレー
ム間相違度として、出力される。
前記値PMAX以上になったと判断された場合、ステッ
プC6からステップC16に進む。前記計算部は、ステ
ップC16で、領域番号カウンタmの計数値に1を加算
して更新し、ステップC16からステップC4に戻る。
この結果ステップC4〜C16の処理は、領域番号カウ
ンタmの計数値が予め定める分割数MMAXになるま
で、繰返される。この結果、着目および比較用フレーム
の全ての領域に対して、ステップC4〜C16の処理が
施される。ステップC4で領域番号カウンタmの計数値
が前記分割数MMAX以上になったと判断された場合、
ステップC4からステップC17に進み、当該フローチ
ャートの処理動作を終了する。この結果、図13のフロ
ーチャートが終了した時点の相違度変数DSAMに記憶
される値が、前記着目および比較用フレーム間のフレー
ム間相違度として、出力される。
【0130】以上説明したように、第2転換部検出装置
31は、第nフレームのフレーム内特徴Rnとして、該
第nフレームを分割して得られる複数の各領域を代表す
る色および該各領域内の該色の画素の出現頻度とを用
い、かつ、第nフレームのフレーム間相違度を図13に
示す手法で計算する。これは以下の理由からである。
31は、第nフレームのフレーム内特徴Rnとして、該
第nフレームを分割して得られる複数の各領域を代表す
る色および該各領域内の該色の画素の出現頻度とを用
い、かつ、第nフレームのフレーム間相違度を図13に
示す手法で計算する。これは以下の理由からである。
【0131】フレーム内特徴として、2枚のフレーム内
の対応画素の色または輝度の差の総和、すなわちいわゆ
るフレーム間差分が用いられる場合、2枚のフレームに
写る被写体のフレーム内の位置が微小量だけずれたなら
ば、該2枚のフレームのフレーム間相違度が大きく変化
する。すなわち前記場合、フレーム間相違度は2枚のフ
レームの微小な違いに過敏に反応する。またフレーム内
特徴として、2枚のフレームの画素ヒストグラムの差が
用いられる場合、該フレーム内特徴からはフレーム内の
画素の位置に関する特徴が失われている。ゆえにたとえ
ば、2枚のフレームが、内部に写る被写体の位置だけが
ずれているならば、両フレーム間のフレーム間相違度は
高くなりやすい。すなわち前記場合、フレーム間相違度
は2枚のフレームの微妙な違いに鈍感になる。また上記
2つの場合のどちらでも、フレーム間相違度は、2枚の
フレーム色合いおよび該フレームの各画素の輝度の変化
に過敏に反応しやすい。
の対応画素の色または輝度の差の総和、すなわちいわゆ
るフレーム間差分が用いられる場合、2枚のフレームに
写る被写体のフレーム内の位置が微小量だけずれたなら
ば、該2枚のフレームのフレーム間相違度が大きく変化
する。すなわち前記場合、フレーム間相違度は2枚のフ
レームの微小な違いに過敏に反応する。またフレーム内
特徴として、2枚のフレームの画素ヒストグラムの差が
用いられる場合、該フレーム内特徴からはフレーム内の
画素の位置に関する特徴が失われている。ゆえにたとえ
ば、2枚のフレームが、内部に写る被写体の位置だけが
ずれているならば、両フレーム間のフレーム間相違度は
高くなりやすい。すなわち前記場合、フレーム間相違度
は2枚のフレームの微妙な違いに鈍感になる。また上記
2つの場合のどちらでも、フレーム間相違度は、2枚の
フレーム色合いおよび該フレームの各画素の輝度の変化
に過敏に反応しやすい。
【0132】第1フレーム間相違度がフレームの相違に
対し上述のように反応するならば、第1フレーム間相違
度はカット点以外のフレームでも閾値以上に増加する可
能性があるので、該フレーム間相違度を用いたカット点
の検出精度の向上が困難になる。また第2および第3フ
レーム間相違度がフレームの相違に対し上述のように反
応するならば、第2および第3フレーム間相違度の変化
パターンのうちのトランジション部分に特有のパターン
に該フレームの相違に拘わる相違度の変動が重なった
り、該相違度の変動が該特有のパターンを打消してしま
うことがある。この結果前記トランジション部分に特有
のパターンの検出が難しくなるので、前記フレーム間相
違度を用いたトランジション部分の検出精度の向上が困
難になる。
対し上述のように反応するならば、第1フレーム間相違
度はカット点以外のフレームでも閾値以上に増加する可
能性があるので、該フレーム間相違度を用いたカット点
の検出精度の向上が困難になる。また第2および第3フ
レーム間相違度がフレームの相違に対し上述のように反
応するならば、第2および第3フレーム間相違度の変化
パターンのうちのトランジション部分に特有のパターン
に該フレームの相違に拘わる相違度の変動が重なった
り、該相違度の変動が該特有のパターンを打消してしま
うことがある。この結果前記トランジション部分に特有
のパターンの検出が難しくなるので、前記フレーム間相
違度を用いたトランジション部分の検出精度の向上が困
難になる。
【0133】本実施の形態のフレーム内特徴は、上述の
ように求められる。フレーム内特徴の算出の際、算出対
象のフレームは、複数の領域に区分される。この結果、
フレームの分割数に基づき、フレーム内の被写体の動き
が各領域の特徴に吸収される程度を、調整することがで
きる。たとえば、前記分割数が少ないほど、前記フレー
ム内の動きが前記各領域の特徴に吸収されやすくなり、
前記分割数が多いほど、前記フレーム内の動きが前記各
領域の特徴に吸収されにくくなる。すなわち前記分割数
が多いほど、前記被写体の動きが各領域の特徴に反映さ
れ易くなる。
ように求められる。フレーム内特徴の算出の際、算出対
象のフレームは、複数の領域に区分される。この結果、
フレームの分割数に基づき、フレーム内の被写体の動き
が各領域の特徴に吸収される程度を、調整することがで
きる。たとえば、前記分割数が少ないほど、前記フレー
ム内の動きが前記各領域の特徴に吸収されやすくなり、
前記分割数が多いほど、前記フレーム内の動きが前記各
領域の特徴に吸収されにくくなる。すなわち前記分割数
が多いほど、前記被写体の動きが各領域の特徴に反映さ
れ易くなる。
【0134】前記分割数が多いほど、2つのフレームの
対応領域同士の特徴の差は、前記対応画素同士の色およ
び輝度の差に近くなり、分割数が少ないほど、前記領域
の特徴の差は前記フレーム同士の特徴の差に近くなる。
対応領域同士の特徴の差は、前記対応画素同士の色およ
び輝度の差に近くなり、分割数が少ないほど、前記領域
の特徴の差は前記フレーム同士の特徴の差に近くなる。
【0135】また本実施の形態のフレーム間相違度は、
基本的には、着目および比較用フレームの対応する領域
内の代表色のうちの色が類似するもの同士の出現頻度の
差分と該色の色間距離との積の総和である。このように
前記代表色のうちの近い色の差分を用いることによっ
て、フレーム間相違度は、2枚のフレームの微小な輝度
よび色合いの差分を吸収することができるので、前記差
分に過敏に反応しない。
基本的には、着目および比較用フレームの対応する領域
内の代表色のうちの色が類似するもの同士の出現頻度の
差分と該色の色間距離との積の総和である。このように
前記代表色のうちの近い色の差分を用いることによっ
て、フレーム間相違度は、2枚のフレームの微小な輝度
よび色合いの差分を吸収することができるので、前記差
分に過敏に反応しない。
【0136】これらの理由に基づき、本実施の形態のフ
レーム内特徴およびフレーム間相違度が用いられる場
合、2枚のフレームの差異に対して、該フレーム内特徴
およびフレーム間相違度が過敏また過度に鈍感になるこ
とを防止することができる。この結果各フレーム間相違
度の変化パターン内にカット点およびトランジション部
分に特徴的な形状がそれぞれ明瞭に現れるので、カット
点およびトランジション部分の検出精度を向上させるこ
とができる。上述のフレーム内特徴の検出において、領
域内の或る色の画素の出現頻度は、該領域内の該色の画
素が占める面積と等価である。ゆえに前記フレーム内特
徴は、前記出現頻度に代わって、前記画素が示す面積を
用いて検出されても良い。
レーム内特徴およびフレーム間相違度が用いられる場
合、2枚のフレームの差異に対して、該フレーム内特徴
およびフレーム間相違度が過敏また過度に鈍感になるこ
とを防止することができる。この結果各フレーム間相違
度の変化パターン内にカット点およびトランジション部
分に特徴的な形状がそれぞれ明瞭に現れるので、カット
点およびトランジション部分の検出精度を向上させるこ
とができる。上述のフレーム内特徴の検出において、領
域内の或る色の画素の出現頻度は、該領域内の該色の画
素が占める面積と等価である。ゆえに前記フレーム内特
徴は、前記出現頻度に代わって、前記画素が示す面積を
用いて検出されても良い。
【0137】本発明の第3の実施の形態である動画場面
転換部検出装置について、以下に説明する。第3の実施
の形態の動画場面転換部検出装置(以後「第3転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、カット検出部におけるカット点の具体的な検出
手法が異なり、他は等しい。ゆえに第3転換部検出装置
の構造および動作のうち、第1転換部検出装置50と同
じ構造および動作の説明は省略する。また第3転換部検
出装置内の部品のうち、第1の実施の形態の転換部検出
装置31と同じ部品には同じ参照符を付す。
転換部検出装置について、以下に説明する。第3の実施
の形態の動画場面転換部検出装置(以後「第3転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、カット検出部におけるカット点の具体的な検出
手法が異なり、他は等しい。ゆえに第3転換部検出装置
の構造および動作のうち、第1転換部検出装置50と同
じ構造および動作の説明は省略する。また第3転換部検
出装置内の部品のうち、第1の実施の形態の転換部検出
装置31と同じ部品には同じ参照符を付す。
【0138】第3転換部検出装置のカット検出部におけ
るカット点の検出手法を、概略的に以下に説明する。予
め定めるカット点検出用閾値TCは、一般的に、カット
点を挟み連続した2つのフレーム間の隣接フレーム間相
違度以下であり、かつ、単一ショット内の連続した2つ
のフレーム間の隣接フレーム間相違度よりも大きくなる
ように、設定されている。この結果隣接フレーム間相違
度と前記閾値TCとの大小関係に基づいて、カット点を
検出することができる。
るカット点の検出手法を、概略的に以下に説明する。予
め定めるカット点検出用閾値TCは、一般的に、カット
点を挟み連続した2つのフレーム間の隣接フレーム間相
違度以下であり、かつ、単一ショット内の連続した2つ
のフレーム間の隣接フレーム間相違度よりも大きくなる
ように、設定されている。この結果隣接フレーム間相違
度と前記閾値TCとの大小関係に基づいて、カット点を
検出することができる。
【0139】しかしながら前述した通り、単一ショット
において被写体とカメラとの相対的な位置変化が激しい
場合、該位置変化に起因して、該ショット内の連続する
2つのフレームであっても、隣接フレーム間相違度が前
記閾値TC以上に大きくなることある。また単一ショッ
ト内のフレームであっても複数のフレームを間に挟んで
配置される2つのフレームのフレーム間相違度は、前記
位置変化の影響のために大きくなり易い。たとえば前記
単一のショットに編集が加えられて一部分のフレームが
削除されたならば、それら2つのフレームを挟んで配置
されていた2枚のフレームが連続するフレームとなるた
め、該2つのフレーム間の隣接フレーム間相違度が前記
閾値TC以上になることがある。このように単一ショッ
ト内の連続する2つのフレーム隣接フレーム間相違度が
閾値TC以上になる場合、単一ショット内の連続する2
つのフレーム間にカット点があると誤検出されることが
ある。
において被写体とカメラとの相対的な位置変化が激しい
場合、該位置変化に起因して、該ショット内の連続する
2つのフレームであっても、隣接フレーム間相違度が前
記閾値TC以上に大きくなることある。また単一ショッ
ト内のフレームであっても複数のフレームを間に挟んで
配置される2つのフレームのフレーム間相違度は、前記
位置変化の影響のために大きくなり易い。たとえば前記
単一のショットに編集が加えられて一部分のフレームが
削除されたならば、それら2つのフレームを挟んで配置
されていた2枚のフレームが連続するフレームとなるた
め、該2つのフレーム間の隣接フレーム間相違度が前記
閾値TC以上になることがある。このように単一ショッ
ト内の連続する2つのフレーム隣接フレーム間相違度が
閾値TC以上になる場合、単一ショット内の連続する2
つのフレーム間にカット点があると誤検出されることが
ある。
【0140】図14は、動画内の各フレームの隣接フレ
ーム間相違度のフレーム順序に従う変化を示すグラフで
ある。図14において、少なくとも、範囲WFA内の複
数のフレームは単一ショット内のものであり、範囲WF
B内の複数のフレームはカット点を挟む2つのフレーム
を含むものである。範囲WFA内に示すショットにおけ
るカメラと被写体との位置変化は極めて激しいと仮定す
る。図14に基づき、前記位置変化に基づき単一ショッ
ト内の2つのフレーム間の隣接フレーム間相違度が前記
閾値以上になる場合、該2つのフレームの近傍の他の2
つのフレームのフレーム間相違度も前記閾値以上になっ
ていることが分かる。これとは逆に、図14に基づき、
カット点を挟むことに基づき2つのフレーム間の隣接フ
レーム間相違度が前記閾値以上になる場合、該2つのフ
レームの近傍の他の2つのフレームの隣接フレーム間相
違度は常に閾値未満になっていることが分かる。すなわ
ちカット点を挟む2つのフレームの隣接フレーム間相違
度は、該カット点の周囲の他の2つのフレームの隣接フ
レーム間相違度よりも突出している。
ーム間相違度のフレーム順序に従う変化を示すグラフで
ある。図14において、少なくとも、範囲WFA内の複
数のフレームは単一ショット内のものであり、範囲WF
B内の複数のフレームはカット点を挟む2つのフレーム
を含むものである。範囲WFA内に示すショットにおけ
るカメラと被写体との位置変化は極めて激しいと仮定す
る。図14に基づき、前記位置変化に基づき単一ショッ
ト内の2つのフレーム間の隣接フレーム間相違度が前記
閾値以上になる場合、該2つのフレームの近傍の他の2
つのフレームのフレーム間相違度も前記閾値以上になっ
ていることが分かる。これとは逆に、図14に基づき、
カット点を挟むことに基づき2つのフレーム間の隣接フ
レーム間相違度が前記閾値以上になる場合、該2つのフ
レームの近傍の他の2つのフレームの隣接フレーム間相
違度は常に閾値未満になっていることが分かる。すなわ
ちカット点を挟む2つのフレームの隣接フレーム間相違
度は、該カット点の周囲の他の2つのフレームの隣接フ
レーム間相違度よりも突出している。
【0141】このため第3転換部検出装置のカット検出
部は、カット点の検出に先立ち、動画内の各フレームの
隣接フレーム間相違度L1[0]〜L1[N−1]を、
それぞれ該各フレームの前後の複数のフレームのフレー
ム間相違度を用いてそれぞれ補正する。この結果図15
に示すように、範囲WFA内の前記位置変化に起因する
隣接フレーム間相違度だけが抑制され、カット点に起因
する隣接フレーム間相違度は元のまま保たれる。前記カ
ット点検出部は、このように補正された隣接フレーム間
相違度を用いて、動画内のカット点を検出する。
部は、カット点の検出に先立ち、動画内の各フレームの
隣接フレーム間相違度L1[0]〜L1[N−1]を、
それぞれ該各フレームの前後の複数のフレームのフレー
ム間相違度を用いてそれぞれ補正する。この結果図15
に示すように、範囲WFA内の前記位置変化に起因する
隣接フレーム間相違度だけが抑制され、カット点に起因
する隣接フレーム間相違度は元のまま保たれる。前記カ
ット点検出部は、このように補正された隣接フレーム間
相違度を用いて、動画内のカット点を検出する。
【0142】図16は、第3転換部検出装置のカット点
検出部におけるカット点の具体的な検出手法を説明する
ためのフローチャートである。図16の説明において、
前記カット点検出部を「検出部」と略称する。図16の
演算は、図7で説明した場面転換部の検出処理全体のう
ち、ステップA9の演算に置換えて実行されるものであ
る。すなわち図7のステップA8において、着目フレー
ム、すなわち第nフレームの第1〜第3フレーム間相違
度が相違度バッファに記憶された後、制御回路60は、
前記検出部に前記カット点の検出処理を開始させる。こ
の結果ステップD1からステップD2に進む。
検出部におけるカット点の具体的な検出手法を説明する
ためのフローチャートである。図16の説明において、
前記カット点検出部を「検出部」と略称する。図16の
演算は、図7で説明した場面転換部の検出処理全体のう
ち、ステップA9の演算に置換えて実行されるものであ
る。すなわち図7のステップA8において、着目フレー
ム、すなわち第nフレームの第1〜第3フレーム間相違
度が相違度バッファに記憶された後、制御回路60は、
前記検出部に前記カット点の検出処理を開始させる。こ
の結果ステップD1からステップD2に進む。
【0143】前記検出部は、ステップD2〜D4で、着
目フレームよりも表示順が前述した予め定める数BCだ
け早い第n−BCフレームを、カット点検出のための注
目フレームとして選び、該注目フレームの第1フレーム
間相違度、すなわち隣接フレーム間相違度を補正する。
目フレームよりも表示順が前述した予め定める数BCだ
け早い第n−BCフレームを、カット点検出のための注
目フレームとして選び、該注目フレームの第1フレーム
間相違度、すなわち隣接フレーム間相違度を補正する。
【0144】すなわち前記検出部は、ステップD2で、
第1バッファ群内のBC番目の相違度バッファBDL1
[BC]の前および後ろにそれぞれ並ぶ予め定める数L
Lずつのバッファ、すなわち第1バッファ群内のBC−
LL番目〜BC−1番目、BC+1番目〜BC+LL番
目のバッファ内の第1フレーム間相違度を、降べき順に
並換える。「2LL」は、予め定める数LLの2倍の数
であり、第2フレーム間距離L2以下である。並換え後
の2LL個の第1フレーム間相違度は、配列変数CS
[0]〜CS[2LL−1]にそれぞれ格納される。配
列変数CS[k]は、変数kが大きいほど、前記2LL
個の第1フレーム間相違度のうちの値の大きいものを記
憶する。ここで変数kは、0以上2LL−1以下の整数
である。この結果配列変数CS[0]〜CS[2LL−
1]は、注目フレームの前後それぞれLL個のフレーム
の第1フレーム間相違度を、降べき順に記憶する。
第1バッファ群内のBC番目の相違度バッファBDL1
[BC]の前および後ろにそれぞれ並ぶ予め定める数L
Lずつのバッファ、すなわち第1バッファ群内のBC−
LL番目〜BC−1番目、BC+1番目〜BC+LL番
目のバッファ内の第1フレーム間相違度を、降べき順に
並換える。「2LL」は、予め定める数LLの2倍の数
であり、第2フレーム間距離L2以下である。並換え後
の2LL個の第1フレーム間相違度は、配列変数CS
[0]〜CS[2LL−1]にそれぞれ格納される。配
列変数CS[k]は、変数kが大きいほど、前記2LL
個の第1フレーム間相違度のうちの値の大きいものを記
憶する。ここで変数kは、0以上2LL−1以下の整数
である。この結果配列変数CS[0]〜CS[2LL−
1]は、注目フレームの前後それぞれLL個のフレーム
の第1フレーム間相違度を、降べき順に記憶する。
【0145】記憶後、前記検出部は、注目フレーム、す
なわち第n−BCフレームの第1フレーム間相違度を補
正するための補正量Rを、式19に基づいて求める。す
なわち補正量Rは、注目フレームの前後の2LL個のフ
レームの各第1フレーム間相違度と予め定める2LL個
の各重み係数α0 〜α2LL-1 との積の総和である。以下
の式で「CS[k]」は、k番目の配列変数CS[k]
内の第1フレーム間相違度を示す。
なわち第n−BCフレームの第1フレーム間相違度を補
正するための補正量Rを、式19に基づいて求める。す
なわち補正量Rは、注目フレームの前後の2LL個のフ
レームの各第1フレーム間相違度と予め定める2LL個
の各重み係数α0 〜α2LL-1 との積の総和である。以下
の式で「CS[k]」は、k番目の配列変数CS[k]
内の第1フレーム間相違度を示す。
【0146】
全ての重み係数α0 〜α2LL-1 のうちの少なくとも1つ
は0を越える係数である。前記補正量Rは、単一ショッ
トにおける被写体とカメラとの位置変化に起因して増大
した第1フレーム間相違度を抑制するためのものであ
る。ゆえに、全重み係数α0 〜α2LL-1 のうち、変数k
の大きいものほど、すなわち順番の早い配列変数CS
[k]に乗算されるべきものほど、値が大きいことが好
ましい。たとえば式20に示すように、先頭の重み係数
α0 が1であり、残余の全ての重み係数α1 〜α2LL-1
が0であってもよい。
は0を越える係数である。前記補正量Rは、単一ショッ
トにおける被写体とカメラとの位置変化に起因して増大
した第1フレーム間相違度を抑制するためのものであ
る。ゆえに、全重み係数α0 〜α2LL-1 のうち、変数k
の大きいものほど、すなわち順番の早い配列変数CS
[k]に乗算されるべきものほど、値が大きいことが好
ましい。たとえば式20に示すように、先頭の重み係数
α0 が1であり、残余の全ての重み係数α1 〜α2LL-1
が0であってもよい。
【0147】
【数1】
【0148】補正量算出後、前記検出部は、ステップD
4で、式21に示すように、注目フレームの補正された
第1フレーム間相違度CRを算出する。前記補正後の第
1フレーム間相違度CRは、注目フレームの元の第1フ
レーム間相違度L1(n−BC,n−BC−1)から、
ステップD3で算出された補正量Rを減算した値であ
る。式19において、「BDL1[BC]」は、第1バ
ッファ群内のBC番目の相違度バッファに記憶された第
1フレーム間相違度、すなわち注目フレームの元の第1
フレーム間相違度である。 CR = BDL1[BC]−R …(21) 前述したようにこのように重み係数α0 〜α2LL-1 が定
められた場合、注目フレームの第1フレーム間相違度が
カット点に起因して増大している場合よりも、該第1フ
レーム相違度が前記位置変化に起因して増大している場
合に、補正量Rは大きくなる。この結果前者の場合の補
正後の第1フレーム間相違度CRは元の第1フレーム間
相違度L1(n−BC,n−BC−1)とほぼ等しく、
後者の場合の補正後の第1フレーム間相違度CRは元の
第1フレーム間相違度L1(n−BC,n−BC−1)
よりも極めて小さくなる。この結果、動画内の各フレー
ムの補正後の第1フレーム間相違度のフレームの並べ順
に従う変化は、前述の図15に示す通りになる。すなわ
ちステップD2〜D4の補正処理によって、位置変化に
起因して増大した区間WFA内の第1フレーム間相違度
が抑制されて、元の値よりも小さくなっている。
4で、式21に示すように、注目フレームの補正された
第1フレーム間相違度CRを算出する。前記補正後の第
1フレーム間相違度CRは、注目フレームの元の第1フ
レーム間相違度L1(n−BC,n−BC−1)から、
ステップD3で算出された補正量Rを減算した値であ
る。式19において、「BDL1[BC]」は、第1バ
ッファ群内のBC番目の相違度バッファに記憶された第
1フレーム間相違度、すなわち注目フレームの元の第1
フレーム間相違度である。 CR = BDL1[BC]−R …(21) 前述したようにこのように重み係数α0 〜α2LL-1 が定
められた場合、注目フレームの第1フレーム間相違度が
カット点に起因して増大している場合よりも、該第1フ
レーム相違度が前記位置変化に起因して増大している場
合に、補正量Rは大きくなる。この結果前者の場合の補
正後の第1フレーム間相違度CRは元の第1フレーム間
相違度L1(n−BC,n−BC−1)とほぼ等しく、
後者の場合の補正後の第1フレーム間相違度CRは元の
第1フレーム間相違度L1(n−BC,n−BC−1)
よりも極めて小さくなる。この結果、動画内の各フレー
ムの補正後の第1フレーム間相違度のフレームの並べ順
に従う変化は、前述の図15に示す通りになる。すなわ
ちステップD2〜D4の補正処理によって、位置変化に
起因して増大した区間WFA内の第1フレーム間相違度
が抑制されて、元の値よりも小さくなっている。
【0149】再び図16を参照する。補正処理終了後、
前記検出部は、ステップD5で、ステップD4で算出さ
れた注目フレームの補正後の第1フレーム間相違度CR
が、予め定めるカット点検出用の閾値TC以上であるか
否かを判断する。補正後の第1フレーム間相違度CRが
閾値TC以上である場合だけ、注目フレーム、すなわち
前記第n−BCフレームとその隣のフレームとの間にカ
ット点があると判断される。この場合ステップD5から
ステップD6に進み、制御装置60は、場面転換フラグ
FCにTRUEをセットし、ステップD7で当該フロー
チャートの処理動作を終了する。補正後の第1フレーム
間相違度CRが閾値TC未満である場合、前記第n−B
Cフレームとその隣のフレームとの間にカット点がない
と判断される。この場合ステップD5からステップD6
を飛ばしてステップD7に進み、当該フローチャートの
処理動作を終了する。この結果場面転換フラグFCはF
ALSEのまま保たれる。
前記検出部は、ステップD5で、ステップD4で算出さ
れた注目フレームの補正後の第1フレーム間相違度CR
が、予め定めるカット点検出用の閾値TC以上であるか
否かを判断する。補正後の第1フレーム間相違度CRが
閾値TC以上である場合だけ、注目フレーム、すなわち
前記第n−BCフレームとその隣のフレームとの間にカ
ット点があると判断される。この場合ステップD5から
ステップD6に進み、制御装置60は、場面転換フラグ
FCにTRUEをセットし、ステップD7で当該フロー
チャートの処理動作を終了する。補正後の第1フレーム
間相違度CRが閾値TC未満である場合、前記第n−B
Cフレームとその隣のフレームとの間にカット点がない
と判断される。この場合ステップD5からステップD6
を飛ばしてステップD7に進み、当該フローチャートの
処理動作を終了する。この結果場面転換フラグFCはF
ALSEのまま保たれる。
【0150】以上のように第3転換部検出装置のカット
検出部は、注目フレームの第1フレーム間相違度を、該
注目フレームの前後の他の複数のフレームの第1フレー
ム間相違度に基づいて補正し、補正後の第1フレーム間
相違度を用いてカット点の有無を判断する。この結果前
記カット検出部は、単一ショット内の被写体とカメラと
の位置変化、すなわちいわゆる被写体の動きに起因する
カット点の誤検出を抑制することができる。したがって
第3転換部検出装置は、前記カット検出部の検出精度を
向上させることができる。
検出部は、注目フレームの第1フレーム間相違度を、該
注目フレームの前後の他の複数のフレームの第1フレー
ム間相違度に基づいて補正し、補正後の第1フレーム間
相違度を用いてカット点の有無を判断する。この結果前
記カット検出部は、単一ショット内の被写体とカメラと
の位置変化、すなわちいわゆる被写体の動きに起因する
カット点の誤検出を抑制することができる。したがって
第3転換部検出装置は、前記カット検出部の検出精度を
向上させることができる。
【0151】本発明の第4の実施の形態である動画場面
転換部検出装置について、以下に説明する。第4の実施
の形態の動画場面転換部検出装置(以後「第4転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、特徴形状検出部におけるトランジション部分の
具体的な検出手法が異なり、他は等しい。ゆえに第4転
換部検出装置の構造および動作のうち、第1転換部検出
装置50と同じ構造および動作の説明は省略する。また
第4転換部検出装置内の部品のうち、第1転換部検出装
置50と同じ部品には同じ参照符を付す。また第4転換
部検出装置の説明において、前記特徴形状検出部を「検
出部」と略称することがある。
転換部検出装置について、以下に説明する。第4の実施
の形態の動画場面転換部検出装置(以後「第4転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、特徴形状検出部におけるトランジション部分の
具体的な検出手法が異なり、他は等しい。ゆえに第4転
換部検出装置の構造および動作のうち、第1転換部検出
装置50と同じ構造および動作の説明は省略する。また
第4転換部検出装置内の部品のうち、第1転換部検出装
置50と同じ部品には同じ参照符を付す。また第4転換
部検出装置の説明において、前記特徴形状検出部を「検
出部」と略称することがある。
【0152】第4転換部検出装置の特徴形状検出部は、
概略的には、着目フレームおよびその近傍の複数のフレ
ームの第2および第3フレーム間相違度のフレームの並
べ順に従う変化を、式22,23に示す2次関数によっ
て近似し、2つの近似式22,23のグラフである2つ
の放物線の相互の位置関係および形状を該近似式22,
23の係数に基づいて判断し、着目フレームおよびその
近傍のフレームがトランジション部分を構成しているか
を調べる。近似式22,23において、aL2,bL2,c
L2,aL3,bL3,cL3は係数であり、x,yは変数であ
る。
概略的には、着目フレームおよびその近傍の複数のフレ
ームの第2および第3フレーム間相違度のフレームの並
べ順に従う変化を、式22,23に示す2次関数によっ
て近似し、2つの近似式22,23のグラフである2つ
の放物線の相互の位置関係および形状を該近似式22,
23の係数に基づいて判断し、着目フレームおよびその
近傍のフレームがトランジション部分を構成しているか
を調べる。近似式22,23において、aL2,bL2,c
L2,aL3,bL3,cL3は係数であり、x,yは変数であ
る。
【0153】
fL2(x)=aL2(x−bL2)2+cL2=0 …(22)
fL3(x)=aL3(x−bL3)2+cL3=0 …(23)
また本実施の形態では、前記係数の算出に、いわゆる最
小二乗法を用いる。すなわち前記検出部は、式24の連
立方程式の解を、誤差ベクトルei =0と定義して求め
る。変数iは、動画内の全てのフレームのうち、フレー
ム間相違度が近似式22,23によって近似される区
間、すなわち観測区間を定義するための変数である。変
数iは、具体的には、予め定める最小定数i0以上でか
つ予め定める最大定数imax以下の整数である。すな
わち近似式22,23は、着目フレームよりもi枚遡っ
たフレームから着目フレームまで、すなわち第n−iフ
レームから第nフレームまでのi枚のフレームの第2お
よび第3フレーム間相違度のフレームの並べ順に従う変
化パターンを近似する。最小定数i0は、トランジショ
ン部分の最小の長さ、すなわちトランジション部分を構
成するフレームの最小の数に基づいて予め定められ、本
実施の形態では5であるとする。
小二乗法を用いる。すなわち前記検出部は、式24の連
立方程式の解を、誤差ベクトルei =0と定義して求め
る。変数iは、動画内の全てのフレームのうち、フレー
ム間相違度が近似式22,23によって近似される区
間、すなわち観測区間を定義するための変数である。変
数iは、具体的には、予め定める最小定数i0以上でか
つ予め定める最大定数imax以下の整数である。すな
わち近似式22,23は、着目フレームよりもi枚遡っ
たフレームから着目フレームまで、すなわち第n−iフ
レームから第nフレームまでのi枚のフレームの第2お
よび第3フレーム間相違度のフレームの並べ順に従う変
化パターンを近似する。最小定数i0は、トランジショ
ン部分の最小の長さ、すなわちトランジション部分を構
成するフレームの最小の数に基づいて予め定められ、本
実施の形態では5であるとする。
【0154】
AiX = Di+ei (i=i0,i0+1,…,imax) …(24)
式24において、「Ai 」は式25で示すi+1行3列
(3×(i+1))の行列である。「X」は、式26に
示すように、式27に示す2次式の3つの未知係数a,
b,cを並べた要素数3の係数ベクトルである。「D
i 」は、式28に示すように、観測値d0 〜di 、すな
わち相違度バッファBD[0]〜BD[i]内の値を並
べた要素数i+1のベクトルである。式27の3つの未
知係数a,b,cと式22の3つの未知係数aL2,
bL2,cL2との関係は、式29〜31に示すとおりであ
る。また式27の3つの未知係数a,b,cと式23の
3つの未知係数aL3,bL3,cL3との関係は、式29〜
31の未知係数aL2,bL2,cL2を未知係数aL3,
bL3,cL3に置換えたものと等しい。
(3×(i+1))の行列である。「X」は、式26に
示すように、式27に示す2次式の3つの未知係数a,
b,cを並べた要素数3の係数ベクトルである。「D
i 」は、式28に示すように、観測値d0 〜di 、すな
わち相違度バッファBD[0]〜BD[i]内の値を並
べた要素数i+1のベクトルである。式27の3つの未
知係数a,b,cと式22の3つの未知係数aL2,
bL2,cL2との関係は、式29〜31に示すとおりであ
る。また式27の3つの未知係数a,b,cと式23の
3つの未知係数aL3,bL3,cL3との関係は、式29〜
31の未知係数aL2,bL2,cL2を未知係数aL3,
bL3,cL3に置換えたものと等しい。
【0155】
【数2】
【0156】
aL2 = a …(29)
bL2 = −b÷(2a) …(30)
cL2 = c−ab2 …(31)
最小二乗法を用いて式23内の係数ベクトルXを解くこ
とは、誤差ベクトルei が0であると定義して、式32
に示す行列計算を行うことと等価である。「Ai T」は行
列Ai の転置行列であり、「(Ai TAi)-1」は、転置
行列Ai Tと行列Aiとの積である行列の逆行列である。
ここで行列「(Ai TAi)-1Ai T」は、i+1行3列
((i+1)×3)の行列であり、変数iが決定すれば
一意に定まる。ゆえに式33に示すように、以後の説明
では、前記行列「(Ai TAi)-1Ai T」を、行列Si に
置換える。また最小二乗法によって求められた近似式の
放物線と実際の相違度の変化パターンとの誤差ei は、
式34に基づいて求められる。
とは、誤差ベクトルei が0であると定義して、式32
に示す行列計算を行うことと等価である。「Ai T」は行
列Ai の転置行列であり、「(Ai TAi)-1」は、転置
行列Ai Tと行列Aiとの積である行列の逆行列である。
ここで行列「(Ai TAi)-1Ai T」は、i+1行3列
((i+1)×3)の行列であり、変数iが決定すれば
一意に定まる。ゆえに式33に示すように、以後の説明
では、前記行列「(Ai TAi)-1Ai T」を、行列Si に
置換える。また最小二乗法によって求められた近似式の
放物線と実際の相違度の変化パターンとの誤差ei は、
式34に基づいて求められる。
【0157】
X =(Ai TAi)-1Ai TDi …(32)
Si =(Ai TAi)-1Ai T
(i=i0,i0+1,…,imax) …(33)
ei = Ai x−Di …(34)
図17は、第4転換部検出装置の特徴形状検出部におけ
るトランジション部分の具体的な検出手法を説明するた
めのフローチャートである。図17の演算は、図7で説
明した場面転換部の検出処理全体のうち、ステップA1
1の演算に置換えて実行されるものである。すなわち図
7のステップA10において、場面転換フラグがFAL
SEであると判断された場合、ステップE1からステッ
プE2に進み、制御装置60は、前記検出部にトランジ
ション部分の検出処理を開始させる。
るトランジション部分の具体的な検出手法を説明するた
めのフローチャートである。図17の演算は、図7で説
明した場面転換部の検出処理全体のうち、ステップA1
1の演算に置換えて実行されるものである。すなわち図
7のステップA10において、場面転換フラグがFAL
SEであると判断された場合、ステップE1からステッ
プE2に進み、制御装置60は、前記検出部にトランジ
ション部分の検出処理を開始させる。
【0158】前記検出部は、ステップE2で、近似式2
0,21の係数の算出に用いるための行列Ai0,
Ai0+1,…,Aimax,Si0,Si0+1,…,Simaxを準備
する。前述したように、各行列Ai ,Si は変数iが決
定されれば一意的に定まるので、該行列Ai ,Si の要
素は予め計算しておくことができる。これによって前記
検出部は、以後の計算における計算量を削減することが
できる。行列演算後、前記検出部は、予め準備されたカ
ウンタiの初期化のために、該カウンタiに前記最小定
数i0を代入する。以後、ステップE4〜E11の処理
において、変数iの値として、現時点のカウンタiの値
が用いられる。初期化後、前記検出部は、ステップE4
で、現時点のカウンタiの値が予め定める最大値ima
x未満であるか否かを判断する。そうである場合、ステ
ップE4からステップE5に進む。
0,21の係数の算出に用いるための行列Ai0,
Ai0+1,…,Aimax,Si0,Si0+1,…,Simaxを準備
する。前述したように、各行列Ai ,Si は変数iが決
定されれば一意的に定まるので、該行列Ai ,Si の要
素は予め計算しておくことができる。これによって前記
検出部は、以後の計算における計算量を削減することが
できる。行列演算後、前記検出部は、予め準備されたカ
ウンタiの初期化のために、該カウンタiに前記最小定
数i0を代入する。以後、ステップE4〜E11の処理
において、変数iの値として、現時点のカウンタiの値
が用いられる。初期化後、前記検出部は、ステップE4
で、現時点のカウンタiの値が予め定める最大値ima
x未満であるか否かを判断する。そうである場合、ステ
ップE4からステップE5に進む。
【0159】前記検出部は、ステップE5で、観測区間
の第2および第3フレーム間相違度の簡易形状チェック
を行う。前記簡易形状チェックは、第n−iフレームか
ら第nフレームまでの複数のフレーム、すなわち前記観
測区間のフレームの第2および第3フレーム間相違度の
フレームの並べ順に従う変化パターンが、明らかにトラ
ンジション部分に特有の予め定めるパターン、すなわち
凸状になっているか否かを判断するためのチェックであ
る。具体的には、前記検出部は、現時点の相違度バッフ
ァ内の第2および第3フレーム間相違度が式35〜37
に示す条件を満たすか否かを判断する。次式で、BDL
2[i],BDL3[i]は、第2および第3各バッフ
ァ群内のi番目の相違度バッファに記憶されたフレーム
間相違度を指す。「THL2」,「THL3」は、それ
ぞれ予め定める閾値である。式35〜37が全て満たさ
れているならば、ステップE5からステップE6に進
む。
の第2および第3フレーム間相違度の簡易形状チェック
を行う。前記簡易形状チェックは、第n−iフレームか
ら第nフレームまでの複数のフレーム、すなわち前記観
測区間のフレームの第2および第3フレーム間相違度の
フレームの並べ順に従う変化パターンが、明らかにトラ
ンジション部分に特有の予め定めるパターン、すなわち
凸状になっているか否かを判断するためのチェックであ
る。具体的には、前記検出部は、現時点の相違度バッフ
ァ内の第2および第3フレーム間相違度が式35〜37
に示す条件を満たすか否かを判断する。次式で、BDL
2[i],BDL3[i]は、第2および第3各バッフ
ァ群内のi番目の相違度バッファに記憶されたフレーム
間相違度を指す。「THL2」,「THL3」は、それ
ぞれ予め定める閾値である。式35〜37が全て満たさ
れているならば、ステップE5からステップE6に進
む。
【0160】
BDL2[i/2]−BDL2[0]> THL2 …(35)
BDL2[i/2]−BDL2[i]> THL2 …(36)
BDL3[0]−BDL3[i]>THL3 …(37)
前記検出部は、ステップE6で、第2バッファ群内の相
違度バッファ内の現時点のi個の観測値、すなわち前記
観測期間内のフレームの第2フレーム間相違度を用い
て、式38に示すように、第2係数ベクトルXL2を算出
する。この結果得られる未知係数a,b,cと前述の式
29〜31とに基づき、前記観測区間内のフレームの第
2フレーム間相違度の近似式22の未知係数aL2,
bL2,cL2が求められる。算出後、前記検出部は、ステ
ップE7で、式39に基づき、前記検出部は、第2フレ
ーム間相違度の近似式22と前記観測区間のフレームの
実際の第2フレーム間相違度の変化パターンとの誤差ベ
クトルeL2を求める。さらに前記検出部は、ステップE
8,E9で、式40,41に示すように、ステップE
6,E7とほぼ同じ手順で、観測区間内のフレームの第
3フレーム間相違度の近似式23の未知係数aL3,
bL3,cL3と、該近似式23と前記観測区間のフレーム
の実際の第3フレーム間相違度との誤差ベクトルeL3を
求める。この際、式38,39;40,41の演算に先
立ち、行列DL2i,DL3iの演算を行い、該演算結果を
式38,39;40,41の演算にそれぞれ利用するこ
とが好ましい。
違度バッファ内の現時点のi個の観測値、すなわち前記
観測期間内のフレームの第2フレーム間相違度を用い
て、式38に示すように、第2係数ベクトルXL2を算出
する。この結果得られる未知係数a,b,cと前述の式
29〜31とに基づき、前記観測区間内のフレームの第
2フレーム間相違度の近似式22の未知係数aL2,
bL2,cL2が求められる。算出後、前記検出部は、ステ
ップE7で、式39に基づき、前記検出部は、第2フレ
ーム間相違度の近似式22と前記観測区間のフレームの
実際の第2フレーム間相違度の変化パターンとの誤差ベ
クトルeL2を求める。さらに前記検出部は、ステップE
8,E9で、式40,41に示すように、ステップE
6,E7とほぼ同じ手順で、観測区間内のフレームの第
3フレーム間相違度の近似式23の未知係数aL3,
bL3,cL3と、該近似式23と前記観測区間のフレーム
の実際の第3フレーム間相違度との誤差ベクトルeL3を
求める。この際、式38,39;40,41の演算に先
立ち、行列DL2i,DL3iの演算を行い、該演算結果を
式38,39;40,41の演算にそれぞれ利用するこ
とが好ましい。
【0161】
XL2 = Si DL2i …(38)
eL2 = Ai XL2−DL2i …(39)
XL3 = Si DL3i …(40)
eL3 = Ai XL3−DL3i …(41)
算出後、前記検出部は、ステップE6〜E9で求められ
た近似式22,23の係数aL2,bL2,cL2,aL3,b
L3,cL3および誤差ベクトルeL2,eL3を用いて、前述
の2つの近似式22,23のグラフの形状がトランジシ
ョン部分に特有の予め定める形状であるか否かを判断す
る。具体的には、前記検出部は、近似式22,23の係
数aL2,bL2,cL2,aL3,bL3,cL3および誤差ベク
トルeL2,eL3が以下の条件式42〜47を満たすか否
かを判断する。以下の式において、「i/2」は変数i
の半分の値である。「ε1」は未知定数bL2の許容誤差
を示す定数であり、たとえば変数iの8分の1の値(ε
=i/8)である。「HL2」,「HL3」は、第2および
第3フレーム間相違度の近似式22,23のグラフであ
る放物線の高さであり、具体的には式48,49で定義
される。「xx」は、方程式fL2(i)=fL3(x)の
x>0における解である。「ε2」は許容誤差を示す定
数であり、たとえば変数iの10分の1の値(ε=i/
10)である。「|eL2|」,「|eL3|」は、誤差ベ
クトルeL2,eL3の要素の大きさの平均値である。「T
E」は、予め定める閾値である。「max(cL3,fL3
(0))」は、未知係数cL3と、変数xが0の場合の近
似式fL3(x)の値とのうちの大きいほうの値である。
た近似式22,23の係数aL2,bL2,cL2,aL3,b
L3,cL3および誤差ベクトルeL2,eL3を用いて、前述
の2つの近似式22,23のグラフの形状がトランジシ
ョン部分に特有の予め定める形状であるか否かを判断す
る。具体的には、前記検出部は、近似式22,23の係
数aL2,bL2,cL2,aL3,bL3,cL3および誤差ベク
トルeL2,eL3が以下の条件式42〜47を満たすか否
かを判断する。以下の式において、「i/2」は変数i
の半分の値である。「ε1」は未知定数bL2の許容誤差
を示す定数であり、たとえば変数iの8分の1の値(ε
=i/8)である。「HL2」,「HL3」は、第2および
第3フレーム間相違度の近似式22,23のグラフであ
る放物線の高さであり、具体的には式48,49で定義
される。「xx」は、方程式fL2(i)=fL3(x)の
x>0における解である。「ε2」は許容誤差を示す定
数であり、たとえば変数iの10分の1の値(ε=i/
10)である。「|eL2|」,「|eL3|」は、誤差ベ
クトルeL2,eL3の要素の大きさの平均値である。「T
E」は、予め定める閾値である。「max(cL3,fL3
(0))」は、未知係数cL3と、変数xが0の場合の近
似式fL3(x)の値とのうちの大きいほうの値である。
【0162】
aL2 < 0,かつ aL3 < 0 …(42)
i/2−ε1 < bL2 < i/2+ε1 …(43)
bL3 < bL2 …(44)
Th < HL2 < HL3 …(45)
|i−xx| < ε2 …(46)
|eL2| < Te,かつ |eL3| < TE …(47)
HL2 = cL2−fL2(0) …(48)
HL3 = max(cL3,fL3(0))−fL3(i) …(49)
式42は、近似式22,23のグラフがどちらも上に凸
な放物線である場合、満たされる。式43は、第2フレ
ーム間相違度の近似式22のグラフ、すなわち第1の放
物線の中心線が前記観測範囲のほぼ中心である場合、満
たされる。式44は、第3フレーム間相違度の近似式2
3のグラフ、すなわち第2の放物線の中心線が、前記第
1の放物線の中心線よりも座標系の原点に近い場合に満
たされる。式45は、前記第2の放物線の高さが前記第
1の放物線の高さよりも高く、かつ両者の放物線の高さ
が予め定める高さTh以上である場合に満たされる。式
46は、座標系上で、両者の放物線がx=i付近で接近
している場合に満たされる。式47は、近似式22,2
3と実際の観測値、すなわち実際の第2および第3フレ
ーム間相違度との誤差が充分に小さい場合に、満たされ
る。すなわち条件式42〜47が全て満たされる場合、
近似式22,23によって近似された第2および第3フ
レーム間相違度の前記観測区間内の変化パターンは、図
4に示すようなトランジション部分に特有のパターンに
なっていると予想される。
な放物線である場合、満たされる。式43は、第2フレ
ーム間相違度の近似式22のグラフ、すなわち第1の放
物線の中心線が前記観測範囲のほぼ中心である場合、満
たされる。式44は、第3フレーム間相違度の近似式2
3のグラフ、すなわち第2の放物線の中心線が、前記第
1の放物線の中心線よりも座標系の原点に近い場合に満
たされる。式45は、前記第2の放物線の高さが前記第
1の放物線の高さよりも高く、かつ両者の放物線の高さ
が予め定める高さTh以上である場合に満たされる。式
46は、座標系上で、両者の放物線がx=i付近で接近
している場合に満たされる。式47は、近似式22,2
3と実際の観測値、すなわち実際の第2および第3フレ
ーム間相違度との誤差が充分に小さい場合に、満たされ
る。すなわち条件式42〜47が全て満たされる場合、
近似式22,23によって近似された第2および第3フ
レーム間相違度の前記観測区間内の変化パターンは、図
4に示すようなトランジション部分に特有のパターンに
なっていると予想される。
【0163】この結果前記検出部は、ステップE11
で、ステップE10の判定処理によって、条件式42〜
47が全て成立したか否かを判断する。全ての条件式4
2〜47が成立した場合、前記観測区間において、トラ
ンジション効果が生じていると判断される。この場合ス
テップE11からステップE12に進み、制御回路60
は、場面転換フラグFcに「TRUE」をセットして、
ステップE14で当該フローチャートの処理動作を終了
する。
で、ステップE10の判定処理によって、条件式42〜
47が全て成立したか否かを判断する。全ての条件式4
2〜47が成立した場合、前記観測区間において、トラ
ンジション効果が生じていると判断される。この場合ス
テップE11からステップE12に進み、制御回路60
は、場面転換フラグFcに「TRUE」をセットして、
ステップE14で当該フローチャートの処理動作を終了
する。
【0164】また条件式42〜47のうちの少なくとも
1つが成立しない場合、前記観測区間においてトランジ
ション効果は生じていないと判断される。この場合、ス
テップE11からステップE13に進み、カウンタiに
1加算して更新する。この結果前記観測区間が1フレー
ム分広がる。更新後、ステップE13からステップE4
に戻る。ステップE3〜E11の動作は、ステップE1
1でトランジション効果が検出されるまで、繰返され
る。
1つが成立しない場合、前記観測区間においてトランジ
ション効果は生じていないと判断される。この場合、ス
テップE11からステップE13に進み、カウンタiに
1加算して更新する。この結果前記観測区間が1フレー
ム分広がる。更新後、ステップE13からステップE4
に戻る。ステップE3〜E11の動作は、ステップE1
1でトランジション効果が検出されるまで、繰返され
る。
【0165】またステップE5の簡易形状チェックにお
いて、条件式35〜37のうちの少なくとも1つが成立
しない場合、前記観測区間のフレームの第2および第3
フレーム間相違度の変化パターンが凸状になっていない
と予想される。この場合ステップE5からステップE1
3を経て、ステップE4に戻る。ステップE4におい
て、カウンタiの値が、定数imax以上になった場
合、ステップE4からステップE14に進み、当該フロ
ーチャートの処理動作を終了する。この場合場面転換フ
ラグFcは、「FALSE」のまま保たれている。
いて、条件式35〜37のうちの少なくとも1つが成立
しない場合、前記観測区間のフレームの第2および第3
フレーム間相違度の変化パターンが凸状になっていない
と予想される。この場合ステップE5からステップE1
3を経て、ステップE4に戻る。ステップE4におい
て、カウンタiの値が、定数imax以上になった場
合、ステップE4からステップE14に進み、当該フロ
ーチャートの処理動作を終了する。この場合場面転換フ
ラグFcは、「FALSE」のまま保たれている。
【0166】以上のように第4転換部検出装置の前記特
徴形状検出部は、観測期間内の第2および第3フレーム
間相違度の変化パターンを、放物線によって近似してい
る。この結果、フレームに重畳されるノイズ、または単
一ショットの撮影時にカメラと被写体との位置関係が大
きく変化したことに起因して相違度が変動する場合、前
記特徴形状検出部は前記相違度の変動に対してロバスト
に、トランジション効果を用いた場面転換が生じている
か否かを判断することができる。また前記検出部は、近
似式の算出および判定に先立ち、変化パターンの簡易形
状チェックを行っている。これによって前記検出部は、
観測区間のフレーム間相違度の変化パターンがトランジ
ション部分に特有のパターンではないことが明らかな場
合、該観測区間に関する近似式の算出および判定を省略
することができる。この結果前記検出部の処理量が減少
する。
徴形状検出部は、観測期間内の第2および第3フレーム
間相違度の変化パターンを、放物線によって近似してい
る。この結果、フレームに重畳されるノイズ、または単
一ショットの撮影時にカメラと被写体との位置関係が大
きく変化したことに起因して相違度が変動する場合、前
記特徴形状検出部は前記相違度の変動に対してロバスト
に、トランジション効果を用いた場面転換が生じている
か否かを判断することができる。また前記検出部は、近
似式の算出および判定に先立ち、変化パターンの簡易形
状チェックを行っている。これによって前記検出部は、
観測区間のフレーム間相違度の変化パターンがトランジ
ション部分に特有のパターンではないことが明らかな場
合、該観測区間に関する近似式の算出および判定を省略
することができる。この結果前記検出部の処理量が減少
する。
【0167】本発明の第5の実施の形態である動画場面
転換部検出装置について、以下に説明する。第4の実施
の形態の動画場面転換部検出装置(以後「第5転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、特徴形状検出部におけるトランジション部分の
具体的な検出手法が異なり、他は等しい。ゆえに第5転
換部検出装置の構造および動作のうち、第1転換部検出
装置50と同じ構造および動作の説明は省略する。また
第5転換部検出装置内の部品のうち、第1転換部検出装
置50と同じ部品には同じ参照符を付す。また第5転換
部検出装置の説明において、前記特徴形状検出部を「検
出部」と略称することがある。
転換部検出装置について、以下に説明する。第4の実施
の形態の動画場面転換部検出装置(以後「第5転換部検
出装置」と略称する)は、第1転換部検出装置50と比
較して、特徴形状検出部におけるトランジション部分の
具体的な検出手法が異なり、他は等しい。ゆえに第5転
換部検出装置の構造および動作のうち、第1転換部検出
装置50と同じ構造および動作の説明は省略する。また
第5転換部検出装置内の部品のうち、第1転換部検出装
置50と同じ部品には同じ参照符を付す。また第5転換
部検出装置の説明において、前記特徴形状検出部を「検
出部」と略称することがある。
【0168】第5転換部検出装置の特徴形状検出部は、
概略的には、着目フレームおよびその近傍の複数のフレ
ームの第2および第3フレーム間相違度のフレームの並
べ順に従う変化パターンを、正弦関数を含む式によって
それぞれ近似し、該近似式のグラフの相互の位置関係お
よび形状を該近似式の係数に基づいて判断し、着目フレ
ームおよびその近傍のフレームがトランジション部分を
構成しているかを調べる。具体的には、動画内の第n−
iフレームから第nフレームまでの範囲を観測範囲とし
て、該観測範囲のフレームの第2フレーム間相違度の変
化パターンを、図18に示すように、1周期の半分の正
弦波によって近似し、該観測範囲のフレームの第3フレ
ーム間相違度の変化パターンを、図19に示すように、
1周期の4分の1の余弦波によって近似する。変数i
は、動画内の観測区間を定義するための変数であり、第
4の実施の形態で説明した変数iと等価である。すなわ
ち変数iは、最小定数i0以上で最大定数imax以下
の整数であり、本実施の形態では最小定数i0は5であ
るとする。また本実施の形態では、前記近似式の算出の
ために、観測区間内のフレームのフレーム間相違度を周
波数領域のデータに変換する変換手法として、FFT
(Fast Fourier Transform)が用いられる。
概略的には、着目フレームおよびその近傍の複数のフレ
ームの第2および第3フレーム間相違度のフレームの並
べ順に従う変化パターンを、正弦関数を含む式によって
それぞれ近似し、該近似式のグラフの相互の位置関係お
よび形状を該近似式の係数に基づいて判断し、着目フレ
ームおよびその近傍のフレームがトランジション部分を
構成しているかを調べる。具体的には、動画内の第n−
iフレームから第nフレームまでの範囲を観測範囲とし
て、該観測範囲のフレームの第2フレーム間相違度の変
化パターンを、図18に示すように、1周期の半分の正
弦波によって近似し、該観測範囲のフレームの第3フレ
ーム間相違度の変化パターンを、図19に示すように、
1周期の4分の1の余弦波によって近似する。変数i
は、動画内の観測区間を定義するための変数であり、第
4の実施の形態で説明した変数iと等価である。すなわ
ち変数iは、最小定数i0以上で最大定数imax以下
の整数であり、本実施の形態では最小定数i0は5であ
るとする。また本実施の形態では、前記近似式の算出の
ために、観測区間内のフレームのフレーム間相違度を周
波数領域のデータに変換する変換手法として、FFT
(Fast Fourier Transform)が用いられる。
【0169】図20は、第5転換部検出装置の特徴形状
検出部におけるトランジション部分の具体的な検出手法
を説明するためのフローチャートである。図20の演算
は、図7で説明した場面転換部の検出処理全体のうち、
ステップA11の演算に置換えて実行されるものであ
る。すなわち図7のステップA10において、場面転換
フラグがFALSEであると判断された場合、ステップ
F1からステップF2に進み、制御装置60は、前記検
出部にトランジション部分の検出処理を開始させる。
検出部におけるトランジション部分の具体的な検出手法
を説明するためのフローチャートである。図20の演算
は、図7で説明した場面転換部の検出処理全体のうち、
ステップA11の演算に置換えて実行されるものであ
る。すなわち図7のステップA10において、場面転換
フラグがFALSEであると判断された場合、ステップ
F1からステップF2に進み、制御装置60は、前記検
出部にトランジション部分の検出処理を開始させる。
【0170】前記検出部は、ステップF2で、予め準備
されたカウンタiの初期化のために、該カウンタiに前
記最小定数i0を代入する。以後、ステップF3〜F7
の処理において、変数iの値として、現時点のカウンタ
iの値が用いられる。初期化後、前記検出部は、ステッ
プF3で、現時点のカウンタiの値が最大定数imax
未満であるか否かを判断する。そうである場合、ステッ
プE4からステップE5に進む。前記検出部は、ステッ
プF4で、観測区間の第2および第3フレーム間相違度
の簡易形状チェックを行う。ステップF4の簡易形状チ
ェックは、第4の実施の形態の図17のステップE5の
簡易形状チェックと等しいので、説明は省略する。ステ
ップF4で、簡易形状チェックの条件式35〜37が全
て成立すると判断されるならば、ステップF4からステ
ップF5に進む。
されたカウンタiの初期化のために、該カウンタiに前
記最小定数i0を代入する。以後、ステップF3〜F7
の処理において、変数iの値として、現時点のカウンタ
iの値が用いられる。初期化後、前記検出部は、ステッ
プF3で、現時点のカウンタiの値が最大定数imax
未満であるか否かを判断する。そうである場合、ステッ
プE4からステップE5に進む。前記検出部は、ステッ
プF4で、観測区間の第2および第3フレーム間相違度
の簡易形状チェックを行う。ステップF4の簡易形状チ
ェックは、第4の実施の形態の図17のステップE5の
簡易形状チェックと等しいので、説明は省略する。ステ
ップF4で、簡易形状チェックの条件式35〜37が全
て成立すると判断されるならば、ステップF4からステ
ップF5に進む。
【0171】前記検出部は、ステップF5で、観測区間
の全てのフレームの第2および第3フレーム相違度と、
式50〜52,53〜57とに基づき、FFT計算用の
第1および第2時系列データ群DL2,DL3をそれぞ
れ作成する。第1および第2時系列データ群DL2,D
L3は、各時系列データ群DL2,DL3を構成するデ
ータ要素DL2[0]〜DL2[N−1],DL3
[0]〜DL3[N−1]の個数がそれぞれ2のべき乗
になっており、かつ1周期分の正弦波および余弦波にそ
れぞれ相当するデータになっている。ここでNは式58
に示すように、2のべき乗であり、かつ変数iの4倍の
値よりも大きいとする。kは整数である。
の全てのフレームの第2および第3フレーム相違度と、
式50〜52,53〜57とに基づき、FFT計算用の
第1および第2時系列データ群DL2,DL3をそれぞ
れ作成する。第1および第2時系列データ群DL2,D
L3は、各時系列データ群DL2,DL3を構成するデ
ータ要素DL2[0]〜DL2[N−1],DL3
[0]〜DL3[N−1]の個数がそれぞれ2のべき乗
になっており、かつ1周期分の正弦波および余弦波にそ
れぞれ相当するデータになっている。ここでNは式58
に示すように、2のべき乗であり、かつ変数iの4倍の
値よりも大きいとする。kは整数である。
【0172】
【数3】
【0173】データ作成後、前記検出部は、ステップF
6で、第1および第2時系列データ群DL2,DL3に
対して、FFTを施す。FFTの演算手法は、一般的な
FFTの演算手法と等しい。これによってFFTの演算
結果として、第1および第2複素数データ群FL2
[0]〜FL2[N−1],FL3[0]〜FL3[N
−1]がそれぞれ得られる。
6で、第1および第2時系列データ群DL2,DL3に
対して、FFTを施す。FFTの演算手法は、一般的な
FFTの演算手法と等しい。これによってFFTの演算
結果として、第1および第2複素数データ群FL2
[0]〜FL2[N−1],FL3[0]〜FL3[N
−1]がそれぞれ得られる。
【0174】演算後、前記検出部は、ステップF7で第
1および第2複素数データ群に基づき、元の時系列デー
タ群DL2,DL3の変化パターンを示す波形の判別を
行う。具体的には、前記検出部は、第1および第2複素
数データ群に基づき、以下の7つの条件式59〜65が
それぞれ成立するか否かを判断する。以下の式におい
て、「|FL2[j]|」,「|FL3[j]|」は、
複素数データFL2[j],FL3[j]のゲインを示
す。「Ph(FL2[j])」,「Ph(FL3
[j])」は、複素数データFL2[j],FL3
[j]の位相を単位を度として示すものである。「T
L」、「TH」はそれぞれ予め定められる定数であり、
「ε」は許容誤差であり、たとえば5度である。
1および第2複素数データ群に基づき、元の時系列デー
タ群DL2,DL3の変化パターンを示す波形の判別を
行う。具体的には、前記検出部は、第1および第2複素
数データ群に基づき、以下の7つの条件式59〜65が
それぞれ成立するか否かを判断する。以下の式におい
て、「|FL2[j]|」,「|FL3[j]|」は、
複素数データFL2[j],FL3[j]のゲインを示
す。「Ph(FL2[j])」,「Ph(FL3
[j])」は、複素数データFL2[j],FL3
[j]の位相を単位を度として示すものである。「T
L」、「TH」はそれぞれ予め定められる定数であり、
「ε」は許容誤差であり、たとえば5度である。
【0175】
|FL2[1]|>TL …(59)
|FL2[j]|>TH (j=2,3,…,N−2) …(60)
90−ε<Ph(FL2[1])<90+ε …(61)
|FL3[1]|>TL …(62)
|FL3[j]|>TH (j=2,3,…,N−2) …(63)
−ε<Ph(FL3[1])<+ε …(64)
|FL3[1]|>|FL2[1]| …(65)
条件式59,60,61,63は、第1および第2時系
列データのグラフの形状が正弦波および余弦波にそれぞ
れ近いか否かを調べるためのものである。具体的には、
条件式59,62は、第1および第2時系列データのグ
ラフである波形の振幅が定数TL以上である場合に成立
し、条件式60,63は、前記波形の雑音成分に相当す
る前記第1および第2時系列データ群の高周波成分の大
きさが該データ群全体に与える影響が充分小さい場合に
成立する。また式61,64は、第1およぼい第2時系
列データ群のグラフの波形の位相が図18,19に示す
正弦波および余弦波にそれぞれなる位相である場合に、
成立する。条件式65は、観測区間内の第2および第3
フレーム間相違度の変化パターンが図8の大小関係にな
る場合に、成立する。すなわち全ての条件式59〜65
が成立する場合、正弦関数を含む近似式によって近似さ
れた第2および第3フレーム間相違度の前記観測区間内
の変化パターンは、図4に示すようなトランジション部
分に特有のパターンになっていると予想される。
列データのグラフの形状が正弦波および余弦波にそれぞ
れ近いか否かを調べるためのものである。具体的には、
条件式59,62は、第1および第2時系列データのグ
ラフである波形の振幅が定数TL以上である場合に成立
し、条件式60,63は、前記波形の雑音成分に相当す
る前記第1および第2時系列データ群の高周波成分の大
きさが該データ群全体に与える影響が充分小さい場合に
成立する。また式61,64は、第1およぼい第2時系
列データ群のグラフの波形の位相が図18,19に示す
正弦波および余弦波にそれぞれなる位相である場合に、
成立する。条件式65は、観測区間内の第2および第3
フレーム間相違度の変化パターンが図8の大小関係にな
る場合に、成立する。すなわち全ての条件式59〜65
が成立する場合、正弦関数を含む近似式によって近似さ
れた第2および第3フレーム間相違度の前記観測区間内
の変化パターンは、図4に示すようなトランジション部
分に特有のパターンになっていると予想される。
【0176】この結果前記検出部は、ステップF8で、
ステップF7の判定処理によって、条件式59〜65が
全て成立したか否かを判断する。全ての条件式59〜6
5が成立した場合、前記観測区間において、トランジシ
ョン効果が生じていると判断される。この場合ステップ
F8からステップF9に進み、制御回路60は、場面転
換フラグFcに「TRUE」をセットして、ステップF
11で当該フローチャートの処理動作を終了する。
ステップF7の判定処理によって、条件式59〜65が
全て成立したか否かを判断する。全ての条件式59〜6
5が成立した場合、前記観測区間において、トランジシ
ョン効果が生じていると判断される。この場合ステップ
F8からステップF9に進み、制御回路60は、場面転
換フラグFcに「TRUE」をセットして、ステップF
11で当該フローチャートの処理動作を終了する。
【0177】また条件式59〜65のうちの少なくとも
1つが成立しない場合、前記観測区間においてトランジ
ション効果は生じていないと判断される。この場合、ス
テップF8からステップF10に進み、カウンタiに1
加算して更新する。この結果前記観測区間が1フレーム
分広がる。更新後、ステップF10からステップF3に
戻る。ステップF3〜F10の動作は、ステップF8で
トランジション効果が検出されるまで、繰返される。
1つが成立しない場合、前記観測区間においてトランジ
ション効果は生じていないと判断される。この場合、ス
テップF8からステップF10に進み、カウンタiに1
加算して更新する。この結果前記観測区間が1フレーム
分広がる。更新後、ステップF10からステップF3に
戻る。ステップF3〜F10の動作は、ステップF8で
トランジション効果が検出されるまで、繰返される。
【0178】またステップF4の簡易形状チェックにお
いて、条件式35〜37のうちの少なくとも1つが成立
しない場合、前記観測区間のフレームの第2および第3
フレーム間相違度の変化パターンが凸状になっていない
と予想される。この場合ステップF4からステップF1
0を経て、ステップF3に戻る。ステップF3におい
て、カウンタiの値が、最大定数imax以上になった
場合、ステップF3からステップF11に進み、当該フ
ローチャートの処理動作を終了する。この場合場面転換
フラグFcは、「FALSE」のまま保たれている。
いて、条件式35〜37のうちの少なくとも1つが成立
しない場合、前記観測区間のフレームの第2および第3
フレーム間相違度の変化パターンが凸状になっていない
と予想される。この場合ステップF4からステップF1
0を経て、ステップF3に戻る。ステップF3におい
て、カウンタiの値が、最大定数imax以上になった
場合、ステップF3からステップF11に進み、当該フ
ローチャートの処理動作を終了する。この場合場面転換
フラグFcは、「FALSE」のまま保たれている。
【0179】以上のように第5転換部検出装置の前記特
徴形状検出部は、観測期間内の第2および第3フレーム
間相違度の変化パターンを、正弦関数を含む関数によっ
て近似している。余弦波は、位相を遅らせたまたは進め
た正弦波に置換えることができる。この結果、フレーム
に重畳されるノイズ、または単一ショットの撮影時にカ
メラと被写体との位置関係が大きく変化したことに起因
して相違度が変動する場合、前記特徴形状検出部は前記
相違度の変動に対してロバストに、トランジション効果
を用いた場面転換が生じているか否かを判断することが
できる。
徴形状検出部は、観測期間内の第2および第3フレーム
間相違度の変化パターンを、正弦関数を含む関数によっ
て近似している。余弦波は、位相を遅らせたまたは進め
た正弦波に置換えることができる。この結果、フレーム
に重畳されるノイズ、または単一ショットの撮影時にカ
メラと被写体との位置関係が大きく変化したことに起因
して相違度が変動する場合、前記特徴形状検出部は前記
相違度の変動に対してロバストに、トランジション効果
を用いた場面転換が生じているか否かを判断することが
できる。
【0180】図20の検出処理において、ステップF5
で上述のような時系列データ群DL2,DL3を作成す
る理由は、以下のとおりである。一般的に、FFTを施
すデータ群は、該FFTの詳細な計算手法に基づき、2
のべき乗個のデータ要素を含むことが好ましい。またF
FTの結果得られる複素数データは、元の時系列データ
群のグラフを示すフーリエ関数の直流成分、1周期目の
周波数成分、2周忌目の周波数成分、…、N−1周期目
の周波数成分のゲイン、すなわち前記時系列データ群の
各周波数成分のゲインを示す。このため1周期の整数倍
の正弦波または余弦波に相当するデータ群にFFTが施
された場合、データ群の周期に対応する部分の周波数成
分のゲインだけが大きくなる。
で上述のような時系列データ群DL2,DL3を作成す
る理由は、以下のとおりである。一般的に、FFTを施
すデータ群は、該FFTの詳細な計算手法に基づき、2
のべき乗個のデータ要素を含むことが好ましい。またF
FTの結果得られる複素数データは、元の時系列データ
群のグラフを示すフーリエ関数の直流成分、1周期目の
周波数成分、2周忌目の周波数成分、…、N−1周期目
の周波数成分のゲイン、すなわち前記時系列データ群の
各周波数成分のゲインを示す。このため1周期の整数倍
の正弦波または余弦波に相当するデータ群にFFTが施
された場合、データ群の周期に対応する部分の周波数成
分のゲインだけが大きくなる。
【0181】本実施の形態において、観測区間の全フレ
ームの第2および第3フレーム間相違度に基づいて得よ
うとしている波形は、図18,19に示すように、正弦
波の半周期分の部分、および余弦波の4分の1周期分の
部分である。また前記観測区間の全フレームの第2およ
び第3フレーム間相違度の数は、必ずしも2のべき乗と
は限らない。これらのことに基づき、観測区間の全フレ
ームの第2および第3フレーム間相違度に直接FFTが
施された場合、得られる複素数データ群に該第2および
第3フレーム間相違度の変化パターンの形状特徴がはっ
きりと現れないため、該変化パターンの形状判定が困難
になる。
ームの第2および第3フレーム間相違度に基づいて得よ
うとしている波形は、図18,19に示すように、正弦
波の半周期分の部分、および余弦波の4分の1周期分の
部分である。また前記観測区間の全フレームの第2およ
び第3フレーム間相違度の数は、必ずしも2のべき乗と
は限らない。これらのことに基づき、観測区間の全フレ
ームの第2および第3フレーム間相違度に直接FFTが
施された場合、得られる複素数データ群に該第2および
第3フレーム間相違度の変化パターンの形状特徴がはっ
きりと現れないため、該変化パターンの形状判定が困難
になる。
【0182】このため図20で説明したように、前記検
出部は、前記観測区間の全フレームの第2および第3フ
レーム間相違度と式50〜52,53〜57に基づいて
第1および第2時系列データ群を作成し、該第1および
第2時系列データ群にFFTを施す。この結果観測区間
がトランジション部分であれば、第1および第2時系列
データが正弦波および余弦波の1周期分のデータにな
る。ゆえに前記検出部は、式59〜64に示したよう
に、第1および第2複素数データが正弦波および余弦波
の1周期分のデータにFFTを施して得られる演算結果
に近いか否かを調べることによって、前記観測区間がト
ランジション部分であるかどうかを、容易に判断するこ
とができるのである。以上が時系列データの作成の理由
と、ステップF7の判定によってトランジション効果の
判断が可能な理由との説明である。
出部は、前記観測区間の全フレームの第2および第3フ
レーム間相違度と式50〜52,53〜57に基づいて
第1および第2時系列データ群を作成し、該第1および
第2時系列データ群にFFTを施す。この結果観測区間
がトランジション部分であれば、第1および第2時系列
データが正弦波および余弦波の1周期分のデータにな
る。ゆえに前記検出部は、式59〜64に示したよう
に、第1および第2複素数データが正弦波および余弦波
の1周期分のデータにFFTを施して得られる演算結果
に近いか否かを調べることによって、前記観測区間がト
ランジション部分であるかどうかを、容易に判断するこ
とができるのである。以上が時系列データの作成の理由
と、ステップF7の判定によってトランジション効果の
判断が可能な理由との説明である。
【0183】第1〜第5の実施の形態で用いる各種の定
数のオーダを、以下に説明する。この説明は、以下のよ
うに定義して行う。形態変換後のフレームのデータ内の
各画素データセットがいわゆるRGBデータであるとす
る。すなわち各画素データセット(R,G,B)は、
赤、緑、および青の輝度をそれぞれ示す3つのデータ
R,G,Bから構成され、かつ、各データはそれぞれ0
以上Imax以下の値を取るとする。また1枚のフレー
ムがmmax個の領域に分割されているとする。さらに
画素データセット(R1,G1,B1),(R2,G
2,B2)をそれぞれ有する2つの画素の色間距離dは
以下の式66で定義されるものとする。
数のオーダを、以下に説明する。この説明は、以下のよ
うに定義して行う。形態変換後のフレームのデータ内の
各画素データセットがいわゆるRGBデータであるとす
る。すなわち各画素データセット(R,G,B)は、
赤、緑、および青の輝度をそれぞれ示す3つのデータ
R,G,Bから構成され、かつ、各データはそれぞれ0
以上Imax以下の値を取るとする。また1枚のフレー
ムがmmax個の領域に分割されているとする。さらに
画素データセット(R1,G1,B1),(R2,G
2,B2)をそれぞれ有する2つの画素の色間距離dは
以下の式66で定義されるものとする。
【0184】
d=|R1−R2|+|G1−G2|+|B1−B2| …(66)
2枚のフレームのうちの一方のフレーム内のi番目の領
域内の全ての画素の画素データセット(R1,G1,B
1)が(0,0,0)であり、該2枚のフレームのうち
の他方のフレーム内のi番目の領域内の全ての画素の画
素データセット(R2,G2,B2)が(Imax,I
max,Imax)である場合、式67で示すように、
これら2つの領域の相違度Diが最大になる。「Si」
は、前記i番目の領域内の面積、すなわち該領域内の画
素の数である。2枚のフレーム内の全ての各領域の相違
度Diがそれぞれ最大である場合、式68に示すよう
に、2枚のフレームのフレーム間相違度Dが最大値Dm
axになる。「SF」は、フレームの面積を示し、該フ
レーム内の全ての領域の面積の和と等しい。
域内の全ての画素の画素データセット(R1,G1,B
1)が(0,0,0)であり、該2枚のフレームのうち
の他方のフレーム内のi番目の領域内の全ての画素の画
素データセット(R2,G2,B2)が(Imax,I
max,Imax)である場合、式67で示すように、
これら2つの領域の相違度Diが最大になる。「Si」
は、前記i番目の領域内の面積、すなわち該領域内の画
素の数である。2枚のフレーム内の全ての各領域の相違
度Diがそれぞれ最大である場合、式68に示すよう
に、2枚のフレームのフレーム間相違度Dが最大値Dm
axになる。「SF」は、フレームの面積を示し、該フ
レーム内の全ての領域の面積の和と等しい。
【0185】
前記RGBデータの最大値Imaxとフレームの面積S
Fとは、それぞれ画素の階調数および動画のサイズに依
存する。ゆえに、式69に示すように、前記フレーム間
相違度の最大値Dmaxを正規化する。さらに本実施の
形態で用いられる各種のパラメータを、前記フレーム間
相違度の最大値Dmaxの正規化に合わせて、それぞれ
正規化する。
Fとは、それぞれ画素の階調数および動画のサイズに依
存する。ゆえに、式69に示すように、前記フレーム間
相違度の最大値Dmaxを正規化する。さらに本実施の
形態で用いられる各種のパラメータを、前記フレーム間
相違度の最大値Dmaxの正規化に合わせて、それぞれ
正規化する。
【0186】
DmaxA=Dmax÷(3Imax×SF)=1.0 …(69)
前記フレーム間相違度の正規化後の最大値のDmaxA
に対応するパラメータ、すなわち該最大値DmaxA=
1の場合の正規化後のパラメータは、以下のとおりであ
る。カット点検出用閾値TCは0.02以上0.04以
下の値である。第1の実施の形態の図7のステップA1
1におけるトランジション部分検出用の条件式内の閾値
TL2,TL3は、それぞれ0.02である。第4およ
び第5の実施の形態の図17,20のステップE5,F
4における簡易形状チェックの閾値THL2,THL3
は、それぞれ0.02である。第4の実施の形態の図1
7のステップE10における放物線の形状判定時の誤差
ベクトルの閾値TEは0.006である。なお前記閾値
TEは、サンプル数によって変化するので、平均値を示
している。第5の実施の形態の図20のステップF4に
おけるFFTの結果判定時の閾値TL,THは、それぞ
れ0.02である。
に対応するパラメータ、すなわち該最大値DmaxA=
1の場合の正規化後のパラメータは、以下のとおりであ
る。カット点検出用閾値TCは0.02以上0.04以
下の値である。第1の実施の形態の図7のステップA1
1におけるトランジション部分検出用の条件式内の閾値
TL2,TL3は、それぞれ0.02である。第4およ
び第5の実施の形態の図17,20のステップE5,F
4における簡易形状チェックの閾値THL2,THL3
は、それぞれ0.02である。第4の実施の形態の図1
7のステップE10における放物線の形状判定時の誤差
ベクトルの閾値TEは0.006である。なお前記閾値
TEは、サンプル数によって変化するので、平均値を示
している。第5の実施の形態の図20のステップF4に
おけるFFTの結果判定時の閾値TL,THは、それぞ
れ0.02である。
【0187】第1〜第5の実施の形態の動画場面転換部
検出装置は、本発明の動画場面転換部検出装置の例示で
あり、主要な動作が等しければ、他の様々な形で実施す
ることができる。特に各部の詳細な動作は、同じ処理結
果が得られれば、これに限らず他の動作によって実現さ
れてもよい。また第2〜第4の実施の形態の動画場面転
換部検出装置、または第2,第3および第5の実施の形
態の動画場面転換部検出装置を適宜組合わせて、新たな
動画場面転換部検出装置としてもよい。
検出装置は、本発明の動画場面転換部検出装置の例示で
あり、主要な動作が等しければ、他の様々な形で実施す
ることができる。特に各部の詳細な動作は、同じ処理結
果が得られれば、これに限らず他の動作によって実現さ
れてもよい。また第2〜第4の実施の形態の動画場面転
換部検出装置、または第2,第3および第5の実施の形
態の動画場面転換部検出装置を適宜組合わせて、新たな
動画場面転換部検出装置としてもよい。
【0188】さらに、これら動画場面転換部検出装置
は、上述した動画内の場面転換部の検出動作を中央演算
処理回路に行わせるためのソフトウエアをコンピュータ
によって読出し可能な記憶媒体に記憶させ、このソフト
ウエアを動画の入力と記憶とが可能なコンピュータにイ
ンストールすることによって実現してもよい。この記憶
媒体には、CD−ROMおよびフロッピーディスクが挙
げられる。
は、上述した動画内の場面転換部の検出動作を中央演算
処理回路に行わせるためのソフトウエアをコンピュータ
によって読出し可能な記憶媒体に記憶させ、このソフト
ウエアを動画の入力と記憶とが可能なコンピュータにイ
ンストールすることによって実現してもよい。この記憶
媒体には、CD−ROMおよびフロッピーディスクが挙
げられる。
【0189】また第5ならびに第4の実施の形態におい
て、トランジション部分の検出のために、第2および第
3フレーム間相違度の変化パターンを、3角関数を含む
関数ならびに2次関数によって、それぞれ近似してい
る。前記変化パターンは、これらの関数に限らず、他の
数式によって近似されてもよい。この際、3角関数を含
む関数、ならびに2次関数は、グラフに凸部が含まれ、
かつ該凸部の中心、幅、位置、高さなどを示すパラメー
タを容易に抽出することができる。ゆえに、3角関数を
含む関数ならびに2次関数が前記近似に用いられる場
合、変化パターンの近似および形状判定が容易になるの
で、好ましい。
て、トランジション部分の検出のために、第2および第
3フレーム間相違度の変化パターンを、3角関数を含む
関数ならびに2次関数によって、それぞれ近似してい
る。前記変化パターンは、これらの関数に限らず、他の
数式によって近似されてもよい。この際、3角関数を含
む関数、ならびに2次関数は、グラフに凸部が含まれ、
かつ該凸部の中心、幅、位置、高さなどを示すパラメー
タを容易に抽出することができる。ゆえに、3角関数を
含む関数ならびに2次関数が前記近似に用いられる場
合、変化パターンの近似および形状判定が容易になるの
で、好ましい。
【0190】本発明の動画場面転換部検出装置の応用例
を、以下に説明する。図21は、本発明の動画場面転換
部検出装置を含む動画速見装置32の機能的構成を示す
ブロック図である。動画速見装置32は、動画記憶部3
4と動画再生部35とを含む。動画記憶部34および動
画再生部35は、動画が記憶可能な媒体37を、着脱自
由にそれぞれ取付け可能である。動画記憶部34は、第
1〜第5の実施の形態の動画場面転換部検出装置のうち
のいずれか1つの装置(以後、「転換部検出装置」と略
称する)31の他に、動画記録制御部40、検出タイム
コード記憶部41、タイムコード表記憶制御部42を含
む。動画再生部35は、動画読出し部43、動画表示制
御部44、表示部45、タイムコード表読出し部46、
読出しタイムコード記憶部47、速見動画作成部48、
速見動画記憶部49とを含む。
を、以下に説明する。図21は、本発明の動画場面転換
部検出装置を含む動画速見装置32の機能的構成を示す
ブロック図である。動画速見装置32は、動画記憶部3
4と動画再生部35とを含む。動画記憶部34および動
画再生部35は、動画が記憶可能な媒体37を、着脱自
由にそれぞれ取付け可能である。動画記憶部34は、第
1〜第5の実施の形態の動画場面転換部検出装置のうち
のいずれか1つの装置(以後、「転換部検出装置」と略
称する)31の他に、動画記録制御部40、検出タイム
コード記憶部41、タイムコード表記憶制御部42を含
む。動画再生部35は、動画読出し部43、動画表示制
御部44、表示部45、タイムコード表読出し部46、
読出しタイムコード記憶部47、速見動画作成部48、
速見動画記憶部49とを含む。
【0191】処理対象となる動画、すなわち対象動画
は、前述の図22で説明したものと等しい。このような
対象動画の各フレームを示すデータが、時間経過に伴っ
て順次的に、動画速見装置32に入力される。なお動画
速見装置内で対象動画、および該動画内の各フレームは
データの形態で取扱われるが、以後の説明では取扱われ
る形態に拘わらず、「対象動画」,「フレーム」と称す
る。
は、前述の図22で説明したものと等しい。このような
対象動画の各フレームを示すデータが、時間経過に伴っ
て順次的に、動画速見装置32に入力される。なお動画
速見装置内で対象動画、および該動画内の各フレームは
データの形態で取扱われるが、以後の説明では取扱われ
る形態に拘わらず、「対象動画」,「フレーム」と称す
る。
【0192】前記対象動画の入力に先立って、動画記憶
部33に媒体37が装着される。動画記録制御部40
は、順次的に入力される前記対象動画内の各フレーム
を、予め定める記憶形式で、逐次媒体37に記憶させ
る。転換部検出装置31は、順次入力される前記対象画
像の各フレームにそれぞれ基づき、該対象動画内の場面
転換部を逐次検出する。検出タイムコード記憶部41
は、転換部検出装置31によって場面転換部が検出され
るたびに、該場面転換部内のフレーム、または該画面転
換部に近接するフレームの前記対象動画内における発生
タイミングを示すタイムコードを、逐次記憶する。この
結果検出タイムコード記憶部41は、転換部検出装置3
1が前記対象動画の先頭から末尾までの全てのフレーム
を処理し終えた時点で、該対象動画内から検出された全
ての場面転換部のタイムコードを、たとえば表形式で記
憶する。前記全ての場面転換部のタイムコードの集合
を、タイムコード表と称する。タイムコード表記録制御
部42は、1つの前記対象動画を構成する全てのフレー
ムが媒体37に記憶された後、該媒体37に前記タイム
コード表を記憶させる。記憶後、媒体37が動画記憶部
33から取外される。
部33に媒体37が装着される。動画記録制御部40
は、順次的に入力される前記対象動画内の各フレーム
を、予め定める記憶形式で、逐次媒体37に記憶させ
る。転換部検出装置31は、順次入力される前記対象画
像の各フレームにそれぞれ基づき、該対象動画内の場面
転換部を逐次検出する。検出タイムコード記憶部41
は、転換部検出装置31によって場面転換部が検出され
るたびに、該場面転換部内のフレーム、または該画面転
換部に近接するフレームの前記対象動画内における発生
タイミングを示すタイムコードを、逐次記憶する。この
結果検出タイムコード記憶部41は、転換部検出装置3
1が前記対象動画の先頭から末尾までの全てのフレーム
を処理し終えた時点で、該対象動画内から検出された全
ての場面転換部のタイムコードを、たとえば表形式で記
憶する。前記全ての場面転換部のタイムコードの集合
を、タイムコード表と称する。タイムコード表記録制御
部42は、1つの前記対象動画を構成する全てのフレー
ムが媒体37に記憶された後、該媒体37に前記タイム
コード表を記憶させる。記憶後、媒体37が動画記憶部
33から取外される。
【0193】動画再生部34は、媒体37に記憶された
対象動画の再生と、該対象動画の速見とを行う。前記対
象動画の速見は、該対象動画の内容を操作者に容易に把
握させるために、前記対象動画内の各ショット内から少
なくとも1枚のフレームをそれぞれ抽出して表示する処
理である。前記対象動画の再生および速見に先立ち、前
記対象動画およびタイムコード表が記憶された媒体37
が、動画再生部34に装着される。
対象動画の再生と、該対象動画の速見とを行う。前記対
象動画の速見は、該対象動画の内容を操作者に容易に把
握させるために、前記対象動画内の各ショット内から少
なくとも1枚のフレームをそれぞれ抽出して表示する処
理である。前記対象動画の再生および速見に先立ち、前
記対象動画およびタイムコード表が記憶された媒体37
が、動画再生部34に装着される。
【0194】前記対象動画が再生される場合、媒体装着
後、動画読出し部43は、媒体37から前記対象動画を
読出し、動画表示制御部44に与える。動画表示制御部
44は、与えられた前記対象動画の各フレームを、前記
表示順で時間経過に伴って順次的に、表示可能なデータ
形式で表示部45に与え、表示させる。この結果前記対
象動画が表示部45に表示される。
後、動画読出し部43は、媒体37から前記対象動画を
読出し、動画表示制御部44に与える。動画表示制御部
44は、与えられた前記対象動画の各フレームを、前記
表示順で時間経過に伴って順次的に、表示可能なデータ
形式で表示部45に与え、表示させる。この結果前記対
象動画が表示部45に表示される。
【0195】前記対象動画の速見が行われる場合、媒体
装着後、タイムコード表読出し部46は、媒体37から
前記対象動画のタイムコード表を読出し、読出しタイム
コード記憶部47に記憶させる。速見動画作成部48
は、読出しタイムコード記憶部47内のタイムコード表
に基づき、前記対象動画の各ショット内から少なくとも
1枚のフレームをそれぞれ選択し、選択した全てのフレ
ームを、動画読出し部43によって媒体37から読出さ
せる。たとえ速見動画作成部48は、前記対象動画内
の、前記タイムコード表内の全てのタイムコードがそれ
ぞれ示す全てのフレームを、媒体37から読出させる。
読出された全てのフレームは、動画読出し部43から速
見動画作成部48に与えられる。フレーム入手後、速見
動画作成部48は、与えられた各フレームを、そのまま
の形状で、速見動画記憶部49にそれぞれ記憶させる。
記憶後、速見動画作成部48は、動画表示制御部44
に、速見動画記憶部49内の全てのフレームを、前記対
象動画内の表示順が早いものから順に、予め定める時間
間隔で、時間経過に伴い順次的に、表示部45に表示さ
せる。この結果表示部45に、前記対象動画の早回しに
相当する速見動画が表示される。媒体37は、たとえば
VTRテープまたは光ディスクで実現される。媒体37
が光ディスクである場合、光ディスクへのアクセスは一
般的にきわめて速いので、読出したフレームをそのまま
速見動画記憶部に記憶させてもよい。
装着後、タイムコード表読出し部46は、媒体37から
前記対象動画のタイムコード表を読出し、読出しタイム
コード記憶部47に記憶させる。速見動画作成部48
は、読出しタイムコード記憶部47内のタイムコード表
に基づき、前記対象動画の各ショット内から少なくとも
1枚のフレームをそれぞれ選択し、選択した全てのフレ
ームを、動画読出し部43によって媒体37から読出さ
せる。たとえ速見動画作成部48は、前記対象動画内
の、前記タイムコード表内の全てのタイムコードがそれ
ぞれ示す全てのフレームを、媒体37から読出させる。
読出された全てのフレームは、動画読出し部43から速
見動画作成部48に与えられる。フレーム入手後、速見
動画作成部48は、与えられた各フレームを、そのまま
の形状で、速見動画記憶部49にそれぞれ記憶させる。
記憶後、速見動画作成部48は、動画表示制御部44
に、速見動画記憶部49内の全てのフレームを、前記対
象動画内の表示順が早いものから順に、予め定める時間
間隔で、時間経過に伴い順次的に、表示部45に表示さ
せる。この結果表示部45に、前記対象動画の早回しに
相当する速見動画が表示される。媒体37は、たとえば
VTRテープまたは光ディスクで実現される。媒体37
が光ディスクである場合、光ディスクへのアクセスは一
般的にきわめて速いので、読出したフレームをそのまま
速見動画記憶部に記憶させてもよい。
【0196】また速見動画作成部48は、前記フレーム
入手後、与えられた全てのフレームをそれぞれ縮小し、
縮小後の全てのフレームを合成して、一覧用のフレーム
を作成し、該フレームを速見動画記憶部49に記憶させ
てもよい。この場合速見動画作成部48は、フレーム記
憶後、動画表示制御部44に、速見動画記憶部49内の
前記一覧用のフレームを、予め定める期間内に、表示部
45に表示させ続ける。また前記一覧用のフレームが複
数枚作成された場合、各一覧用のフレームを、予め定め
る期間ずつ、順次的にそれぞれ表示させ続ける。この結
果表示部45に、前記対象動画の各ショットの一覧に相
当する一覧動画が、表示される。なおこの場合、前記一
覧動画は、視聴者から見て、静止画に見える。
入手後、与えられた全てのフレームをそれぞれ縮小し、
縮小後の全てのフレームを合成して、一覧用のフレーム
を作成し、該フレームを速見動画記憶部49に記憶させ
てもよい。この場合速見動画作成部48は、フレーム記
憶後、動画表示制御部44に、速見動画記憶部49内の
前記一覧用のフレームを、予め定める期間内に、表示部
45に表示させ続ける。また前記一覧用のフレームが複
数枚作成された場合、各一覧用のフレームを、予め定め
る期間ずつ、順次的にそれぞれ表示させ続ける。この結
果表示部45に、前記対象動画の各ショットの一覧に相
当する一覧動画が、表示される。なおこの場合、前記一
覧動画は、視聴者から見て、静止画に見える。
【0197】このように本発明の転換部検出装置31を
用いた動画速見装置32は、前記対象動画内の各ショッ
トからそれぞれ少なくとも1枚ずつ抽出されたフレーム
を用いて、該対象動画の速見動画および一覧動画を作成
する。これに対し、一般的に従来技術の動画速見装置
は、ショットに拘わりなく、予め定める枚数おきに抽出
されたフレームを用いて、の速見動画および一覧動画を
作成している。この結果操作者は、本実施の形態の動画
速見装置32によって生成された速見動画および一覧動
画を目視した場合のほうが、従来技術の動画速見装置に
よって生成された速見動画および一覧動画を目視する場
合よりも、対象動画の内容を確実かつ容易に把握するこ
とができる。これによって本実施の形態の動画速見装置
32は、従来技術の動画速見装置よりも、操作者に、前
記対象動画の内容を、素早く把握させることができる。
また本実施の形態の動画速見装置は、前記対象動画内の
操作者が所望のショットを、操作者に容易に検索させる
ことができる。
用いた動画速見装置32は、前記対象動画内の各ショッ
トからそれぞれ少なくとも1枚ずつ抽出されたフレーム
を用いて、該対象動画の速見動画および一覧動画を作成
する。これに対し、一般的に従来技術の動画速見装置
は、ショットに拘わりなく、予め定める枚数おきに抽出
されたフレームを用いて、の速見動画および一覧動画を
作成している。この結果操作者は、本実施の形態の動画
速見装置32によって生成された速見動画および一覧動
画を目視した場合のほうが、従来技術の動画速見装置に
よって生成された速見動画および一覧動画を目視する場
合よりも、対象動画の内容を確実かつ容易に把握するこ
とができる。これによって本実施の形態の動画速見装置
32は、従来技術の動画速見装置よりも、操作者に、前
記対象動画の内容を、素早く把握させることができる。
また本実施の形態の動画速見装置は、前記対象動画内の
操作者が所望のショットを、操作者に容易に検索させる
ことができる。
【0198】またたとえば本発明の転換部検出装置は、
前記対象動画の編集のための動画編集装置に用いられて
もよい。この場合前記動画編集装置は、対象動画の編集
に先立ち、前記転換部検出装置の検出結果に基づいて該
対象動画内のショットを容易に把握することができるの
で、該編集をショット単位で行うことができる。この結
果前記動画編集装置は、対象動画を効率的に編集するこ
とができる。
前記対象動画の編集のための動画編集装置に用いられて
もよい。この場合前記動画編集装置は、対象動画の編集
に先立ち、前記転換部検出装置の検出結果に基づいて該
対象動画内のショットを容易に把握することができるの
で、該編集をショット単位で行うことができる。この結
果前記動画編集装置は、対象動画を効率的に編集するこ
とができる。
【0199】さらにまたたとえば本発明の転換部検出装
置は、前記対象動画を符号化するための動画符号化装置
に用いられてもよい。一般的に、動画の符号化に際し、
該動画内のカット点前後のフレームは相違度が大きいた
めに符号量が増大しやすく、また該動画内のディゾルブ
効果を用いたトランジション部分内のフレームは動き予
測が困難になるので符号量が増加しやすい。この場合前
記動画符号化装置は、対象動画の符号化に先立ち、前記
転換部検出装置の検出結果に基づいて該対象動画内のシ
ョットを容易に把握することができるので、符号化前に
カット点およびトランジション部分を検出して、該部分
の符号量を抑制するための適切な処理を施すことができ
る。この結果前記動画符号化装置は、符号化後の対象画
像の符号量を抑制することができる。
置は、前記対象動画を符号化するための動画符号化装置
に用いられてもよい。一般的に、動画の符号化に際し、
該動画内のカット点前後のフレームは相違度が大きいた
めに符号量が増大しやすく、また該動画内のディゾルブ
効果を用いたトランジション部分内のフレームは動き予
測が困難になるので符号量が増加しやすい。この場合前
記動画符号化装置は、対象動画の符号化に先立ち、前記
転換部検出装置の検出結果に基づいて該対象動画内のシ
ョットを容易に把握することができるので、符号化前に
カット点およびトランジション部分を検出して、該部分
の符号量を抑制するための適切な処理を施すことができ
る。この結果前記動画符号化装置は、符号化後の対象画
像の符号量を抑制することができる。
【0200】このように本発明の動画場面転換部検出装
置は、上述した対象動画に対する各種の処理に限らず、
対象動画に対するどのような処理のための装置に用いら
れても良い。この結果対象画像に対する処理を行う際
に、該対象画像のショットを考慮することができるの
で、処理を適確に行うことができる。
置は、上述した対象動画に対する各種の処理に限らず、
対象動画に対するどのような処理のための装置に用いら
れても良い。この結果対象画像に対する処理を行う際
に、該対象画像のショットを考慮することができるの
で、処理を適確に行うことができる。
【0201】
【発明の効果】以上のように第1の発明によれば、動画
場面転換部検出装置は、動画内のフレームの複数の各離
反フレーム間相違度の、該フレームの表示順に基づく変
化の特性を検出し、該特性に基づいて、前記動画内から
トランジション効果を用いた場面転換部を検出する。こ
の結果前記装置は、トランジション効果の種類に拘わり
なく、動画内から前記場面転換部を、精度良く検出する
ことができる。また前記動画場面転換部検出装置は、前
記各フレームの離反フレーム間相違度を、該各フレーム
を分割したものである複数の領域の代表色およびその出
現頻度に基づいて計算する。この結果前記動画場面転換
部検出装置は、前記場面転換部の検出精度を、さらに向
上させることができる。
場面転換部検出装置は、動画内のフレームの複数の各離
反フレーム間相違度の、該フレームの表示順に基づく変
化の特性を検出し、該特性に基づいて、前記動画内から
トランジション効果を用いた場面転換部を検出する。こ
の結果前記装置は、トランジション効果の種類に拘わり
なく、動画内から前記場面転換部を、精度良く検出する
ことができる。また前記動画場面転換部検出装置は、前
記各フレームの離反フレーム間相違度を、該各フレーム
を分割したものである複数の領域の代表色およびその出
現頻度に基づいて計算する。この結果前記動画場面転換
部検出装置は、前記場面転換部の検出精度を、さらに向
上させることができる。
【0202】また第2の発明によれば、動画場面転換部
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また前記動画場面転換部検出装置は、前記特性とし
て、各離反フレーム間相違度の変化パターンと複数の基
準パターンとの比較結果を出力する。すなわち前記動画
場面転換部検出装置は、前記複数の離反フレーム間相違
度の変化パターンに基づき、前記動画から前記場面転換
部を容易に検出することができる。
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また前記動画場面転換部検出装置は、前記特性とし
て、各離反フレーム間相違度の変化パターンと複数の基
準パターンとの比較結果を出力する。すなわち前記動画
場面転換部検出装置は、前記複数の離反フレーム間相違
度の変化パターンに基づき、前記動画から前記場面転換
部を容易に検出することができる。
【0203】また第3の発明によれば、動画場面転換部
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また動画場面転換部検出装置は、前記各離反フレー
ム間相違度の変化パターンを近似する近似式を求め、該
近似式に基づいて前記変化パターンと基準パターンとの
比較結果を求める。この結果前記動画場面転換部検出装
置は、前記場面転換部の検出精度を、さらに向上させる
ことができる。さらに第4および第5の発明によれば、
前記近似式は、2次関数または三角関数を含む関数であ
る。この結果前記動画場面転換部検出装置は、前記各変
化パターンと前記各基準パターンとの比較を、容易に行
うことができる。
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また動画場面転換部検出装置は、前記各離反フレー
ム間相違度の変化パターンを近似する近似式を求め、該
近似式に基づいて前記変化パターンと基準パターンとの
比較結果を求める。この結果前記動画場面転換部検出装
置は、前記場面転換部の検出精度を、さらに向上させる
ことができる。さらに第4および第5の発明によれば、
前記近似式は、2次関数または三角関数を含む関数であ
る。この結果前記動画場面転換部検出装置は、前記各変
化パターンと前記各基準パターンとの比較を、容易に行
うことができる。
【0204】また第6の発明によれば、動画場面転換部
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また前記動画場面転換部検出装置は、動画内の各フ
レームの隣接フレーム間相違度に基づき、動画内のカッ
ト点をさらに検出し、かつ、前記各隣接フレーム相違度
を、動画内の各ショットの撮影時のカメラおよび被写体
の動きに起因する成分が小さくなるように、補正する。
この結果前記動画場面転換部検出装置は、トランジショ
ン効果を用いた場面転換部に加えて、カット点である場
面転換部も検出することができ、かつ、カット点の検出
精度を向上させることができる。
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また前記動画場面転換部検出装置は、動画内の各フ
レームの隣接フレーム間相違度に基づき、動画内のカッ
ト点をさらに検出し、かつ、前記各隣接フレーム相違度
を、動画内の各ショットの撮影時のカメラおよび被写体
の動きに起因する成分が小さくなるように、補正する。
この結果前記動画場面転換部検出装置は、トランジショ
ン効果を用いた場面転換部に加えて、カット点である場
面転換部も検出することができ、かつ、カット点の検出
精度を向上させることができる。
【0205】また第7の発明によれば、動画場面転換部
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また前記動画場面転換部検出装置は、動画内の各フ
レームの隣接フレーム間相違度に基づき、動画内のカッ
ト点をさらに検出し、さらに、動画内の各ショット内の
連続する2つのフレームの離散フレーム間相違度が前記
カット点検出用閾値以上であり、かつ該フレームを含み
連続する複数のフレームの離散フレーム間相違度が該閾
値以上である場合だけ、カット点があると判断する。こ
の結果前記動画場面転換部検出装置は、トランジション
効果を用いた場面転換部に加えて、カット点である場面
転換部も検出することができる。また前記装置は、フラ
ッシュの影響に起因するカット点の誤検出を防止するこ
とができるので、カット点の検出精度を向上させること
ができる。
検出装置は、動画内のフレームの複数の各離反フレーム
間相違度の、該フレームの表示順に基づく変化の特性を
検出し、該特性に基づいて、前記動画内からトランジシ
ョン効果を用いた場面転換部を検出する。この結果前記
装置は、トランジション効果の種類に拘わりなく、動画
内から前記場面転換部を、精度良く検出することができ
る。また前記動画場面転換部検出装置は、動画内の各フ
レームの隣接フレーム間相違度に基づき、動画内のカッ
ト点をさらに検出し、さらに、動画内の各ショット内の
連続する2つのフレームの離散フレーム間相違度が前記
カット点検出用閾値以上であり、かつ該フレームを含み
連続する複数のフレームの離散フレーム間相違度が該閾
値以上である場合だけ、カット点があると判断する。こ
の結果前記動画場面転換部検出装置は、トランジション
効果を用いた場面転換部に加えて、カット点である場面
転換部も検出することができる。また前記装置は、フラ
ッシュの影響に起因するカット点の誤検出を防止するこ
とができるので、カット点の検出精度を向上させること
ができる。
【0206】また第8の発明によれば、動画処理装置
は、前記第1〜第7の発明のうちのいずれかの動画場面
転換部検出装置を備え、該動画場面転換部検出装置の検
出結果に基づき、入力された動画を処理する。この結果
前記動画処理装置は、動画をショット単位で処理する場
合に、前記場面転換部の検出に要する負担を軽減し、か
つ動画の処理精度を向上することができる。
は、前記第1〜第7の発明のうちのいずれかの動画場面
転換部検出装置を備え、該動画場面転換部検出装置の検
出結果に基づき、入力された動画を処理する。この結果
前記動画処理装置は、動画をショット単位で処理する場
合に、前記場面転換部の検出に要する負担を軽減し、か
つ動画の処理精度を向上することができる。
【0207】また第9の発明によれば、前記動画処理装
置は、前記検出結果に基づいて、前記動画内から複数の
フレームを抽出して、該フレームを順次表示する。さら
にまた第10の発明によれば、前記動画処理装置は、前
記検出結果に基づいて、前記動画内から複数のフレーム
を抽出し、該各フレームを縮小しかつ合成して、この結
果得られる合成フレームを、表示する。これらの結果、
前記動画処理装置の操作者は、元の動画の内容を、適確
かつ短時間に把握することができる。
置は、前記検出結果に基づいて、前記動画内から複数の
フレームを抽出して、該フレームを順次表示する。さら
にまた第10の発明によれば、前記動画処理装置は、前
記検出結果に基づいて、前記動画内から複数のフレーム
を抽出し、該各フレームを縮小しかつ合成して、この結
果得られる合成フレームを、表示する。これらの結果、
前記動画処理装置の操作者は、元の動画の内容を、適確
かつ短時間に把握することができる。
【0208】また第11の発明によれば、動画場面転換
部検出方法において、動画内のフレームの複数の各離反
フレーム間相違度の、該フレームの表示順に基づく変化
の特性を検出し、該特性に基づいて、前記動画内からト
ランジション効果を用いた場面転換部を検出する。この
結果前記方法が用いられる場合、トランジション効果の
種類に拘わりなく、動画内から前記場面転換部を、精度
良く検出することができる。また前記動画場面転換部検
出方法において、前記各フレームの離反フレーム間相違
度を、該各フレームを分割したものである複数の領域の
代表色およびその出現頻度に基づいて計算する。この結
果前記方法が用いられる場合、前記場面転換部の検出精
度を、さらに向上させることができる。また第12の発
明によれば、動画場面転換部検出方法において、動画内
のフレームの複数の各離反フレーム間相違度の、該フレ
ームの表示順に基づく変化の特性を検出し、該特性に基
づいて、前記動画内からトランジション効果を用いた場
面転換部を検出する。この結果前記方法が用いられる場
合、トランジション効果の種類に拘わりなく、動画内か
ら前記場面転換部を、精度良く検出することができる。
また前記動画場面転換部検出方法において、前記特性と
して、各離反フレーム間相違度の変化パターンと複数の
基準パターンとの比較結果を出力する。すなわち前記方
法が用いられる場合、前記複数の離反フレーム間相違度
の変化パターンに基づき、前記動画から前記場面転換部
を容易に検出することができる。また第13の発明によ
れば、動画場面転換部検出方法において、動画内のフレ
ームの複数の各離反フレーム間相違度の、該フレームの
表示順に基づく変化の特性を検出し、該特性に基づい
て、前記動画内からトランジション効果を用いた場面転
換部を検出する。この結果前記方法が用いられる場合、
トランジション効果の種類に拘わりなく、動画内から前
記場面転換部を、精度良く検出することができる。また
動画場面転換部検出方法は、前記各離反フレーム間相違
度の変化パターンを近似する近似式を求め、該近似式に
基づいて前記変化パターンと基準パターンとの比較結果
を求める。この結果前記方法が用いられる場合、前記場
面転換部の検出精度を、さらに向上させることができ
る。さらに第14および第15の発明によれば、前記近
似式は、2次関数または三角関数を含む関数である。こ
の結果前記方法が用いられる場合、前記各変化パターン
と前記各基準パターンとの比較を、容易に行うことがで
きる。また第16の発明によれば、動画場面転換部検出
方法において、動画内のフレームの複数の各離反フレー
ム間相違度の、該フレームの表示順に基づく変化の特性
を検出し、該特性に基づいて、前記動画内からトランジ
ション効果を用いた場面転換部を検出する。この結果前
記方法が用いられる場合、トランジション効果の種類に
拘わりなく、動画内から前記場面転換部を、精度良く検
出することができる。また前記動画場面転換部検出方法
において、動画内の各フレームの隣接フレーム間相違度
に基づき、動画内のカット点をさらに検出し、かつ、前
記各隣接フレーム相違度を、動画内の各ショットの撮影
時のカメラおよび被写体の動きに起因する成分が小さく
なるように、補正する。この結果前記方法が用いられる
場合、トランジション効果を用いた場面転換部に加え
て、カット点である場面転換部も検出することができ、
かつ、カット点の検出精度を向上させることができる。
また第17の発明によれば、動画場面転換部検出方法に
おいて、動画内のフレームの複数の各離反フレーム間相
違度の、該フレームの表示順に基づく変化の特性を検出
し、該特性に基づいて、前記動画内からトランジション
効果を用いた場面転換部を検出する。この結果前記方法
が用いられる場合、トランジション効果の種類に拘わり
なく、動画内から前記場面転換部を、精度良く検出する
ことができる。また前記動画場面転換部検出方法におい
て、動画内の各フレームの隣接フレーム間相違度に基づ
き、動画内のカット点をさらに検出し、さらに、動画内
の各ショット内の連続する2つのフレームの離散フレー
ム間相違度が前記カット点検出用閾値以上であり、かつ
該フレームを含み連続する複数のフレームの離散フレー
ム間相違度が該閾値以上である場合だけ、カット点があ
ると判断する。この結果前記方法が用いられる場合、ト
ランジション効果を用いた場面転換部に加えて、カット
点である場面転換部も検出することができる。また前記
方法において、フラッシュの影響に起因するカット点の
誤検出を防止することができるので、カット点の検出精
度を向上させることができる。
部検出方法において、動画内のフレームの複数の各離反
フレーム間相違度の、該フレームの表示順に基づく変化
の特性を検出し、該特性に基づいて、前記動画内からト
ランジション効果を用いた場面転換部を検出する。この
結果前記方法が用いられる場合、トランジション効果の
種類に拘わりなく、動画内から前記場面転換部を、精度
良く検出することができる。また前記動画場面転換部検
出方法において、前記各フレームの離反フレーム間相違
度を、該各フレームを分割したものである複数の領域の
代表色およびその出現頻度に基づいて計算する。この結
果前記方法が用いられる場合、前記場面転換部の検出精
度を、さらに向上させることができる。また第12の発
明によれば、動画場面転換部検出方法において、動画内
のフレームの複数の各離反フレーム間相違度の、該フレ
ームの表示順に基づく変化の特性を検出し、該特性に基
づいて、前記動画内からトランジション効果を用いた場
面転換部を検出する。この結果前記方法が用いられる場
合、トランジション効果の種類に拘わりなく、動画内か
ら前記場面転換部を、精度良く検出することができる。
また前記動画場面転換部検出方法において、前記特性と
して、各離反フレーム間相違度の変化パターンと複数の
基準パターンとの比較結果を出力する。すなわち前記方
法が用いられる場合、前記複数の離反フレーム間相違度
の変化パターンに基づき、前記動画から前記場面転換部
を容易に検出することができる。また第13の発明によ
れば、動画場面転換部検出方法において、動画内のフレ
ームの複数の各離反フレーム間相違度の、該フレームの
表示順に基づく変化の特性を検出し、該特性に基づい
て、前記動画内からトランジション効果を用いた場面転
換部を検出する。この結果前記方法が用いられる場合、
トランジション効果の種類に拘わりなく、動画内から前
記場面転換部を、精度良く検出することができる。また
動画場面転換部検出方法は、前記各離反フレーム間相違
度の変化パターンを近似する近似式を求め、該近似式に
基づいて前記変化パターンと基準パターンとの比較結果
を求める。この結果前記方法が用いられる場合、前記場
面転換部の検出精度を、さらに向上させることができ
る。さらに第14および第15の発明によれば、前記近
似式は、2次関数または三角関数を含む関数である。こ
の結果前記方法が用いられる場合、前記各変化パターン
と前記各基準パターンとの比較を、容易に行うことがで
きる。また第16の発明によれば、動画場面転換部検出
方法において、動画内のフレームの複数の各離反フレー
ム間相違度の、該フレームの表示順に基づく変化の特性
を検出し、該特性に基づいて、前記動画内からトランジ
ション効果を用いた場面転換部を検出する。この結果前
記方法が用いられる場合、トランジション効果の種類に
拘わりなく、動画内から前記場面転換部を、精度良く検
出することができる。また前記動画場面転換部検出方法
において、動画内の各フレームの隣接フレーム間相違度
に基づき、動画内のカット点をさらに検出し、かつ、前
記各隣接フレーム相違度を、動画内の各ショットの撮影
時のカメラおよび被写体の動きに起因する成分が小さく
なるように、補正する。この結果前記方法が用いられる
場合、トランジション効果を用いた場面転換部に加え
て、カット点である場面転換部も検出することができ、
かつ、カット点の検出精度を向上させることができる。
また第17の発明によれば、動画場面転換部検出方法に
おいて、動画内のフレームの複数の各離反フレーム間相
違度の、該フレームの表示順に基づく変化の特性を検出
し、該特性に基づいて、前記動画内からトランジション
効果を用いた場面転換部を検出する。この結果前記方法
が用いられる場合、トランジション効果の種類に拘わり
なく、動画内から前記場面転換部を、精度良く検出する
ことができる。また前記動画場面転換部検出方法におい
て、動画内の各フレームの隣接フレーム間相違度に基づ
き、動画内のカット点をさらに検出し、さらに、動画内
の各ショット内の連続する2つのフレームの離散フレー
ム間相違度が前記カット点検出用閾値以上であり、かつ
該フレームを含み連続する複数のフレームの離散フレー
ム間相違度が該閾値以上である場合だけ、カット点があ
ると判断する。この結果前記方法が用いられる場合、ト
ランジション効果を用いた場面転換部に加えて、カット
点である場面転換部も検出することができる。また前記
方法において、フラッシュの影響に起因するカット点の
誤検出を防止することができるので、カット点の検出精
度を向上させることができる。
【0209】また第18の発明によれば、前記媒体は、
コンピュータにインストールして実行させた場合に該コ
ンピュータを第1〜第7の発明の動画場面転換部検出装
置と同様に動作させるための前記動画場面転換部検出制
御プログラムを含む。これらの結果、前記プログラムが
コンピュータによって実行された場合、トランジション
効果の種類に拘わらず、動画内から前記場面転換部が精
度よく検出することができ、かつ、前記場面転換部の検
出に要する計算量の減少、および該検出の精度の向上を
図ることができる。
コンピュータにインストールして実行させた場合に該コ
ンピュータを第1〜第7の発明の動画場面転換部検出装
置と同様に動作させるための前記動画場面転換部検出制
御プログラムを含む。これらの結果、前記プログラムが
コンピュータによって実行された場合、トランジション
効果の種類に拘わらず、動画内から前記場面転換部が精
度よく検出することができ、かつ、前記場面転換部の検
出に要する計算量の減少、および該検出の精度の向上を
図ることができる。
【図1】本発明の第1の実施の形態である動画場面転換
部検出装置31の機能的構成を示すブロック図である。
部検出装置31の機能的構成を示すブロック図である。
【図2】動画内のトランジション部分およびその近傍の
フレームを、表示順に並べて示す図である。
フレームを、表示順に並べて示す図である。
【図3】動画内のトランジション部分およびその近傍の
フレームの離反フレーム間相違度の、フレームの並べ順
に従う変化を、概略的に示すグラフである。
フレームの離反フレーム間相違度の、フレームの並べ順
に従う変化を、概略的に示すグラフである。
【図4】動画内のトランジション部分およびその近傍の
フレームの第1〜第3フレーム間相違度の、フレームの
並べ順に従う変化を、具体的に示すグラフである。
フレームの第1〜第3フレーム間相違度の、フレームの
並べ順に従う変化を、具体的に示すグラフである。
【図5】フレーム間相違度の算出に関し、着目フレーム
が先行ショット内、トランジション部分内、後続ショッ
ト内にある場合の比較用フレームとトランジション部分
との関係を示す図である。
が先行ショット内、トランジション部分内、後続ショッ
ト内にある場合の比較用フレームとトランジション部分
との関係を示す図である。
【図6】動画内のカット点およびその近傍のフレームの
第1〜第3フレーム間相違度の、フレームの並べ順に従
う変化を、具体的に示すグラフである。
第1〜第3フレーム間相違度の、フレームの並べ順に従
う変化を、具体的に示すグラフである。
【図7】第1の実施の形態の動画場面転換部検出装置3
1における動画内の場面転換部の検出処理を説明するた
めのフローチャートである。
1における動画内の場面転換部の検出処理を説明するた
めのフローチャートである。
【図8】図7の検出処理において、相違度記憶部56内
の第2および第3バッファ群内の複数の相違度バッファ
に記憶された第2および第3フレーム間相違度と、相違
度バッファのバッファ番号との関係を示すグラフであ
る。
の第2および第3バッファ群内の複数の相違度バッファ
に記憶された第2および第3フレーム間相違度と、相違
度バッファのバッファ番号との関係を示すグラフであ
る。
【図9】図7の検出処理において、相違度記憶部56内
の第2および第3バッファ群内の複数の相違度バッファ
に記憶された第2および第3フレーム間相違度と、相違
度バッファのバッファ番号との関係を示すグラフであ
る。
の第2および第3バッファ群内の複数の相違度バッファ
に記憶された第2および第3フレーム間相違度と、相違
度バッファのバッファ番号との関係を示すグラフであ
る。
【図10】本発明の第2の実施の形態である動画場面転
換部検出装置において、動画内の各フレームのフレーム
特徴の抽出手法およびフレーム間相違度の算出手法を概
略的に説明する図である。
換部検出装置において、動画内の各フレームのフレーム
特徴の抽出手法およびフレーム間相違度の算出手法を概
略的に説明する図である。
【図11】第2の実施の形態の動画場面転換部検出装置
内のフレーム特徴抽出部における任意の1枚のフレーム
のフレーム特徴の抽出手法を説明するための図である。
内のフレーム特徴抽出部における任意の1枚のフレーム
のフレーム特徴の抽出手法を説明するための図である。
【図12】図11のフレーム特徴の抽出手法において、
フレームの分割状態を説明するための図である。
フレームの分割状態を説明するための図である。
【図13】第2の実施の形態の動画場面転換部検出装置
内の相違度計算部における任意の2枚のフレーム間のフ
レーム間相違度の計算手法を説明するための図である。
内の相違度計算部における任意の2枚のフレーム間のフ
レーム間相違度の計算手法を説明するための図である。
【図14】本発明の第3の実施の形態の動画場面転換部
検出装置のカット点検出部におけるカット点の検出手法
を説明するために、カット点およびその近傍のフレーム
の補正前の第1フレーム間相違度のフレームの並べ順に
従う変化を示すグラフである。
検出装置のカット点検出部におけるカット点の検出手法
を説明するために、カット点およびその近傍のフレーム
の補正前の第1フレーム間相違度のフレームの並べ順に
従う変化を示すグラフである。
【図15】第3の実施の形態の動画場面転換部検出装置
のカット点検出部におけるカット点の検出手法を説明す
るために、カット点およびその近傍のフレームの補正後
の第1フレーム間相違度のフレームの並べ順に従う変化
を示すグラフである。
のカット点検出部におけるカット点の検出手法を説明す
るために、カット点およびその近傍のフレームの補正後
の第1フレーム間相違度のフレームの並べ順に従う変化
を示すグラフである。
【図16】第3の実施の形態の動画場面転換部検出装置
のカット点検出部におけるカット点の検出手法を説明す
るためのフローチャートである。
のカット点検出部におけるカット点の検出手法を説明す
るためのフローチャートである。
【図17】本発明の第4の実施の形態である動画場面転
換部検出装置の特徴形状検出部におけるトランジション
部分の検出手法を説明するためのフローチャートであ
る。
換部検出装置の特徴形状検出部におけるトランジション
部分の検出手法を説明するためのフローチャートであ
る。
【図18】本発明の第5の実施の形態である動画場面転
換部検出装置の特徴形状検出部におけるトランジション
部分の検出手法において、第2フレーム間相違度の変化
パターンを近似するべき波形を示すグラフである。
換部検出装置の特徴形状検出部におけるトランジション
部分の検出手法において、第2フレーム間相違度の変化
パターンを近似するべき波形を示すグラフである。
【図19】第5の実施の形態の動画場面転換部検出装置
の特徴形状検出部におけるトランジション部分の検出手
法において、第3フレーム間相違度の変化パターンを近
似するべき波形を示すグラフである。
の特徴形状検出部におけるトランジション部分の検出手
法において、第3フレーム間相違度の変化パターンを近
似するべき波形を示すグラフである。
【図20】第5の実施の形態の動画場面転換部検出装置
の特徴形状検出部におけるトランジション部分の検出手
法を説明するためのフローチャートである。
の特徴形状検出部におけるトランジション部分の検出手
法を説明するためのフローチャートである。
【図21】本発明の動画場面転換部検出装置を含む動画
早見装置32の電気的構成を示すブロック図である。
早見装置32の電気的構成を示すブロック図である。
【図22】動画の構成を示す模式図である。
【図23】動画内のカット点ならびにディゾルブおよび
ワイプをそれぞれ用いたトランジション部分およびその
近傍のフレームを、フレームの表示順に並べた図であ
る。
ワイプをそれぞれ用いたトランジション部分およびその
近傍のフレームを、フレームの表示順に並べた図であ
る。
31 動画場面転換部検出装置
51 フレーム展開部
53 フレーム内特徴抽出部
55 相違度計算部
57 特徴形状検出部
58 カット検出部
59 検出結果出力部
60 制御回路
Claims (18)
- 【請求項1】 複数のショットから構成される動画を記
憶し、該各ショットは特徴が同一または近似しかつ時間
経過に伴って順次的に表示されるべき複数のフレームか
らそれぞれ構成される動画記憶手段と、 前記各フレームを1または複数の領域に区分し、前記各
フレーム内の各領域を代表する少なくとも1つの色と該
各領域内の該色の出現頻度とをそれぞれ検出して、該各
フレーム内の全ての領域の検出された色および出現頻度
の組合わせを、前記各フレームの前記特徴を示す特徴デ
ータとして出力する特徴データ生成手段と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記特徴データに基づい
て、前記第1フレームをずらしてそれぞれ演算する離反
フレーム間相違度演算手段と、 前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、 前記特性検出手段によって検出された特性に基づいて、
動画内の表示順が隣接するべきフレームが重なって合成
されたトランジション効果を有する合成フレームを、動
画内から検出するトランジション検出手段とを含むこと
を特徴とする動画場面転換部検出装置。 - 【請求項2】 複数のショットから構成される動画を記
憶し、該各ショットは特徴が同一または近似しかつ時間
経過に伴って順次的に表示されるべき複数のフレームか
らそれぞれ構成される動画記憶手段と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する離反フレーム間相違度演算手段
と、 前記表示順が連続する複数のフレームの複数の離反フレ
ーム間相違度の前記表示順に伴う変化パターンが、予め
定める複数の基準パターンとそれぞれ一致するか否かを
判断して、前記フレームの前記各第2フレームに対応す
る離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する特性検出手段と、 前記特性検出手段によって検出された特性に基づいて、
動画内の表示順が隣接するべきフレームが重なって合成
されたトランジション効果を有する合成フレームを、動
画内から検出するトランジション検出手段とを含み、 前記全ての基準パターンのうち、前記いずれか1つの離
反フレーム間相違度の変化パターンと比較されるべき第
1基準パターン、および該いずれか1つの離反フレーム
間相違度よりも算出時の前記基準枚数が多い離反フレー
ム間相違度の変化パターンと比較されるべき第2基準パ
ターンは、該第1および第2基準パターンをそれぞれ示
すグラフの形状が凸状であり、かつ、前記第1基準パタ
ーンのグラフの高さおよび幅がそれぞれ前記第2基準パ
ターンのグラフの高さおよび幅未満であることを特徴と
する動画場面転換部検出装置。 - 【請求項3】 複数のショットから構成される動画を記
憶し、該各ショットは特徴が同一または近似しかつ時間
経過に伴って順次的に表示されるべき複数のフレームか
らそれぞれ構成される動画記憶手段と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する離反フレーム間相違度演算手段
と、 前記表示順が連続する複数のフレームの各離反フレーム
間相違度の変化パターンをそれぞれ近似するグラフの数
式をそれぞれ求める近似式算出手段と、 求められた複数の前記数式に基づいて定められるパラメ
ータに基づき、該各数式のグラフで近似される変化パタ
ーンが前記各基準パターンと一致するか否かを判断し
て、前記フレームの前記各第2フレームに対応する離反
フレーム間相違度の前記表示順に従う変化の特性を、そ
れぞれ検出する特性検出手段と、 前記特性検出手段によって検出された特性に基づいて、
動画内の表示順が隣接するべきフレームが重なって合成
されたトランジション効果を有する合成フレームを、動
画内から検出するトランジション検出手段とを含むこと
を特徴とする動画場面転換部検出装置。 - 【請求項4】 前記数式は、2次関数であり、 前記パラメータは、前記算出された2次関数の係数であ
ることを特徴とする請求項3記載の動画場面転換部検出
装置。 - 【請求項5】 前記数式は、正弦関数を含む関数であ
り、 前記パラメータは、前記算出された関数内の正弦関数の
位相およびゲインであることを特徴とする請求項3記載
の動画場面転換部検出装置。 - 【請求項6】 複数のショットから構成される動画を記
憶し、該各ショットは特徴が同一または近似しかつ時間
経過に伴って順次的に表示されるべき複数のフレームか
らそれぞれ構成される動画記憶手段と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する離反フレーム間相違度演算手段
と、 前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、 前記特性検出手段によって検出された特性に基づいて、
動画内の表示順が隣接するべきフレームが重なって合成
されたトランジション効果を有する合成フレームを、動
画内から検出するトランジション検出手段と、 前記動画内の各フレーム毎に、該各フレームの表示順と
1つだけ異なる表示順のフレームと該各フレームとの特
徴の違いを示す隣接フレーム間相違度を、それぞれ算出
する隣接フレーム間相違度算出手段と、 前記各フレームの隣接フレーム間相違度から、該各フレ
ームを含み表示順が連続した複数のフレームのうちの該
各フレームを除く残余のフレームの隣接フレーム間相違
度と予め定める複数の重み係数との積の総和を、それぞ
れ減算する隣接フレーム間相違度補正手段と、 前記減算後の隣接フレーム間相違度が予め定めるカット
点検出用閾値以上のフレームを、前記動画内から検出す
るフレーム検出手段と、 前記検出されたフレームに基づき、前記動画内のカット
点を検出するカット点検出手段とを含み、 前記残余の各フレームの隣接フレーム間相違度に乗算さ
れる各重み係数は、前記残余のフレームの隣接フレーム
間相違度のうちの該各隣接フレーム間相違度よりも小さ
い隣接フレーム間相違度に乗算される重み係数以上であ
ることを特徴とする動画場面転換部検出装置。 - 【請求項7】 複数のショットから構成される動画を記
憶し、該各ショットは特徴が同一または近似しかつ時間
経過に伴って順次的に表示されるべき複数のフレームか
らそれぞれ構成される動画記憶手段と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する離反フレーム間相違度演算手段
と、 前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する特性検出手段と、 前記特性検出手段によって検出された特性に基づいて、
動画内の表示順が隣接するべきフレームが重なって合成
されたトランジション効果を有する合成フレームを、動
画内から検出するトランジション検出手段と、 前記動画内の各フレーム毎に、該各フレームの表示順と
1つだけ異なる表示順のフレームと該各フレームとの特
徴の違いを示す隣接フレーム間相違度を、それぞれ算出
する隣接フレーム間相違度算出手段と、 前記動画内から、隣接フレーム間相違度が予め定めるカ
ット点検出用閾値以上の全てのフレームのうち、該各フ
レームを含み配列順が連続する複数の各フレームのいず
れか1つの離反フレーム間相違度が、全て予め定める閾
値以上であるフレームを、検出するフレーム検出手段
と、 前記検出されたフレームに基づき、前記動画内のカット
点を検出するカット点検出手段とを含むことを特徴とす
る動画場面転換部検出装置。 - 【請求項8】 フレームが表示可能な表示手段と、 請求項1〜7のうちのいずれかに記載の動画場面転換部
検出装置と、 前記動画場面転換部検出装置によって検出された合成フ
レームの動画内の位置に基づき、前記動画内の各ショッ
ト内から、少なくとも1枚のフレームをそれぞれ抽出す
るフレーム抽出手段と、 抽出された前記フレームを前記表示手段に表示させる表
示制御手段とを含むことを特徴とする動画処理装置。 - 【請求項9】 前記表示制御手段は、前記抽出された全
てのフレームを、前記動画内の表示順が早いものから順
に、時間経過に伴って順次的に、前記表示手段に表示さ
せることを特徴とする請求項8記載の動画処理装置。 - 【請求項10】 前記表示制御手段は、前記抽出された
各フレームを縮小し、縮小された該各フレームを合成し
た合成フレームを、前記表示手段に表示させることを特
徴とする請求項8記載の動画処理装置。 - 【請求項11】 特徴が同一または近似しかつ時間経過
に伴って順次的に表示されるべき複数のフレームからそ
れぞれ構成される複数のショットから構成される動画を
記憶させる処理と、 前記各フレームを1または複数の領域に区分し、前記各
フレーム内の各領域を代表する少なくとも1つの色と該
各領域内の該色の出現頻度とをそれぞれ検出して、該各
フレーム内の全ての領域の検出された色および出現頻度
の組合わせを、前記各フレームの前記特徴を示す特徴デ
ータとして出力する処理と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記特徴データに基づい
て、前記第1フレームをずらしてそれぞれ演算する処理
と、 前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する処理と、 前記検出された特性に基づいて、動画内の表示順が隣接
するべきフレームが重なって合成されたトランジション
効果を有する合成フレームを、動画内から検出する処理
とを含むことを特徴とする動画場面転換部検出方法。 - 【請求項12】 特徴が同一または近似しかつ時間経過
に伴って順次的に表示されるべき複数のフレームからそ
れぞれ構成される複数のショットから構成される動画を
記憶させる処理と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する処理と、 前記表示順が連続する複数のフレームの複数の離反フレ
ーム間相違度の前記表示順に伴う変化パターンが、予め
定める複数の基準パターンとそれぞれ一致するか否かを
判断して、前記フレームの前記各第2フレームに対応す
る離反フレーム間相違度の前記表示順に従う変化の特性
を、それぞれ検出する処理と、 前記検出された特性に基づいて、動画内の表示順が隣接
するべきフレームが重なって合成されたトランジション
効果を有する合成フレームを、動画内から検出する処理
とを含み、 前記全ての基準パターンのうち、前記いずれか1つの離
反フレーム間相違度の変化パターンと比較されるべき第
1基準パターン、および該いずれか1つの離反フレーム
間相違度よりも算出時の前記基準枚数が多い離反フレー
ム間相違度の変化パターンと比較されるべき第2基準パ
ターンは、該第1および第2基準パターンをそれぞれ示
すグラフの形状が凸状であり、かつ、前記第1基準パタ
ーンのグラフの高さおよび幅がそれぞれ前記第2基準パ
ターンのグラフの高さおよび幅未満であることを特徴と
する動画場面転換部検出方法。 - 【請求項13】 特徴が同一または近似しかつ時間経過
に伴って順次的に表示されるべき複数のフレームからそ
れぞれ構成される複数のショットから構成される動画を
記憶させる処理と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する処理と、 前記表示順が連続する複数のフレームの各離反フレーム
間相違度の変化パターンをそれぞれ近似するグラフの数
式をそれぞれ求める処理と、 求められた複数の前記数式に基づいて定められるパラメ
ータに基づき、該各数式のグラフで近似される変化パタ
ーンが前記各基準パターンと一致するか否かを判断し
て、前記フレームの前記各第2フレームに対応する離反
フレーム間相違度の前記表示順に従う変化の特性を、そ
れぞれ検出する処理と、 前記検出された特性に基づいて、動画内の表示順が隣接
するべきフレームが重なって合成されたトランジション
効果を有する合成フレームを、動画内から検出する処理
とを含むことを特徴とする動画場面転換部検出方法。 - 【請求項14】 前記数式は、2次関数であり、 前記パラメータは、前記算出された2次関数の係数であ
ることを特徴とする請求項13記載の動画場面転換部検
出方法。 - 【請求項15】 前記数式は、正弦関数を含む関数であ
り、 前記パラメータは、前記算出された関数内の正弦関数の
位相およびゲインであることを特徴とする請求項13記
載の動画場面転換部検出方法。 - 【請求項16】 特徴が同一または近似しかつ時間経過
に伴って順次的に表示されるべき複数のフレームからそ
れぞれ構成される複数のショットから構成される動画を
記憶させる処理と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する処理と、 前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する処理と、 前記検出された特性に基づいて、動画内の表示順が隣接
するべきフレームが重なって合成されたトランジション
効果を有する合成フレームを、動画内から検出する処理
と、 前記動画内の各フレーム毎に、該各フレームの表示順と
1つだけ異なる表示順のフレームと該各フレームとの特
徴の違いを示す隣接フレーム間相違度を、それぞれ算出
する処理と、 前記各フレームの隣接フレーム間相違度から、該各フレ
ームを含み表示順が連続した複数のフレームのうちの該
各フレームを除く残余のフレームの隣接フレーム間相違
度と予め定める複数の重み係数との積の総和を、それぞ
れ減算する処理と、 前記減算後の隣接フレーム間相違度が予め定めるカット
点検出用閾値以上のフレームを、前記動画内から検出す
る処理と、 前記検出されたフレームに基づき、前記動画内のカット
点を検出する処理とを含み、 前記残余の各フレームの隣接フレーム間相違度に乗算さ
れる各重み係数は、前記残余のフレームの隣接フレーム
間相違度のうちの該各隣接フレーム間相違度よりも小さ
い隣接フレーム間相違度に乗算される重み係数以上であ
ることを特徴とする動画場面転換部検出方法。 - 【請求項17】 特徴が同一または近似しかつ時間経過
に伴って順次的に表示されるべき複数のフレームからそ
れぞれ構成される複数のショットから構成される動画を
記憶させる処理と、 前記動画内のいずれか1つのフレームである第1フレー
ムの、前記動画内のフレームの表示順に予め定める複数
の基準枚数だけ該第1フレームからそれぞれ離れた複数
の第2フレームとの特徴の相違の程度をそれぞれ表す複
数の離反フレーム間相違度を、前記第1フレームをずら
してそれぞれ演算する処理と、 前記フレームの前記各第2フレームに対応する離反フレ
ーム間相違度の前記表示順に従う変化の特性を、それぞ
れ検出する処理と、 前記検出された特性に基づいて、動画内の表示順が隣接
するべきフレームが重なって合成されたトランジション
効果を有する合成フレームを、動画内から検出する処理
と、 前記動画内の各フレーム毎に、該各フレームの表示順と
1つだけ異なる表示順のフレームと該各フレームとの特
徴の違いを示す隣接フレーム間相違度を、それぞれ算出
する処理と、 前記動画内から、隣接フレーム間相違度が予め定めるカ
ット点検出用閾値以上の全てのフレームのうち、該各フ
レームを含み配列順が連続する複数の各フレームのいず
れか1つの離反フレーム間相違度が、全て予め定める閾
値以上であるフレームを検出する処理と、 前記検出されたフレームに基づき、前記動画内のカット
点を検出する処理とを含むことを特徴とする動画場面転
換部検出方法。 - 【請求項18】 請求項11〜17のうちのいずれかに
記載の動画場面転換部検出方法を、コンピュータに実行
させるための動画場面転換部検出制御プログラムを記憶
する媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29249798A JP3524007B2 (ja) | 1998-10-14 | 1998-10-14 | 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29249798A JP3524007B2 (ja) | 1998-10-14 | 1998-10-14 | 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000125250A JP2000125250A (ja) | 2000-04-28 |
JP3524007B2 true JP3524007B2 (ja) | 2004-04-26 |
Family
ID=17782595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29249798A Expired - Fee Related JP3524007B2 (ja) | 1998-10-14 | 1998-10-14 | 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3524007B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100441963B1 (ko) * | 2001-03-26 | 2004-07-27 | 주식회사 코난테크놀로지 | 장면전환 검출방법 |
JP4510749B2 (ja) * | 2005-11-16 | 2010-07-28 | Kddi株式会社 | ショット境界検出装置 |
CN103780801A (zh) * | 2012-10-25 | 2014-05-07 | 特克特朗尼克公司 | 用于数字基带视频中场景剪切检测的启发式方法 |
CN111104930B (zh) * | 2019-12-31 | 2023-07-11 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2839132B2 (ja) * | 1993-12-17 | 1998-12-16 | 日本電信電話株式会社 | 映像カット点検出方法及び装置 |
JPH08339379A (ja) * | 1995-06-12 | 1996-12-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像解析方法および装置 |
JP3175632B2 (ja) * | 1997-04-18 | 2001-06-11 | 松下電器産業株式会社 | シーンチェンジ検出方法およびシーンチェンジ検出装置 |
-
1998
- 1998-10-14 JP JP29249798A patent/JP3524007B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000125250A (ja) | 2000-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7206026B2 (en) | Method and apparatus for adaptive frame rate conversion | |
JP2006512029A (ja) | セグメントベース動き推定 | |
RU2182727C2 (ru) | Способ поиска векторов движения деталей в динамических изображениях | |
KR20090006068A (ko) | 동영상 시퀀스를 수정하는 방법 및 그 장치 | |
JP3451985B2 (ja) | 動画像類似度算出装置および方法 | |
US8204364B2 (en) | Moving picture image reproduction method and moving picture image reproduction apparatus | |
JP2002117037A (ja) | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 | |
US20090259653A1 (en) | Information processing apparatus, method, and program | |
WO2001003005A1 (fr) | Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques | |
JPH06152970A (ja) | 画像圧縮方法及び画像処理装置 | |
KR20070026360A (ko) | 비디오 정보를 압축/압축해제하기 위한 방법 | |
JP3524007B2 (ja) | 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 | |
JPH11112871A (ja) | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 | |
AU746276B2 (en) | Signal conversion apparatus and method | |
US20040042552A1 (en) | Method and apparatus for determining motion vectors in dynamic images | |
US20050088531A1 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
JP7022696B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2001339695A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP4228705B2 (ja) | 動きベクトル探索方法および装置 | |
RU2137194C1 (ru) | Способ анализа векторов движения деталей в динамических изображениях | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
US6931066B2 (en) | Motion vector selection based on a preferred point | |
JP2652413B2 (ja) | 動き検出回路 | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
JP3983981B2 (ja) | デジタル映像処理方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040210 |
|
LAPS | Cancellation because of no payment of annual fees |