JP2010016660A - シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム - Google Patents

Abstract

【課題】シーンチェンジ点の検出頻度を、一定範囲内にコントロールする。
【解決手段】シーンチェンジ検出フレームとその前の所定数の対象フレームとの特徴ベクトルとのベクトル間距離dist(Xi,Xj)と類似度Sim(Xi,Xj)を求め、所定数の類似度Sim(Xi,Xj)を累積加算して類似度Bwdsim(Xi,Xj)、Fwdsim(Xi,Xj)を算出し、変化分を閾値と比較してシーンチェンジ点を検出する。統計処理部は、シーンチェンジ検出フレームとそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を使用して、類似度の平均値S(av)を求める。制御部は、似ているシーンが多く平均値S(av)が大きいとき、類似度の算出パラメータａを大きくして類似度の変化量を大きくし、一方似ているシーンが少なく平均値S(av)が小さいとき、算出パラメータａを小さくして類似度の変化量を小さくする。
【選択図】図７

Description

この発明は、ビデオ信号の記録再生を行うＤＶＤレコーダ、ＨＤレコーダ等に適用して好適なシーンチェンジ検出装置、シーンチェンジ検出方法およびプログラムに関する。詳しくは、この発明は、入力ビデオ信号の一定時間毎のフレームを順次シーンチェンジ検出フレームとして、シーンチェンジ検出フレームとその前または後に位置する所定数のフレームとの間の類似度を算出し、この類似度の変化分を閾値と比較してシーンチェンジ点を検出するものにあって、類似度の統計処理結果に基づいて、類似度算出パラメータ、または閾値を制御することにより、シーンチェンジ点の検出頻度が適切となるようにしたシーンチェンジ検出装置等に係るものである。

従来、テレビ放送に係るビデオ信号、あるいはビデオカメラで撮像したビデオ信号等をＤＶＤレコーダ、あるいはＨＤレコーダ等で記録する際に、シーンチェンジフレームを検出し、その情報をビデオ信号と関連付けて記録しておき、内容確認あるいは編集点検索のための再生スキップ位置の情報として使用することが考えられている。

従来、入力ビデオ信号の一定時間毎のフレームを順次シーンチェンジ検出フレームとして、シーンチェンジ検出フレームとその前または後のフレームとの間の類似度を算出し、この類似度を閾値と比較してシーンチェンジ点を検出することが知られている（例えば、特許文献１参照）。
特開２００２−２７４１１号公報

動画コンテンツから画像の変化量を利用してシーンチェンジ点を検出する際に、コンテンツによって画像の変化が大きいものや小さいものがあり、単純な閾値による判定では検出されるシーンチェンジ点の数が多すぎたり少なすぎたりする問題があった。例えば、シーンチェンジ点ごとにシーンを選んでダイジェスト再生などを行う場合、シーンチェンジ点の数が少なすぎると、再生するシーンの数が極端に少なくなるなどの問題が考えられる。

この発明の目的は、シーンチェンジ点を適切な頻度で検出することにある。

この発明の概念は、
入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出部と、
上記類似度算出部で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定部と、
上記類似度算出部で算出された類似度に対して統計処理を行う統計処理部と、 上記統計処理部の処理結果に基づいて、上記類似度算出部における算出パラメータまたは上記閾値判定部における閾値を制御する制御部と
を備えるシーンチェンジ検出装置にある。

この発明においては、入力ビデオ信号の一定時間毎のフレームが、シーンチェンジ点を検出するための対象フレームとされる。特徴情報生成部により、各対象フレームの画像の特徴を示す特徴情報が生成される。例えば、特徴情報生成部では、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、特徴情報として、複数のブロックから求められたベクトル要素で構成される特徴ベクトルを生成する、ことが行われる。また、例えば、特徴情報生成部では、対象フレームの画像の画素信号を処理し、特徴情報としてヒストグラムを生成する、ことが行われる。

各対象フレームが、順に、シーンチェンジ検出フレームとされる。類似度算出部により、シーンチェンジ検出フレームの特徴情報と、このシーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度が求められる。

例えば、特徴情報生成部で生成される各対象フレームの画像の特徴を示す特徴情報は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理して求められた複数のベクトル要素からなる特徴ベクトルとされる。そして、類似度算出部では、シーンチェンジ検出フレームの特徴ベクトルと、このシーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルのベクトル間距離が求められ、このベクトル間距離が、算出パラメータを持つ変換関数を用いて、類似度に変換される。最終的な類似度は、シーンチェンジ検出フレームの特徴情報と所定数の対象フレームの特徴情報との間で求められた類似度の累積値、あるいは平均値とされる。

閾値判定部により、類似度の変化分が閾値と比較されて、シーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームが検出される。すなわち、上述したように各対象フレームが順にシーンチェンジ検出フレームとされて類似度が算出されるが、あるシーンチェンジ検出フレームがシーンチェンジ点を構成する対象フレームであるか否かは、その前のシーンチェンジ検出フレームで算出された類似度との差分に基づいて判定される。統計処理部により、上述の類似度算出部で算出された類似度に対して統計処理が行われる。そして、制御部により、統計処理部の処理結果に基づいて、類似度算出部における算出パラメータまたは閾値判定部における閾値が制御される。

例えば、統計処理部では、類似度算出部で算出された複数個の類似度の平均値が求められ、制御部では、統計処理部で求められた類似度の平均値に基づいて、類似度算出部における算出パラメータが制御される。また、例えば、統計処理部では、類似度算出部で算出された複数個の類似度の分散値が求められ、制御部では、統計処理部で求められた類似度の分散値に基づいて、閾値判定部における閾値が制御される。

上述したように、類似度の統計処理結果に基づいて類似度算出パラメータ、または閾値が制御されることから、動画コンテンツの内容に応じて類似度算出パラメータ、または閾値がダイナミックに変化し、動画コンテンツの内容によらずシーンチェンジ点の検出頻度が適切となる。

例えば、上述したように類似度の平均値に基づいて類似度算出部における算出パラメータが制御されるものにあっては、以下のように制御される。すなわち、類似度の平均値が大きく似ているシーンが多い場合には、算出パラメータが大きくされて感度が上げられ、類似度の変化量が大きくされて、シーンチェンジ点の検出頻度が増える方向に調整される。一方、類似度の平均値が小さく似ているシーンが少ない場合には、算出パラメータが小さくされて感度が下げられ、類似度の変化量が小さくされて、シーンチェンジ点の検出頻度が減る方向に調整される。

また、例えば、上述したように類似度の分散値に基づいて閾値判定部における算出パラメータが制御されるものにあっては、以下のように制御される。すなわち、類似度の分散値が大きくシーンの変化の大きい部分が多い場合には、閾値が大きくされてノイズに対する耐性が大きくされ、シーンチェンジ点の検出頻度が減る方向に調整される。一方、類似度の分散値が小さくシーンの変化の大きい部分が少ない場合には、閾値が小さくされて感度が上げられ、シーンチェンジ点の検出頻度が増える方向に調整される。

この発明によれば、入力ビデオ信号の一定時間毎のフレームを順次シーンチェンジ検出フレームとして、シーンチェンジ検出フレームとその前または後の所定数のフレームとの間の類似度を算出し、この類似度の変化分を閾値と比較してシーンチェンジ点を検出するものにあって、類似度の統計処理結果に基づいて、類似度算出パラメータ、または閾値を制御するものであり、シーンチェンジ点の検出頻度が適切となる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての記録再生装置１００の構成例を示している。

この記録再生装置１００は、制御部１０１と、ユーザ操作部１０２と、ビデオ信号入力端子１０３Ｖと、オーディオ信号入力端子１０３Ａと、記録再生処理部１０４と、シーンチェンジ検出器１０５と、光ディスクドライブ１０６と、記録媒体としてのＤＶＤ１０７と、ビデオ信号出力端子１０９Ｖと、オーディオ信号出力端子１０９Ａと、モニタ１１０を有している。

制御部１０１は、記録再生装置１００の各部の動作を制御する。ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザ操作部１０２は、記録再生装置１００の図示しない筐体面に配置されたキー、釦、ダイアル、あるいはリモコンの送受信機等で構成されている。

記録再生処理部１０４は、記録時には、入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号に対して、記録フォーマットに応じた圧縮符号化等の記録処理を施して記録データとしてのビデオおよびオーディオのデータを生成して、光ディスクドライブ１０６に供給する。

例えば、記録再生処理部１０４は、ビデオ信号に対してＭＰＥＧ（MovingPicture Expert Group）方式でエンコード処理して、ビデオのエレメンタリストリーム（ＥＳ：ElementaryStream）を生成すると共に、オーディオ信号に対してＭＰＥＧ方式でエンコード処理して、オーディオのエレメンタリストリームを生成し、これらビデオおよびオーディオのエレメンタリストリームおよび各種制御信号を、マルチプレクス処理して記録データとしてのトランスポートストリーム（ＴＳ：Transport Stream）を生成する。

また、記録再生処理部１０４は、再生時には、光ディスクドライブ１０６で再生されたビデオおよびオーディオのデータに対して、復号化処理等を施してビデオ信号およびオーディオ信号を生成する。例えば、記録再生処理部１０４は、再生データからビデオおよびオーディオのエレメンタリストリームを分離し、それぞれに対してＭＰＥＧ（Moving Picture Expert Group）方式でデコード処理して、ビデオ信号出力端子１０９Ｖに再生ビデオ信号を供給し、オーディオ信号出力端子１０９Ａに再生オーディオ信号を供給する。

また、シーンチェンジ検出器１０５は、入力端子１０３Ｖに入力されるビデオ信号を処理して、シーンチェンジ点を検出する。このシーンチェンジ検出器１０５は、例えば、フレーム画像の画素信号を分割ブロック毎に処理して得られた複数のベクトル要素からなる特徴ベクトル、あるいはフレーム画像の画素信号を処理して得られた輝度、色差のヒストグラム等を利用して、シーンチェンジ点を検出する。

シーンチェンジ検出器１０５から出力されるシーンチェンジ点の情報は制御部１０１に供給される。ここで、シーンチェンジ点の情報は、ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報である。例えば、ビデオ信号に付加されて記録される一連のタイムコードのうち、検出されたシーンチェンジ点のタイムコードが、シーンチェンジ点の情報とされる。このシーンチェンジ検出器１０５の詳細については後述する。

光ディスクドライブ１０６は、記録媒体としてのＤＶＤ１０７に対して記録再生を行う。すなわち、この光ディスクドライブ１０６は、記録時には、記録再生処理部１０４で生成されたビデオおよびオーディオの記録データをＤＶＤ１０７に記録すると共に、シーンチェンジ検出器１０５で得られたシーンチェンジ点の情報をＤＶＤ１０７に記録する。この場合、ビデオおよびオーディオの記録データとシーンチェンジ点の情報とは別個のファイルとして記録されるが、互いに関連付けされて記録される。

また、光ディスクドライブ１０６は、再生時には、ＤＶＤ１０７からビデオおよびオーディオのデータを再生して記録再生処理部１０４に供給する。また、光ディスクドライブ１０６は、ＤＶＤ１０７から、上述のビデオおよびオーディオのデータを再生する際に、当該ビデオおよびオーディオのデータと関連付けされて記録されているシーンチェンジ点の情報を再生して制御部１０１に供給する。

図１に示す記録再生装置１００の動作を説明する。まず、記録時の動作について説明する。入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号は、記録再生処理部１０４に供給される。この記録再生処理部１０４では、入力端子１０３Ｖ，１０３Ａに入力されるビデオ信号、オーディオ信号に対して、記録フォーマットに応じた圧縮符号化等の記録処理が施されて、記録データとしてのビデオおよびオーディオのデータが生成される。このビデオおよびオーディのデータは、光ディスクドライブ１０６に供給され、ＤＶＤ１０７に記録される。

また、入力端子１０３Ｖに入力されるビデオ信号は、シーンチェンジ検出器１０５に供給される。このシーンチェンジ検出器１０５では、ビデオ信号が処理されて、シーンチェンジ点が検出される。シーンチェンジ検出器１０５で得られるシーンチェンジ点の情報は、制御部１０１を介して光ディスクドライブ１０６に供給され、上述したビデオおよびオーディオのデータと関連付けされて、ＤＶＤ１０７に記録される。

次に、再生時の動作について説明する。光ディスクドライブ１０６では、ＤＶＤ１０７からビデオおよびオーディオのデータが再生される。この再生データとしてのビデオおよびオーディオのデータは、記録再生処理部１０４に供給される。記録再生処理部１０４では、ビデオおよびオーディオのデータに対して、復号化処理等が施されて、ビデオ信号およびオーディオ信号が生成される。

このように記録再生処理部１０４で生成されるビデオ信号、オーディオ信号は、出力端子１０９Ｖ，１０９Ａに出力される。そのため、出力端子１０９Ｖ，１０９Ａに接続されているモニタ１１０には、当該ビデオ信号およびオーディオ信号が供給され、再生画像が表示されると共に、再生音声が出力される。

また、光ディスクドライブ１０６では、ＤＶＤ１０７から、ビデオおよびオーディオのデータと関連付けされて記録されているシーンチェンジ点の情報が再生される。このシーンチェンジ点の情報は、制御部１０１に供給される。制御部１０１では、シーンチェンジ点の情報が、例えば、再生スキップ位置の制御情報として使用される。すなわち、ユーザが内容確認、あるいは編集点を検索するために、ユーザ操作部１０２で再生位置のスキップ操作を行ったとき、制御部１０１は、シーンチェンジ点に、再生位置を順次スキップさせる。

次に、シーンチェンジ検出器１０５の構成例について説明する。図２は、シーンチェンジ検出器１０５の構成例を示している。このシーンチェンジ検出器１０５は、特徴ベクトル生成部１１１と、バッファ１１２と、カット点検出部１１３と、過去方向類似度算出部１１４と、未来方向類似度算出部１１５と、シーンチェンジ点検出部１１６とを有している。

特徴ベクトル生成部１１１は、特徴情報生成部を構成している。この特徴ベクトル生成部１１１は、ビデオ信号ＳＶの一定時間毎（例えば、０．５秒毎）のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴ベクトルを生成する。すなわち、特徴ベクトル生成部１１１は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、各ベクトル要素で構成される特徴ベクトルを生成する。

例えば、図３（ａ）に示すように、フレームの画像が、垂直、水平のそれぞれの方向に５分割されて２５のブロックに分割される。そして、各ブロックにおいて、輝度（Ｙ）、赤色差（Ｃｒ）、青色差（Ｃｂ）の画素信号が処理されて、輝度（Ｙ）、赤色差（Ｃｒ）、青色差（Ｃｂ）に係るベクトル要素が求められる。ここで、ブロック内の画素信号がｘ1〜ｘnのｎ個であるとき、画素信号の処理としては、以下の（１）式で示される平均値を求める処理、（２）式で示される標準偏差を求める処理、あるいは（３）式で示される処理等が行われる。なお、（２）式および（３）式におけるｘバーはｘ1〜ｘnの平均値である。

各ブロックでは、輝度（Ｙ）、赤色差（Ｃｒ）、青色差（Ｃｂ）に係るベクトル要素が求められるので、上述したようにフレームの画像が２５ブロックに分割される場合には、図３（ｂ）に示すように、２５×３＝７５のベクトル要素が得られ、特徴ベクトル生成部１１１からは７５のベクトル要素からなる特徴ベクトルが出力される。

バッファ１１２は、特徴ベクトル生成部１１１で生成された各対象フレームの特徴ベクトルを、シーン切り替わり点を検出する処理で利用するために、一時的に格納する。

カット点検出部１１３は、各対象フレームを順にカット検出フレームとし、カット点、つまりカット点を構成する対象フレームを検出する。すなわち、カット点検出部１１３は、バッファ１１２に蓄積されている、カット検出フレームの特徴ベクトルと、このカット検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとを比較して、当該カット検出フレームがカット点を構成する対象フレームであるか否かを検出する。

この場合、カット検出フレームの特徴ベクトルと、このカット検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとのベクトル間距離、つまり対応するベクトル要素毎の差分絶対値の総和が、予め設定されている閾値より大きいときには、当該カット検出フレームはカット点として検出される。

過去方向類似度算出部１１４は、各対象フレームを順に類似度算出フレームとし、過去方向類似度を算出する。すなわち、過去方向類似度算出部１１４は、特徴ベクトル生成部１１１で生成された、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に前に位置する所定数（ｍ個）の対象フレームの特徴ベクトルとに基づいて、過去方向類似度を算出する。この場合、過去方向類似度算出部１１４は、類似度算出フレームと、この類似度算出フレームより時間的に前に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、この類似度の総和をとることで過去方向類似度を求める。

未来方向類似度算出部１１５は、各対象フレームを順に類似度算出フレームとし、未来方向類似度を算出する。すなわち、未来方向類似度算出部１１５は、特徴ベクトル生成部１１１で生成された、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に後に位置する所定数（ｍ個）の対象フレームの特徴ベクトルとに基づいて、未来方向類似度を算出する。この場合、未来方向類似度算出部１１５は、類似度算出フレームと、この類似度算出フレームより時間的に後に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、この類似度の総和をとることで未来方向類似度を求める。

図４を参照して、過去方向類似度および未来方向類似度の計算例を説明する。ここでは、類似度算出フレームがｉ番目の対象フレームである場合について説明する。

各対象フレームの特徴ベクトルがｎ個のベクトル要素からなっているとすると、ｉ番目の対象フレームの特徴ベクトルＸｉは（４）式のように表され、このｉ番目の対象フレームの前後に位置するｊ番目の対象フレームの特徴ベクトルは（５）式のように表される。（４）式において、ｘi1〜ｘinは特徴ベクトルＸｉを構成するｎ個のベクトル要素である。また、（５）式において、ｘj1〜ｘjnは特徴ベクトルＸｊを構成するｎ個のベクトル要素である。

これら特徴ベクトルＸｉと特徴ベクトルＸｊとの間の距離、つまり特徴ベクトル間距離dsit(Xi,Xj)は、（６）式で求められる。そして、この特徴ベクトル間距離dsit(Xi,Xj)は、（７）式の変換関数を用いて、類似度Sim(Xi,Xj)に変換される。この（７）式において、ａ，ｂは算出パラメータである。なお、図５は、（７）式の変換関数を図示したものである。

（７）式の変換関数の場合、特徴ベクトル間距離dsit(Xi,Xj)がｅ以内のとき類似度Sim(Xi,Xj)は一定値ｃとなるが、特徴ベクトル間距離dsit(Xi,Xj)がｅを超えると、その値が大きくなるにつれて、類似度Sim(Xi,Xj)は一定値ｃから低下していき、特徴ベクトル間距離dsit(Xi,Xj)がｆを超えると類似度Sim(Xi,Xj)は０となる。

ｉ番目の対象フレームの過去方向類似度Bwdsim(i)は、（８）式に示すように、ｉ番目の対象フレームと、ｉ−ｍ番目〜ｉ−１番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)の総和として求められる。また、同様に、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)は、（９）式に示すように、ｉ番目の対象フレームと、ｉ＋１番目〜ｉ＋ｍ番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)の総和として求められる。なお、図４には、Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)をSim(i,i-m)〜Sim(i,i-1)として示し、Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)をSim(i,i+1)〜Sim(i,i+m)として示している。

シーンチェンジ点検出部１１６は、過去方向類似度算出部１１４で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部１１５で算出された各対象フレームの未来方向類似度とに基づいて、シーンチェンジ点、つまり、シーンチェンジ点を構成する対象フレームを検出する。シーンチェンジ点検出部１１６は、例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームを、シーンチェンジ点を構成する対象フレームとして検出する。

この場合、シーンチェンジ点検出部１１６は、ｉ番目の対象フレームの過去方向類似度Bwdsim(i)が急激に低下しているか否かを、ｉ−１番目の対象フレームの過去方向類似度Bwdsim(i-1)からｉ番目の対象フレームの過去方向類似度Bwdsim(i)を差し引いて得られる変化分（Bwdsim(i-1)−Bwdsim(i)）を閾値ＴＨｂと比較して判定する。ｉ番目の対象フレームの過去方向類似度Bwdsim(i)が急激に低下している場合、変化分（Bwdsim(i-1)−Bwdsim(i)）は閾値ＴＨｂより大きくなる。

また、シーンチェンジ点検出部１１６は、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)が急激に上昇しているか否かを、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)からｉ−１番目の対象フレームの未来方向類似度Fwdsim(i-1)を差し引いて得られる変化分（Fwdsim(i)−Fwdsim(i-1)）を閾値ＴＨｆと比較して判定する。ｉ番目の対象フレームの未来方向類似度Fwdsim(i)が急激に上昇している場合、変化分（Fwdsim(i)−Fwdsim(i-1)）は閾値ＴＨｆより大きくなる。

ここで、過去方向類似度Bwdsim(i)が図６（ａ）に示すように変化し、未来方向類似度Fwdsim(i)が図６（ｃ）に示すように変化する場合を考える。

この場合、変化分（Bwdsim(i-1)−Bwdsim(i)）を閾値ＴＨｂと比較した結果（過去方向閾値判定結果）は、例えば、図６（ｂ）に示すようになる。ここで、（Bwdsim(i-1)−Bwdsim(i)）＞ＴＨｂであるとき比較結果は「Ｈ」となり、それ以外のとき比較結果は「Ｌ」となるものとする。

また、この場合、変化分（Fwdsim(i)−Fwdsim(i-1)）を閾値ＴＨｆと比較した結果（未来方向閾値判定結果）は、例えば、図６（ｄ）に示すようになる。ここで、（Fwdsim(i)−Fwdsim(i-1)）＞ＴＨｆであるとき比較結果は「Ｈ」となり、それ以外のとき比較結果は「Ｌ」となるものとする。

従ってこの場合、シーンチェンジ点検出部１１６は、上述した過去方向閾値判定結果および未来方向閾値判定結果が双方とも「Ｈ」となる、ＴＭの点を、過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)によるシーンチェンジ点として検出する。

そして、シーンチェンジ点検出部１１６は、上述のように検出された過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)によるシーンチェンジ点（シーンチェンジ点を構成する対象フレーム）が、カット点検出部１１３で検出されたカット点（カット点を構成する対象フレーム）と一致するとき、当該対象フレームをシーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームとする。

シーンチェンジ点検出部１１６は、上述のように検出されたシーンチェンジ点を構成する対象フレームの時刻情報（ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報）を、シーンチェンジ点の情報として出力する。

ここで、過去方向類似度算出部１１４、未来方向類似度算出部１１５およびシーンチェンジ点検出部１１６は、過去方向、未来方向シーンチェンジ点検出部を構成している。この過去方向、未来方向シーンチェンジ点検出部についてさらに説明する。図７は、過去方向、未来方向シーンチェンジ点検出部２００の構成例を示している。この図７において、図２と対応する部分には同一符号を付して示している。

過去方向類似度算出部１１４は、ベクトル間距離演算部２１１と、類似度演算部２１２と、累積加算処理部２１３と、統計処理部２１４と、制御部２１５とを有している。また、この過去方向類似度算出部１１４に対応して、シーンチェンジ点検出部１１６は、閾値判定部２１６を有している。

ベクトル間距離演算部２１１は、シーンチェンジ検出フレームの特徴ベクトルＸｉと、このシーンチェンジ検出フレームに対して時間的に前に位置する所定数（ｍ個）の対象フレームの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)を求める（図４、（６）式参照）。類似度演算部２１２は、ベクトル間距離演算部２１１で求められた特徴ベクトル間距離dsit(Xi,Xj)を、（７）式の変換関数を用いて類似度Sim(Xi,Xj)に変換する。

累積加算処理部２１３は、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に、類似度演算部２１２で算出されたSim(Xi,Xj)を用いて、過去方向類似度Bwdsim(i)を求める。すなわち、累積加算処理部２１３は、ｉ番目の対象フレームと、ｉ−ｍ番目〜ｉ−１番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)を累積加算して過去方向類似度Bwdsim(i)とする（図４、（８）式参照）。

閾値判定部２１６は、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に累積加算処理部２１３で得られる過去方向類似度Bwdsim(i)に基づいて、類似度の変化分（Bwdsim(i-1)−Bwdsim(i)）を求める。この類似度の変化分は、ｉ−１番目の対象フレームの過去方向類似度Bwdsim(i-1)とｉ番目の対象フレームの過去方向類似度Bwdsim(i)との差分である。

また、閾値判定部２１６は、上述の変化分（Bwdsim(i-1)−Bwdsim(i)）を閾値ＴＨｂと比較して、比較結果（過去方向閾値判定結果）を出力する。この場合、閾値判定部２１６は、（Bwdsim(i-1)−Bwdsim(i)）＞ＴＨｂであるとき、比較結果として「Ｈ」を出力し、それ以外のとき比較結果として「Ｌ」を出力する。閾値判定部２１６が「Ｈ」を出力するとき、当該閾値判定部２１６では、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）がシーンチェンジ点を構成する対象フレームとして検出されたことを意味する。

統計処理部２１４は、類似度算出部２１２で求められた複数個の類似度の平均値S(av)を求める。この場合、統計処理部２１４は、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出の対象類似度とする。

制御部２１５は、統計処理部２１４で求められた類似度の平均値S(av)に基づいて、類似度演算部２１２における、上述の（７）式の算出パラメータａを制御する。すなわち、制御部２１５は、類似度の平均値S(av)が大きいときには、算出パラメータａを大きくして感度を上げる。一方、制御部２１５は、類似度の平均値S(av)が小さいときには、算出パラメータａを小さくして感度を下げる。

未来方向類似度算出部１１５は、ベクトル間距離演算部２２１と、類似度演算部２２２と、累積加算処理部２２３と、統計処理部２２４と、制御部２２５とを有している。また、この未来方向類似度算出部１１５に対応して、シーンチェンジ点検出部１１６は、閾値判定部２２６を有している。

ベクトル間距離演算部２２１は、シーンチェンジ検出フレームの特徴ベクトルＸｉと、このシーンチェンジ検出フレームに対して時間的に後に位置する所定数（ｍ個）の対象フレームの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)を求める（図４、（６）式参照）。類似度演算部２２２は、ベクトル間距離演算部２２１で求められた特徴ベクトル間距離dsit(Xi,Xj)を、（７）式の変換関数を用いて類似度Sim(Xi,Xj)に変換する。

累積加算処理部２２３は、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に、類似度演算部２２２で算出されたSim(Xi,Xj)を用いて、未来方向類似度Fwdsim(i)を求める。すなわち、累積加算処理部２２３は、ｉ番目の対象フレームと、ｉ＋１番目〜ｉ＋ｍ番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)を累積加算して未来方向類似度Fwdsim(i)とする（図４、（９）式参照）。

閾値判定部２２６は、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に累積加算処理部２１３で得られる未来方向類似度Fwdsim(i)に基づいて、類似度の変化分（Fwdsim(i)−Fwdsim(i-1)）を求める。この類似度の変化分は、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)とｉ−１番目の対象フレームの未来方向類似度Fwdsim(i-1)との差分である。

また、閾値判定部２２６は、上述の変化分（Fwdsim(i)−Fwdsim(i-1)）を閾値ＴＨｆと比較して、比較結果（未来方向閾値判定結果）を出力する。この場合、閾値判定部２２６は、（Fwdsim(i)−Fwdsim(i-1)）＞ＴＨｆであるとき、比較結果として「Ｈ」を出力し、それ以外のとき比較結果として「Ｌ」を出力する。閾値判定部２２６が「Ｈ」を出力するとき、当該閾値判定部２２６では、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）がシーンチェンジ点を構成する対象フレームとして検出されたことを意味する。

統計処理部２２４は、類似度算出部２２２で求められた複数個の類似度の平均値S(av)を求める。この場合、統計処理部２２４は、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出の対象類似度とする。

制御部２２５は、統計処理部２２４で求められた類似度の平均値S(av)に基づいて、類似度演算部２２２における、上述の（７）式の算出パラメータａを制御する。すなわち、制御部２２５は、類似度の平均値S(av)が大きいときには、算出パラメータａを大きくして感度を上げる。一方、制御部２２５は、類似度の平均値S(av)が小さいときには、算出パラメータａを小さくして感度を下げる。

図７に示す過去方向、未来方向シーンチェンジ点検出部２００の動作を説明する。まず、過去方向類似度算出部１１４側の動作を説明する。過去方向類似度算出部１１４のベクトル間距離演算部２１１では、シーンチェンジ検出フレームの特徴ベクトルと、このシーンチェンジ検出フレームに対して時間的に前に位置する所定数の対象フレームの特徴ベクトルとに基づいて、それらの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)が求められる（（６）式参照）。この特徴ベクトル間距離dsit(Xi,Xj)は類似度演算部２１２に供給される。

この類似度演算部２１２では、特徴ベクトル間距離dsit(Xi,Xj)が、変換関数（（７）式参照）を用いて、類似度Sim(Xi,Xj)に変換される。この類似度Sim(Xi,Xj)は、累積加算処理部２１３に供給される。この累積加算処理部２１３では、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に、類似度演算部２１２で算出された類似度Sim(Xi,Xj)を用いて、過去方向類似度Bwdsim(i)が求められる。すなわち、この累積加算処理部２１３では、ｉ番目の対象フレームと、ｉ−ｍ番目〜ｉ−１番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)が累積加算されて、過去方向類似度Bwdsim(i)とされる（（８）式参照）。この過去方向類似度Bwdsim(i)は、シーンチェンジ点検出部１１６の閾値判定部２１６に供給される。

閾値判定部２１６では、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に累積加算処理部２１３で得られる過去方向類似度Bwdsim(i)に基づいて、類似度の変化分（Bwdsim(i-1)−Bwdsim(i)）が求められる。すなわち、この閾値判定部２１６では、ｉ−１番目の対象フレームの過去方向類似度Bwdsim(i-1)とｉ番目の対象フレームの過去方向類似度Bwdsim(i)との差分が求められる。

そして、この閾値判定部２１６では、上述の変化分（Bwdsim(i-1)−Bwdsim(i)）が閾値ＴＨｂと比較されて、比較結果（過去方向閾値判定結果）が出力される。この場合、閾値判定部２１６では、（Bwdsim(i-1)−Bwdsim(i)）＞ＴＨｂであるとき、比較結果として「Ｈ」が出力され、それ以外のとき比較結果として「Ｌ」が出力される。

また、類似度演算部２１２で求められた類似度Sim(Xi,Xj)は統計処理部２１４に供給される。この統計処理部２１４では、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、類似度の平均値S(av)が求められる。この類似度の平均値S(av)は制御部２１５に供給される。

制御部２１５では、類似度の平均値S(av)に基づいて、類似度演算部２１２における変換関数（（７）式参照）の算出パラメータａが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータａは大きくされる。一方、類似度の平均値Ｓ(av)が小さいとき、算出パラメータａは小さくされる。

次に、未来方向類似度算出部１１５側の動作を説明する。未来方向類似度算出部１１５のベクトル間距離演算部２２１では、シーンチェンジ検出フレームの特徴ベクトルと、このシーンチェンジ検出フレームに対して時間的に後に位置する所定数の対象フレームの特徴ベクトルとに基づいて、それらの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)が求められる（（６）式参照）。この特徴ベクトル間距離dsit(Xi,Xj)は類似度演算部２２２に供給される。

この類似度演算部２２２では、特徴ベクトル間距離dsit(Xi,Xj)が、変換関数（（７）式参照）を用いて、類似度Sim(Xi,Xj)に変換される。この類似度Sim(Xi,Xj)は、累積加算処理部２２３に供給される。この累積加算処理部２２３では、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に、類似度演算部２２２で算出された類似度Sim(Xi,Xj)を用いて、未来方向類似度Fwdsim(i)が求められる。すなわち、この累積加算処理部２２３では、ｉ番目の対象フレームと、ｉ＋１番目〜ｉ＋ｍ番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)が累積加算されて、未来方向類似度Fwdsim(i)とされる（（９）式参照）。この未来方向類似度Fwdsim(i)は、シーンチェンジ点検出部１１６の閾値判定部２２６に供給される。

閾値判定部２２６では、シーンチェンジ検出フレーム（ｉ番目の対象フレーム）毎に累積加算処理部２２３で得られる未来方向類似度Fwdsim(i)に基づいて、類似度の変化分（Fwdsim(i)−Fwdsim(i-1)）が求められる。すなわち、この閾値判定部２２６では、ｉ番目の対象フレームの未来方向類似度Fwdsim(i)とｉ−１番目の対象フレームの未来方向類似度Fwdsim(i-1)との差分が求められる。

そして、この閾値判定部２２６では、上述の変化分（Fwdsim(i)−Fwdsim(i-1)）が閾値ＴＨｆと比較されて、比較結果（未来方向閾値判定結果）が出力される。この場合、閾値判定部２２６では、（Fwdsim(i)−Fwdsim(i-1)）＞ＴＨｆであるとき、比較結果として「Ｈ」が出力され、それ以外のとき比較結果として「Ｌ」が出力される。

また、類似度演算部２２２で求められた類似度Sim(Xi,Xj)は統計処理部２２４に供給される。この統計処理部２２４では、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、類似度の平均値S(av)が求められる。この類似度の平均値S(av)は制御部２２５に供給される。

制御部２２５では、類似度の平均値S(av)に基づいて、類似度演算部２２２における変換関数（（７）式参照）の算出パラメータａが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータａは大きくされる。一方、類似度の平均値Ｓ(av)が小さいとき、算出パラメータａは小さくされる。

図７に示す過去方向、未来方向シーンチェンジ点検出部２００においては、上述したように類似度の平均値S(av)に基づいて、類似度演算部２１２，２２２における変換関数（（７）式参照）の算出パラメータａが制御されることで、以下のように、過去方向および未来方向のシーンチェンジ点の検出頻度が適切となるように調整される。

似ているシーンが多い場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図７に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の平均値S(av)が大きくなるので、算出パラメータａが大きくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が大きくされる。したがって、類似度の変化分が全体的に大きくなり、シーンチェンジ点の検出頻度が増える方向に調整される。

また、似ているシーンが少ない場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図７に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の平均値S(av)が小さくなるので、算出パラメータａが小さくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が小さくされる。したがって、類似度の変化分が全体的に小さくなり、シーンチェンジ点の検出頻度が減る方向に調整される。

次に、過去方向、未来方向シーンチェンジ点検出部２００の他の構成例について説明する。図８は、過去方向、未来方向シーンチェンジ点検出部２００の他の構成例を示している。この図８において、図７と対応する部分には同一符号を付して示し、その詳細説明は省略する。

過去方向類似度算出部１１４は、ベクトル間距離演算部２１１と、類似度演算部２１２と、累積加算処理部２１３と、統計処理部２１４Ａとを有している。また、この過去方向類似度算出部１１４に対応して、シーンチェンジ点検出部１１６は、閾値判定部２１６と、制御部２１５Ａとを有している。

統計処理部２１４Ａは、類似度算出部２１２で求められた複数個の類似度の分散値S(sc)を求める。この場合、統計処理部２１４Ａは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、分散値算出の対象類似度とする。

制御部２１５Ａは、統計処理部２１４Ａで求められた類似度の分散値S(sc)に基づいて、閾値判定部２１６における閾値ＴＨｂを制御する。すなわち、制御部２１５Ａは、類似度の分散値S(sc)が大きいときには、閾値ＴＨｂを大きくしてノイズに対する耐性を大きくする。一方、制御部２１５Ａは、類似度の分散値S(sc)が小さいときには、閾値ＴＨｂを小さくして感度を上げる。

未来方向類似度算出部１１５は、ベクトル間距離演算部２２１と、類似度演算部２２２と、累積加算処理部２２３と、統計処理部２２４Ａとを有している。また、この未来方向類似度算出部１１５に対応して、シーンチェンジ点検出部１１６は、閾値判定部２２６と、制御部２２５Ａとを有している。

統計処理部２２４Ａは、類似度算出部２２２で求められた複数個の類似度の分散値S(sc)を求める。この場合、統計処理部２２４Ａは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、分散値算出の対象類似度とする。

制御部２２５Ａは、統計処理部２２４Ａで求められた類似度の分散値S(sc)に基づいて、閾値判定部２２６における閾値ＴＨｆを制御する。すなわち、制御部２２５Ａは、類似度の分散値S(sc)が大きいときには、閾値ＴＨｆを大きくしてノイズに対する耐性を大きくする。一方、制御部２２５Ａは、類似度の分散値S(sc)が小さいときには、閾値ＴＨｆを小さくして感度を上げる。

図８に示す過去方向、未来方向シーンチェンジ点検出部２００のその他は、詳細説明は省略するが、図７に示す過去方向、未来方向シーンチェンジ点検出部２００と同様である。

図８に示す過去方向、未来方向シーンチェンジ点検出部２００の動作を説明する。

まず、過去方向類似度算出部１１４側の動作を説明する。閾値判定部２１６から比較結果（過去方向閾値判定結果）を出力するまでの一連の動作は、上述した図７に示す過去方向、未来方向シーンチェンジ点検出部２００と同様であるので、その説明は省略する。

類似度演算部２１２で求められた類似度Sim(Xi,Xj)は統計処理部２１４Ａに供給される。この統計処理部２１４Ａでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)が求められる。この分散値S(sc)はシーンチェンジ点検出部１１６の制御部２１５Ａに供給される。

制御部２１５Ａでは、類似度の分散値S(sc)に基づいて、閾値判定部２１６における閾値ＴＨｂが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値ＴＨｂは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値ＴＨｂは小さくされる。

次に、未来方向類似度算出部１１５側の動作を説明する。閾値判定部２２６から比較結果（未来方向閾値判定結果）を出力するまでの一連の動作は、上述した図７に示す過去方向、未来方向シーンチェンジ点検出部２００と同様であるので、その説明は省略する。

類似度演算部２２２で求められた類似度Sim(Xi,Xj)は統計処理部２２４Ａに供給される。この統計処理部２２４Ａでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)が求められる。この分散値S(sc)はシーンチェンジ検出部１１６の制御部２２５Ａに供給される。

制御部２２５Ａでは、類似度の分散値S(sc)に基づいて、閾値判定部２２６における閾値ＴＨｆが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値ＴＨｆは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値ＴＨｆは小さくされる。

図８に示す過去方向、未来方向シーンチェンジ点検出部２００においては、上述したように類似度の分散値Ｓ(sc)に基づいて閾値判定部２１６，２２６における閾値ＴＨｂ，ＴＨｆが制御されることで、以下のように、シーンチェンジ点の検出頻度が適切となるように調整される。

シーンの変化が大きい部分が多い場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図８に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の分散値S(sc)が大きくなるので、閾値ＴＨｂ，ＴＨｆが大きくされて、ノイズに対する耐性が大きくされる。したがって、シーンチェンジ点の検出頻度が減る方向に調整される。

また、シーンの変化が大きい部分が少ない場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図８に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の分散値S(sc)が小さくなるので、閾値ＴＨｂ，ＴＨｆが小さくされて感度が上げられる。したがって、シーンチェンジ点の検出頻度が増える方向に調整される。

次に、過去方向、未来方向シーンチェンジ点検出部２００のさらに他の構成例について説明する。図９は、過去方向、未来方向シーンチェンジ点検出部２００の他の構成例を示している。この図９において、図７、図８と対応する部分には同一符号を付して示し、その詳細説明は省略する。

過去方向類似度算出部１１４は、ベクトル間距離演算部２１１と、類似度演算部２１２と、累積加算処理部２１３と、統計処理部２１４Ｂと、制御部２１５とを有している。また、この過去方向類似度算出部１１４に対応して、シーンチェンジ点検出部１１６は、閾値判定部２１６と、制御部２１５Ａとを有している。

統計処理部２１４Ｂは、類似度算出部２１２で求められた類似度の平均値S(av)および分散値S(sc)を求める。この場合、統計処理部２１４Ｂは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出および分散値算出の対象類似度とする。

制御部２１５は、統計処理部２１４Ｂで求められた類似度の平均値S(av)に基づいて、類似度演算部２１２における、上述の（７）式の算出パラメータａを制御する。すなわち、制御部２１５は、類似度の平均値S(av)が大きいときには、算出パラメータａを大きくして感度を上げる。一方、制御部２１５は、類似度の平均値S(av)が小さいときには、算出パラメータａを小さくして感度を下げる。

また、制御部２１５Ａは、統計処理部２１４Ｂで求められた類似度の分散値S(sc)に基づいて、閾値判定部２１６における閾値ＴＨｂを制御する。すなわち、制御部２１５Ａは、類似度の分散値S(sc)が大きいときには、閾値ＴＨｂを大きくしてノイズに対する耐性を大きくする。一方、制御部２１５Ａは、類似度の分散値S(sc)が小さいときには、閾値ＴＨｂを小さくして感度を上げる。

未来方向類似度算出部１１５は、ベクトル間距離演算部２２１と、類似度演算部２２２と、累積加算処理部２２３と、統計処理部２２４Ｂと、制御部２２５とを有している。また、この過去方向類似度算出部１２４に対応して、シーンチェンジ点検出部１２６は、閾値判定部２２６と、制御部２２５Ａとを有している。

統計処理部２２４Ｂは、類似度算出部２２２で求められた類似度の平均値S(av)および分散値S(sc)を求める。この場合、統計処理部２２４Ｂは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出および分散値算出の対象類似度とする。

制御部２２５は、統計処理部２２４Ｂで求められた類似度の平均値S(av)に基づいて、類似度演算部２２２における、上述の（７）式の算出パラメータａを制御する。すなわち、制御部２２５は、類似度の平均値S(av)が大きいときには、算出パラメータａを大きくして感度を上げる。一方、制御部２２５は、類似度の平均値S(av)が小さいときには、算出パラメータａを小さくして感度を下げる。

また、制御部２２５Ａは、統計処理部２２４Ｂで求められた類似度の分散値S(sc)に基づいて、閾値判定部２２６における閾値ＴＨｆを制御する。すなわち、制御部２２５Ａは、類似度の分散値S(sc)が大きいときには、閾値ＴＨｆを大きくしてノイズに対する耐性を大きくする。一方、制御部２２５Ａは、類似度の分散値S(sc)が小さいときには、閾値ＴＨｆを小さくして感度を上げる。

図９に示す過去方向、未来方向シーンチェンジ点検出部２００のその他は、詳細説明は省略するが、図７、図８に示す過去方向、未来方向シーンチェンジ点検出部２００と同様である。

図９に示す過去方向、未来方向シーンチェンジ点検出部２００の動作を説明する。まず、過去方向類似度算出部１１４側の動作を説明する。閾値判定部２１６から比較結果（過去方向閾値判定結果）を出力するまでの一連の動作は、上述した図７、図８に示す過去方向、未来方向シーンチェンジ点検出部２００と同様であるので、その説明は省略する。

類似度演算部２１２で求められた類似度Sim(Xi,Xj)は統計処理部２１４Ｂに供給される。この統計処理部２１４Ｂでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)および平均値S(av)が求められる。平均値S(av)は制御部２１５に供給され、分散値S(sc)はシーンチェンジ点検出部１１６の制御部２１５Ａに供給される。

制御部２１５では、類似度の平均値S(av)に基づいて、類似度演算部２１２における変換関数（（７）式参照）の算出パラメータａが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータａは大きくされる。一方、類似度の平均値Ｓ(av)が小さいとき、算出パラメータａは小さくされる。また、制御部２１５Ａでは、類似度の分散値S(sc)に基づいて、閾値判定部２１６における閾値ＴＨｂが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値ＴＨｂは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値ＴＨｂは小さくされる。

次に、未来方向類似度算出部１１５側の動作を説明する。閾値判定部２２６から比較結果（未来方向閾値判定結果）を出力するまでの一連の動作は、上述した図７、図８に示す過去方向、未来方向シーンチェンジ点検出部２００と同様であるので、その説明は省略する。

類似度演算部２２２で求められた類似度Sim(Xi,Xj)は統計処理部２２４Ｂに供給される。この統計処理部２２４Ｂでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)および平均値S(av)が求められる。平均値S(av)は制御部２２５に供給され、分散値S(sc)はシーンチェンジ点検出部１１６の制御部２２５Ａに供給される。

制御部２２５では、類似度の平均値S(av)に基づいて、類似度演算部２２２における変換関数（（７）式参照）の算出パラメータａが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータａは大きくされる。一方、類似度の平均値Ｓ(av)が小さいとき、算出パラメータａは小さくされる。また、制御部２２５Ａでは、類似度の分散値S(sc)に基づいて、閾値判定部２２６における閾値ＴＨｆが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値ＴＨｆは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値ＴＨｆは小さくされる。

図９に示す過去方向、未来方向シーンチェンジ点検出部２００においては、上述したように類似度の平均値S(av)に基づいて、類似度演算部２１２，２２２における変換式（（７）式参照）の算出パラメータａが制御されることで、以下のように、過去方向および未来方向のシーンチェンジ点の検出頻度が適切となるように調整される。

似ているシーンが多い場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図９に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の平均値S(av)が大きくなるので、算出パラメータａが大きくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が大きくされる。したがって、類似度の変化分が全体的に大きくなり、シーンチェンジ点の検出頻度が増える方向に調整される。

また、似ているシーンが少ない場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図９に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の平均値S(av)が小さくなるので、算出パラメータａが小さくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が小さくされる。したがって、類似度の変化分が全体的に小さくなり、シーンチェンジ点の検出頻度が減る方向に調整される。

また、図９に示す過去方向、未来方向シーンチェンジ点検出部２００においては、上述したように類似度の分散値Ｓ(sc)に基づいて閾値判定部２１６，２２６における閾値ＴＨｂ，ＴＨｆが制御されることで、以下のように、シーンチェンジ点の検出頻度が適切となるように調整される。

シーンの変化が大きい部分が多い場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図９に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の分散値S(sc)が大きくなるので、閾値ＴＨｂ，ＴＨｆが大きくされて、ノイズに対する耐性が大きくされる。したがって、シーンチェンジ点の検出頻度が減る方向に調整される。

また、シーンの変化が大きい部分が少ない場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図９に示す過去方向、未来方向シーンチェンジ点検出部２００においては、類似度の分散値S(sc)が小さくなるので、閾値ＴＨｂ，ＴＨｆが小さくされて感度が上げられる。したがって、シーンチェンジ点の検出頻度が増える方向に調整される。

なお、図７〜図９に示す過去方向、未来方向シーンチェンジ点検出部２００において、累積加算処理部２１３で求められる過去方向類似度Bwdsim(i)は、ｉ番目の対象フレームと、ｉ−ｍ番目〜ｉ−１番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)を累積加算した値であるが、その平均値としてもよい。同様に、図７〜図９に示す過去方向、未来方向シーンチェンジ点検出部２００において、累積加算処理部２２３で求められる未来方向類似度Fwdsim(i)は、ｉ番目の対象フレームと、ｉ＋１番目〜ｉ＋ｍ番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)を累積加算した値であるが、その平均値としてもよい。

次に、図２に示すシーンチェンジ検出器１０５の動作を、図１０を参照しながら、説明する。

シーンチェンジ点を検出すべきビデオ信号ＳＶ（図１０（ａ）参照）が特徴ベクトル生成部１１１に供給される。特徴ベクトル生成部１１１では、ビデオ信号ＳＶの一定時間毎（例えば０．５秒毎）のフレームが対象フレームとされ、各対象フレームの画像の特徴を示す特徴ベクトルが生成される（図１０（ｃ）参照））。この特徴ベクトル生成部１１１で生成された各対象フレームの特徴ベクトルは、シーン切り替わり点を検出する処理で利用するために、バッファ１１２に一時的に格納される。

カット点検出部１１３では、各対象フレームが順にカット検出フレームとされ、カット点、つまりカット点を構成する対象フレームが検出される（図１０（ｂ）参照）。この場合、バッファ１１２に蓄積されている、カット検出フレームの特徴ベクトルと、このカット検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとが比較され、当該カット検出フレームがカット点を構成する対象フレームであるか否かが検出される。このカット点検出部１１３の検出出力は、シーンチェンジ点検出部１１６に供給される。

また、過去方向類似度算出部１１４では、各対象フレームが順に類似度算出フレームとされ、過去方向類似度が算出される（図１０（ｄ）参照））。この場合、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に前に位置するｍ個の対象フレームの特徴ベクトルとに基づいて、過去方向類似度が算出される。この過去方向類似度算出部１１４の算出結果は、シーンチェンジ点検出部１１６に供給される。

また、未来方向類似度算出部１１５では、各対象フレームが順に類似度算出フレームとされ、未来方向類似度が算出される（図１０（ｅ）参照））。この場合、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に後に位置するｍ個の対象フレームの特徴ベクトルとに基づいて、未来方向類似度が算出される。この未来方向類似度算出部１１５の算出結果は、シーンチェンジ点検出部１１６に供給される。

シーンチェンジ点検出部１１６では、過去方向類似度算出部１１４で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部１１５で算出された各対象フレームの未来方向類似度とに基づいて、シーンチェンジ点、つまり、シーンチェンジ点を構成する対象フレームが検出される。例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームが、シーンチェンジ点を構成する対象フレームとして検出される。

そして、シーン切り替わり点検出部１１６では、上述のように検出された過去方向類似度および未来方向類似度によるシーンチェンジ点（シーンチェンジ点を構成する対象フレーム）ＴＭが、カット点検出部１１３で検出されたカット点（カット点を構成する対象フレーム）と一致するとき、当該対象フレームがシーンチェンジ点とされる（図１０（ｆ）参照）。

このシーンチェンジ点検出部１１６からは、シーンチェンジ点の情報として、シーンチェンジ点（シーンチェンジ点を構成するフレーム）を示す時刻情報（ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報）が出力される。

以上説明したように、図２に示すシーンチェンジ検出器１０５においては、入力ビデオ信号の一定時間毎の対象フレームが順に類似度算出フレームとされ、類似度算出フレームとその前に位置するｍ個の対象フレームの特徴情報（特徴ベクトル）とに基づいて過去方向類似度が算出されると共に、類似度算出フレームとその後に位置するｍ個の対象フレームの特徴情報（特徴ベクトル）とに基づいて未来方向類似度が算出される。

そして、このシーンチェンジ検出器１０５においては、各対象フレームの過去方向類似度および未来方向類似度に基づいてシーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームが検出される。このように、過去方向類似度および未来方向類似度が用いられることで、似通った各シーンの結合が行われることから、シーンチェンジ点を適切な間隔で検出できる。

また、図２に示すシーンチェンジ器１０５においては、過去方向類似度および未来方向類似度に基づいて検出されたシーンチェンジ点を構成する対象フレームが、カット点検出部１１３で検出された対象フレームと一致するとき、この対象フレームが、シーンチェンジ点を構成する対象フレームとされる。このように、カット点（カット点を構成する対象フレーム）の情報がさらに用いられることで、シーンチェンジ点として、１シーン内の途中の点（フレーム）が選択される不都合を回避できる。

また、図２に示すシーンチェンジ器１０５を構成する過去方向、未来方向シーンチェンジ点検出部２００（図７〜図９参照）においては、類似度の平均値S(av)、分散値S(sc)に基づいて類似度演算部２１２，２２２における変換式の算出パラメータａ、閾値判定部２１６，２２６の閾値ＴＨｂ，ＴＨｆが制御されることから、シーンチェンジ点の検出頻度が適切となるように調整される。したがって、シーンチェンジ点検出器１０５におけるシーンチェンジ点の検出頻度を一定範囲内にコントロールできる。

なお、上述実施の形態におけるシーンチェンジ検出器１０５の各機能部は、ハードウェアおよびソフトウェアのいずれによっても実現できる。ソフトウェアで実現する場合には、コンピュータが、ＲＯＭまたはハードディスクに格納されているプログラムに基づいて、各機能部の処理を実行する。

図１１は、このような処理を実行するコンピュータ５００の内部構成例を示す図である。ＣＰＵ（Central Processing Unit）５０１は、ＲＯＭ（Read OnlyMemory）５０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random AccessMemory）５０３には、ＣＰＵ５０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。

入出力インタフェース５０５は、上述したＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３と共に、バス５０４に接続されている。入出力インタフェース５０５には、キーボードやマウスから構成される入力部５０６が接続されている。この入出力インタフェース５０５は、入力部５０６から入力された信号をＣＰＵ５０１に出力する。また、入出力インタフェース５０５には、ディスプレイやスピーカなどから構成される出力部５０７も接続されている。

また、入出力インタフェース５０５には、ハードディスクなどから構成される記憶部５０８、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部５０９も接続されている。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出し、あるいはそれにデータを書き込むときに用いられる。処理対象のビデオ信号ＳＶは、例えば、通信部５０９あるいはドライブ５１０から取り込まれ、ハードディスクなどから構成される記憶部５０８に格納される。

また、図２に示すシーンチェンジ検出器１０５は、各対象フレームの画像の特徴情報として特徴ベクトルを生成して用いるものを示したが、特徴情報として、例えば、対象フレームの画像の画素信号を処理して生成された、輝度あるいは色差のヒストグラムを用いることもできる。この場合、類似度算出フレームとその前またが後に位置する対象フレームとの間の類似度は、例えば、ヒストグラムのインターセクションに算出パラメータを掛けることで算出できる。ここで、インターセクションとは２つの正規化ヒストグラムを各要素（階級）で比較し、要素の値の小さい方を取った値の総和である。

なお、上述実施の形態においては、この発明を、ＤＶＤ１０７を記録媒体とする記録再生装置１００に適用したものであるが、この発明は、その他の記録媒体、例えば、ＨＤ（Hard Disk）、半導体メモリ等を取り扱う記録再生装置に、同様に適用できることは勿論である。

この発明は、類似度の算出パラメータ、シーンチェンジ判定の閾値を類似度の統計処理結果に基づいて動的に変化させてシーンチェンジ点の検出頻度を一定の範囲内にコントロールするものであり、例えば、シーンチェンジ点ごとにシーンを選んでダイジェスト再生などを行う、ＤＶＤ、ＨＤ、半導体メモリ等を記録媒体とする記録再生装置に適用できる。

この発明の実施の形態としての記録再生装置の構成例を示すブロック図である。 シーンチェンジ検出器の構成例を示すブロック図である。 各対象フレームの画像の特徴を示す特徴ベクトルの生成を説明するための図である。 過去方向類似度および未来方向類似度の計算の仕方を説明するための図である。 特徴ベクトル間距離を類似度に変換するための変換関数の一例を示す図である。 過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)に基づくシーンチェンジ点の検出処理を説明するための図である。 過去方向、未来方向シーンチェンジ点検出部の構成例を示すブロック図である。 過去方向、未来方向シーンチェンジ点検出部の他の構成例を示すブロック図である。 過去方向、未来方向シーンチェンジ点検出部の他の構成例を示すブロック図である。 シーンチェンジ検出器の動作を説明するための図である。 シーンチェンジ器の各機能部の処理を実行するコンピュータの内部構成例を示す図である。

符号の説明

１００・・・記録再生装置、１０１・・・制御部、１０２・・・ユーザ操作部、１０３Ｖ・・・ビデオ信号入力端子、１０３Ａ・・・オーディオ信号入力端子、１０４・・・記録再生処理部、１０５・・・シーン切り替わり点検出器、１０６・・・光ディスクドライブ、１０７・・・ＤＶＤ、１０９Ｖ・・・ビデオ信号出力端子、１０９Ａ・・・オーディオ信号出力端子、１１０・・・モニタ、１１１・・・特徴ベクトル生成部、１１２・・・バッファ、１１３・・・カット点検出部、１１４・・・過去方向類似度算出部、１１５・・・未来方向類似度算出部、１１６・・・シーンチェンジ点検出部、２１１，２２１・・・ベクトル間距離演算部、２１２，２２２・・・類似度演算部、２１３，２２３・・・累積加算処理部、２１４，２１４Ａ，２１４Ｂ，２２４，２２４Ａ，２２４Ｂ・・・統計処理部、２１５，２１５Ａ，２２５，２２５Ａ・・・制御部、２１６，２２６・・・閾値判定部

Claims (7)

1. 入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
   各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出部と、
   上記類似度算出部で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定部と、
   上記類似度算出部で算出された類似度に対して統計処理を行う統計処理部と、
   上記統計処理部の処理結果に基づいて、少なくとも、上記類似度算出部における算出パラメータ、または上記閾値判定部における閾値を制御する制御部と
   を備えるシーンチェンジ検出装置。
2. 上記統計処理部は、上記類似度算出部で算出された複数個の類似度の平均値を求め、
   上記制御部は、上記統計処理部で求められた上記類似度の平均値に基づいて、上記類似度算出部における算出パラメータを制御する
   請求項１に記載のシーンチェンジ検出装置。
3. 上記特徴情報生成部で生成される上記各対象フレームの画像の特徴を示す特徴情報は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理して求められた複数のベクトル要素からなる特徴ベクトルであり、
   上記類似度算出部は、上記シーンチェンジ検出フレームの特徴ベクトルと、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルのベクトル間距離を求め、該ベクトル間距離を、上記算出パラメータを持つ変換関数を用いて上記類似度に変換する
   請求項２に記載のシーンチェンジ検出装置。
4. 上記統計処理部は、さらに、上記類似度算出部で算出された複数個の類似度の分散値を求め、
   上記制御部は、さらに、上記統計処理部で求められた上記類似度の分散値に基づいて、上記閾値判定部における閾値を制御する
   請求項２に記載のシーンチェンジ検出装置。
5. 上記統計処理部は、上記類似度算出部で算出された複数個の類似度の分散値を求め、
   上記制御部は、上記統計処理部で求められた上記類似度の分散値に基づいて、上記閾値判定部における閾値を制御する
   請求項１に記載のシーンチェンジ検出装置。
6. 入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成ステップと、
   各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成ステップで生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出ステップと、
   上記類似度算出ステップで算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定ステップと、
   上記類似度算出ステップで算出された類似度に対して統計処理を行う統計処理ステップと、
   上記統計処理ステップの処理結果に基づいて、少なくとも、上記類似度算出ステップにおける算出パラメータまたは上記閾値判定ステップにおける閾値を制御する制御ステップと
   を備えるシーンチェンジ検出方法。
7. コンピュータを、
   入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成手段と、
   各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成手段で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出手段と、
   上記類似度算出手段で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定手段と、
   上記類似度算出手段で算出された類似度に対して統計処理を行う統計処理手段と、
   上記統計処理手段の処理結果に基づいて、少なくとも、上記類似度算出手段における算出パラメータまたは上記閾値判定手段における閾値を制御する制御手段と
   して機能させるためのプログラム。