JP2010016660A - シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム - Google Patents
シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム Download PDFInfo
- Publication number
- JP2010016660A JP2010016660A JP2008175152A JP2008175152A JP2010016660A JP 2010016660 A JP2010016660 A JP 2010016660A JP 2008175152 A JP2008175152 A JP 2008175152A JP 2008175152 A JP2008175152 A JP 2008175152A JP 2010016660 A JP2010016660 A JP 2010016660A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- scene change
- unit
- frame
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【課題】シーンチェンジ点の検出頻度を、一定範囲内にコントロールする。
【解決手段】シーンチェンジ検出フレームとその前の所定数の対象フレームとの特徴ベクトルとのベクトル間距離dist(Xi,Xj)と類似度Sim(Xi,Xj)を求め、所定数の類似度Sim(Xi,Xj)を累積加算して類似度Bwdsim(Xi,Xj)、Fwdsim(Xi,Xj)を算出し、変化分を閾値と比較してシーンチェンジ点を検出する。統計処理部は、シーンチェンジ検出フレームとそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を使用して、類似度の平均値S(av)を求める。制御部は、似ているシーンが多く平均値S(av)が大きいとき、類似度の算出パラメータaを大きくして類似度の変化量を大きくし、一方似ているシーンが少なく平均値S(av)が小さいとき、算出パラメータaを小さくして類似度の変化量を小さくする。
【選択図】図7
【解決手段】シーンチェンジ検出フレームとその前の所定数の対象フレームとの特徴ベクトルとのベクトル間距離dist(Xi,Xj)と類似度Sim(Xi,Xj)を求め、所定数の類似度Sim(Xi,Xj)を累積加算して類似度Bwdsim(Xi,Xj)、Fwdsim(Xi,Xj)を算出し、変化分を閾値と比較してシーンチェンジ点を検出する。統計処理部は、シーンチェンジ検出フレームとそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を使用して、類似度の平均値S(av)を求める。制御部は、似ているシーンが多く平均値S(av)が大きいとき、類似度の算出パラメータaを大きくして類似度の変化量を大きくし、一方似ているシーンが少なく平均値S(av)が小さいとき、算出パラメータaを小さくして類似度の変化量を小さくする。
【選択図】図7
Description
この発明は、ビデオ信号の記録再生を行うDVDレコーダ、HDレコーダ等に適用して好適なシーンチェンジ検出装置、シーンチェンジ検出方法およびプログラムに関する。詳しくは、この発明は、入力ビデオ信号の一定時間毎のフレームを順次シーンチェンジ検出フレームとして、シーンチェンジ検出フレームとその前または後に位置する所定数のフレームとの間の類似度を算出し、この類似度の変化分を閾値と比較してシーンチェンジ点を検出するものにあって、類似度の統計処理結果に基づいて、類似度算出パラメータ、または閾値を制御することにより、シーンチェンジ点の検出頻度が適切となるようにしたシーンチェンジ検出装置等に係るものである。
従来、テレビ放送に係るビデオ信号、あるいはビデオカメラで撮像したビデオ信号等をDVDレコーダ、あるいはHDレコーダ等で記録する際に、シーンチェンジフレームを検出し、その情報をビデオ信号と関連付けて記録しておき、内容確認あるいは編集点検索のための再生スキップ位置の情報として使用することが考えられている。
従来、入力ビデオ信号の一定時間毎のフレームを順次シーンチェンジ検出フレームとして、シーンチェンジ検出フレームとその前または後のフレームとの間の類似度を算出し、この類似度を閾値と比較してシーンチェンジ点を検出することが知られている(例えば、特許文献1参照)。
特開2002−27411号公報
動画コンテンツから画像の変化量を利用してシーンチェンジ点を検出する際に、コンテンツによって画像の変化が大きいものや小さいものがあり、単純な閾値による判定では検出されるシーンチェンジ点の数が多すぎたり少なすぎたりする問題があった。例えば、シーンチェンジ点ごとにシーンを選んでダイジェスト再生などを行う場合、シーンチェンジ点の数が少なすぎると、再生するシーンの数が極端に少なくなるなどの問題が考えられる。
この発明の目的は、シーンチェンジ点を適切な頻度で検出することにある。
この発明の概念は、
入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出部と、
上記類似度算出部で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定部と、
上記類似度算出部で算出された類似度に対して統計処理を行う統計処理部と、 上記統計処理部の処理結果に基づいて、上記類似度算出部における算出パラメータまたは上記閾値判定部における閾値を制御する制御部と
を備えるシーンチェンジ検出装置にある。
入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出部と、
上記類似度算出部で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定部と、
上記類似度算出部で算出された類似度に対して統計処理を行う統計処理部と、 上記統計処理部の処理結果に基づいて、上記類似度算出部における算出パラメータまたは上記閾値判定部における閾値を制御する制御部と
を備えるシーンチェンジ検出装置にある。
この発明においては、入力ビデオ信号の一定時間毎のフレームが、シーンチェンジ点を検出するための対象フレームとされる。特徴情報生成部により、各対象フレームの画像の特徴を示す特徴情報が生成される。例えば、特徴情報生成部では、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、特徴情報として、複数のブロックから求められたベクトル要素で構成される特徴ベクトルを生成する、ことが行われる。また、例えば、特徴情報生成部では、対象フレームの画像の画素信号を処理し、特徴情報としてヒストグラムを生成する、ことが行われる。
各対象フレームが、順に、シーンチェンジ検出フレームとされる。類似度算出部により、シーンチェンジ検出フレームの特徴情報と、このシーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度が求められる。
例えば、特徴情報生成部で生成される各対象フレームの画像の特徴を示す特徴情報は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理して求められた複数のベクトル要素からなる特徴ベクトルとされる。そして、類似度算出部では、シーンチェンジ検出フレームの特徴ベクトルと、このシーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルのベクトル間距離が求められ、このベクトル間距離が、算出パラメータを持つ変換関数を用いて、類似度に変換される。最終的な類似度は、シーンチェンジ検出フレームの特徴情報と所定数の対象フレームの特徴情報との間で求められた類似度の累積値、あるいは平均値とされる。
閾値判定部により、類似度の変化分が閾値と比較されて、シーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームが検出される。すなわち、上述したように各対象フレームが順にシーンチェンジ検出フレームとされて類似度が算出されるが、あるシーンチェンジ検出フレームがシーンチェンジ点を構成する対象フレームであるか否かは、その前のシーンチェンジ検出フレームで算出された類似度との差分に基づいて判定される。統計処理部により、上述の類似度算出部で算出された類似度に対して統計処理が行われる。そして、制御部により、統計処理部の処理結果に基づいて、類似度算出部における算出パラメータまたは閾値判定部における閾値が制御される。
例えば、統計処理部では、類似度算出部で算出された複数個の類似度の平均値が求められ、制御部では、統計処理部で求められた類似度の平均値に基づいて、類似度算出部における算出パラメータが制御される。また、例えば、統計処理部では、類似度算出部で算出された複数個の類似度の分散値が求められ、制御部では、統計処理部で求められた類似度の分散値に基づいて、閾値判定部における閾値が制御される。
上述したように、類似度の統計処理結果に基づいて類似度算出パラメータ、または閾値が制御されることから、動画コンテンツの内容に応じて類似度算出パラメータ、または閾値がダイナミックに変化し、動画コンテンツの内容によらずシーンチェンジ点の検出頻度が適切となる。
例えば、上述したように類似度の平均値に基づいて類似度算出部における算出パラメータが制御されるものにあっては、以下のように制御される。すなわち、類似度の平均値が大きく似ているシーンが多い場合には、算出パラメータが大きくされて感度が上げられ、類似度の変化量が大きくされて、シーンチェンジ点の検出頻度が増える方向に調整される。一方、類似度の平均値が小さく似ているシーンが少ない場合には、算出パラメータが小さくされて感度が下げられ、類似度の変化量が小さくされて、シーンチェンジ点の検出頻度が減る方向に調整される。
また、例えば、上述したように類似度の分散値に基づいて閾値判定部における算出パラメータが制御されるものにあっては、以下のように制御される。すなわち、類似度の分散値が大きくシーンの変化の大きい部分が多い場合には、閾値が大きくされてノイズに対する耐性が大きくされ、シーンチェンジ点の検出頻度が減る方向に調整される。一方、類似度の分散値が小さくシーンの変化の大きい部分が少ない場合には、閾値が小さくされて感度が上げられ、シーンチェンジ点の検出頻度が増える方向に調整される。
この発明によれば、入力ビデオ信号の一定時間毎のフレームを順次シーンチェンジ検出フレームとして、シーンチェンジ検出フレームとその前または後の所定数のフレームとの間の類似度を算出し、この類似度の変化分を閾値と比較してシーンチェンジ点を検出するものにあって、類似度の統計処理結果に基づいて、類似度算出パラメータ、または閾値を制御するものであり、シーンチェンジ点の検出頻度が適切となる。
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としての記録再生装置100の構成例を示している。
この記録再生装置100は、制御部101と、ユーザ操作部102と、ビデオ信号入力端子103Vと、オーディオ信号入力端子103Aと、記録再生処理部104と、シーンチェンジ検出器105と、光ディスクドライブ106と、記録媒体としてのDVD107と、ビデオ信号出力端子109Vと、オーディオ信号出力端子109Aと、モニタ110を有している。
制御部101は、記録再生装置100の各部の動作を制御する。ユーザ操作部102は、ユーザインタフェースを構成し、制御部101に接続されている。ユーザ操作部102は、記録再生装置100の図示しない筐体面に配置されたキー、釦、ダイアル、あるいはリモコンの送受信機等で構成されている。
記録再生処理部104は、記録時には、入力端子103V,103Aに入力されるビデオ信号、オーディオ信号に対して、記録フォーマットに応じた圧縮符号化等の記録処理を施して記録データとしてのビデオおよびオーディオのデータを生成して、光ディスクドライブ106に供給する。
例えば、記録再生処理部104は、ビデオ信号に対してMPEG(MovingPicture Expert Group)方式でエンコード処理して、ビデオのエレメンタリストリーム(ES:ElementaryStream)を生成すると共に、オーディオ信号に対してMPEG方式でエンコード処理して、オーディオのエレメンタリストリームを生成し、これらビデオおよびオーディオのエレメンタリストリームおよび各種制御信号を、マルチプレクス処理して記録データとしてのトランスポートストリーム(TS:Transport Stream)を生成する。
また、記録再生処理部104は、再生時には、光ディスクドライブ106で再生されたビデオおよびオーディオのデータに対して、復号化処理等を施してビデオ信号およびオーディオ信号を生成する。例えば、記録再生処理部104は、再生データからビデオおよびオーディオのエレメンタリストリームを分離し、それぞれに対してMPEG(Moving Picture Expert Group)方式でデコード処理して、ビデオ信号出力端子109Vに再生ビデオ信号を供給し、オーディオ信号出力端子109Aに再生オーディオ信号を供給する。
また、シーンチェンジ検出器105は、入力端子103Vに入力されるビデオ信号を処理して、シーンチェンジ点を検出する。このシーンチェンジ検出器105は、例えば、フレーム画像の画素信号を分割ブロック毎に処理して得られた複数のベクトル要素からなる特徴ベクトル、あるいはフレーム画像の画素信号を処理して得られた輝度、色差のヒストグラム等を利用して、シーンチェンジ点を検出する。
シーンチェンジ検出器105から出力されるシーンチェンジ点の情報は制御部101に供給される。ここで、シーンチェンジ点の情報は、ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報である。例えば、ビデオ信号に付加されて記録される一連のタイムコードのうち、検出されたシーンチェンジ点のタイムコードが、シーンチェンジ点の情報とされる。このシーンチェンジ検出器105の詳細については後述する。
光ディスクドライブ106は、記録媒体としてのDVD107に対して記録再生を行う。すなわち、この光ディスクドライブ106は、記録時には、記録再生処理部104で生成されたビデオおよびオーディオの記録データをDVD107に記録すると共に、シーンチェンジ検出器105で得られたシーンチェンジ点の情報をDVD107に記録する。この場合、ビデオおよびオーディオの記録データとシーンチェンジ点の情報とは別個のファイルとして記録されるが、互いに関連付けされて記録される。
また、光ディスクドライブ106は、再生時には、DVD107からビデオおよびオーディオのデータを再生して記録再生処理部104に供給する。また、光ディスクドライブ106は、DVD107から、上述のビデオおよびオーディオのデータを再生する際に、当該ビデオおよびオーディオのデータと関連付けされて記録されているシーンチェンジ点の情報を再生して制御部101に供給する。
図1に示す記録再生装置100の動作を説明する。まず、記録時の動作について説明する。入力端子103V,103Aに入力されるビデオ信号、オーディオ信号は、記録再生処理部104に供給される。この記録再生処理部104では、入力端子103V,103Aに入力されるビデオ信号、オーディオ信号に対して、記録フォーマットに応じた圧縮符号化等の記録処理が施されて、記録データとしてのビデオおよびオーディオのデータが生成される。このビデオおよびオーディのデータは、光ディスクドライブ106に供給され、DVD107に記録される。
また、入力端子103Vに入力されるビデオ信号は、シーンチェンジ検出器105に供給される。このシーンチェンジ検出器105では、ビデオ信号が処理されて、シーンチェンジ点が検出される。シーンチェンジ検出器105で得られるシーンチェンジ点の情報は、制御部101を介して光ディスクドライブ106に供給され、上述したビデオおよびオーディオのデータと関連付けされて、DVD107に記録される。
次に、再生時の動作について説明する。光ディスクドライブ106では、DVD107からビデオおよびオーディオのデータが再生される。この再生データとしてのビデオおよびオーディオのデータは、記録再生処理部104に供給される。記録再生処理部104では、ビデオおよびオーディオのデータに対して、復号化処理等が施されて、ビデオ信号およびオーディオ信号が生成される。
このように記録再生処理部104で生成されるビデオ信号、オーディオ信号は、出力端子109V,109Aに出力される。そのため、出力端子109V,109Aに接続されているモニタ110には、当該ビデオ信号およびオーディオ信号が供給され、再生画像が表示されると共に、再生音声が出力される。
また、光ディスクドライブ106では、DVD107から、ビデオおよびオーディオのデータと関連付けされて記録されているシーンチェンジ点の情報が再生される。このシーンチェンジ点の情報は、制御部101に供給される。制御部101では、シーンチェンジ点の情報が、例えば、再生スキップ位置の制御情報として使用される。すなわち、ユーザが内容確認、あるいは編集点を検索するために、ユーザ操作部102で再生位置のスキップ操作を行ったとき、制御部101は、シーンチェンジ点に、再生位置を順次スキップさせる。
次に、シーンチェンジ検出器105の構成例について説明する。図2は、シーンチェンジ検出器105の構成例を示している。このシーンチェンジ検出器105は、特徴ベクトル生成部111と、バッファ112と、カット点検出部113と、過去方向類似度算出部114と、未来方向類似度算出部115と、シーンチェンジ点検出部116とを有している。
特徴ベクトル生成部111は、特徴情報生成部を構成している。この特徴ベクトル生成部111は、ビデオ信号SVの一定時間毎(例えば、0.5秒毎)のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴ベクトルを生成する。すなわち、特徴ベクトル生成部111は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、各ベクトル要素で構成される特徴ベクトルを生成する。
例えば、図3(a)に示すように、フレームの画像が、垂直、水平のそれぞれの方向に5分割されて25のブロックに分割される。そして、各ブロックにおいて、輝度(Y)、赤色差(Cr)、青色差(Cb)の画素信号が処理されて、輝度(Y)、赤色差(Cr)、青色差(Cb)に係るベクトル要素が求められる。ここで、ブロック内の画素信号がx1〜xnのn個であるとき、画素信号の処理としては、以下の(1)式で示される平均値を求める処理、(2)式で示される標準偏差を求める処理、あるいは(3)式で示される処理等が行われる。なお、(2)式および(3)式におけるxバーはx1〜xnの平均値である。
各ブロックでは、輝度(Y)、赤色差(Cr)、青色差(Cb)に係るベクトル要素が求められるので、上述したようにフレームの画像が25ブロックに分割される場合には、図3(b)に示すように、25×3=75のベクトル要素が得られ、特徴ベクトル生成部111からは75のベクトル要素からなる特徴ベクトルが出力される。
バッファ112は、特徴ベクトル生成部111で生成された各対象フレームの特徴ベクトルを、シーン切り替わり点を検出する処理で利用するために、一時的に格納する。
カット点検出部113は、各対象フレームを順にカット検出フレームとし、カット点、つまりカット点を構成する対象フレームを検出する。すなわち、カット点検出部113は、バッファ112に蓄積されている、カット検出フレームの特徴ベクトルと、このカット検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとを比較して、当該カット検出フレームがカット点を構成する対象フレームであるか否かを検出する。
この場合、カット検出フレームの特徴ベクトルと、このカット検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとのベクトル間距離、つまり対応するベクトル要素毎の差分絶対値の総和が、予め設定されている閾値より大きいときには、当該カット検出フレームはカット点として検出される。
過去方向類似度算出部114は、各対象フレームを順に類似度算出フレームとし、過去方向類似度を算出する。すなわち、過去方向類似度算出部114は、特徴ベクトル生成部111で生成された、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に前に位置する所定数(m個)の対象フレームの特徴ベクトルとに基づいて、過去方向類似度を算出する。この場合、過去方向類似度算出部114は、類似度算出フレームと、この類似度算出フレームより時間的に前に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、この類似度の総和をとることで過去方向類似度を求める。
未来方向類似度算出部115は、各対象フレームを順に類似度算出フレームとし、未来方向類似度を算出する。すなわち、未来方向類似度算出部115は、特徴ベクトル生成部111で生成された、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に後に位置する所定数(m個)の対象フレームの特徴ベクトルとに基づいて、未来方向類似度を算出する。この場合、未来方向類似度算出部115は、類似度算出フレームと、この類似度算出フレームより時間的に後に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、この類似度の総和をとることで未来方向類似度を求める。
図4を参照して、過去方向類似度および未来方向類似度の計算例を説明する。ここでは、類似度算出フレームがi番目の対象フレームである場合について説明する。
各対象フレームの特徴ベクトルがn個のベクトル要素からなっているとすると、i番目の対象フレームの特徴ベクトルXiは(4)式のように表され、このi番目の対象フレームの前後に位置するj番目の対象フレームの特徴ベクトルは(5)式のように表される。(4)式において、xi1〜xinは特徴ベクトルXiを構成するn個のベクトル要素である。また、(5)式において、xj1〜xjnは特徴ベクトルXjを構成するn個のベクトル要素である。
これら特徴ベクトルXiと特徴ベクトルXjとの間の距離、つまり特徴ベクトル間距離dsit(Xi,Xj)は、(6)式で求められる。そして、この特徴ベクトル間距離dsit(Xi,Xj)は、(7)式の変換関数を用いて、類似度Sim(Xi,Xj)に変換される。この(7)式において、a,bは算出パラメータである。なお、図5は、(7)式の変換関数を図示したものである。
(7)式の変換関数の場合、特徴ベクトル間距離dsit(Xi,Xj)がe以内のとき類似度Sim(Xi,Xj)は一定値cとなるが、特徴ベクトル間距離dsit(Xi,Xj)がeを超えると、その値が大きくなるにつれて、類似度Sim(Xi,Xj)は一定値cから低下していき、特徴ベクトル間距離dsit(Xi,Xj)がfを超えると類似度Sim(Xi,Xj)は0となる。
i番目の対象フレームの過去方向類似度Bwdsim(i)は、(8)式に示すように、i番目の対象フレームと、i−m番目〜i−1番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)の総和として求められる。また、同様に、i番目の対象フレームの未来方向類似度Fwdsim(i)は、(9)式に示すように、i番目の対象フレームと、i+1番目〜i+m番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)の総和として求められる。なお、図4には、Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)をSim(i,i-m)〜Sim(i,i-1)として示し、Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)をSim(i,i+1)〜Sim(i,i+m)として示している。
シーンチェンジ点検出部116は、過去方向類似度算出部114で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部115で算出された各対象フレームの未来方向類似度とに基づいて、シーンチェンジ点、つまり、シーンチェンジ点を構成する対象フレームを検出する。シーンチェンジ点検出部116は、例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームを、シーンチェンジ点を構成する対象フレームとして検出する。
この場合、シーンチェンジ点検出部116は、i番目の対象フレームの過去方向類似度Bwdsim(i)が急激に低下しているか否かを、i−1番目の対象フレームの過去方向類似度Bwdsim(i-1)からi番目の対象フレームの過去方向類似度Bwdsim(i)を差し引いて得られる変化分(Bwdsim(i-1)−Bwdsim(i))を閾値THbと比較して判定する。i番目の対象フレームの過去方向類似度Bwdsim(i)が急激に低下している場合、変化分(Bwdsim(i-1)−Bwdsim(i))は閾値THbより大きくなる。
また、シーンチェンジ点検出部116は、i番目の対象フレームの未来方向類似度Fwdsim(i)が急激に上昇しているか否かを、i番目の対象フレームの未来方向類似度Fwdsim(i)からi−1番目の対象フレームの未来方向類似度Fwdsim(i-1)を差し引いて得られる変化分(Fwdsim(i)−Fwdsim(i-1))を閾値THfと比較して判定する。i番目の対象フレームの未来方向類似度Fwdsim(i)が急激に上昇している場合、変化分(Fwdsim(i)−Fwdsim(i-1))は閾値THfより大きくなる。
ここで、過去方向類似度Bwdsim(i)が図6(a)に示すように変化し、未来方向類似度Fwdsim(i)が図6(c)に示すように変化する場合を考える。
この場合、変化分(Bwdsim(i-1)−Bwdsim(i))を閾値THbと比較した結果(過去方向閾値判定結果)は、例えば、図6(b)に示すようになる。ここで、(Bwdsim(i-1)−Bwdsim(i))>THbであるとき比較結果は「H」となり、それ以外のとき比較結果は「L」となるものとする。
また、この場合、変化分(Fwdsim(i)−Fwdsim(i-1))を閾値THfと比較した結果(未来方向閾値判定結果)は、例えば、図6(d)に示すようになる。ここで、(Fwdsim(i)−Fwdsim(i-1))>THfであるとき比較結果は「H」となり、それ以外のとき比較結果は「L」となるものとする。
従ってこの場合、シーンチェンジ点検出部116は、上述した過去方向閾値判定結果および未来方向閾値判定結果が双方とも「H」となる、TMの点を、過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)によるシーンチェンジ点として検出する。
そして、シーンチェンジ点検出部116は、上述のように検出された過去方向類似度Bwdsim(i)および未来方向類似度Fwdsim(i)によるシーンチェンジ点(シーンチェンジ点を構成する対象フレーム)が、カット点検出部113で検出されたカット点(カット点を構成する対象フレーム)と一致するとき、当該対象フレームをシーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームとする。
シーンチェンジ点検出部116は、上述のように検出されたシーンチェンジ点を構成する対象フレームの時刻情報(ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報)を、シーンチェンジ点の情報として出力する。
ここで、過去方向類似度算出部114、未来方向類似度算出部115およびシーンチェンジ点検出部116は、過去方向、未来方向シーンチェンジ点検出部を構成している。この過去方向、未来方向シーンチェンジ点検出部についてさらに説明する。図7は、過去方向、未来方向シーンチェンジ点検出部200の構成例を示している。この図7において、図2と対応する部分には同一符号を付して示している。
過去方向類似度算出部114は、ベクトル間距離演算部211と、類似度演算部212と、累積加算処理部213と、統計処理部214と、制御部215とを有している。また、この過去方向類似度算出部114に対応して、シーンチェンジ点検出部116は、閾値判定部216を有している。
ベクトル間距離演算部211は、シーンチェンジ検出フレームの特徴ベクトルXiと、このシーンチェンジ検出フレームに対して時間的に前に位置する所定数(m個)の対象フレームの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)を求める(図4、(6)式参照)。類似度演算部212は、ベクトル間距離演算部211で求められた特徴ベクトル間距離dsit(Xi,Xj)を、(7)式の変換関数を用いて類似度Sim(Xi,Xj)に変換する。
累積加算処理部213は、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に、類似度演算部212で算出されたSim(Xi,Xj)を用いて、過去方向類似度Bwdsim(i)を求める。すなわち、累積加算処理部213は、i番目の対象フレームと、i−m番目〜i−1番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)を累積加算して過去方向類似度Bwdsim(i)とする(図4、(8)式参照)。
閾値判定部216は、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に累積加算処理部213で得られる過去方向類似度Bwdsim(i)に基づいて、類似度の変化分(Bwdsim(i-1)−Bwdsim(i))を求める。この類似度の変化分は、i−1番目の対象フレームの過去方向類似度Bwdsim(i-1)とi番目の対象フレームの過去方向類似度Bwdsim(i)との差分である。
また、閾値判定部216は、上述の変化分(Bwdsim(i-1)−Bwdsim(i))を閾値THbと比較して、比較結果(過去方向閾値判定結果)を出力する。この場合、閾値判定部216は、(Bwdsim(i-1)−Bwdsim(i))>THbであるとき、比較結果として「H」を出力し、それ以外のとき比較結果として「L」を出力する。閾値判定部216が「H」を出力するとき、当該閾値判定部216では、シーンチェンジ検出フレーム(i番目の対象フレーム)がシーンチェンジ点を構成する対象フレームとして検出されたことを意味する。
統計処理部214は、類似度算出部212で求められた複数個の類似度の平均値S(av)を求める。この場合、統計処理部214は、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出の対象類似度とする。
制御部215は、統計処理部214で求められた類似度の平均値S(av)に基づいて、類似度演算部212における、上述の(7)式の算出パラメータaを制御する。すなわち、制御部215は、類似度の平均値S(av)が大きいときには、算出パラメータaを大きくして感度を上げる。一方、制御部215は、類似度の平均値S(av)が小さいときには、算出パラメータaを小さくして感度を下げる。
未来方向類似度算出部115は、ベクトル間距離演算部221と、類似度演算部222と、累積加算処理部223と、統計処理部224と、制御部225とを有している。また、この未来方向類似度算出部115に対応して、シーンチェンジ点検出部116は、閾値判定部226を有している。
ベクトル間距離演算部221は、シーンチェンジ検出フレームの特徴ベクトルXiと、このシーンチェンジ検出フレームに対して時間的に後に位置する所定数(m個)の対象フレームの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)を求める(図4、(6)式参照)。類似度演算部222は、ベクトル間距離演算部221で求められた特徴ベクトル間距離dsit(Xi,Xj)を、(7)式の変換関数を用いて類似度Sim(Xi,Xj)に変換する。
累積加算処理部223は、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に、類似度演算部222で算出されたSim(Xi,Xj)を用いて、未来方向類似度Fwdsim(i)を求める。すなわち、累積加算処理部223は、i番目の対象フレームと、i+1番目〜i+m番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)を累積加算して未来方向類似度Fwdsim(i)とする(図4、(9)式参照)。
閾値判定部226は、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に累積加算処理部213で得られる未来方向類似度Fwdsim(i)に基づいて、類似度の変化分(Fwdsim(i)−Fwdsim(i-1))を求める。この類似度の変化分は、i番目の対象フレームの未来方向類似度Fwdsim(i)とi−1番目の対象フレームの未来方向類似度Fwdsim(i-1)との差分である。
また、閾値判定部226は、上述の変化分(Fwdsim(i)−Fwdsim(i-1))を閾値THfと比較して、比較結果(未来方向閾値判定結果)を出力する。この場合、閾値判定部226は、(Fwdsim(i)−Fwdsim(i-1))>THfであるとき、比較結果として「H」を出力し、それ以外のとき比較結果として「L」を出力する。閾値判定部226が「H」を出力するとき、当該閾値判定部226では、シーンチェンジ検出フレーム(i番目の対象フレーム)がシーンチェンジ点を構成する対象フレームとして検出されたことを意味する。
統計処理部224は、類似度算出部222で求められた複数個の類似度の平均値S(av)を求める。この場合、統計処理部224は、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出の対象類似度とする。
制御部225は、統計処理部224で求められた類似度の平均値S(av)に基づいて、類似度演算部222における、上述の(7)式の算出パラメータaを制御する。すなわち、制御部225は、類似度の平均値S(av)が大きいときには、算出パラメータaを大きくして感度を上げる。一方、制御部225は、類似度の平均値S(av)が小さいときには、算出パラメータaを小さくして感度を下げる。
図7に示す過去方向、未来方向シーンチェンジ点検出部200の動作を説明する。まず、過去方向類似度算出部114側の動作を説明する。過去方向類似度算出部114のベクトル間距離演算部211では、シーンチェンジ検出フレームの特徴ベクトルと、このシーンチェンジ検出フレームに対して時間的に前に位置する所定数の対象フレームの特徴ベクトルとに基づいて、それらの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)が求められる((6)式参照)。この特徴ベクトル間距離dsit(Xi,Xj)は類似度演算部212に供給される。
この類似度演算部212では、特徴ベクトル間距離dsit(Xi,Xj)が、変換関数((7)式参照)を用いて、類似度Sim(Xi,Xj)に変換される。この類似度Sim(Xi,Xj)は、累積加算処理部213に供給される。この累積加算処理部213では、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に、類似度演算部212で算出された類似度Sim(Xi,Xj)を用いて、過去方向類似度Bwdsim(i)が求められる。すなわち、この累積加算処理部213では、i番目の対象フレームと、i−m番目〜i−1番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)が累積加算されて、過去方向類似度Bwdsim(i)とされる((8)式参照)。この過去方向類似度Bwdsim(i)は、シーンチェンジ点検出部116の閾値判定部216に供給される。
閾値判定部216では、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に累積加算処理部213で得られる過去方向類似度Bwdsim(i)に基づいて、類似度の変化分(Bwdsim(i-1)−Bwdsim(i))が求められる。すなわち、この閾値判定部216では、i−1番目の対象フレームの過去方向類似度Bwdsim(i-1)とi番目の対象フレームの過去方向類似度Bwdsim(i)との差分が求められる。
そして、この閾値判定部216では、上述の変化分(Bwdsim(i-1)−Bwdsim(i))が閾値THbと比較されて、比較結果(過去方向閾値判定結果)が出力される。この場合、閾値判定部216では、(Bwdsim(i-1)−Bwdsim(i))>THbであるとき、比較結果として「H」が出力され、それ以外のとき比較結果として「L」が出力される。
また、類似度演算部212で求められた類似度Sim(Xi,Xj)は統計処理部214に供給される。この統計処理部214では、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、類似度の平均値S(av)が求められる。この類似度の平均値S(av)は制御部215に供給される。
制御部215では、類似度の平均値S(av)に基づいて、類似度演算部212における変換関数((7)式参照)の算出パラメータaが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータaは大きくされる。一方、類似度の平均値S(av)が小さいとき、算出パラメータaは小さくされる。
次に、未来方向類似度算出部115側の動作を説明する。未来方向類似度算出部115のベクトル間距離演算部221では、シーンチェンジ検出フレームの特徴ベクトルと、このシーンチェンジ検出フレームに対して時間的に後に位置する所定数の対象フレームの特徴ベクトルとに基づいて、それらの特徴ベクトルのベクトル間距離である特徴ベクトル間距離dsit(Xi,Xj)が求められる((6)式参照)。この特徴ベクトル間距離dsit(Xi,Xj)は類似度演算部222に供給される。
この類似度演算部222では、特徴ベクトル間距離dsit(Xi,Xj)が、変換関数((7)式参照)を用いて、類似度Sim(Xi,Xj)に変換される。この類似度Sim(Xi,Xj)は、累積加算処理部223に供給される。この累積加算処理部223では、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に、類似度演算部222で算出された類似度Sim(Xi,Xj)を用いて、未来方向類似度Fwdsim(i)が求められる。すなわち、この累積加算処理部223では、i番目の対象フレームと、i+1番目〜i+m番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)が累積加算されて、未来方向類似度Fwdsim(i)とされる((9)式参照)。この未来方向類似度Fwdsim(i)は、シーンチェンジ点検出部116の閾値判定部226に供給される。
閾値判定部226では、シーンチェンジ検出フレーム(i番目の対象フレーム)毎に累積加算処理部223で得られる未来方向類似度Fwdsim(i)に基づいて、類似度の変化分(Fwdsim(i)−Fwdsim(i-1))が求められる。すなわち、この閾値判定部226では、i番目の対象フレームの未来方向類似度Fwdsim(i)とi−1番目の対象フレームの未来方向類似度Fwdsim(i-1)との差分が求められる。
そして、この閾値判定部226では、上述の変化分(Fwdsim(i)−Fwdsim(i-1))が閾値THfと比較されて、比較結果(未来方向閾値判定結果)が出力される。この場合、閾値判定部226では、(Fwdsim(i)−Fwdsim(i-1))>THfであるとき、比較結果として「H」が出力され、それ以外のとき比較結果として「L」が出力される。
また、類似度演算部222で求められた類似度Sim(Xi,Xj)は統計処理部224に供給される。この統計処理部224では、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、類似度の平均値S(av)が求められる。この類似度の平均値S(av)は制御部225に供給される。
制御部225では、類似度の平均値S(av)に基づいて、類似度演算部222における変換関数((7)式参照)の算出パラメータaが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータaは大きくされる。一方、類似度の平均値S(av)が小さいとき、算出パラメータaは小さくされる。
図7に示す過去方向、未来方向シーンチェンジ点検出部200においては、上述したように類似度の平均値S(av)に基づいて、類似度演算部212,222における変換関数((7)式参照)の算出パラメータaが制御されることで、以下のように、過去方向および未来方向のシーンチェンジ点の検出頻度が適切となるように調整される。
似ているシーンが多い場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図7に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の平均値S(av)が大きくなるので、算出パラメータaが大きくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が大きくされる。したがって、類似度の変化分が全体的に大きくなり、シーンチェンジ点の検出頻度が増える方向に調整される。
また、似ているシーンが少ない場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図7に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の平均値S(av)が小さくなるので、算出パラメータaが小さくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が小さくされる。したがって、類似度の変化分が全体的に小さくなり、シーンチェンジ点の検出頻度が減る方向に調整される。
次に、過去方向、未来方向シーンチェンジ点検出部200の他の構成例について説明する。図8は、過去方向、未来方向シーンチェンジ点検出部200の他の構成例を示している。この図8において、図7と対応する部分には同一符号を付して示し、その詳細説明は省略する。
過去方向類似度算出部114は、ベクトル間距離演算部211と、類似度演算部212と、累積加算処理部213と、統計処理部214Aとを有している。また、この過去方向類似度算出部114に対応して、シーンチェンジ点検出部116は、閾値判定部216と、制御部215Aとを有している。
統計処理部214Aは、類似度算出部212で求められた複数個の類似度の分散値S(sc)を求める。この場合、統計処理部214Aは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、分散値算出の対象類似度とする。
制御部215Aは、統計処理部214Aで求められた類似度の分散値S(sc)に基づいて、閾値判定部216における閾値THbを制御する。すなわち、制御部215Aは、類似度の分散値S(sc)が大きいときには、閾値THbを大きくしてノイズに対する耐性を大きくする。一方、制御部215Aは、類似度の分散値S(sc)が小さいときには、閾値THbを小さくして感度を上げる。
未来方向類似度算出部115は、ベクトル間距離演算部221と、類似度演算部222と、累積加算処理部223と、統計処理部224Aとを有している。また、この未来方向類似度算出部115に対応して、シーンチェンジ点検出部116は、閾値判定部226と、制御部225Aとを有している。
統計処理部224Aは、類似度算出部222で求められた複数個の類似度の分散値S(sc)を求める。この場合、統計処理部224Aは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、分散値算出の対象類似度とする。
制御部225Aは、統計処理部224Aで求められた類似度の分散値S(sc)に基づいて、閾値判定部226における閾値THfを制御する。すなわち、制御部225Aは、類似度の分散値S(sc)が大きいときには、閾値THfを大きくしてノイズに対する耐性を大きくする。一方、制御部225Aは、類似度の分散値S(sc)が小さいときには、閾値THfを小さくして感度を上げる。
図8に示す過去方向、未来方向シーンチェンジ点検出部200のその他は、詳細説明は省略するが、図7に示す過去方向、未来方向シーンチェンジ点検出部200と同様である。
図8に示す過去方向、未来方向シーンチェンジ点検出部200の動作を説明する。
まず、過去方向類似度算出部114側の動作を説明する。閾値判定部216から比較結果(過去方向閾値判定結果)を出力するまでの一連の動作は、上述した図7に示す過去方向、未来方向シーンチェンジ点検出部200と同様であるので、その説明は省略する。
類似度演算部212で求められた類似度Sim(Xi,Xj)は統計処理部214Aに供給される。この統計処理部214Aでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)が求められる。この分散値S(sc)はシーンチェンジ点検出部116の制御部215Aに供給される。
制御部215Aでは、類似度の分散値S(sc)に基づいて、閾値判定部216における閾値THbが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値THbは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値THbは小さくされる。
次に、未来方向類似度算出部115側の動作を説明する。閾値判定部226から比較結果(未来方向閾値判定結果)を出力するまでの一連の動作は、上述した図7に示す過去方向、未来方向シーンチェンジ点検出部200と同様であるので、その説明は省略する。
類似度演算部222で求められた類似度Sim(Xi,Xj)は統計処理部224Aに供給される。この統計処理部224Aでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)が求められる。この分散値S(sc)はシーンチェンジ検出部116の制御部225Aに供給される。
制御部225Aでは、類似度の分散値S(sc)に基づいて、閾値判定部226における閾値THfが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値THfは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値THfは小さくされる。
図8に示す過去方向、未来方向シーンチェンジ点検出部200においては、上述したように類似度の分散値S(sc)に基づいて閾値判定部216,226における閾値THb,THfが制御されることで、以下のように、シーンチェンジ点の検出頻度が適切となるように調整される。
シーンの変化が大きい部分が多い場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図8に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の分散値S(sc)が大きくなるので、閾値THb,THfが大きくされて、ノイズに対する耐性が大きくされる。したがって、シーンチェンジ点の検出頻度が減る方向に調整される。
また、シーンの変化が大きい部分が少ない場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図8に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の分散値S(sc)が小さくなるので、閾値THb,THfが小さくされて感度が上げられる。したがって、シーンチェンジ点の検出頻度が増える方向に調整される。
次に、過去方向、未来方向シーンチェンジ点検出部200のさらに他の構成例について説明する。図9は、過去方向、未来方向シーンチェンジ点検出部200の他の構成例を示している。この図9において、図7、図8と対応する部分には同一符号を付して示し、その詳細説明は省略する。
過去方向類似度算出部114は、ベクトル間距離演算部211と、類似度演算部212と、累積加算処理部213と、統計処理部214Bと、制御部215とを有している。また、この過去方向類似度算出部114に対応して、シーンチェンジ点検出部116は、閾値判定部216と、制御部215Aとを有している。
統計処理部214Bは、類似度算出部212で求められた類似度の平均値S(av)および分散値S(sc)を求める。この場合、統計処理部214Bは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出および分散値算出の対象類似度とする。
制御部215は、統計処理部214Bで求められた類似度の平均値S(av)に基づいて、類似度演算部212における、上述の(7)式の算出パラメータaを制御する。すなわち、制御部215は、類似度の平均値S(av)が大きいときには、算出パラメータaを大きくして感度を上げる。一方、制御部215は、類似度の平均値S(av)が小さいときには、算出パラメータaを小さくして感度を下げる。
また、制御部215Aは、統計処理部214Bで求められた類似度の分散値S(sc)に基づいて、閾値判定部216における閾値THbを制御する。すなわち、制御部215Aは、類似度の分散値S(sc)が大きいときには、閾値THbを大きくしてノイズに対する耐性を大きくする。一方、制御部215Aは、類似度の分散値S(sc)が小さいときには、閾値THbを小さくして感度を上げる。
未来方向類似度算出部115は、ベクトル間距離演算部221と、類似度演算部222と、累積加算処理部223と、統計処理部224Bと、制御部225とを有している。また、この過去方向類似度算出部124に対応して、シーンチェンジ点検出部126は、閾値判定部226と、制御部225Aとを有している。
統計処理部224Bは、類似度算出部222で求められた類似度の平均値S(av)および分散値S(sc)を求める。この場合、統計処理部224Bは、例えば、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)を、平均値算出および分散値算出の対象類似度とする。
制御部225は、統計処理部224Bで求められた類似度の平均値S(av)に基づいて、類似度演算部222における、上述の(7)式の算出パラメータaを制御する。すなわち、制御部225は、類似度の平均値S(av)が大きいときには、算出パラメータaを大きくして感度を上げる。一方、制御部225は、類似度の平均値S(av)が小さいときには、算出パラメータaを小さくして感度を下げる。
また、制御部225Aは、統計処理部224Bで求められた類似度の分散値S(sc)に基づいて、閾値判定部226における閾値THfを制御する。すなわち、制御部225Aは、類似度の分散値S(sc)が大きいときには、閾値THfを大きくしてノイズに対する耐性を大きくする。一方、制御部225Aは、類似度の分散値S(sc)が小さいときには、閾値THfを小さくして感度を上げる。
図9に示す過去方向、未来方向シーンチェンジ点検出部200のその他は、詳細説明は省略するが、図7、図8に示す過去方向、未来方向シーンチェンジ点検出部200と同様である。
図9に示す過去方向、未来方向シーンチェンジ点検出部200の動作を説明する。まず、過去方向類似度算出部114側の動作を説明する。閾値判定部216から比較結果(過去方向閾値判定結果)を出力するまでの一連の動作は、上述した図7、図8に示す過去方向、未来方向シーンチェンジ点検出部200と同様であるので、その説明は省略する。
類似度演算部212で求められた類似度Sim(Xi,Xj)は統計処理部214Bに供給される。この統計処理部214Bでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)および平均値S(av)が求められる。平均値S(av)は制御部215に供給され、分散値S(sc)はシーンチェンジ点検出部116の制御部215Aに供給される。
制御部215では、類似度の平均値S(av)に基づいて、類似度演算部212における変換関数((7)式参照)の算出パラメータaが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータaは大きくされる。一方、類似度の平均値S(av)が小さいとき、算出パラメータaは小さくされる。また、制御部215Aでは、類似度の分散値S(sc)に基づいて、閾値判定部216における閾値THbが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値THbは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値THbは小さくされる。
次に、未来方向類似度算出部115側の動作を説明する。閾値判定部226から比較結果(未来方向閾値判定結果)を出力するまでの一連の動作は、上述した図7、図8に示す過去方向、未来方向シーンチェンジ点検出部200と同様であるので、その説明は省略する。
類似度演算部222で求められた類似度Sim(Xi,Xj)は統計処理部224Bに供給される。この統計処理部224Bでは、シーンチェンジ検出フレームおよびそれ以前の所定数の対象フレームで求められた複数個の類似度Sim(Xi,Xj)が使用されて、分散値S(sc)および平均値S(av)が求められる。平均値S(av)は制御部225に供給され、分散値S(sc)はシーンチェンジ点検出部116の制御部225Aに供給される。
制御部225では、類似度の平均値S(av)に基づいて、類似度演算部222における変換関数((7)式参照)の算出パラメータaが制御される。すなわち、類似度の平均値S(av)が大きいとき、算出パラメータaは大きくされる。一方、類似度の平均値S(av)が小さいとき、算出パラメータaは小さくされる。また、制御部225Aでは、類似度の分散値S(sc)に基づいて、閾値判定部226における閾値THfが制御される。すなわち、類似度の分散値S(sc)が大きいとき、閾値THfは大きくされる。一方、類似度の分散値S(sc)が小さいとき、閾値THfは小さくされる。
図9に示す過去方向、未来方向シーンチェンジ点検出部200においては、上述したように類似度の平均値S(av)に基づいて、類似度演算部212,222における変換式((7)式参照)の算出パラメータaが制御されることで、以下のように、過去方向および未来方向のシーンチェンジ点の検出頻度が適切となるように調整される。
似ているシーンが多い場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図9に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の平均値S(av)が大きくなるので、算出パラメータaが大きくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が大きくされる。したがって、類似度の変化分が全体的に大きくなり、シーンチェンジ点の検出頻度が増える方向に調整される。
また、似ているシーンが少ない場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図9に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の平均値S(av)が小さくなるので、算出パラメータaが小さくされ、特徴ベクトル間距離dsit(Xi,Xj)の変化量に対する類似度Sim(Xi,Xj)の変化量が小さくされる。したがって、類似度の変化分が全体的に小さくなり、シーンチェンジ点の検出頻度が減る方向に調整される。
また、図9に示す過去方向、未来方向シーンチェンジ点検出部200においては、上述したように類似度の分散値S(sc)に基づいて閾値判定部216,226における閾値THb,THfが制御されることで、以下のように、シーンチェンジ点の検出頻度が適切となるように調整される。
シーンの変化が大きい部分が多い場合、類似度の変化分が全体的に大きくなることから、シーンチェンジ点の検出頻度が多くなる。しかし、図9に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の分散値S(sc)が大きくなるので、閾値THb,THfが大きくされて、ノイズに対する耐性が大きくされる。したがって、シーンチェンジ点の検出頻度が減る方向に調整される。
また、シーンの変化が大きい部分が少ない場合、類似度の変化分が全体的に小さくなることから、シーンチェンジ点の検出頻度が少なくなる。しかし、図9に示す過去方向、未来方向シーンチェンジ点検出部200においては、類似度の分散値S(sc)が小さくなるので、閾値THb,THfが小さくされて感度が上げられる。したがって、シーンチェンジ点の検出頻度が増える方向に調整される。
なお、図7〜図9に示す過去方向、未来方向シーンチェンジ点検出部200において、累積加算処理部213で求められる過去方向類似度Bwdsim(i)は、i番目の対象フレームと、i−m番目〜i−1番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi-m)〜Sim(Xi,Xi-1)を累積加算した値であるが、その平均値としてもよい。同様に、図7〜図9に示す過去方向、未来方向シーンチェンジ点検出部200において、累積加算処理部223で求められる未来方向類似度Fwdsim(i)は、i番目の対象フレームと、i+1番目〜i+m番目の対象フレームのそれぞれとの間の類似度Sim(Xi,Xi+1)〜Sim(Xi,Xi+m)を累積加算した値であるが、その平均値としてもよい。
次に、図2に示すシーンチェンジ検出器105の動作を、図10を参照しながら、説明する。
シーンチェンジ点を検出すべきビデオ信号SV(図10(a)参照)が特徴ベクトル生成部111に供給される。特徴ベクトル生成部111では、ビデオ信号SVの一定時間毎(例えば0.5秒毎)のフレームが対象フレームとされ、各対象フレームの画像の特徴を示す特徴ベクトルが生成される(図10(c)参照))。この特徴ベクトル生成部111で生成された各対象フレームの特徴ベクトルは、シーン切り替わり点を検出する処理で利用するために、バッファ112に一時的に格納される。
カット点検出部113では、各対象フレームが順にカット検出フレームとされ、カット点、つまりカット点を構成する対象フレームが検出される(図10(b)参照)。この場合、バッファ112に蓄積されている、カット検出フレームの特徴ベクトルと、このカット検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルとが比較され、当該カット検出フレームがカット点を構成する対象フレームであるか否かが検出される。このカット点検出部113の検出出力は、シーンチェンジ点検出部116に供給される。
また、過去方向類似度算出部114では、各対象フレームが順に類似度算出フレームとされ、過去方向類似度が算出される(図10(d)参照))。この場合、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に前に位置するm個の対象フレームの特徴ベクトルとに基づいて、過去方向類似度が算出される。この過去方向類似度算出部114の算出結果は、シーンチェンジ点検出部116に供給される。
また、未来方向類似度算出部115では、各対象フレームが順に類似度算出フレームとされ、未来方向類似度が算出される(図10(e)参照))。この場合、類似度算出フレームの特徴ベクトルと、この類似度算出フレームより時間的に後に位置するm個の対象フレームの特徴ベクトルとに基づいて、未来方向類似度が算出される。この未来方向類似度算出部115の算出結果は、シーンチェンジ点検出部116に供給される。
シーンチェンジ点検出部116では、過去方向類似度算出部114で算出された各対象フレームの過去方向類似度と、未来方向類似度算出部115で算出された各対象フレームの未来方向類似度とに基づいて、シーンチェンジ点、つまり、シーンチェンジ点を構成する対象フレームが検出される。例えば、過去方向類似度が急激に低下し、未来方向類似度が急激に上昇する対象フレームが、シーンチェンジ点を構成する対象フレームとして検出される。
そして、シーン切り替わり点検出部116では、上述のように検出された過去方向類似度および未来方向類似度によるシーンチェンジ点(シーンチェンジ点を構成する対象フレーム)TMが、カット点検出部113で検出されたカット点(カット点を構成する対象フレーム)と一致するとき、当該対象フレームがシーンチェンジ点とされる(図10(f)参照)。
このシーンチェンジ点検出部116からは、シーンチェンジ点の情報として、シーンチェンジ点(シーンチェンジ点を構成するフレーム)を示す時刻情報(ビデオ信号に付加されて記録されるタイムコードと関連付けされた時刻情報)が出力される。
以上説明したように、図2に示すシーンチェンジ検出器105においては、入力ビデオ信号の一定時間毎の対象フレームが順に類似度算出フレームとされ、類似度算出フレームとその前に位置するm個の対象フレームの特徴情報(特徴ベクトル)とに基づいて過去方向類似度が算出されると共に、類似度算出フレームとその後に位置するm個の対象フレームの特徴情報(特徴ベクトル)とに基づいて未来方向類似度が算出される。
そして、このシーンチェンジ検出器105においては、各対象フレームの過去方向類似度および未来方向類似度に基づいてシーンチェンジ点、つまりシーンチェンジ点を構成する対象フレームが検出される。このように、過去方向類似度および未来方向類似度が用いられることで、似通った各シーンの結合が行われることから、シーンチェンジ点を適切な間隔で検出できる。
また、図2に示すシーンチェンジ器105においては、過去方向類似度および未来方向類似度に基づいて検出されたシーンチェンジ点を構成する対象フレームが、カット点検出部113で検出された対象フレームと一致するとき、この対象フレームが、シーンチェンジ点を構成する対象フレームとされる。このように、カット点(カット点を構成する対象フレーム)の情報がさらに用いられることで、シーンチェンジ点として、1シーン内の途中の点(フレーム)が選択される不都合を回避できる。
また、図2に示すシーンチェンジ器105を構成する過去方向、未来方向シーンチェンジ点検出部200(図7〜図9参照)においては、類似度の平均値S(av)、分散値S(sc)に基づいて類似度演算部212,222における変換式の算出パラメータa、閾値判定部216,226の閾値THb,THfが制御されることから、シーンチェンジ点の検出頻度が適切となるように調整される。したがって、シーンチェンジ点検出器105におけるシーンチェンジ点の検出頻度を一定範囲内にコントロールできる。
なお、上述実施の形態におけるシーンチェンジ検出器105の各機能部は、ハードウェアおよびソフトウェアのいずれによっても実現できる。ソフトウェアで実現する場合には、コンピュータが、ROMまたはハードディスクに格納されているプログラムに基づいて、各機能部の処理を実行する。
図11は、このような処理を実行するコンピュータ500の内部構成例を示す図である。CPU(Central Processing Unit)501は、ROM(Read OnlyMemory)502に記憶されているプログラムに従って各種の処理を実行する。RAM(Random AccessMemory)503には、CPU501が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。
入出力インタフェース505は、上述したCPU501、ROM502およびRAM503と共に、バス504に接続されている。入出力インタフェース505には、キーボードやマウスから構成される入力部506が接続されている。この入出力インタフェース505は、入力部506から入力された信号をCPU501に出力する。また、入出力インタフェース505には、ディスプレイやスピーカなどから構成される出力部507も接続されている。
また、入出力インタフェース505には、ハードディスクなどから構成される記憶部508、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部509も接続されている。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出し、あるいはそれにデータを書き込むときに用いられる。処理対象のビデオ信号SVは、例えば、通信部509あるいはドライブ510から取り込まれ、ハードディスクなどから構成される記憶部508に格納される。
また、図2に示すシーンチェンジ検出器105は、各対象フレームの画像の特徴情報として特徴ベクトルを生成して用いるものを示したが、特徴情報として、例えば、対象フレームの画像の画素信号を処理して生成された、輝度あるいは色差のヒストグラムを用いることもできる。この場合、類似度算出フレームとその前またが後に位置する対象フレームとの間の類似度は、例えば、ヒストグラムのインターセクションに算出パラメータを掛けることで算出できる。ここで、インターセクションとは2つの正規化ヒストグラムを各要素(階級)で比較し、要素の値の小さい方を取った値の総和である。
なお、上述実施の形態においては、この発明を、DVD107を記録媒体とする記録再生装置100に適用したものであるが、この発明は、その他の記録媒体、例えば、HD(Hard Disk)、半導体メモリ等を取り扱う記録再生装置に、同様に適用できることは勿論である。
この発明は、類似度の算出パラメータ、シーンチェンジ判定の閾値を類似度の統計処理結果に基づいて動的に変化させてシーンチェンジ点の検出頻度を一定の範囲内にコントロールするものであり、例えば、シーンチェンジ点ごとにシーンを選んでダイジェスト再生などを行う、DVD、HD、半導体メモリ等を記録媒体とする記録再生装置に適用できる。
100・・・記録再生装置、101・・・制御部、102・・・ユーザ操作部、103V・・・ビデオ信号入力端子、103A・・・オーディオ信号入力端子、104・・・記録再生処理部、105・・・シーン切り替わり点検出器、106・・・光ディスクドライブ、107・・・DVD、109V・・・ビデオ信号出力端子、109A・・・オーディオ信号出力端子、110・・・モニタ、111・・・特徴ベクトル生成部、112・・・バッファ、113・・・カット点検出部、114・・・過去方向類似度算出部、115・・・未来方向類似度算出部、116・・・シーンチェンジ点検出部、211,221・・・ベクトル間距離演算部、212,222・・・類似度演算部、213,223・・・累積加算処理部、214,214A,214B,224,224A,224B・・・統計処理部、215,215A,225,225A・・・制御部、216,226・・・閾値判定部
Claims (7)
- 入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出部と、
上記類似度算出部で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定部と、
上記類似度算出部で算出された類似度に対して統計処理を行う統計処理部と、
上記統計処理部の処理結果に基づいて、少なくとも、上記類似度算出部における算出パラメータ、または上記閾値判定部における閾値を制御する制御部と
を備えるシーンチェンジ検出装置。 - 上記統計処理部は、上記類似度算出部で算出された複数個の類似度の平均値を求め、
上記制御部は、上記統計処理部で求められた上記類似度の平均値に基づいて、上記類似度算出部における算出パラメータを制御する
請求項1に記載のシーンチェンジ検出装置。 - 上記特徴情報生成部で生成される上記各対象フレームの画像の特徴を示す特徴情報は、対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理して求められた複数のベクトル要素からなる特徴ベクトルであり、
上記類似度算出部は、上記シーンチェンジ検出フレームの特徴ベクトルと、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴ベクトルのベクトル間距離を求め、該ベクトル間距離を、上記算出パラメータを持つ変換関数を用いて上記類似度に変換する
請求項2に記載のシーンチェンジ検出装置。 - 上記統計処理部は、さらに、上記類似度算出部で算出された複数個の類似度の分散値を求め、
上記制御部は、さらに、上記統計処理部で求められた上記類似度の分散値に基づいて、上記閾値判定部における閾値を制御する
請求項2に記載のシーンチェンジ検出装置。 - 上記統計処理部は、上記類似度算出部で算出された複数個の類似度の分散値を求め、
上記制御部は、上記統計処理部で求められた上記類似度の分散値に基づいて、上記閾値判定部における閾値を制御する
請求項1に記載のシーンチェンジ検出装置。 - 入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成ステップと、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成ステップで生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出ステップと、
上記類似度算出ステップで算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定ステップと、
上記類似度算出ステップで算出された類似度に対して統計処理を行う統計処理ステップと、
上記統計処理ステップの処理結果に基づいて、少なくとも、上記類似度算出ステップにおける算出パラメータまたは上記閾値判定ステップにおける閾値を制御する制御ステップと
を備えるシーンチェンジ検出方法。 - コンピュータを、
入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成手段と、
各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成手段で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する所定数の対象フレームの特徴情報に基づいて、類似度を算出する類似度算出手段と、
上記類似度算出手段で算出された類似度の変化分を閾値と比較してシーンチェンジ点を構成する対象フレームを検出する閾値判定手段と、
上記類似度算出手段で算出された類似度に対して統計処理を行う統計処理手段と、
上記統計処理手段の処理結果に基づいて、少なくとも、上記類似度算出手段における算出パラメータまたは上記閾値判定手段における閾値を制御する制御手段と
して機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008175152A JP2010016660A (ja) | 2008-07-04 | 2008-07-04 | シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008175152A JP2010016660A (ja) | 2008-07-04 | 2008-07-04 | シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010016660A true JP2010016660A (ja) | 2010-01-21 |
Family
ID=41702330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008175152A Pending JP2010016660A (ja) | 2008-07-04 | 2008-07-04 | シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010016660A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013051628A1 (ja) * | 2011-10-04 | 2013-04-11 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
CN103067778A (zh) * | 2013-01-06 | 2013-04-24 | 北京华兴宏视技术发展有限公司 | 数据监测***和数据监测方法 |
CN111199088A (zh) * | 2018-10-31 | 2020-05-26 | 百度在线网络技术(北京)有限公司 | 复现场景数据的方法和装置 |
CN112165621A (zh) * | 2020-09-24 | 2021-01-01 | 北京金山云网络技术有限公司 | 场景切换帧的检测方法及装置、存储介质、电子设备 |
CN113627262A (zh) * | 2021-07-13 | 2021-11-09 | 深圳力维智联技术有限公司 | 文字识别方法、装置及设备 |
-
2008
- 2008-07-04 JP JP2008175152A patent/JP2010016660A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013051628A1 (ja) * | 2011-10-04 | 2013-04-11 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
CN103067778A (zh) * | 2013-01-06 | 2013-04-24 | 北京华兴宏视技术发展有限公司 | 数据监测***和数据监测方法 |
CN103067778B (zh) * | 2013-01-06 | 2015-12-23 | 北京华兴宏视技术发展有限公司 | 数据监测***和数据监测方法 |
CN111199088A (zh) * | 2018-10-31 | 2020-05-26 | 百度在线网络技术(北京)有限公司 | 复现场景数据的方法和装置 |
CN111199088B (zh) * | 2018-10-31 | 2023-06-20 | 百度在线网络技术(北京)有限公司 | 复现场景数据的方法和装置 |
CN112165621A (zh) * | 2020-09-24 | 2021-01-01 | 北京金山云网络技术有限公司 | 场景切换帧的检测方法及装置、存储介质、电子设备 |
CN112165621B (zh) * | 2020-09-24 | 2024-01-19 | 北京金山云网络技术有限公司 | 场景切换帧的检测方法及装置、存储介质、电子设备 |
CN113627262A (zh) * | 2021-07-13 | 2021-11-09 | 深圳力维智联技术有限公司 | 文字识别方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4618166B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4241709B2 (ja) | 画像処理装置 | |
JP4847165B2 (ja) | 映像記録再生方法及び映像記録再生装置 | |
JP4645707B2 (ja) | コンテンツデータ処理装置 | |
JP4924447B2 (ja) | シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置 | |
US8184947B2 (en) | Electronic apparatus, content categorizing method, and program therefor | |
US20070010998A1 (en) | Dynamic generative process modeling, tracking and analyzing | |
US8363726B2 (en) | Electronic apparatus, motion vector detecting method, and program therefor | |
JP2012239085A (ja) | 画像処理装置、画像処理方法 | |
JP2010016660A (ja) | シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム | |
US20110235859A1 (en) | Signal processor | |
EP2950529B1 (en) | Video image storage method and apparatus | |
JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
JP2008035096A (ja) | 監視装置、監視方法及びプログラム | |
JP2010033532A (ja) | 電子機器、動きベクトル検出方法及びそのプログラム | |
JP2012033100A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP5070179B2 (ja) | シーン類似判定装置、そのプログラム及びサマリ映像生成システム | |
US20090268822A1 (en) | Motion vector detection by stepwise search | |
JP2009055156A (ja) | 画像再生装置、撮像装置、および画像再生方法、並びにコンピュータ・プログラム | |
JP4835540B2 (ja) | 電子機器、映像特徴検出方法及びプログラム | |
JP2003244628A (ja) | 特定シーン抽出装置 | |
JP4662169B2 (ja) | プログラム、検出方法、及び検出装置 | |
JP4893524B2 (ja) | 電子機器、映像データ判定方法及びプログラム | |
KR20140109537A (ko) | 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법 | |
JP2009042915A (ja) | 電子機器、動きベクトル検出方法及びプログラム |