JP4719889B2 - カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム - Google Patents
カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム Download PDFInfo
- Publication number
- JP4719889B2 JP4719889B2 JP2006211746A JP2006211746A JP4719889B2 JP 4719889 B2 JP4719889 B2 JP 4719889B2 JP 2006211746 A JP2006211746 A JP 2006211746A JP 2006211746 A JP2006211746 A JP 2006211746A JP 4719889 B2 JP4719889 B2 JP 4719889B2
- Authority
- JP
- Japan
- Prior art keywords
- mbt
- shot
- cut point
- frame
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、動画圧縮データのカット点を検出するカット点検出システム、及び、このカット点検出システムにより区分されるショットの内容を識別するショット識別システム、カット点検出方法、並びにカット点検出プログラムに関するものである。
近年、地上ディジタル放送やインターネット放送の一般家庭への普及がはじまるとともに、コンピュータ技術、特に、ストレージ技術の急速な発展にともない、数年前では考えられなかったテラバイト級の記憶装置が搭載されたHDDレコーダが市販されるようになってきた。
このような状況においては、多くの番組（コンテンツ）をあらかじめ録画しておき、見たいときに見るといった従来の楽しみ方だけでなく、膨大な数のコンテンツの中から、見たい場面（シーン）だけを自動的に検索したり、あるいは、スポーツ番組のように長時間の番組から見どころのシーンだけを集めたハイライトシーンを自動的に作成するといった、高機能な編集機能をもったマルチメディアデータベースへの関心が高まってきている。
このようなマルチメディアデータベースを実現するための一つの基礎技術として、一本のビデオコンテンツをシーンごとに分割して、再構成する作業が必要になる。すなわち、シーンが変化したデータ位置を特定し、各シーンをその内容に基づいて分類する作業、つまり映像インデキシングを自動的に行う方法が必要となってくる。
このような状況においては、多くの番組（コンテンツ）をあらかじめ録画しておき、見たいときに見るといった従来の楽しみ方だけでなく、膨大な数のコンテンツの中から、見たい場面（シーン）だけを自動的に検索したり、あるいは、スポーツ番組のように長時間の番組から見どころのシーンだけを集めたハイライトシーンを自動的に作成するといった、高機能な編集機能をもったマルチメディアデータベースへの関心が高まってきている。
このようなマルチメディアデータベースを実現するための一つの基礎技術として、一本のビデオコンテンツをシーンごとに分割して、再構成する作業が必要になる。すなわち、シーンが変化したデータ位置を特定し、各シーンをその内容に基づいて分類する作業、つまり映像インデキシングを自動的に行う方法が必要となってくる。
従来、この種の発明には、例えば、特許文献１に記載されたＭＰＥＧ圧縮ビデオ環境における階層的混合型ショット変換検出方法がある。
この発明では、先ず、カラーヒストグラムに基づいたショット検出アルゴリズムを適用してＩフレーム間の全域的なカラー分布の差を利用してシーン候補区間を検出する。次いで、前記検出された各候補区間内のＰフレームを付加的に復号する。次いで、隣接したＩ／Ｐ、Ｐ／ＰまたはＰ／Ｉフレーム間の全域的カラーヒストグラムの差を利用して縮小されたショット変換候補区間を求める。次いで、前記ショット変換候補区間に対し、区間内の各Ｂフレームをマクロブロックレベルで復号して、イントラ符号化ブロックの分布特性、各Ｂフレームの参照タイプ、及び参照パターンを求め、それらを利用して瞬時カット点を検出する。
この発明では、先ず、カラーヒストグラムに基づいたショット検出アルゴリズムを適用してＩフレーム間の全域的なカラー分布の差を利用してシーン候補区間を検出する。次いで、前記検出された各候補区間内のＰフレームを付加的に復号する。次いで、隣接したＩ／Ｐ、Ｐ／ＰまたはＰ／Ｉフレーム間の全域的カラーヒストグラムの差を利用して縮小されたショット変換候補区間を求める。次いで、前記ショット変換候補区間に対し、区間内の各Ｂフレームをマクロブロックレベルで復号して、イントラ符号化ブロックの分布特性、各Ｂフレームの参照タイプ、及び参照パターンを求め、それらを利用して瞬時カット点を検出する。
また、他の従来技術として、非特許文献１に記載されたカット点検出方法では、先ず、ＩフレームのＤＣ画像情報を用いてカット点を含むＧＯＰ（Group Of Picture）を検出する（非特許文献１：3.1.1 Ｉ法参照）。
続いて、前記した処理によりカット点を含むと判断されたＧＯＰに対して、ＭＢＴ(Macro Block Type)の分布を用いてフレーム単位でカット点位置を検出し（非特許文献１：3.1.2MBT法参照）、その検出の際の未検出を減らすために、前記ＧＯＰ中の各Ｂフレーム対（Bi,Bi+1）に対して、
Δ＝｜fi−bi｜＋｜fi+1−bi+1｜
（fi,fi+1:順方向予測ＭＢＴの数、bi,bi+1:逆方向予測ＭＢＴの数）
を計算し、最大値ΔmaxをとるＢフレーム対を求め、他のフレームのとる値とΔmaxの比が一定のしきい値ＴΔ以下であるとき、カット点が発生したと判断している。
そして、この従来技術によれば、前記のような段階的な処理により、９０％以上の高い検出率で瞬時カット点を検出することに成功している。
続いて、前記した処理によりカット点を含むと判断されたＧＯＰに対して、ＭＢＴ(Macro Block Type)の分布を用いてフレーム単位でカット点位置を検出し（非特許文献１：3.1.2MBT法参照）、その検出の際の未検出を減らすために、前記ＧＯＰ中の各Ｂフレーム対（Bi,Bi+1）に対して、
Δ＝｜fi−bi｜＋｜fi+1−bi+1｜
（fi,fi+1:順方向予測ＭＢＴの数、bi,bi+1:逆方向予測ＭＢＴの数）
を計算し、最大値ΔmaxをとるＢフレーム対を求め、他のフレームのとる値とΔmaxの比が一定のしきい値ＴΔ以下であるとき、カット点が発生したと判断している。
そして、この従来技術によれば、前記のような段階的な処理により、９０％以上の高い検出率で瞬時カット点を検出することに成功している。
しかしながら、前者の従来技術では、候補区間の検出、該候補区間におけるカット点の検出という段階的な検出処理が必要な上、Ｐフレームを復号する処理や、Ｂフレームをマクロブロックレベルで復号する処理等、複数回の復号処理を要するため、その処理に時間がかかる。
また、後者の従来技術においても、ＤＣ画像を用いたＧＯＰ単位での粗い検出、Ｂフレームのマクロブロックタイプの特徴を用いた検出という段階的な検出処理を要する上、検出精度を向上するためには上記のような比較的処理時間のかかる演算処理を要するため、処理の簡素化や全体的な処理時間の高速化等、改善の余地がある。
また、前者および後者の何れにおいても、カット点を検出した後に、そのカット点により区分されるショットが、どのような内容の映像であるのかを識別するまでには至っていなかった。
特開２００１−３１３９５６号公報
"マクロブロックタイプを用いたＭＰＥＧ２圧縮動画像のカット点検出"、情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol.46、No.SIG15(CVIM12)、pp.51-58、2005年10月
また、後者の従来技術においても、ＤＣ画像を用いたＧＯＰ単位での粗い検出、Ｂフレームのマクロブロックタイプの特徴を用いた検出という段階的な検出処理を要する上、検出精度を向上するためには上記のような比較的処理時間のかかる演算処理を要するため、処理の簡素化や全体的な処理時間の高速化等、改善の余地がある。
また、前者および後者の何れにおいても、カット点を検出した後に、そのカット点により区分されるショットが、どのような内容の映像であるのかを識別するまでには至っていなかった。
本発明は上記従来事情に鑑みてなされたものであり、その課題とする処は、動画圧縮データからカット点を高速且つ高精度に検出でき、更には、その検出されたカット点により区分されるショットの内容を高速且つ高精度に識別することができるカット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラムを提供することにある。
上記課題を解決するために本発明のカット点検出システムは、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段とを含むことを特徴とする。
本発明によれば、先ず、動画圧縮データからフレーム毎にＭＢＴ情報が抽出される。そして、その抽出されたＭＢＴ情報から特定のＭＢＴが含まれる頻度が求められ、その頻度的特徴が所定のＭＢＴ記号によって表される。すなわち、ＭＢＴ記号は、フレーム毎のＭＢＴ情報における特定のＭＢＴの頻度的特徴に応じて、フレーム毎に付与される記号である。
そして、このＭＢＴ記号は、フレーム順に並べられることで、複数のＭＢＴ記号からなるＭＢＴ記号列を構成する。
次に、前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点が判別される。
そして、このＭＢＴ記号は、フレーム順に並べられることで、複数のＭＢＴ記号からなるＭＢＴ記号列を構成する。
次に、前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点が判別される。
なお、上記動画圧縮データは、ＭＢＴ情報（マクロブロックタイプ情報）を含む動画圧縮データであればよく、この動画圧縮データの具体例には、MPEGデータや、H261データ等を含む。
また、上記ＭＢＴ記号は、例えば、「０」や「１」、「２」、「Ａ」、「Ｘ」等、任意に選択された記号とすればよい。
また、上記ＭＢＴ記号は、例えば、「０」や「１」、「２」、「Ａ」、「Ｘ」等、任意に選択された記号とすればよい。
また、本発明の別のカット点検出システムでは、上記ＭＢＴ記号には、順方向予測符号化のマクロブロック数の頻度が最大であることを示す第一ＭＢＴ記号と、逆方向予測符号化のマクロブロック数の頻度が最大であることを示す第二ＭＢＴ記号とが含まれ、上記ＭＢＴ記号列中における前記第一ＭＢＴ記号と前記第二ＭＢＴ記号の配列的特徴から、動画像のカット点を判別するようにしたことを特徴とする。
また、本発明の別のカット点検出システムでは、上記第一ＭＢＴ記号は、順方向予測符号化のマクロブロック数の頻度が最大であり、且つ、逆方向予測符号化のマクロブロック数とイントラ符号化のマクロブロック数との合計が所定の閾値よりも小さいことを示すものであることを特徴とする。
また、本発明の別のカット点検出システムでは、上記第二ＭＢＴ記号は、逆方向予測符号化のマクロブロック数の頻度が最大であり、且つ、順方向予測符号化のマクロブロック数とイントラ符号化のマクロブロック数との合計が所定の閾値よりも小さいことを示すものであることを特徴とする。
また、本発明の別のカット点検出システムでは、上記ＭＢＴ記号列中において二つの上記第一ＭＢＴ記号が隣り合う場合に、これらの内の先頭のＭＢＴ記号に対応するフレームの直前を、カット点とすることを特徴とする。
また、本発明の別のカット点検出システムでは、上記ＭＢＴ記号列中において二つの上記第二ＭＢＴ記号が隣り合う場合に、これらの内の末尾のＭＢＴ記号に対応するフレームの直後を、カット点とすることを特徴とする。
また、本発明の更に別のカット点検出システムでは、上記ＭＢＴ記号列中において上記第一ＭＢＴ記号と上記第二ＭＢＴ記号とがフレーム順に隣り合う場合に、これら二つのＭＢＴ記号に対応する二つのフレームの間を、カット点とすることを特徴とする。
また、本発明のショット識別システムでは、上記カット点検出システムにより検出された二つのカット点間を識別対象となるショットとする手段と、前記識別対象となるショットについて上記カット点検出システムにより作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する手段とを含むことを特徴とする。
また、第二の発明のショット識別システムでは、上記推定モデルは、あらかじめ識別したいショットであるイベントショットが含まれる動画圧縮データから特定のイベントショットを選定し、この特定のイベントショット毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベントショット毎に学習させるようにしたものを用いることを特徴とする。
また、第三の発明のショット識別システムでは、上記推定モデルが隠れマルコフモデルであることを特徴とする。
また、第四の発明のショット識別方法では、コンピュータが、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出するステップと、コンピュータが、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成するステップと、コンピュータが前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別するステップと、を含むカット点検出方法と、前記カット点検出方法により検出された二つのカット点間を識別対象となるショットとするステップと、前記識別対象となるショットについて前記カット点検出方法により作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別するステップと、を含むことを特徴とする。
また、第五の発明のカット点検出プログラムでは、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段と、前記カット点を判別する手段により検出された二つのカット点間を識別対象となるショットとする手段と、前記識別対象となるショットについて前記カット点を判別手段により作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する手段として、コンピュータを機能させることを特徴とする。
本発明は、以上説明したように構成されているので、以下に記載されるような作用効果を奏する。
本発明によれば、動画圧縮データから復号処理を行うことなく直接的にＭＢＴ情報が抽出され、このＭＢＴ情報に含まれる特定のＭＢＴの頻度的特徴に基づきＭＢＴ記号列が作成され、そして、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴からカット点が判別される。
したがって、ＤＣ画像情報を用いた処理や、動画圧縮データを復号する処理、非特許文献２に記載された演算処理等を必要とせず、比較的簡単な処理だけでもって、カット点を高速且つ高精度に検出することができる。
更に、カット点検出の際に用いたＭＢＴ記号列を用いて、前記カット点により区分されたショットの内容を高速且つ高精度に識別することが可能になる。
本発明によれば、動画圧縮データから復号処理を行うことなく直接的にＭＢＴ情報が抽出され、このＭＢＴ情報に含まれる特定のＭＢＴの頻度的特徴に基づきＭＢＴ記号列が作成され、そして、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴からカット点が判別される。
したがって、ＤＣ画像情報を用いた処理や、動画圧縮データを復号する処理、非特許文献２に記載された演算処理等を必要とせず、比較的簡単な処理だけでもって、カット点を高速且つ高精度に検出することができる。
更に、カット点検出の際に用いたＭＢＴ記号列を用いて、前記カット点により区分されたショットの内容を高速且つ高精度に識別することが可能になる。
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係わるカット点検出システムおよびショット識別システムの構成を示すブロック図であり、本発明の特徴を明確にするために、一般的なＭＰＥＧ復号器の構成を同ブロック図に併せて記載している。
図１は、本発明に係わるカット点検出システムおよびショット識別システムの構成を示すブロック図であり、本発明の特徴を明確にするために、一般的なＭＰＥＧ復号器の構成を同ブロック図に併せて記載している。
図１に示すように、ＤＶＤやハードディスク等の記録媒体に記憶された動画圧縮データは、バッファ１を経由して復号器２へ入力される。その一方で、本発明に係わるカット点検出システムおよびショット識別システム３は、復号前の同動画圧縮データからＭＢＴ情報（マクロブロックタイプ情報）を抽出する。
これらの構成は、例えば、コンピュータやＤＶＤレコーダ等の装置、および該装置を機能させるためのプログラムや電子回路等として実現される。
これらの構成は、例えば、コンピュータやＤＶＤレコーダ等の装置、および該装置を機能させるためのプログラムや電子回路等として実現される。
復号器２は、可変長復号化、逆量子化、逆離散コサイン変換（ＩＤＣＴ）等の周知の復号処理により動画圧縮データを復号化する装置であり、この復号器２によって復号化された動画像はディスプレイ等の表示装置に表示される。
動画圧縮データは、本実施の形態の一例によれば、ＭＰＥＧ２データを用いている。
カット点検出システムおよびショット識別システム３は、動画像圧縮データから直接ＭＢＴ情報を抽出し、そのＭＢＴ情報からＭＢＴ記号列を作成し、このＭＢＴ記号列を用いて、カット点の検出およびショットの識別を行う。
ここで、野球映像を例にして、カット点およびショットについて説明すれば、図２に示すように、動画像は、例えばホームラン等のハイライトシーンやデッドボールやフォアボール等のアクシデントが起きたシーン等、複数の連続するシーンからなる。
各シーンは、ストーリー上意味のある連続した場面のことをいい、連続する複数のショットにより構成される。ショットとは、通常１台のカメラが捉えた時間的かつ空間的に連続した場面を意味し、各ショットは連続する複数のフレームからなる。
また、カット点とは、ショットとショットの境界点、つまりカメラの切り替わりにより生じた映像の切り替わり点のことを指す。すなわち、各ショットは、カット点とカット点の間に位置することになる。
各シーンは、ストーリー上意味のある連続した場面のことをいい、連続する複数のショットにより構成される。ショットとは、通常１台のカメラが捉えた時間的かつ空間的に連続した場面を意味し、各ショットは連続する複数のフレームからなる。
また、カット点とは、ショットとショットの境界点、つまりカメラの切り替わりにより生じた映像の切り替わり点のことを指す。すなわち、各ショットは、カット点とカット点の間に位置することになる。
一般的に、カット点には、映像が急激に変化する瞬時カット点（ハードカット点とも呼称される）や、ディゾルブカット点、ワイプカット点、その他の特殊なカット点等があるが、本実施の形態で扱うカット点は瞬時カット点である。
また、本実施の形態で識別対象となる映像は、前記シーンではなく、前記ショットである。
また、本実施の形態で識別対象となる映像は、前記シーンではなく、前記ショットである。
各ショットを構成している複数のフレームは、図３に示す再生順のデータであるが、符号化されるときに順番が入れ替えられることで、同図３に示すビットストリーム順のデータとなる。
更に、このビットストリーム順のデータは、復号化されるときに順番が入れ替えられることで、元の順番（前記再生順と同じ順番）に戻され、同図３に示す出力順のデータとなる。
本実施の形態では、前記再生順または出力順のことを、フレーム順と称する。
また、本実施の形態で扱う動画圧縮データは、１５枚の圧縮された画像フレームから一つのＧＯＰ（group of picture）を構成し、この１ＧＯＰの中に、連続する２枚のＢフレームを周期的に含む一般的なＭＰＥＧ２データである。
更に、このビットストリーム順のデータは、復号化されるときに順番が入れ替えられることで、元の順番（前記再生順と同じ順番）に戻され、同図３に示す出力順のデータとなる。
本実施の形態では、前記再生順または出力順のことを、フレーム順と称する。
また、本実施の形態で扱う動画圧縮データは、１５枚の圧縮された画像フレームから一つのＧＯＰ（group of picture）を構成し、この１ＧＯＰの中に、連続する２枚のＢフレームを周期的に含む一般的なＭＰＥＧ２データである。
前記各フレームは、図４に示すように、略マス目状に配置された多数のＭＢ（macro block）からなる。各ＭＢには、ＭＢＴ（macro block type）という属性が与えられている。このＭＢＴは、ＭＢ毎に対応するコードとして動画圧縮データのマクロブロック層に書き込まれている。
ＭＢＴは、各ＭＢがどのような符号化方式により符号化されたかを示す情報であり、このＭＢＴの種類には、イントラ符号化ＭＢＴ（mbIntra）、順方向予測符号化ＭＢＴ（mbForward）、逆方向予測符号化ＭＢＴ（mbBack）、双方向予測符号化ＭＢＴ（mbInter）、その他の符号化ＭＢＴ（mbOther）等がある。
本実施の形態では、ＭＰＥＧ２方式の動画圧縮データからフレーム毎に前記ＭＢＴを抽出し、これら抽出された複数のＭＢＴを、フレーム毎にＭＢＴ情報として扱っている。
ＭＢＴは、各ＭＢがどのような符号化方式により符号化されたかを示す情報であり、このＭＢＴの種類には、イントラ符号化ＭＢＴ（mbIntra）、順方向予測符号化ＭＢＴ（mbForward）、逆方向予測符号化ＭＢＴ（mbBack）、双方向予測符号化ＭＢＴ（mbInter）、その他の符号化ＭＢＴ（mbOther）等がある。
本実施の形態では、ＭＰＥＧ２方式の動画圧縮データからフレーム毎に前記ＭＢＴを抽出し、これら抽出された複数のＭＢＴを、フレーム毎にＭＢＴ情報として扱っている。
次に、瞬時カット点が発生する位置のパターンについて説明する。
瞬時カット点が発生する位置は、一対の連続したＢフレーム（Ｂi，Ｂi+1）に注目すると、以下の(i)，(ii)，(iii)の場合に分類される。
(i) Biの直前にカット点が存在する場合
(ii) BiとBi+1の間にカット点が存在する場合
(iii) Bi+1の直後にカット点が存在する場合
以下に、それぞれの場合が生じたとき，Bフレームの符号化にどのような影響があるのかについて説明する。
瞬時カット点が発生する位置は、一対の連続したＢフレーム（Ｂi，Ｂi+1）に注目すると、以下の(i)，(ii)，(iii)の場合に分類される。
(i) Biの直前にカット点が存在する場合
(ii) BiとBi+1の間にカット点が存在する場合
(iii) Bi+1の直後にカット点が存在する場合
以下に、それぞれの場合が生じたとき，Bフレームの符号化にどのような影響があるのかについて説明する。
(i)の場合には、図５（ａ）に示すように、Bi，Bi+1はＩを参照しても類似した値を得ることができないため、類似したP に対して参照を行う。そのためBi，Bi+1共に逆方向予測を行うＭＢの数が多くなる。
(ii)の場合には、図５（ｂ）に示すように、画像の類似性からBiはＩに対しての参照を行い、Bi+1はＰに対して参照を行う。そのためBiはＩに対しての順方向予測符号化を行ったＭＢの数が多く、Bi+1 はPに対しての逆方向予測符号化を行ったＭＢの数が多くなる。
(iii)の場合には、画像の類似性からBi，Bi+1共にＩに対して参照を行う。そのためBi，Bi+1 ともに、Ｉに対しての順方向予測化を行ったＭＢの数が多くなる。
以上は特にＢフレームのみのＭＢＴ情報に注目しているが、ＰフレームのＭＢＴも、イントラ符号化ＭＢＴか順方向予測符号化ＭＢＴを選択できることになっており、その変動はやはり映像の動きに依存している。Ｐフレームは基本的には順方向予測符号化されたＭＢからなるが、図６に示すように直前にカット点が存在したり、あるいはあまりにも激しい動きのシーンであったりした場合には、過去のＩフレーム、またはＰフレームを参照することができず、Ｐフレームにイントラ符号化されたＭＢが発生することになる。
また、ＭＢの符号化方式は基本的には、イントラ符号化方式、順方向予測符号化方式、逆方向予測符号化方式、双方向予測符号化方式の４通りであるが、ＭＰＥＧ２では、これらの符号化方式によらないＭＢであって情報を何も必要としないＭＢが存在する。このようなＭＢにはコードが用意されており、読み飛ばされることになるのでスキップトマクロブロックと呼ばれる。そして、このスキップトマクロブロックは、一つ前のＭＢとＤＣＴ係数が同じになるので、特に動きが少ない場合にＰフレームに発生する。
以上の傾向はフレーム毎のＭＢＴ情報に反映されており、このことは、本願発明者が、一般的な市販のＭＰＥＧ２エンコーダにより符号化された動画圧縮データを用いて、実験的に確認している。
以上のことに基づき、本実施の形態のカット点検出システムおよびショット識別システム３では、フレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成し、このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別している。
より具体的に説明すれば、先ず、各フレームのＭＢＴ情報について、イントラ符号化ＭＢＴ（mbIntra）の数、順方向予測符号化ＭＢＴ（mbForward）の数、逆方向予測符号化ＭＢＴ（mbBack）の数、双方向予測符号化ＭＢＴ（mbInter）の数、その他の符号化ＭＢＴ（mbOther）の数が、それぞれ求められる。
次に、フレーム毎のＭＢＴ情報の頻度的特徴として、Ｂフレームであって、順方向予測符号化ＭＢＴの頻度が最大であり、且つ、逆方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、その頻度的特徴を、予め設定された第一ＭＢＴ記号により表す。この第一ＭＢＴ記号は、図７の表に示す一例によれば、数字の「０」という記号としている。
すなわち、前記条件を満たすフレームに対し、第一ＭＢＴ記号である「０」という記号が付与される。
すなわち、前記条件を満たすフレームに対し、第一ＭＢＴ記号である「０」という記号が付与される。
同様に、フレーム毎のＭＢＴ情報の頻度的特徴として、Ｂフレームであって、逆方向予測符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、その頻度的特徴を第二ＭＢＴ記号により表す。この第二ＭＢＴ記号は、図７の表に示す一例によれば、数字の「２」という記号としている。
すなわち、前記条件を満たすフレームに対し、第一ＭＢＴ記号である「２」という記号が付与される。
すなわち、前記条件を満たすフレームに対し、第一ＭＢＴ記号である「２」という記号が付与される。
その他、図７の表に例示するように、Ｂフレームであって、順方向予測符号化ＭＢＴの頻度が最大であり、且つ、逆方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「１」という記号が付与される。
また、Ｂフレームであって、逆方向予測符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「３」という記号が付与される。
また、Ｂフレームであって、イントラ符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴと逆方向予測符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、そのフレームに対し「４」という記号が付与される。
また、Ｂフレームであって、イントラ符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴと逆方向予測符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「５」という記号が付与される。
また、Ｐフレームであって、且つ、その他の符号化ＭＢＴの数が所定の閾値ｓ以上である場合には、そのフレームに対し「６」という記号が付与される。
また、Ｐフレームであって、且つ、イントラ符号化ＭＢＴの数が所定の閾値ｓ以上である場合には、そのフレームに対し「７」という記号が付与される。
また、上記記号「６」，「７」以外のＰフレームには、「８」という記号が付与される。
また、Ｂフレームであって、逆方向予測符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴとイントラ符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「３」という記号が付与される。
また、Ｂフレームであって、イントラ符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴと逆方向予測符号化ＭＢＴの数の合計が所定の閾値ｔよりも小さい場合には、そのフレームに対し「４」という記号が付与される。
また、Ｂフレームであって、イントラ符号化ＭＢＴの頻度が最大であり、且つ、順方向予測符号化ＭＢＴと逆方向予測符号化ＭＢＴの数の合計が所定の閾値ｔ以上である場合には、そのフレームに対し「５」という記号が付与される。
また、Ｐフレームであって、且つ、その他の符号化ＭＢＴの数が所定の閾値ｓ以上である場合には、そのフレームに対し「６」という記号が付与される。
また、Ｐフレームであって、且つ、イントラ符号化ＭＢＴの数が所定の閾値ｓ以上である場合には、そのフレームに対し「７」という記号が付与される。
また、上記記号「６」，「７」以外のＰフレームには、「８」という記号が付与される。
なお、Ｉフレームは他のフレームを参照しない静的なフレームであり、カット点検出およびショット識別のために直接的に寄与するフレームでないので、前記記号を付与していないが、必要に応じて、このＩフレームに例えば「９」等の記号を付与するようにしてもよい。
上記のように閾値ｔという制約を与えるのは、カット点の誤検出減らすためであり、この閾値ｔは実験的に適宜な値に決められている。
また、閾値ｓは後述するショット識別の際に、その識別率を向上するためのものであり、この閾値ｓも実験的に適宜な値に決められている。
また、閾値ｓは後述するショット識別の際に、その識別率を向上するためのものであり、この閾値ｓも実験的に適宜な値に決められている。
そして、上記のようにして作成されたＭＢＴ記号は、図８に例示するように、フレーム順に対応するように並べられることで、一連のＭＢＴ記号列を構成する。
したがって、このＭＢＴ記号列において、各ＭＢＴ記号は、対応するフレームにおける特定のＭＢＴの頻度的特徴を表していることになる。
したがって、このＭＢＴ記号列において、各ＭＢＴ記号は、対応するフレームにおける特定のＭＢＴの頻度的特徴を表していることになる。
次に、本実施の形態のカット点検出システムおよびショット識別システム３は、図８（ａ）に示すように、上記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴として、二つの上記第一ＭＢＴ記号（具体的には記号「０」）が隣り合う場合には、これらの内の先頭のＭＢＴ記号に対応するフレームの直前を、瞬時カット点とする。
また、図８（ｂ）に示すように、上記第一ＭＢＴ記号（具体的には「０」）と上記第二ＭＢＴ記号（具体的には「２」）とがフレーム順に隣り合う場合には、これら二つのＭＢＴ記号に対応する二つのフレームの間を、瞬時カット点とする。
また、図８（ｃ）に示すように、二つの上記第二ＭＢＴ記号（具体的には記号「２」）が隣り合う場合には、これらの内の末尾のＭＢＴ記号に対応するフレームの直後を、瞬時カット点とする。
また、図８（ｂ）に示すように、上記第一ＭＢＴ記号（具体的には「０」）と上記第二ＭＢＴ記号（具体的には「２」）とがフレーム順に隣り合う場合には、これら二つのＭＢＴ記号に対応する二つのフレームの間を、瞬時カット点とする。
また、図８（ｃ）に示すように、二つの上記第二ＭＢＴ記号（具体的には記号「２」）が隣り合う場合には、これらの内の末尾のＭＢＴ記号に対応するフレームの直後を、瞬時カット点とする。
次に、カット点検出システムおよびショット識別システム３は、上記のようにしてＭＢＴ記号列を用いて検出された二つのカット点間を、識別対象となるショットとし、このショットについて、上記のようにして作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する。
この推定モデルは、あらかじめ識別したいショットであるイベントが含まれる動画圧縮データから特定のイベントを選定し、この特定のイベント毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベント毎に学習させるようにしたものが用いられる。
この推定モデルは、あらかじめ識別したいショットであるイベントが含まれる動画圧縮データから特定のイベントを選定し、この特定のイベント毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベント毎に学習させるようにしたものが用いられる。
本実施の形態の好ましい一例によれば、上記推定モデルとして隠れマルコフモデル（ＨＭＭ）を用いている。このＨＭＭは、不確定な時系列のデータをモデル化するための有効な統計手法である。以下に、このＨＭＭについて詳細に説明する。
（ＨＭＭの要素）
観測系列を
Ｏ＝（ｏ１，ｏ２，・・・，ｏＴ）
とした場合、離散シンボル確率事象のHMMはパラメータとして状態遷移確率、シンボル出力確率、初期状態確率を持ち、次のように表現される。
１．Ｎ：モデルの状態数
使用したモデルはすべての状態から他のあらゆる状態に遷移できるように連結されているものとした(すなわち、エルゴディック(ergodic) モデル)。各状態は｛１，２，・・・｝とラベルを付与し、時刻ｔの状態をｑｔと表す。
２．Ｍ：各状態における観測シンボル数、つまりシンボルの種類のことであり、本実施の形態においてはＭＢＴ記号列に与える記号の種類にあたる。個々のシンボルをＶ＝｛ｖ１，ｖ２，・・・，ｖＭ｝とおく。
３．Ａ＝｛ａｉｊ｝：状態遷移確率行列，ａｉｊは状態ｉから状態ｊへの遷移確率である。ここで、
４．Ｂ＝｛ｂＪ(ｋ)｝：観測シンボル確率分布、ここで、
これは状態ｊ，（ｊ＝１，２，・・・，Ｎ）におけるシンボル分布を定義する。
５．π＝｛πｉ｝：初期状態確率分布、ここで
上記から、ＨＭＭを完全に記述するためには、Ｎ，Mの２つのモデルパラメータ、観測シンボル、そしてＡ，Ｂ，πの３つの確率尺度の集合が必要となる。ここでは簡単のため、モデルのパラメータ集合全体を示すために、次の簡単な表記を用いる。
このパラメータ集合を使ってＯに対する確率、Ｐ(O|λ) を定義することができる。
観測系列を
Ｏ＝（ｏ１，ｏ２，・・・，ｏＴ）
とした場合、離散シンボル確率事象のHMMはパラメータとして状態遷移確率、シンボル出力確率、初期状態確率を持ち、次のように表現される。
１．Ｎ：モデルの状態数
使用したモデルはすべての状態から他のあらゆる状態に遷移できるように連結されているものとした(すなわち、エルゴディック(ergodic) モデル)。各状態は｛１，２，・・・｝とラベルを付与し、時刻ｔの状態をｑｔと表す。
２．Ｍ：各状態における観測シンボル数、つまりシンボルの種類のことであり、本実施の形態においてはＭＢＴ記号列に与える記号の種類にあたる。個々のシンボルをＶ＝｛ｖ１，ｖ２，・・・，ｖＭ｝とおく。
３．Ａ＝｛ａｉｊ｝：状態遷移確率行列，ａｉｊは状態ｉから状態ｊへの遷移確率である。ここで、
５．π＝｛πｉ｝：初期状態確率分布、ここで
（モデルを用いての認識）
本実施の形態では、HMMを用いる際、対象とするイベント(ショット単位)の種類の数だけのHMMを用意し、認識したいデータに対して、それぞれのHMMからそのデータが出力される確率の計算を行うことで、認識を行う。つまり、各イベントの種類の数だけ｛λ1,λ2,・・・,λn｝を用意し、それぞれに対して，P(O|λi)を計算し、その最大のものをもってデータの属するイベントとする。基本的には、P(O|λi)は可能な状態遷移に対する確率を加え合わせたものであるが、通常、計算量が多くなり過ぎるので効率良く計算することが重要になる。このための方法としてforwardアルゴリズムと呼ばれるものを説明する。これは認識の過程だけではなく、パラメータ推定の際にも用いる。
本実施の形態では、HMMを用いる際、対象とするイベント(ショット単位)の種類の数だけのHMMを用意し、認識したいデータに対して、それぞれのHMMからそのデータが出力される確率の計算を行うことで、認識を行う。つまり、各イベントの種類の数だけ｛λ1,λ2,・・・,λn｝を用意し、それぞれに対して，P(O|λi)を計算し、その最大のものをもってデータの属するイベントとする。基本的には、P(O|λi)は可能な状態遷移に対する確率を加え合わせたものであるが、通常、計算量が多くなり過ぎるので効率良く計算することが重要になる。このための方法としてforwardアルゴリズムと呼ばれるものを説明する。これは認識の過程だけではなく、パラメータ推定の際にも用いる。
（Forward Algorithm）
前向き変数αｔ(i)を以下のように定義する。
これは、モデルλが与えられたときに、部分的な観測系列ｏ１ｏ２・・・ｏｔを時刻ｔまでに出力し、時刻ｔに状態ｉに存在する確率である．αt(i)は以下のように帰納的に計算できる。
1) 初期化:
2) 帰納:
3) 終了:
初期化ステップでは、前向き確率を、状態ｉと初期観測事象ｏ１の同時確率として初期化する。帰納ステップは図９のようになっており、この図は時刻ｔで到達可能なＮ個の状態ｉ，（１≦ｉ≦Ｎ）から、時刻ｔ＋１で状態ｊにいかに到達できるかを示している。
前向き変数αｔ(i)を以下のように定義する。
1) 初期化:
αt(i)は、ｏ１ｏ２・・・ｏｔが観測され、時刻ｔで状態ｉを経た後に時刻ｔ＋１で状態ｊに到達する同時事象の確率である。この積を時刻ｔにおける可能なＮ個の全ての状態ｉ，（１≦ｉ≦Ｎ）で総和した結果は、時刻ｔ以前の部分的な観測事象のすべてを考慮して時刻ｔ＋１で状態ｊに存在する確率である。一旦、これが計算され、ｊが決まれば、状態ｊの観測事象ｏt+1を考慮することにより、つまり、確率bj(ot+1)を総和した結果に掛け合わせることにより、αt+1(j)が得られる。数７に示す式の計算は、時刻ｔのすべての状態ｊ，（１≦ｊ≦Ｎ）に対して実行され、さらにｔ＝１，２，・・・Ｔ−１に対して繰り返される。
最後に、目的である確率P(O|λ)は、終了ステップによって、前向き確率の終端の確率αT(i)を総和して求められる。なぜなら定義から
であるから、P(O|λ)は単なるαT(i)の総和になるのである。
最後に、目的である確率P(O|λ)は、終了ステップによって、前向き確率の終端の確率αT(i)を総和して求められる。なぜなら定義から
（学習）
ＨＭＭを実際に用いる場合、モデルパラメータ(A,B,π)をいかに決定するかが問題となる。観測系列の確率を最大化するモデルパラメータ集合を、解析的に直接求める方法は知られていない。しかし、Baum-Welch法という尤度P(O|λ)が局所的に最大になるモデルパラメータλ=(A,B,π)を求める方法が知られており(Lawrence Rabiner，Biing-Hwang Juang 共著”Fundamentals of Speech Recognition”，1993 参照)。本実施の形態でもこれを用いることにした。ここではBaum-welch法について説明するが、そのために必要なアルゴリズムとして、Backward Algorithm アルゴリズムについて説明する。
ＨＭＭを実際に用いる場合、モデルパラメータ(A,B,π)をいかに決定するかが問題となる。観測系列の確率を最大化するモデルパラメータ集合を、解析的に直接求める方法は知られていない。しかし、Baum-Welch法という尤度P(O|λ)が局所的に最大になるモデルパラメータλ=(A,B,π)を求める方法が知られており(Lawrence Rabiner，Biing-Hwang Juang 共著”Fundamentals of Speech Recognition”，1993 参照)。本実施の形態でもこれを用いることにした。ここではBaum-welch法について説明するが、そのために必要なアルゴリズムとして、Backward Algorithm アルゴリズムについて説明する。
（Backward Algorithm）
Forward Algorithmと同様にして、以下に定義する後ろ向き変数を考えることができる。
これは、モデルλと時刻ｔにおける状態ｉが与えられたとき、時刻ｔ＋１から終端までの部分的な観測系列の確率である。βt(i)も以下のように帰納的に計算できる。
1) 初期化:
2) 帰納:
初期化ステップでは、βT(i)がすべてのｉに対して１になるように定義する。図１０は以下の事柄を示す。時刻ｔに状態ｉに存在し、時刻ｔ＋１以降の観測系列を考慮するためには、時刻ｔ＋１において到達可能なすべての状態ｊと、ｉからｊへの遷移(aij項)、状態ｊの観測事象ot+1(bj(ot+1) 項)、状態ｊ以降の部分観測系列(βt+1(j)項)を考慮しなければならない。上記で求めた前向き変数とこの後ろ向き変数を用いてＨＭＭパラメータの再推定手法(Baum-Welch 法)について説明する。
Forward Algorithmと同様にして、以下に定義する後ろ向き変数を考えることができる。
1) 初期化:
（Baum-Welch Algorithm）
初めに、モデルと観測系列が与えられたとき、時刻ｔに状態ｉに存在し、時刻ｔ＋１に状態ｊに存在する確率ξt(i,j)を定義する。すなわち、
数１３に示す式の条件を満足するパスを図１１に示す。前向き、後ろ向き変数の定義から、ξt(i,j)は次のように書ける。
また、モデルと観測系列全体が与えられたときに、時刻ｔで状態ｉに存在する確率γt(i)を次のように定義する。
P(O,qt=i|λ)は前向き変数と後ろ向き変数を使って表すと、αt(i)βt(i)となるので、γt(i)は次のように書ける。
これより、γt(i)はξt(i,j)をjについて総和したものとして関係づけられる。つまり
γt(i)を時刻ｔについて和をとれば、状態ｉを訪れた回数の期待値とみなせる値を得ることができる。その総和から時刻ｔ＝Ｔを除いたものは等価的に状態ｉから遷移する回数の期待値になる。同様にξt(i,j)のｔについての(ｔ＝１からｔ＝Ｔ−１までの)総和は状態ｉから状態ｊへ遷移する回数の期待値となる。つまり、
上記の式および、事象の発生回数を数える概念を用いて、ＨＭＭのパラメータの再推定手法を示すことができる。π,A,Bの適切な再推定式は次のようになる。
仮に現在のモデルをλ=(A,B,π)として、これを数20〜22に示す式の右辺を計算するために用いるとする。そして数20〜22に示す式の左辺によって決定される再推定モデルを、以下の数23に示す式のように定義する。
Baumら（Lawrence Rabiner，Biing-Hwang Juang 共著”Fundamentals of Speech Recognition”，1993 参照）はモデルバーλ（バーは論理否定記号付記号を意味する。）がモデルλよりも以下の数24に示す式の意味で、よりもっともらしいことを証明した。つまり、観測系列が生成された可能性がより高い新しいモデルバーλを手に入れることができた。
初めに、モデルと観測系列が与えられたとき、時刻ｔに状態ｉに存在し、時刻ｔ＋１に状態ｊに存在する確率ξt(i,j)を定義する。すなわち、
上記の手法に基づいて、バーλをλに入れ替えて繰り返し使いながら再推定計算を繰り返せば，Ｏがそのモデルから観測されたという確率を、ある限界点に達するまで高めることができる。この再推定手法の最終結果は、ＨＭＭの最尤推定値になる。本実施の形態ではこの再推定手法(Forward Algorithm・Backward Algorithm・Baum-Welch Algorithm)のプログラムをJava(登録商標)で作成し、学習・認識の実験を行った。ただし、実際にこの再推定の計算をこの通りに行うと、例えば前向き変数αt(i)の各項は指数的に０に向かい始める。よって基本的にはあらゆる計算機の精度を越えてしまうので、この計算を実現するためには、スケーリングという処理を行う必要がある。
次に、上記隠れマルコフモデル（ＨＭＭ）によりショットを識別する際の具体的手順について説明する。
（イベントショットの学習）
先ず、識別したいショットである特定のイベントショットが含まれる動画圧縮データについて、上述したＭＢＴ記号列が作成される。
前記特定のイベントショットには、例えば、動画圧縮データが野球映像である場合において、投球ショットや、ファールフライのショット、フライアウトのショット、バッターのアップのショット、プレイヤーのアップのショット等が挙げられる。
先ず、識別したいショットである特定のイベントショットが含まれる動画圧縮データについて、上述したＭＢＴ記号列が作成される。
前記特定のイベントショットには、例えば、動画圧縮データが野球映像である場合において、投球ショットや、ファールフライのショット、フライアウトのショット、バッターのアップのショット、プレイヤーのアップのショット等が挙げられる。
そして、同動画圧縮データが、カット点によりショット単位に分割される。
なお、この際のカット点は、上述したようにＭＢＴ記号列を用いて検出すればよいが、他の周知技術により検出するようにしてもよい。
なお、この際のカット点は、上述したようにＭＢＴ記号列を用いて検出すればよいが、他の周知技術により検出するようにしてもよい。
次に、ショット単位に分割された各映像を目視確認することにより、正解となるイベントショットがＭＢＴ記号列中におけるどの範囲に対応するかを調べる。
そして、正解となるイベントショットに対応するＭＢＴ記号列に対し正解ラベルを付与することで、このＭＢＴ記号列が学習対象ＭＢＴ記号列とされる。
そして、正解となるイベントショットに対応するＭＢＴ記号列に対し正解ラベルを付与することで、このＭＢＴ記号列が学習対象ＭＢＴ記号列とされる。
そして、各学習対象ＭＢＴ記号列に対して、上述したBaum-Welchアルゴリズムを用いて、ＨＭＭのモデルパラメータを推定する。これでイベント毎の推定モデルであるＨＭＭが構築される。
以上は、ショット識別のための前段階として手動で行われる前処理である。
以下に、カット点検出システムおよびショット識別システム３が自動的に行うショット識別処理について、図１２に基づき詳細に説明する。
以下に、カット点検出システムおよびショット識別システム３が自動的に行うショット識別処理について、図１２に基づき詳細に説明する。
（イベントショットの識別）
既に説明したように、カット点検出システムおよびショット識別システム３は、識別対象となるショットが含まれる動画像圧縮データ１０から、フレーム毎にＭＢＴ情報を抽出し、このＭＢＴ情報に基づき、図７に示す表の条件に応じて各フレームに所定の記号を付与することで、ＭＢＴ記号列１１を作成する。そして、ＭＢＴ記号列１１における第一ＭＢＴ記号（「０」）と第二ＭＢＴ記号（「２」）の配列的特徴からカット点を検出し、検出された二つのカット点間に位置する複数のフレームを、識別対象のショット１３とする。
既に説明したように、カット点検出システムおよびショット識別システム３は、識別対象となるショットが含まれる動画像圧縮データ１０から、フレーム毎にＭＢＴ情報を抽出し、このＭＢＴ情報に基づき、図７に示す表の条件に応じて各フレームに所定の記号を付与することで、ＭＢＴ記号列１１を作成する。そして、ＭＢＴ記号列１１における第一ＭＢＴ記号（「０」）と第二ＭＢＴ記号（「２」）の配列的特徴からカット点を検出し、検出された二つのカット点間に位置する複数のフレームを、識別対象のショット１３とする。
次に、カット点検出システムおよびショット識別システム３は、上記カット点により分割された全てのショット１３について、そのショット１３毎のＭＢＴ記号列１１ａに対して、識別処理を行う。
詳細に説明すれば、各ショット１３に対応するＭＢＴ記号列１１ａについて、各イベントショット毎に用意されている推定モデル１４（具体的にはＨＭＭ）から出力される確率を計算し、最も出力確率が大きい推定モデル１４から出力されたものとする。このようにして、各ショット１３がどのイベントショットに属するかが識別される。
詳細に説明すれば、各ショット１３に対応するＭＢＴ記号列１１ａについて、各イベントショット毎に用意されている推定モデル１４（具体的にはＨＭＭ）から出力される確率を計算し、最も出力確率が大きい推定モデル１４から出力されたものとする。このようにして、各ショット１３がどのイベントショットに属するかが識別される。
なお、上記実施の形態によれば推定モデルとしてＨＭＭ（隠れマルコフモデル）を用いた一例を示したが、他例としては、学習型の他のアルゴリズム（例えば、遺伝アルゴリズムやニュートラルネットワーク等）を用いることも可能である。
（瞬時カット点検出実験）
次に、上記構成のカット点検出システムおよびショット識別システム３を用いて、実際の野球映像のMPEG2データからカット点を検出する実験を行った結果について説明する。
まず使用したMPEG2データ、そしてカット点検出の評価方法について説明する。
（使用映像）
使用した映像はMPEGキャプチャーボックスを市販のPCに取り付け、DVDレコーダから入力した映像データからMPEG2動画像データを作成した。
動画像は、解像度640×480、ビットレートは平均5.5Mbps、最大8MbpsのVBR(Variable Bit Rate，可変速度)。
プロファイルとレベルは、MP@ML，GOPはIBBPBBPBBPBBPBBIBB・・・というPフレームの後にBフレームが2枚続くN=2の構成をしている。1つのGOPは基本的にはIフレーム1枚、Pフレーム4枚，Bフレーム10枚の計15枚だが、それ以外のランダムGOPも存在し、その場合のランダムGOPは15枚未満の3の倍数で構成される。そして1GOPの時間間隔は0.5秒である。
次に、上記構成のカット点検出システムおよびショット識別システム３を用いて、実際の野球映像のMPEG2データからカット点を検出する実験を行った結果について説明する。
まず使用したMPEG2データ、そしてカット点検出の評価方法について説明する。
（使用映像）
使用した映像はMPEGキャプチャーボックスを市販のPCに取り付け、DVDレコーダから入力した映像データからMPEG2動画像データを作成した。
動画像は、解像度640×480、ビットレートは平均5.5Mbps、最大8MbpsのVBR(Variable Bit Rate，可変速度)。
プロファイルとレベルは、MP@ML，GOPはIBBPBBPBBPBBPBBIBB・・・というPフレームの後にBフレームが2枚続くN=2の構成をしている。1つのGOPは基本的にはIフレーム1枚、Pフレーム4枚，Bフレーム10枚の計15枚だが、それ以外のランダムGOPも存在し、その場合のランダムGOPは15枚未満の3の倍数で構成される。そして1GOPの時間間隔は0.5秒である。
（瞬時カット点検出評価方法）
まず，瞬時カット点検出の結果を以下の式を用いて評価する。
・CSC(Correct Scene Change)： 既知正解カット点数
・CD(Correct Detection)： 正しく検出されたカット点数
・FD(False Detection)： 誤検出したカット点数
・CD+FD： カット点として検出した数
これらを用いて，検出率, 誤検出率, 検出性能を以下のように定義する。
・RCD(Rate of Correct Detection)： 検出率
RCD = 100(CD/CSC) (4.1)
検出率はどれくらい正しいカット点を検出できたかを調べるために用いる.
・RFD(Rate of False Detection)： 誤検出率
RFD = 100{FD/(CD + FD)} (4.2)
誤検出率は検出したカット点の中でどれくらい誤検出を含んでいるかを調べるために用いる。
・DP(Detection Performance)： 検出性能
DP = 100{(CD - FD)/CSC} (4.3)
検出性能は検出率と誤検出率を統合的に判断するために用いる。カット点検出では検出率だけ良くても誤検出率が高ければ実用的ではない。そのため両方の検出率を共に評価できる指標としてDPを設定する。実験においてはDP の値が高くなるものを最も良いものとする。
まず，瞬時カット点検出の結果を以下の式を用いて評価する。
・CSC(Correct Scene Change)： 既知正解カット点数
・CD(Correct Detection)： 正しく検出されたカット点数
・FD(False Detection)： 誤検出したカット点数
・CD+FD： カット点として検出した数
これらを用いて，検出率, 誤検出率, 検出性能を以下のように定義する。
・RCD(Rate of Correct Detection)： 検出率
RCD = 100(CD/CSC) (4.1)
検出率はどれくらい正しいカット点を検出できたかを調べるために用いる.
・RFD(Rate of False Detection)： 誤検出率
RFD = 100{FD/(CD + FD)} (4.2)
誤検出率は検出したカット点の中でどれくらい誤検出を含んでいるかを調べるために用いる。
・DP(Detection Performance)： 検出性能
DP = 100{(CD - FD)/CSC} (4.3)
検出性能は検出率と誤検出率を統合的に判断するために用いる。カット点検出では検出率だけ良くても誤検出率が高ければ実用的ではない。そのため両方の検出率を共に評価できる指標としてDPを設定する。実験においてはDP の値が高くなるものを最も良いものとする。
カット点の検出率などを出すため既知正解カット点をあらかじめ見つけておかなくてはならない。これは実際の映像を見ていきながら目で見て確認し、手作業で正解カット点にラベルを与えていった。
なお、カット点検出や後の隠れマルコフモデル構築のためのBaum-WelchプログラムはJAVA（登録商標）にて作成した。JAVA（登録商標）の言語仕様は型チェックが厳密であること、入出力エラーのハンドリングに優れていることなどからデバックが容易であるという利点を持つ。さらにJAVA（登録商標）はマルチプラットフォームを目指したプログラミング言語であるためOSによる依存が非常に少ない。様々なOSが普及している世の中でこのように1つの共通のソースコードで様々な環境で使えるという点からJAVA（登録商標）を使用した。
なお、カット点検出や後の隠れマルコフモデル構築のためのBaum-WelchプログラムはJAVA（登録商標）にて作成した。JAVA（登録商標）の言語仕様は型チェックが厳密であること、入出力エラーのハンドリングに優れていることなどからデバックが容易であるという利点を持つ。さらにJAVA（登録商標）はマルチプラットフォームを目指したプログラミング言語であるためOSによる依存が非常に少ない。様々なOSが普及している世の中でこのように1つの共通のソースコードで様々な環境で使えるという点からJAVA（登録商標）を使用した。
（瞬時カット点検出実験の評価）
以下の野球映像（MPEG2データ）で実験を行う。
また、Ｂフレームに対してＭＢＴ記号列を作成する際、図７に示す表の閾値ｔはｔ＝３５０とした。
（検出結果）
それぞれの野球映像における提案法の検出結果を以下に示す。
（１）野球１
（２）野球２
（３）野球３
以下の野球映像（MPEG2データ）で実験を行う。
（検出結果）
それぞれの野球映像における提案法の検出結果を以下に示す。
（１）野球１
（考察）
＜検出率＞
野球1，野球2，野球3すべてにおいて、97％以上という非常に高い結果を得る事ができた。＜誤検出率＞
誤検出もまた、すべての場合において3％未満と非常に低く抑えられていることがわかる。また誤検出となったところも、カメラが選手を撮影している時に別の選手が一瞬横切った場合などに発生した場合が多く、やむを得ない誤検出であった。
＜検出性能＞
検出性能は野球3において94.3％と若干低くなっているが、それでも十分実用的であるといえる。従来技術として非特許文献２で行っているカット点検出実験においては、スポーツ映像に対してこの検出性能が92.31％であり、従来技術と比べてもより簡単な処理であるうえ、優れた結果であることがわかる。
＜検出率＞
野球1，野球2，野球3すべてにおいて、97％以上という非常に高い結果を得る事ができた。＜誤検出率＞
誤検出もまた、すべての場合において3％未満と非常に低く抑えられていることがわかる。また誤検出となったところも、カメラが選手を撮影している時に別の選手が一瞬横切った場合などに発生した場合が多く、やむを得ない誤検出であった。
＜検出性能＞
検出性能は野球3において94.3％と若干低くなっているが、それでも十分実用的であるといえる。従来技術として非特許文献２で行っているカット点検出実験においては、スポーツ映像に対してこの検出性能が92.31％であり、従来技術と比べてもより簡単な処理であるうえ、優れた結果であることがわかる。
（ショット識別実験）
次に、上記構成のカット点検出システムおよびショット識別システム３を用いて、実際の野球映像のMPEG2データに対して、ショットの識別を行う実験を行った結果について説明する。
実行環境や使用した動画像については、上述した実施例１に記載した実験と同様である。また、瞬時カット点検出評価方法と同様、ここでは投球ショット検出評価方法を以下のように定める。
（ショット識別評価方法）
ショットの識別によって投球ショットがどれだけ正しく認識することができたかを以下の式を用いて評価する。
・CS(Correct Shot)： 既知正解投球ショット
・CR(Correct recognition)： 正しく認識された投球ショット数
・FR(False recognition)： 誤認識した投球ショット数
・CR+FR： ショット数として認識した数
これらを用いて、認識率，誤認識率，認識性能を以下のように定義する。
・RCR(Rate of Correct recognition)： 認識率
RCR = 100(CR/CS) (4.4)
認識率はどれくらい正しい投球ショットを認識できたかを調べるために用いる。
・RFR(Rate of False recognition)： 誤認識率
RFR = 100{FR/(CR + FR)} (4.5)
誤認識率は認識した投球ショットの中でどれくらい誤認識を含んでいるかを調べるために用いる。
・RP(recognition Performance)： 認識性能
RP = 100{(CR - FR)/CS} (4.6)
認識性能は認識率と誤認識率を統合的に判断するために用いる。カット点と同様，投球ショットでは認識率だけ良くても誤認識率が高ければ実用的ではない。そのため両方の認識率を共に評価できる指標としてRPを設定する。実験においてはRPの値が高くなるものを最も良いものとする。
投球ショットの認識率などを出すため既知正解投球ショットをあらかじめ見つけておかなくてはならない。また、認識実験の結果として、投球ショットの誤認識あるいは認識されなかった場合、そのショットがどのようなショットであるか、確かめる必要がある。そこで投球だけでなく、映像を見ながら全てのショットに対して手作業で正解ラベルを振った。
次に、上記構成のカット点検出システムおよびショット識別システム３を用いて、実際の野球映像のMPEG2データに対して、ショットの識別を行う実験を行った結果について説明する。
実行環境や使用した動画像については、上述した実施例１に記載した実験と同様である。また、瞬時カット点検出評価方法と同様、ここでは投球ショット検出評価方法を以下のように定める。
（ショット識別評価方法）
ショットの識別によって投球ショットがどれだけ正しく認識することができたかを以下の式を用いて評価する。
・CS(Correct Shot)： 既知正解投球ショット
・CR(Correct recognition)： 正しく認識された投球ショット数
・FR(False recognition)： 誤認識した投球ショット数
・CR+FR： ショット数として認識した数
これらを用いて、認識率，誤認識率，認識性能を以下のように定義する。
・RCR(Rate of Correct recognition)： 認識率
RCR = 100(CR/CS) (4.4)
認識率はどれくらい正しい投球ショットを認識できたかを調べるために用いる。
・RFR(Rate of False recognition)： 誤認識率
RFR = 100{FR/(CR + FR)} (4.5)
誤認識率は認識した投球ショットの中でどれくらい誤認識を含んでいるかを調べるために用いる。
・RP(recognition Performance)： 認識性能
RP = 100{(CR - FR)/CS} (4.6)
認識性能は認識率と誤認識率を統合的に判断するために用いる。カット点と同様，投球ショットでは認識率だけ良くても誤認識率が高ければ実用的ではない。そのため両方の認識率を共に評価できる指標としてRPを設定する。実験においてはRPの値が高くなるものを最も良いものとする。
投球ショットの認識率などを出すため既知正解投球ショットをあらかじめ見つけておかなくてはならない。また、認識実験の結果として、投球ショットの誤認識あるいは認識されなかった場合、そのショットがどのようなショットであるか、確かめる必要がある。そこで投球だけでなく、映像を見ながら全てのショットに対して手作業で正解ラベルを振った。
（イベントショットに対するＨＭＭの構築）
まず、イベントショットの推定モデルであるHMMを構築する必要がある。HMMの種類は、投球ショット、ファールフライのショット、フライアウトのショット、バッターのアップのショット、プレイヤーのアップのショットの５種類とする。
学習段階としては、各イベントショットの正解ショットを野球１（表１参照）から３カ所ずつ探し、正解ショットのMBT記号列を学習対象ＭＢＴ記号列とした。この学習対象ＭＢＴ記号列を上記Baum-Welchアルゴリズムを用いて、HMMを構成するモデルパラメータを推定した。
今回使用したHMMは状態数N = 4 ですべての状態から他のあらゆる状態に遷移できるように連結されているものとした。また観測シンボルには図７に示すMBT記号からなるＭＢＴ記号列を用いるため、観測シンボル数M = 9 となる。またその際の閾値ｔ，ｓはそれぞれｔ＝350，ｓ＝150 とした。以下に各イベントショットのモデルパラメータを示す。モデルは各イベントショット毎に３つずつ構築した。
また，各パラメータは、π = {πi}:初期状態確率，A = {aij}:状態遷移確率，B = {bj(k)}:観測シンボル確率である。
まず、イベントショットの推定モデルであるHMMを構築する必要がある。HMMの種類は、投球ショット、ファールフライのショット、フライアウトのショット、バッターのアップのショット、プレイヤーのアップのショットの５種類とする。
学習段階としては、各イベントショットの正解ショットを野球１（表１参照）から３カ所ずつ探し、正解ショットのMBT記号列を学習対象ＭＢＴ記号列とした。この学習対象ＭＢＴ記号列を上記Baum-Welchアルゴリズムを用いて、HMMを構成するモデルパラメータを推定した。
今回使用したHMMは状態数N = 4 ですべての状態から他のあらゆる状態に遷移できるように連結されているものとした。また観測シンボルには図７に示すMBT記号からなるＭＢＴ記号列を用いるため、観測シンボル数M = 9 となる。またその際の閾値ｔ，ｓはそれぞれｔ＝350，ｓ＝150 とした。以下に各イベントショットのモデルパラメータを示す。モデルは各イベントショット毎に３つずつ構築した。
また，各パラメータは、π = {πi}:初期状態確率，A = {aij}:状態遷移確率，B = {bj(k)}:観測シンボル確率である。
・投球ショット
・ファールフライのショット
・フライアウトのショット
・バッターのアップのショット
・プレイヤーのアップのショット
（ショット識別の評価）
各イベントショットのHMMを用意したうえで、表１に示す野球１および野球２の映像(MPEG2 データ)で実験を行った。
実施例１に示す実験結果から瞬時カット点の検出結果は非常によいことがわかったので、カット点の検出からショットの識別までを一連の流れで行った。つまり、瞬時カット点検出法からショット単位に分割されたＭＢＴ記号列に対してそのまま、数25〜29のように構築した各HMMから出力した確率を計算した。各イベント毎に３つのHMM を用意したので、計15回計算を行った。計算した結果、最も出力確率が高いモデルからそのショットは出力されたことにした。
識別したショットの中でも、特に投球ショットに対して、そして、あらかじめラベルを振っておいた既知正解投球ショットに対して、上記の処理から出た結果を評価方法に基づき以下に示す。
各イベントショットのHMMを用意したうえで、表１に示す野球１および野球２の映像(MPEG2 データ)で実験を行った。
実施例１に示す実験結果から瞬時カット点の検出結果は非常によいことがわかったので、カット点の検出からショットの識別までを一連の流れで行った。つまり、瞬時カット点検出法からショット単位に分割されたＭＢＴ記号列に対してそのまま、数25〜29のように構築した各HMMから出力した確率を計算した。各イベント毎に３つのHMM を用意したので、計15回計算を行った。計算した結果、最も出力確率が高いモデルからそのショットは出力されたことにした。
識別したショットの中でも、特に投球ショットに対して、そして、あらかじめラベルを振っておいた既知正解投球ショットに対して、上記の処理から出た結果を評価方法に基づき以下に示す。
（認識結果）
（１）野球１
（２）野球２
（１）野球１
（考察）
＜認識率＞
野球1，野球2の両方とも83％以上という高い認識率を得る事ができた。このことから、ＭＢＴ記号列は投球ショットにおいてある法則にのっとって遷移していたということや、映像の内容理解の手助けになること等がわかる。
＜誤認識率＞
上記実験では誤認識を避けるためにバッターアップあるいはプレイヤーアップのHMMを用意した。これらのHMMからの出力確率と比較することで誤認識を下げることができた。
＜認識性能＞
認識性能は75.5％，80.0％となっており、マクロブロックタイプのみを用いた結果であることを考慮すると、従来の複雑な画像処理を行う認識に比べて、良好な結果であるといえる。
＜認識率＞
野球1，野球2の両方とも83％以上という高い認識率を得る事ができた。このことから、ＭＢＴ記号列は投球ショットにおいてある法則にのっとって遷移していたということや、映像の内容理解の手助けになること等がわかる。
＜誤認識率＞
上記実験では誤認識を避けるためにバッターアップあるいはプレイヤーアップのHMMを用意した。これらのHMMからの出力確率と比較することで誤認識を下げることができた。
＜認識性能＞
認識性能は75.5％，80.0％となっており、マクロブロックタイプのみを用いた結果であることを考慮すると、従来の複雑な画像処理を行う認識に比べて、良好な結果であるといえる。
なお、上述した実施の形態、および実施例１，２によれば、カット点検出およびショット識別の対象となる動画圧縮データの一例として野球映像を用いるようにしているが、例えば、サッカーの映像や、相撲の映像、メロドラマ等、野球映像以外の動画圧縮データを用いることも可能である。
２：復号器
３：カット点検出システムおよびショット識別システム
１０：動画像圧縮データ
１１，１１ａ：ＭＢＴ記号列
１４：推定モデル（ＨＭＭ）
３：カット点検出システムおよびショット識別システム
１０：動画像圧縮データ
１１，１１ａ：ＭＢＴ記号列
１４：推定モデル（ＨＭＭ）
Claims (5)
- ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、
この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、
このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段とを含むカット点検出システムと、
前記カット点検出システムにより検出された二つのカット点間を識別対象となるショットとする手段と、
前記識別対象となるショットについて前記カット点検出システムにより作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する手段とを含むことを特徴とするショット識別システム。 - 上記推定モデルは、あらかじめ識別したいショットであるイベントショットが含まれる動画圧縮データから特定のイベントショットを選定し、この特定のイベントショット毎に上記ＭＢＴ記号列を作成し、このＭＢＴ記号列を学習対象ＭＢＴ記号列としてイベントショット毎に学習させるようにしたものを用いることを特徴とする請求項１記載のショット識別システム。
- 上記推定モデルが隠れマルコフモデルであることを特徴とする請求項１又は２記載のショット識別システム。
- コンピュータが、ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出するステップと、
コンピュータが、この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成するステップと、
コンピュータが前記ＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別するステップと、を含むカット点検出方法と、
前記カット点検出方法により検出された二つのカット点間を識別対象となるショットとするステップと、
前記識別対象となるショットについて前記カット点検出方法により作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別するステップと、を含むことを特徴とするショット識別方法。 - ＭＢＴ情報を含む動画圧縮データからフレーム毎にＭＢＴ情報を抽出する手段と、
この抽出されたフレーム毎のＭＢＴ情報から特定のＭＢＴが含まれる頻度を求め、その頻度的特徴に応じてフレーム毎に所定のＭＢＴ記号を付与するとともに、このＭＢＴ記号をフレーム順に対応するように並べることで、ＭＢＴ記号列を作成する手段と、
このＭＢＴ記号列中におけるＭＢＴ記号の配列的特徴から動画像のカット点を判別する手段と、
前記カット点を判別する手段により検出された二つのカット点間を識別対象となるショットとする手段と、
前記識別対象となるショットについて前記カット点を判別手段により作成したＭＢＴ記号列を用いて推定モデルによりその確率が最大となるものを選定して識別する手段として、コンピュータを機能させるためのショット識別プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006211746A JP4719889B2 (ja) | 2006-08-03 | 2006-08-03 | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム |
| US11/702,433 US8442385B2 (en) | 2006-08-03 | 2007-02-05 | Cut point detection system and short recognition system using the same, cut point detection method and cut point detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006211746A JP4719889B2 (ja) | 2006-08-03 | 2006-08-03 | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008042364A JP2008042364A (ja) | 2008-02-21 |
| JP4719889B2 true JP4719889B2 (ja) | 2011-07-06 |
Family
ID=39050896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006211746A Active JP4719889B2 (ja) | 2006-08-03 | 2006-08-03 | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8442385B2 (ja) |
| JP (1) | JP4719889B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9779312B2 (en) * | 2015-01-30 | 2017-10-03 | Honda Motor Co., Ltd. | Environment recognition system |
| CN107071450B (zh) * | 2016-02-10 | 2021-07-27 | 同济大学 | 数据压缩的编码、解码方法及装置 |
| US10997492B2 (en) * | 2017-01-20 | 2021-05-04 | Nvidia Corporation | Automated methods for conversions to a lower precision data format |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004180299A (ja) * | 2002-11-25 | 2004-06-24 | Ulead Systems Inc | ビデオクリップ（ｖｉｄｅｏｃｌｉｐ）のショットチェンジ検出（ｓｈｏｔｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ）方法 |
| JP2005505165A (ja) * | 2001-09-26 | 2005-02-17 | トムソン ライセンシング ソシエテ アノニム | ビデオ・ビットストリーム内でのシーンカット検出 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
| JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| KR100698106B1 (ko) | 2000-03-07 | 2007-03-26 | 엘지전자 주식회사 | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법 |
| JP4082664B2 (ja) * | 2002-09-20 | 2008-04-30 | Ｋｄｄｉ株式会社 | 映像検索装置 |
| KR100794797B1 (ko) * | 2002-10-14 | 2008-01-21 | 삼성전자주식회사 | 디지털 ａ/ｖ 데이터의 기록/재생 장치 및 그 제어방법 |
| US7327784B2 (en) * | 2003-02-24 | 2008-02-05 | Vixs Systems, Inc. | Method and system for transcoding video data |
| GB2407226B (en) * | 2003-10-18 | 2008-01-23 | Hewlett Packard Development Co | Image processing scheme |
-
2006
- 2006-08-03 JP JP2006211746A patent/JP4719889B2/ja active Active
-
2007
- 2007-02-05 US US11/702,433 patent/US8442385B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005505165A (ja) * | 2001-09-26 | 2005-02-17 | トムソン ライセンシング ソシエテ アノニム | ビデオ・ビットストリーム内でのシーンカット検出 |
| JP2004180299A (ja) * | 2002-11-25 | 2004-06-24 | Ulead Systems Inc | ビデオクリップ（ｖｉｄｅｏｃｌｉｐ）のショットチェンジ検出（ｓｈｏｔｃｈａｎｇｅｄｅｔｅｃｔｉｏｎ）方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008042364A (ja) | 2008-02-21 |
| US8442385B2 (en) | 2013-05-14 |
| US20080037949A1 (en) | 2008-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Deep learning in latent space for video prediction and compression | |
| Sitara et al. | Digital video tampering detection: An overview of passive techniques | |
| US9317751B2 (en) | Video processing system with video to text description generation, search system and methods for use therewith | |
| US7046731B2 (en) | Extracting key frames from a video sequence | |
| Liu et al. | Key frame extraction from MPEG video stream | |
| JP5573131B2 (ja) | 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム | |
| JP2000217117A (ja) | 圧縮形式でのデジタル画像表現ビデオデ―タの処理方法 | |
| KR102177900B1 (ko) | 비디오에 있어서의 키포인트 궤적을 처리하는 방법 | |
| Nasreen et al. | Key frame extraction from videos-A survey | |
| Hong et al. | Detection of frame deletion in HEVC-Coded video in the compressed domain | |
| JP4719889B2 (ja) | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム | |
| JP5181325B2 (ja) | カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法 | |
| JP4734047B2 (ja) | ビデオドキュメントを圧縮するためのプロセス及び装置 | |
| US20130094692A1 (en) | Video watermarking method resistant to temporal desynchronization attacks | |
| US20090153744A1 (en) | Scene detection system and scene detection method | |
| JP4773511B2 (ja) | データ処理方法およびデータ処理システム | |
| Wu et al. | HEVC double compression detection with non-aligned GOP structures based on a fusion feature with optical flow and prediction units | |
| KR100683501B1 (ko) | 신경망 기법을 이용한 뉴스 비디오의 앵커 화면 추출 장치및 그 방법 | |
| Kiani et al. | An Effective Slow‐Motion Detection Approach for Compressed Soccer Videos | |
| KR20200052400A (ko) | 개선된 영상 분류 시스템 및 방법 | |
| Youssef | Detection of Double and Triple Compression in Videos for Digital Forensics Using Machine Learning | |
| Rascioni et al. | An optimized dynamic scene change detection algorithm for H. 264/AVC encoded video sequences | |
| De Santo et al. | A multi-expert system for shot change detection in MPEG movies | |
| CN113965744A (zh) | 基于运动矢量残差的hevc视频双压缩取证方法及*** | |
| Wang et al. | A fast algorithm for MPEG video segmentation based on macroblock |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090318 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |