JP6254771B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来では、カメラのスイッチングにより生じる映像の変化点（ショット（カットともいう））に基づいて、映像を分割する手法が知られている。しかしながら、検索処理等で用いられる映像ハンドリングを行う場合には、場面転換等で区切られたシーン等のように、ショットよりも時間的に長い映像を基本単位としたい場合もある。上述した映像ハンドリングとは、例えば映像素材を加工して映像コンテンツの重要箇所をわかりやすく提示し、内容をよりよく理解できるようにすることをいう。

そこで、映像を分割する手法として、連続するショットの代表画像の色ヒストグラムの変化量に基づき、ショット統合の基準となる「場面転換」を検出する手法が知られている（例えば、特許文献１参照）。

特開２００６−２５４４８６号公報

しかしながら、上述した特許文献１に示すような手法では、同じ場面のショット代表画像にもかかわらず、背景の色特徴が大きく変化した場合に誤って場面転換点と判断してしまうケースが生じる。

なお、他の手法として、現在の画像の「色リスト」の「統合色リスト」に対する含有率を尺度として場面転換点を検出する手法も考えられるが、この手法は画像中に使用される色の種類に基づいた手法であるためノイズに弱い。

本発明は、上述した問題点に鑑みなされたものであり、映像から高精度なシーン系列を生成するための画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、映像からシーン系列を生成する画像処理装置において、サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、前記サンプリング取得手段により得られる各フレーム画像に対して、１又は複数のスケール毎にそれぞれのフレーム画像をブロック画像に分割し、分割した各ブロック画像の色特徴又はテクスチャ特徴である特徴情報を生成し、各ブロック画像を前記特徴情報に基づいてクラスタリングすることにより、各ブロック画像が各種類に分類された情報を生成する情報生成手段と、前記シーン系列を生成するための処理対象映像をショット毎に予め設定された一定のフレーム間隔で分割するショット分割手段と、前記ショット分割手段により分割されたショット毎に、分割した各ショットに含まれるフレーム画像をブロック画像に分割し、分割した各ブロック画像の前記特徴情報と、前記情報生成手段により分類分けされた各種類のブロック画像の前記特徴情報との類似性から、前記各種類のブロック画像の出現比率を算出し、算出した前記出現比率に基づくヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムを用いて前記処理対象映像に対するシーン系列を生成するシーン系列生成手段とを有し、前記シーン系列生成手段は、前記ヒストグラム生成手段により生成された前記ショット毎のヒストグラムの各要素を２以上の数値で多値化し、多値化されたデータ列を前記ショット毎にマージして得られる統合多値データに基づいて、前記シーン系列の分割部分を判断する。

また、本発明の一態様における画像処理プログラムは、コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置が有する各手段として機能させるための画像処理プログラムである。

本発明によれば、高精度なシーン系列を生成することができる。

多重スケール画像片ワードヒストグラムの概念図である。 本実施形態におけるブロック画像例を示す図である。 画像処理装置の機能構成の一例を示す図である。 本実施形態における画像処理の一例を示すフローチャートである。 画像片ワード生成手段における処理の一例を示すフローチャートである。 画像片ワードの生成の流れを示す図である。 ヒストグラム生成手段における処理の一例を示すフローチャートである。 画像片ワードヒストグラムの生成の流れを示す図である。 シーン生成処理の一例を示すフローチャートである。 シーン生成の概要を説明するための図である。 多値データを用いた場合のシーン生成の概要を説明するための図である。 本実施形態におけるシーン系列の生成結果の一例を示す図である。

＜本発明について＞
本発明は、例えば映像に含まれる複数のフレーム画像を用いて、映像（例えば、シーン毎）に対する特徴情報を取得する。具体的には、各フレーム画像に対して１又は複数の異なる画像サイズ（以下、「多重スケール」という）を有する画像片ワードのヒストグラム（多重スケール画像片ワードヒストグラム、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｍｕｌｔｉ−ｓｃａｌｅ Ｉｍａｇｅ Ｐｉｅｃｅ Ｗｏｒｄ、以下、必要に応じて「Ｈ−ＭＩＰＷ」という）に基づく特徴情報を用いて各シーンの分類を行う。

画像片とは、例えば１フレーム画像を所定の画像サイズで区切って分割されたときの各ブロック画像である。画像サイズ（スケール）は、例えば正方形でもよく、その他の形状でもよい。また、ワードとは、例えば参照ベクトル等の所定の特徴情報等であるが、これに限定されるものではない。また、Ｈ−ＭＩＰＷは、例えばブロック画像の種類と出現比率（頻度）による静止画分類手法をベースとし、ブロックの大きさを多重スケールにすると共に動画特徴に拡張したものである。

ここで、図１は、多重スケール画像片ワードヒストグラムの概念図である。また、図２は、本実施形態におけるブロック画像例を示す図である。図１の例では、予め学習用に準備された準備用映像（サンプル映像）に含まれる所定のシーンからサンプリングしたフレーム画像を、１又は複数種類の画像サイズ毎にブロック単位で分割し、分割した画像片（ブロック画像）に対する特徴情報の類似性に基づく多重スケール画像片ワードヒストグラム（Ｈ−ＭＩＰＷ）を生成し、シーン中にどの種類のブロック画像がどのくらい存在するか（出現比率）を取得する。

ここで、ブロック画像の種類は、映っている内容（被写体）と強い因果関係がある。例えば、図２に示すように、「空」、「山、森」、「夕焼け」等の映像の内容は、フレーム画像を分割した各ブロックから取得することができる。したがって、上述したＨ−ＭＩＰＷは、シーンの内容を包括的に表現する特徴の１つと考えることができる。本実施形態では、Ｈ−ＭＩＰＷに基づいて、例えば複数のフレーム画像を含むシーンの特徴情報を取得する。

また、本実施形態では、各映像ファイルのショット毎の画像片ワードヒストグラムを算出すると共に、その変化量に基づいてショットを統合し、シーンを生成する。これにより、本実施形態では、シーンが１つのヒストグラムで表現されるため、適切なシーンの分類により類似度を高速に算出することができ、また取得した特徴情報を用いて映像内容の類似性に基づいてシーン系列を生成することができる。以下に、本実施形態における画像処理装置及び画像処理プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜画像処理装置の機能構成例＞
図３は、画像処理装置の機能構成の一例を示す図である。図３の例に示す画像処理装置１０は、サンプリング取得手段１１と、分割ブロック設定手段１２と、画像片ワード生成手段（ブロック特徴情報生成手段）１３と、ショット分割手段１４と、ヒストグラム生成手段１５と、シーン系列生成手段１６とを有する。

サンプリング取得手段１１は、予め蓄積された準備用映像集合（サンプル映像）２１から、所定の間隔（例えば、Ｔ_１フレーム）毎にフレーム画像をサンプリングし、準備用フレーム画像集合２２（Ｐ_１，・・・,Ｐ_Ｎ＿Ｐ）を出力する。所定の間隔（Ｔ_１）は、例えば予め設定された一定のフレーム間隔であるが、これに限定されるものではなく、例えば一定の時間間隔であってもよく、またシーンを構成する各ショット（例えば、映像の切り替わり）の先頭画像であってもよい。

分割ブロック設定手段１２は、画像片ワード生成手段１３により生成される１又は複数の画像片（ブロック画像）の大きさ（スケール、画像サイズ）、種類、及び数等のうち、少なくとも１つを設定する。例えば、分割ブロック設定手段１２は、画像片の大きさを４×４画素、８×８画素、１６×３２画素の３種類を多重スケールとして設定することができるが、画像片の大きさや数等についてはこれに限定されるものではない。

なお、ブロック画像の設定は、予めユーザが設定しておいてもよく、また入力される映像の解像度や映像のジャンル（例えば、ニュース番組、スポーツ、ドラマ、風景映像の多い旅番組）等に対応して自動的に設定してもよい。更に、分割ブロック設定手段１２は、映像に対して画像全体における「目立つ領域」を表す顕著性マップ(Ｓａｌｉｅｎｃｙ Ｍａｐ)に基づいて、画像片の大きさ、種類、及び数等のうち、少なくとも１つを設定してもよい。顕著性マップは、例えば周辺領域と性質の異なる領域を「顕著性が高い(注意を引く)領域」として抽出するものである。

画像片ワード生成手段１３は、例えば分割ブロック設定手段１２により設定された条件（多重スケール）等に基づいて、準備用フレーム画像集合２２に含まれる各フレームをブロック画像に分割する。また、画像片ワード生成手段１３は、分割したブロック画像毎の特徴情報を取得し、取得した特徴情報に基づいて、準備用フレーム画像集合２２に対する画像片ワード２３（Ｗ）を生成する。なお、画像片ワード生成手段１３における画像片ワード２３の具体的な生成手法については、後述する。

ショット分割手段１４は、ユーザ等により入力手段等を用いて指定されるシーン生成の処理対象映像２４（Ｖ）に対して、所定の間隔（例えば、Ｔ_２フレーム）毎のショット単位に自動分割し、ショット系列２５（ＳＴ_１，・・・,ＳＴ_Ｎ＿ＳＴ）を生成する。なお、処理対象映像２４（Ｖ）とは、例えば本実施形態におけるショット毎の特徴情報を抽出する対象の映像である。また、所定の間隔（Ｔ_２）は、例えば予め設定された一定のフレーム間隔であるが、これに限定されるものではなく、例えば一定の時間間隔であってもよく、また映像の区切りの最初のフレームの間隔であってもよい。また、所定の間隔（Ｔ_２）は、上述した所定の間隔（Ｔ_１）と同一間隔であってもよく、異なる間隔であってもよい。

ヒストグラム生成手段１５は、映像を一定間隔で区切ったシーンであるショット系列２５（ＳＴ_１，・・・,Ｓ_Ｎ＿ＳＴ）を入力し、その各ショットを１又は複数のスケール毎にそれぞれ分割し、分割した各ショットのブロック画像の特徴情報を取得する。また、ヒストグラム生成手段１５は、例えば取得した特徴情報の類似性から、各ショットに対するブロック画像毎の出現比率等を算出し、その結果から各ショットの画像片ワードヒストグラム２６（Ｈ_１，・・・,Ｈ_Ｎ＿ＳＴ）を生成する。なお、ヒストグラム生成手段１５における画像片ワードヒストグラム２６の具体的な生成例については、後述する。

シーン系列生成手段１６は、上述したショット系列２５（ＳＴ_１，・・・,ＳＴ_Ｎ＿ＳＴ）及び画像片ワードヒストグラム２６（Ｈ_１，・・・,Ｈ_Ｎ＿ＳＴ）を用いてシーン系列（ＳＮ_１，・・・,ＳＴ_Ｎ＿ＳＮ）を生成する。例えば、シーン系列生成手段１６は、各映像ファイルのショット毎に算出された画像片ワードヒストグラムの変化量に基づき、ショットを統合してシーンを生成するが、シーン生成手法についてはこれに限定されるものではない。

このように、本実施形態における画像処理装置１０は、画像片（ブロック領域）単位の特徴を用いることにより、例えばシーン系列生成の精度の向上等に繋がる高精度な画像の特徴情報を抽出することができる。また、本実施形態では、番組映像のシーン系列を従来手法よりも高精度に生成することができる。また、本実施形態によれば、生成されたシーン系列を用いて、例えばシーン単位での高精度な映像検索を実現することができる。

なお、上述した準備用映像集合２１、準備用フレーム画像集合２２、画像片ワード２３、処理対象映像２４、ショット系列２５、画像片ワードヒストグラム２６、及びシーン系列２７は、画像処理装置１０内に設けられる記憶手段等に記憶されていてもよく、また外部装置（例えば、データベースサーバ）等で管理されていてもよい。外部装置で管理される場合、画像処理装置１０は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して外部装置とデータの送受信が可能な状態で接続され、外部装置で記憶されているデータの読み出しや、外部装置への書き込みを行うことができる。

上述したように、本実施形態において画像片は、画像中の内容との相関が強いと考えられるため、Ｈ−ＭＩＰＷは映像内容の類似性によるシーン検索のための有効な動画特徴となり得る。したがって、要求シーンに対して高精度な検索を行うことができ、類似性の高いシーンを取得することができる。

＜画像処理例について＞
次に、上述した画像処理装置１０における画像処理例についてフローチャートを用いて説明する。図４は、本実施形態における画像処理の一例を示すフローチャートである。図４の例において、サンプリング取得手段１１は、例えば１又は複数のジャンルからなる複数の映像集合から無作為に選んだ準備用映像集合２１を入力し（Ｓ０１）、入力した準備用映像集合２１から所定のフレーム画像をサンプリングする（Ｓ０２）。なお、サンプリングは、例えば一定間隔毎のフレーム画像を取得してもよく、映像区切り等に基づいてフレーム画像を取得してもよい。

次に、画像片ワード生成手段１３は、分割ブロック設定手段１２により予め設定された分割ブロックに基づいて画像片ワード（例えば、多重スケール画像片ワード（ＭＩＰＷｏｒｄ））を生成する（Ｓ０３）。次に、ショット分割手段１４は、入力された処理対象映像２４をショット単位等に自動分割してショット系列２５を生成する（Ｓ０４）。

次に、ヒストグラム生成手段１５は、ショット系列と画像片ワードとを用いて画像片ワードヒストグラム２６を生成する（Ｓ０５）。次に、シーン系列生成手段１６は、ショット系列２５と画像片ワードヒストグラム２６とを用いてシーン系列を生成し（Ｓ０６）、生成したシーン系列を出力する（Ｓ０７）。

＜画像片ワード生成手段１３における画像片ワードの生成例について＞
次に、上述した画像片ワード生成手段１３における多重スケール画像片ワード（ＭＩＰＷｏｒｄ）を生成する手法について説明する。図５は、画像片ワード生成手段における処理の一例を示すフローチャートである。また、図６は、画像片ワードの生成の流れを示す図である。

図５の例において、画像片ワード生成手段１３は、準備用映像集合２１から所定の条件によりサンプリングされた各フレーム画像を、分割ブロック設定手段１２により設定された条件に基づいて１又は複数スケールにブロック分割する（Ｓ１１）。なお、サンプリングの条件としては、例えば一定間隔毎のフレーム画像を取得してもよく、映像区切り等に基づいてフレーム画像を取得してもよい。また、Ｓ１１の処理では、例えばフレーム画像毎にスケール１（ｎ_Ｗ１×ｎ_Ｈ１個）,・・・,スケールＮ_ｄ（ｎ_ＷＮｄ×ｎ_ＨＮｄ個）の複数のスケール（多重スケール）で、それぞれブロック分割する。

次に、画像片ワード生成手段１３は、分割した各ブロック画像について、所定の特徴ベクトル（特徴情報）を算出する（Ｓ１２）。所定の特徴ベクトルとしては、例えば色特徴やテクスチャ特徴等があるがこれに限定されるものではなく、他の特徴を用いてもよく、また複数の特徴情報を組み合わせてもよい。色特徴としては、例えばＲＧＢ平均値ベクトルや色相ヒストグラム等がある。また、テクスチャ特徴としては、例えばフラクタルシーケンスやエッジ方向ヒストグラム、ＣＳ−ＬＢＰ（Ｃｅｎｔｅｒ Ｓｙｍｍｅｔｒｉｃ − Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴等がある。

次に、画像片ワード生成手段１３は、各スケールｉ（ｉ＝１，・・・，Ｎ_ｄ）において、ブロック画像集合を特徴ベクトルの類似性に基づいてクラスタリング（分類分け）する（Ｓ１３）。なお、Ｓ１３の処理において、クラスタリング手法は、例えばＫ−Ｍｅａｎｓ法等の分割最適化法を用いることができるが、これに限定されるものではない。Ｓ１３の処理により生成された各スケールｉにおけるＫ_ｉ個のクラスタをＣ［ｉ，１］，・・・，Ｃ［ｉ，Ｋ_ｉ］とする。

次に、画像片ワード生成手段１３は、例えば各クラスタＣ［ｉ，ｋ］の中心ベクトルｗ［ｉ，ｋ］を要素とする画像片ワードＷ＝｛ｖ［１，１］，・・・，ｖ［ｉ，ｋ］，・・・，ｖ［Ｎ_ｄ，Ｋ_Ｎｄ］｝を多重スケール画像片ワード（ＭＩＰＷｏｒｄ）として生成する（Ｓ１４）。そして、画像片ワード生成手段１３は、生成された多重スケール画像片ワード（ＭＩＰＷｏｒｄ）を記憶手段（例えば、画像片ワード２３）等に記憶する（Ｓ１５）。

図６の例では、上述した図５に示す処理において、ブロック分割スケールＮ_ｄ＝２の場合のＭＩＰＷｏｒｄ生成の流れを示しているが、ブロック分割におけるスケール数については、これに限定されるものではない。

図６に示すように、同一の準備用（サンプル）映像からサンプリングしたフレーム画像集合に対して、複数のスケール（画像サイズ）でブロック分割し、それぞれのスケール（スケール１，スケール２）で分割された画像片（ブロック画像集合）毎に特徴ベクトルに基づいてクラスタリングを行い、例えば各クラスタの中心ベクトル等を用いて多重スケールの画像片ワードを生成する。また、図６の例では、画像片ワードＷとして、「ＭＩＰＷｏｒｄ Ｗ＝｛ｖ［１，１］，ｖ［１，２］，・・・，ｖ［１，ｋ_１］，ｖ［２，１］，ｖ［２，２］，・・・，ｖ［１，ｋ_２］｝」が生成される。

なお、準備用映像集合２１は、例えば検索対象映像や検索要求シーン等のジャンル（例えば、ニュース、各種のスポーツ（サッカー、野球）等）が予め決まっている場合には、同一のジャンルの準備用映像にすることが好ましいが、これに限定されるものではない。また、スケールは、例えば上述した分割ブロック設定手段１２により任意のスケール、種類、数に設定される。また、スケールは、入力される映像の解像度等に応じて任意に設定されてもよい。

＜ヒストグラム生成手段１５における画像片ワードヒストグラムの生成例＞
次に、ヒストグラム生成手段１５における処理対象映像２４の各ショットの画像片ワードヒストグラムの生成例について、図を用いて説明する。図７は、ヒストグラム生成手段における処理の一例を示すフローチャートである。また、図８は、画像片ワードヒストグラムの生成の流れを示す図である。

ヒストグラム生成手段１５は、多重スケール画像片ワード（ＭＩＰＷｏｒｄ）に基づき、処理対象映像２４の各ショット単位のＨ−ＭＩＰＷを算出する。なお、ヒストグラム生成手段１５に入力されるショットＳＴを生成するためのショット単位への分割処理は、ショット分割手段１４により行われ、例えば既存のカットチェンジ点検出手法（例えば、特開２００８−８３８９４号公報）等を用いて分割することができるが、これに限定されるものではない。

上述したカットチェンジ点検出手法は、例えば第１と第２の画像のそれぞれの輝度又は色のヒストグラムを生成し、第１と第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成し、第１の画像のヒストグラムと第２の画像のヒストグラムの類似度であるヒストグラム類似度を計算する。また、第１の画像の空間相関画像と第２の画像の空間相関画像の類似度である空間相関画像類似度を計算し、ヒストグラム類似度と空間相関画像類似度とに基づいて、第１の画像と第２の画像との境界がカットチェンジであるかを判定する。なお、ヒストグラム類似度とは、例えば、ヒストグラム同士の重なり率である。また、空間相関画像類似度とは、例えば第１の画像と第２の画像とのそれぞれの空間相関画像の全体若しくは一部同士の相対的な位置をシフトさせながら計算した差分絶対和若しくは差分２乗和の最小値である。

図７の例において、ヒストグラム生成手段１５は、まず、各スケールから生成されたＭＩＰＷｏｒｄ（Ｗ）を構成するベクトルｗ｛ｉ，ｋ｝の数と同じ数からなるヒストグラムＨ＝｛ｈ［１，１］，・・・，ｈ［ｉ，ｋ］，・・・，ｈ［Ｎ_ｄ，Ｋ_Ｎｄ］｝を予め準備し（Ｓ２１）、各要素を初期値０とする（Ｓ２２）。

次に、ヒストグラム生成手段１５は、ショット分割手段１４により分割されたショット系列２５から所定間隔（例えば、Ｔフレーム）毎にフレーム画像をサンプリングする（Ｓ２３）。次に、ヒストグラム生成手段１５は、サンプリングした各フレーム画像を１又は複数スケールにブロック分割する（Ｓ２４）。このときのスケールは、例えば、上述したＳ１１と同様のスケール（スケール１（ｎ_Ｗ１×ｎ_Ｗ１個），・・・，スケールＮ_ｄ（ｎ_ＷＮｄ×Ｎ_ＨＮｄ個）であってもよく、Ｓ１１の処理で得られる複数のスケール（例えば、５種類）のうち、所定数（例えば、３種類）のスケールであってもよい。

次に、ヒストグラム生成手段１５は、Ｓ２４の処理で得られた各ブロック画像について、上述したＳ１２の処理と同様に特徴ベクトルを算出する（Ｓ２５）。次に、各スケールｉ（ｉ＝１，・・・，Ｎ_ｄ）において、ヒストグラムＨの各要素の加算を行う（Ｓ２６）。Ｓ２６の処理では、例えばＭＩＰＷｏｒｄ（Ｗ）のべクトルｖ［ｉ，ｋ］（ｋ＝１，・・・，Ｋ_ｉ）の中で、ブロック画像の特徴ベクトルと最も類似度の高いものをｖ［ｉ，ｋ'］とする。また、Ｓ２６の処理では、最も類似度の高い特徴ベクトルｖ［ｉ，ｋ'］に対応するヒストグラムＨの要素ｈ［ｉ，ｋ'］に１を加算する。

ここで、ヒストグラム生成手段１５は、全ブロック画像について上述した各要素の加算処理を行ったか否かを判断し（Ｓ２７）、処理を行っていない場合（Ｓ２７において、ＮＯ）、Ｓ２６の処理に戻り、加算していないスケールにおいて、各要素の加算を行う。また、ヒストグラム生成手段１５は、全ブロック画像について上述した各要素の加算処理を行った場合（Ｓ２７において、ＹＥＳ）、ヒストグラムＨの各要素をサンプリングした全フレーム画像数で除算し（Ｓ２８）、算出されたヒストグラムＨ＝｛ｈ［１，１］，・・・，ｈ［ｉ，ｋ］，・・・，ｈ［Ｎ_ｄ，Ｋ_Ｎｄ］｝をショット系列２５のＨ−ＭＩＰＷとし、記憶手段（例えば、画像片ワードヒストグラム２６）等に記憶する（Ｓ２９）。

図８の例では、上述した図７に示す多重スケール画像片ワードヒストグラム生成処理に対するブロック分割スケールＮ_ｄ＝２の場合の処理の流れを示しているが、ブロック分割スケール数については、これに限定されるものではない。図８の例では、処理対象映像２４に含まれるシーンＳ（例えば、複数ショットからなるショット系列ＳＴ）毎に所定の間隔（Ｔ）でフレーム画像をサンプリングし、複数のスケールにブロック分割する。

また、図８の例では、分割された各ブロックの特徴ベクトルを取得し、取得した特徴ベクトルに基づいて、画像片ワード生成手段１３で生成済みのＭＩＰＷｏｒｄ（Ｗ）に対して各ブロックの特徴ベクトルに最も近いｗのベクトルｖ［ｊ，ｋ］を求め、対応するｈ［ｊ，ｋ］を加算する。これにより、図８の例に示すように、シーンＳのＨ−ＭＩＰＷを取得することができる。したがって、本実施形態では、シーン毎の特徴情報を抽出することができると共に、画像分類を迅速かつ適切に行うことができる。したがって、各映像ファイルのショット毎に算出された画像片ワードヒストグラムの変化量に基づき、ショットを統合して、高精度なシーン生成を実現することができる。

＜シーン系列生成手段１６におけるシーン系列生成例＞
次に、シーン系列生成手段１６におけるシーン生成の一例について説明する。図９は、シーン生成処理の一例を示すフローチャートである。また、図１０は、シーン生成の概要を説明するための図である。

図９の例において、シーン系列生成手段１６は、処理対象映像２４（例えば、番組映像）のショット系列２５（ＳＴ_１，・・・，ＳＴ_Ｎ＿ＳＴ）、及び、それらの画像片ワードヒストグラム２６（Ｈ_１，・・・，Ｈ_Ｎ＿ＳＴ）を入力し、各画像片ヒストグラムＨ_ｉ（ｉ＝１，２，…，Ｎ＿ＳＴ）の各要素を予め設定した２値化閾値で２値化し、２値データＢ_ｉとする（Ｓ３１）。

なお、Ｓ３１の処理では、図１０の例に示すように、予め２値化行うための２値化閾値を設定し、上述した画像片ヒストグラムの出現比率が、予め設定した２値化閾値以上であるか否かにより判断する。図１０の例では、出現比率が、２値化閾値以上の場合には、「１」とし、２値化閾値未満の場合には「０」として２値化を行っているが、これに限定されるものではない。

次に、シーン系列生成手段１６は、シーンの区切りを示す変数ｋの初期値に１を設定し、ショットＳＴ_１をシーンＳＮ_ｋに入れる。また、連結するショットの位置を示す変数ｎ＝２とし、また、Ｎ＝ＭＩＮ（Ｎ＿ＢＫ，シーンＳＮ_ｋに属するショット数）と定義する。なお、ＭＩＮ（ａ，ｂ）とは、「ａとｂの最小値」を表す。

次に、シーン系列生成手段１６は、２値データＢ_ｎ−Ｎ，Ｂ_{ｎ−Ｎ＋１}，・・・，Ｂ_ｎ−１をそれぞれＯＲでマージして統合２値データＢ_Ｍを生成する（Ｓ３２）。図１０の例では、Ｎ＿ＢＫ＝３の場合の例を示しているが、これに限定されるものではない。なお、上述したＯＲでマージするとは、各２値データを先頭ビットから順に比較し、比較した２つの２値データが「０」と「０」の場合には「０」を設定し、「０」と「１」及び「１」と「１」である場合には「１」を設定することであるが、マージ方法については、これに限定されるものではない。

次に、シーン系列生成手段１６は、シーン系列パラメータＲを算出する（Ｓ３３）。シーン系列パラメータＲとは、そのショットが、直前のシーンに含まれるか否かを判断するためのパラメータである。シーン系列パラメータＲの算出手法としては、例えば「Ｒ＝（Ｂ_ｎとＢ_Ｍの双方で「１」であるフラグ数）／（Ｂｎで「１」であるフラグ数）」として算出することができるが、これに限定されるものではない。

次に、シーン系列生成手段１６は、Ｓ２３の処理で得られたシーン系列パラメータＲと予め設定された閾値Ｒ_ＴＨとを比較し、図１０の例に示すように、シーン系列パラメータＲが閾値Ｒ_ＴＨ以上であるか否かを判断する（Ｓ３４）。シーン系列生成手段１６は、シーン系列パラメータＲが閾値Ｒ_ＴＨ以上である場合（Ｓ３４において、ＹＥＳ）、判断対象のショットＳＴ_ｎにおいて場面転換はないと判断し、ＳＴ_ｎを現在のシーン系列ＳＮ_ｋに含める（Ｓ３５）。なお、Ｓ３５の処理では、例えば直前のシーン系列の最後に判断対象のショットＳ_ｎを連結する。

また、シーン系列生成手段１６は、シーン系列パラメータＲが閾値Ｒ_ＴＨ以上でない場合（Ｓ３４において、ＮＯ）、判断対象のショットＳＴ_ｎにおいて場面転換が発生したと判断し、ｋ＝ｋ＋１として、ＳＴ_ｎで新しいシーンＳＮ_ｋを生成する（Ｓ３６）。

次に、シーン系列生成手段１６は、処理対象映像２４に含まれる全てのショットについてシーン系列生成処理が完了したか否かを判断する（Ｓ３７）。Ｓ３７の処理では、例えば、ｎ＝ｎ＋１とし、ｎ＞Ｎ＿ＳＴであれば、処理が完了したと判断し、ｎ≦Ｎ＿ＳＴの場合には、処理が完了していないと判断する。

シーン系列生成手段１６は、Ｓ３７の処理において、シーン系列生成処理が完了していない場合（Ｓ３７において、ＮＯ）、Ｓ３３に戻り、次のショットについて処理を行う。また、シーン系列生成手段１６は、全てのショットについてシーン系列生成処理が完了した場合（Ｓ３７において、ＹＥＳ）、シーン系列を出力して処理を終了する（Ｓ３８）。Ｓ３８の処理では、シーン系列２７（ＳＮ_１，・・・，ＳＮ_Ｎ＿ＳＮ）が出力される。

なお、上述の例では、各画像片ヒストグラムＨ_ｉ（ｉ＝１，２，…，Ｎ＿ＳＴ）の各要素を予め設定した２値化閾値で２値化し、２値データＢ_ｉを生成したが、これに限定されるものではなく、例えば多値データを生成してもよい。ここで、図１１は、多値データを用いた場合のシーン生成の概要を説明するための図である。

この場合、上述した図９の例に示すシーン系列生成処理のＳ３１の処理において、シーン系列生成手段１６は、各画像片ヒストグラムの各要素をＫ値化（例えば、３以上の多値化）する。なお、本実施形態における多値化とは、上述した２値化を含んでもよい。

また、Ｓ２２の処理において、シーン系列生成手段１６は、Ｋ値化されたデータ（Ｋ値データ）をマージし、統合Ｋ値データ（統合多値データ）を生成する。

上述の処理を具体的に説明すると、シーン系列生成手段１６は、各画像片ヒストグラムＨ_ｉ（ｉ＝１，２，…，Ｎ＿ＳＴ）の各要素を、予め設定したＫ値化閾値でＫ値化し、このＫ値データＢ_ｉ＝｛ｂ_ｉ［１，１］，ｂ_ｉ［１，２］，・・・，ｂ_ｉ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝とする。なお、ｉ＝１，２，…，Ｎ＿ＳＴ及びｂ_ｉの添え字［ｊ，ｋ］は、画像片ワード生成手段１３で生成した画像片ワードＷ＝｛ｖ［１，１］，ｖ［１，２］，…，ｖ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝に対応しており、ｂ_ｉ［ｊ，ｋ］＝（０〜Ｋ−１の整数値）である。なお、Ｋ＝５の場合、値は「０」，「１」，「２」，「３」，「４」の数値を有することができるデータ列となる。

次に、シーン系列生成手段１６は、上述したように、初期値ｋ＝１を設定し、ショットＳＴ_１をシーンＳＮ_ｋに入れ、ｎ＝２とし、Ｎ＝ＭＩＮ（Ｎ＿ＢＫ，シーンＳＮｋに属するショット数）と定義する。

次に、シーン系列生成手段１６は、図１１の例に示すように、現在のショットからＮ個遡った以下のＫ値データ
Ｂ_ｎ−Ｎ＝｛ｂ_ｎ−Ｎ［１，１］，ｂ_ｎ−Ｎ［１，２］，・・・，ｂ_ｎ−Ｎ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝
Ｂ_{ｎ−Ｎ＋１}＝｛ｂ_{ｎ−Ｎ＋１}［１，１］，ｂ_{ｎ−Ｎ＋１}［１，２］，・・・，ｂ_{ｎ−Ｎ＋１}［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝
・・・
Ｂ_ｎ−１＝｛ｂ_ｎ−１［１，１］，ｂ_ｎ−１［１，２］，・・・，ｂ_ｎ−１［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝
を、「Ｂ_Ｍ＝｛ｂ_Ｍ［１，１］，ｂ_Ｍ［１，２］，・・・，ｂ_Ｍ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝」のように統合して統合Ｋ値データＢ_Ｍを取得する。ただし、ｂ_Ｍ［ｊ，ｋ］＝ＭＡＸ（ｂ_ｎ−Ｎ［ｊ，ｋ］，ｂ_{ｎ−Ｎ＋１}［ｊ，ｋ］，・・・，ｂ_ｎ−１［ｊ，ｋ］）とする。また、ＭＡＸ（ａ１，ａ２，…，ａＮ）は、「ａ１，ａ２，…，ａＮの中の最大値」を表す。

次に、シーン系列生成手段１６は、図１１の例に示すように、Ｂｎ＝｛ｂ_ｎ［１，１］，ｂ_ｎ［１，２］，・・・，ｂ_ｎ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝とＢ_Ｍの各要素の比較による以下のＢ' _Ｍを生成する。
Ｂ'_Ｍ＝｛ｂ'_Ｍ［１，１］，ｂ'_Ｍ［１，２］，・・・，ｂ'_Ｍ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］｝
ただし、ｂｎ［ｊ，ｋ］＞０の場合には、ｂ'_Ｍ［ｊ，ｋ］＝ｂ_Ｍ［ｊ，ｋ］とし、ｂｎ［ｊ，ｋ］＝０の場合には、ｂ'_Ｍ［ｊ，ｋ］＝０とする。

次に、シーン系列生成手段１６は、図１１の例に示すように、ＢｎとＢ'_Ｍから以下のＲを計算する。
Ｒ＝（ｂ'_Ｍ［１，１］＋ｂ'_Ｍ［１，２］＋…＋ｂ'_Ｍ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］）／（ｂ_ｎ［１，１］＋ｂ_ｎ［１，２］＋…＋ｂ_ｎ［Ｎ＿Ｒ，Ｋ_Ｎ＿Ｒ］）
次に、シーン系列生成手段１６は、上述したように、シーン系列生成パラメータＲと閾値Ｒ_ＴＨとを比較し、図１１の例に示すように、シーン系列生成パラメータＲが閾値Ｒ_ＴＨ以上（Ｒ≧Ｒ_ＴＨ）である場合には、ショットＳＴ_ｎにおける場面転換はないと判断し、ＳＴ_ｎをシーンＳＮ_ｋに入れる。また、シーン系列生成手段１６は、シーン系列生成パラメータＲが閾値Ｒ_ＴＨ以上でない場合には、ショットＳＴ_ｎにおいて場面転換が発生したと判断し、ｋ＝ｋ＋１として、ＳＴ_ｎで新しいシーンＳＮ_ｋを生成する。また、シーン系列生成手段１６は、ｎ＝ｎ＋１、ｎ＞Ｎ＿ＳＴである場合、シーン系列生成処理を終了と判断して、シーン系列を出力し、そうでない場合には、上述したＳ３３の処理に戻る。これにより、シーン系列生成手段１６は、処理対象映像２４（Ｖ）に対して適切なシーン系列２７（ＳＮ_１，…，ＳＮ_Ｎ＿ＳＮ）を出力することができる。

上述したように、本実施形態では、局所特徴（Ｃｏｌｏｒ−ＳＩＦＴ）でなく、画像片（ブロック画像）によるワードを用いた本実施形態の優位性を示すことができる。更に、画像片は、複数のスケールを生成するのが好ましいことが分かる。本実施形態により、Ｈ−ＭＩＰＷを用いることで、映像内容の類似性に基づいて高精度にシーン系列を生成することができる。

ここで、図１２は、本実施形態におけるシーン系列の生成結果の一例を示す図である。図１２の例では、複数のショット（例えば、ショット１〜１４）に対応するフレーム画像の一例を示している。本実施形態では、図１２に示すような複数のショットを含む処理対象映像２４に対して、上述した画像処理（例えば、シーン系列生成処理）を適用することで、例えば「画面転換（例えば、場所や状況等の適切な変化点）」で高精度にシーンを区切ることができる。

なお、図１２の例では、ショット１〜５がシーン１として生成され、ショット６〜８がシーン２として生成され、ショット９がシーン３として生成され、ショット１０〜１４がシーン４として生成されているが、シーン系列の生成結果については、これに限定されるものではない。つまり、本実施形態におけるシーン系列は、各シーンが少なくとも１つのショットを有する。

＜実行プログラム＞
ここで、上述した画像処理装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

したがって、画像処理装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（画像処理プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、本実施形態における画像処理等を実現することができる。

上述したように本実施形態によれば、高精度なシーン系列を生成することができる。本実施形態によれば、例えば番組映像等において従来手法よりも高精度にシーン系列を生成することができる。また、本実施形態では、例えば各映像ファイルのショット毎の「画像片ワードヒストグラム」を算出すると共に、その変化量に基づきショットを統合してシーンを生成することで、高精度なシーン系列を生成することができる。

また、本実施形態によれば、例えば映像中に含まれるシーン毎の特徴情報を適切に取得することができ、特徴情報に基づく適切なシーンの分類により類似度を迅速に取得することができる。したがって、シーン全体の画像特徴の類似性に基づいた高精度なシーン検索を実現することができる。

以上、好ましい実施形態について詳述したが、開示の技術は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。

１０ 画像処理装置
１１ サンプリング取得手段
１２ 分割ブロック設定手段
１３ 画像片ワード生成手段（ブロック特徴情報生成手段）
１４ ショット分割手段
１５ ヒストグラム生成手段
１６ シーン系列生成手段
２１ 準備用映像集合
２２ 準備用フレーム画像集合
２３ 画像片ワード
２４ 処理対象映像
２５ ショット系列
２６ 画像片ワードヒストグラム
２７ シーン系列

Claims (4)

1. 映像からシーン系列を生成する画像処理装置において、
   サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、
   前記サンプリング取得手段により得られる各フレーム画像に対して、１又は複数のスケール毎にそれぞれのフレーム画像をブロック画像に分割し、分割した各ブロック画像の色特徴又はテクスチャ特徴である特徴情報を生成し、各ブロック画像を前記特徴情報に基づいてクラスタリングすることにより、各ブロック画像が各種類に分類された情報を生成する情報生成手段と、
   前記シーン系列を生成するための処理対象映像をショット毎に予め設定された一定のフレーム間隔で分割するショット分割手段と、
   前記ショット分割手段により分割されたショット毎に、分割した各ショットに含まれるフレーム画像をブロック画像に分割し、分割した各ブロック画像の前記特徴情報と、前記情報生成手段により分類分けされた各種類のブロック画像の前記特徴情報との類似性から、前記各種類のブロック画像の出現比率を算出し、算出した前記出現比率に基づくヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成されたヒストグラムを用いて前記処理対象映像に対するシーン系列を生成するシーン系列生成手段とを有し、
   前記シーン系列生成手段は、
   前記ヒストグラム生成手段により生成された前記ショット毎のヒストグラムの各要素を２以上の数値で多値化し、多値化されたデータ列を前記ショット毎にマージして得られる統合多値データに基づいて、前記シーン系列の分割部分を判断することを特徴とする画像処理装置。
2. 前記情報生成手段により生成される１又は複数のブロックの大きさ、種類、及び数のうち、少なくとも１つを設定する分割ブロック設定手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記シーン系列生成手段は、
   前記ショット毎のヒストグラムにおける前記各種類のブロック画像毎の出現比率と、予め設定された１又は複数の閾値とを比較することにより多値化を行うことを特徴とする請求項２に記載の画像処理装置。
4. コンピュータを、
   請求項１乃至３の何れか１項に記載の画像処理装置が有する各手段として機能させるための画像処理プログラム。