JP2005243035A - アンカーショット決定方法及び決定装置 - Google Patents

Abstract

【課題】 アンカーショット決定方法及び決定装置を提供する。
【解決手段】 動画データの内容をインデックシング、要約及び検索するのに活用できるアンカーショット決定方法において、前記動画データから、複数の基本ショットを抽出する段階と、前記抽出された複数の基本ショットの中から、複数のアンカーモデル候補ショットを選択する段階と、前記複数のアンカーモデル候補ショット中から、少なくとも一つのアンカーモデルショットを決定する段階と、（４）前記少なくとも一つのアンカーモデルショットと前記複数の基本ショットとの間の類似度を求め、少なくとも一つのアンカーショットを確定する段階とを備えることを特徴とするアンカーショット決定方法である。
【選択図】 図１

Description

本発明は動画に係り、特に、ニュース動画または所定のプログラム動画でインデックス、要約及び検索に使われるアンカーを自動検出する方法に関する。

我々は、ラジオだけでなく、ＴＶを通じて多くの情報が得られる。特に、放送されるニュースは、現代人にとっては不可欠な重要な情報源の役割を行う。しかし、現在のように忙しい社会では、定時にニュースを視聴できない場合が頻繁に発生する。一方、ニュースまたは放送プログラムを通じて得る情報は無限であるので、見逃したニュースを以後でも視聴するのを所望する視聴者がたくさんある。このために、放送局では、放送終了後のニュース及びプログラムを動画で製作して準備し、顧客の要請に応じてこれを動画でダウンロードできるようにサービスを提供している。

顧客は、前記動画のデータをダウンロードして再生装置を介して視聴できる。顧客が前記データ全体ではなく、視聴を所望する一部の内容のみを選択して視聴できるようにするためには、前記データと共にインデックス及び検索機能が付加的に提供されねばならない。

一般的に、ニュースは、色々な報道事実を順次伝達する。すなわち、アンカーが一つの報道事実について予告し、その後に参考資料を画面に見せながら、前記報道事実の詳しい内容をリポータが伝達することが普通である。したがって、報道される事実は、一般的にアンカーを基準に識別できる。

ニュース動画でアンカーが画面に現れたところをスナップショットしたことをアンカーショットというとすると、ニュース動画について易しくて速いインデックス及び検索を可能にするために前記アンカーショットを利用できる。このようなアンカーショットを得るために、従来は、テンプレートを利用する方法、クラスタリングを利用する方法及びマルチモーダルを利用する方法の３つの方法を主に使用してきた。

テンプレートを利用する方法は、非特許文献１及び２を参照すれば、詳細に分かる。この方法は、固定されたテンプレートを使用するため、多様なニュースにおいてアンカーを検出することが難しいという短所がある。

非特許文献３のテンプレートを利用する方法は、ニュース動画内でテンプレートを決定するため、多様な形式のニュースに適用することは可能であるが、テンプレートとして使用した第１アンカーショットの時間的な位置情報をある程度は知っていなければならないという短所がある。

クラスタリングを利用する方法の例として、非特許文献４があるが、グラフ理論を利用してアンカーショットを検出する。しかし、ニュース内で２回以上出るアンカーショットについてのみ検出でき、また、時間間隔をおいて現れるショットについて誤検出する短所がある。クラスタリングを利用する従来の方法（特許文献１、２及び３）は、アンカーショットのモデルをあらかじめ決定しておくため、モデルに適合しないニュース動画におけるアンカーショットを検出できない。そして、一般的に、クラスタリングを利用する方法は、時間がかかるという短所がある。

最後に、マルチモーダルを利用する方法（特許文献４）は、クローズドキャプション信号を内包するニュースビデオからマルチモーダルの特徴を抽出し、これに基づいてニュースビデオの主要区間を自動検出してニュースビデオを要約する。

従来の技術の短所を整理すれば、次の通りである。

第一に、顔の周辺の背景カラー情報のみを使用するため、一般的なニュースではない対談場面のようなショットで誤検出が発生する恐れがある（ショット誤検出の問題点）。

第二に、固定されたテンプレートを利用するため、ニュースの形式が変化すれば、アンカーショットを検出できない（多様な形式のニュースに適用不可）。

第三に、ニュース全体で１回のみ出るアンカーショットは検出できない（ショット未検出の問題点）。

第四に、全てのキーフレームについて、キーフレーム間の類似度を検査してクラスタリングを行うため、速度が遅くなる（速度上の問題点）。
ＫＲ２００２−００７５０８１ ＵＳ２００２０１４６１６８ ＪＰ２００３−３２５８３ ＫＲ２００２−００１６３１８ Ｍ．Ｔｅｋａｌｐ，"Ｖｉｄｅｏ ｉｎｄｅｘｉｎｇ ｔｈｒｏｕｇｈ ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ｓｙｎｔａｃｔｉｃ ａｎｄ ｓｅｍａｎｔｉｃ ｆｅａｔｕｒｅｓ"（１９９６） Ｙ．Ｎａｋａｊｉｍａ，"Ａｕｔｏｍａｔｉｃ ａｎｃｈｏｒ ｐｅｒｓｏｎ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ａｎ ＭＰＥＧ ｃｏｄｅｄ ＴＶ ｐｒｏｇｒａｍ" Ａ．Ｈａｎｊａｌｉｃ，"Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ａｎｃｈｏｒ ｐｅｒｓｏｎ ｓｈｏｔ ｉｎ ｎｅｗｓ ｐｒｏｇｒａｍｓ"（１９９８） Ｘｉｎｂｏ Ｇａｏ，"Ａ Ｇｒａｐｈ−Ｔｈｅｏｒｅｔｉｃａｌ Ｃｌｕｓｔｅｒｉｎｇ ｂａｓｅｄ Ａｎｃｈｏｒ ｐｅｒｓｏｎ Ｓｈｏｔ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｎｅｗｓ Ｖｉｄｅｏ Ｉｎｄｅｘｉｎｇ"（２００３）

本発明が解決しようとする技術的課題は、多様な形式の動画でアンカーショットの検出が可能であり、ショット検出速度が速く、１回のみ出るアンカーについてもショット検出を可能にするアンカーショット決定方法を提供することである。

本発明が解決しようとする他の技術的課題は、多様な形式の動画でアンカーショットの検出が可能であり、ショット検出速度が速く、１回のみ出るアンカーについてもショット検出を可能にするアンカーショット決定装置を提供することである。

本発明に係るアンカーショット決定方法は、動画データの内容をインデックシング、要約及び検索するのに活用できるアンカーショット決定方法において、（１）前記動画データから、複数の基本ショットを抽出する段階と、（２）前記抽出された複数の基本ショットの中から、複数のアンカーモデル候補ショットを選択する段階と、（３）前記複数のアンカーモデル候補ショット中から、少なくとも一つのアンカーモデルショットを決定する段階と、（４）前記少なくとも一つのアンカーモデルショットと前記複数の基本ショットとの間の類似度を求め、少なくとも一つのアンカーショットを確定する段階とを備えて構成される。

前記（１）段階は、一定の時間停止した画面が他の画面に転換される瞬間を利用して前記複数の基本ショットを抽出することが好ましい。

前記（２）段階は、アンカー顔検出情報、アンカー顔制約条件、ショットの長さ及び背景カラー情報などの類似度を利用して前記複数のアンカーモデル候補ショットを抽出することが好ましい。

前記アンカー顔制約条件は、顔のサイズ、顔の位置、横及び縦の比率、皮膚カラーの密度及び顔の動きであることが好ましい。

前記背景カラー情報は、顔を含む四角形を基準として得られるカラー情報であることが好ましい。

前記カラー情報は、顔を含む四角形を基準として得られる正規化及び量子化したカラーヒストグラムであることが好ましい。

前記四角形は、前記顔の画面内の位置によって区別され、前記顔が左側にある場合には、前記画面の顔及び上体を含む左側の領域が前記四角形であり、前記顔が右側にある場合には、前記画面の顔及び上体を含む右側の領域が前記四角形であり、前記顔が中央部にある場合には、前記画面の全体が前記四角形であることが好ましい。

前記四角形は、前記四角形を構成する複数の画素をグルーピングして複数のブロックに分割されることが好ましい。

前記（３）段階は、画面に位置するアンカーの顔及び上体の位置を利用して前記少なくとも一つのアンカーモデルショットを抽出することを特徴とし、前記アンカーモデルショットの数は、アンカーの性別、アンカーの顔及び上体の位置によって決定されることが好ましい。

前記（４）段階は、前記少なくとも一つのアンカーモデルショット及び前記複数の基本ショットに登場する前記アンカーの顔及び上体を含む四角形を取り出し、前記四角形を構成する画素をグルーピングして前記四角形を複数のブロックに分割し、比較されるショットを構成する前記ブロック間のカラー情報についての類似度を比較することが好ましい。

前記カラー情報は、顔及び上体のカラー情報を正規化及び量子化したカラーヒストグラムであることが好ましい。

前記（３）段階は、複数のアンカーモデル候補ショットの中から前記少なくとも一つのアンカーモデルショットを決定することが好ましい。

前記（３）段階は、前記アンカーモデルショットの数が、前記アンカーモデル候補ショットの中から、画面上に現れるアンカーの性別、顔及び上体の位置によって決定されることが好ましい。

本発明に係るアンカーショット決定装置は、動画データの内容をインデックシング、要約及び検索するのに活用でき、入力された動画データにおいてショットの境界を決定し、当該境界に基づいて前記動画データから複数のショットを所得するショット境界決定部と、前記ショット境界決定部において取得されたショットに含まれるアンカーの皮膚カラー部を抽出する皮膚カラー抽出部と、前記皮膚カラー部を示す情報を用いて、前記アンカーの顔領域を決定するアンカー顔決定部と、前記アンカーの背景カラー領域を決定して、バックグラウンドとアンカーとの区別を可能にする背景カラー領域決定部と、前記アンカー顔決定部において決定された前記アンカーの顔領域及び前記背景カラー領域決定部において決定された前記アンカーの背景カラー領域を利用して、前記ショット境界決定部において取得されたショットの中から、アンカーモデル候補ショットを決定するアンカーモデル候補ショット決定部と、前記ショット境界決定部において取得されたショットにおけるカラー類似度の比較により、前記アンカーの性別、数、そして報道ショットに関する情報を生成する客体カラー領域決定部と、前記客体カラー領域決定部において生成された情報に基づいて、前記ショット境界決定部において取得されたショットを、男子アンカーショットと、女子アンカーショットと、報道ショットとにグループ分けするショットグルーピング部と、前記男子アンカーショットのグループと、前記女子アンカーショットのグループについて、アンカーの位置に基づいて、アンカーモデルを生成するアンカーモデル生成部と、前記アンカーモデルにおいて、前記アンカーの顔と上半身とを含むブロックを決定するブロック決定部と、前記ブロックを用いて、前記男子アンカーショットのグループと、前記女子アンカーショットのグループとのそれぞれにおいて、少なくとも一つのアンカーショットを確定するアンカーショット確定部とから構成される。

本発明によるモデル生成を利用したアンカーショット決定方法及び決定装置は、あらかじめ決定されたモデルを使用するものではなく、適応的なアンカーモデルを生成させることによって、多様な形式の動画についてもアンカーショットを検出可能にして、生成したモデルと全体キーフレームとの間の類似度を比較することによって速度と性能とを向上させる長所があるので、家庭用ＡＶ保存機器、コンテンツ提供用著作道具及びニュース動画の内容に基づいたインデックシング、要約、検索などに活用できる。

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施例を例示する添付図面及び図面に記載された内容を参照せねばならない。

以下、添付した図面を参照して本発明の望ましい実施例を説明することによって、本発明を詳細に説明する。各図面に提示された同じ参照符号は、同じ部材を表す。

図１は、本発明の一実施例によるアンカーショット決定方法の実施例を表すフローチャートである。

図１を参照すれば、前記アンカーショット決定方法は、基本ショット抽出段階（１１０）、アンカーモデル候補ショット選択段階（１２０）、アンカーモデルショット決定段階（１３０）及びアンカーショット確定段階（１４０）を含む。

基本ショット抽出段階（１１０）は、一定の時間同じ場面を示す画面が、他の場面を示す画面に転換される瞬間を区分の基準として、ニュースまたはプログラムの動画データから複数のショットを抽出し、これを基本ショットとする。したがって、ニュースについての動画の場合、前記複数の基本ショットには、アンカー、リポータ、事件が発生した場所、事件を要約した字幕及びその他のグラフなど、映像が転換される瞬間のデータであればいずれも含まれる。

アンカーモデル候補ショット選択段階（１２０）は、前記複数の基本ショットに第１基準を適用して、前記複数の基本ショットの中から複数のショットを選択し、これをアンカーモデル候補ショットとする。ここで、第１基準は、複数の基本ショットの間の、アンカー顔検出情報、アンカー顔制約条件、ショットの長さ、背景カラー情報などの類似度によって選択される。

アンカーモデルショット決定段階（１３０）は、前記複数のアンカーモデル候補ショットに第２基準を適用して、少なくとも一つのショットを決定し、これをアンカーモデルショットとする。ここで、第２基準は、画面に位置するアンカーの顔及び上体の位置であり、前記アンカーモデルショットの数は、アンカーの性別、アンカーの顔及び上体の位置によって決定される。

アンカーショット確定段階（１４０）は、前記少なくとも一つのアンカーモデルショット及び前記複数の基本ショットに登場する前記アンカーの顔及び上体を含む四角形を取り出し、前記四角形を構成する画素をグルーピングして複数のブロックに前記四角形を分割し、比較するショットを構成する前記ブロック間のカラー情報について密接な類似性のあるショットをアンカーショットと確定する。

以下で、アンカー検出方法を詳細に説明する。

第一に、アンカーモデル候補ショット選択段階について説明する。

まず、ショット単位で区分されたニュース動画の全ての基本ショットについて、ショットの長さ、アンカー顔制約条件、顔検出情報及び背景カラー情報を利用して、アンカーモデル候補ショットを選択する。

ショットの長さについての情報は、‘ニュースビデオでアンカーが現れるショットのうち少なくとも一つのショットは、１０秒以上持続される’という仮定を利用して得る。

アンカーモデル候補ショットは、常にアンカーの顔が現れる場面であるので、顔検出情報として皮膚カラーを利用すれば、顔を容易に検出できる。皮膚カラーの値が所定の範囲内に存在すれば、皮膚カラーと判断することによって、これを達成できる。前記所定の範囲は、システム設計者によってセッティングされる。

前記検出された顔データのノイズを除去し、アンカー顔制約条件を適用すれば、概略で得られた前記検出された顔データ中でさらに正確な顔データを検出できる。アンカー顔制約条件は、顔四角形のサイズ、位置、変化度、皮膚カラーの密度を判断基準とする。

前記顔四角形とは、アンカーと判断された顔を含む四角形である。アンカーの顔は、画面全体を占めていないにも拘わらず、アンカーが現れる画面全体を基本ショットとすれば、前記アンカーが含まれたショットからアンカーショットを確定しようとするとき、判断が複雑になりうる。したがって、アンカーの顔を含む最小限の領域を四角形と定義してデータを収集し、これに基づいてアンカーショットを確定することが望ましい。

前記顔四角形の位置は、アンカーが画面で占める位置を意味する。アンカーが現れる画面を調べれば、アンカーは、画面の中央に位置するか、または画面の左側あるいは右側に位置することが一般的である。

前記変化度は、カメラがアンカーを撮影する角度によって、画面に現れるアンカーの顔間に存在する角度差を意味する。角度差が小さければ、同じアンカーショットと判断しようとするものである。

前記皮膚カラーの密度もアンカー顔制約条件の重要な判断基準となるが、皮膚カラーの密度が非常に低いものをアンカーショットと確定すれば、視聴者の立場で画面が鮮明に見られないことがある。したがって、皮膚カラーの密度はこの不鮮明なショットを除去するための基準となる。

基本ショットと候補ショットとの間の背景カラーの類似度を判断基準として、所定の閾値以上である場合、アンカーモデル候補ショットと決定する。類似度の測定手段としては、正規化したヒストグラムインターセクション方法を利用すれば良い。

図２は、本発明の一実施例によるアンカーショット決定方法に使われるアンカーモデル候補ショットのクラスタである。

図２を参照すれば、複数の基本ショットのうち前記第１基準に満足するショットを選択した結果、男子アンカー及び女子アンカーの姿が含まれたショットが選択されたことが分かる。

第二に、アンカーモデルショット決定段階について説明する。

前述した方法を介して選択された複数のアンカーモデル候補ショットから、さらにアンカーモデルショットを選択して決定する。前記決定のために、顔及び上体のカラーを利用して、類似したショット同士でクラスタリングする。

第１アンカー候補ショットでアンカーの顔を含む任意の四角形を除去した後、各ショットに対する上体四角形におけるＹ、Ｃｂ、Ｃｒそれぞれのカラー分布を調べる。一般に、ニュースでの男子アンカーはスーツ、女子アンカーは単色の衣装を着用する。したがって、前記のような方法で求めたアンカー客体のカラー情報は信頼できる。このように求めたアンカー客体のカラー情報を利用して、アンカーの上体カラーを抽出できる。抽出したアンカーモデル候補の顔領域に対して顔四角形を左右に拡大し、顔四角形の下側から映像の端部まで定めて上体候補四角形を作る。

それにより、上体の候補領域にあらかじめ調べたカラー情報を利用して候補四角形の上体領域からアンカーの上体部分を検出できる。そして、顔領域と上体領域とをＯＲ演算することによって、アンカー客体を求めうる。前記アンカー客体は、それぞれのＹＣｂＣｒカラーについてヒストグラムを構成する。しかし、得られるアンカー客体のサイズは、ニュース動画で少しずつ異なるため、客体のサイズで割って０〜１の値を有するように正規化する。

ヒストグラムは、２５６色のカラーであるとき、ショットが有している２５６個のカラーのうち、どんなカラーがいかなる程度の比重を占めているかを表すものである。ここでは、ショットの全体に対して前記ヒストグラムを求めるものではなく、所定の四角形を仮定し、前記四角形の内部に対して求めたヒストグラムを使用するが、これが本発明の特徴のうち一つである。

数式（１）は、クラスタリングの基準となるヒストグラムである。

ここで、ｉは、３色（Ｙ、Ｃｂ及びＣｒ）についての変数であるので、前記数式（１）は、前記３色（Ｙ、Ｃｂ及びＣｒ）についてヒストグラムが作られるということを意味する。ここで、関数の表示として“Ｏ（Ｏｂｊｅｃｔ）”を使用する理由は、画面全体ではなく、特定の客体に対するヒストグラムであることを強調するためである。

前記アンカー客体のヒストグラムと同様に、ＹＣｂＣｒそれぞれのカラーヒストグラムを数式（２）に表す。

次いで、基準となるヒストグラムと候補となるヒストグラムとの間の類似度を測定してクラスタリングする。類似度検査のためには、既存の正規化したヒストグラムインターセクション方法を使用する。

類似度は、数式（３）を通じて求めうる。

ここで、Ｏ_Rは、テンプレートである第１アンカーモデル候補ショットの客体カラーヒストグラムであり、Ｏ_Cは、アンカーモデル候補ショットの客体カラーヒストグラムであり、ｎはブロックの数である。アンカーショットのアンカー客体カラーは、非常に類似しているため、所定の閾値以上の類似度値を有するショットを一つのクラスタとする。

このように、カラー類似度を利用してクラスタリングすれば、男子アンカーショット、女子アンカーショット及び報道ショットのグループに分けられる。アンカーのモデルを作るためには、多数のショットのあるクラスタの中からアンカーモデルグループを選択することが望ましい。

このように選択したクラスタのうち、それぞれの顔の位置情報を利用してアンカーモデルを作る。顔の位置は、左側、中央及び右側の３つの場合がある。ニュースでのアンカーが現れる場面を分析すると、アンカーの顔が左側に現れれば、右側には、ニュースの内容を知らせるニュースアイコンや記事の題目を表示する。アンカーの顔が右側に現れる場合、これと逆になる。したがって、アンカーが画面の右側または左側に現れる場合、残りの部分であるニュースアイコンや記事の題目を除去して比較する。中央にアンカーの顔が現れる場面では、ニュースアイコンや記事題目が表示されない。

図３は、本発明の一実施例によるアンカーショットの決定方法に使われるアンカーモデルショットである。

図３を参照すれば、図２に示されたアンカーモデル候補ショットの中から前記第２基準を満たすショットを選択した結果、３個のアンカーモデルショットが決定されたことが分かる。男子アンカーは、画面の左側にいる場合及び画面の中央にいる場合が前記アンカーモデルショットと決定され、女子アンカーは、画面の左側にいる場合のみが前記アンカーモデルショットと決定されたことが分かる。これは、図２に示されたアンカーモデル候補ショットの集まりに基づいて決定される。

第三に、アンカーショットを確定する段階を説明する。

生成されたアンカーモデルと前記基本ショットとの間の類似度測定を行って、類似度が所定の閾値以上であるショットについてアンカーショットと確定する。

前記類似度の比較のために、モデルと同じ位置の領域と同じサイズを有する四角形を複数個（例えば、２４個）のブロックに分ける。

図４は、本発明が一実施例によるアンカーショット決定方法に使われるアンカーモデルショットをブロックに分ける方法を表す図である。

図４に、複数のブロックに分割されたアンカーモデルショット及び基本ショットを示す。前記アンカーモデルショットをブロックに分ける方法は、アンカーが左側にいる場合に、右側の字幕は考慮しない。すなわち、左側のアンカーのみを任意の複数のブロックに区分し、区分された複数のブロックデータをキーデータとして基本ショットと比較する。もちろん、比較される基本ショットも左側部分のみが考慮される。

ニュースのアンカーショットは、アンカーの位置がほぼ同じであるが、若干のカメラモーションとアンカーの動きとがあるため、位置情報を有しうるブロック単位のマッチング類似度を判断基準として利用してはじめて、信頼性のある結果が得られる。

任意のＫブロックに対する平均値Ｂ_Kは、数式（４）のように表される。

ここで、ＲＧＢ_K（ｉ）は、ブロックＫに対するカラー値であり、Ｎは、一つのブロックにおける画素の数である。

アンカーモデルブロックＫに対する平均値Ｂ_KAとキーフレームブロックＫに対する平均値Ｂ_KSとの差Ｄｉｆｆｅｒを数式（５）のように表すことができる。

ここで、Ｇは、一つの画面に含まれた全体のブロック数である。前記差が所定の閾値以上であれば、アンカーショットと確定する。

図５は、本発明の他の一実施例による、アンカーショット決定装置を表すブロック図である。

図５を参照すれば、前記アンカーショット決定装置は、ショット境界決定部５０１、皮膚カラー抽出部５０２、アンカー顔決定部５０３、背景カラー領域決定部５０４、アンカーモデル候補ショット決定部５０５、客体カラー領域決定部５０６、ショットグルーピング部５０７、アンカーモデル生成部５０８、ブロック決定部５０９及びアンカーショット確定部５１０を備える。

ショット境界決定部５０１は、動画データを受信してショットを区分する境界を決定し、前記決定された境界に基づいて動画データから所定のショットを抽出する。

皮膚カラー抽出部５０２は、ショット境界決定部５０１から抽出されたショット中に含まれたアンカーの皮膚のカラー（皮膚カラー部）を抽出する。

アンカー顔決定部５０３は、皮膚カラー抽出部５０２から抽出された皮膚カラーの情報を利用してアンカーの顔を決定する。

背景カラー領域決定部５０４は、アンカー顔決定部５０３で決定されたアンカーの背景に対するカラー領域を決定して、アンカーを背景から識別することができるようにする。

アンカーモデル候補ショット決定部５０５は、アンカー顔決定部５０３で決定されたアンカー及び背景カラー領域決定部５０４で決定された背景カラーの情報を利用して、ショット境界決定部５０１から抽出されたショットのうち、アンカーモデル候補ショットを決定する。

客体カラー領域決定部５０６は、アンカーモデル候補ショット決定部５０５で決定されたショットのうち、アンカーに対するカラーの類似度を比較してアンカーの性別、アンカーの数及び報道ショットについての情報を決定する。

ショットグルーピング部５０７は、客体カラー領域決定部５０６で決定された情報を利用して、男子アンカーショット、女子アンカーショット及び報道ショットにグループ分けする。

アンカーモデル生成部５０８は、ショットグルーピング部５０７で生成された男子アンカーショットのグループ及び女子アンカーショットのグループで、アンカーの位置によって、アンカーモデルを生成する。言い換えれば、アンカーが画面の左側、中央または右側のどこにいるかによってアンカーモデルショットを生成する。

ブロック決定部５０９は、アンカーモデル生成部５０８で生成されたアンカーモデルショットのうち、アンカーの顔及び上体のみを一つの小さなブロックと定義する。それ以外の領域は、前記ブロックから除外される。

アンカーショット確定部５１０は、ブロック決定部５０９で決定されたブロックを利用して、アンカーモデル生成部５０８で生成された男子アンカーショットのうち少なくとも一つのアンカーショットを、女子アンカーショットのうち少なくとも一つのアンカーショットをそれぞれ確定する。

本発明によるアンカーショットの確定方法は、多様な形式のニュース動画からアンカーショットを検出可能にするために、ニュース動画に存在するアンカーの左側、右側及び中央のモデルを適応的に生成して利用する。誤検出の防止及び検出速度を速くするために、全体キーフレームと生成されたアンカーモデルとの間で同じ位置及びサイズについて類似性の程度を比較する。一回のみ出るアンカーに対してショットが検出されるようにするために、アンカーモデルと類似したキーフレームをアンカーショットと検出する。

前述した本発明によるモデル生成を利用したアンカー検出方法は、ニュースについての動画だけでなく、一般的な動画データとしてインデックス及び検索機能が付与されねばならない全ての動画データに適用できるということは、前述した説明から十分に類推されうる。

例えば、英語会話教習用に製作されたビデオには、一般的に、設定された状況によるダイアローグが複数個収録されている。これら複数のダイアローグは、一般的に、司会者があらかじめ出て、以後に展開される状況についてあらかじめ概略を説明した後に、展開されることが普通である。したがって、前記複数のダイアローグは、司会者が画面に現れるかどうかを基準として互いに分類できる。前記ビデオを動画に製作することによって、動画データは容易に得られる。

ニュースのアンカーに該当する人物が前記英語会話教習用の動画データの司会者であるということは、誰でも容易に考えられ、従って、本発明の内容をニュースの動画だけでなく、英語会話教習用の動画データにも適用できる。したがって、本発明に使われたアンカーは、ニュースの進行アナウンサーを指すことはもとより、動画データを分類するために使われる基準となるものは、いずれもアンカーと言える。

以上、図面及び明細書で最適の実施例が開示された。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これから多様な変形及び均等な他の実施例が可能であるということが分かる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。

本発明は、ニュースまたは所定の動画を製作し、これをユーザに供給して使用するようにする分野に適用可能であり、特に、家庭用ＡＶ保存機器、コンテンツ提供用著作道具及びニュース動画の内容に基づいたインデックシング、要約、検索などに活用できる

本発明の一実施例によるアンカーショット決定方法の実施例を示すフローチャートである。 本発明の一実施例によるアンカーショット決定方法に使われるアンカーモデル候補ショットのクラスタである。 本発明の一実施例によるアンカーショット決定方法に使われるアンカーモデルショットを示す図面である。 本発明の一実施例によるアンカーショット決定方法に使われるアンカーモデルショットをブロックに分ける方法を表す図である。 本発明の他の一実施例による、アンカーショット決定装置を表すブロックダイヤグラムである。

符号の説明

１１０ 基本ショット抽出段階
１２０ アンカーモデル候補ショット選択段階
１３０ アンカーモデルショット決定段階
１４０ アンカーショット確定段階
５０１ ショット境界決定部
５０２ 皮膚カラー抽出部
５０３ アンカー顔決定部
５０４ 背景カラー領域決定部
５０５ アンカーモデル候補ショット決定部
５０６ 客体カラー領域決定部
５０７ ショットグルーピング部
５０８ アンカーモデル生成部
５０９ ブロック決定部
５１０ アンカーショット確定部

Claims (14)

1. 動画データの内容をインデックシング、要約及び検索するのに活用できるアンカーショット決定方法において、
   （１）前記動画データから、複数の基本ショットを抽出する段階と、
   （２）前記抽出された複数の基本ショットの中から、前記アンカーショットを取得するために、複数のアンカーモデル候補ショットを選択する段階と、
   （３）前記複数のアンカーモデル候補ショット中から、少なくとも一つのアンカーモデルショットを決定する段階と、
   （４）前記少なくとも一つのアンカーモデルショットと前記複数の基本ショットとの間の類似度を求め、少なくとも一つのアンカーショットを確定する段階と
   を備えることを特徴とするアンカーショット決定方法。
2. 前記（１）段階は、
   一定の時間停止した画面が他の画面に転換される瞬間を利用して前記複数の基本ショットを抽出することを特徴とする請求項１に記載のアンカーショット決定方法。
3. 前記（２）段階は、
   アンカー顔検出情報、アンカー顔制約条件、ショットの長さ及び背景カラー情報の類似度を利用して前記複数のアンカーモデル候補ショットを抽出することを特徴とする請求項１に記載のアンカーショット決定方法。
4. 前記アンカー顔制約条件は、
   顔のサイズ、顔の位置、横及び縦の比率、皮膚カラーの密度及び顔の動きであることを特徴とする請求項３に記載のアンカーショット決定方法。
5. 前記背景カラー情報は、
   顔を含む四角形を基準として得られるカラー情報であることを特徴とする請求項３に記載のアンカーショット決定方法。
6. 前記カラー情報は、
   顔を含む四角形を基準として得られる正規化及び量子化したカラーヒストグラムであることを特徴とする請求項５に記載のアンカーショット決定方法。
7. 前記四角形は、
   前記顔の画面内の位置によって区別され、
   前記顔が左側にある場合には、前記画面の顔及び上体を含む左側の領域が前記四角形であり、
   前記顔が右側にある場合には、前記画面の顔及び上体を含む右側の領域が前記四角形であり、
   前記顔が中央部にある場合には、前記画面の全体が前記四角形であることを特徴とする請求項５または６に記載のアンカーショット決定方法。
8. 前記四角形は、
   前記四角形を構成する複数の画素をグルーピングして複数のブロックに分割されることを特徴とする請求項７に記載のアンカーショット決定方法。
9. 前記（３）段階は、
   画面に位置するアンカーの顔及び上体の位置を利用して前記少なくとも一つのアンカーモデルショットを抽出することを特徴とし、
   前記アンカーモデルショットの数は、アンカーの性別、アンカーの顔及び上体の位置によって決定されることを特徴とする請求項１に記載のアンカーショット決定方法。
10. 前記（４）段階は、
    前記少なくとも一つのアンカーモデルショット及び前記複数の基本ショットに登場する前記アンカーの顔及び上体を含む四角形を取り出し、前記四角形を構成する画素をグルーピングして前記四角形を複数のブロックに分割し、
    比較されるショットを構成する前記ブロック間のカラー情報についての類似度を比較することを特徴とする請求項１に記載のアンカーショット決定方法。
11. 前記カラー情報は、
    顔及び上体のカラー情報を正規化及び量子化したカラーヒストグラムであることを特徴とする請求項１０に記載のアンカーショット決定方法。
12. 前記（３）段階は、
    複数のアンカーモデル候補ショットの中から前記少なくとも一つのアンカーモデルショットを決定することを特徴とする請求項１に記載のアンカーショット決定方法。
13. 前記（３）段階は、
    前記アンカーモデルショットの数が、前記アンカーモデル候補ショットの中から、画面上に現れるアンカーの性別、顔及び上体の位置によって決定されることを特徴とする請求項１２に記載のアンカーショット決定方法。
14. 動画データの内容をインデックシング、要約及び検索するのに活用できるアンカーショット決定装置において、
    入力された動画データにおいてショットの境界を決定し、当該境界に基づいて前記動画データから複数のショットを取得するショット境界決定部と、
    前記ショット境界決定部において取得されたショットに含まれるアンカーの皮膚カラー部を抽出する皮膚カラー抽出部と、
    前記皮膚カラー部を示す情報を用いて、前記アンカーの顔領域を決定するアンカー顔決定部と、
    前記アンカーの背景カラー領域を決定して、バックグラウンドとアンカーとの区別を可能にする背景カラー領域決定部と、
    前記アンカー顔決定部において決定された前記アンカーの顔領域及び前記背景カラー領域決定部において決定された前記アンカーの背景カラー領域を利用して、前記ショット境界決定部において取得されたショットの中から、アンカーモデル候補ショットを決定するアンカーモデル候補ショット決定部と、
    前記ショット境界決定部において取得されたショットにおけるカラー類似度の比較により、前記アンカーの性別、数、そして報道ショットに関する情報を生成する客体カラー領域決定部と、
    前記客体カラー領域決定部において生成された情報に基づいて、前記ショット境界決定部において取得されたショットを、男子アンカーショットと、女子アンカーショットと、報道ショットとにグループ分けするショットグルーピング部と、
    前記男子アンカーショットのグループと、前記女子アンカーショットのグループについて、アンカーの位置に基づいて、アンカーモデルを生成するアンカーモデル生成部と、
    前記アンカーモデルにおいて、前記アンカーの顔と上半身とを含むブロックを決定するブロック決定部と、
    前記ブロックを用いて、前記男子アンカーショットのグループと、前記女子アンカーショットのグループとのそれぞれにおいて、少なくとも一つのアンカーショットを確定するアンカーショット確定部と
    からなることを特徴とするアンカーショット決定装置。