JP5088507B2 - 同一性判定装置、同一性判定方法および同一性判定用プログラム - Google Patents

Description

本発明は、同一性判定装置、同一性判定方法および同一性判定用プログラムに関し、特に映像から検出された対象物間の同一性を判定するための同一性判定装置、同一性判定方法および同一性判定用プログラムに関する。

従来の同一性判定システムの一例が、特許文献1に記載されている。

特許文献１の手法は、映像の各フレームから検出された対象物を、各対象物の類似性をもとにグループにまとめ、各グループを構成する対象物の登場回数に基づいて登場対象物一覧を生成する。たとえば、映像から抽出された人物の顔についてグループ化し、各グループから顔の登場回数に基づいて出演者一覧を生成する。

そのための構成として、図１に示すように、入力映像を複数枚の静止画として抽出する静止画像抽出手段７００と、任意の枚数の静止画で構成されるショットに区分する画像区分手段７０１と、各ショットに所定の映像が撮影さているか否かを判定する所定映像判定手段７０２と、所定映像が入力映像中に既に撮影されているか否かを判定する所定映像既出判定手段７０３と、所定映像の類似性をもとにグループ化するとともに、所定映像の登場回数を計測する所定映像分類計測手段７０４と、登場回数に基づいて映像登場一覧を作成する映像登場一覧作成手段７０５とから構成されている。

また、別の同一性判定システムの一例が、特許文献２に記載されている。

特許文献２の手法は、映像や音声などの入力信号を構成するセグメントについて、セグメントから抽出される特徴量の間の類似性が高く、かつ時間的距離が所定閾値以下のセグメントの組み合わせを、信号の意味的構造が同一としてグループにまとめる。たとえば、２人の話し手の会話シーンについては、話し手に応じて交互に現れるセグメントを、話し手ごとにグループ化する。

そのための構造として、図２に示すようにある連続フレームから成るセグメントから映像特徴量を抽出する映像特徴量抽出部８０１と音声特徴量を抽出する音声特徴量抽出部８０２と、セグメント対の類似性を測定する特徴量類似性測定部８０５と、セグメント対のうち互いの時間的距離が所定の時間閾値以内でかつ非類似性が所定の非類似性以下であるセグメントを検出してまとめることでシーンを検出するシーン検出部８０６とから構成されている。
特開平１０−２３４００４号公報 特開２０００−２８５２４２号公報 岩井儀雄、山口修、平山高嗣、他１名"画像処理による顔検出と顔認識"、情報処理学会研究報告（ＣＶＩＭ−１４９）、２００５年 ｐｐ．３４３〜３６８ 赤松茂、"コンピュータによる顔の認識―サーベイ―"、電子情報通信学会論文誌 Ｖｏｌ．Ｊ８０−Ａ Ｎｏ．８ ｐｐ．１２１５〜１２３０ １９９７．８

従来手法における第１の問題点は、対象物の同一性判定を高精度に行えない点である。その理由は、対象物の同一性が対象物間の類似度のみに基づいて決定されるため、対象物の特徴量の抽出や類似度の算出に失敗した場合や、対象物が互いに異なる照明条件や向きで撮影された場合に、同一性判定が不正確になるためである。

従来手法における第２の問題点は、フレーム間距離が所定の時間閾値以上離れているセグメント対について同一性を判定できない点である。例えばドラマ映像中で時間的に離れて存在し、かつ共通の人物を含むセグメント対について同一と判定しない。その理由は、従来手法では同一のセグメント対は、互いに時間的に近い位置に存在することを前提としており、セグメント対から抽出される特徴量が互いに類似していても時間的に離れて存在する場合には同一と判定しないためである。

本発明の目的は、映像中の様々な時間的位置に登場する対象物について、対象物が互いに同一であるか否かを判定することにある。

本発明によれば、入力映像から検出された複数の対象物間の同一性を、対象物が検出された各々のフレームの間の距離であるフレーム間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする同一性判定装置が提供される。

また、本発明によれば、入力映像から検出された複数の対象物間の同一性を、対象物が検出された各々のフレームの間の距離であるフレーム間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする同一性判定方法が提供される。

更に、本発明によれば、入力映像から検出された複数の対象物間の同一性を、対象物が検出された各々のフレームの間の距離であるフレーム間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする同一性判定装置としてコンピュータを機能させるための同一性判定用プログラムが提供される。

第１の効果は、対象物の同一性判定を高精度に行える点である。その理由は、対象物同一性確率の算出あるいは選択時に、フレーム間距離に対する同一対象物の出現確率を利用することによって、入力映像のシナリオに応じた同一性判定が実現できるためである。また、対象物間の特徴量の類似度に加えてフレーム間距離によって算出あるいは選択される対象物同一性確率を用いることにより、動物体の特徴量の抽出や類似度の算出に失敗した場合に同一性判定の精度劣化が抑えられるためである。

第２の効果は、所定の時間閾値以上フレーム間距離が離れているセグメント対について同一性を判定できる点である。例えばドラマ映像中で時間的に離れて存在し、かつ共通の人物を含むセグメント対について同一と判定できる。その理由は、セグメント対が時間的に離れて存在する場合であっても、セグメント対のフレーム間距離をもとに算出または選択される映像区間対の同一性確率に応じて同一と判定できるためである。

従来の映像生成システムの一例である特許文献１のブロック図である。 従来の映像生成システムの一例である特許文献２のブロック図である。 本発明を実施するための第１の最良の形態の構成を示すブロック図である。 本発明を実施するための第１の最良の形態の動作を示す流れ図である。 本発明を実施するための第１の最良の形態におけるフレーム間距離算出手段の動作を説明する図である。 同一対象物が所定の時間以内に再度出現する傾向があるという事前知識に基づく同一性確率算出関数の一例を示す図である。 同一対象物が一定時間連続して出現する傾向があるという事前知識に基づく同一性確率算出関数の一例を示す図である。 同一対象物が一定時間後に再度出現する傾向があるという事前知識に基づく同一性確率算出関数の一例を示す図である。 同一対象物は同一フレーム内に登場しないという事前知識に基づく同一性確率算出関数の一例を示す図である。 本発明を実施するための第２の最良の形態の構成を示すブロック図である。 本発明を実施するための第２の最良の形態の動作を示す流れ図である。 本発明を実施するための第３の最良の形態の構成を示すブロック図である。 本発明を実施するための第３の最良の形態の動作を示す流れ図である。 本発明を実施するための第４の最良の形態の構成を示すブロック図である。 本発明を実施するための第５の最良の形態の構成を示すブロック図である。 本発明を実施するための第６の最良の形態の構成を示すブロック図である。 実施例１の構成を示すブロック図である。 実施例２の構成を示すブロック図である。 実施例３の構成を示すブロック図である。 本発明を実施するための第７の最良の形態の構成を示すブロック図である。 本発明を実施するための第７の最良の形態の動作を示す流れ図である。 同一対象物が所定の時間以内に所定範囲の位置座標で再度出現する傾向があるという事前知識に基づく同一性確率算出関数の一例を示す図である。 同一対象物が一定時間、一定位置に連続して出現する傾向があるという事前知識に基づく同一性確率算出関数の一例を示す図である。 同一対象物が一定時間後に、ほぼ同一位置に再度出現する傾向があるという事前知識に基づく同一性確率算出関数の一例を示す図である。 実施例４の構成を示すブロック図である。 本発明を実施するための第１の最良の形態における判定結果出力手段の出力例を示した表である。 本発明を実施するための第２の最良の形態において、対象物同一性確率記憶部に記憶されるフレーム間距離と対象物同一性確率の対応表の一例を示した表である。 本発明を実施するための第３の最良の形態における判定結果出力手段の出力例を示した表である。

符号の説明

１００，２００，３００，４００，５００，６００，９００ データ処理装置
１０１，２０１，３０１，９０１ 対象物検出手段
１０２，２０２，３０３，９０２ フレーム間距離算出手段
９０５ 座標間距離算出手段
３０２ 特徴量抽出手段
１０３，３０５ 対象物同一性確率算出手段
２０３，９０３ 対象物同一性確率選択手段
１０４，２０４，３０６，９０４ 同一性判定手段
３０４ 類似度算出手段
１１０，２１０，３１０，４１０，５１０，６１０，９１０ 映像入力手段
１２０，２２０，４２０，５２０，９２０ 記憶装置
３２０，６２０ 画像記憶装置
１２１，９２１ 同一性確率算出関数記憶部
１３０，２３０，３２０，４３０，５３０，６３０，９３０ 判定結果出力手段
４４０，５４０，６４０ 同一性判定用プログラム
２２１ 対象物同一性確率記憶部
３３１ 画像記憶部
２４０，５５０ コマンド入力装置
７００ 静止画抽出手段
７０１ 画像区分手段
７０２ 所定映像判定手段
７０３ 所定映像既出判定手段
７０４ 所定映像分類計測手段
７０５ 映像登場一覧作成手段
８００ ビデオ分割部
８０１ 映像特徴量抽出部
８０２ 音声特徴量抽出部
８０３ ビデオセグメントメモリ
８０４ セグメント特徴量メモリ
８０５ 特徴量類似性測定部
８０６ シーン検出部

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

（最良の形態１）

次に、本発明を実施するための第１の最良の形態について図面を参照して詳細に説明する。

図３を参照すると、本発明を実施するための第１の最良の形態は、プログラム制御により動作するデータ処理装置１００と、映像を入力する映像入力手段１１０と、対象物同一性確率算出関数を記憶する記憶装置１２０と、対象物の同一性判定の結果を出力する判定結果出力手段１３０から構成されている。

データ処理装置１００は、対象物検出手段１０１と、フレーム間距離算出手段１０２と、対象物同一性確率算出手段１０３と、同一性判定手段１０４を含む。

対象物検出手段１０１は、映像入力手段から受け取った映像を構成する各フレームから対象物を検出し、対象物が検出されたフレーム番号を抽出する。また、検出された対象物にそれぞれ固有の対象物ＩＤを採番する。フレーム間距離算出１０２にフレーム番号と対象物ＩＤを出力する。

対象物は、フレーム全体であっても、車やボールのように同一の動き成分を持つ動領域、あるいは空や地面のように同一の色成分を持つ静止領域、あるいは人物や動物のようにあるパターンを持った画像領域のようなフレームの一部分であっても構わない。

対象物ＩＤは、対象物検出手段１０１によって検出された順に振られる番号であっても、アルファベットであっても、その他の文字あるいは記号であっても良い。

フレーム間距離算出手段１０２は、対象物検出手段１０１からフレーム番号と対象物ＩＤを受け取り、受け取ったフレーム番号をもとに対象物が検出された各々のフレームの間の距離であるフレーム間距離を算出する。対象物同一性確率算出手段１０３に、フレーム間距離、前記フレーム間距離を算出するフレーム対、前記フレーム対から検出された対象物の対象物ＩＤを出力する。

フレーム間距離は、フレーム番号の差分値をもとに算出されるメディア時間であっても、フレームが対応する台本における時刻の差分値をもとに算出されるシナリオ時間であっても、ショットの切り替わりやカメラワークの変化、シーンの切り替わり、ＢＧＭの変化、または背景の画像特徴量の変化のいずれか一つまたはそれらの組み合わせに基づいて重み付けられたメディア時間またはシナリオ時間であってもよい。

対象物同一性確率算出手段１０３は、同一性確率算出関数記憶部１２１から選択した対象物同一性確率算出関数を用いて、フレーム間距離算出手段１０２から受け取ったフレーム間距離を算出するフレーム対について各々のフレームに含まれる対象物の間の対象物同一性確率を算出する。同一性判定手段１０４に、対象物同一性確率、前記対象物同一性確率を算出する対象物の対象物ＩＤおよび、前記対象物が検出されたフレーム番号を出力する。

同一性判定手段１０４は、対象物同一性確率算出手段１０３から受け取った各対象物の間の対象物同一性確率をもとに、入力映像から検出された対象物群の同一性を判定し、同一と判定された対象物に同一のグループＩＤを付与する。判定結果出力手段１３０に、同一性判定結果として、グループＩＤ、前記グループに属する対象物ＩＤおよび前記対象物が検出されたフレーム番号を出力する。

グループＩＤは、グループに属する対象物の個数や、対象物が画像に占める大きさや、ＢＧＭの盛り上がり箇所で検出された対象物の個数などに基づいた順位によって決定される番号であっても、アルファベットであっても良い。

記憶装置１２０は、同一性確率算出関数記憶部１２１を含む。

同一性確率算出関数記憶部１２１は、フレーム間の距離をもとにフレーム対に含まれる対象物の同一性を算出する対象物同一性確率関数を記憶し、対象物同一性確率算出手段１０３によって選択された対象物同一性確率関数を対象物同一性確率算出手段１０３に出力する。

判定結果出力手段１３０は、同一性判定手段１０４から受け取った対象物の同一性判定結果を出力する。出力の形式は、検出された対象物ごとにグループＩＤ、フレーム番号、対象物ＩＤを表形式で画面提示してもよいし、その他の形式であっても良い。

（最良の形態の動作１）

次に、図３及び図４のフローチャートを参照して本最良の形態の全体の動作について詳細に説明する。

まず、映像入力手段１１０は、対象物検出手段１０１に入力映像を構成する各フレームを入力する（図４のステップＡ０１）。

対象物検出手段１０１は、入力フレームから対象物を検出する（ステップＡ０２）。

対象物の検出方法としてパターン認識の手法を用いる。一例として、対象物検出手段１０１において、あらかじめテンプレートとして記憶した対象物の画像と入力フレームとの画素値の差分を算出し、差分が閾値以下のとき入力画像に対象物が存在すると判定する手法が挙げられる。テンプレートとして記憶する対象物の画像は、ユーザが映像入力手段を介して入力する画像であっても、ユーザが指定する対象物の特徴をもとに対象物検出手段が選択した画像であっても良い。対象物検出には、例示したテンプレートを利用した手法を用いても、別の方法を適用しても構わない。

対象物が検出された場合には、対象物の検出されたフレーム番号と、対象物ＩＤをフレーム間距離算出手段１０２に出力する。

フレーム間距離算出手段１０２は、対象物検出手段１０１において入力フレームから対象物が検出された場合に、対象物が検出された既出のフレームとのフレーム間距離を算出する（ステップＡ０３）。

フレーム間距離算出手段１０２の処理について図５を用いて説明する。今、映像入力手段１１０から入力されたフレーム（ｄ）から、対象物検手段１０２によって対象物が検出され、対象物ＩＤ『Ｄ』が採番されたとする。既出のフレーム（ａ）および（ｃ）からは、既に対象物検出手段１０２によって対象物が検出され、それぞれ対象物ＩＤ『Ａ』および『Ｃ』が採番されており、既出のフレーム（ｂ）からは対象物が検出されなかったものとする。このとき、フレーム間距離算出手段１０２は、入力フレーム（ｄ）と、対象物が検出された既出のフレーム（ａ）および（ｃ）との間で、それぞれフレーム間距離ＤａｄおよびＤｃｄを算出する。また、対象物が検出されなかったフレーム（ｂ）との間ではフレーム間距離を算出しない。フレーム間距離Ｄａｄは、フレーム（ａ）および（ｄ）のフレーム番号ｆａおよびｆｄをもとに算出される。フレーム間距離Ｄａｄは、フレーム番号ｆａとｆｄの差分であっても、ｆａとｆｄがそれぞれ対応する台本における時刻の差分であってもそれ以外でも良い。

対象物同一性確率算出手段１０３は、同一性確率算出関数記憶部１２１から対象物同一性確率算出関数を選択し（ステップＡ０４）、

選択した対象物同一性確率算出関数を用いて、入力フレームと既出のフレームとの間で算出されるフレーム間距離をもとに、入力フレームと既出のフレームからそれぞれ検出された対象物の間の同一性を意味する対象物同一性確率を算出する（ステップＡ０５）。

対象物同一性確率算出関数は、以下に示すように入力映像における対象物の出現傾向の事前知識に基づく関数を用いても良い。

（１）『同一の対象物が所定時間以内に再度出現する傾向がある』という事前知識に基づく関数（図６）

フレーム間距離がＤ１よりも短いフレーム対に含まれる対象物について、フレーム間距離が短いほど対象物同一性確率を線形に大とし、フレーム間距離がＤ１よりも長いフレーム対に含まれる対象物について対象物同一性確率を一定とする関数は、同一の対象物がフレーム間距離Ｄ１以内に再度登場する確率が高い映像に対して、検出された対象物の間の同一性判定に効果的である。

１例として、ドラマ映像の出演者の同一性判定について説明する。ドラマ映像においては、ストーリー上の同一場面を表す映像区間Ｄ１内では出演者が繰り返し登場する。そのため、フレーム間距離Ｄ１以内で同一の出演者が再度登場する確率が高い。このようなケースに対して本関数を用いた場合、出演者の同一性を良好に判定できるため有効である。

（２）『同一の対象物は一定時間連続して出現する傾向がある』という事前知識に基づく関数（図７）

フレーム間距離がＤ２よりも短いフレーム対に含まれる対象物について、対象物同一性確率を一定に大とし、フレーム間距離がＤ２よりも長いフレーム対に含まれる対象物について、フレーム間距離が長いほど対象物同一性確率を小とする関数が、同一の対象物がフレーム間距離Ｄ２以内に高確率で再度登場する映像に対して、検出された対象物の間の同一性判定に効果的である。

１例として、静止カメラで片車線を撮影した道路監視映像における車体の同一性判定について説明する。映像中では、車体が登場して走り去るまでの連続する映像区間Ｄ２において同一の車体が連続して登場する。そのため、フレーム間距離Ｄ２において同一の車体が登場する確率は高い。このようケースに対して本関数を用いた場合、車体の同一性を良好に判定できるため有効である。

（３）『同一の対象物はある一定時間後に再度出現する傾向がある』という事前知識に基づく関数（図８）

フレーム間距離がＤ３、Ｄ３’となるフレーム対に含まれる対象物の対象物同一性確率を大とし、フレーム間距離がＤ３、Ｄ３’から離れる従って同一性確率を小とする関数は、同一の対象物が一定時間Ｄ３、Ｄ３’後に再度登場する確率が高い映像に対して、検出された対象物間の同一性判定に効果的である。

１例として、自動車レースの映像中の車体の同一性判定について説明する。車体がコースを周回する自動車レースでは、ある位置に設置された撮影カメラは車体がカメラ設置位置を通る度に車体を撮影する。そのため、映像中で車体が登場してから、一定時間Ｄ３、Ｄ３’後に再度同じ車体が登場する確率が高い。このようなケースに対して本関数を用いた場合、車体の同一性を良好に判定できるため有効である。

（４）『同一の対象物は同一フレームには現れない』という事前知識に基づく関数（図９）

フレーム間距離が０となるフレーム対に含まれる対象物の対象物同一性確率を０とする関数は、同一フレームから複数の対象物が検出されたときに、検出された対象物が互いに異なる対象物となる映像に対して、検出された対象物間の同一性判定に効果的である。

１例として、ドラマ映像の出演者の同一性判定について説明する。ドラマ映像においては、同一人物が同じフレームに登場する確率は０である。このようなケースに対して本関数を用いた場合、異なる対象物を同一と誤判定するのを防ぐことが可能なため有効である。

対象物同一性確算出関数として、上記のいずれかまたは上記を組み合わせた関数を用いても、他の関数を用いても良い。

対象物同一性確率算出関数として、図８を用いた場合の対象物同一性確率算出手段１０３の動作を説明する。今、フレーム間距離算出手段１０２から、入力フレーム（ｄ）と、既出フレーム（ａ）および（ｃ）の間で算出されるフレーム間距離ＤａｄおよびＤｃｄが入力されたとする。このとき、フレーム間距離ＤａｄおよびＤｃｄと、図８に示した対象物同一性確率算出関数により、入力フレーム（ｄ）と、フレーム（ａ）および（ｃ）から検出された対象物の間の同一性確率ＲａｄおよびＲｃｄが算出できる。

同一性判定手段１０４は、対象物同一性確率をもとに、入力フレームと既出フレームからそれぞれ検出された対象物間の同一性を判定し、同一と判定された対象物に対して同じグループＩＤを採番する（ステップＡ０６）。同一性判定手段１０４の処理について、図５と図８を用いて説明する。今、対象物同一性確率算出手段１０３から、入力フレーム（ｄ）と、フレーム（ａ）および（ｃ）からそれぞれ検出された対象物の間の同一性確率ＲａｄおよびＲｃｄが入力されたとする。同一性判定手段の閾値をＴＨとしたとき、ＴＨとＲａｄの間に、Ｒａｄ＜ＴＨが成り立つとき、入力フレーム（ｄ）と既出フレーム（ａ）にそれぞれ含まれる対象物ＩＤ『Ｄ』と対象物ＩＤ『Ａ』の対象物は互いに異なると判定される。また、ＴＨとＲｃｄの間に、Ｒｃｄ＞ＴＨが成り立つとき、入力フレーム（ｄ）と既出フレーム（ｃ）にそれぞれ含まれる対象物ＩＤ『Ｄ』と対象物ＩＤ『Ｃ』の対象物は同一と判定される。

一方、既出のフレームであるフレーム（ｃ）が入力された際に、フレーム（ａ）と（ｃ）からそれぞれ検出された対象物間の同一性確率Ｒａｃと閾値ＴＨの間にＲａｃ＞ＴＨが成り立つとして、対象物ＩＤ『Ａ』と対象物ＩＤ『Ｃ』の対象物が同一と判定されているとする。このとき、前述のとおり新しくフレーム（ｄ）が入力された際、対象物ＩＤ『Ｄ』と対象物ＩＤ『Ａ』は異なり対象物ＩＤ『Ｄ』と対象物ＩＤ『Ｃ』の対象物は同一と判定された場合に、対象物ＩＤ『Ａ』と対処物ＩＤ『Ｃ』の対象物を互いに異なるとして同一性判定結果を更新しても良い。既出のフレーム群による同一性判定結果は、新しい入力フレームによる判定結果を受けて無条件に更新しても良いし、既出のフレーム群に入力フレームを加えたフレ−ム群の間での判定結果の多数決によって更新しても良いし、既出のフレーム群に入力フレームを加えたフレーム群の間で算出された対象物同一性確率の最大値あるいは最小値をもとにした判定結果をもとに更新してもよい。

更新の結果、同一と判定された対象物には同一のグループＩＤを付与する。

閾値ＴＨを入力映像に応じて変化させることにより、入力映像に最適な対象物判定ができる。また、同一のグループとされる対象物の個数や、グループの個数を制御できる。

入力映像を構成する全フレームについてステップＡ０２からステップＡ０６の処理を繰り返す。

判定結果出力手段１２０は、同一性判定手段１０４から受け取った対象物間の同一性の判定結果を出力する（ステップＡ０７）。

判定結果出力手段１２０の出力例は、図２６に示すようにグループＩＤ、フレーム番号、対象物ＩＤを表形式で出力しても、その他の形式であってもよい。出力するフレーム番号および対象物ＩＤは、全て出力しても良いし、同一グループに属するフレーム番号について連続する番号をまとめ、先頭のフレーム番号とそのフレームから検出された対象物の対象物ＩＤを出力しても良いし、同一グループに属するフレーム番号から代表を選んで出力してもよい。グループＩＤは、グループに属する対象物の個数の多い順に採番してもよいし、グループに属する対象物のフレーム番号が若い順に採番してもよい。出力形式は、図２６に示した形式であっても他の形式であっても構わない。

次に、本最良の形態の効果について説明する。

従来法では、対象物の同一性を対象物から抽出された特徴量の類似性によって決定していた。これに対し、本最良の形態では、各対象物が検出されたフレームのフレーム間距離に応じて算出される対象物同一性確率に基づいて対象物対の同一性を判定する。この対象物同一性確率は、入力映像において同一対象物がどのくらいのフレーム間距離で登場するかという出現確率に基づいて算出できるため、入力映像のシナリオに応じた判定が行えるという効果がある。

また、従来手法では、同一の対象物は、互いに時間的に近い位置に存在することを前提としており、所定の閾値以上フレーム間距離が離れている場合には、同一の対象物として判定しなかった。これに対し、本最良の形態では、対象物対が時間的に離れて存在する場合であっても、対象物対のフレーム間距離をもとに算出または選択される対象物同一性確率が高い場合には、同一と判定できるという効果がある。

また、本最良の形態では、対象物同一性確率算出関数を記憶しておき、記憶された関数の中から映像に応じて適した関数を選択することができる。例えば、連続ドラマの１話分の映像について出演者の同一性を判定する場合、過去の回の映像をもとに出演者が出現してから再度出現するまでに要する時間とその頻度をもとに、対象物同一性確率記憶部に記憶された関数から適した関数を選択、あるいは記憶された関数を組み合わせて最適な関数を生成することができる。こうして選択あるいは生成された対象物同一性確率算出関数を用いて対象物同一性確率を算出することによって、出演者の同一性を高精度に判定できるという効果がある。

(最良の形態２)

次に、本発明を実施するための第２の最良の形態について図面を参照して詳細に説明する。

図１０を参照すると、本発明を実施するための第２の最良の形態は、コマンド入力装置２４０を有する点、プログラム制御により動作するデータ処理装置２００において、対象物同一性確率算出手段１０３に代わり対象物同一性確率選択手段２０３を有する点、および記憶装置２２０において対象物同一性確率記憶部２２１を有する点で第１の最良の形態と異なる。

映像入力手段２１０は、入力映像を構成する各フレームを対象物検出手段２０１に入力する。また、判定結果出力手段２２０から入力されるフレーム番号を開始フレームとする映像を、判定結果出力手段２２０に出力する。

記憶装置２２０は、対象物同一性確率記憶部２３１によって構成される。

対象物同一性確率記憶部２２１は、フレーム間距離と対象物同一性確率の対応表を記憶する。フレーム間距離と対象物同一性確率の対応表の一例を図２７に示す。対象物同一性確率記憶部２２１は、対象物同一性確率選択手段２０３から入力されるフレーム間距離に対応する対象物同一性確率を、対象物同一性確率選択手段２０３に出力する。

コマンド入力装置２４０は、利用者によるコマンド入力を受けて、対象物同一性確率記憶部２２１にフレーム間距離と対象物同一性確率の対応表を入力する。また、対象物同一性確率記憶部２２１にあらかじめ記憶されたフレーム間距離と対象物同一性確率の対応表を変更する。また、判定結果出力手段２３０により出力された判定結果に対する利用者によるコマンド入力を、判定結果出力手段２３０に入力する。

対象物同一性確率選択手段２０３は、フレーム間距離算出手段２０２によって算出された入力フレームと既出のフレームの間のフレーム間距離をもとに、対象物同一性確率記憶部２２１に記憶されたフレーム間距離と対象物同一性確率の対応表から、対象物同一性確率を選択する。

判定結果出力手段２３０は、同一性判定手段２０４から受け取った対象物の同一性判定結果を出力する。判定結果の出力は図２６に示した形式であってもよい。判定結果出力手段２３０は、コマンド入力手段２４０を介して利用者によって入力されたフレーム番号を映像入力手段２１０に入力し、映像入力手段２１０から受け取った映像を再生する。

(最良の形態２の動作)

次に、図１０及び図１１のフローチャートを参照して本最良の形態の全体の動作について詳細に説明する。

図１１のステップＢ０１―Ｂ０３およびＢ０５で示される本最良の形態における映像入力手段２１０、対象物検出手段２０１、フレーム間距離算出手段２０２、および同一性判定手段２０４の動作は、第１の最良の形態の各手段１１０、１０１、１０２、１０４、１２０の動作と同一のため、説明は省略する。

まず、利用者はコマンド入力装置２４０を介して、対象物同一性確率記憶部２２１にフレーム間距離と対象物同一性確率の対応表を入力する。あるいは、対象物同一性確率記憶部２２１にあらかじめ記憶されたフレーム間距離と対象物同一性確率の対応表を更新する（ステップＢ００）。

対象物同一性確率選択手段２０３は、入力フレームと既出のフレームの間で算出されるフレーム間距離をもとに、対象物同一性確率記憶部２２１に記憶されたフレーム間距離と対象物同一性確率の対応表から対象物同一性確率を選択する（ステップＢ０４）。

フレーム間距離と対象物同一性確率の対応表が図２６であったときの対象物同一性確率選択手段の動作を説明する。入力フレームと既出のフレームの間で算出されたフレーム間距離がＤ０の場合、図２７に示す対応表から、入力フレームと既出のフレームにそれぞれ含まれる対象物の同一性確率としてＲ０を選択する。また、フレーム間距離がＤ１〜Ｄ２の範囲の場合、対象物同一性確率としてＲ１を選択する。

判定結果出力手段２３０は、同一性判定手段２０４から受け取った対象物間の同一性判定結果を出力する（ステップＢ０６）。

判定結果出力手段２３０は、コマンド入力装置２４０から判定結果に対する利用者のコマンド入力を受け取ると、利用者の入力に応じたフレーム番号を映像入力装置２１０に入力する。映像入力装置２１０は、判定結果出力手段から受け取ったフレーム番号を開始フレームとした映像を判定結果出力手段２２０に入力する。判定結果出力手段２３０は、受け取った映像を再生し、利用者に提示する（ステップＢ０７）。このときの判定結果出力手段２３０の動作の一例を、図２６を用いて説明する。利用者によって図２６のグループ１が選択されると、グループ１に属する対象物ＩＤ『Ｃ』および『Ｄ』の対象物が出現するフレーム番号ｆｃとｆｄを映像入力手段２１０に入力し、映像入力手段２１０から出力される映像を再生する。あるいは、利用者によって対象物ＩＤ『Ａ』の対象物が選択されると、『Ａ』が出現するフレーム番号ｆａを映像入力手段２１０に入力し、映像入力手段２１０から出力される映像を再生する。これにより、同一のグループに属する連続フレーム群を利用者が指定した場合には、利用者は同一の対象物の登場シーンのみを視聴できる。また、各グループからそれぞれ代表的な連続フレーム群を利用者が指定した場合には、各対象物の代表的なシーンを視聴できる。

次に、本最良の形態の効果について説明する。

従来法では、対象物の同一性を対象物から抽出された特徴量の類似性によって決定していた。これに対し、本最良の形態では、各対象物が検出されたフレームのフレーム間距離に応じて算出される対象物同一性確率に基づいて対象物対の同一性を判定する。この対象物同一性確率は、入力映像において同一対象物がどのくらいのフレーム間距離で登場するかという出現確率に基づいて算出できるため、入力映像のシナリオに応じた判定が行えるという効果がある。

また、従来手法では、同一の対象物は、互いに時間的に近い位置に存在することを前提としており、所定の閾値以上フレーム間距離が離れている場合には、同一の対象物として判定しなかった。これに対し、本最良の形態では、対象物対が時間的に離れて存在する場合であっても、対象物対のフレーム間距離をもとに選択される対象物同一性確率が高い場合には、同一と判定できるという効果がある。

また、本最良の形態では、フレーム間距離と対象物同一性確率の対応表を利用者が任意に更新できるため、入力映像に応じて適した対応表に変更できる。例えば、入力映像が連続ドラマであった場合に、過去の回の映像をもとに出演者が出現してから再度出現するまでに要する時間と、その頻度をもとに対応表を生成し、対象物同一性確率記憶部に記憶させることができる。これによって、同一性判定が高精度に行えるという効果がある。

(最良の形態３)

次に、本発明を実施するための第３の最良の形態について図面を参照して詳細に説明する。

図１２を参照すると、本発明を実施するための第３の最良の形態は、データ処理装置３００が、図３に示された第１の最良の形態におけるデータ処理装置１００の構成に加え、特徴量抽出手段３０２および類似度算出手段３０４を有し、画像記憶装置３３０を有する点で第１の最良の形態と異なる。

特徴量抽出手段３０２は、対象物検出手段３０１によって入力フレームから検出された対象物の画像データと、画像データから取り出される特徴量と、フレーム番号を抽出する。対象物の画像データを画像記憶部３３２に記憶し、画像データから取り出される特徴量を類似度算出手段３０４に入力し、フレーム番号をフレーム間距離算出手段３０３に入力する。

類似度算出手段３０４は、特徴量抽出手段３０２から受け取った入力フレーム中の対象物の特徴量と既出のフレーム中の対象物の特徴量をもとに、対象物の間の類似度を算出して同一性判定手段３０６に入力する。類似度は、例えば入力フレーム中の対象物の特徴量と、既出のフレーム中の対象物の特徴量との差分によって求められる。類似度は、入力フレーム中の対象物と、既出のフレーム中の対象物群との全組み合わせについて算出しても、選択的な組み合わせについて算出しても良い。

同一性判定手段３０６は、対象物同一性確率算出手段３０５から受けとった入力フレーム中の対象物と既出のフレーム中の対象物との間で算出される対象物同一性確率と、類似度算出手段３０４から受け取った入力フレーム中の対象物と既出のフレーム中の対象物との間で算出される類似度をもとに、対象物の同一性を判定する。また、入力フレームから検出された対象物と既出フレーム群から検出された対象物群との間での判定結果をもとに、既出フレーム群から検出された対象物群の間で得られた同一性判定結果を更新する。

判定結果出力手段３２０は、同一性判定手段３０６から受け取った判定結果と、画像記憶部に記憶された対象物の画像データを利用して、判定結果を出力する。

(最良の形態３の動作)

次に、図１２及び図１３のフローチャートを参照して本最良の形態の全体の動作について詳細に説明する。

図１３のステップＣ０１、Ｃ０２、Ｃ０４で示される本最良の形態における映像入力手段３１０、対象物検出手段３０１およびフレーム間距離算出手段３０３の動作は、第１の最良の形態の各手段１１０、１０１、１０２および１０４の動作と同一のため、説明は省略する。

特徴量抽出手段３０２は、対象物検出手段３０１によって入力フレームから対象物が検出されると、対象物の画像データと、画像データから抽出される特徴量と、フレーム番号を抽出する（ステップＣ０３）。

類似度算出手段３０４は、特徴量抽出手段３０２によって抽出された対象物の特徴量をもとに、入力フレームから検出された対象物と、既出のフレームから検出された対象物の間の類似度を算出する（ステップＣ０５）。

対象物同一性確率算出手段３０５は、類似度算出手段３０４で算出された類似度と、フレーム間距離算出手段３０３で算出されたフレーム間距離をもとに、入力フレームおよび既出のフレームから検出された対象物の間の対象物同一性確率を算出する（ステップＣ０６）。

同一性判定手段３０６は、対象物同一性確率と類似度をもとに、対象物の同一性を判定する。例えば、対象物同一性確率と類似度の乗算値が閾値以上のときに、入力フレーム中の対象物と既出フレーム中の対象物が同一と判定してもよいし、対象物同一性確率と類似度がともに閾値以上のときに同一と判定してもよいし、他の判定方法を用いても良い。また、入力フレームから検出された対象物と既出フレーム群から検出された対象物群との間での判定結果をもとに、既出フレーム群から検出された対象物群の間で得られた同一性判定結果を更新する（ステップＣ０７）。

入力映像を構成する全フレームについて、Ｃ０１−Ｃ０７のステップを行う。

判定結果出力手段３２０は、対象物の間の同一性判定結果と、画像記憶部に記憶された対象物の画像データをもとに、判定結果を外部出力する（ステップＣ０８）。

判定結果の出力例を図２８に示す。同一の物体として判定された対象物を同一のグループにまとめ、グループごとにグループＩＤ、フレーム番号、対象物ＩＤ、画像データを表形式で出力する。グループＩＤは、対象物の画像データの面積の大きいものの多い順に採番してもよいし、対象物の画像データの出現位置が中央に近いものの多い順に採番してもよい。画像データは、各グループから代表となる画像データのみを出力してもよい。これにより、利用者は各対象物が映像中で実際にどんな見え方で登場するのかを一目で把握できる。出力形式は、図２８に示した形式であっても他の形式であっても構わない。

次に、本最良の形態の効果について説明する。

従来法では、対象物の同一性を各対象物から抽出された特徴量の類似性にのみによって決定していた。これに対し、本最良の形態では、各対象物から抽出される特徴量の類似性のみではなく、対象物対の間で算出されるフレーム間距離を組み合わせることにより、対象物の特徴量の抽出や類似度の算出に失敗した場合に、同一性判定の精度劣化が抑えられるという効果がある。

(最良の形態４)

次に、本発明を実施するための第４の最良の形態について図面を参照して詳細に説明する。

図１４を参照すると、本発明を実施するための第４の最良の形態は、本発明を実施するための第１の最良の形態と同様に、映像入力手段、データ処理装置、記憶装置、判定結果出力手段を備える。

同一性判定用プログラム４４０は、データ処理装置４００に読み込まれ、データ処理装置４００の動作を制御し、映像入力手段４１０から入力される映像と記憶装置４２０から入力される対象物同一性確率算出関数をもとにしてデータ処理装置４００の手段によって得られた判定結果を、判定結果出力手段４３０に出力する。データ処理装置４００は、同一性判定用プログラム４４０の制御により第１の最良の形態におけるデータ処理装置１００による処理と同一の処理を実行する。

(最良の形態５)

次に、本発明を実施するための第５の最良の形態について図面を参照して詳細に説明する。

図１５を参照すると、本発明を実施するための第５の最良の形態は、本発明を実施するための第２の最良の形態と同様に、映像入力手段、データ処理装置、記憶装置、コマンド入力装置、判定結果出力手段を備える。

同一性判定用プログラム５４０は、データ処理装置５００に読み込まれデータ処理装置５００の動作を制御し、記憶装置５２０のデータをもとにデータ処理装置５００内の手段によって得られた判定結果を、判定結果出力手段５３０に出力する。データ処理装置５００は、同一性判定用プログラム５４０の制御により第２の最良の形態におけるデータ処理装置２００による処理と同一の処理を実行する。

(最良の形態６)

次に、本発明を実施するための第６の最良の形態について図面を参照して詳細に説明する。

図１６を参照すると、本発明を実施するための第６の最良の形態は、本発明を実施するための第３の最良の形態と同様に、映像入力手段、データ処理装置、判定結果出力手段、画像記憶装置を備える。

同一性判定用プログラム６４０は、データ処理装置６００に読み込まれデータ処理装置６００の動作を制御し、データ処理装置６００の手段によって得られた判定結果を、判定結果出力手段６３０に出力する。データ処理装置６００は、同一性判定用プログラム６４０の制御により第３の最良の形態におけるデータ処理装置３００による処理と同一の処理を実行する。

(最良の形態７)

次に、本発明を実施するための第７の最良の形態について図面を参照して詳細に説明する。

図２０を参照すると、本発明を実施するための第７の最良の形態は、データ処理装置９００が、図３に示された第１の最良の形態におけるデータ処理装置１００の構成に加え、座標間距離算出手段９０５を有する点で第１の最良の形態と異なる。

座標間距離算出手段９０５は、対象物検出手段９０１から対象物が検出されたフレームについて対象物の位置座標と対象物ＩＤを受け取り、各対象物の間で対象物間の座標距離を算出する。対象物同一性確率算出手段９０３に、対象物の座標間距離、前記座標距離を算出するフレーム対、前記フレーム対から検出された対象物の対象物ＩＤを出力する。

対象物同一性確率算出手段９０３は、同一性確率算出手段９２１から選択した対象物同一性確率算出関数を用いて、フレーム間距離算出手段９０２から受け取ったフレーム間距離を算出するフレーム対について、フレーム間距離算出手段９０２から受け取ったフレーム間距離と座標間距離算出手段９０５から受け取った座標間距離をもとに、前記フレーム対に含まれる対象物の間の対象物同一性確率を算出する。同一性判定手段９０４に、対象物同一性確率、前記対象物同一性確率を算出する対象物ＩＤおよび、前記対象物が検出されたフレーム番号を出力する。

(最良の形態７の動作)

次に、図２０及び図２１のフローチャートを参照して本最良の形態の全体の動作について詳細に説明する。

図２１のステップＤ０１、Ｄ０２、Ｄ０３、Ｄ０７、Ｄ０８で示される本最良の形態における映像入力手段７１０、対象物検出手段７０１およびフレーム間距離算出手段９０２、同一性判定手段９０４、判定結果出力手段９３０の動作は、第１の最良の形態の各手段１１０、１０１、１０２、１０４および１３０の動作と同一のため、説明は省略する。

座標間距離算出手段９０５は、対象物検出手段３０１によって入力フレームから対象物が検出された場合に、入力フレーム中の対象物の位置座標と、既出のフレーム中の対象物の位置座標との間で座標間距離を算出する（ステップＤ０４）。

対象物同一性確率算出手段９０３は、同一性確率算出関数記憶部９２１から対象物同一性確率算出関数を選択し（ステップＤ０５）、

フレーム間距離算出手段９０２で算出されたフレーム間距離と座標間距離算出手段９０５で算出された座標距離をもとに、入力フレームおよび既出のフレームから検出された対象物の間の対象物同一性確率を算出する（ステップＤ０６）。

対象物同一性確率算出関数は、以下に示すように入力映像における対象物の出現傾向に基づく関数を用いてもよい。

（１）『同一の対象物が所定時間以内に所定範囲の位置座標で再度出現する傾向がある』という事前知識に基づく関数

フレーム間距離がＤ１よりも短いフレーム対に含まれ、かつ座標間距離がｄ１よりも短い対象物について、フレーム間距離が短くかつ座標間距離が短いほど対象物同一性確率を大とし、フレーム間距離がＤ１よりも長いフレーム対に含まれる対象物について対象物同一性確率を一定とする関数は、同一の対象物がフレーム間距離Ｄ１以内に座標間距離ｄ１以内で再度登場する確率が高い映像に対して、検出された対象物の間の同一性判定に効果的である。

一例として、ビルの監視映像のように、複数の固定カメラを切り替えて撮影された映像中での静止物の同一性判定について説明する。映像区間Ｄ１において、各カメラ映像は交互に切り替えられ、各カメラ映像に映りこむ静止物は同一位置に出現する。そのため、フレーム間距離Ｄ１以内で、同一の静止物が同一の位置に再度登場する確率が高い。このようなケースに対して本関数を用いた場合、静止物の同一性を良好に判定できるため有効である。

また一例として、ドラマ映像における対話シーンでの出演者の同一性判定について説明する。ドラマ映像においては、対話シーンに相当する映像区間Ｄ１内では対話中の各出演者が交互に出現し、同一の出演者はほぼ同一の位置に出現する。そのため、フレーム間距離Ｄ１以内で同一の出演者がほぼ同一の位置に再度登場する確率が高い。このようなケースに対して本関数を用いた場合、出演者の同一性を良好に判定できるため有効である。

（２）『同一の対象物は一定時間、一定位置に連続して出現する傾向がある』という事前知識に基づく関数（図２３）

フレーム間距離がＤ２よりも短いフレーム対に含まれる対象物について座標間距離がｄ２よりも短い場合に対象物同一性確率を一定に大とし、フレーム間距離がＤ２よりも長いフレーム対に含まれる対象物であるか、座標間距離がｄ２よりも長い場合について、フレーム間距離あるいは座標間距離が長いほど対象物同一性確率を小とする関数は、同一の対象物がフレーム間距離Ｄ２以内に座標間距離ｄ２以内で再度登場する確率が高い映像に対して、検出された対象物の間の同一性判定に効果的である。

一例として、入場ゲートに設置した可動式監視カメラで、次々に入場する人物を順に追跡撮影した映像における人物の同一性判定について説明する。映像中では、ある人物が登場して歩き去るまでの連続する映像区間Ｄ２において同一の人物がほぼ同一位置に連続して登場する。そのため、フレーム間距離Ｄ２において同一の人物が同一位置に登場する確率は高い。

このようなケースに対して本関数を用いた場合、人物の同一性を良好に判定できるため有効である。

（３）『同一の対象物はある一定時間後に、ほぼ同一位置に再度出現する傾向がある』という事前知識に基づく関数（図２４）

フレーム間距離がＤ３、Ｄ３’となるフレーム対に含まれる対象物対について、座標間距離がｄ３以内の対象物同一性確率を大とし、フレーム間距離がＤ３、Ｄ３’から離れる従って同一性確率を小とする関数は、同一の対象物が一定時間Ｄ３、Ｄ３’後に、ほぼ同一位置に再度登場する確率が高い映像に対して、検出された対象物間の同一性判定に効果的である。

一例として、街中を回転式の監視カメラで撮影した映像における停車中の車体についての同一性判定について説明する。監視カメラが一定速度で回転した場合に、あるカメラがある方向を撮影するたびに同じ車体が映像に映りこむ。そのため、例えばカメラが時間Ｄ３で１回転する場合に、映像中である車体が登場してから、Ｄ３、Ｄ３’後に再度同じ車体が同一位置に登場する確率が高い。このようなケースに対して本関数を用いた場合、車体の同一性を良好に判定できるため有効である。

入力映像を構成する全フレームについて、Ｄ０２−Ｄ０７のステップを行う。

次に、本最良の形態の効果について説明する。

従来法では、対象物の同一性を対象物から抽出された特徴量の類似性によって決定していた。これに対し、本最良の形態では、各対象物が検出されたフレームのフレーム間距離と座標距離に応じて算出される対象物同一性確率に基づいて対象物対の同一性を判定する。この対象物同一性確率は、入力映像において同一対象物がどのくらいのフレーム間距離でどの程度の位置ずれで登場するかという確率に基づいて算出できるため、入力映像のシナリオに応じた判定が行えるという効果がある。

また、従来手法では、同一の対象物は、互いに時間的に近い位置に存在することを前提としており、所定の閾値以上フレーム間距離が離れている場合には、同一の対象物として判定しなかった。これに対し、本最良の形態では、対象物対が時間的に離れて存在する場合であっても、対象物対のフレーム間距離と座標間距離をもとに算出される対象物同一性確率が高い場合には、同一と判定できるという効果がある。

また、本最良の形態では、対象物同一性確率算出関数を記憶しておき、記憶された関数の中から映像に応じて適した関数を選択することができる。例えば、連続ドラマの１話分の映像について出演者の同一性を判定する場合、過去の回の映像をもとに出演者が出現してから再度出現するまでに要する時間、再度出現したときの位置ずれ、再度出現する頻度をもとに、対象物同一性確率記憶部に記憶された関数から適した関数を選択、あるいは記憶された関数を組み合わせて最適な関数を生成することができる。こうして選択あるいは生成された対象物同一性確率算出関数を用いて対象物同一性確率を算出することによって、出演者の同一性を高精度に判定できるという効果がある。

次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。かかる最良の形態１は、本発明を実施するための第１の最良の形態に対応するものである。

実施例１では、本発明の同一性判定装置を入力映像に登場する車体群について、車体群の間の同一性判定に利用した例を示す。車体群が同一であるとは、映像から検出された車体群が全く同一の車体であることを意味しても良いし、車体群が同一の車種であることを意味してもよい。本実施例では、全く同一の車体であることを指すものとする。図１７に示すように、本実施例では、映像入力手段として映像入力端子を、記憶装置としてハードディスクを、データ処理装置としてパーソナル・コンピュータを、映像出力装置としてディスプレイを備えている。

パーソナル・コンピュータは、車体検出手段とフレーム間距離算出手段と車体同一性確率算出手段と同一性判定手段として機能する中央演算装置を有している。

今、映像入力端子から映像を構成する各フレームが入力されたとする。中央演算装置の車体検出手段は、入力フレームから車体を検出し、車体の検出されたフレーム番号を取得する。車体検出手段として、例えば様々な車種の映っている画像群をテンプレートとして記憶し、テンプレートと入力フレームとの差分が所定の閾値以下なる場合に、入力フレーム中に車体が存在すると判定する手法が考えられる。また、様々な車種の映っている画像群から抽出した車体の形状や色、テクスチャなどの画像特徴量を記憶しておき、入力フレーム中に似た特徴が抽出されたときに、車体が存在すると判定する手法が考えられる。また、様々の車種の映っている映像から抽出した車体の動き特徴を記憶しておき、入力フレーム中の画像領域の動き特徴が記憶された動き特徴と類似する場合に、入力フレームに車体が存在すると判定する手法が考えられる。車体の検出手法として上記の例を用いても、他の手法を適用しても構わない。

フレーム間距離算出手段は、入力フレームから車体が検出されると、車体が検出された全ての既出のフレーム群との間でフレーム間距離を算出する。フレーム間距離として、例えば入力フレームのフレーム番号と、車体の検出された既出のフレームのフレーム番号との差分が考えられる。また、入力フレームが実際に撮影された時間と、車体の検出された既出のフレームが撮影された時間との差分が考えられる。フレーム間距離として上記の例を用いても他の距離を適用しても構わない。

車体同一性確率算出手段は、ハードディスク内の同一性確率算出関数記憶部から選択した対象物同一性確率算出関数を利用して、フレーム間距離算出手段から受け取ったフレーム間距離をもとに、入力フレームから検出された車体と、既出のフレーム群から検出された車体群との間の車体同一性確率を算出する。車体同一性確率算出関数として、図６から図９に示した関数を用いても他の関数を用いても良い。

同一性判定手段は、車体同一性確率から受け取った車体同一性確率をもとに、入力フレームから検出された車体と、既出のフレーム群から検出された車体群との同一性を判定し、同一の車体に対して同一のグループＩＤを採番する。入力フレームとの間のフレーム間距離により所定の閾値以上の車体同一性確率を算出した既出のフレーム中の車体について、入力フレームから検出された車体と同一と判定する。また、入力フレームから検出された車体と既出フレーム群から検出された車体群との間での判定結果をもとに、既出フレーム群から検出された車体群の間で得られた車体群の間の同一性判定結果を更新する。

ディスプレイは、同一性判定手段から受け取った車体間の同一性判定結果を出力する。同一性判定結果の出力形式は図２６に示した表形式であっても他の形式であっても良い。

実施例２では、本発明の同一性判定装置を入力映像に登場する動物体について、動物体の間の同一性判定に利用した例を示す。本実施例における動物体とは、人物や車体や動物など自律的に移動可能なものとする。また、動物体が同一であるとは、動物体が互いに人物である場合など、互いに同種のものを指すものとする。かかる実施例は、本発明を実施するための第２の最良の形態に対応するものである。

図１８に示すように、本実施例では、映像入力手段として映像入力端子を、コマンド入力装置としてディスプレイとキーボードを、データ処理装置としてパーソナル・コンピュータを、記憶装置としてハードディスクを、映像出力装置としてディスプレイを備えている。

パーソナル・コンピュータは、動物体検出手段とフレーム間距離算出手段と動物体同一性確率算出手段と同一性判定手段として機能する中央演算装置を有している。

利用者はまず、ディスプレイ・マウス・キーボードを利用して、フレーム間距離と動物体同一性確率の対応表を対象物同一性確率記憶部に記憶する。

映像入力端子は、動物体検出手段に入力映像を構成する各フレームを入力する。

動物体検出手段は、入力フレームから動物体を検出し、動物体が検出されたフレームのフレーム番号をフレーム間距離算出手段に入力する。

動物体検出手法として、例えば入力フレームとその前後フレームに共通する画像領域の移動量を統計処理することでカメラワークを推定し、カメラワークと異なる領域が検出された場合に、入力フレームには動物体が存在すると判定する。また、室内監視映像など背景が一定の入力映像については、あらかじめ背景領域の画像情報を記憶しておき、入力フレームから背景領域には含まれない画像領域が検出されたときに、動物体が検出されたと判定する。動物体検出手段として、上記の手法を用いても他の手法を用いても構わない。

フレーム間距離算出手段は、入力フレームから動物体が検出された際に、動物体が検出された既出のフレーム群との間のフレーム間距離を算出する。

動物体同一性確率選択手段は、フレーム間距離算出手段から受け取ったフレーム間距離をもとに、動物体同一性確率記憶部に記憶されたフレーム間距離と動物体同一性確率の対応表から動物体同一性確率を選択し、入力フレームから検出された動物体と、既出のフレームから検出された動物体群との間の動物体同一性確率を決定する。

同一性判定手段は、動物体同一性確率選択手段から受け取った動物体同一性確率が所定の閾値以上である場合に、動物体同一性確率が選択された既出のフレーム中の動物体と入力フレーム中の動物体が同一であると判定する。また、入力フレームから検出された動物体と、既出のフレームから検出された動物体群との同一性判定結果をもとに、既出のフレーム群から検出された動物体群の間の判定結果を更新する。

ディスプレイは、同一性判定手段から受け取った判定結果をもとに表示する。表示形式は図２６で示したものであっても他の形式であっても構わない。

利用者はディスプレイに表示された判定結果をもとに、マウスまたはキーボードによって所望の動物体のグループを選択する。ディスプレイは、利用者によって選択されたグループに属する動物体の出現フレームを開始フレームとして映像入力端子から入力された映像を再生する。これにより、利用者は選択した種類の動物体の出現箇所を頭だしで視聴することができる。

実施例３では、本発明の同一性判定装置を入力映像に登場する人物について、人物間の同一性判定に利用した例を示す。本実施例において人物が同一であるとは、入力映像から検出された人物がともに同一人物であることを指すものとする。かかる実施例は、本発明を実施するための第３の最良の形態に対応するものである。

図１９に示すように、本実施例では、映像入力手段として映像入力端子を、データ処理装置としてパーソナル・コンピュータを、画像記憶装置としてハードディスクを、映像出力装置としてディスプレイを備えている。

パーソナル・コンピュータは、人物検出手段と特徴量抽出手段とフレーム間距離算出手段と類似度算出手段と人物同一性確率算出手段と同一性判定手段として機能する中央演算装置を有している。

今、映像入力端子から映像が入力されたとする。中央演算装置の人物検出手段は、入力映像の各フレームから人物を検出し、人物が検出されたフレームを特徴量抽出手段に入力する。

人物の検出手段として、人物領域全体から得られる情報を利用する手法がある。例えば様々な人物の映っている画像をテンプレートとして記憶し、入力画像とテンプレートの差分がある閾値以下のとき人物が入力画像中に存在すると判定する手法が挙げられる。また、肌色などの色情報や、エッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、入力フレームからモデルに類似した領域が検出された場合に人物が存在すると判定する手法が考えられる。

また、人物の顔情報を利用する手法がある。例えば、非特許文献１に示されるように、顔(頭部)の輪郭を楕円、目や口を細長の形状をしていることを利用して作成したテンプレートを用いて顔検出を行う手法や、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用して顔検出手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法などの手法が挙げられる。また、大量の人物顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法として、ニューラルネットやサポートベクターマシン、ＡｄａＢｏｏｓｔ法などを利用した手法が挙げられる。上記の例あるいは他の手法を用いて入力フレームから人物の顔が検出されたときに、入力フレームに人物が存在すると判定する手法が考えられる。

人物の検出手法として、上記の例を利用しても他の手法を適用しても構わない。

特徴量抽出手段は、人物検出手段から入力されたフレームのフレーム番号、人物の画像領域、画像領域から抽出される人物特徴量を抽出する。フレーム番号をフレーム間距離算出手段に出力し、人物の画像領域をハードディスク内の画像記憶部に記憶し、人物特徴量画像情報をハードディスク内のフレーム記憶部に記憶する。

人物の特徴量は、例えば人物の着衣の色情報や、人物領域全体のエッジ方向や密度情報を用いても、人物の顔特徴量を用いても良い。

人物顔の特徴量として、非特許文献２に示されるように、顔の構造に関する知識を活用して目・鼻・口の形状や位置関係などを数値的に記述した特徴ベクトルや、顔の各画素の濃淡値の２次元配列として表現される特徴ベクトル、顔の各特徴点においてウェーブレット変換を施すことで得られるパターンの局所的な周期性とその方向性を表現可能なＧａｂｏｒ ｊｅｔと呼ばれる特徴ベクトルなどが挙げられる。人物間の類似度判定に用いる人物顔の特徴量として、上述の例を利用しても他の手法を適用しても構わない。

類似度算出手段は、特徴量抽出手段から受け取った入力フレーム中の人物の特徴量と、既出のフレーム中の人物の特徴量との類似度を算出する。類似度は、一例として入力フレームから検出された人物顔の特徴量ベクトルと、既出フレームから検出された人物顔群の特徴量ベクトルとの差分によって求められる。

フレーム間距離算出手段は、特徴量抽出手段から受け取った入力フレームと、人物が検出された既出の全フレーム群との間でフレーム間距離を算出する。フレーム間距離は、入力フレームと既出のフレームのフレーム番号の差分によって求められるメディア時間でも良いし、入力フレームと既出のフレームの各フレーム番号が対応する台本における時刻の差分によって求められるシナリオ時間でも良い。また、ショットの切り替わりや、カメラワークの変化、シーンの切り替わり、ＢＧＭの変化、背景の画像特徴量の変化のうち、いずれか一つまたその組み合わせに基づいて重み付けられたメディア時間またはシナリオ時間であっても良い。

人物同一性確率算出手段は、フレーム間距離算出手段から受け取ったフレーム間距離をもとに、入力フレーム中の人物と既出のフレーム中の人物との人物同一性確率を算出する。人物同一性確率は、例えばフレーム間距離をもとに図６から図９に示した同一性確率算出関数によって算出しても良いし、他の手法によって求めても良い。

同一性判定手段は、人物同一性確率算出手段から受けとった入力フレーム中の人物と既出フレーム中の人物との間で算出される人物同一性確率と、類似度算出手段から受け取った入力フレーム中の人物と既出フレーム中の人物との間で算出される類似度をもとに、人物の同一性を判定する。例えば人物同一性確率と類似度の乗算値が閾値以上のときに入力フレーム中の人物と既出のフレーム中の人物が同一と判定してもよいし、人物同一性確率と類似度がともに閾値以上のときに同一と判定してもよいし、他の判定方法を用いても良い。入力フレームから検出された人物と既出のフレーム群から検出された人物群との間での判定結果をもとに、既出のフレーム群から検出された人物群の間で得られた同一性判定結果を更新する。

ディスプレイは、同一性判定手段から受け取った判定結果と、画像記憶部に記憶された対象物の画像領域を組み合わせて表示する。判定結果は、図２８に示したような表形式で提示してもよいし他の手法で提示してもよい。図２８の形式では、同一人物が同一ＩＤのグループにまとめられる。画像データには、映像から検出された様々な人物の様々な画像領域が一覧で提示される。

実施例４では、本発明の同一性判定装置を入力映像に登場する人物の顔について、人物間の同一性判定に利用した例を示す。本実施例において人物が同一であるとは、入力映像から検出された人物の顔がともに同一人物のものであることを指すものとする。かかる実施例は、本発明を実施するための第７の最良の形態に対応するものである。

図２５に示すように、本実施例では、映像入力手段として映像入力端子を、記憶装置としてハードディスクを、データ処理装置としてパーソナル・コンピュータを、映像出力装置としてディスプレイを備えている。

パーソナル・コンピュータは、人物顔検出手段とフレーム間距離算出手段と顔座標間距離算出手段と人物顔同一性確率算出手段と同一性判定手段として機能する中央演算装置を有している。ハードディスクは、人物顔同一性確率算出関数記憶部を有している。

今、映像入力端子から映像を構成する各フレームが入力されたとする。中央演算装置の人物顔検出手段は、入力フレームから人物の顔を検出し、人物の顔が検出されたフレーム番号を取得する。また、検出された人物顔にそれぞれ固有のＩＤを裁判する。フレーム間距離算出手段に、フレーム番号と人物顔ＩＤを出力する。

フレーム間距離算出手段は、入力フレームから人物の顔が検出されると、人物の顔が検出された全ての既出のフレーム群との間でフレーム間距離を算出し、人物顔同一性確率算出手段に出力する。フレーム間距離を算出した全フレーム対について、フレーム番号の組み合わせを顔座標間距離算出手段に出力する。

顔座標間距離算出手段は、入力フレームから人物の顔が検出されると、人物の顔が検出された全ての既出のフレーム群との間で、入力フレーム中の対象物の位置座標と既出のフレーム中の対象物の位置座標とを利用して顔座標間距離を算出し、人物顔同一性確率算出手段に入力する。顔座標は、入力フレームにおける顔領域の重心にあたる座標であっても、顔を構成する造作の中の１つまたは複数の特徴点（目尻・黒目の中心点・鼻腔・口角・眉尻など）特徴点の座標であってもよい。座標間距離は、対応する位置座標の間で算出される距離であっても、対応する複数の位置座標の間で各々算出される距離の線形演算によって算出される距離であっても良い。例えば、顔座標として両目の黒めの中心点を用いるとして、フレームiの顔画像の右目の黒目の中心点を（Ｒｉｘ， Ｒｉｙ）、左目の黒目の中心点を（Ｌｉｘ， Ｌｉｙ）としたとき、フレームiとフレームｊに含まれる人物顔の顔座標間距離Ｄiｊは、以下のようにして求めてもよい。

人物顔同一性確率算出手段は、フレーム間距離算出手段から受け取ったフレーム間距離を算出するフレーム対について、各々のフレームに含まれる人物顔の間の人物顔同一性確率を算出する。人物顔同一性確率は、フレーム間距離算出手段から得られるフレーム間距離と、顔座標間距離算出手段から得られる顔座標間距離をもとに、人物顔同一性確率算出手段から選択した人物顔同一性確率算出関数を用いて算出される。人物顔同一性確率算出関数として、図２２から図２４に示した関数を用いても他の関数を用いても良い。同一性判定手段に、人物顔同一性確率、前記人物顔同一性確率を算出する人物ＩＤおよび、前記対象物が検出されたフレーム番号を出力する。

同一性判定手段は、人物顔同一性確率算出手段から受け取った人物顔同一性確率をもとに、入力フレームから検出された人物顔と、既出のフレーム群から検出された人物顔群との同一性を判定し、同一人物に対して同一のグループＩＤを採番する。入力フレームとの間のフレーム間距離および顔座標間距離により、所定の閾値以上の人物顔同一性確率を算出した既出のフレーム中の人物顔について、入力フレームから検出された人物顔と同一と判定する。また、入力フレームから検出された人物顔と既出フレーム群から検出された人物顔群との間での判定結果をもとに、既出フレーム群から検出された人物顔群の間で得られた人物顔群の間の同一性判定結果を更新する。

ディスプレイは、同一性判定手段から受け取った人物間の同一性判定結果を出力する。同一性判定結果の出力形式は図２６に示した表形式であっても他の形式であっても良い。

本願は、日本の特願２００６−３５１８９２（２００６年１２月２７日に出願）及び特願２００７−２９６７１８（２００７年１１月１５日に出願）に基づいたものであり、又、特願２００６−３５１８９２及び特願２００７−２９６７１８に基づくパリ条約の優先権を主張するものである。特願２００６−３５１８９２及び特願２００７−２９６７１８の開示内容は、特願２００６−３５１８９２及び特願２００７−２９６７１８を参照することにより本明細書に援用される。

本発明の代表的な実施形態が詳細に述べられたが、様々な変更(changes)、置き換え(substitutions)及び選択(alternatives)が請求項で定義された発明の精神と範囲から逸脱することなくなされることが理解されるべきである。また、仮にクレームが出願手続きにおいて補正されたとしても、クレームされた発明の均等の範囲は維持されるものと発明者は意図する。

本発明によれば、映像に登場する対象物ごとに分類された対象物の一覧表を生成するため、対象物の出現箇所を頭出し再生するため、所望の対象物の出現箇所をつなぎ合わせた要約映像を生成するため、あるいは対象物に基づいて映像分類を行うために、対象物の同一性を判定する同一性判定成装置や、同一性判定装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、ホームビデオにおいて人物に基づく映像の整理や分類、視聴用の映像生成を実現するための同一性判定装置としても利用である。また、監視カメラで長時間撮影された映像中からどんな人物がどのくらい出現しているかを短時間で把握するために、各人物の出現箇所をリスト表示させるための対象物の同一性判定装置としても利用できる。また、多数の映像を用いて映像編集を行うシステムにおいて、対象物に基づいた編集を目的とした映像選択のために、対象物の出現箇所をリスト表示するための対象物の同一性判定装置や、同一性判定装置をコンピュータに実現するためのプログラムといった用途に適用できる。

Claims (60)

1. 入力映像からパターン認識を用いて複数の対象物を検出し、該複数の対象物間の同一性を、対象物が検出された各々のフレームの間の時間的距離であるフレーム間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする同一性判定装置。
2. ａ）入力映像からパターン認識を用いて複数の対象物を検出する手段と、
   ｂ）対象物が検出されたフレーム群を構成する各々のフレームの間で各々のフレームの間の時間的距離であるフレーム間距離を算出する手段と、
   ｃ）前記フレーム間距離を利用して対象物同一性確率を算出する手段と、
   ｄ）対象物同一性確率をもとに対象物の同一性判定する手段と、
   を含むことを特徴とする請求項１記載の同一性判定装置。
3. 前記手段ｃにおいては、あらかじめ記憶されたフレーム間距離と対象物同一性確率の対応表から、前記算出されたフレーム間距離をもとに対象物同一性確率を選択することを特徴とする請求項２記載の同一性判定装置。
4. 前記手段ｄにおいては、対象物同一性確率に加え、フレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度を利用して対象物間の同一性を判定することを特徴とする請求項２記載の同一性判定装置。
5. 前記手段ｄにおいては、対象物同一性確率とフレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度との乗算値によって、対象物間の同一性を判定することを特徴とする請求項２記載の同一性判定装置。
6. 前記フレーム間距離は、フレーム番号の差分値をもとに算出されるメディア時間であることを特徴とする請求項１から５の何れか１項記載の同一性判定装置。
7. 前記フレーム間距離は、フレームが対応する台本における時刻の差分値をもとに算出されるシナリオ時間であることを特徴とする請求項１から５の何れか１項記載の同一性判定装置。
8. 前記フレーム間距離は、ショットの切り替わり、またはカメラワークの変化、またはシーンの切り替わり、またはＢＧＭの変化、または背景の画像特徴量の変化のいずれか一つまたはその組み合わせに基づいて重み付けられたメディア時間またはシナリオ時間であることを特徴とする請求項６または７記載の同一性判定装置。
9. 前記対象物は、フレーム全体あるいは一部分であることを特徴とする請求項１から８の何れか１項記載の同一性判定装置。
10. 前記対象物が人物であることを特徴とする請求項１から９の何れか１項記載の同一性判定装置。
11. 同一フレームから検出された複数の人物間の対象物同一性確率が０となることを特徴とする請求項１０記載の同一性判定装置。
12. 入力映像からパターン認識を用いて複数の対象物を検出し、該複数の対象物間の同一性を、対象物が検出された各々のフレームの間の時間的距離であるフレーム間距離に加え、各々のフレーム上での対象物の位置座標の間の距離である座標間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする請求項１記載の同一性判定装置。
13. ｅ）入力映像からパターン認識を用いて複数の対象物を検出する手段と、
    ｆ）対象物が検出されたフレーム群を構成する各々のフレームの間で各々のフレームの間の時間的距離であるフレーム間距離を算出する手段と、
    ｇ）検出された対象物群の間で座標間距離を算出する手段と、
    ｈ）前記フレーム間距離と前記座標間距離を利用して対象物同一性確率を算出する手段と、
    ｉ）対象物同一性確率をもとに対象物の同一性判定する手段と、
    を含むことを特徴とする請求項１２記載の同一性判定装置。
14. 前記手段ｈにおいては、あらかじめ記憶されたフレーム間距離と座標間距離と対象物同一性確率の対応表から、前記算出されたフレーム間距離と前記算出された座標間距離をもとに対象物同一性確率を選択することを特徴とする請求項１３記載の同一性判定装置。
15. 前記手段ｉにおいては、対象物同一性確率に加え、フレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度を利用して対象物間の同一性を判定することを特徴とする請求項１３記載の同一性判定装置。
16. 前記手段ｉにおいては、対象物同一性確率とフレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度との乗算値によって、対象物間の同一性を判定することを特徴とする請求項１３記載の同一性判定装置。
17. 前記座標間距離は、各対象物の画像領域の重心にあたる座標の間で算出される距離であることを特徴とする請求項１２から１６の何れか１項記載の同一性判定装置。
18. 前記座標間距離は、各対象物の画像領域中の１つまたは複数の特徴点について、対応する特徴点の座標の間の線形演算によって算出される距離であることを特徴とする請求項１２から１６の何れか１項記載の同一性判定装置。
19. 前記対象物が人物の顔であることを特徴とする請求項１２から１８の何れか１項記載の同一性判定装置。
20. 前記座標間距離は、フレーム対において一方のフレーム中の両目の位置座標と、もう一方のフレーム中の両目の位置座標との間の線形演算によって算出される距離であることを特徴とする請求項１２から１９の何れか１項記載の同一性判定装置。
21. 入力映像からパターン認識を用いて複数の対象物を検出し、該複数の対象物間の同一性を、対象物が検出された各々のフレームの間の時間的距離であるフレーム間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする同一性判定方法。
22. ａ）入力映像からパターン認識を用いて複数の対象物を検出するステップと、
    ｂ）対象物が検出されたフレーム群を構成する各々のフレームの間で各々のフレームの間の時間的距離であるフレーム間距離を算出するステップと、
    ｃ）前記フレーム間距離を利用して対象物同一性確率を算出するステップと、
    ｄ）対象物同一性確率をもとに対象物の同一性判定するステップと、
    を含むことを特徴とする請求項２１記載の同一性判定方法。
23. 前記ステップｃにおいては、あらかじめ記憶されたフレーム間距離と対象物同一性確率の対応表から、前記算出されたフレーム間距離をもとに対象物同一性確率を選択することを特徴とする請求項２２記載の同一性判定方法。
24. 前記ステップｄにおいては、対象物同一性確率に加え、フレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度を利用して対象物間の同一性を判定することを特徴とする請求項２２記載の同一性判定方法。
25. 前記ステップｄにおいては、対象物同一性確率とフレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度との乗算値によって、対象物間の同一性を判定することを特徴とする請求項２２記載の同一性判定方法。
26. 前記フレーム間距離は、フレーム番号の差分値をもとに算出されるメディア時間であることを特徴とする請求項２１から２５の何れか１項記載の同一性判定方法。
27. 前記フレーム間距離は、フレームが対応する台本における時刻の差分値をもとに算出されるシナリオ時間であることを特徴とする請求項２１から２５の何れか１項記載の同一性判定方法。
28. 前記フレーム間距離は、ショットの切り替わり、またはカメラワークの変化、またはシーンの切り替わり、またはＢＧＭの変化、または背景の画像特徴量の変化のいずれか一つまたはその組み合わせに基づいて重み付けられたメディア時間またはシナリオ時間であることを特徴とする請求項２６または２７記載の同一性判定方法。
29. 前記対象物は、フレーム全体あるいは一部分であることを特徴とする請求項２１から２８の何れか１項記載の同一性判定方法。
30. 前記対象物が人物であることを特徴とする請求項２１から２９の何れか１項記載の同一性判定方法。
31. 同一フレームから検出された複数の人物間の対象物同一性確率が０となることを特徴とする請求項３０記載の同一性判定方法。
32. 入力映像からパターン認識を用いて複数の対象物を検出し、該複数の対象物間の同一性を、対象物が検出された各々のフレームの間の時間的距離であるフレーム間距離に加え、各々のフレーム上での対象物の位置座標の間の距離である座標間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする請求項２１記載の同一性判定方法。
33. ｅ）入力映像からパターン認識を用いて複数の対象物を検出するステップと、
    ｆ）対象物が検出されたフレーム群を構成する各々のフレームの間で各々のフレームの間の時間的距離であるフレーム間距離を算出するステップと、
    ｇ）検出された対象物群の間で座標間距離を算出するステップと、
    ｈ）前記フレーム間距離と前記座標間距離を利用して対象物同一性確率を算出するステップと、
    ｉ）対象物同一性確率をもとに対象物の同一性判定するステップと、
    を含むことを特徴とする請求項３２記載の同一性判定方法。
34. 前記ステップｈにおいては、あらかじめ記憶されたフレーム間距離と座標間距離と対象物同一性確率の対応表から、前記算出されたフレーム間距離と前記算出された座標間距離をもとに対象物同一性確率を選択することを特徴とする請求項３３記載の同一性判定方法。
35. 前記ステップｉにおいては、対象物同一性確率に加え、フレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度を利用して対象物間の同一性を判定することを特徴とする請求項３３記載の同一性判定方法。
36. 前記ステップｉにおいては、対象物同一性確率とフレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度との乗算値によって、対象物間の同一性を判定することを特徴とする請求項３３記載の同一性判定方法。
37. 前記座標間距離は、各対象物の画像領域の重心にあたる座標の間で算出される距離であることを特徴とする請求項３２から３６の何れか１項記載の同一性判定方法。
38. 前記座標間距離は、各対象物の画像領域中の１つまたは複数の特徴点について、対応する特徴点の座標の間の線形演算によって算出される距離であることを特徴とする請求項３２から３６の何れか１項記載の同一性判定方法。
39. 前記対象物が人物の顔であることを特徴とする請求項３２から３８の何れか１項記載の同一性判定方法。
40. 前記座標間距離は、フレーム対において一方のフレーム中の両目の位置座標と、もう一方のフレーム中の両目の位置座標との間の線形演算によって算出される距離であることを特徴とする請求項３２から３９の何れか１項記載の同一性判定方法。
41. 入力映像からパターン認識を用いて複数の対象物を検出し、該複数の対象物間の同一性を、対象物が検出された各々のフレームの間の時間的距離であるフレーム間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする同一性判定装置としてコンピュータを機能させるための同一性判定用プログラム。
42. 前記同一性判定装置は、
    ａ）入力映像からパターン認識を用いて複数の対象物を検出する手段と、
    ｂ）対象物が検出されたフレーム群を構成する各々のフレームの間で各々のフレームの間の時間的距離であるフレーム間距離を算出する手段と、
    ｃ）前記フレーム間距離を利用して対象物同一性確率を算出する手段と、
    ｄ）対象物同一性確率をもとに対象物の同一性判定する手段と、
    を含むことを特徴とする請求項４１記載の同一性判定用プログラム。
43. 前記手段ｃにおいては、あらかじめ記憶されたフレーム間距離と対象物同一性確率の対応表から、前記算出されたフレーム間距離をもとに対象物同一性確率を選択することを特徴とする請求項４２記載の同一性判定用プログラム。
44. 前記手段ｄにおいては、対象物同一性確率に加え、フレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度を利用して対象物間の同一性を判定することを特徴とする請求項４２記載の同一性判定用プログラム。
45. 前記手段ｄにおいては、対象物同一性確率とフレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度との乗算値によって、対象物間の同一性を判定することを特徴とする請求項４２記載の同一性判定用プログラム。
46. 前記フレーム間距離は、フレーム番号の差分値をもとに算出されるメディア時間であることを特徴とする請求項４１から４５の何れか１項記載の同一性判定用プログラム。
47. 前記フレーム間距離は、フレームが対応する台本における時刻の差分値をもとに算出されるシナリオ時間であることを特徴とする請求項４１から４５の何れか１項記載の同一性判定用プログラム。
48. 前記フレーム間距離は、ショットの切り替わり、またはカメラワークの変化、またはシーンの切り替わり、またはＢＧＭの変化、または背景の画像特徴量の変化のいずれか一つまたはその組み合わせに基づいて重み付けられたメディア時間またはシナリオ時間であることを特徴とする請求項４６または４７記載の同一性判定用プログラム。
49. 前記対象物は、フレーム全体あるいは一部分であることを特徴とする請求項４１から４８の何れか１項記載の同一性判定用プログラム。
50. 前記対象物が人物であることを特徴とする請求項４１から４９の何れか１項記載の同一性判定用プログラム。
51. 同一フレームから検出された複数の人物間の対象物同一性確率が０となることを特徴とする請求項５０記載の同一性判定用プログラム。
52. 入力映像からパターン認識を用いて複数の対象物を検出し、該複数の対象物間の同一性を、対象物が検出された各々のフレームの間の時間的距離であるフレーム間距離に加え、各々のフレーム上での対象物の位置座標の間の距離である座標間距離をもとに決まる対象物同一性確率を利用して判定することを特徴とする請求項４１記載の同一性判定用プログラム。
53. 前記同一性判定装置は、
    ｅ）入力映像からパターン認識を用いて複数の対象物を検出する手段と、
    ｆ）対象物が検出されたフレーム群を構成する各々のフレームの間で各々のフレームの間の時間的距離であるフレーム間距離を算出する手段と、
    ｇ）検出された対象物群の間で座標間距離を算出する手段と、
    ｈ）前記フレーム間距離と前記座標間距離を利用して対象物同一性確率を算出する手段と、
    ｉ）対象物同一性確率をもとに対象物の同一性判定する手段と、
    を含むことを特徴とする請求項５２記載の同一性判定用プログラム。
54. 前記手段ｈにおいては、あらかじめ記憶されたフレーム間距離と座標間距離と対象物同一性確率の対応表から、前記算出されたフレーム間距離と前記算出された座標間距離をもとに対象物同一性確率を選択することを特徴とする請求項５３記載の同一性判定用プログラム。
55. 前記手段ｉにおいては、対象物同一性確率に加え、フレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度を利用して対象物間の同一性を判定することを特徴とする請求項５３記載の同一性判定用プログラム。
56. 前記手段ｉにおいては、対象物同一性確率とフレーム対に含まれる対象物の画像特徴、または音響特徴、またはその組み合わせに基づく類似度との乗算値によって、対象物間の同一性を判定することを特徴とする請求項５３記載の同一性判定用プログラム。
57. 前記座標間距離は、各対象物の画像領域の重心にあたる座標の間で算出される距離であることを特徴とする請求項５２から５６の何れか１項記載の同一性判定用プログラム。
58. 前記座標間距離は、各対象物の画像領域中の１つまたは複数の特徴点について、対応する特徴点の座標の間の線形演算によって算出される距離であることを特徴とする請求項５２から５６の何れか１項記載の同一性判定用プログラム。
59. 前記対象物が人物の顔であることを特徴とする請求項５２から５８の何れか１項記載の同一性判定用プログラム。
60. 前記座標間距離は、フレーム対において一方のフレーム中の両目の位置座標と、もう一方のフレーム中の両目の位置座標との間の線形演算によって算出される距離であることを特徴とする請求項５２から５９の何れか１項記載の同一性判定用プログラム。

Images