JP2009259244A - ビデオ・フレーム・シーケンスにおける関心領域の追跡方法 - Google Patents

Abstract

【課題】ビデオ・フレームのシーケンスにおける関心領域を短時間の処理時間で識別する。
【解決手段】ビデオ・フレームのシーケンスの第１フレームにおける関心領域を探す検索を実行し、シーケンスの次のフレームにおいて対応する関心領域を探す検索を実行する。次のフレームにおける検索は、第１フレームの検索が識別した関心領域のある第１フレーム内の範囲に関連する次のフレームの範囲にて開始することを特徴とする。
【選択図】図２

Description

本発明は、ビデオ・フレームのシーケンスにおける関心領域の追跡方法に関する。

ビデオ処理の分野において、ビデオ・フレーム自体又はビデオ・フレームのシーケンスの特性を判断又は評価する処理のために、ビデオ・フレーム自体又はビデオ・フレームのシーケンスを必要とする多くのアプリケーションがある。例えば、ビデオ・フレームは、処理動作に基づいて、インターレース（飛び越し走査）又はプログレッシブ（非飛び越し走査）に分類できる。多くのかかる動作において、関連情報を含んだフレームの一部のみを処理することにより、その結果（例えば、インターレース／プログレッシブの分類）を得ることができるので、フレーム全体を処理する必要がない。これは、関心領域（ＲＯＩ：Region of Interested）処理として知られており、これを用いて、フレーム処理の結果を得るのに必要な処理時間を短縮する。関心領域は、ビデオ・フレームの内容に関係するか、又は、フィールド間の動き（inter-field motion）の如きフレームのアーティファクトに関係する。

典型的には、フレームのピクセルのブロックの１つ以上が、関心領域又はその一部を有することを示すいくつかの条件を満たすとみなせるまで、フレームのピクセルのブロックを順に処理することにより、関心領域を識別する。これらブロックは、例えば、４０９６個のピクセル（即ち、６４ピクセル×６４ピクセル）を含む矩形ブロックでもよい。図１に示すように、螺旋検索（追跡）方法をしばしば用いて、関心領域を識別するので、フレームの中心内又は中心に向かうブロックを初めの処理し、次に、広がる螺旋に沿ってブロックを処理する。

特開２００７−１４８６８５号公報

ビデオ・フレームのシーケンス内の続くフレームにて関心領域を追跡（トラック）する際、典型的には螺旋検索方法を用いるが、これは、関心領域を識別するのに不必要に長い処理時間を要する。

本発明の第１の観点によれば、ビデオ・フレームのシーケンスにおける関心領域を追跡（検索）する方法を提供する。この方法は、シーケンスの第１フレームにおける関心領域を探す検索を実行するステップと、シーケンスの次のフレームにおいて対応する関心領域を探す検索を実行するステップとを具えている。そして、次のフレームにおける検索は、第１フレームの検索が識別した関心領域のある第１フレーム内の範囲（エリア）に関連する次のフレームの範囲にて開始することを特徴とする。

第１フレームの検索で識別された関心領域のある位置に対応する位置で、次のフレームの検索を開始してもよい。

関心領域が識別されると、第１フレームの検索を終了してもよい。

第１フレームの検索及び次のフレームの検索は、螺旋検索でもよい。

第１フレームの検索が終了したとき、第１フレームの検索の方向に対応する方向で、次のフレームの検索を開始してもよい。

好ましくは、第１フレーム及び次のフレームの各々のピクセルのブロックに関連して、これら第１フレーム及び次のフレームの検索を実行する。

本発明の第２の観点によれば、第１の観点による方法を実行するコンピュータ・プログラムを提供する。

よって、本発明は、ビデオ・フレームのシーケンスにおける関心領域を短時間の処理時間で識別できる。

以下、添付図を参照して、単なる例として、本発明の実施例を説明する。

既知の螺旋検索方法を示す図である。 ビデオ・シーケンスの第１ビデオ・フレームにおける関心領域を探すのに用いる螺旋検索を示す図である。 本発明の方法の実施例を用いて、次のフレームにおける図２の関心領域を探すのに用いる螺旋検索を示す図である。 本発明の方法の別の実施例を用いて、次のフレームにおける図２の関心領域を探すのに用いる螺旋検索を示す図である。

まず、既知の螺旋検索（追跡）方法を示す図１を参照する。この検索方法を用いて、ビデオ・フレームにおける相互フィールドの動きなどの関心領域を識別する。図１において、ビデオ・フレームを参照符号１０で示す。このビデオ・フレームは、複数のブロック１２で構成されていると考えられ、ブロックの各々は、多くのピクセルを有する。既知の螺旋検索方法においては、この検索は、ビデオ・フレームの中心内又は中心に向かうブロック１４にて典型的には開始する。これは、関心領域がビデオ・フレーム１０の外側部分よりも中心部分に配置されている可能性が高いためである。よって、適切なアルゴリズムを用いてピクセルの中心ブロック１４を処理して、中心ブロックが関心領域を含んでいるか否かを判断する。関心領域が中心ブロック内に見つからないと、隣接ブロック１６に進んで、隣接ブロックが関心領域を含んでいるか否かを判断する。図１に示す例において、ブロック１６は、中心ブロック１４の右に配置されているが、任意の隣接ブロックを処理のために選択してもよいことが明らかである。

関心領域がブロック１６内に見つからないと、検索は方向を変え、実施例においてはブロック１６の上にある別のブロック１８に進む。関心領域がブロック１８内に見つからないと、検索は、隣接ブロック２０に移動して、そのブロック２０を処理し、そこが関心領域を含んでいるか否かの判断を行う。ビデオ・フレーム１０のブロックを順次処理し、関心領域が識別されるまで、検索方法が多くのブロックを介して外側に広がる螺旋に従い、関心領域が識別されたポイントで検索が停止する。代わりに、ビデオ・フレーム１０内の更なる関心領域を識別するために検索が再開する前に、関心領域の位置を記録してもよい。

ブロック２２、２４、２６、２８で生じる如く、検索を行う螺旋経路がビデオ・フレーム１０の端に達した場合、図１で点線４０、４２、４４にて示す如く、螺旋経路が壊れていないように、検索は次の日検索ブロック内にて再開する。よって、ブロック２２が処理されると、検索はブロック３０に移動する。一方、ブロック２４の処理の後に、ブロック３６の処理が続く。

この螺旋検索方法は、１つ以上の関心領域を識別するために、単一のビデオ・フレームを処理する有効な方法である。しかし、第１フレーム内に関心領域を識別し、１つ以上の次のフレーム内にてその関心領域を追跡するために、ビデオ・フレームのシーケンスを処理しなければならない場合、関心領域を識別するために続くフレーム又はその各々の中心ブロックにて開始する螺旋検索を実行するには、不必要に長い時間がかかる。

関心領域がビデオ・フレームのシーケンス内で生じるほとんどの場合、複数のフレームの間の関心領域は、空間的に相関されている。すなわち、次のフレーム内の関心領域は、第１フレーム内の関心領域と同じ又は類似の範囲（エリア）内にある。ビデオ・フレームのシーケンスにおける連続するフレームは、一般的には、大きくは異ならない。シーケンスにおける連続フレームの間の関心領域の変動は、通常は小さい。本発明は、このような特性を用いて、ビデオ・シーケンスの次のフレームにおける関心領域を識別するのに要する時間を短縮する。よって、シーケンスを処理するのに必要な処理リソースと、この方法が動作する装置の電力消費を減らす。

本発明の方法において、関心領域を識別した前のフレームにおけるエリアに関連した次のフレームのエリア内の位置にて、次のフレームの検索（追跡）が開始する。この点を、図２及び図３を参照して説明する。

図２において、シーケンスにおける第１ビデオ・フレーム５０で実行した螺旋検索は、ビデオ・フレーム５０のブロック５４における関心領域５２を識別する。シーケンスの次のフレームの検索（追跡）を開始する位置を決定するのに用いるために、関心領域５２の位置が記録される。

図３は、かかる次のフレーム６０を示す。ここで、関心領域５２がブロック６２に移動している。第１フレーム５０における関心領域５２の位置に対応するポイント６４にて、次のフレーム６０の螺旋検索が開始する。

第１フレーム５０における関心領域５２を識別したときの螺旋検索の経路が上方向なので、次のフレーム６０の螺旋検索が上方向に開始する。これは、関心領域５２の移動方向に類似している。第１フレーム５０における関心領域５２が識別されたときの螺旋検索の経路が異なる方向ならば、次のフレーム６０の螺旋検索は、好ましくは、その異なる方向で開始する。関心領域５２がブロック６２にて識別され、その位置が、シーケンスの次のフレームの検索を開始する位置を決定するのに用いるために、記録される。

代わりに、関心領域５２が識別されたときに第１フレーム５０の螺旋検索が続く方向にて、次のフレーム６０の螺旋検索を必然的に開始する必要がない。例えば、この方法の実行を簡略化するために、次のフレーム６０の螺旋検索は、同じ方向に、例えば、上方向に、常に開始してもよい。

図４は、本発明の方法の別の実施例を示す。ここで、関心領域５２が第１フレーム５０にて識別された正確な位置に対応する次のフレーム６０の位置にて、次のフレーム６０の螺旋検索が開始しないが、関心領域５２が識別された第１フレーム５０におけるエリアに関係する次のフレーム６０のエリアにおいて開始する。この例において、関心領域５２が識別された第１フレーム５０の螺旋検索経路で更にわずかに後方の位置に対応するポイントを、次のフレーム６０の検索が開始するポイント６６として選択する。次のフレーム６０の検索を開始するポイントとしてポイント６６を選択する理由は、次の通りである。すなわち、第１フレーム５０の検索により関心領域として不正確に識別された第１フレーム内に生じるアーティファクトが第２フレーム６０の検索を「誤誘導」する可能性を低くするためである。次のフレームの検索は、図３の実施例よりも長い螺旋経路を追わなくてはならず、次のフレーム６０でより多くのブロックを処理しなければならない。よって、第１フレーム５０で不正確に識別されたアーティファクトを識別する前に、関心領域を正確に識別する可能性が高くなる。もちろん、わずかに延びた処理時間によって、次のフレーム６０における関心領域を正確に識別する可能性が改善される。しかし、このわずかに延びた処理時間は、次のフレーム６０の中心ブロックで開始する次のフレーム６０の新たな螺旋検索を実行するのに必要な処理時間に比較すれば、依然として短縮している。

次のフレーム６０の螺旋検索が開始する際のポイントとして選択されたポイント６６は、関心領域５２が識別された第１フレーム５０のエリアに関連する次のフレーム６０のエリア内の次のフレーム６０内に任意のポイントでもよいことが理解できよう。例えば、第１フレーム５０の螺旋検索が開始する位置を除いて、関心領域が識別された第１フレーム５０の螺旋検索経路での任意の位置にポイント６６が対応してもよい。

本発明のいずれの実施例においても、第１フレーム５０の検索により識別された関心領域５２が、第１フレーム５０の検索が開始する位置よりも高い第１フレームの位置にあると、即ち、第１フレーム５０内の関心領域５２が第１フレーム５０の中心ブロック１４の上にあると、関心領域５２は、次のフレーム６０にて上方向に移動する。よって、次のフレーム６０の検索は、第１フレーム５０における関心領域５２の位置に対応するポイントのわずかに上のポイントにて開始できるので、処理すべき次のフレーム６０のブロックの数を減らすことができ、次のフレーム６０での関心領域５２を識別するのに要する時間を短縮できる。同様に、第１フレーム５０の検索により識別された関心領域５２が、第１フレーム５０の検索が開始する位置よりも低い第１フレームの位置にあると、即ち、第１フレーム５０内の関心領域が第１フレーム５０の中心ブロック１４の下にあると、関心領域５２は、次のフレーム６０にて下方向に移動する。よって、次のフレーム６０の検索は、第１フレーム５０における関心領域５２の位置に対応するポイントのわずかに下のポイントにて開始できるので、処理すべき次のフレーム６０のブロックの数を減らすことができる。

本発明により第１フレーム５０及び次のフレーム６０のブロックを処理するのに用いるアルゴリズム又は方法は、当業者に理解できるように、識別すべき関心領域の形式に応じて決まる。例えば、フィールド間の動きを識別するとき、フレームのトップ・フィールド及びボトム・フィールドの間の相関がとられる。

本発明の方法を螺旋検索に関連して説明したが、他の検索方法と連動して、ビデオ・フレームのシーケンスにおける関心領域を識別又は追跡するのに必要な処理時間を短縮できることが理解できよう。

１０、５０、６０ ビデオ・フレーム
１２、１４、２２、２４、２６、２８、３０、３２ ブロック
５２ 関心領域
６６ ポイント

Claims (1)

1. ビデオ・フレームのシーケンスにおける関心領域を追跡する方法であって、
   上記シーケンスの第１フレームにおける関心領域を探す検索を実行するステップと、
   上記シーケンスの次のフレームにおいて対応する関心領域を探す検索を実行するステップとを具え、
   上記次のフレームにおける上記検索は、上記第１フレームの上記検索が識別した関心領域のある上記第１フレーム内の範囲に関連する上記次のフレームの範囲にて開始することを特徴とするビデオ・フレーム・シーケンスにおける関心領域の追跡方法。

Images