JP6339358B2 - デジタル映像処理装置及び映像の代表動き予測方法 - Google Patents

Description

本発明は、デジタル映像処理装置及び映像の代表動き予測方法に係り、撮影映像の映像フレームを代表する動きを示す代表モーションベクトルを獲得するデジタル映像処理装置及び映像の代表動き予測方法に関する。

最近、ポータブル撮影装置及び／またはＣＣＴＶなどへの需要が急増するなか、撮影装置の振れによる映像の不安定性を解消するための研究開発が活発に行われつつある。特に、ユーザが撮影装置本体を直接把持して撮影するポータブル撮影装置だけではなく、指定の位置に取り付けられて作動するＣＣＴＶなどの場合にも、外部からの振動などによる撮影装置自体の振れによって映像の不安定性が問題になっている。
撮影装置の振れによる映像の不安定性を解消するためのデジタル映像処理技術として、撮影映像の映像フレームについて複数の候補モーションベクトルを導出した後、これらの複数の候補モーションベクトルに基づいて撮影映像の映像フレームを代表する動きを予測する代表動き予測技術が挙げられている。

しかしながら、このような従来の代表動き予測技術の場合、代表動きを予測する性能自体が劣る場合が多く、特に、映像内に動く物体がある場合や、撮影映像のノイズがひどいか画質自体が劣る場合には、正確な代表動きを算出し難く、映像の不安定性の解消が困難であるという技術的限界がある。
したがって、映像内に動く物体がある場合や、撮影映像のノイズがひどいか画質自体が劣る場合であっても、代表動きをさらに正確に予測できる映像処理技術が必要とされている。

韓国特許第０２３０７５号明細書

Ｓ．Ｅｒｔｕｒｋ，"Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ ｗｉｔｈ Ｓｕｂ−Ｉｍａｇｅ Ｐｈａｓｅ Ｃｏｒｒｅｌａｔｉｏｎ Ｂａｓｅｄ Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｖｏｌ．４９，２００３，１３２０−１３２５

本発明が解決しようとする技術的課題は、映像フレームを代表する動きを示す代表モーションベクトルをさらに正確に予測し、映像内に動く物体がある場合や、撮影映像のノイズがひどいか画質自体が劣る場合であっても、映像の不安定性を解消できるデジタル映像処理装置及び映像の代表動き予測方法を提供するところにある。
本発明が解決しようとする技術的課題は、以上で述べた技術的課題に制限されず、述べていない他の技術的課題は、下記の記載から当業者に明確に理解されるであろう。

前記の技術的課題を解決するためのデジタル映像処理装置は、撮影映像の映像フレームを、前記映像フレーム内の互いに異なる領域に対する複数のテンプレートにマッチングし、前記テンプレートにそれぞれ対応するテンプレートモーションベクトルを獲得するテンプレートモーションベクトル獲得部と、前記獲得されたテンプレートモーションベクトルそれぞれについて、前記テンプレートモーションベクトルそれぞれに隣接する少なくとも一つの隣接モーションベクトルとの加重和に基づいて、前記モーションベクトルそれぞれの位置を補正する位置補正部と、前記テンプレートモーションベクトルそれぞれの信頼度及び前記テンプレートモーションベクトルそれぞれに対応する前記隣接モーションベクトルの数に基づいて、前記テンプレートモーションベクトルそれぞれのスコアを算出するスコア演算部と、前記算出されたスコアに基づいて、前記テンプレートモーションベクトルから前記映像フレームを代表する代表モーションベクトルを選定する代表動き予測部と、を備える。

さらに望ましくは、前記加重和は、前記テンプレートモーションベクトル及び前記テンプレートモーションベクトルに対応する隣接モーションベクトルそれぞれの信頼度を加重値とする。
さらに望ましくは、前記隣接モーションベクトルは、前記隣接モーションベクトルに対応するテンプレートモーションベクトルとのユークリッド距離がしきい値より小さなモーションベクトルである。
さらに望ましくは、前記代表モーションベクトルに基づいて、前記映像フレームを含む撮影映像を安定化させる安定化部をさらに備える。

前記の技術的課題を解決するための映像の代表動き予測方法は、撮影映像の映像フレームを、前記映像フレーム内の互いに異なる領域に対する複数のテンプレートにマッチングし、前記テンプレートにそれぞれ対応するテンプレートモーションベクトルを獲得する段階と、前記獲得されたテンプレートモーションベクトルそれぞれについて、前記テンプレートモーションベクトルそれぞれに隣接する少なくとも一つの隣接モーションベクトルとの加重和に基づいて、前記テンプレートモーションベクトルそれぞれの位置を補正する段階と、前記テンプレートモーションベクトルそれぞれの信頼度及び前記テンプレートモーションベクトルそれぞれに対応する前記隣接モーションベクトルの数に基づいて、前記テンプレートモーションベクトルそれぞれのスコアを算出する段階と、前記算出されたスコアに基づいて、前記テンプレートモーションベクトルから前記映像フレームを代表する代表モーションベクトルを選定する段階と、を含む。

さらに望ましくは、前記加重和は、前記テンプレートモーションベクトル及び前記テンプレートモーションベクトルに対応する隣接モーションベクトルそれぞれの信頼度を加重値とする。
さらに望ましくは、前記隣接モーションベクトルは、前記隣接モーションベクトルに対応するテンプレートモーションベクトルとのユークリッド距離がしきい値より小さなモーションベクトルである。
さらに望ましくは、前記代表モーションベクトルに基づいて、前記映像フレームを含む撮影映像を安定化させる段階をさらに含む。

前記の技術的課題を解決するために、本発明は、前記映像の代表動き予測方法をコンピュータに実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、従来の代表動き予測技術とは異なり、映像内に動く物体がある場合や、撮影映像のノイズがひどいか画質自体が劣る場合であっても、映像フレームを代表する動きを示す代表モーションベクトルをさらに正確に予測できる。

本発明の望ましい一実施形態によるデジタル映像処理装置の構成を概略的に示すブロック図である。 本発明の望ましい一実施形態によるデジタル映像処理装置の一構成要素であるデジタル信号処理部の構成を概略的に示すブロック図である。 本発明の望ましい一実施形態による代表動き予測方法を概略的に示すフローチャートである。 従来の代表動き予測技術と本発明による代表動き予測方法との差を説明するために代表動き予測過程を例示する図面である。 従来の代表動き予測技術と本発明による代表動き予測方法との差を説明するために代表動き予測過程を例示する図面である。 従来の代表動き予測技術と本発明による代表動き予測方法との差を説明するために代表動き予測過程を例示する図面である。 従来の代表動き予測技術に比べて、本発明による代表動き予測方法が改善された性能を持つという主張を裏付けるために行った代表動き予測実験結果を例示する図面である。 従来の代表動き予測技術に比べて、本発明による代表動き予測方法が改善された性能を持つという主張を裏付けるために行った代表動き予測実験結果を例示する図面である。

以下の内容は、単に本発明の原理を例示する。したがって、当業者は、たとえ本明細書に明確に説明または図示されていないとしても、本発明の原理を具現し、本発明の概念及び範囲に含まれた多様な装置を発明できる。また、本明細書に挙げられたあらゆる条件付き用語及び実施形態は、原則的に、本発明の概念の理解を助けることだけを意図したものであり、このように特に挙げられた実施形態及び状態に本発明が限定されるものではないと理解されねばならない。また、本発明の原理、観点及び実施形態だけではなく特定の実施形態を挙げるあらゆる詳細な説明は、このような事項の構造的及び機能的な均等物を含むことを意図するものと理解されねばならない。また、このような均等物は、現在公知の均等物だけではなく、今後開発される均等物、すなわち、構造と関係なく同じ機能を行うように発明されたあらゆる要素を含むと理解されねばならない。

したがって、プロセッサまたはこれと類似した概念に表示された機能ブロックを含む図面に図示された多様な要素の機能は、専用ハードウェアだけではなく適切なソフトウェアに関してソフトウェアを実行する能力を持つハードウェアの使用で提供される。プロセッサによって提供される時、機能は、単一の専用プロセッサ、単一の共有プロセッサまたは複数の個別的プロセッサによって提供され、これらのうち一部は共有される。また、プロセッサ、コントローラまたはこれと類似した概念に提示される用語の使用は、ソフトウェアを行う能力を持つハードウェアを排他的に引用して解釈されてはならず、限定なしにデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ及び不揮発性メモリを暗示的に含むと理解されねばならない。周知慣用の他のハードウェアも含まれる。

前述した目的、特徴及び長所は、添付した図面に関する以下の詳細な説明によりさらに明らかになる。本発明を説明するに際して、かかる公知技術についての具体的な説明が本発明の趣旨を不明瞭にすると判断される場合、その詳細な説明を略するか、または簡単に説明する。
一方、ある部分がいずれかの構成要素を“含む”という時、これは特に他の記載がない限り、他の構成要素を除外するものではなく、他の構成要素をさらに含むことができるということを意味する。

以下、添付した図面を参照して望ましい実施形態による本発明を詳細に説明する。
図１は、本発明の望ましい一実施形態によるデジタル映像処理装置の構成を概略的に示すブロック図であり、図２は、図１に図示されたデジタル映像処理装置の一構成要素であるデジタル信号処理部の構成を概略的に示すブロック図である。
図１を参照すれば、本実施形態によるデジタル映像処理装置の全体動作は、ＣＰＵ １００によって統括される。そして、デジタル映像処理装置には、ユーザからの電気的信号を発生させるキーなどを含む操作部２００が備えられる。この操作部２００からの電気的信号はＣＰＵ １００に伝達され、ＣＰＵ １００が電気的信号によってデジタル映像処理装置を制御可能にする。

撮影モードの場合、ユーザからの電気的信号がＣＰＵ １００に印加されることで、ＣＰＵ １００は、その信号を把握してレンズ駆動部１１、絞り駆動部２１及び撮像素子制御部３１を制御し、これによって、それぞれレンズ１０の位置、絞り２０の開放程度及び撮像素子３０の感度などが制御される。撮像素子３０は、入射する光から撮影映像の映像フレームに関するデータを生成し、アナログ／デジタル変換部４０は、撮像素子３０から出力されるアナログデータをデジタルデータに変換する。もちろん、撮像素子３０の特性によってアナログ／デジタル変換部４０が必要ない場合もあり得る。このようなデジタル映像処理装置の構成要素は、データ獲得部と総称されるが、もちろんデータ獲得部は、必ずしもこれらの構成要素をいずれも備える必要はなく、入射する光から撮影映像についてのデータを獲得できる構成要素ならば、データ獲得部の構成要素になる。

撮像素子３０からのデータは、メモリ６０を経てデジタル信号処理部５０に入力されても、メモリ６０を経ずにデジタル信号処理部５０に入力されても、必要に応じてＣＰＵ １００に入力されてもよい。ここで、メモリ６０は、ＲＯＭまたはＲＡＭなどを含む概念である。デジタル信号処理部５０は、必要に応じてガンマ補正、ホワイトバランス調整などのデジタル信号処理を行える。また後述するように、デジタル信号処理部５０は、テンプレートモーションベクトル獲得部５１、位置補正部５２、スコア演算部５３、代表動き予測部５４及び安定化部５５を備えることで、撮影装置自体の揺れによる映像の不安定性を低減させる機能を行える。もちろん、テンプレートモーションベクトル獲得部５１、位置補正部５２、スコア演算部５３、代表動き予測部５４及び安定化部５５は、デジタル信号処理部５０の一部ではない別途の構成要素であってもよく、さらには、他の構成要素の一部であってもよいなど、多様な変形が可能である。なお、テンプレートモーションベクトル獲得部５１、位置補正部５２、スコア演算部５３、代表動き予測部５４及び安定化部５５は、そのうち少なくとも一部がオペレーティングシステム、アプリケーションプログラムモジュール及びその他のプログラムモジュールなどの所定のプログラムモジュールであり、物理的には、多様な種類の公知の記憶装置に保存される。また、このようなプログラムモジュールは、デジタル映像処理装置と通信可能な遠隔記憶装置に保存されることもある。一方、これらのプログラムモジュールは、本発明によって後述する特定業務を行うか、または特定の抽象データ類型を行うルーチン、サブルーチン、プログラム、オブジェクト、コンポネント、データ構造などを含むが、本発明自体がこれに限定されるものではない。テンプレートモーションベクトル獲得部５１、位置補正部５２、スコア演算部５３、代表動き予測部５４及び安定化部５５の機能については、後述する。

デジタル信号処理部５０から出力された撮影映像データは、メモリ６０を通じて、または直接ディスプレイ制御部８１に伝達される。ディスプレイ制御部８１は、ディスプレイ部８０を制御してディスプレイ部８０に撮影映像をディスプレイする。そして、デジタル信号処理部５０から出力された撮影映像データは、メモリ６０を通じて、または直接保存／判読制御部７１に入力されるが、この保存／判読制御部７１は、ユーザからの信号によって、または自動で撮影映像データを記録媒体７０に保存する。もちろん保存／判読制御部７１は、記録媒体７０に保存された撮影映像ファイルから撮影映像に関するデータを判読し、これをメモリ６０を通じて、または他の経路を通じてディスプレイ制御部８１に入力し、ディスプレイ部８０に撮影映像をディスプレイさせることもできる。記録媒体７０は、脱着自在なものであっても、またはデジタル映像処理装置に永久装着されたものであってもよい。

このようなデジタル映像処理装置を用いて撮影映像を安定化させるのは、撮影映像を構成するいずれかの映像フレームを基準として他の映像フレームの位置を修正することで、該映像の撮影装置自体が振れるにもかかわらず、撮影映像の映像フレーム内の被写体の位置を維持することを意味する。
このために、本実施形態によるデジタル映像処理装置は、データ獲得部を通じて撮影映像の映像フレームを獲得する。

テンプレートモーションベクトル獲得部５１は、撮影映像の映像フレームを映像フレーム内の互いに異なる領域に対する複数のテンプレートにマッチングして、テンプレートにそれぞれ対応するテンプレートモーションベクトルを獲得する。
特に、本発明では、映像フレームに対するテンプレートモーションベクトルの獲得において、映像フレーム内の互いに異なる領域に対する複数のテンプレートを適用することで、撮影映像内に動く物体があっても、動く物体によって影響されないテンプレートのテンプレートモーションベクトルに基づいて代表動きを予測可能になって、動く物体による影響を相対的にさらに少なく受けるようになる。

位置補正部５２は、テンプレートモーションベクトル獲得部５１で獲得されたテンプレートモーションベクトルそれぞれについて、テンプレートモーションベクトルそれぞれに隣接する少なくとも一つの隣接モーションベクトルとの加重和に基づいて、テンプレートモーションベクトルそれぞれの位置を補正する。
この時、テンプレートモーションベクトルＭＶ_ｉに対応する隣接モーションベクトルの集合Ｎ_ｉに属する隣接モーションベクトルは、下記の数式１のように、該テンプレートモーションベクトルＭＶ_ｉとのユークリッド距離（Ｅｕｃｌｉｄｉｅａｎ Ｄｉｓｔａｎｃｅ、以下、ＥＤ）がしきい値より小さなモーションベクトルＭＶ_ｊである。

このように、本発明では、単純にテンプレートモーションベクトルそれぞれの位置及び信頼度だけを考慮するのではなく、テンプレートモーションベクトルそれぞれに類似した隣接モーションベクトルの相対的な位置を共に考慮して代表動き予測性能を改善する。すなわち、抽出されたテンプレートモーションベクトルが正確でない可能性もあると仮定し、これを最大限補正するためである。
例えば、単純にテンプレートモーションベクトルそれぞれの信頼度が低い状態で該テンプレートモーションベクトルに基づいて代表動きを予測する場合には、代表動きについての正確な予測が困難になる。

したがって、本発明では、予測性能を向上させるためにテンプレートモーションベクトルそれぞれの位置及び信頼度だけではなく、テンプレートモーションベクトルそれぞれに類似した隣接モーションベクトルの相対的な位置を共に考慮している。
同時に、テンプレートモーションベクトルと、該テンプレートモーションベクトルに対応する隣接モーションベクトルとの加重和は、テンプレートモーションベクトル及び隣接モーションベクトルそれぞれの信頼度を加重値として演算でき、これによって、該テンプレートモーションベクトルの位置補正ＭＶ_ｉ ^’は、下記の数式２のように加重和演算により行える。

ここで、Ｃ_ｋは、該モーションベクトルＭＶ_ｋの信頼度を示す。
スコア演算部５３は、位置補正部５２で位置補正されたテンプレートモーションベクトルそれぞれの信頼度及びテンプレートモーションベクトルそれぞれに対応する隣接モーションベクトルの数に基づいて、テンプレートモーションベクトルそれぞれのスコアを算出する。
この時、テンプレートモーションベクトルのスコアＳ_ｉは、下記の数式３のように該テンプレートモーションベクトルの隣接モーションベクトルの数｜Ｎ_ｉ｜を二乗した値に所定の加重値Ｗを適用し、該テンプレートモーションベクトルの信頼度Ｃ_ｉに合算して算出する。

本発明では、テンプレートモーションベクトルそれぞれの位置補正だけではなく、テンプレートモーションベクトルそれぞれのスコアの算定時にも、単純にテンプレートモーションベクトルそれぞれの位置及び信頼度だけを考慮するものではなく、テンプレートモーションベクトルそれぞれにどれほど類似したモーションベクトルが多いかをまた共に考慮して代表動き予測性能を改善する。
この時、スコア加重値Ｗは、テンプレートモーションベクトルに共通に適用されるように、テンプレートモーションベクトルによって変わる変数値ではない所定の定数値に設定されることが望ましい。

代表動き予測部５４は、スコア演算部５３で算出されたテンプレートモーションベクトルそれぞれのスコアに基づいて、テンプレートモーションベクトルのうち該映像フレームを代表する動きを示す代表モーションベクトルを選定する。
このように、代表動き予測部５４で該映像フレームの代表モーションベクトルを選定すれば、安定化部５５は、このような代表モーションベクトルに基づいて該映像フレームを含む撮影映像を安定化させる。

撮影映像を安定化させる方法は、該映像フレームを代表モーションベクトルによって移動させるか、または代表モーションベクトルによって該映像フレームのデータを修正するなどの一連の映像処理過程を通じて、該映像フレームを含む撮影映像を安定化させることである。
例えば、安定化部５５は、該映像フレームの代表モーションベクトルが（ｉ，ｊ）である場合に、該フレームの（ｘ＋ｉ，ｙ＋ｊ）が（ｘ，ｙ）画素のデータを持つように該映像フレームのデータを修正する。これは、本発明の説明の便宜のための一つの実施形態に過ぎず、本発明自体がこれらの安定化方法に限定されるものではなく、従来の公知された代表動き基盤の安定化技術がいずれも適用されるといえる。

図３は、本発明の望ましい一実施形態による代表動き予測方法を概略的に示すフローチャートであり、本実施形態による映像データ伝送方法は、図１及び／または図２に図示されたデジタル映像処理装置及び／またはデジタル信号処理部５０で行われる。よって、図１及び／または図２に図示されたデジタル映像処理装置及び／またはデジタル信号処理部５０と同じ事項については、これを参照する。
図３を参照すれば、先ず、撮影映像の映像フレームを前記映像フレーム内の互いに異なる領域に対する複数のテンプレートにマッチングし、前記テンプレートにそれぞれ対応するテンプレートモーションベクトルを獲得する（Ｓ３０１）。

Ｓ３０１段階で獲得されたテンプレートモーションベクトルそれぞれについて、テンプレートモーションベクトルそれぞれに隣接する少なくとも一つの隣接モーションベクトルとの加重和に基づいて、テンプレートモーションベクトルそれぞれの位置を補正する（Ｓ３０２）。
Ｓ３０２段階で位置補正されたテンプレートモーションベクトルそれぞれの信頼度及び前記テンプレートモーションベクトルそれぞれに対応する隣接モーションベクトルの数に基づいて、テンプレートモーションベクトルそれぞれのスコアを算出する（Ｓ３０３）。

Ｓ３０３段階で算出されたスコアに基づいて、テンプレートモーションベクトルから映像フレームを代表する代表モーションベクトルを選定する（Ｓ３０４）。
本実施形態による代表動き予測方法によれば、複数の候補モーションベクトル及び候補モーションベクトルそれぞれの信頼度値が与えられた状況（ＭＶ_１，Ｃ_１）、（ＭＶ_２，Ｃ_２）、（ＭＶ_３，Ｃ_３）、…、（ＭＶ_Ｍ，Ｃ_Ｍ）で、代表モーションベクトルＭＶ^＊を容易に算出する。

図４Ａないし図４Ｃは、従来の代表動き予測技術と本発明による代表動き予測方法との差を説明するために代表動き予測過程を例示する図面である。
図４Ａは、従来の代表動き予測技術及び本発明による代表動き予測の前提として、複数の候補モーションベクトル及び候補モーションベクトルそれぞれの信頼度値が与えられた状況（ＭＶ_１，Ｃ_１）、（ＭＶ_２，Ｃ_２）、（ＭＶ_３，Ｃ_３）、…、（ＭＶ_Ｍ，Ｃ_Ｍ）を例示する。
図４Ａを参照すれば、４個の候補モーションベクトル＃１、＃２、＃３、＃４は、（−７，３）、（−４，２）、（−４，−２）、（５，２）の位置をそれぞれ有し、それぞれの信頼度として０．２、０．３、０．１、０．５が設定される。
そして、該フレームの実際動きベクトル（Ｔｒｕｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、ＴＭＶ）は、（−５，０）と仮定する。すなわち、代表モーションベクトルが実際動きベクトルに最も近い値、すなわち、両者間のＥＤが最小である場合が、代表モーションベクトルを最も正確に予測したとみられる。

図４Ｂは、従来の代表動き予測技術によって代表動き予測を予測した結果を例示する。
本発明による代表動き予測方法と比べるための従来の代表動き予測技術として、前述した非特許文献１に提示された３つの従来技術（先行技術１ないし３）を例示する。
前述したように、先行技術１ないし３は、いずれも複数の候補モーションベクトル及び候補モーションベクトルそれぞれの信頼度値が与えられた状況（ＭＶ_１，Ｃ_１）、（ＭＶ_２，Ｃ_２）、（ＭＶ_３，Ｃ_３）、…、（ＭＶ_Ｍ，Ｃ_Ｍ）で代表モーションベクトルＭＶ^＊を算出する技術である。
以下、先行技術１は、下記の数式４のように、候補モーションベクトルのうち最大信頼度を持つモーションベクトルＭＶ_ｉ ^＊を代表モーションベクトルＭＶ^＊と選定する、いわゆる、最大信頼度方式の技術を示す。

以下、先行技術２は、下記の数式５のように、候補モーションベクトルそれぞれに該信頼度を乗算して合算した結果を代表モーションベクトルＭＶ^＊と選定する、いわゆる、加重和方式の技術を示す。

以下、先行技術３は、下記の数式６のように、候補モーションベクトルのうち信頼度の大きい順にＭ個を選定し、これらだけを対象として加重和演算した結果を代表モーションベクトルＭＶ^＊と選定する、いわゆる、選択的加重和方式の技術を示す。

図４Ｂを参照すれば、先ず、先行技術１によって候補モーションベクトルのうち最大信頼度を持つモーションベクトルを代表モーションベクトルと選定する場合には、候補モーションベクトルである＃１、＃２、＃３、＃４のうち最大信頼度である０．５を持つ＃４が代表モーションベクトルになり、該代表モーションベクトルの位置は（５，２）である。そして、先行技術１による代表モーションベクトルＭＶ^＊が実際動きベクトルＴＭＶに近づいた程度を示すＥＤは、１０．１２になる。

また、先行技術２によって、候補モーションベクトルそれぞれに該信頼度を乗算して合算した加重和演算結果を代表モーションベクトルと選定する場合には、候補モーションベクトルである＃１、＃２、＃３、＃４それぞれの位置である（−７，３）、（−４，２）、（−４，−２）、（５，２）に、それぞれの信頼度である０．２、０．３、０．１、０．５を加重値として加重和演算した結果である（−０．５，２）が、代表モーションベクトルになる。そして、先行技術２による代表モーションベクトルＭＶ^＊が実際動きベクトルＴＭＶに近づいた程度を示すＥＤは、４．９５になる。

また、先行技術３によって、候補モーションベクトルそれぞれに該信頼度を乗算して合算した加重和演算結果を代表モーションベクトルと選定する場合には、候補モーションベクトルのうち信頼度が最も高い２つのモーションベクトルである＃２、＃４それぞれの位置である（−４，２）、（５，２）に、それぞれの信頼度である０．３、０．５を加重値として加重和演算した結果である（１．３，１．６）が代表モーションベクトルになる。そして、先行技術３による代表モーションベクトルＭＶ^＊が実際動きベクトルＴＭＶに近づいた程度を示すＥＤは、６．４５になる。

このように、先行技術１ないし３によって算出された代表モーションベクトルのＥＤは、それぞれ１０．１２、４．９２、６．４５と非常に高い値を持つ。これは、例えば、代表モーションベクトルの選定時にそれぞれの信頼度を考慮せず、単純に中間値（ｍｅｄｉａｎ）である（−４，２）に算定する場合に算出されるＥＤが２．２３である点と比べても、相対的に高い値を持つという点からみれば、代表モーションベクトルの予測性能が多少落ちるという点が確認できる。

図４Ｃを参照すれば、本実施形態による候補モーションベクトル＃１、＃２、＃３、＃４は、図４Ａに図示された実施形態と同様に、（−７，３）、（−４，２）、（−４，−２）、（５，２）の位置をそれぞれ持ち、それぞれの信頼度として０．２、０．３、０．１、０．５が設定される。
そして、候補モーションベクトルそれぞれの隣接モーションベクトルは、候補モーションベクトルそれぞれとのＥＤが４以下である他の候補モーションベクトルと仮定する。
これによって、候補モーションベクトル＃１の隣接モーションベクトルとして＃２、＃３が探索され、候補モーションベクトル＃２の隣接モーションベクトルとして＃１、＃３が探索され、候補モーションベクトル＃３の隣接モーションベクトルとして＃１、＃２が探索され、候補モーションベクトル＃４の隣接モーションベクトルは探索されない。

このような候補モーションベクトル及び隣接モーションベクトルの位置、候補モーションベクトル及び隣接モーションベクトル信頼度を加重和演算して位置補正した候補モーションベクトルの位置は、それぞれ（−５，０．１６７）、（−５，０．１６７）、（−５，０．１６７）、（５，２）である。
さらに、このように位置補正された候補モーションベクトルの信頼度及び隣接モーションベクトルの数に基づいて、候補モーションベクトル＃１、＃２、＃３、＃４それぞれのスコアを算定した結果は、それぞれ３．２、３．３、３．１、０．５である。この時、スコア算定に適用したスコア加重値定数値Ｗは、下記の数式７によって算出される。

ここで、Ｃ_ｉは、候補モーションベクトルそれぞれの信頼度を示す。
これらのうち最もスコアの高い候補モーションベクトル＃２を、代表モーションベクトルＭＶ^＊と選定し、その位置である（−５，０．１６７）と実際動きベクトルＴＭＶのＥＤとを計算すれば、０．１６７が算出され、これは、図４Ｂに図示された実施形態と比べれば、相対的に非常に低い数値に当たり、本実施形態による代表動き予測方法の予測性能に優れたことを示す。

図５Ａ及び図５Ｂは、従来の代表動き予測技術に比べて、本発明による代表動き予測方法が改善された性能を持つという主張を裏付けるために行った代表動き予測実験結果を例示する図面であり、総４段階の多様な程度のノイズを持つ映像ｎｏｉｓｅ＃１、ｎｏｉｓｅ＃２、ｎｏｉｓｅ＃３、ｎｏｉｓｅ＃４について、先行技術１ないし３及び本発明による代表動き予測技術をそれぞれ適用し、その代表動き予測性能を分析した結果の一部を例示する。本実験例では、代表動き予測を行った対象として、ｎｏｉｓｅ＃４、ｎｏｉｓｅ＃３、ｎｏｉｓｅ＃２、ｎｏｉｓｅ＃１の順にノイズのひどい映像を使ったことを前提とする。

先ず、図５Ａは、テスト映像のうち二番目にノイズのひどい映像ｎｏｉｓｅ＃２について、先行技術１ないし３及び本発明（ｓｃｏｒｅ）による代表動き予測技術をそれぞれ適用した結果を例示する。
図５Ａに図示されたグラフのＸ軸は、テンプレートサイズを意味し、先行技術１ないし３及び本発明による代表動き予測技術のように、複数の候補モーションベクトルに基づいて代表モーションベクトルを算出する技術の場合には、一般的にテンプレートサイズが大きくなるほど代表動きを予測する性能が向上する。
また、図５Ａに図示されたグラフのＹ軸は、平均ＥＤ（Ａｖｅｒａｇｅ Ｅｕｃｌｉｄｉｅａｎ Ｄｉｓｔａｎｃｅ）を意味し、これは、該映像フレームの被写体などについて実際に肉眼で確認して測定した実際動きと、先行技術１ないし３及び本発明によって予測された代表動きとの平均ＥＤを意味し、本数値が小さいほど、さらに正確に代表動きを予測したと分かる。

図５Ａを参照すれば、テスト映像のうち二番目にノイズのひどい映像ｎｏｉｓｅ＃２に対して、先行技術１ないし３及び本発明（ｓｃｏｒｅ）による代表動きを予測した結果を比べれば、本発明及び先行技術２街相対的に先行技術１及び３より優れた予測性能を持つということが分かる。
併せて、本発明及び先行技術２は、最も性能の劣るテンプレートサイズである１００と、最も性能の向上したテンプレートサイズである２５０、３００とでは、互いに類似した性能を持つと示されたが、それ以外のテンプレートサイズ区間、すなわち、性能が中間程度である区間では、本発明による代表動き予測が先行技術２より相対的に優れた性能を持つということが分かる。

図５Ｂは、図５Ａによる実験結果で最も性能の劣るテンプレートサイズと、最も性能の向上したテンプレートサイズとで互いに類似した性能を持つ本発明及び先行技術２を、それぞれテスト映像のうち最もノイズのひどい映像ｎｏｉｓｅ＃１及び最もノイズの少ない映像ｎｏｉｓｅ＃４に適用した結果を例示する。
図５Ｂを参照すれば、ノイズのひどい映像ｎｏｉｓｅ＃１についての代表動き予測が、ノイズの少ない映像についての代表動き予測より全般的に優れた性能を持つということが分かり、本発明と先行技術２とを比べれば、大部分のテンプレート区間について本発明が優れた性能を持つということが分かる。

このように、本発明によって代表動き予測を行えば、従来の代表動き予測技術より優れた性能を提供する。
特に、候補モーションベクトルの抽出に使うテンプレートのサイズが小さな場合のように、候補モーションベクトルを抽出する性能が相対的に落ちる場合にも、相対的に優れた性能を提供する。
また、悪天候、ネットワークカメラの通信速度の制約、熱画像カメラ自体のノイズ、焦点はずれなどによって撮影映像の画質が低下した場合にも、相対的に優れた性能で代表動きを獲得する。
あわせて、映像フレームの互いに異なる領域を限定する複数のテンプレートを適用して候補モーションベクトルを抽出し、これらそれぞれの信頼度に基づいて代表動きを予測することで、撮影映像内に動く物体があっても、動く物体によって影響されていない他の領域のテンプレートによる候補モーションベクトルに基づいて代表動きを予測できるようになって、動く物体による影響を相対的に少なく受けるようになる。

さらに、本発明による映像の代表動き予測方法は、撮影映像の安定化だけではなく、Ｈ．２６４などの動画圧縮技術や、動画内の対象探知及び粒子追跡（Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）などにも適用でき、当業者ならば、本発明による映像の代表動き予測方法を参照及び／または変形して動き予測機能を含む多様な形態の映像処理方法を類推できる。よって、本発明は、本図面に図示された実施形態から類推できるあらゆる映像処理方法を含み、本図面に図示された実施形態だけに限定されない。

本発明による映像の代表動き予測方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論される。

本発明は、添付した図面に図示された一実施形態を参照して説明されたが、これは例示的なものに過ぎず、当業者ならば、これ以外にも多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。よって、本発明の真の保護範囲は特許請求の範囲のみによって定められねばならない。

本発明は、デジタル映像処理装置関連の技術分野に好適に用いられる。

１０：レンズ
１１：レンズ駆動部
２０：絞り
２１：絞り駆動部
３０：撮像素子
３１：撮像素子制御部
４０：アナログ／デジタル変換部
５０：デジタル信号処理部
５１：テンプレートモーションベクトル獲得部
５２：位置補正部
５３：スコア演算部
５４：代表動き予測部
５５：安定化部
６０：メモリ
７０：記録媒体
７１：保存／判読制御部
８０：ディスプレイ部
８１：ディスプレイ制御部
１００：ＣＰＵ
２００：操作部

Claims (7)

1. 撮影映像の映像フレームを、前記映像フレーム内の互いに異なる領域に対する複数のテンプレートにマッチングし、前記テンプレートにそれぞれ対応するテンプレートモーションベクトルを獲得するテンプレートモーションベクトル獲得部と、
   前記獲得されたテンプレートモーションベクトルそれぞれについて、テンプレートモーションベクトル及びテンプレートモーションベクトルに対応する少なくとも１つの隣接モーションベクトルそれぞれの信頼度を加重値とする加重和をテンプレートモーションベクトル及び少なくとも１つの隣接モーションベクトルそれぞれの信頼度の和で除し、前記テンプレートモーションベクトルそれぞれの位置を補正する位置補正部と、
   前記テンプレートモーションベクトルそれぞれについて、テンプレートモーションベクトルの信頼度に、前記テンプレートモーションベクトルに対応する少なくとも１つの隣接モーションベクトルの数の二乗に所定の定数値を加重値として適用した結果を加えて、前記テンプレートモーションベクトルそれぞれのスコアを算出するスコア演算部と、
   前記算出されたスコアに基づいて、前記テンプレートモーションベクトルから前記映像フレームを代表する代表モーションベクトルを選定する代表動き予測部と、
   を備えることを特徴とするデジタル映像処理装置。
2. 前記隣接モーションベクトルは、前記隣接モーションベクトルに対応するテンプレートモーションベクトルとのユークリッド距離がしきい値より小さなモーションベクトルであることを特徴とする請求項１に記載のデジタル映像処理装置。
3. 前記代表モーションベクトルに基づいて、前記映像フレームを含む撮影映像を安定化させる安定化部をさらに備えることを特徴とする請求項１に記載のデジタル映像処理装置。
4. 撮影映像の映像フレームを、前記映像フレーム内の互いに異なる領域に対する複数のテンプレートにマッチングし、前記テンプレートにそれぞれ対応するテンプレートモーションベクトルを獲得する段階と、
   前記獲得されたテンプレートモーションベクトルそれぞれについて、テンプレートモーションベクトル及びテンプレートモーションベクトルに対応する少なくとも１つの隣接モーションベクトルそれぞれの信頼度を加重値とする加重和をテンプレートモーションベクトル及び少なくとも１つの隣接モーションベクトルそれぞれの信頼度の和で除し、前記テンプレートモーションベクトルそれぞれの位置を補正する段階と、
   前記テンプレートモーションベクトルそれぞれについて、テンプレートモーションベクトルの信頼度に、前記テンプレートモーションベクトルに対応する少なくとも１つの隣接モーションベクトルの数の二乗に所定の定数値を加重値として適用した結果を加えて、前記テンプレートモーションベクトルそれぞれのスコアを算出する段階と、
   前記算出されたスコアに基づいて、前記テンプレートモーションベクトルから前記映像フレームを代表する代表モーションベクトルを選定する段階と、
   を含むことを特徴とする映像の代表動き予測方法。
5. 前記隣接モーションベクトルは、前記隣接モーションベクトルに対応するテンプレートモーションベクトルとのユークリッド距離がしきい値より小さなモーションベクトルであることを特徴とする請求項４に記載の映像の代表動き予測方法。
6. 前記代表モーションベクトルに基づいて、前記映像フレームを含む撮影映像を安定化させる段階をさらに含むことを特徴とする請求項４に記載の映像の代表動き予測方法。
7. 請求項４ないし６のいずれか１項に記載の方法をコンピュータに実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。