JP6328688B2 - 画像安定化映像を製作するための方法及びカメラ - Google Patents

Description

本発明は、画像安定化映像の製作に関する。

ビデオカメラによってキャプチャされた映像は、カメラぶれで知られる問題を抱えうる。例えば、例えばエリアを監視するためにそのエリアに装着されたビデオカメラは時々、風、エリアに入ってくる又はエリアを出て行く輸送手段（例：飛行機、列車、トラック等）、建設工事等の環境要因の変化に起因したぶれ又は揺れを受ける場合がある。上記ぶれ又は揺れにより、ビデオカメラの動きが引き起こされ、これによりキャプチャされた映像のぶれが起きる。

カメラのぶれの影響を低減する画像安定化のための従来システムは多くの場合、映像を表示する前に、ビデオカメラによってキャプチャされた映像を電子的操作することを含む。そうすることによって、ビデオカメラの動きが引き起こされたにも関わらず、視聴者に映像の安定したビューが提示される。

エッジが徐々に周囲の用紙に溶け込む写真又は描画は、口径食と呼ばれる。上記のような絵を造る技術は、意図的なものである。しかし、「口径食」という語はまた、写真画像又は画像ストリーム、すなわち映像の画像の隅が予期せずに暗くなることを示すのにも使用される。予期しない、また望ましくない口径食は、レンズ、アイリス、及び／又は画像センサの限界によって起こる効果である。

画像の安定化が行われる映像において、口径食は厄介なものとなりうる。これは、映像が安定しているように見せるために、映像の画像フレームが異なる画像フレームに対してそれぞれ変化する及び／又はクロッピングされるためである。従って、画像の安定化を行った後で、口径食ぶれの影響が映像に存在することになる。口径食を除去するアルゴリズムは、容易に利用できる。しかしながら口径食の度合いが大きい場合、口径食を除去することで影響を受けたエリアのノイズが大幅に増幅される。

従って、本発明の目的は、画像安定化映像において移動する口径食の問題を除去するための方法を提供することである。更に、本発明の目的は、画像のノイズを増幅させずに、画像安定化映像の口径食の影響の問題を除去するための方法を提供することである。

第１の態様によれば、画像安定化映像を可能にするための方法が提供されている。本方法は、ビデオカメラによってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータを提供することと、
ビデオカメラによってキャプチャされたデジタル画像フレームの転位値を決定することと、
転位値に基づいて、画像安定化映像で表示されるべきデジタル画像フレームの領域を決定することと、
口径食の影響を定義する前記データに基づいて、少なくとも画像安定化映像に表示されるべき領域に対応するデジタル画像フレームのピクセルに口径食除去プロセスを実施することと、
口径食の影響及び転位値を定義するデータに基づいて、映像に表示されるべきデジタル画像フレームの領域に口径食を再導入することと
を含む。

上述してきた方法による口径食の除去及び再導入により、異なる画像安定化デジタル画像フレームにおける異なる口径食が除去され、それと同時にノイズの増幅が最小限に抑えられるために、画像安定化映像にちらつきが生じる。

口径食除去プロセスの実施、及び口径食の再導入は、共通の画像処理ステップにおいて行われうる。これにより、必要なプロセッサの電力が節約され、プロセスがより速くなる。

本方法は更に、転位値に基づいてデジタル画像フレームをクロッピングして、クロッピングされた画像フレームを形成することを含むことができ、クロッピングされた画像フレームは、画像安定化映像に表示されるべきデジタル画像フレームの領域に対応する。

口径食除去プロセスを実施することは、クロッピングされた画像フレームのピクセルに口径食除去プロセスを実施することを含み、実施することは、口径食の影響を定義するデータに基づいている。再導入することは、口径食の影響及び／又は転位値を定義するデータに基づいてクロッピングされた画像フレームに口径食を再導入することを含みうる。

口径食の効果を定義するデータを提供することは、カメラの画像センサの異なるピクセルがどのように口径食の影響によって影響されるかを定義する表を提供することを含みうる。

表は、カメラの画像センサの全てのピクセルが口径食の影響によってどのように影響されるかを定義するデータを含みうる。

表は、カメラの画像センサのピクセルのサブセットのみが口径食の影響によってどのように影響されるかを定義するデータを含みうる。

デジタル画像フレームをキャプチャするためにロールシャッターを使用する場合、転位値を決定することは、センサの画像フレームの少なくとも２つの異なる行に対して異なる転位値を決定することを含みうる。

デジタル画像フレームをキャプチャするためにグローバルシャッターを使用する場合、転位値を決定することは、センサの画像フレームの単一の転位値を決定することを含みうる。

第２の態様によれば、処理能力を有するデバイス上で実行されると、上述の方法を実施するためのプログラムが記録されている、非一時的なコンピュータ可読記録媒体が提供されている。

第３の態様によれば、ビデオカメラによってキャプチャされたデジタル画像フレームを備える画像安定化映像を製作するように配置構成された画像処理装置が提供されている。画像処理装置は、ビデオカメラによってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータを含むメモリと、
ビデオカメラによってキャプチャされたデジタル画像フレームの転位値を決定し、転位値に基づいて、画像安定化映像に表示されるべきデジタル画像フレームの領域を決定するように配置構成された転位値決定モジュールと、
口径食の影響を定義するデータに基づいて、少なくとも画像安定化映像に表示されるべき領域に対応するデジタル画像フレームのピクセルから口径食を除去するように配置構成された口径食除去モジュールと、
口径食の影響及び転位値を定義するデータに基づいて、映像に表示されるべきデジタル画像フレームの領域に口径食を再導入するように配置構成された口径食再導入モジュールと、
画像安定化映像に連続的なデジタル画像フレームを加えるように配置構成された映像モジュールとを備える。

装置は更に、転位値に基づいてデジタル画像フレームをクロッピングして、クロッピングされた画像フレームを形成するように配置構成されたクロッピングモジュールを備え、クロッピングされた画像フレームは、画像安定化映像に表示されるべきデジタル画像フレームの領域に対応する。

装置は、ビデオカメラの動きを感知するように配置構成されたモーションセンサを備えるビデオカメラであってよく、転位値決定モジュールは、感知されたビデオカメラの動きに基づいて、ビデオカメラによってキャプチャされたデジタル画像フレームの転位値を決定するように配置構成されている。

画像安定化映像を可能にする上述した方法の特徴は、適用可能な場合にはこの第２及び第３の態様にも適用される。無用な繰り返しを避けるため上述を参照する。

本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者には、この詳細な説明により本発明の範囲内の様々な変更及び修正が明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、単なる例として示されることを理解されたい。

従って、記載のデバイス及び記載の方法は変形し得るため、この発明は記載のデバイスの特定の構成要素部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、１つ又は複数の要素があることを意味していると意図されることに留意するべきである。従って、例えば、「ユニット」（ａ ｕｎｉｔ）又は「当該ユニット」（ｔｈｅ ｕｎｉｔ）に言及した場合、これは幾つかのデバイスなどを含んでもよい。更に、「備える」「含む」 「包含する」 及び同様の表現は、他の要素又はステップを除外しない。

本発明の上記の態様及びその他の態様を、本発明の実施形態を示す添付の図面を参照しながら更に詳細に説明する。図面は発明を具体的な実施形態へと限定するものでなく、本発明の説明及び理解のためのものである。

図面に示すように、レイヤーと領域のサイズは図示目的のために誇張され、本発明の実施形態の一般構造を示すために提供される。類似の参照番号は、全体を通して類似の要素を指す。

画像安定化システムの一実施形態のブロック図である。 画像安定化の概念を示す図である。 画像安定化の間の口径食の除去の概念を示す図である。 画像安定化の間の口径食の再導入の概念を示す図である。 画像安定化映像を可能にするための方法のブロック図である。 画像安定化システムの一実施形態のブロック図である。

これより、本発明の現時点で好ましい実施形態を示す添付図面を参照して、本発明を以下により詳細に説明する。しかしながら本発明は多くの異なる形態で実施されることができ、本明細書で説明される実施形態に限定されるものと解釈されるべきではなく、これらの実施形態はむしろ、本開示が包括的で完全となるように提供されており、当業者に本発明の範囲を十分に伝えるためのものである。

当業者によって認められるように、本発明の態様は装置、方法又はコンピュータプログラム製品として具現化が可能である。その結果、本発明の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェアとハードウェアを組み合わせた実施形態の形を取りうる。更に、本発明は、コンピュータ可読プログラムコードが具現化された一又は複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形を取りうる。

図１は、画像安定化システム１０のブロック図である。画像安定化システム１０は、ビデオカメラ２０、画像処理装置３０及びディスプレイ４０を備える。

ビデオカメラ２０は、対象のシーンが視野２１内に入るように位置決めされる。ビデオカメラ２０は、そのエリアを監視するために配置構成されうる。ビデオカメラ２０は、調節可能な集束レンズ配置構成２２を備えうる。ビデオカメラ２０は、集束レンズ配置構成２２の焦点距離に関する情報を伝える信号を出力するように配置構成されうる。ビデオカメラ２０は、ビデオカメラの前のエリアを監視するための監視カメラであってよい。ビデオカメラ２０は、視野２１内の対象のシーンのビデオカメラ２０によってキャプチャされた映像を表す情報の画像フレームを生成するように動作する。

ビデオカメラ２０は時々、風、エリアに入ってくる又はエリアを出て行く輸送手段（例：飛行機、列車、トラック等）、建設工事等の環境要因の変化に起因したぶれ又は揺れを受ける場合がある。上記ぶれ又は揺れにより、ビデオカメラ２０の動きが引き起こされ、これによりビデオカメラ２０によってキャプチャされた映像のぶれが起きる。

ビデオカメラ２０はまた、モーションセンサ２４も備えうる。モーションセンサ２４は、ビデオカメラ２０の動きを感知するように配置構成される。モーションセンサ２４は、ビデオカメラ２０の動きに対応する信号を出力するように配置構成される。

モーションセンサ２４から出力された信号は、カメラの振幅に対応しうる。カメラのぶれ又は揺れに起因するカメラの運動は、揺動運動に対応し得、各揺動には揺動幅がある。カメラの振幅は、一又は複数の揺動幅の測定値であってよい。カメラの振幅は、例えば既定の時間間隔の平均揺動幅の測定値、又は既定の時間間隔の最大揺動幅の測定値であってよい。

更に、カメラの揺幅は、コンポーネントに分割されうる。このため、カメラの振幅は、例えばカメラの水平の動きに関連する１つのコンポーネント、及びカメラの垂直の動きに関連する１つのコンポーネントを有しうる。

あるいは、これと組み合わせて、モーションセンサ２４から出力された信号は、カメラの方向の瞬間的な変化に対応しうる。

図１に関連して開示された実施形態によれば、ビデオカメラ２０はデジタルビデオカメラである。しかし当然のことながら、本発明に関連してアナログビデオカメラも使用することができる。画像安定化システムがアナログビデオカメラを備える場合、アナログビデオカメラからアナログ画像フレームが、アナログ画像フレームのデジタル表示を生成するように動作するアナログ・デジタルコンバータ（図示せず）へ伝達される。

ビデオカメラ２０によってキャプチャされたデジタル画像フレームは、画像処理装置３０に送られる。画像処理装置３０は、メモリ３１、転位値決定モジュール３２、画像シフトモジュール３３、口径食除去モジュール３４、口径食再導入モジュール３５、映像モジュール３６及びデータバス３７を備える。画像処理装置３０は更に、クロッピングモジュール３８を備えうる。画像処理装置３０のモジュール３２、３３、３４、３５、３６、３８は、処理ユニットによって実行されるソフトウェアコードとして、画像処理装置３０において実装されるハードウェアとして、又はこれらの組み合わせとして実装されうる。転位値決定モジュール３２、画像シフトモジュール３３、口径食除去モジュール３４、口径食再導入モジュール３５、ビデオモジュール３６、及び／又はクロッピングモジュール３８は、メモリ３１にデータを保存する、及び／又はメモリ３１からデータを読み出すように配置構成されうる。メモリ３１、転位値決定モジュール３２、画像シフトモジュール３３、口径食除去モジュール３４、口径食再導入モジュール３５、映像モジュール３６、及び／又はクロッピングモジュール３８は、データバス３７を介して互いに通信するように配置構成される。

画像処理装置３０は、ビデオカメラ２０から信号を受信するように配置構成されている。特に、画像処理装置３０は、ビデオカメラ２０によって生成される映像のデジタル画像フレームを受信するように配置構成されている。画像処理装置３０は、モーションセンサ２４から出力された信号を受信するようにも配置可能である。画像処理装置３０は更に、集束レンズ配置構成２２の焦点距離に関する情報を伝える信号を受信するように配置可能である。

図２（Ａ）に、画像の安定化が行われる前に、ビデオカメラの動きに影響される映像のデジタル画像フレームの一例を示す。より正確には、人１と木２のシーンを示す映像の複数の多重デジタル画像フレームを示す。ビデオカメラのぶれ又は揺れにより、ビデオカメラの動きが引き起こされる。ビデオカメラの動きにより、人１及び木２は表示されたデジタル画像フレーム内の様々な位置に移動する。ビデオカメラの異なる位置でキャプチャされたシーンの映像を表すデジタル画像フレームの重ね合わせには、シーンの視覚情報を見えなくする効果がある。したがって、図２（Ａ）は、人１と木２の安定しない映像の表示を示したものである。

カメラの動きの影響を低減するために、映像ストリームのデジタル画像フレームは、ビデオを表示する前に電子的に操作される。転位値決定モジュール３２は、ビデオカメラによってキャプチャされた映像を蓄積するのに使用される各デジタル画像フレームの転位値を決定するように動作する。使用される画像読み取り技術により、転位、従ってデジタル画像フレームを電子的に操作する方法が異なる場合がある。グローバルシャッターが使用される場合、すなわち、デジタル画像フレーム全体が同時に読み取られる場合、ビデオカメラ２０の動きを補正するためにデジタル画像フレームの全内容がシフトされる。ロールシャッターが使用される場合、すなわち一回にデジタル画像フレームの一又は幾つかの行が読み取られる場合、デジタル画像フレームの各行又は幾つかの行は異なる時点に露出されるため、個別にシフトされる。ロールシャッターが使用される場合、ビデオカメラ２０の垂直の動きを補正するために、デジタル画像フレームの各行又は幾つかの行もまた個別に補間されうる。単純にするために、以下に開示される実施例では、電子画像の安定化を説明するためにグローバルシャッターの読み取りを使用するが、ロールシャッターの読み取りも同じ結果を達成するために使用されうることを理解すべきである。このため、「転位値」という語は、デジタル画像フレーム全体の転位、又はデジタル画像フレームの一行又は幾つかの行の転位として理解すべきである。

転位値決定モジュール３２は、様々な方法で動作しうる。一実施形態によれば、転位値決定モジュール３２は、モーションセンサ２４から出力された信号に関する情報と共に、集束レンズ配置構成２２の焦点距離の知識を使用して、ビデオカメラ２０の画像センサの対応する転位値を決定するように配置構成される。あるいは、又はこれと組み合わせて、ズームレベル、すなわち視野を使用して転位値を決定することもできる。あるいは、画像フレーム間で静止すべきと考えられる映像ストリームによって示されるシーン内の特徴部を、画像処理技術を使用して追跡することができる。上記画像処理技術は当業者に周知のものであり、本明細書では詳しく説明はしない。転位値決定モジュール３２は更に、画像処理装置３０の他のモジュールに決定した転位値を伝達するように配置構成される。

画像シフトモジュール３３は、画像安定化映像に表示されるべきデジタル画像フレームの領域を決定するように配置構成される。この決定は、転位値に基づいて行われる。これは、カメラの動きによって生じた転位を補正するために行われる。このため、画像シフトモジュール３３は、ビデオカメラ２０の前のシーンを示す映像ストリームの静止画を製作するように配置構成される。つまり、画像安定化映像に表示されるべきデジタル画像フレームの領域の決定は、ビデオカメラ２０の動きを補正するために、決定された転位値に従って各画像フレームにシフトをかけることによって行われる。このため、ビデオカメラに動きが生じたに関わらず、視聴者には映像の静止画が提示される。これにより、映像によって示されるシーンの静止画の表示を視聴者に提供することができる。

クロッピングモジュール３３は、転位値に基づいてデジタル画像フレームをクロッピングして、クロッピングされた画像フレームを形成するように配置構成される。クロッピングされた画像フレームは、画像安定化映像に表示されるべきデジタル画像フレームの領域に対応する。クロッピングは必ずしも、元のデジタル画像フレームを実際にクロッピングして、元のデジタル画像フレームの幾つかのピクセルを除去することとは見なされない。代わりに、幾つかの実施形態では、クロッピングは、画像安定化映像に表示されるべきでないデジタル画像フレームのピクセルを隠すとして理解すべきである。不必要なピクセルは、不必要なピクセルを遮蔽するマスクをかけることによって隠すことができる。しかしながら、幾つかの実施形態では、クロッピングは、画像安定化映像の一部としてデジタル画像フレームを表示する前に、デジタル画像フレームを実際にクロッピングして、元のデジタル画像フレームの幾つかのピクセルを除去することである。

クロッピングモジュール３３は、ビデオカメラ２０の動きを補正するために、各デジタル画像フレームの決定された転位値に従ってデジタル画像フレームをクロッピングするように設定される。クロッピングモジュール３３はまた、倍率を適用するようにも設定されうる。倍率は、画像間のピクセル数（ピクセル解像度）が温存されるように設定されうる。これは、例えば画像が異なるサイズの画像にクロッピングされる場合に適用されうる。

図２（Ｂ）に、図２（Ａ）に示す安定していない映像に実施された画像安定化後の映像を示す。図２（Ｂ）では、各デジタル画像フレームの転位値を決定し適用した後で、映像の画像フレームが表示される。従って、図２（Ｂ）は、上述による電子画像安定化が図２（Ａ）に示す安定していない映像に実施された後の映像を示す図である。図２（Ｂ）では、安定化された映像がここで中央に位置づけされ、表示内で安定している。従って、画像安定化システム１０は、人１と木２が表示において安定しているように見えるよう、各画像フレームをシフトさせるように動作する。しかしながら、画像安定化は画像フレーム全体をシフトするように動作すると、表示された映像の一部は表示された情報を全く含まないため、空白に見える。更に、表示された画像フレーム毎に１つのエッジを示す実線３、４、５、６、７によって図２（Ｂ）に示すように、画像安定化システムがそのシーンの安定した映像ストリームを提示するように動作すると、映像のエッジが連続的に移動する。従って、表示された映像ストリームの周囲領域が連続的に移動し、視聴者の邪魔になる。

上述の問題は、例えばクロッピングによって解決しうる。図２（Ｃ）に、図２（Ｂ）のデジタル画像をクロッピングした後の映像を示す。図２（Ｃ）には、クロッピングされた映像ストリームの画像フレーム互いに重なり合って表示されている。従って、図２（Ｃ）は、上述による画像の安定化及びクロッピングが図２（Ａ）に示す安定していない映像に実施された後の映像を示す図である。図２（Ｂ）では、安定化された映像がここで中央に位置づけされ、表示内で安定している。

電子画像安定化を実施した後は、上述したように、口径食が厄介なものとなってくる。更に、映像の画像フレーム間での口径食の変化の存在は、映像に行われるモーションの検出に影響を与えうる。カメラの動きによっては、画像フレームは、映像が安定して見えるようにするために、異なった形でシフト及び／又はクロッピングされる。これはしかしながら代わりに、口径食が移動する結果となる。

この問題に対する明らかな解決策は、デジタル的に口径食を除去することである。しかしながら、この結果、画像のノイズが口径食の除去により増えるため、画像のエッジ近辺のノイズが増加する。

本発明によれば、この問題は、最初に（画像安定化の前後のいずれかに）口径食を除去してから、安定化された画像に再び均一に口径食を再適用することによって軽減する。「均一に」とは、画像安定化映像に表示されるべき次のデジタル画像フレームの領域の口径食とほぼ同様のものであることを意味する。これにより、ノイズの増加を最小限に抑えながら、口径食の移動の問題が取り除かれる。別の利点は、カメラが全く移動していない時、動作により相互に一定となり、その結果ノイズが全く増加しないことである。

従って、口径食除去モジュール３４は、少なくとも画像安定化映像に表示されるべき領域に対応するデジタル画像フレームのピクセルから口径食を除去するように配置構成される。除去は、ビデオカメラ２０によってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータに基づく。口径食の除去は、当業者によって周知の異なる方法で行うことができる。しかしながら、口径食除去プロセスに共通しているのは、デジタル画像フレームのノイズが増幅されることである。

ビデオカメラ２０によってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータがメモリ３１に保存される。上述したように、口径食の影響はカメラの設定及び／又はレンズの限界等の様々な要因に依存しうる。口径食の影響による、カメラ２０によってキャプチャされたデジタル画像フレームへの影響は、当業者に周知の多数の異なる方法で決定することができる。従って、ビデオカメラ２０によってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータが推定され、メモリ３１に保存される。口径食の影響を定義するデータは、例えばカメラの画像センサの異なるピクセルが口径食の影響によってどのように影響されるかを定義する表として提供することができる。この表は、カメラの画像センサの全てのピクセルが口径食の影響によってどのように影響されるかを定義するデータを含みうる。あるいは、この表は、カメラの画像センサのピクセルのサブセットのみが口径食の影響によってどのように影響されるかを定義するデータを含みうる。口径食の影響により、サブセットの一部でないピクセルがどのように影響されるかは次に、補間によってわかりうる。

口径食再導入モジュール３５は、映像に表示されるべきデジタル画像フレームの領域に口径食を再導入するように配置構成されている。再導入は、口径食の影響と転位値を定義するデータに基づくものである。口径食除去モジュール３４及び口径食再導入モジュール３５は、口径食除去モジュール３４が口径食を除去するように配置構成され、その後口径食再導入モジュール３５が口径食を再導入するように配置構成されるように、互いに独立して働き得る。しかしながら、一実施形態によれば、口径食除去モジュール３４及び口径食再導入モジュール３５は同時に働くように配置構成され、従って、口径食の除去及び口径食の再導入は、共通の画像処理ステップで行われる。

口径食の除去及び再導入をここで、図３及び４に関連させて更に説明する。図３（Ａ）に、ビデオカメラ２０によってキャプチャされた元のデジタル画像フレーム１００を示す。 元のデジタル画像フレーム１００は、口径食エリア５０を含む。図３（Ｂ）に、口径食除去モジュール３４を使用して、口径食除去プロセスを実施した後に、口径食エリアが除去された元のデジタル画像フレームを示す。口径食エリアが除去された最初のデジタル画像フレームは本明細書において、デジタル画像フレーム１０２と呼ばれる。図３（Ｃ）に、画像安定化映像に表示されるべきデジタル画像フレーム１０２の決定された領域１０４を示す。領域１０４は、上述した方法により決定される。図３（Ｄ）に、元のデジタル画像フレーム１００上の中央に重なり合っている領域１０４を示す。これは、どのような口径食を再導入するかを視覚化するためである。従って、再導入する口径食は、ビデオカメラによってキャプチャされた元のデジタル画像フレーム１００の口径食の影響を定義するデータと、その領域１０４の転位の両方に依存する。図３（Ｅ）に、結果として得られる、再導入された口径食５２と共に表示されるべきデジタル画像フレーム１０６を示す。

口径食の除去及び再導入を示す図３において、除去及び再導入は、個別の画像処理ステップとして示されている。しかしながら、除去及び再導入は共通の画像処理ステップでも行うことができ、これを図４に示す。図４（Ａ）に、図３（Ａ）と同じ元のデジタル画像フレームを示す。しかしながら、画像安定化映像に表示されるべきデジタル画像フレームの決定された領域１０４も示す。領域１０４は、上述した方法により決定されるが、１０４は口径食の除去が実施される前に決定されることを述べる。更に、領域１０４の特定ピクセル６０が強調表示される。強調表示された特定ピクセル６０は当然ながら、元のデジタル画像フレーム１００にも属している。特定ピクセル６０の口径食の影響をどのように除去するかを定義するデータを、Ｖｒｅｍｏｖｅとして設定すると仮定しよう。図４（Ｂ）に、元のデジタル画像フレーム１００上の中央に重なりあっている領域１０４を示す。これは、どのような口径食が再導入されるかを視覚化するためである。図４（Ａ）の特定ピクセル６０と同じ位置を有する領域１０４のピクセル６２に印がついている。領域が転位したために、ピクセル６２は、図４（Ａ）に示すように、元のデジタル画像フレームの特定ピクセル６０に対応しない。その代わりにピクセル６２は、元のデジタル画像フレームの別のピクセルに対応する。ピクセル６２の口径食の影響をどのように再導入するかを定義するデータを、Ｖｒｅｉｎｔｒｏとして設定すると仮定しよう。ここで、口径食の除去及び導入を、図４（Ｃ）に示すように、領域１０４のピクセル６４のピクセルデータにＶｒｅｍｏｖｅ及びＶｒｅｉｎｔｒｏを同時に実施することによって、単独の画像処理ステップで行うことができる。その後、その領域の全てのピクセルに対して同じ手順を行うことができる。結果は、上述の図３に示すプロセスと同じであるが、潜在的な丸め誤差を回避できるかもしれない点で異なる。

上述してきた方法による口径食の除去及び再導入により、異なる画像安定化デジタル画像フレームにおける異なる口径食が除去され、それと同時に映像のノイズの増加が最小限に抑えられるために、画像安定化映像にちらつきが生じる。

ビデオモジュール３６は、画像安定化映像に連続的なデジタル画像フレームを加えるように配置構成されている。

画像安定化映像は次に、ディスプレイ４０に出力されうる。

図５に、画像安定化映像を可能にする方法のブロック図を示す。本方法は、ビデオカメラによってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータを提供するＳ５００ことを含む。ビデオカメラによってキャプチャされたデジタル画像フレームの転位値を決定するＳ５０２。転位値に基づいて、画像安定化映像に表示されるべきデジタル画像フレームの領域を決定するＳ５０４。少なくとも、画像安定化映像に表示されるべき領域に対応するデジタル画像フレームのピクセルに口径食除去プロセスを実施するＳ５０６。前記実施することは、口径食の影響を定義するデータに基づくものである。口径食の影響及び転位値を定義するデータに基づいて、映像に表示されるべきデジタル画像フレームの領域に口径食を再導入するＳ５０８。

本方法は更に、転位値に基づいてデジタル画像フレームをクロッピングしてＳ５０５、クロッピングされた画像フレームを形成することを更に含むことができ、クロッピングされた画像フレームは、画像安定化映像に表示されるべきデジタル画像フレームの領域に対応する。

当業者は、本発明はいかなる意味においても、上述した好ましい実施形態に限定されないことを理解するであろう。むしろ、添付の特許請求項の範囲内で多くの修正例及び変形例が可能である。

例えば、画像処理装置３０をビデオカメラ２０の内部に実装することができる。これを図６に示す。

デジタル画像フレームをキャプチャするためにロールシャッターが使用される場合、前記転位値を決定することは、センサの画像フレームの少なくとも２つの異なる行に対して異なる転位値を決定することを含みうる。

デジタル画像フレームをキャプチャするためにグローバルシャッターが使用される場合、前記転位値を決定することは、センサの画像フレームに対して１つの転位値を決定することを含みうる。

更に、当業者は、開示された実施形態の変形例を、図面、記載内容、及び添付の特許請求項の精査により理解し、且つ特許請求される本発明を実施する際に実行することが可能である。

Claims (12)

1. 画像安定化映像を制作するための方法であって、
   ビデオカメラによってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータを提供する（Ｓ５００）ことと、
   前記ビデオカメラによってキャプチャされた前記デジタル画像フレームの転位値を決定する（Ｓ５０２）ことであって、前記転位値が、前記デジタル画像フレーム全体の転位又は前記デジタル画像フレームの一又は幾つかの行の転位であり、カメラの動きによって引き起こされるものである、決定することと、
   前記ビデオカメラの動きを補正するために、決定された前記転位値に従って前記デジタル画像フレームにシフトをかけることと、
   前記転位値に基づいて前記デジタル画像フレームをクロッピング（Ｓ５０５）することであって、これによってクロッピングされた画像フレームを形成し、前記クロッピングされた画像フレームは、前記画像安定化映像に表示されるべき前記デジタル画像フレームの領域に対応する、クロッピングすることと、
   前記口径食の影響を定義する前記データに基づいて、少なくとも前記画像安定化映像に表示されるべき前記領域に対応する前記デジタル画像フレームのピクセルに口径食除去プロセスを実施する（Ｓ５０６）ことと
   を含み、
   前記口径食の影響を定義する前記データ及び前記転位値に基づいて、前記映像に表示されるべき前記デジタル画像フレームの領域に口径食を再導入する（５０８）ことと、
   前記画像安定化映像の一部として表示されるべき前記デジタル画像フレームの領域を表示すること
   を含むことを特徴とする、方法。
2. 前記口径食除去プロセスを実施すること、及び前記口径食を再導入することは、共通の画像処理ステップで行われる、請求項１に記載の方法。
3. 前記口径食除去プロセスを実施することは、前記クロッピングされた画像フレームのピクセルに前記口径食除去プロセスを実施することを含み、前記実施することは、前記口径食の影響を定義する前記データに基づいており、前記再導入することは、前記口径食の影響を定義する前記データに基づいて前記クロッピングされた画像フレームに口径食を再導入することを含む、請求項１又は２に記載の方法。
4. 前記クロッピングされた画像フレームに口径食を再導入することは、前記転位値にも基づいている、請求項３に記載の方法。
5. 前記口径食の影響を定義するデータを提供することは、前記カメラの画像センサの異なるピクセルが前記口径食の影響によってどのように影響されるかを定義する表を提供することを含む、請求項１から４のいずれか一項に記載の方法。
6. 前記表は、前記カメラの前記画像センサの全てのピクセルが前記口径食の影響によってどのように影響されるかを定義するデータを含む、請求項５に記載の方法。
7. 前記表は、前記カメラの前記画像センサのピクセルのサブセットのみが前記口径食の影響によってどのように影響されるかを定義するデータを含む、請求項５に記載の方法。
8. 前記デジタル画像フレームをキャプチャするためにロールシャッターを使用する場合、転位値を決定することは、センサ画像フレームの少なくとも２つの異なる行に対する異なる転位値を決定することを含む、請求項１から７のいずれか一項に記載の方法。
9. 前記デジタル画像フレームをキャプチャするためにグローバルシャッターを使用する場合、転位値を決定することは、センサ画像フレームの単一の転位値を決定することを含む、請求項１から７のいずれか一項に記載の方法。
10. 処理能力を有する装置上で請求項１から９のいずれか一項に記載の方法を実行するためのプログラムが記録されている、非一時的なコンピュータ可読記録媒体。
11. ビデオカメラ（２０）によってキャプチャされたデジタル画像フレームを含む画像安定化映像を製作するように配置構成された画像処理装置であって、
    前記ビデオカメラによってキャプチャされたデジタル画像フレームの口径食の影響を定義するデータを含むメモリ（３１）と、
    前記ビデオカメラによってキャプチャされたデジタル画像フレームの転位値を決定するように配置構成された転位値決定モジュール（３２）であって、前記転位値が、前記デジタル画像フレーム全体の転位又は前記デジタル画像フレームの一又は幾つかの行の転位であり、カメラの動きによって引き起こされるものである、転位値決定モジュールと、
    前記ビデオカメラの動きを補正するために、前記転位値に基づいて、決定された前記転位値に従って前記デジタル画像フレームにシフトをかけるように配置構成された画像シフトモジュール（３３）と、
    前記転位値に基づいて前記デジタル画像フレームをクロッピングするように配置構成されたクロッピングモジュール（３３）であって、これによってクロッピングされた画像フレームが形成され、前記クロッピングされた画像フレームは、前記画像安定化映像に表示されるべき前記デジタル画像フレームの領域に対応する、クロッピングモジュールと、
    前記口径食の影響を定義する前記データに基づいて、少なくとも前記画像安定化映像に表示されるべき前記領域に対応する前記デジタル画像フレームのピクセルから口径食を除去するように配置構成された口径食除去モジュール（３４）と
    を備え、
    前記口径食の影響を定義する前記データ及び前記転位値に基づいて、前記映像に表示されるべき前記デジタル画像フレームの前記領域に口径食を再導入するように配置構成された口径食再導入モジュール（３５）と、
    前記画像安定化映像に連続的なデジタル画像フレームを加えるように配置構成された映像モジュール（３６）と
    を備えることを特徴とする、画像処理装置。
12. 前記装置はビデオカメラ（２０）であり、前記ビデオカメラ（２０）の動きを感知するように配置構成されたモーションセンサ（２４）を備え、前記転位値決定モジュールは、前記ビデオカメラの感知された動きに基づいて、前記ビデオカメラによってキャプチャされたデジタル画像フレームの前記転位値を決定するように配置構成されている、請求項１１に記載の装置。

Images