JP2024510958A - 方法及び画像キャプチャ装置 - Google Patents

Abstract

一態様によれば、動きによる周囲光補正（ＡＬＣ）画像中の誤差を最小限に抑えるための方法が提供される。本方法は、時間窓にわたって物体の複数の１次画像をキャプチャするステップであって、物体の制御された照明が時間にわたって変化する、１次画像をキャプチャするステップと、複数の周囲光補正画像を生成するために複数の１次画像の少なくとも一部分に対して周囲光補正を実行するステップであって、各ＡＬＣ画像が、異なる制御された照明をもつ複数の１次画像のサブセットを復調することに基づいて生成される、周囲光補正を実行するステップと、ＡＬＣ画像のペアについての誤差値を計算するステップであって、ＡＬＣ画像の各ペアが第１のＡＬＣ画像と第２のＡＬＣ画像とを有する、誤差値を計算するステップと、ＡＬＣ画像の各ペアについての誤差値を比較し、時間窓内で最も低い誤差値を有するＡＬＣ画像のペアから誤差が最小限に抑えられた画像を選択するステップとを有する。誤差値を計算するステップは、第１のＡＬＣ画像の各ピクセルを第２のＡＬＣ画像の対応するピクセルと比較し、第１のＡＬＣ画像と第２のＡＬＣ画像との間の各ピクセルについての強度の変化を決定するステップと、複数のピクセルにわたる強度の変化に基づいてＡＬＣ画像のペアについての誤差値を計算するステップとを有する。

Description

本発明は、動きによる誤差が最小限に抑えられた周囲光補正（ＡＬＣ：ａｍｂｉｅｎｔ ｌｉｇｈｔ ｃｏｒｒｅｃｔｉｏｎ）画像を取得する方法、及びそのような周囲光補正（ＡＬＣ）画像を取得するための画像キャプチャ装置に関する。

物体のカメラ又は画像キャプチャデバイスによってキャプチャされた画像は、しばしば、周囲光並びに別個の照明源によって照明される。同じ物体の画像を正確に比較するか、又は物体の色を決定することが可能であるためには、周囲光を補正して周囲光補正画像を生成しなければならない。しかしながら、そのような画像は、しばしば、キャプチャされた画像のピクセルを比較することによって生成され、そのことはフレーム間で物体の移動があるときに誤差をもたらす。

ＵＳ２０１６／３６００８３は、向上したビデオを与えるために電子デバイスを使用してビデオフレームをキャプチャするデバイス及び方法を開示している。周囲光を使用して第１のサブフレームがキャプチャされ、周囲光と、電子デバイスの制御下にある光源とを使用して第２のサブフレームがキャプチャされる。第１のサブフレームと第２のサブフレームとの組合せに基づいて１次フレームが生成される。ＵＳ２０１６／３６００８３は、キャプチャされた物体の動きを検出し、検出された動きを補償するために第２のサブフレームを補正することを開示している。

第１の特定の態様によれば、動きによる誤差が最小限に抑えられた周囲光補正（ＡＬＣ）画像を取得するための方法が提供される。本方法は、時間窓にわたって物体の複数の１次画像をキャプチャするステップであって、物体の制御された照明が時間にわたって変化する、１次画像をキャプチャするステップと、複数のＡＬＣ画像を生成するために複数の１次画像の少なくとも一部分に対して周囲光補正を実行するステップであって、各ＡＬＣ画像が、異なる制御された照明をもつ複数の１次画像のサブセットを復調することに基づいて生成される、周囲光補正を実行するステップと、ＡＬＣ画像のペアについての誤差値を計算するステップであって、ＡＬＣ画像の各ペアが第１のＡＬＣ画像と第２のＡＬＣ画像とを有する、誤差値を計算するステップとを有する。誤差値を計算するステップは、第１のＡＬＣ画像の各ピクセルを第２のＡＬＣ画像の対応するピクセルと比較し、第１のＡＬＣ画像と第２のＡＬＣ画像との間の各ピクセルについての強度の変化を決定するステップと、複数のピクセルにわたる強度の変化に基づいてＡＬＣ画像のペアについての誤差値を計算するステップと、ＡＬＣ画像の各ペアについての誤差値を比較し、時間窓内で最も低い誤差値を有するＡＬＣ画像のペアから誤差が最小限に抑えられた画像を選択するステップとを有する。

第１のＡＬＣ画像と第２のＡＬＣ画像とは時間的に隣接する。

時間的に隣接するＡＬＣ画像の各ペア間の誤差値を比較し、最も低い誤差値を有するＡＬＣ画像のペアから画像を選択するステップは、時間にわたって連続関数を生成するために、時間窓内で計算されたすべての時間的に隣接するＡＬＣ画像のペアの離散的誤差値を補間するステップであって、連続関数が最小誤差時間における最小誤差を定義する、離散的誤差値を補間するステップと、最小誤差時間の最も近くに生成されたＡＬＣ画像を選択するステップとを有する。

各ピクセルについての強度の変化に基づいてＡＬＣ画像のペアについての誤差値を計算するステップは、複数のピクセルの各々についての強度の絶対的変化の和を決定するステップ、複数のピクセルの各々についての強度の変化の平均２乗偏差を決定するステップ、複数のピクセルの各々についての強度の変化の絶対平均を決定するステップ、又は複数のピクセルにわたる強度の最大絶対的変化を選択するステップのうちの１つを有する。

誤差がそれについて計算されるＡＬＣ画像はＡＬＣ副画像（ｓｕｂ－ｉｍａｇｅ）であり、各ＡＬＣ副画像は１次画像の一部分に対応する。本方法は、複数の異なる、誤差が最小限に抑えられたＡＬＣ副画像を継ぎ合わせることによって、再構成されたＡＬＣ画像を生成するステップをさらに有する。

本方法は、複数の１次画像をキャプチャした後に、対応する複数の１次副画像を定義し、複数のＡＬＣ副画像を生成するために、又は周囲光補正を実行した後に、生成された複数のＡＬＣ画像から複数のＡＬＣ副画像を定義するために特徴検出を実行するステップを有し、各副画像は当該特徴を含む。

複数の１次画像は時間窓にわたって連続的にキャプチャされる。誤差値はリアルタイムで動的に計算され、時間窓は、ＡＬＣ画像のペアについての誤差値が所定の第１のしきい値を下回ったときに終了する。

複数の１次画像は時間窓にわたって連続的にキャプチャされ、誤差値はリアルタイムで動的に計算される。時間窓は、誤差値が第１のしきい値を下回り、その後第１のしきい値よりも高い第２のしきい値を上回ったときに終了する。

本方法は、選択された、誤差が最小限に抑えられた画像をユーザインターフェースに出力するステップを有する。本方法は、選択された、誤差が最小限に抑えられた画像の誤差値をユーザインターフェースに出力するステップを有する。

各ピクセルについての強度の変化を決定するステップは、各ピクセル中の各色チャネルについての強度の変化を決定し、色チャネルにわたる強度の変化を総計するステップを有する。

第２の態様によれば、プロセッサによって実行されたときに、第１の態様による方法を実行させるコンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体が提供される。

第３の態様によれば、コンピュータによって読み取られたときに、第１の態様による方法を実行させるコンピュータプログラムが提供される。

第４の態様によれば、少なくとも１つのプロセッサと、コンピュータ可読命令を含む少なくとも１つのメモリとを備える画像キャプチャ装置が提供され、少なくとも１つのプロセッサは、コンピュータ可読命令を読み取り、第１の態様による方法を実行させるように構成される。

これら及び他の態様は、以下で説明する実施形態から明らかになり、それらを参照すれば解明されよう。

次に、以下の図面を参照しながら、単に例として例示的な実施形態について説明する。

動きによる誤差が最小限に抑えられた周囲光補正画像を取得するための画像キャプチャ装置を概略的に示す図である。 動きによる誤差が最小限に抑えられた周囲光補正画像を取得するための第１の例示的な方法のステップを示すフローチャートである。 第１の例示的な方法のステップを概略的に示す図である。 誤差が最小限に抑えられた周囲光補正画像のペアから誤差が最小限に抑えられた画像を選択する第２の例示的な方法のステップを示すフローチャートである。 第２の例示的な方法のステップを示すグラフである。 誤差が最小限に抑えられた周囲光補正画像を選択するための第３の例示的な方法のステップを示すフローチャートである。 周囲光補正画像中の誤差を最小限に抑えるための第１の例示的なサブ方法のステップを示すフローチャートである。 周囲光補正画像中の誤差を最小限に抑えるための第２の例示的なサブ方法のステップを示すフローチャートである。

図１は、画像キャプチャデバイス１２と、ライト１４と、プロセッサ１６と、コンピュータ可読命令を含むメモリ１８とを備える画像キャプチャ装置１０を示す。画像キャプチャデバイス１２は、プロセッサ１６に接続され、プロセッサ１６によって読み取られ、処理され得る、この例では人間である物体２０の画像をキャプチャするように構成される。

ライト１４は、物体２０を照明するように構成され、同じくプロセッサ１６に接続される。ライト１４は、プロセッサ１６によって制御される可変強度の照明を発するように構成される。他の例では、ライト１４は、別個のコントローラに接続され、別個のコントローラによって制御される。

メモリ１８はコンピュータ可読命令を含み、プロセッサ１６は、コンピュータ可読命令を読み取り、周囲光補正（ＡＬＣ）画像中の誤差を最小限に抑えるための方法を実行するように構成される。

図２は、動きによる誤差が最小限に抑えられたＡＬＣ画像を取得する第１の例示的な方法１００のステップを示すフローチャートである。図３は、キャプチャされ、処理された画像の出力に関する本方法のステップを示す。

ブロック１０２において、本方法は、ライト１４によって照明される時間窓３２にわたって物体２０の複数の１次画像３０をキャプチャするステップを有し、ライト１４の照明は、時間にわたって変化するように制御される。図３では、時間の経過は矢印３４によって表されている。各１次画像３０は、それぞれ、画像中のピクセル５０のロケーションに対応するピクセルインデックスと、そのピクセル５０においてキャプチャされた光の強度を定義するピクセル値とを有する、複数のピクセル５０を含む。

ブロック１０２に続くブロック１０４において、方法１００は、複数のＡＬＣ画像３６を生成するために複数の１次画像３０の少なくとも一部分に対して周囲光補正を実行するステップを有する。１次画像３０の周囲光補正は、物体２０を照明する周囲光を補正するために、キャプチャされた１次画像３０中のピクセル５０の強度を調整することを含む。ＡＬＣ画像３６を生成するために、異なる制御された照明とともにキャプチャされた１次画像３０のサブセットを復調することができる。復調による周囲光補正の簡略化された例では、第１の１次画像が、物体を照明するためにライトがオンに切り替えられた状態でキャプチャされ、第２の１次画像が、周囲光のみが物体を照明するようにライトがオフに切り替えられた状態でキャプチャされる。第１の１次画像の各ピクセルについて、そのピクセルにおける第２の１次画像の強度を減算してＡＬＣピクセルを生成することができ、ＡＬＣピクセルのすべてを組み合わせることによりＡＬＣ画像が生成される。復調による周囲光補正のより複雑な例は、Ｋｏｌａｍａｎ，Ａｍｉｒ＆Ｈａｇｅｇｅ，Ｒａｍｉ＆Ｇｕｔｅｒｍａｎ，Ｈｕｇｏ、（２０１４）、Ｌｉｇｈｔ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｏｆ ｏｓｃｉｌｌａｔｉｎｇ ｌｉｇｈｔｓ、２０１４、ＩＥＥＥ ２８ｔｈ Ｃｏｎｖｅｎｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ ｉｎ Ｉｓｒａｅｌ、ＩＥＥＥＩ．２０１４、１－５．１０．１１０９／ＥＥＥＩ．２０１４、７００５８７４において、又は、画像シーケンス中の各ピクセルについての時変信号に、周期的に変化する制御されたアクティブ照明に関係する変調関数を乗算し、その後、ローパスフィルタ演算を行い、その結果、周期的に変化する入射光の振幅が生じる、さらなる例において見つけられ得る。この振幅は、物体による光の反射の量に比例し、周囲光強度又は振幅が除去されたＡＬＣ画像を抽出するために使用される。

この例では、各ＡＬＣ画像３６は、時間的に隣接する１次画像３０のペアを復調することに基づいて生成される。言い換えれば、単一のＡＬＣ画像３６を生成するために復調された１次画像３０のサブセットは２つの１次画像３０を含む。したがって、各１次画像３０は、２つの時間的に隣接するＡＬＣ画像３６の生成において使用される。他の例では、各ＡＬＣ画像は、３つ以上の１次画像を復調することに基づいて生成される。

この例では、各ＡＬＣ画像３６は、別のＡＬＣ画像３６を生成するために使用される１次画像３０の先行するサブセットから１つの１次画像３０だけオフセットされた１次画像３０のサブセットから生成される。他の例では、１次画像の各サブセットについて２つ以上の１次画像のオフセットがあり得る。

図３に示された例では、６つの１次画像３０がキャプチャされており、時間的に隣接する１次画像３０の各ペアは復調されて、５つのＡＬＣ画像３６を生成する。

２つ又はそれ以上の１次画像３０を復調することによって生成されたＡＬＣ画像３６は、２つ又はそれ以上の１次画像３０がキャプチャされている間に物体２０の移動によりもたらされる誤差を有し得る。方法１００の以下のステップは、複数のＡＬＣ画像３６から最も低い誤差を有するＡＬＣ画像３６を選択するものである。

ブロック１０６において、方法１００は、ＡＬＣ画像３６のペアについての誤差値３８を計算するステップを有する。図３に示されているように、誤差値Ｅ_１を計算するために、第１のＡＬＣ画像３６ａと第２のＡＬＣ画像３６ｂとを含むＡＬＣ画像３６の単一のペアを参照しながら、ＡＬＣ画像３６のペアについての誤差値３８の計算について以下で説明する。誤差値３８が計算されるべきであるＡＬＣ画像３６のあらゆるペアについてこれらのステップを繰り返すことができることが理解されよう。

この例では、第１のＡＬＣ画像３６ａは第２のＡＬＣ画像３６ｂに時間的に隣接する。他の例では、誤差値は、時間的に隣接しないＡＬＣ画像のペアについて計算され得る。

方法１００のブロック１０６はブロック１０８とブロック１１０とを含む。ブロック１０８において、第１のＡＬＣ画像３６ａの各ピクセル５０を、第２のＡＬＣ画像３６ｂの同じピクセルインデックスを有する対応するピクセル５０と比較し、第１のＡＬＣ画像３６ａと第２のＡＬＣ画像３６ｂとの間の各ピクセル５０についての強度の変化を決定する。

いくつかの例では、各ピクセルが複数の色チャネルを含む場合、各ピクセルについての強度の変化を決定するステップは、それぞれのピクセル中の各色チャネルについての強度の変化を決定し、色チャネルにわたる強度の変化を総計するステップを有する。

ブロック１１０において、複数のピクセル５０にわたる強度の変化に基づいて第１のＡＬＣ画像３６ａと第２のＡＬＣ画像３６ｂとの間の誤差値Ｅ_１を計算する。この例では、第１のＡＬＣ画像３６ａと第２のＡＬＣ画像３６ｂとの間の各ピクセル５０についての強度の変化は、複数のピクセル５０の強度の絶対的変化の和を決定することによって総計される。この和は、誤差値Ｅ_１を決定するために使用される。他の例では、誤差値は、複数のピクセルにわたる強度の変化の平均２乗偏差を決定するステップ、又は複数のピクセルの各々の強度の変化の絶対平均を決定するステップなど、他の手段によって複数のピクセルにわたる強度値の変化を総計するステップによって決定される。またさらなる例では、誤差値は、単に、複数のピクセル５０にわたる強度の最大絶対的変化を選択するステップに基づいて決定される。強度の最大絶対的変化を選択するステップは、画像全体にわたって低い誤差があるが、ＡＬＣ画像の小さい領域中に大きいひずみがあるＡＬＣ画像のペアに、より大きい誤差を割り当てるのに有用である。誤差値３８がそれから計算される複数のピクセル５０は、この例ではＡＬＣ画像全体におけるピクセル５０のすべてを含む。しかしながら、他の例では、複数のピクセルは、ＡＬＣ画像の中央部分など、ＡＬＣ画像中のピクセルすべてのサブセット、又は（以下の図７ａ及び図７ｂにおいてより詳細に説明する）当該特徴に対応するピクセルのサブセットのみを含み得る。

ブロック１１２において、方法１００は、ＡＬＣ画像３６の各ペアについての誤差値３８を比較し、最も低い誤差値Ｅ_ｘを有する、誤差が最小限に抑えられたＡＬＣ画像４０のペアを選択するステップを有する。その後、誤差が最小限に抑えられたＡＬＣ画像４０のペアから誤差が最小限に抑えられた画像４２を選択する。画像４２は、任意に又は条件に従って選択された、誤差が最小限に抑えられたＡＬＣ画像４０のペアのＡＬＣ画像３６の一方であり得るか、又は、画像４２は、誤差が最小限に抑えられたＡＬＣ画像４０のペアのＡＬＣ画像３６の両方であり得る。

再び図１を参照すると、画像キャプチャ装置１０は、プロセッサ１６に接続されたユーザインターフェース２２を備える。接続はワイヤード又はワイヤレスであり得る。ユーザインターフェース２２は、誤差が最小限に抑えられたＡＬＣ画像４０のペア、又は選択された、誤差が最小限に抑えられた画像４２を表示する。ユーザインターフェース２２は、追加又は代替として、選択された、誤差が最小限に抑えられた画像４２の誤差値Ｅ_ｘを表示する。

第１の例示的な方法１００はブロック１１４をさらに含み、ブロック１１４は、選択された、誤差が最小限に抑えられた画像４２をユーザインターフェース２２に出力するステップ、及び／又は選択された、誤差が最小限に抑えられた画像４２の誤差値をユーザインターフェース２２に出力するステップを有する。他の例では、ブロック１１４は省略され得る。

第１の例示的な方法１００では、複数の１次画像３０は所定の時間窓３２にわたってキャプチャされ、１次画像３０のすべてがキャプチャされた後に分析される。いくつかの例では、１次画像３０は時間窓にわたって連続的にキャプチャされ、ＡＬＣ画像３６は後続の１次画像３０のキャプチャ中に動的に生成される。また、誤差値３８は、後続のＡＬＣ画像３６が生成され、１次画像３０がキャプチャされている間に、リアルタイムで動的に計算される。

全ＡＬＣ画像３６のペアについて誤差値が計算されることについて説明したが、いくつかの例では、１次画像３０及び／又はＡＬＣ画像３６は、それぞれ１次画像の一部分に対応するＡＬＣ副画像を生成するために副画像に分割される。誤差値は、その場合、例えば図７ａ及び図７ｂに関して説明するように、誤差が最小限に抑えられたＡＬＣ副画像を選択するためにＡＬＣ副画像のペアについて計算され得るか、又は、１次画像の一部分に対応する副画像は、各画像を、ピクセルの各ブロックが単一のＡＬＣ副画像である、ピクセルの所定のブロックに分割することによってなど、任意の他の好適な様式で選択され得る。そのような例では、複数の、誤差が最小限に抑えられたＡＬＣ副画像を継ぎ合わせることによって、完全な、誤差が最小限に抑えられたＡＬＣ画像が生成又は再構成され、誤差が最小限に抑えられたＡＬＣ副画像の各々は１次画像の異なる部分に対応する。これは、１次画像による物体画像の異なる部分が異なる量の動き又は移動を受ける場合に特に有用である。

図４は、誤差が最小限に抑えられたＡＬＣ画像４０のペアから単一の、誤差が最小限に抑えられた画像４２を選択する第２の例示的な方法２００のステップを示すフローチャートである。

図５は、例示的なプロット６０の形態の、誤差が最小限に抑えられたＡＬＣ画像４０のペアから誤差が最小限に抑えられた画像４２を選択する方法２００のステップの視覚表現を示す。プロット６０は時間のｘ軸ｔと誤差値のｙ軸Ｅとを含む。

ＡＬＣ画像３６のペアの各誤差値３８は、ＡＬＣ画像３６のそれぞれのペアの各々がそれから生成された、各１次画像３０がキャプチャされた時間に対応する、時間ｔに対してプロットされる。例えば、各ＡＬＣ画像３６は、この例では２つの時間的に隣接する１次画像３０から生成され、したがって、ＡＬＣ画像３６の各ペアは３つの時間的に隣接する１次画像３０から生成される。各誤差値３８がそれに対してプロットされる時間ｔは、中央の１次画像３０がキャプチャされる時間、又は３つの時間的に隣接する１次画像３０の時間的端部間の中間点における時間など、３つの時間的に隣接する１次画像３０がキャプチャされる時間内の任意の時間であり得る。他の例では、ＡＬＣ画像の各ペアに関連付けられた４つ以上の１次画像があり得ること、及び、それぞれの誤差値がそれに対してプロットされる時間は、関連付けられた１次画像がキャプチャされた時間に任意の好適な形で関係することができることが理解されよう。

ブロック２０２において、方法２００は、時間にわたって誤差値３８の連続関数４４を生成するために、時間窓３２内で計算された時間的に隣接するＡＬＣ画像３６の複数のペアの離散的誤差値３８を補間するステップを有する。

図５の（ｔ_ｘ，Ｅ_ｘ）に点を有する最も低い離散的誤差値３８は、誤差が最小限に抑えられたＡＬＣ画像４０のペアの対応する誤差値３８である。連続関数４４は最小誤差時間ｔ_ｍにおける最小誤差Ｅ_ｍを定義する。この例では、１つの最小誤差時間ｔ_ｍにおいてただ１つの最小誤差Ｅ_ｍがある。しかしながら、先行する負の勾配とそれに続く正の勾配との間に０の勾配を有する連続関数によって定義された２つ以上の最小誤差があり得ることが理解されよう。

ブロック２０４において、方法２００は、最小誤差時間ｔ_ｍを見つけるステップを有する。いくつかの例では、２つ以上の最小誤差時間ｔ_ｍがある場合、ブロック２０４は、誤差が最小限に抑えられたＡＬＣ画像４０のペアの時間ｔ_ｘに時間的に最も近い最小誤差時間ｔ_ｍを見つけるステップを有し得る。

ブロック２０６において、方法２００は、誤差が最小限に抑えられたＡＬＣ画像４０のペアから最小誤差時間ｔ_ｍに最も近い、誤差が最小限に抑えられた画像４２を選択するステップを有する。言い換えれば、誤差が最小限に抑えられたＡＬＣ画像４０のペアから、最小誤差時間ｔ_ｍに時間的に最も近い１次画像３０から生成された、誤差が最小限に抑えられた画像４２を選択する。要するに、ｔ_ｍがｔ_ｘよりも大きい場合、誤差が最小限に抑えられた画像４２はＡＬＣ画像４０のペアのうちの後の方として選択される。ｔ_ｍがｔ_ｘよりも小さい場合、誤差が最小限に抑えられた画像４２はＡＬＣ画像４０のペアのうちの前の方として選択される。

図６は、動きによるＡＬＣ画像３６中の誤差を最小限に抑えるための第３の例示的な方法３００のステップを示すフローチャートである。再び図３を参照すると、第３の例示的な方法３００は第１の例示的な方法１００と同じ基本出力を様々なステップにおいて生成し、したがって、以下の説明では図３の参照番号を参照する。

ブロック３０２において、第３の例示的な方法３００は、ライト１４からの物体２０の制御された照明が時間にわたって変化する、物体２０の複数の１次画像３０をキャプチャするステップを有する。方法３００は、１次画像３０を連続的にキャプチャし、方法３００の後ろのステップにおいてリアルタイムでそれらの１次画像３０を分析するステップを有する。

ブロック３０２に続くブロック３０４において、方法３００は、少なくともキャプチャされた複数の１次画像３０のサブセットを復調することによってＡＬＣ画像３６を生成するために周囲光補正を実行するステップを有する。

ブロック３０４に続くブロック３０６において、方法３００は、生成された少なくとも２つのＡＬＣ画像３６があったかどうかを決定するステップを有する。生成された少なくとも２つのＡＬＣ画像３６がなかった場合、方法３００はブロック３０２に戻り、さらなる１次画像３０をキャプチャし、先行するＡＬＣ画像３６がそれから生成された、１つの時間的に隣接する１次画像３０だけオフセットされた、１次画像３０のうちの後の方のサブセットからさらなるＡＬＣ画像３６を生成する。他の例では、オフセットは、２つ以上の時間的に隣接する１次画像であり得る。

ブロック３０６において、少なくとも２つのＡＬＣ画像３６があることが決定された場合、本方法はブロック３０８に進み、そこで、ＡＬＣ画像３６のペアの誤差値３８を計算し、ＡＬＣ画像３６のペアは、２つのつい最近生成されたＡＬＣ画像３６を含む。ブロック３０８は、ＡＬＣ画像３６のペアの誤差値３８を計算するために第１の例示的な方法１００中のブロック１０６と同じステップを含む。計算された誤差値３８は、メモリ１８が参照するＡＬＣ画像３６のペアと一緒にメモリ１８に記憶される。

ブロック３０８に続くブロック３１０において、方法３００は、ＡＬＣ画像３６のペアについての記憶された誤差値３８を比較し、最も低い誤差値３８を決定するステップを有する。ブロック３１０に続くブロック３１２において、方法３００は、最も低い誤差値３８が第１のしきい値を下回るかどうかを決定するステップを有する。最も低い誤差値３８が第１のしきい値を下回らない場合、本方法はブロック３０２に戻り、さらなる１次画像３０をキャプチャし、先行するＡＬＣ画像３６がそれから生成された、１次画像のサブセットに時間的に隣接する１次画像３０のサブセットから別のＡＬＣ画像３６を生成する。

最も低い誤差値３８が第１のしきい値を下回る場合、方法３００はブロック３１４に進み、そこで、生成されたＡＬＣ画像３６の最新のペアに関連する最新の誤差値３８が第２のしきい値を上回るかどうかを決定する。第２のしきい値は第１のしきい値よりも高い。最新の誤差値３８が第２のしきい値を上回らない場合、方法３００はブロック３０２に戻り、より多い１次画像３０をキャプチャし、先行するＡＬＣ画像３６がそれから生成された、１次画像のサブセットに時間的に隣接する１次画像３０のサブセットから別のＡＬＣ画像３６を生成する。最新の誤差値３８が第２のしきい値を上回る場合、本方法はブロック３１６に進み、そこで、時間窓３２は終了し、最も低い誤差値Ｅ_ｘを有する、誤差が最小限に抑えられたＡＬＣ画像４０のペアを選択する。その後、第１の例示的な方法１００を参照しながら説明したブロック１１２と同様の様式で、誤差が最小限に抑えられたＡＬＣ画像４０のペアから誤差が最小限に抑えられた画像４２を選択する。

他の例では、最も低い誤差値３８が第１のしきい値を下回ることが決定されたとき、本方法はブロック３１２の後にブロック３１６に進み得る。ブロック３１４において追加のステップを使用することにより、誤差値３８が第１のしきい値を下回るとすぐにプロセスが停止されないようにすることができる。これは、物体２０の動きが長期間にわたって減速する場合に特に役立ち、その場合、第１のしきい値が満たされたときに本方法がすぐに停止されない場合、より低い誤差値とともに生成され得るＡＬＣ画像３６のペアがあり得る。誤差値が、第１のしきい値よりも高い第２のしきい値を超えるまで待つことにより、物体２０がもはや減速していないことが保証される。

この例では、ブロック３０４において単一のＡＬＣ画像３６が生成されることについて説明した。任意の好適な数のＡＬＣ画像３６がブロック３０４において一度に生成され得ること、及び、第２の例示的な方法は、ブロック３０４において生成された任意の数のＡＬＣ画像を分析することによって継続し得ることが理解されよう。

図７ａ及び図７ｂは、それぞれ、第１の例示的な方法１００におけるブロック１０２～１０４及び第２の例示的な方法３００におけるブロック３０２～３０４を置き換えるための、第１の例示的なサブ方法４００及び第２の例示的なサブ方法５００を示すフローチャートである。

第１の例示的なサブ方法４００及び第２の例示的なサブ方法５００は、ＡＬＣ画像３６全体の代わりに誤差値３８について分析され得る、ＡＬＣ画像３６中の当該領域を定義するものである。

第１の例示的なサブ方法４００では、ブロック４０２は、第１の例示的な方法１００におけるブロック１０２、又は第２の例示的な方法３００におけるブロック３０２と同様の様式で複数の１次画像３０をキャプチャするステップを有する。

ブロック４０２に続くブロック４０４において、サブ方法４００は、（図３に最も良く示されている）複数の１次副画像３０ａを定義するために物体２０の特徴検出を実行するステップを有する。この例では、物体２０は人間であり、特徴検出は、人間の目の周りの領域、人間のほお、又は人間の額など、特定の当該特徴を識別することを含み得る。各１次副画像３０ａは、したがって、当該特徴を含む。

ブロック４０４に続くブロック４０６において、サブ方法４００は、複数のＡＬＣ副画像を生成するために複数の１次画像３０からの複数の１次副画像３０ａに対して周囲光補正を実行するステップを有する。第１の例示的なサブ方法４００は、その後、第１の例示的な方法１００のブロック１０６に進むか、又は第２の例示的な方法３００のブロック３０６若しくは３０８に進み、そこでは、ＡＬＣ画像の比較は代わりにＡＬＣ副画像の比較である。

第２の例示的なサブ方法５００では、ブロック５０２は、第１の例示的な方法１００におけるブロック１０２、又は第２の例示的な方法３００におけるブロック３０２と同様の様式で複数の１次画像３０をキャプチャするステップを有する。

ブロック５０４において、サブ方法５００は、複数のＡＬＣ画像３６を生成するために周囲光補正を実行するステップを有する。サブ方法５００は、その後、ブロック５０６に進む。

ブロック５０６において、サブ方法５００は、複数のＡＬＣ副画像を定義するためにＡＬＣ画像３６中の物体２０の特徴検出を実行するステップを有する。この例では、物体２０は人間であり、特徴検出は、人間の目の周りの領域、人間のほお、又は人間の額など、特定の当該特徴を識別することを含み得る。各ＡＬＣ副画像は、したがって、当該特徴を含む。第２の例示的なサブ方法５００は、その後、第１の例示的な方法１００のブロック１０６に進むか、又は第２の例示的な方法３００のブロック３０６若しくは３０８に進み、そこでは、ＡＬＣ画像の比較は代わりにＡＬＣ副画像の比較である。

本明細書で説明した方法は、２つのＡＬＣ画像３６中の生成された画像の差異が大きいほど、各ＡＬＣ画像３６中の誤差は大きくなるという仮定に基づく。したがって、物体２０の動きを計算し、その動きによってＡＬＣ画像中にもたらされた実際の誤差を補正することを試みるのではなく、本方法は、ＡＬＣ画像を生成し、最も低い推定誤差をもつＡＬＣ画像又はＡＬＣ画像のペアを選択する。

開示された実施形態に対する変形は、図面、本開示、及び添付の特許請求の範囲の研究から、本明細書で説明した原理及び技法を実施する際に当業者によって理解され、実施され得る。特許請求の範囲において、「含む」という単語は他の要素又はステップを除外せず、単数形の要素は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかの項目の機能を果たし得る。いくつかの手段が、相互に異なる従属クレームに記載されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示さない。コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される、光記憶媒体又は固体媒体など、好適な媒体上に記憶又は配信され得るが、インターネット又は他のワイヤード若しくはワイヤレス電気通信システムを介してなど、他の形態でも配信され得る。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものと解釈されるべきでない。

Claims (15)

1. 動きによる誤差が最小限に抑えられた周囲光補正（ＡＬＣ）画像を取得するための方法であって、前記方法は、
   時間窓にわたって物体の複数の１次画像をキャプチャするステップであって、前記物体の制御された照明が時間にわたって変化する、１次画像をキャプチャするステップと、
   複数のＡＬＣ画像を生成するために前記複数の１次画像の少なくとも一部分に対して周囲光補正を実行するステップであって、各ＡＬＣ画像が、異なる制御された照明をもつ１次画像のサブセットから周囲光の強度を決定することと、１次画像の前記サブセット中の少なくとも１つの画像から前記周囲光強度を除去することによって前記ＡＬＣ画像を生成することとによって、前記複数の１次画像の前記サブセットを復調することに基づいて生成される、周囲光補正を実行するステップと、
   ＡＬＣ画像のペアについての誤差値を計算するステップであって、当該ＡＬＣ画像の各ペアが第１のＡＬＣ画像と第２のＡＬＣ画像とを含む、誤差値を計算するステップと、
   当該ＡＬＣ画像の各ペアについての前記誤差値を比較し、前記時間窓内で最も低い誤差値を有するＡＬＣ画像のペアを決定するステップと、
   前記時間窓内で最も低い前記誤差値を有する、ＡＬＣ画像の決定された前記ペアから、誤差が最小限に抑えられた画像としてＡＬＣ画像を選択するステップと
   を有し、
   前記誤差値を計算するステップが、
   前記第１のＡＬＣ画像の各ピクセルを前記第２のＡＬＣ画像の対応するピクセルと比較し、前記第１のＡＬＣ画像と前記第２のＡＬＣ画像との間の各ピクセルについての強度の変化を決定するステップと、
   複数のピクセルにわたる強度の前記変化に基づいてＡＬＣ画像の前記ペアについての誤差値を計算するステップと
   を有する、方法。
2. 前記第１のＡＬＣ画像と前記第２のＡＬＣ画像とが時間的に隣接する、請求項１に記載の方法。
3. 時間的に隣接するＡＬＣ画像の各ペア間の前記誤差値を比較し、前記最も低い誤差値を有するＡＬＣ画像の前記ペアから画像を選択するステップが、
   時間にわたって連続関数を生成するために、前記時間窓内で計算されたすべての時間的に隣接するＡＬＣ画像のペアの離散的誤差値を補間するステップであって、前記連続関数が最小誤差時間における最小誤差を定義する、離散的誤差値を補間するステップと、
   前記最小誤差時間の最も近くに生成された前記ＡＬＣ画像を選択するステップと
   を有する、請求項２に記載の方法。
4. 各ピクセルについての強度の前記変化に基づいてＡＬＣ画像の前記ペアについての前記誤差値を計算するステップが、
   前記複数のピクセルの各々についての強度の絶対的変化の和を決定するステップ、
   前記複数のピクセルの各々についての強度の変化の平均２乗偏差を決定するステップ、
   前記複数のピクセルの各々についての強度の前記変化の絶対平均を決定するステップ、
   又は
   前記複数のピクセルにわたる強度の最大絶対的変化を選択するステップ
   のうちの１つを有する、請求項１から３のいずれか一項に記載の方法。
5. 前記誤差が計算される前記ＡＬＣ画像がＡＬＣ副画像であり、各ＡＬＣ副画像が前記１次画像の一部分に対応し、それによって、誤差が最小限に抑えられたＡＬＣ副画像を選択する、請求項１から４のいずれか一項に記載の方法。
6. １次画像の異なる部分に対応する、複数の異なる、誤差が最小限に抑えられたＡＬＣ副画像を継ぎ合わせることによって、再構成されたＡＬＣ画像を生成するステップをさらに有する、請求項５に記載の方法。
7. 前記複数の１次画像をキャプチャした後に、対応する複数の１次副画像を定義し、複数のＡＬＣ副画像を生成するために、又は
   周囲光補正を実行した後に、生成された前記複数のＡＬＣ画像から複数のＡＬＣ副画像を定義するために
   特徴検出を実行するステップを有し、
   各副画像が当該特徴を含む、請求項５又は６に記載の方法。
8. 複数の１次画像が前記時間窓にわたって連続的にキャプチャされ、前記誤差値がリアルタイムで動的に計算され、前記時間窓は、ＡＬＣ画像のペアについての前記誤差値が所定の第１のしきい値を下回ったときに終了する、請求項１から７のいずれか一項に記載の方法。
9. 複数の１次画像が前記時間窓にわたって連続的にキャプチャされ、前記誤差値がリアルタイムで動的に計算され、前記時間窓は、前記誤差値が第１のしきい値を下回り、その後前記第１のしきい値よりも高い第２のしきい値を上回ったときに終了する、請求項１から７のいずれか一項に記載の方法。
10. 前記方法は、選択された、誤差が最小限に抑えられた前記画像をユーザインターフェースに出力するステップを有する、請求項１から９のいずれか一項に記載の方法。
11. 前記方法は、選択された、誤差が最小限に抑えられた前記画像の前記誤差値を前記ユーザインターフェースに出力するステップを有する、請求項１０に記載の方法。
12. 各ピクセルについての強度の前記変化を決定するステップが、各ピクセル中の各色チャネルについての強度の変化を決定し、前記色チャネルにわたる強度の前記変化を総計するステップを有する、請求項１から１１のいずれか一項に記載の方法。
13. プロセッサによって実行されたときに、請求項１から１２のいずれか一項に記載の方法を実行させるコンピュータ可読命令を含む、非一時的コンピュータ可読記憶媒体。
14. コンピュータによって読み取られたときに、請求項１から１２のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
15. 少なくとも１つのプロセッサと、
    コンピュータ可読命令を含む少なくとも１つのメモリと
    を備える画像キャプチャ装置であって、
    前記少なくとも１つのプロセッサが、前記コンピュータ可読命令を読み取り、請求項１から１２のいずれか一項に記載の方法を実行させる、画像キャプチャ装置。

Images