JP2024510958A - 方法及び画像キャプチャ装置 - Google Patents
方法及び画像キャプチャ装置 Download PDFInfo
- Publication number
- JP2024510958A JP2024510958A JP2023554862A JP2023554862A JP2024510958A JP 2024510958 A JP2024510958 A JP 2024510958A JP 2023554862 A JP2023554862 A JP 2023554862A JP 2023554862 A JP2023554862 A JP 2023554862A JP 2024510958 A JP2024510958 A JP 2024510958A
- Authority
- JP
- Japan
- Prior art keywords
- alc
- images
- image
- error
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 230000008859 change Effects 0.000 claims abstract description 27
- 238000005286 illumination Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一態様によれば、動きによる周囲光補正(ALC)画像中の誤差を最小限に抑えるための方法が提供される。本方法は、時間窓にわたって物体の複数の1次画像をキャプチャするステップであって、物体の制御された照明が時間にわたって変化する、1次画像をキャプチャするステップと、複数の周囲光補正画像を生成するために複数の1次画像の少なくとも一部分に対して周囲光補正を実行するステップであって、各ALC画像が、異なる制御された照明をもつ複数の1次画像のサブセットを復調することに基づいて生成される、周囲光補正を実行するステップと、ALC画像のペアについての誤差値を計算するステップであって、ALC画像の各ペアが第1のALC画像と第2のALC画像とを有する、誤差値を計算するステップと、ALC画像の各ペアについての誤差値を比較し、時間窓内で最も低い誤差値を有するALC画像のペアから誤差が最小限に抑えられた画像を選択するステップとを有する。誤差値を計算するステップは、第1のALC画像の各ピクセルを第2のALC画像の対応するピクセルと比較し、第1のALC画像と第2のALC画像との間の各ピクセルについての強度の変化を決定するステップと、複数のピクセルにわたる強度の変化に基づいてALC画像のペアについての誤差値を計算するステップとを有する。
Description
本発明は、動きによる誤差が最小限に抑えられた周囲光補正(ALC:ambient light correction)画像を取得する方法、及びそのような周囲光補正(ALC)画像を取得するための画像キャプチャ装置に関する。
物体のカメラ又は画像キャプチャデバイスによってキャプチャされた画像は、しばしば、周囲光並びに別個の照明源によって照明される。同じ物体の画像を正確に比較するか、又は物体の色を決定することが可能であるためには、周囲光を補正して周囲光補正画像を生成しなければならない。しかしながら、そのような画像は、しばしば、キャプチャされた画像のピクセルを比較することによって生成され、そのことはフレーム間で物体の移動があるときに誤差をもたらす。
US2016/360083は、向上したビデオを与えるために電子デバイスを使用してビデオフレームをキャプチャするデバイス及び方法を開示している。周囲光を使用して第1のサブフレームがキャプチャされ、周囲光と、電子デバイスの制御下にある光源とを使用して第2のサブフレームがキャプチャされる。第1のサブフレームと第2のサブフレームとの組合せに基づいて1次フレームが生成される。US2016/360083は、キャプチャされた物体の動きを検出し、検出された動きを補償するために第2のサブフレームを補正することを開示している。
第1の特定の態様によれば、動きによる誤差が最小限に抑えられた周囲光補正(ALC)画像を取得するための方法が提供される。本方法は、時間窓にわたって物体の複数の1次画像をキャプチャするステップであって、物体の制御された照明が時間にわたって変化する、1次画像をキャプチャするステップと、複数のALC画像を生成するために複数の1次画像の少なくとも一部分に対して周囲光補正を実行するステップであって、各ALC画像が、異なる制御された照明をもつ複数の1次画像のサブセットを復調することに基づいて生成される、周囲光補正を実行するステップと、ALC画像のペアについての誤差値を計算するステップであって、ALC画像の各ペアが第1のALC画像と第2のALC画像とを有する、誤差値を計算するステップとを有する。誤差値を計算するステップは、第1のALC画像の各ピクセルを第2のALC画像の対応するピクセルと比較し、第1のALC画像と第2のALC画像との間の各ピクセルについての強度の変化を決定するステップと、複数のピクセルにわたる強度の変化に基づいてALC画像のペアについての誤差値を計算するステップと、ALC画像の各ペアについての誤差値を比較し、時間窓内で最も低い誤差値を有するALC画像のペアから誤差が最小限に抑えられた画像を選択するステップとを有する。
第1のALC画像と第2のALC画像とは時間的に隣接する。
時間的に隣接するALC画像の各ペア間の誤差値を比較し、最も低い誤差値を有するALC画像のペアから画像を選択するステップは、時間にわたって連続関数を生成するために、時間窓内で計算されたすべての時間的に隣接するALC画像のペアの離散的誤差値を補間するステップであって、連続関数が最小誤差時間における最小誤差を定義する、離散的誤差値を補間するステップと、最小誤差時間の最も近くに生成されたALC画像を選択するステップとを有する。
各ピクセルについての強度の変化に基づいてALC画像のペアについての誤差値を計算するステップは、複数のピクセルの各々についての強度の絶対的変化の和を決定するステップ、複数のピクセルの各々についての強度の変化の平均2乗偏差を決定するステップ、複数のピクセルの各々についての強度の変化の絶対平均を決定するステップ、又は複数のピクセルにわたる強度の最大絶対的変化を選択するステップのうちの1つを有する。
誤差がそれについて計算されるALC画像はALC副画像(sub-image)であり、各ALC副画像は1次画像の一部分に対応する。本方法は、複数の異なる、誤差が最小限に抑えられたALC副画像を継ぎ合わせることによって、再構成されたALC画像を生成するステップをさらに有する。
本方法は、複数の1次画像をキャプチャした後に、対応する複数の1次副画像を定義し、複数のALC副画像を生成するために、又は周囲光補正を実行した後に、生成された複数のALC画像から複数のALC副画像を定義するために特徴検出を実行するステップを有し、各副画像は当該特徴を含む。
複数の1次画像は時間窓にわたって連続的にキャプチャされる。誤差値はリアルタイムで動的に計算され、時間窓は、ALC画像のペアについての誤差値が所定の第1のしきい値を下回ったときに終了する。
複数の1次画像は時間窓にわたって連続的にキャプチャされ、誤差値はリアルタイムで動的に計算される。時間窓は、誤差値が第1のしきい値を下回り、その後第1のしきい値よりも高い第2のしきい値を上回ったときに終了する。
本方法は、選択された、誤差が最小限に抑えられた画像をユーザインターフェースに出力するステップを有する。本方法は、選択された、誤差が最小限に抑えられた画像の誤差値をユーザインターフェースに出力するステップを有する。
各ピクセルについての強度の変化を決定するステップは、各ピクセル中の各色チャネルについての強度の変化を決定し、色チャネルにわたる強度の変化を総計するステップを有する。
第2の態様によれば、プロセッサによって実行されたときに、第1の態様による方法を実行させるコンピュータ可読命令を含む非一時的コンピュータ可読記憶媒体が提供される。
第3の態様によれば、コンピュータによって読み取られたときに、第1の態様による方法を実行させるコンピュータプログラムが提供される。
第4の態様によれば、少なくとも1つのプロセッサと、コンピュータ可読命令を含む少なくとも1つのメモリとを備える画像キャプチャ装置が提供され、少なくとも1つのプロセッサは、コンピュータ可読命令を読み取り、第1の態様による方法を実行させるように構成される。
これら及び他の態様は、以下で説明する実施形態から明らかになり、それらを参照すれば解明されよう。
次に、以下の図面を参照しながら、単に例として例示的な実施形態について説明する。
図1は、画像キャプチャデバイス12と、ライト14と、プロセッサ16と、コンピュータ可読命令を含むメモリ18とを備える画像キャプチャ装置10を示す。画像キャプチャデバイス12は、プロセッサ16に接続され、プロセッサ16によって読み取られ、処理され得る、この例では人間である物体20の画像をキャプチャするように構成される。
ライト14は、物体20を照明するように構成され、同じくプロセッサ16に接続される。ライト14は、プロセッサ16によって制御される可変強度の照明を発するように構成される。他の例では、ライト14は、別個のコントローラに接続され、別個のコントローラによって制御される。
メモリ18はコンピュータ可読命令を含み、プロセッサ16は、コンピュータ可読命令を読み取り、周囲光補正(ALC)画像中の誤差を最小限に抑えるための方法を実行するように構成される。
図2は、動きによる誤差が最小限に抑えられたALC画像を取得する第1の例示的な方法100のステップを示すフローチャートである。図3は、キャプチャされ、処理された画像の出力に関する本方法のステップを示す。
ブロック102において、本方法は、ライト14によって照明される時間窓32にわたって物体20の複数の1次画像30をキャプチャするステップを有し、ライト14の照明は、時間にわたって変化するように制御される。図3では、時間の経過は矢印34によって表されている。各1次画像30は、それぞれ、画像中のピクセル50のロケーションに対応するピクセルインデックスと、そのピクセル50においてキャプチャされた光の強度を定義するピクセル値とを有する、複数のピクセル50を含む。
ブロック102に続くブロック104において、方法100は、複数のALC画像36を生成するために複数の1次画像30の少なくとも一部分に対して周囲光補正を実行するステップを有する。1次画像30の周囲光補正は、物体20を照明する周囲光を補正するために、キャプチャされた1次画像30中のピクセル50の強度を調整することを含む。ALC画像36を生成するために、異なる制御された照明とともにキャプチャされた1次画像30のサブセットを復調することができる。復調による周囲光補正の簡略化された例では、第1の1次画像が、物体を照明するためにライトがオンに切り替えられた状態でキャプチャされ、第2の1次画像が、周囲光のみが物体を照明するようにライトがオフに切り替えられた状態でキャプチャされる。第1の1次画像の各ピクセルについて、そのピクセルにおける第2の1次画像の強度を減算してALCピクセルを生成することができ、ALCピクセルのすべてを組み合わせることによりALC画像が生成される。復調による周囲光補正のより複雑な例は、Kolaman,Amir&Hagege,Rami&Guterman,Hugo、(2014)、Light source separation from image sequences of oscillating lights、2014、IEEE 28th Convention of Electrical and Electronics Engineers in Israel、IEEEI.2014、1-5.10.1109/EEEI.2014、7005874において、又は、画像シーケンス中の各ピクセルについての時変信号に、周期的に変化する制御されたアクティブ照明に関係する変調関数を乗算し、その後、ローパスフィルタ演算を行い、その結果、周期的に変化する入射光の振幅が生じる、さらなる例において見つけられ得る。この振幅は、物体による光の反射の量に比例し、周囲光強度又は振幅が除去されたALC画像を抽出するために使用される。
この例では、各ALC画像36は、時間的に隣接する1次画像30のペアを復調することに基づいて生成される。言い換えれば、単一のALC画像36を生成するために復調された1次画像30のサブセットは2つの1次画像30を含む。したがって、各1次画像30は、2つの時間的に隣接するALC画像36の生成において使用される。他の例では、各ALC画像は、3つ以上の1次画像を復調することに基づいて生成される。
この例では、各ALC画像36は、別のALC画像36を生成するために使用される1次画像30の先行するサブセットから1つの1次画像30だけオフセットされた1次画像30のサブセットから生成される。他の例では、1次画像の各サブセットについて2つ以上の1次画像のオフセットがあり得る。
図3に示された例では、6つの1次画像30がキャプチャされており、時間的に隣接する1次画像30の各ペアは復調されて、5つのALC画像36を生成する。
2つ又はそれ以上の1次画像30を復調することによって生成されたALC画像36は、2つ又はそれ以上の1次画像30がキャプチャされている間に物体20の移動によりもたらされる誤差を有し得る。方法100の以下のステップは、複数のALC画像36から最も低い誤差を有するALC画像36を選択するものである。
ブロック106において、方法100は、ALC画像36のペアについての誤差値38を計算するステップを有する。図3に示されているように、誤差値E1を計算するために、第1のALC画像36aと第2のALC画像36bとを含むALC画像36の単一のペアを参照しながら、ALC画像36のペアについての誤差値38の計算について以下で説明する。誤差値38が計算されるべきであるALC画像36のあらゆるペアについてこれらのステップを繰り返すことができることが理解されよう。
この例では、第1のALC画像36aは第2のALC画像36bに時間的に隣接する。他の例では、誤差値は、時間的に隣接しないALC画像のペアについて計算され得る。
方法100のブロック106はブロック108とブロック110とを含む。ブロック108において、第1のALC画像36aの各ピクセル50を、第2のALC画像36bの同じピクセルインデックスを有する対応するピクセル50と比較し、第1のALC画像36aと第2のALC画像36bとの間の各ピクセル50についての強度の変化を決定する。
いくつかの例では、各ピクセルが複数の色チャネルを含む場合、各ピクセルについての強度の変化を決定するステップは、それぞれのピクセル中の各色チャネルについての強度の変化を決定し、色チャネルにわたる強度の変化を総計するステップを有する。
ブロック110において、複数のピクセル50にわたる強度の変化に基づいて第1のALC画像36aと第2のALC画像36bとの間の誤差値E1を計算する。この例では、第1のALC画像36aと第2のALC画像36bとの間の各ピクセル50についての強度の変化は、複数のピクセル50の強度の絶対的変化の和を決定することによって総計される。この和は、誤差値E1を決定するために使用される。他の例では、誤差値は、複数のピクセルにわたる強度の変化の平均2乗偏差を決定するステップ、又は複数のピクセルの各々の強度の変化の絶対平均を決定するステップなど、他の手段によって複数のピクセルにわたる強度値の変化を総計するステップによって決定される。またさらなる例では、誤差値は、単に、複数のピクセル50にわたる強度の最大絶対的変化を選択するステップに基づいて決定される。強度の最大絶対的変化を選択するステップは、画像全体にわたって低い誤差があるが、ALC画像の小さい領域中に大きいひずみがあるALC画像のペアに、より大きい誤差を割り当てるのに有用である。誤差値38がそれから計算される複数のピクセル50は、この例ではALC画像全体におけるピクセル50のすべてを含む。しかしながら、他の例では、複数のピクセルは、ALC画像の中央部分など、ALC画像中のピクセルすべてのサブセット、又は(以下の図7a及び図7bにおいてより詳細に説明する)当該特徴に対応するピクセルのサブセットのみを含み得る。
ブロック112において、方法100は、ALC画像36の各ペアについての誤差値38を比較し、最も低い誤差値Exを有する、誤差が最小限に抑えられたALC画像40のペアを選択するステップを有する。その後、誤差が最小限に抑えられたALC画像40のペアから誤差が最小限に抑えられた画像42を選択する。画像42は、任意に又は条件に従って選択された、誤差が最小限に抑えられたALC画像40のペアのALC画像36の一方であり得るか、又は、画像42は、誤差が最小限に抑えられたALC画像40のペアのALC画像36の両方であり得る。
再び図1を参照すると、画像キャプチャ装置10は、プロセッサ16に接続されたユーザインターフェース22を備える。接続はワイヤード又はワイヤレスであり得る。ユーザインターフェース22は、誤差が最小限に抑えられたALC画像40のペア、又は選択された、誤差が最小限に抑えられた画像42を表示する。ユーザインターフェース22は、追加又は代替として、選択された、誤差が最小限に抑えられた画像42の誤差値Exを表示する。
第1の例示的な方法100はブロック114をさらに含み、ブロック114は、選択された、誤差が最小限に抑えられた画像42をユーザインターフェース22に出力するステップ、及び/又は選択された、誤差が最小限に抑えられた画像42の誤差値をユーザインターフェース22に出力するステップを有する。他の例では、ブロック114は省略され得る。
第1の例示的な方法100では、複数の1次画像30は所定の時間窓32にわたってキャプチャされ、1次画像30のすべてがキャプチャされた後に分析される。いくつかの例では、1次画像30は時間窓にわたって連続的にキャプチャされ、ALC画像36は後続の1次画像30のキャプチャ中に動的に生成される。また、誤差値38は、後続のALC画像36が生成され、1次画像30がキャプチャされている間に、リアルタイムで動的に計算される。
全ALC画像36のペアについて誤差値が計算されることについて説明したが、いくつかの例では、1次画像30及び/又はALC画像36は、それぞれ1次画像の一部分に対応するALC副画像を生成するために副画像に分割される。誤差値は、その場合、例えば図7a及び図7bに関して説明するように、誤差が最小限に抑えられたALC副画像を選択するためにALC副画像のペアについて計算され得るか、又は、1次画像の一部分に対応する副画像は、各画像を、ピクセルの各ブロックが単一のALC副画像である、ピクセルの所定のブロックに分割することによってなど、任意の他の好適な様式で選択され得る。そのような例では、複数の、誤差が最小限に抑えられたALC副画像を継ぎ合わせることによって、完全な、誤差が最小限に抑えられたALC画像が生成又は再構成され、誤差が最小限に抑えられたALC副画像の各々は1次画像の異なる部分に対応する。これは、1次画像による物体画像の異なる部分が異なる量の動き又は移動を受ける場合に特に有用である。
図4は、誤差が最小限に抑えられたALC画像40のペアから単一の、誤差が最小限に抑えられた画像42を選択する第2の例示的な方法200のステップを示すフローチャートである。
図5は、例示的なプロット60の形態の、誤差が最小限に抑えられたALC画像40のペアから誤差が最小限に抑えられた画像42を選択する方法200のステップの視覚表現を示す。プロット60は時間のx軸tと誤差値のy軸Eとを含む。
ALC画像36のペアの各誤差値38は、ALC画像36のそれぞれのペアの各々がそれから生成された、各1次画像30がキャプチャされた時間に対応する、時間tに対してプロットされる。例えば、各ALC画像36は、この例では2つの時間的に隣接する1次画像30から生成され、したがって、ALC画像36の各ペアは3つの時間的に隣接する1次画像30から生成される。各誤差値38がそれに対してプロットされる時間tは、中央の1次画像30がキャプチャされる時間、又は3つの時間的に隣接する1次画像30の時間的端部間の中間点における時間など、3つの時間的に隣接する1次画像30がキャプチャされる時間内の任意の時間であり得る。他の例では、ALC画像の各ペアに関連付けられた4つ以上の1次画像があり得ること、及び、それぞれの誤差値がそれに対してプロットされる時間は、関連付けられた1次画像がキャプチャされた時間に任意の好適な形で関係することができることが理解されよう。
ブロック202において、方法200は、時間にわたって誤差値38の連続関数44を生成するために、時間窓32内で計算された時間的に隣接するALC画像36の複数のペアの離散的誤差値38を補間するステップを有する。
図5の(tx,Ex)に点を有する最も低い離散的誤差値38は、誤差が最小限に抑えられたALC画像40のペアの対応する誤差値38である。連続関数44は最小誤差時間tmにおける最小誤差Emを定義する。この例では、1つの最小誤差時間tmにおいてただ1つの最小誤差Emがある。しかしながら、先行する負の勾配とそれに続く正の勾配との間に0の勾配を有する連続関数によって定義された2つ以上の最小誤差があり得ることが理解されよう。
ブロック204において、方法200は、最小誤差時間tmを見つけるステップを有する。いくつかの例では、2つ以上の最小誤差時間tmがある場合、ブロック204は、誤差が最小限に抑えられたALC画像40のペアの時間txに時間的に最も近い最小誤差時間tmを見つけるステップを有し得る。
ブロック206において、方法200は、誤差が最小限に抑えられたALC画像40のペアから最小誤差時間tmに最も近い、誤差が最小限に抑えられた画像42を選択するステップを有する。言い換えれば、誤差が最小限に抑えられたALC画像40のペアから、最小誤差時間tmに時間的に最も近い1次画像30から生成された、誤差が最小限に抑えられた画像42を選択する。要するに、tmがtxよりも大きい場合、誤差が最小限に抑えられた画像42はALC画像40のペアのうちの後の方として選択される。tmがtxよりも小さい場合、誤差が最小限に抑えられた画像42はALC画像40のペアのうちの前の方として選択される。
図6は、動きによるALC画像36中の誤差を最小限に抑えるための第3の例示的な方法300のステップを示すフローチャートである。再び図3を参照すると、第3の例示的な方法300は第1の例示的な方法100と同じ基本出力を様々なステップにおいて生成し、したがって、以下の説明では図3の参照番号を参照する。
ブロック302において、第3の例示的な方法300は、ライト14からの物体20の制御された照明が時間にわたって変化する、物体20の複数の1次画像30をキャプチャするステップを有する。方法300は、1次画像30を連続的にキャプチャし、方法300の後ろのステップにおいてリアルタイムでそれらの1次画像30を分析するステップを有する。
ブロック302に続くブロック304において、方法300は、少なくともキャプチャされた複数の1次画像30のサブセットを復調することによってALC画像36を生成するために周囲光補正を実行するステップを有する。
ブロック304に続くブロック306において、方法300は、生成された少なくとも2つのALC画像36があったかどうかを決定するステップを有する。生成された少なくとも2つのALC画像36がなかった場合、方法300はブロック302に戻り、さらなる1次画像30をキャプチャし、先行するALC画像36がそれから生成された、1つの時間的に隣接する1次画像30だけオフセットされた、1次画像30のうちの後の方のサブセットからさらなるALC画像36を生成する。他の例では、オフセットは、2つ以上の時間的に隣接する1次画像であり得る。
ブロック306において、少なくとも2つのALC画像36があることが決定された場合、本方法はブロック308に進み、そこで、ALC画像36のペアの誤差値38を計算し、ALC画像36のペアは、2つのつい最近生成されたALC画像36を含む。ブロック308は、ALC画像36のペアの誤差値38を計算するために第1の例示的な方法100中のブロック106と同じステップを含む。計算された誤差値38は、メモリ18が参照するALC画像36のペアと一緒にメモリ18に記憶される。
ブロック308に続くブロック310において、方法300は、ALC画像36のペアについての記憶された誤差値38を比較し、最も低い誤差値38を決定するステップを有する。ブロック310に続くブロック312において、方法300は、最も低い誤差値38が第1のしきい値を下回るかどうかを決定するステップを有する。最も低い誤差値38が第1のしきい値を下回らない場合、本方法はブロック302に戻り、さらなる1次画像30をキャプチャし、先行するALC画像36がそれから生成された、1次画像のサブセットに時間的に隣接する1次画像30のサブセットから別のALC画像36を生成する。
最も低い誤差値38が第1のしきい値を下回る場合、方法300はブロック314に進み、そこで、生成されたALC画像36の最新のペアに関連する最新の誤差値38が第2のしきい値を上回るかどうかを決定する。第2のしきい値は第1のしきい値よりも高い。最新の誤差値38が第2のしきい値を上回らない場合、方法300はブロック302に戻り、より多い1次画像30をキャプチャし、先行するALC画像36がそれから生成された、1次画像のサブセットに時間的に隣接する1次画像30のサブセットから別のALC画像36を生成する。最新の誤差値38が第2のしきい値を上回る場合、本方法はブロック316に進み、そこで、時間窓32は終了し、最も低い誤差値Exを有する、誤差が最小限に抑えられたALC画像40のペアを選択する。その後、第1の例示的な方法100を参照しながら説明したブロック112と同様の様式で、誤差が最小限に抑えられたALC画像40のペアから誤差が最小限に抑えられた画像42を選択する。
他の例では、最も低い誤差値38が第1のしきい値を下回ることが決定されたとき、本方法はブロック312の後にブロック316に進み得る。ブロック314において追加のステップを使用することにより、誤差値38が第1のしきい値を下回るとすぐにプロセスが停止されないようにすることができる。これは、物体20の動きが長期間にわたって減速する場合に特に役立ち、その場合、第1のしきい値が満たされたときに本方法がすぐに停止されない場合、より低い誤差値とともに生成され得るALC画像36のペアがあり得る。誤差値が、第1のしきい値よりも高い第2のしきい値を超えるまで待つことにより、物体20がもはや減速していないことが保証される。
この例では、ブロック304において単一のALC画像36が生成されることについて説明した。任意の好適な数のALC画像36がブロック304において一度に生成され得ること、及び、第2の例示的な方法は、ブロック304において生成された任意の数のALC画像を分析することによって継続し得ることが理解されよう。
図7a及び図7bは、それぞれ、第1の例示的な方法100におけるブロック102~104及び第2の例示的な方法300におけるブロック302~304を置き換えるための、第1の例示的なサブ方法400及び第2の例示的なサブ方法500を示すフローチャートである。
第1の例示的なサブ方法400及び第2の例示的なサブ方法500は、ALC画像36全体の代わりに誤差値38について分析され得る、ALC画像36中の当該領域を定義するものである。
第1の例示的なサブ方法400では、ブロック402は、第1の例示的な方法100におけるブロック102、又は第2の例示的な方法300におけるブロック302と同様の様式で複数の1次画像30をキャプチャするステップを有する。
ブロック402に続くブロック404において、サブ方法400は、(図3に最も良く示されている)複数の1次副画像30aを定義するために物体20の特徴検出を実行するステップを有する。この例では、物体20は人間であり、特徴検出は、人間の目の周りの領域、人間のほお、又は人間の額など、特定の当該特徴を識別することを含み得る。各1次副画像30aは、したがって、当該特徴を含む。
ブロック404に続くブロック406において、サブ方法400は、複数のALC副画像を生成するために複数の1次画像30からの複数の1次副画像30aに対して周囲光補正を実行するステップを有する。第1の例示的なサブ方法400は、その後、第1の例示的な方法100のブロック106に進むか、又は第2の例示的な方法300のブロック306若しくは308に進み、そこでは、ALC画像の比較は代わりにALC副画像の比較である。
第2の例示的なサブ方法500では、ブロック502は、第1の例示的な方法100におけるブロック102、又は第2の例示的な方法300におけるブロック302と同様の様式で複数の1次画像30をキャプチャするステップを有する。
ブロック504において、サブ方法500は、複数のALC画像36を生成するために周囲光補正を実行するステップを有する。サブ方法500は、その後、ブロック506に進む。
ブロック506において、サブ方法500は、複数のALC副画像を定義するためにALC画像36中の物体20の特徴検出を実行するステップを有する。この例では、物体20は人間であり、特徴検出は、人間の目の周りの領域、人間のほお、又は人間の額など、特定の当該特徴を識別することを含み得る。各ALC副画像は、したがって、当該特徴を含む。第2の例示的なサブ方法500は、その後、第1の例示的な方法100のブロック106に進むか、又は第2の例示的な方法300のブロック306若しくは308に進み、そこでは、ALC画像の比較は代わりにALC副画像の比較である。
本明細書で説明した方法は、2つのALC画像36中の生成された画像の差異が大きいほど、各ALC画像36中の誤差は大きくなるという仮定に基づく。したがって、物体20の動きを計算し、その動きによってALC画像中にもたらされた実際の誤差を補正することを試みるのではなく、本方法は、ALC画像を生成し、最も低い推定誤差をもつALC画像又はALC画像のペアを選択する。
開示された実施形態に対する変形は、図面、本開示、及び添付の特許請求の範囲の研究から、本明細書で説明した原理及び技法を実施する際に当業者によって理解され、実施され得る。特許請求の範囲において、「含む」という単語は他の要素又はステップを除外せず、単数形の要素は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかの項目の機能を果たし得る。いくつかの手段が、相互に異なる従属クレームに記載されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示さない。コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される、光記憶媒体又は固体媒体など、好適な媒体上に記憶又は配信され得るが、インターネット又は他のワイヤード若しくはワイヤレス電気通信システムを介してなど、他の形態でも配信され得る。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものと解釈されるべきでない。
Claims (15)
- 動きによる誤差が最小限に抑えられた周囲光補正(ALC)画像を取得するための方法であって、前記方法は、
時間窓にわたって物体の複数の1次画像をキャプチャするステップであって、前記物体の制御された照明が時間にわたって変化する、1次画像をキャプチャするステップと、
複数のALC画像を生成するために前記複数の1次画像の少なくとも一部分に対して周囲光補正を実行するステップであって、各ALC画像が、異なる制御された照明をもつ1次画像のサブセットから周囲光の強度を決定することと、1次画像の前記サブセット中の少なくとも1つの画像から前記周囲光強度を除去することによって前記ALC画像を生成することとによって、前記複数の1次画像の前記サブセットを復調することに基づいて生成される、周囲光補正を実行するステップと、
ALC画像のペアについての誤差値を計算するステップであって、当該ALC画像の各ペアが第1のALC画像と第2のALC画像とを含む、誤差値を計算するステップと、
当該ALC画像の各ペアについての前記誤差値を比較し、前記時間窓内で最も低い誤差値を有するALC画像のペアを決定するステップと、
前記時間窓内で最も低い前記誤差値を有する、ALC画像の決定された前記ペアから、誤差が最小限に抑えられた画像としてALC画像を選択するステップと
を有し、
前記誤差値を計算するステップが、
前記第1のALC画像の各ピクセルを前記第2のALC画像の対応するピクセルと比較し、前記第1のALC画像と前記第2のALC画像との間の各ピクセルについての強度の変化を決定するステップと、
複数のピクセルにわたる強度の前記変化に基づいてALC画像の前記ペアについての誤差値を計算するステップと
を有する、方法。 - 前記第1のALC画像と前記第2のALC画像とが時間的に隣接する、請求項1に記載の方法。
- 時間的に隣接するALC画像の各ペア間の前記誤差値を比較し、前記最も低い誤差値を有するALC画像の前記ペアから画像を選択するステップが、
時間にわたって連続関数を生成するために、前記時間窓内で計算されたすべての時間的に隣接するALC画像のペアの離散的誤差値を補間するステップであって、前記連続関数が最小誤差時間における最小誤差を定義する、離散的誤差値を補間するステップと、
前記最小誤差時間の最も近くに生成された前記ALC画像を選択するステップと
を有する、請求項2に記載の方法。 - 各ピクセルについての強度の前記変化に基づいてALC画像の前記ペアについての前記誤差値を計算するステップが、
前記複数のピクセルの各々についての強度の絶対的変化の和を決定するステップ、
前記複数のピクセルの各々についての強度の変化の平均2乗偏差を決定するステップ、
前記複数のピクセルの各々についての強度の前記変化の絶対平均を決定するステップ、
又は
前記複数のピクセルにわたる強度の最大絶対的変化を選択するステップ
のうちの1つを有する、請求項1から3のいずれか一項に記載の方法。 - 前記誤差が計算される前記ALC画像がALC副画像であり、各ALC副画像が前記1次画像の一部分に対応し、それによって、誤差が最小限に抑えられたALC副画像を選択する、請求項1から4のいずれか一項に記載の方法。
- 1次画像の異なる部分に対応する、複数の異なる、誤差が最小限に抑えられたALC副画像を継ぎ合わせることによって、再構成されたALC画像を生成するステップをさらに有する、請求項5に記載の方法。
- 前記複数の1次画像をキャプチャした後に、対応する複数の1次副画像を定義し、複数のALC副画像を生成するために、又は
周囲光補正を実行した後に、生成された前記複数のALC画像から複数のALC副画像を定義するために
特徴検出を実行するステップを有し、
各副画像が当該特徴を含む、請求項5又は6に記載の方法。 - 複数の1次画像が前記時間窓にわたって連続的にキャプチャされ、前記誤差値がリアルタイムで動的に計算され、前記時間窓は、ALC画像のペアについての前記誤差値が所定の第1のしきい値を下回ったときに終了する、請求項1から7のいずれか一項に記載の方法。
- 複数の1次画像が前記時間窓にわたって連続的にキャプチャされ、前記誤差値がリアルタイムで動的に計算され、前記時間窓は、前記誤差値が第1のしきい値を下回り、その後前記第1のしきい値よりも高い第2のしきい値を上回ったときに終了する、請求項1から7のいずれか一項に記載の方法。
- 前記方法は、選択された、誤差が最小限に抑えられた前記画像をユーザインターフェースに出力するステップを有する、請求項1から9のいずれか一項に記載の方法。
- 前記方法は、選択された、誤差が最小限に抑えられた前記画像の前記誤差値を前記ユーザインターフェースに出力するステップを有する、請求項10に記載の方法。
- 各ピクセルについての強度の前記変化を決定するステップが、各ピクセル中の各色チャネルについての強度の変化を決定し、前記色チャネルにわたる強度の前記変化を総計するステップを有する、請求項1から11のいずれか一項に記載の方法。
- プロセッサによって実行されたときに、請求項1から12のいずれか一項に記載の方法を実行させるコンピュータ可読命令を含む、非一時的コンピュータ可読記憶媒体。
- コンピュータによって読み取られたときに、請求項1から12のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
- 少なくとも1つのプロセッサと、
コンピュータ可読命令を含む少なくとも1つのメモリと
を備える画像キャプチャ装置であって、
前記少なくとも1つのプロセッサが、前記コンピュータ可読命令を読み取り、請求項1から12のいずれか一項に記載の方法を実行させる、画像キャプチャ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21161955.6 | 2021-03-11 | ||
EP21161955.6A EP4057218A1 (en) | 2021-03-11 | 2021-03-11 | A method and image capturing apparatus |
PCT/EP2022/054884 WO2022189176A1 (en) | 2021-03-11 | 2022-02-25 | A method and image capturing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024510958A true JP2024510958A (ja) | 2024-03-12 |
Family
ID=74871205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023554862A Pending JP2024510958A (ja) | 2021-03-11 | 2022-02-25 | 方法及び画像キャプチャ装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240155246A1 (ja) |
EP (2) | EP4057218A1 (ja) |
JP (1) | JP2024510958A (ja) |
CN (1) | CN117043813A (ja) |
WO (1) | WO2022189176A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7315324B2 (en) * | 2002-08-15 | 2008-01-01 | Dixon Cleveland | Motion clutter suppression for image-subtracting cameras |
US20070263099A1 (en) * | 2006-05-09 | 2007-11-15 | Pixim Inc. | Ambient Light Rejection In Digital Video Images |
US9565368B2 (en) | 2015-06-02 | 2017-02-07 | Sony Corporation | Enhanced video capture in adverse lighting conditions |
-
2021
- 2021-03-11 EP EP21161955.6A patent/EP4057218A1/en not_active Withdrawn
-
2022
- 2022-02-25 US US18/280,696 patent/US20240155246A1/en active Pending
- 2022-02-25 WO PCT/EP2022/054884 patent/WO2022189176A1/en active Application Filing
- 2022-02-25 JP JP2023554862A patent/JP2024510958A/ja active Pending
- 2022-02-25 EP EP22712544.0A patent/EP4305590A1/en active Pending
- 2022-02-25 CN CN202280020411.XA patent/CN117043813A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240155246A1 (en) | 2024-05-09 |
CN117043813A (zh) | 2023-11-10 |
EP4305590A1 (en) | 2024-01-17 |
EP4057218A1 (en) | 2022-09-14 |
WO2022189176A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019105154A1 (en) | Image processing method, apparatus and device | |
JP4809443B2 (ja) | 画像取込デバイスにおける自動フリッカ補正 | |
US8773548B2 (en) | Image selection device and image selecting method | |
CN108111749B (zh) | 图像处理方法和装置 | |
KR102428127B1 (ko) | 움직임 영역 검출 장치 및 방법 | |
CN110012234B (zh) | 减少闪烁的方法 | |
CN109167997B (zh) | 一种视频质量诊断***及方法 | |
KR100219999B1 (ko) | 손흔들림 보정기능을 갖고 있는 촬상장치 | |
JP2011521521A (ja) | 最適映像選択 | |
US9165345B2 (en) | Method and system for noise reduction in video systems | |
CN111368819B (zh) | 光斑检测方法和装置 | |
US10063779B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US9881358B2 (en) | Method and system for adaptive pixel replacement | |
US9338354B2 (en) | Motion blur estimation and restoration using light trails | |
JP6365355B2 (ja) | 画像生成装置および画像生成方法 | |
US10863103B2 (en) | Setting apparatus, setting method, and storage medium | |
EP4078506A1 (en) | A system for performing ambient light image correction | |
JP2024510958A (ja) | 方法及び画像キャプチャ装置 | |
JP2021111929A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
KR102136716B1 (ko) | 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 | |
JP6953184B2 (ja) | 画像処理装置および画像処理方法 | |
JP4795314B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
JP2006031171A (ja) | 擬似的3次元データ生成方法、装置、プログラム、および記録媒体 | |
JP2024509246A (ja) | 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 | |
JP2012137829A (ja) | 画像処理装置及びその制御方法、並びにプログラム |