JP4272221B2

JP4272221B2 - カラー画像動き検出回路、多重カラー画像統合装置およびカラー画像動き検出方法

Info

Publication number: JP4272221B2
Application number: JP2006202193A
Authority: JP
Inventors: 健治永渕; 龍介宮本; 悠記原
Original assignee: Axell Corp
Current assignee: Axell Corp
Priority date: 2006-07-25
Filing date: 2006-07-25
Publication date: 2009-06-03
Anticipated expiration: 2026-07-25
Also published as: JP2008028926A

Description

本発明は、カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出する技術に関する。

車載や監視用途においては、カメラによる撮像時に広いダイナミックレンジ（信号の再現能力を表す数値）が必要とされる。ダイナミックレンジの拡張手法の一つとして、多重露光画像統合がある。非特許文献１では、シャッタースピードを制御することにより多重露光画像の取得を行い、色のダイナミックレンジを拡張する手法が記載されている。具体的には、最長露光時間の露光画像から最短露光時間の露光画像までを順に入力し、各露光時間において飽和していない最大の色情報を得る。非特許文献２では、多重露光画像統合を行い、輝度のダイナミックレンジを拡張する手法が記載されている。具体的には、露光時間の増大による電流値の予測を行い、その値からはずれた場合に動きが発生したと判定する。

森脇耕介: "適応露光によるカラー画像の入力方式" 信学論, J76-D-II, pp.1894-1901, 1993. X.Liu and A.E.Gamal: "Synthesis of high dynamic range motion blur free image from multiple captures" IEEE Trans. on CAS I:Fundamental Theory and Applications, 50, pp.530-539, 2003.

ここで、色成分のダイナミックレンジ拡張手法について考える。カラー画像の絞り（光量をコントロールすること）は、機械制御での高速化が困難であるが、カラー画像の露光時間の制御は、電子シャッターを利用した露光画像を用いることによって高速化が見込める。しかしながら、露光画像自体は、物体の動きを考慮しないため、多重（複数の）露光画像によって色成分のダイナミックレンジ拡張を行った場合、物体の動きがそのまま適用（合成）されてしまい、結果として適切な合成が行えない。特に、カラー画像の場合、画素は複数の色成分で構成されるため、従来の１値（例えば、グレースケール）にのみ基づいた物体の動きの検出はより困難である。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、露光時間の異なる一連の複数のカラー露光画像においても、物体の動きを精度よく検出することである。

かかる課題を解決するために、第１の発明は、カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出するカラー画像動き検出回路を提供する。このカラー画像動き検出回路は、係数算出部と、複数の色成分処理部と、動き検出部とを有する。係数算出部は、一の露光画像の画素における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する。複数の色成分処理部は、色成分毎に設けられ、それぞれが、色成分に対応する重み係数に応じて、一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う。動き検出部は、複数の色成分処理部と、複数の色成分処理部のそれぞれの比較結果に基づいて、一の露光画像の画素が物体の動きを含むか否かを検出する。

ここで、第１の発明において、係数算出部は、現在の露光画像の画素における複数の色成分値のそれぞれと、現在の露光画像の画素における複数の色成分値の合計値とを除算することで、複数の色成分のそれぞれに対応する重み係数を算出することが好ましい。また、複数の色成分処理部のそれぞれは、一の露光画像とは異なる複数の露光画像の画素における色成分値に基づいて予測値を予測することが好ましい。さらに、動き検出回路は、複数の色成分処理部のいずれかが所定の閾値を超えた場合に、一の露光画像の画素が動きを含むと検出することが好ましい。

第２の発明は、第１の発明のカラー画像動き検出回路と、この回路によって判定された一の露光画像の画素における物体の動きと、一連の複数の露光画像とに基づいて、合成画像を生成するカラー画像統合回路とを有するカラー画像合成装置を提供する。

第３の発明は、カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出するカラー画像動き検出方法を提供する。このカラー画像動き検出方法は、第１から第３までのステップとを有する。第１のステップは、一の露光画像の画素における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する。第２のステップは、色成分毎に行うものであって、色成分に対応する重み係数に応じて、一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う。第３のステップは、第２のステップの比較結果に基づいて、一の露光画像の画素が物体の動きを含むか否かを検出する。

ここで、第３の発明において、第２のステップにおいて、所定の閾値を超えた場合に、一の露光画像の画素が動きを含むと検出することが好ましい。

第４の発明は、カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出するカラー画像動き検出用コンピュータ・プログラムを提供する。このカラー画像動き検出方法は、第１から第３までのステップとを有する。第１のステップは、一の露光画像の画素における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する。第２のステップは、色成分毎に行うものであって、色成分に対応する重み係数に応じて、一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う。第３のステップは、第２のステップの比較結果に基づいて、一の露光画像の画素が物体の動きを含むか否かを検出する。

第１から第４の発明によれば、色成分に対応する重み係数に応じて、一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う。そして、これらの比較結果に基づいて、一の露光画像の画素が物体の動きを含むか否かを検出する。これにより、色成分毎に物体の動きを検出することができるため、露光時間の異なる一連の複数のカラー露光画像においても、物体の動きを精度よく検出することができる。

特に、第２の発明によれば、カラー画像における動き検出が可能であるので、精度の高いカラー画像の合成画像を生成することができる。

図１は、カラー画像合成装置（以下、合成装置）の構成図である。この合成装置は、カラー画像であって、露光時間が連続して異なる一連の複数の露光画像（カラー多重露光画像）を入力として、合成画像を生成する画像処理装置である。カラー多重露光画像は、カメラ（図示せず）によってほぼ同時期に撮像されたｎ枚の画像を、色空間変換演算器（図示せず）によってＲＧＢスケールに変換された複数の露光画像である。これらの複数の露光画像は、それぞれ、その撮像に費やされた露光時間が異なるため、明るさ（明度）が異なっている。また、それぞれの露光画像は複数の画素で構成され、各画素の画素値は複数の色成分で構成されている。

カラー多重露光画像は、フレームメモリ等といった記憶部（図示せず）に一時的に格納されている。合成装置は、この記憶部に格納されたカラー多重露光画像を逐次、または、一括して読み込んで合成画像を生成する。本実施形態における合成画像は、カラー多重露光画像を構成する複数の画素を組み合わせた一枚の画像である。合成装置は、カラー画像動き検出回路１（以下、動き検出回路）と、カラー画像飽和検出回路２（以下、飽和検出回路）と、カラー画像統合回路３（以下、統合回路）とで構成される。

動き検出回路１は、カラー多重露光画像を読み込み、露光画像を構成する画素毎に、物体の動きが含まれていないか否かを検出する。動き検出回路１は、検出結果として動き検出信号ＭＣＴＬを出力する（動き検出処理）。飽和検出回路２は、動き検出回路１と同一のカラー多重露光画像を読み込み、露光画像を構成する画素毎に、色飽和（飽和）が発生していないか否かを検出する（飽和検出処理）。なお、飽和とは、高い彩度の色、即ち白色の混じっていない状態を示す。飽和検出回路２は、検出結果として飽和検出信号ＳＣＴＬを出力する。

統合回路３は、カラー画像設定部３１（以下、設定部）と、カラー画像合成部３２（以下、合成部）とで構成される。設定部３１は、動き検出回路１からの動き検出信号ＭＣＴＬと、飽和検出回路２からの飽和検出信号ＳＣＴＬとに基づいて、固定テーブルを生成する（テーブル生成処理）。固定テーブルとは、露光画像の同サイズの合成画像を構成する各画素と、これらの画素に対応するラベル（本実施形態では、露光時間）とが対応付けられたテーブルである。

合成部３２は、設定部３１が生成したテーブルと、カラー画像多重画像とに基づいて、合成画像を生成する。具体的には、合成画像の各画素に対応付けられた露光時間が示す露光画像が読み出だされ、この露光画像のうち、各画素と位置的に対応する画素の画素値（複数の色成分値）が出力される。そして、この出力が、テーブルを構成する全ての要素に対して行われることで、合成画像が生成される。

なお、本実施形態では、カラー多重露光画像、テーブルおよび合成画像は、それぞれ別として表記されているが、それぞれ論理的に区別されていれば足りる。したがって、例えば、これらの画像やテーブルは、同一のフレームメモリに格納されていてもよい。

図２は、動き検出回路１の構成図である。動き検出回路１は、係数算出部１１と、複数の色成分処理部１２(1)〜(3)と、動き検出部１３とで構成される。係数算出部１１は、一の露光画像の画素（対象画素）における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する。具体的には、処理対象となる露光画像（基準画像）Ｐt内の対象画素(i,j)を構成する複数の色成分値を読み出し、色成分毎のＷr，Ｗg，Ｗbを生成する。処理対象となる露光画像Ｐt内の対象画素(i,j)の色成分値をそれぞれＲt，Ｇt，Ｂtとした場合、各色成分にかかる重み係数Ｗr，Ｗg，Ｗbは下式で求め、重み係数Ｗr，Ｗg，Ｗbのうち最大のものを１になるように正規化（修正）する。つまり、画素値に占める色成分値が大きくなれば、その色成分に関する重み係数も大きくなる。なお、正規化は、色成分値が最大となる色成分の影響により、他の色成分の重み係数に影響を与えてしまい、後述する判定器１ｃ内の閾値ＴＭr，ＴＭg，ＴＭbが変化するのを防ぐためである。

[重み係数の計算式]
Ｗr＝Ｒt／（Ｒt＋Ｇt＋Ｂt）
Ｗg＝Ｇt／（Ｒt＋Ｇt＋Ｂt）
Ｗb＝Ｂt／（Ｒt＋Ｇt＋Ｂt）

色成分処理部１２は、色成分に対応する重み係数に応じて、一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う。色成分処理部１２は、取り扱う色成分毎に複数設けられている。本実施形態では、ＲＧＢスケールを取り扱うので、３つ（色成分処理部１２(1)〜(3)）設けられている。色成分処理部１２(1)はＲ成分に関する値を処理し、色成分処理部１２(2)はＧ成分に関する値を処理し、色成分処理部１２(3)はＢ成分に関する値を処理する。なお、それぞれ独立した値（色成分値）を対象として取り扱うので、色成分処理部１２(1)〜(3)は、色成分毎の処理を同時並行的に行うことも可能である。

複数の色成分処理部１２(1)〜１２(3)のそれぞれは、上述したように、取り扱う色成分が異なるのみで、その構成は同一であるので、代表として色成分処理部１２(1)の構成を説明し、その他の色成分処理部１２(2)，１２(3)の説明は省略する。例えば、色成分処理部１２(1)は、予測器１２ａ(1)と、減算器１２ｂ(1)と、判定器１２ｃ(1)とで構成される。

予測器１２ａ(1)〜(3)は、露光時間の短い複数の画像から、基準画像Ｐt内の対象画素(i,j)における色成分値を予測する。例えば、予測器１２ａ(1)は、基準画像Ｐtから見て露光時間の短い２つの画像Ｐt-2，Ｐt-1から、対象画素(i,j)と位置的に対応する２つのＲ成分値Ｒt-2，Ｒt-1に基づいて、基準画像Ｐtの対象画素(i,j)におけるＲ成分値Ｒt'を予測する。

減算器１２ｂ(1)〜(3)は、予測器１２ａ(1)〜(3)が予測した色成分値と、基準画像Ｐtの対象画素(i,j)における実際の色成分値との差分値を算出する。例えば、減算器１２ｂ(1)は、予測器１２ａ(1)が予測したＲ成分値Ｒt'と、実際の基準画像Ｐtの対象画素(i,j)におけるＲ成分値Ｒtとの差分値ΔＲtを算出する。

判定器１２ｃ(1)〜(3)は、減算器１２ｂ(1)〜(3)が算出した差分値と、係数算出部１１が算出した色成分に対応する重み係数と、所定の閾値とに基づいて、動きが発生したか否かを判定する。例えば、判定器１２ｃ(1)は、Ｒ成分値の重み係数Ｗrに応じて、減算器１２ｂ(1)が算出した差分値ΔＲtと、予め設定された閾値ＴＭrとの比較を行い、Ｒ成分値に関する動きが発生したか否かを判定する。判定した結果は、例えば、"０（動きなし）"または"１（動きあり）"といった信号ＣＴＬとして、動き検出部１３に出力される。

なお、本実施形態の判定器１２ｃが用いる閾値ＴＭr，ＴＭg，ＴＭbは、予め設定されていたが、これに限定されず、対象画素となる画素毎に（または、基準画像Ｐtが変更される毎に）可変に設定されてもよい。また、閾値は、動きを判定（比較）するために用いられる値であるので、図２に示すように、判定器１２ｃの内部に設けられていることに限定されない。

動き検出部１３は、複数の色成分処理部１２(1)〜(3)のそれぞれの比較結果に基づいて、基準画像Ｐtの対象画素(i,j)が物体の動きを含むか否かを検出する。具体的には、動き検出部１３は、複数の色成分処理部１２(1)〜(3)のいずれかが、動き有りと判定した（色成分処理部１２(1)〜(3)のいずれかの信号ＣＴＬが"１"である）場合、対象画素(i,j)における動きを検出する。また、複数の色成分処理部１２(1)〜(3)のいずれも、動き無しと判定した（色成分処理部１２(1)〜(3)からの信号ＣＴＬがいずれも"０"である）場合、対象画素(i,j)における動きを検出しない。検出した結果は、例えば"０（動き検出なし）"または"１（動き検出あり）"といった動き信号ＭＣＴＬとして、統合回路３（カラー画像設定部３１）に出力される。

図３は、予測器１２ａ(1)の説明図である。なお、その他の予測器１２ａ(2)，１２ａ(3)も、取り扱う色成分が異なるのみで、その構成は同一であるので、その代表として判定器１２ｃ(1)の構成を説明し、その他の判定器１２ｃ(2)，１２ｃ(3)の説明は省略する。

予測器１２ａ(1)は、露光時間制御による露光時間の増分に対応するＲ成分値の増加率は未知であるので、直前の２枚の画像におけるＲ成分値の変化率から予測を行う。具体的には、Ｒ成分値Ｒt-2に対応する露光時間をＴ_t-2とし、Ｒ成分値Ｒt-1に対応する露光時間をＴ_t-1とし、Ｒ成分値Ｒtに対応する露光時間をＴ_tとすると、Ｔ_t-1からＴ_tへのＲ成分値の推定増加分Δｒは以下の式で求められる。

これにより、予測値Ｒt'は、Ｒt-1＋Δｒで求められ、差分値ΔＲtも、Ｒt−Ｒt'で求められる。なお、本実施形態では、露光時間の短い２枚の露光画像内の画素値を利用して、基準画像Ｐtにおける対象画素(i,j)の予測値を算出したが、これに限定されず、例えば、予測するために利用する露光画像は３枚以上であってもよい。また、算出の手法についても、複数枚の露光画像を用いた線形予測であってもよい。

図４は、判定器１２ｃ(1)の構成図である。なお、その他の判定器１２ｃ(2)，１２ｃ(3)も、取り扱う色成分が異なるのみで、その構成は同一であるので、その代表として判定器１２ｃ(1)の構成を説明し、その他の判定器１２ｃ(2)，１２ｃ(3)の説明は省略する。

判定器１２ｃ(1)は、乗算器１２ｄ(1)と、比較器１２ｅ(1)とで構成される。乗算器１２ｄ(1)は、減算器１２ｂ(1)からの差分値ΔＲtと、係数算出部１１からの重み係数Ｗrとを乗算する。また、乗算器１２ｄ(2)であれば、差分値ΔＧtとを重み係数Ｗgを乗算し、乗算器１２ｄ(3)であれば、差分値ΔＢtとを重み係数Ｗbを乗算する。また、比較器１２ｅ(1)は、乗算器１２ｄ(1)によって算出された値の絶対値と、閾値ＴＭrとの比較を行い、Ｒ成分値に関する動きが発生したか否かを判定する。具体的には、乗算器１２ｄ(1)によって算出された値の絶対値と閾値ＴＭrとで減算を行い、その減算結果が正であるか負であるかで判定する。判定した結果は、例えば"０（動きなし）"または"１（動きあり）"といった信号ＣＴＬとして、動き検出部１３に出力される。比較器１２ｅ(2)は、乗算器１２ｄ(2)によって算出された値と閾値ＴＭgとで判定を行う。比較器１２ｅ(3)は、乗算器１２ｄ(3)によって算出された値と閾値ＴＭbとで判定を行う。

以上より、比較器１２ｅ(1)が出力する信号ＣＴＬは、差分値ΔＲtと、Ｒ成分の重み係数Ｗrと、Ｒ成値の閾値ＴＭrとの成立式に応じて、下表に集約される。
［比較器１２ｅ(1)が出力する信号］
成立式信号ＣＴＬ
｜ΔＲt×Ｗr｜＜ＴＭr "０（動きあり）"
｜ΔＲt×Ｗr｜ ≧ ＴＭr "１（動きあり）"

なお、本実施形態の判定器１２ｃ(1)は、図４の構成にならって、差分値ΔＲtに重み係数Ｗrを乗じた値の絶対値と閾値ＴＭrとを比較することで、対象画素(i,j)のＲ色成分に関する動きを検出した。しかしながら、これに限定されず、判定器１２ｃは、係数算出部から算出された重み係数Ｗrに応じて、差分値ΔＲtと閾値ＴＭrとの比較ができれば足り、例えば、閾値ＴＭrを重み係数で除算した値と差分値ΔＲtの絶対値との比較であってもよい。

図５は、飽和検出回路２の構成図である。飽和検出回路２は、判定器２１と、飽和検出部２２とで構成される。判定器２１は、取り扱う色成分毎に複数設けられている。本実施形態では、ＲＧＢスケールを取り扱うので、３つ（判定器２１(1)〜(3)）設けられている。判定器２１(1)はＲ成分に関する値を処理し、判定器２１(2)はＧ成分に関する値を処理し、判定器２１(3)はＢ成分に関する値を処理する。例えば、判定器２１(1)は、基準画像Ｐtの対象画素(i,j)における実際のＲ成分値Ｒtと、予め設定された閾値ＴＳrとの比較を行い、Ｒ成分値に関する飽和が発生したか否かを判定する。具体的には、Ｒ成分値Ｒtと閾値ＴＳrとで減算を行い、その減算結果が正であるか負であるかで判定する。判定した結果は、例えば"０（飽和無し）"または"１（飽和有り）"といった信号ＣＴＬとして、飽和検出部２２に出力される。

なお、本実施形態の判定器２１が用いる閾値ＴＳr，ＴＳg，ＴＳbは、予め設定されていたが、判定器１２ｃと同様これに限定されず、対象画素となる画素毎に（または、基準画像Ｐtが変更される毎に）可変に設定されてもよい。また、これらの閾値は、飽和を判定（比較）するために用いられる値であるので、これらの閾値の格納（設置）場所は、図４で示す判定器２１の内部のレジスタ等（図示せず）であることに限定されない。

飽和検出部２２は、複数の判定器２１(1)〜(3)のそれぞれの比較結果に基づいて、基準画像Ｐtの対象画素(i,j)が物体の飽和を含むか否かを検出する。具体的には、飽和検出部２２は、複数の判定器２１(1)〜(3)のいずれかが、飽和があると判定した（判定器２１(1)〜(3)のいずれかの信号が"１"である）場合、対象画素(i,j)における飽和を検出する。また、複数の判定機２１(1)〜(3)のいずれも、飽和が無いと判定した（判定器２１(1)〜(3)からの信号がいずれも"０"である）場合、対象画素(i,j)における飽和を検出しない。検出した結果は、例えば"０（飽和検出なし）"または"１（飽和検出あり）"といった飽和信号ＳＣＴＬとして、カラー画像統合回路３（カラー画像設定部３１）に出力される。

図６は、テーブルの説明図である。テーブルは、露光画像の同サイズの合成画像を構成する各画素と、これらの画素に対応する露光時間とが対応付けられたテーブルである。テーブルは、合成画像と同サイズの２次元配列を有し、配列を構成する各要素が、合成画像の各座標と対応する。画像合成前では、各要素に何ら格納されておらず、画像合成に先立って行われる一連のカラー露光画像に対する動き検出処理と飽和検出処理とに基づくテーブル生成処理が行われていくことで順次、各要素に露光時間が格納される。

設定部３１は、対象画素(i,j)における、動き検出回路１からの検出信号ＭＣＴＬ、および、飽和検出回路２からの検出信号ＳＣＴＬによって、対象画素(i,j)が動きを含んでいるか否かを判定する。具体的には、対象画素(i,j)において、動き検出回路１および飽和検出回路２の少なくとも一方が、動きまたは飽和を検出した（ＭＣＴＬ，ＳＣＴＬいずれかが"１"である）場合、対象画素(i,j)に対応する要素には、その露光画像の直前の露光画像の情報（基準画像がＰtの場合、露光時間Ｐt-1）が固定（設置）される。また、動き検出回路１および飽和検出回路２のいずれも、動きおよび飽和を検出しなかった（ＭＣＴＬ，ＳＣＴＬいずれかも"０"である）場合、対象画素(i,j)に対応する要素には、その露光画像の直前の露光画像の情報が固定されない。

図７は、カラー画像合成装置のフローチャート図である。このフローチャート図は、ｎ枚のカラー露光画像（Ｐ1〜Ｐn）で構成される多重カラー露光画像に対して、１枚の合成画像を生成する処理フローである。

まず、ステップ１では、初期化が行われる。具体的には、テーブルの要素は"０（またはＮＵＬＬ，未設定状態）"に設定され、ｎ枚で構成されるカラー多重露光画像のうち、最も露光時間の短いカラー露光画像Ｐ1が基準画像Ｐtとして設定される。また、対象画素(i,j)の座標も、画像平面上の左上の原点(0,0)に設定される。

つぎに、ステップ２では、設定部３１によって、対象画素の座標に対応するテーブルの要素に、露光時間が既に固定されているか否かの判定される。対象画素(i,j)に対応するテーブルの要素に、露光時間が固定されている場合、処理をステップ６へ進め、露光時間が固定されていない場合、処理をステップ３へ進める。

ステップ３では、対象画素に対して飽和検出回路２による飽和検出処理が行われ、対象画素に飽和が検出されたるか否かが判定される（飽和検出処理）。対象画素(i,j)に飽和が検出された場合、処理をステップ５へ進め、飽和が検出されていない場合、処理をステップ４へ進める。

ステップ４では、対象画素に対して動き検出回路１による動き検出処理が行われ、対象画素に物体の動きが検出されるか否かが判定される（動き検出処理）。対象画素(i,j)に物体の動きが検出された場合、処理をステップ５へ進め、物体の動きが検出されていない場合、処理をステップ６へ進める。なお、本実施形態では、露光時間の最も短い露光画像から基準画像として処理を行っていくため、基準画像よりさらに露光時間の短い露光画像は存在しない。この場合、ステップ４を行わずに、処理をステップ６へ進めてもよく。例外的に、基準画像より露光時間の長い露光画像を用いて動き検出処理を行ってもよい。

ステップ５では、設定部３１によって、対象画素に対応するテーブルの要素に、基準画像より一つ（１枚）手前の露光画像に対応する露光時間が固定される（テーブル生成処理）。例えば、基準画像の露光時間Ｔ_k（ｋ＝１〜ｎ）であった場合、テーブルの要素には、露光時間Ｔ_k-1が固定される。

ステップ６では、基準画像内の全ての画素を対象画素として、対象画素に対する判定処理（ステップ２〜ステップ５にかかる処理）を行ったか否かが判定される。基準画像内の全ての画素を対象画素(i,j)として判定処理を行った場合、処理をステップ８へ進め、未だ全ての画素を対象画素(i,j)として判定処理を行っていない場合、処理をステップ７へ進める。ステップ７では、基準画像内で対象画素がシフトされる。本実施形態の場合、ラスタ走査順（画像平面上の左上端の画素（0,0）から、順次、１画素分水平方向にシフトしていき、右端の画素の処理が終了すると、１画素分垂直方向にシフトし、再度、左端の画素から水平方向）にシフトしていく。つまり、本ケースでは、基準画像内の全画素に対する判定処理（ステップ２〜ステップ６）がステップ７を介して終了するまで処理が繰り返されることになる。

ステップ８では、テーブル内の全ての要素に、露光時間が固定されたか否かが判定される。全ての要素に露光時間が固定された場合、処理をステップ１２へ進め、全ての要素に露光時間が固定されてない場合、処理をステップ９へ進める。ステップ９では、全ての露光画像に対する判定処理が行われたかを行ったか否かが判定される。露光画像全ての露光画像を基準画像として判定処理を行った場合、処理をステップ１１へ進め、未だ全ての画像を基準画像として判定処理を行っていない場合、処理をステップ１０へ進める。ステップ１０では、カラー多重露光画像内で基準画像がシフトされる。本実施形態の場合、露光時間の短い露光画像から、露光時間の長い画像へ順次シフトしていく。つまり、本ケースでは、カラー多重露光画像はｎ枚で構成されているので、ステップ８で常にテーブルの全要素が固定されていないとした場合、基準画像に対する判定処理（ステップ２〜ステップ９）がステップ１０を介して、ｎ回繰り返されることになる。ステップ１１では、設定部３１によって、テーブルの要素のうち、未だ露光時間が固定されていない要素に対して、カラー多重露光画像の中で最も長い露光時間Ｐnが固定される。

ステップ１２では、合成部３２によって、固定されたテーブルの各要素の露光時間と、カラー多重露光画像とに基づいて、合成画像を出力する。例えば、画素(n,m)と対応するテーブルの要素に露光時間Ｔkが格納されていた場合、合成画像における画素(n,m)には、この露光時間Ｔkに対応する露光画像Ｐkの画素(n,m)の画素値が出力される。

このように、本実施形態によれば、動き検出回路１は、色成分に対応する重み係数に応じて、一の露光画像とは異なる露光画像の画素における各色成分値に基づいて予測した予測値と露光画像の画素における各色成分値との差分値と、所定の閾値との比較を行う。そして、これらの比較結果に基づいて、一の露光画像の画素が物体の動きを含むか否かを検出する。これにより、色成分毎に物体の動きを検出することができるため、露光時間の異なる一連の複数のカラー露光画像においても、物体の動きを精度よく検出することができる。また、合成装置は、以上のような動き検出回路１を用いるので、精度の高いカラー画像の合成画像を生成することができる。

なお、本実施形態の処理フローでは、露光時間の短い露光画像から長い露光画像へ基準画像を順次させながら画像合成を行ったが、これに限定されず、露光時間の長い露光画像から短い露光画像へ基準画像を順次させながら画像合成を行ってもよい。その場合、予測器１２ａ(1)〜１２ａ(3)は、基準画像の露光時間よりも長い露光時間の露光画像を用いて動き検出を行い、設定部３１は、対象画素(i,j)における動きまたは飽和が検出された場合、テーブルの要素に基準画像より一つ（１枚）後の露光画像に対応する露光時間が固定される。

なお、本実施形態の処理フローでは、飽和検出処理（ステップ３）を行った後に、動き検出処理（ステップ４）を行っているが、これに限定されず、動き検出処理（ステップ４）を行った後に、飽和検出処理（ステップ３）を行ってもよい。特に、本実施形態の合成装置では、動き検出回路１および飽和検出回路２は、露光画像（フレームメモリ），統合回路３からみて、互いに独立した回路として並列に設けられいる。したがって、動き検出処理および飽和検出処理は同時並行的に行ってもよい。

なお、本実施形態で用いたカラー画像はＲＧＢスケールであったが、これに限定されず、ＹＵＶスケールのカラー画像であってもよい。さらに、本実施形態で用いたカラー画像はＲＧＢスケール（１つの画素値を３つの色成分値で構成）であったため、これに対応する色成分処理部１２は３つ設けられていたが、これに限定されず、それ以上の数が設けられてもよい。例えば、ＲＧＢスケールにアルファ値（透明度）をさらに加えることも可能である。その場合、色成分処理部１２は４つ設けられることなる。

なお、本実施形態は、図１で示したカラー画像合成装置の機能を実現するプログラムを、コンピュータが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに導入することでも実現可能である。ここでいう「コンピュータシステム」とは、ＯＳやハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境あるいは表示環境を備えたＷＷＷシステムも含むものとする。また、「コンピュータが読み取り可能な記録媒体」は、ＲＯＭ（Read Only Memory）、磁気ディスク、光ディスク、光磁気ディスクなどといった可搬媒体、およびハードディスクを指す。さらに、「コンピュータが読み取り可能な記録媒体は、インターネットなどのネットワーク回線を介してプログラムが送信されるサーバや、コンピュータシステム内部の揮発性メモリも含まれる。また、「プログラム」は、このプログラムを記憶媒体に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により、他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワークや電話回線等の通信回線（通信線）のように、情報を一部実現するためのものであってもよい。またこれら機能をコンピュータシステムによって、すでに記録されているプログラムとの組み合わせで実現できる差分ファイルであってもよい。

カラー画像合成装置の構成図カラー画像動き検出回路の構成図予測器の説明図判定器の構成図カラー画像飽和検出回路の構成図固定テーブルの説明図カラー画像合成装置のフローチャート図

符号の説明

１カラー画像動き検出回路
１１係数算出部
１２色成分処理部
１２ａ予測器
１２ｂ減算器
１２ｃ判定器
１２ｄ乗算器
１２ｅ比較器
１３動き検出部
２カラー画像飽和検出回路
２１判定器
２２飽和検出部
３カラー画像統合回路
３１カラー画像設定部
３２カラー画像合成部

Claims

カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出するカラー画像動き検出回路において、
一の露光画像の画素における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する係数算出部と、
色成分毎に設けられ、それぞれが、前記色成分に対応する重み係数に応じて、前記一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と前記露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う複数の色成分処理部と、
前記複数の色成分処理部のそれぞれの比較結果に基づいて、前記一の露光画像の画素が物体の動きを含むか否かを検出する動き検出部と
を有することを特徴とするカラー画像動き検出回路。
前記係数算出部は、
前記現在の露光画像の画素における複数の色成分値のそれぞれと、前記現在の露光画像の画素における複数の色成分値の合計値とを除算することで、複数の色成分のそれぞれに対応する重み係数を算出することを特徴とする請求項１に記載されたカラー画像動き検出回路。
前記複数の色成分処理部のそれぞれは、
前記一の露光画像とは異なる複数の露光画像の画素における色成分値に基づいて予測値を予測することを特徴とする請求項１または２に記載されたカラー画像動き検出回路。
前記動き検出回路は、
複数の色成分処理部のいずれかが前記所定の閾値を超えた場合に、前記一の露光画像の画素が物体の動きを含むと検出することを特徴とする請求項１から３のいずれかに記載されたカラー画像動き検出回路。
請求項１から４のいずれかに記載されたカラー画像動き検出回路と、
前記カラー画像動き検出回路によって判定された前記一の露光画像の画素における物体の動きと、前記一連の複数の露光画像とに基づいて、合成画像を生成するカラー画像統合回路と
を有することを特徴とするカラー画像合成装置。
カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出するカラー画像動き検出方法において、
一の露光画像の画素における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する第１のステップと、
色成分毎に行うものであって、前記色成分に対応する重み係数に応じて、前記一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と前記露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う第２のステップと、
前記第２のステップの比較結果に基づいて、前記一の露光画像の画素が物体の動きを含むか否かを検出する第３のステップと
を有することを特徴とするカラー画像動き検出方法。
前記カラー画像動き検出方法は、
前記第２のステップにおいて、前記所定の閾値を超えた場合に、前記一の露光画像の画素が物体の動きを含むと検出することを特徴とする請求項６に記載されたカラー画像動き検出方法。
カラー画像であって、露光時間が連続して異なる一連の複数の露光画像を用いて、露光画像の画素が物体の動きを含むか否かを検出するのに必要な処理をコンピュータに実行させるカラー画像動き検出用コンピュータ・プログラムにおいて、
一の露光画像の画素における複数の色成分値に基づいて、複数の色成分のそれぞれに対応する重み係数を算出する第１のステップと、
色成分毎に行うものであって、前記色成分に対応する重み係数に応じて、前記一の露光画像とは異なる露光画像の画素における色成分値に基づいて予測した予測値と前記露光画像の画素における色成分値との差分値と、所定の閾値との比較を行う第２のステップと、
前記第２のステップの比較結果に基づいて、前記一の露光画像の画素が物体の動きを含むか否かを検出する第３のステップと
を有する一連の処理をコンピュータに実行させることを特徴とするカラー画像動き検出用コンピュータ・プログラム。