JP6463153B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6463153B2
JP6463153B2 JP2015014891A JP2015014891A JP6463153B2 JP 6463153 B2 JP6463153 B2 JP 6463153B2 JP 2015014891 A JP2015014891 A JP 2015014891A JP 2015014891 A JP2015014891 A JP 2015014891A JP 6463153 B2 JP6463153 B2 JP 6463153B2
Authority
JP
Japan
Prior art keywords
input
pixel
image
difference
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015014891A
Other languages
English (en)
Other versions
JP2016140000A (ja
Inventor
健 益浦
健 益浦
直規 葛谷
直規 葛谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2015014891A priority Critical patent/JP6463153B2/ja
Publication of JP2016140000A publication Critical patent/JP2016140000A/ja
Application granted granted Critical
Publication of JP6463153B2 publication Critical patent/JP6463153B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本技術は、画像処理装置、撮像装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、動体を検出する画像処理装置、撮像装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。
従来より、監視カメラにより撮像された画像に対して画像処理を行うことによって物体や人間などの動体を検出する監視システムが、防犯や計測の分野で広く用いられている。この動体の検出において、背景差分法を用いる画像処理装置が提案されている（例えば、特許文献１参照。）。この背景差分法においては、検出対象の入力画像と、静止物のみを含む背景画像との差分画像において、差分が閾値以上の領域が動体として検出される。
特開２０００−３２４４７７号公報
しかしながら、上述の画像処理装置では、照明の点灯や消灯によって背景画像に対する入力画像の明るさが変化すると、その変化により差分が閾値以上となった静止物の領域が動体として誤って検出されるおそれがある。そのため、動体を高い精度で検出することが困難になるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、照明の変化に左右されることなく、動体の検出精度を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて上記基準画素と当該基準画素に対応する上記入力画素とのそれぞれの画素値の相違度を上記入力画素ごとに取得する相違度取得部と、上記基準画像および上記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を上記入力画素ごとの上記相違度の分布の状態に基づいて判定する判定部とを具備する画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、相違度の分布の状態に基づいて照度変化があったと判定されるという作用をもたらす。
また、この第１の側面において、上記入力画像について動体の検出を行う動体検出部をさらに具備してもよい。これにより、動体が検出されるという作用をもたらす。
また、この第１の側面において、上記判定部は、上記照度変化があった場合には上記動体の検出を停止させてもよい。これにより、照度変化があった場合に導体の検出が停止するという作用をもたらす。
また、この第１の側面において、上記動体検出部は、上記入力画像および上記基準画像の差分画像を生成して当該差分画像において差分が所定の差分閾値より大きい領域を上記動体として検出してもよい。これにより、差分が所定の差分閾値より大きい領域が動体として検出されるという作用をもたらす。
また、この第１の側面において、上記分布において上記相違度の最頻値を求める最頻値取得部をさらに具備し、上記判定部は、上記最頻値が所定範囲内にあるか否かにより上記照度変化の有無を判定してもよい。これにより、相違度の最頻値が所定範囲内にあるか否かにより照度変化の有無が判定されるという作用をもたらす。
また、この第１の側面において、上記基準画素と当該基準画素に対応する上記入力画素とのそれぞれの画素値からなる組の集合から外れ値を含む組を除去する外れ値除去部をさらに具備し、上記相違度取得部は、上記外れ値を含む組が除去された上記集合において上記相違度を取得してもよい。これにより、外れ値を含む組が除去された集合において相違度が取得されるという作用をもたらす。
また、この第１の側面において、上記相違度取得部は、上記基準画素の画素値の対数と上記入力画素の画素値の対数との差分を上記相違度として取得してもよい。これにより、基準画素の画素値の対数と入力画素の画素値の対数との差分が相違度として取得されるという作用をもたらす。
また、本技術の第２の側面は、入力画素が配列された入力画像を時系列順に撮像する撮像部と、上記入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて上記基準画素と当該基準画素に対応する上記入力画素とのそれぞれの画素値の相違度を上記入力画素ごとに取得する相違度取得部と、上記基準画像および上記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を上記入力画素ごとの上記相違度の分布の状態に基づいて判定する判定部とを具備する撮像装置である。これにより、相違度の分布の状態に基づいて照度変化があったと判定されるという作用をもたらす。
また、この第２の側面において、上記照度変化が無い場合には上記撮像部の露光量を所定量に制御する露光制御部をさらに具備してもよい。これにより、照度変化が無い場合には撮像部の露光量が所定量に制御されるという作用をもたらす。
本技術によれば、動体の検出精度を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における照度変化判定部の一構成例を示すブロック図である。 第１の実施の形態における照度変化の有無の判定方法を説明するための図である。 第１の実施の形態における画像処理部の一構成例を示すブロック図である。 第１の実施の形態における背景画像、入力画像および差分画像の一例を示す図である。 第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第１の実施の形態における照度変化判定処理を示すフローチャートである。 第１の実施の形態における露光制御処理を示すフローチャートである。 第１の実施の形態における撮像装置の動作を説明するための図である。 比較例における背景画像、入力画像および差分画像の一例を示す図である。 第１の実施の形態の第１の変形例における照度変化判定処理の一例を示すフローチャートである。 第１の実施の形態の第１の変形例における距離の算出方法を説明するための図である。 第１の実施の形態の第１の変形例における分布図の一例である。 第１の実施の形態の第２の変形例における撮像装置の動作の一例を示すフローチャートである。 第２の実施の形態における照度変化判定部の一構成例を示すブロック図である。 第２の実施の形態における照度変化判定処理を示すフローチャートである。 第２の実施の形態における外れ値除去処理を示すフローチャートである。 第２の実施の形態におけるプロット選択前後の分布図の一例である。 第２の実施の形態における外れ値除去処理で計数されたプロットを示す分布図の一例である。 第２の実施の形態における入力画像および外れ値除去前後の分布図の一例である。 第３の実施の形態における照度変化判定部の一構成例を示すブロック図である。 第３の実施の形態における分布図およびヒストグラムの一例である。 第３の実施の形態における照度変化判定処理を示すフローチャートである。 第３の実施の形態における撮像装置の動作を説明するための図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（相違度の分布から照度変化の有無を判定する例）
２．第２の実施の形態（外れ値を除去して求めた相違度の分布から照度変化の有無を判定する例）
３．第３の実施の形態（相違度の分布から最頻値を求めて照度変化の有無を判定する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像部１１０、画像処理部１２０、露光制御部１３０、背景画像記憶部１４０、動画記録部１５０および照度変化判定部２００を備える。
撮像部１１０は、露光制御部１３０から供給された露出パラメータの設定値に従って複数の入力画像を時系列順に撮像するものである。ここで、露出パラメータは、露出量（露光量）を制御するためのパラメータであり、絞り値や露光時間（すなわち、シャッタースピード）などが想定される。また、撮像部１１０は、撮像レンズおよび絞り等の光学系や撮像素子により構成される。この撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。撮像部１１０は、撮像した入力画像のそれぞれを信号線１１９を介して画像処理部１２０および照度変化判定部２００に供給する。
背景画像記憶部１４０は、動体の検出において基準とされる背景画像を記憶するものである。この背景画像として、例えば、動体を検出すべき撮像場所を、動体が存在しない状況で予め撮像した画像が用いられる。なお、背景画像は、特許請求の範囲における基準画像の一例である。
ここで、入力画像および背景画像のそれぞれは、二次元格子状に配列された複数の画素を含む。以下、入力画像における画素を「入力画素」と称し、背景画像における画素を「背景画素」と称する。また、入力画像および背景画像のそれぞれの画素数およびアスペクト比は同一であるものとする。なお、入力画像および背景画像のそれぞれの画素数やアスペクト比が異なる構成であってもよい。例えば、入力画像よりサイズの大きな背景画像を記憶しておく構成であってもよい。この場合には、撮像部１１０は、背景画像が撮像された撮像領域の一部を撮像して入力画像を生成する。
照度変化判定部２００は、背景画像および入力画像のそれぞれを撮像した際に、所定の変化量ｄＬを超える照度変化があったか否かを判定するものである。照度変化判定部２００は、照度変化の有無を判定した結果を、照度変化判定結果として信号線２０９を介して露光制御部１３０および画像処理部１２０に供給する。
画像処理部１２０は、入力画像のそれぞれについて、動体の検出処理、ホワイトバランス処理やデモザイク処理などの所定の画像処理を行うものである。この動体の検出処理においては、背景画像と入力画像の差分画像が生成され、その差分画像内において差分値が所定の差分閾値を超える領域が動体として検出される。ただし、画像処理部１２０は、照度変化があった場合に動体の検出処理を停止する。画像処理部１２０は、画像処理後の入力画像を動体の検出結果とともに動画記録部１５０に信号線１２９を介して供給する。動画記録部１５０は、入力画像と動体の検出結果とを含む動画を記録するものである。
露光制御部１３０は、撮像部１１０の露光量を制御するものである。この露光制御部１３０は、照度変化があった場合に露光量を制御し、照度変化が無い場合には露光量の制御を行わない。露光量の制御において露光制御部１３０は、周辺光量を測光する光検出器（不図示）などから測光値を取得し、その測光値と、所定の目標値との差が許容値を超えるか否かを判定する。そして、露光制御部１３０は、その差が所定の許容値を超える場合に、測光値が所定の目標値になるように露出パラメータ（絞り値やシャッタースピード）を設定し、その設定値を撮像部１１０に供給する。
なお、露光制御部１３０は、絞り値やシャッタースピードを制御しているが、絞り値等の代わりに画素値に対するゲインを制御してもよいし、絞り値やシャッタースピードとゲインとの両方を制御してもよい。
また、撮像装置１００は、表示部をさらに備え、その表示部に画像や動画を表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、画像や動画を外部の装置に出力してもよい。
また、撮像部１１０、画像処理部１２０、露光制御部１３０、背景画像記憶部１４０、動画記録部１５０および照度変化判定部２００を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像部１１０や露光制御部１３０を撮像装置１００に設け、画像処理部１２０や照度変化判定部２００を画像処理装置等に設ける構成としてもよい。
［照度変化判定部の構成例］
図２は、第１の実施の形態における照度変化判定部２００の一構成例を示すブロック図である。この照度変化判定部２００は、距離算出部２１１、距離比較部２１２、計数部２１３および計数値比較部２１４を備える。
距離算出部２１１は、入力画素と、その入力画素に対応する背景画素とのそれぞれの画素値（例えば、輝度値）の相違度を距離として、入力画素ごとに算出するものである。相違度の算出方法の詳細については後述する。距離算出部２１１は、算出した距離のそれぞれを距離比較部２１２に供給する。なお、距離算出部２１１は、特許請求の範囲に記載の相違度取得部の一例である。
距離比較部２１２は、算出された距離（すなわち、相違度）のそれぞれについて、その距離と所定の距離閾値とを比較して距離が距離閾値より大きいか否かを判定するものである。距離比較部２１２は、距離ごとの判定結果を計数部２１３に供給する。
計数部２１３は、距離比較部２１２からの判定結果に基づいて、距離閾値より大きい距離の個数を計数するものである。計数部２１３は、計数値ＣＮＴを計数値比較部２１４に供給する。
計数値比較部２１４は、計数値ＣＮＴと所定の計数値判定閾値とを比較して計数値ＣＮＴが計数値判定閾値より多いか否かを判定するものである。計数値比較部２１４は、その判定結果を照度変化判定結果として露光制御部１３０および画像処理部１２０に供給する。なお、計数値比較部２１４は、特許請求の範囲に記載の判定部の一例である。
図３は、第１の実施の形態における照度変化の有無の判定方法を説明するための図である。同図におけるａは、背景画像５００の一例であり、同図におけるｂは、入力画像５０１の一例である。同図におけるａおよびｂに例示するように、入力画像５０１は、背景画像５００と比較して、全体的に輝度が低下している。このように全体的な明るさが変化する原因としては、光源の照度の変化などが想定される。
図３におけるｃは、背景画像５００の輝度分布の一例であり、同図におけるｄは、入力画像５０１の輝度分布の一例である。同図におけるｃおよびｄの横軸は画素の座標であり、縦軸は、その座標の画素の輝度値である。同図におけるｃおよびｄに例示するように、照度変化により、入力画像の輝度は背景画像に対して全体的に低下している。例えば、座標Ｐ１の入力画素の輝度値Ｉ１は、その座標の背景画素の輝度値Ｂ１より低い。また、座標Ｐ２の入力画素の輝度値Ｉ２も、その座標の背景画素の輝度値Ｂ２より低い。
図３におけるｅは、入力画素および背景画素のそれぞれの輝度値の関係を示す分布図である。同図のｅにおいて、縦軸は入力画素の輝度値であり、横軸は背景画素の輝度値である。また、同図のｅにおいて、白丸は、座標Ｐ１の背景画素および入力画素のそれぞれの輝度値を表すプロットであり、黒丸は、座標Ｐ２の背景画素および入力画素のそれぞれの輝度値を表すプロットである。実線は、座標Ｐ１およびＰ２のそれぞれに対応するプロットを通る直線である。また、一点鎖線は、傾き「１」で切片が「０」の直線である。座標Ｐ１およびＰ２以外の各座標について、それらの座標に対応するプロットを追加すると、実線の直線付近に、それらのプロットが集中する。この実線の直線の傾きは、「１」よりも小さい。
ここで、輝度、照度および被写体の反射率の間には、輝度に対するゲインを一定とすると、次式に示す関係が成立する。
（輝度）＝（照度）×（反射率）
上式より、入力画像側の輝度、照度および反射率を入力輝度、入力照度および入力反射率とし、背景画像側の輝度、照度および反射率を入力輝度、入力照度および入力反射率とすると、次式が成立する。
（入力輝度）＝（入力照度）×（入力反射率） ・・・式１
（背景輝度）＝（背景照度）×（背景反射率） ・・・式２
入力画像および背景画像の被写体が同一である場合には、入力反射率および背景反射率は同一である。この場合、式１および式２から次式が得られる。
（入力輝度）＝（入力照度）／（背景照度）×（背景輝度） ・・・式３
式３より、照度の変化が無い場合には、入力輝度は背景輝度と同じ値になり、照度の変化があった場合には、背景輝度に対する入力輝度の比率は、照度の変化率に応じた値となる。したがって、光源の照度変化が無い場合には、各座標に対応するプロットは、傾き「１」の直線付近に集中する。一方、照度変化がある場合には、各座標に対応するプロットは、照度の変化率（入力照度／背景照度）に該当する傾きの直線付近に集中する。
撮像装置１００は、座標ごとに、その座標に対応するプロットと、傾き「１」の直線との間の距離Ｄを求める。ここで、ｘｙ平面において、ａｘ＋ｂｙ＋ｃ＝０（ａ、ｂおよびｃは実数）の直線と、座標（ｘ０、ｙ０）の点との間の距離Ｄは、次式により求められる。
Ｄ＝ａｂｓ（ａｘ０＋ｂｙ０＋ｃ）／（ａ2＋ｂ2）1/2 ・・・式４
上式において、ａｂｓ（）は、絶対値を返す関数である。直線の傾きが１で、切片が０の場合、ａ＝１、ｂ＝−１、ｃ＝０である。これらを上式に代入すると、次式が得られる。
Ｄ＝ａｂｓ（ｘ０−ｙ０）／２1/2 ・・・式５
したがって、ｘ軸を背景輝度、ｙ軸を入力輝度とすると、式５において背景画素の輝度をｘ０に代入し、その背景画素に対応する入力画素の輝度をｙ０に代入することにより、距離Ｄが算出される。この距離Ｄは、対応する入力画素および背景画素のそれぞれの画素値の相違度を示す。照度の変化が少ない場合には、この距離Ｄ（相違度）が小さいプロットが多くなり、照度の変化が大きい場合には、距離Ｄ（相違度）が大きいプロットが多くなる。このため、距離閾値より小さい距離Ｄのプロット数（すなわち、計数値ＣＮＴ）から、撮像装置１００は、所定の変化量ｄＬを超える照度変化の有無を判定することができる。
なお、式５により得られた値を相違度としているが、画素値の違いの度合いを示す値であれば、他の式により得られた値を相違度としてもよい。例えば、撮像装置１００は、入力画素および背景画素のそれぞれの画素値の比率を相違度として求めてもよい。
また、図３におけるｃ、ｄおよびｅは、説明の便宜上、記載したものであり、これらの図は、撮像装置１００において実際には生成されない。実際に生成されるデータは、同図におけるｆに示すものである。
図３におけるｆは、座標ごとの距離Ｄの分布を示す図である。同図におけるｆの縦軸は、距離Ｄであり、横軸は座標である。撮像装置１００は、同図におけるｆに例示するように、座標ごとに距離Ｄを算出し、その分布の状態から照度変化の有無を判定する。例えば、撮像装置１００は、距離閾値より小さい距離Ｄの個数を計数し、その計数値が計数値閾値より大きい場合に照度変化が無いと判定し、そうでない場合に照度変化があったと判定する。距離閾値には、照度に関する閾値である変化量ｄＬが大きいほど大きな値が設定される。また、計数値判定閾値には、入力画像の画素数が多いほど、大きな値が設定される。
［画像処理部の構成例］
図４は、第１の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この画像処理部１２０は、ホワイトバランス処理部１２１、デモザイク処理部１２２および動体検出部１２３を備える。
ホワイトバランス処理部１２１は、入力画像に対してホワイトバランスを調整する処理を行うものである。このホワイトバランス処理部１２１は、処理後の入力画像をデモザイク処理部１２２に供給する。
デモザイク処理部１２２は、入力画像に対して、画素ごとに足りない色データを補間するデモザイク処理を行うものである。このデモザイク処理部１２２は、処理後の入力画像を動画記録部１５０に供給する。
動体検出部１２３は、入力画像において動体を検出するものである。ただし、照度変化があった場合に動体検出部１２３は、動体の検出処理を停止する。照度変化が無い場合に動体検出部１２３は、入力画像および背景画像の差分画像を生成し、その差分画像において差分値が所定の差分閾値を超える領域を動体として検出する。そして、動体検出部１２３は、動体の有無を示すフラグや、動体の領域を示す情報を含む動体検出結果を動画記録部１５０に供給する。なお、動体検出部１２３は、デモザイク前の入力画像について、動体を検出しているが、デモザイク後の入力画像において動体を検出してもよい。この場合には、背景画像としてデモザイク後の画像が用いられる。また、照度変化判定部２００もデモザイク後の入力画像および背景画像から照度の変化の有無を判定する。
なお、画像処理部１２０は、ホワイトバランス処理やデモザイク処理以外の画像処理、例えば、ガンマ補正処理やノイズ除去処理などをさらに行ってもよい。また、画像処理部１２０は、ホワイトバランス処理およびデモザイク処理の少なくとも一方を行わずに入力画像を出力してもよい。
図５は、第１の実施の形態における背景画像、入力画像および差分画像の一例を示す図である。同図におけるａは、背景画像５０５の一例であり、同図におけるｂは、入力画像５０６の一例である。同図におけるａおよびｂに例示するように、背景画像５０５および入力画像５０６の照度に変化はなく、背景画像５０５に写っていない人間５０７が、入力画像５０６に写っている。
図５におけるｃは、背景画像５０５および入力画像５０６の差分画像５０８の一例である。この差分画像５０８において、白色の領域５０９は、差分値が差分閾値を超える領域を示し、黒色の領域は、差分値が差分閾値以下の領域を示す。同図におけるｃに例示するように、入力画像５０６内の人間５０７に対応する領域５０９が差分画像５０８において白色になっている。この領域５０９に対応する入力画像５０６内の領域が動体として検出される。このように、入力画像および背景画像の差分画像から動体を検出する手法は、背景差分法と呼ばれる。
［撮像装置の動作例］
図６は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。このフローチャートの示す処理は、入力画像が撮像されるたびに実行される。撮像装置１００は、照度変化の有無を判定するための照度変化判定処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、その照度変化判定処理で照度変化があったと判定されたか否かを判断する（ステップＳ９０１）。
照度変化が無い場合に（ステップＳ９０１：Ｎｏ）、撮像装置１００は、背景差分法を使用して入力画像において動体を検出する（ステップＳ９０２）。一方、照度変化があった場合に（ステップＳ９０１：Ｙｅｓ）、撮像装置１００は、露光量を制御するための露光制御処理を実行する（ステップＳ９５０）。ステップＳ９０２またはＳ９５０の後、撮像装置１００は、動作を終了する。
図７は、第１の実施の形態における照度変化判定処理を示すフローチャートである。撮像装置１００は、計数値ＣＮＴを初期値（例えば、「０」）に初期化する（ステップＳ９１１）。
ここで、入力画像および背景画像における画素の水平座標は０乃至Ｗ−１であり、垂直座標は０乃至Ｈ−１であるものとする。撮像装置１００は、座標（０，０）の画素から座標（Ｗ−１，Ｈ−１）までの画素に順に着目して、着目した画素について、次のステップＳ９１３乃至Ｓ９１５を実行する（ステップＳ９１２）。
まず、撮像装置１００は、着目した画素の座標に対応するプロットと、傾き「１」の直線との間の距離Ｄを式５により算出する（ステップＳ９１３）。撮像装置１００は、算出した距離Ｄが距離閾値以下であるか否かを判断する（ステップＳ９１４）。距離Ｄが距離閾値以下である場合に（ステップＳ９１４：Ｙｅｓ）、撮像装置１００は、計数値ＣＮＴをインクリメントする（ステップＳ９１５）。
全ての座標についてステップＳ９１３乃至Ｓ９１５を実行した後に、撮像装置１００は、計数値ＣＮＴが計数値判定閾値より大きいか否かを判定する（ステップＳ９１６）。計数値ＣＮＴが計数値判定閾値より大きい場合に（ステップＳ９１６：Ｙｅｓ）、撮像装置１００は、照度変化が無いと判定して、照度変化判定フラグに「０」を設定する（ステップＳ９１７）。一方、計数値ＣＮＴが計数値判定閾値以下の場合に（ステップＳ９１６：Ｎｏ）、撮像装置１００は、照度変化があったと判定して、照度変化判定フラグに「１」を設定する（ステップＳ９１８）。ステップＳ９１７またはＳ９１８の後、撮像装置１００は、照度変化判定処理を終了する。
図８は、第１の実施の形態における露光制御処理を示すフローチャートである。撮像装置１００は、測光値を取得し（ステップＳ９５１）、目標値と測光値との間の差が許容値以内であるか否かを判断する（ステップＳ９５２）。差が許容値以内でない場合に（ステップＳ９５２：Ｎｏ）、撮像装置１００は、測光値が目標値より小さいか否かを判断する（ステップＳ９５３）。
測光値が目標値より小さい場合に（ステップＳ９５３：Ｙｅｓ）、撮像装置１００は、画像が明るくなる値に、露出パラメータを設定する（ステップＳ９５４）。測光値が目標値以上の場合に（ステップＳ９５３：Ｎｏ）、撮像装置１００は、画像が暗くなる値に、露出パラメータを設定する（ステップＳ９５５）。ステップＳ９５４またはＳ９５５の後に撮像装置１００は、露出パラメータの設定値に従って絞りやシャッタースピードを制御する（ステップＳ９５６）。目標値と測光値との間の差が許容値以内の場合（ステップＳ９５２：Ｙｅｓ）、または、ステップＳ９５６の後、撮像装置１００は、露光制御処理を終了する。
なお、撮像装置１００は、絞り値等の代わりに画素値に対するゲインを制御してもよいし、絞り値やシャッタースピードとゲインとの両方を制御してもよい。
図９は、第１の実施の形態における撮像装置１００の動作を説明するための図である。同図におけるａは、背景画像５１０の一例であり、同図におけるｂは、入力画像５１１の一例である。同図におけるａおよびｂに例示するように、背景画像５１０に対して入力画像５１１には照度変化がほとんどなく、動体も写っていない。
図９におけるｃは、入力画像５１１内の入力画素と、背景画像５１０内の背景画素とのそれぞれの輝度値の関係を示す分布図である。照度変化がほとんど無いため、各座標において、入力画素および背景画素のそれぞれの輝度値は同程度となり、各プロットは、傾き「１」の直線付近に集中する。このため、各座標の距離Ｄは「０」に近い値となり、距離閾値以下の距離Ｄの個数は、計数値判定閾値よりも多くなる。この場合に撮像装置１００は、照度変化が無いと判定し、動体検出を行う。
図９におけるｄは、入力画像５１１および背景画像５１０の差分画像５１２の一例を示す図である。この差分画像５１２には、差分値が差分閾値を超える領域はないため、動体が無いと判断される。
図９におけるｅは、入力画像５１３の一例である。同図におけるａおよびｅに例示するように、背景画像５１０に対して入力画像５１３には照度変化が生じており、動体は写っていない。
図９におけるｆは、入力画像５１３内の入力画素と、背景画像５１０内の背景画素とのそれぞれの輝度値の関係を示す分布図である。照度変化があったため、各座標において、入力画素および背景画素のそれぞれの輝度値は異なる値となり、座標に対応するプロットは、照度の変化率に応じた傾きの直線付近に集中する。このため、各座標の距離Ｄは「０」より大きな値となることが多くなり、距離閾値以下の距離Ｄの個数は、計数値判定閾値よりも少なくなる。この場合に撮像装置１００は、照度変化があったと判定し、動体検出を停止し、露光制御を行う。
図９におけるｇは、露光制御後の入力画像５１４の一例を示す図である。露光制御により、入力画像５１４の明るさは、背景画像５１０と同程度になっている。
図９におけるｈは、入力画像５１５の一例である。同図におけるａおよびｈに例示するように、背景画像５１０に対して入力画像５１５には照度変化が無く、人間５１６が写っている。
図９におけるｉは、入力画像５１５内の入力画素と、背景画像５１０内の背景画素とのそれぞれの輝度値の関係を示す分布図である。照度変化が無いため、各座標において、入力画素および背景画素のそれぞれの輝度値は同程度となり、各プロットは、傾き「１」の直線付近に集中する。このため、各座標の距離Ｄは「０」に近い値となり、距離閾値以下の距離Ｄの個数は、計数値判定閾値よりも多くなる。この場合に撮像装置１００は、照度変化が無いと判定し、動体検出を行う。
図９におけるｊは、入力画像５１５および背景画像５１０の差分画像５１７の一例を示す図である。この差分画像５１７には、差分値が差分閾値を超える領域５１８が存在し、この領域に対応する領域が入力画像５１５において動体として検出される。
このように、各画素の距離Ｄ（相違度）が「０」付近に集中しているか否かにより、撮像装置１００は、照度変化の有無を正確に判定することができる。なお、入力画像の輝度の平均値と、背景画像の輝度の平均値とを比較することによっても撮像装置１００は照度変化の有無を判定することができるが、この方法では、照度変化の有無を誤って判定するおそれがある。例えば、入力画像５１５では、照度変化が無いものの、動体５１６の存在により、輝度の平均値が入力画像５１０と異なる値になる。このため、照度変化があったと誤って判定されるおそれがある。これに対して、距離Ｄが「０」付近に集中する否かという分布の状態は、動体が写った入力画像５１５においても、あまり変化しない。このため、撮像装置１００は、その分布の状態を示す計数値ＣＮＴから、照度変化の有無を正確に判定することができる。
なお、図９では、照度変化が生じていないことと、動体が写っていないこととの少なくとも一方を満たす入力画像（入力画像５１１、入力画像５１３および入力画像５１５）に対する処理について説明している。しかし、照度変化があり、かつ、動体が写った入力画像が撮像されることも想定される。その場合には、入力画像５１３と同様に露光制御のみが行われ、動体検出が行われない。この露光制御により、次に撮像される入力画像では、照度変化が無いと判定されるため、動体検出が行われる。したがって、この場合であっても、動体が正確に検出される。
図１０は、比較例における背景画像、入力画像および差分画像の一例を示す図である。この比較例では、照度変化の有無にかかわらず、入力画像の撮像のたびに撮像装置１００が動体検出を行うものとする。同図におけるａは背景画像５２０の一例であり、同図におけるｂは入力画像５２１の一例である。同図におけるａおよびｂに例示するように、背景画像５２０に対して入力画像５２１には照度変化が生じており、動体は写っていない。
図１０におけるｃは、背景画像５２０および入力画像５２１の差分画像５２２の一例である。この差分画像５２２においては、照度変化により、輝度の差分が閾値以上となる領域５２３および５２４が生じている。この比較例においては、これらの領域が動体として誤って検出されてしまう。これに対して、撮像装置１００は、照度変化があった場合に、動体の検出を行わないため、そのような誤検出を防止することができる。
このように、本技術の第１の実施の形態によれば、撮像装置１００は、画素値の相違度の分布の状態から照度変化の有無を判定し、照度変化があれば動体の検出を停止するため、照度変化時の動体の誤検出を防止することができる。これにより、照明の変化に左右されることなく、動体の検出精度を向上させることができる。
［第１の変形例］
上述の第１の実施の形態では、式５より輝度値の差分を距離Ｄ（相違度）として検出していたが、照度の変化率が一定の場合、式４および式５より入力輝度が低いほど距離Ｄが小さくなり、距離閾値以下になるおそれが高くなる。このため、入力画像が比較的暗い場合には、照度変化があるにも関わらず、照度変化が無いと誤って判定されるおそれが高くなる。輝度の対数の差分を相違度として求めれば、照度変化があった場合に、入力輝度が低くても距離Ｄが十分に大きくなり、そのような誤判定を防止することができる。この第１の変形例の撮像装置１００は、入力画素および背景画素の画素値の対数の差分を相違度として求める点において、第１の実施の形態と異なる。
変形例の撮像装置１００は、式５の代わりに次式により距離Ｄを求める。
Ｄ＝ａｂｓ｛（ｌｏｇ（ｘ０）−ｌｏｇ（ｙ０）｝／２1/2 ・・・式６
図１１は、第１の実施の形態の第１の変形例における照度変化判定処理の一例を示すフローチャートである。変形例の照度変化判定処理は、ステップＳ９１３の代わりにステップＳ９１９を実行する点において第１の実施の形態と異なる。
ステップＳ９１９において、撮像装置１００は、座標（ｍ，ｎ）に対応するプロットと、傾き「１」の直線との間の距離Ｄを式６により、ログスケールで算出する。
図１２は、第１の実施の形態の第１の変形例における距離Ｄの算出方法を説明するための図である。同図におけるａは、照度変化があった場合の入力画素および背景画素のそれぞれの輝度値の関係を示す図である。同図におけるａの縦軸は入力画素の輝度値であり、横軸は背景画素の輝度値である。照度変化があった場合、照度の変化率に応じた傾きの直線付近に、プロット５３１およびプロット５３２などのプロットが集中する。プロット５３２は、入力輝度が比較的高く、そのために式５より距離Ｄが比較的大きくなる。このため、距離Ｄは距離閾値より大きくなる。一方、プロット５３１は、入力輝度が比較的低く、そのために式５より距離Ｄが比較的小さくなる。このため、距離Ｄが距離閾値以下になるおそれがある。
このように、式５では入力輝度が低いほど距離Ｄが小さくなるため、入力画像が比較的暗い場合には、照度変化があるにも関わらず、照度変化が無いと誤って判定されるおそれが高くなる。
一方、図１２におけるｂは、照度変化があった場合の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す図である。同図におけるｂの縦軸は入力画素の輝度値の対数であり、横軸は背景画素の輝度値の対数である。照度変化があった場合、照度の変化率に応じた傾きの直線付近に、プロット５３３およびプロット５３４などのプロットが集中する。プロット５３３および５３４は、輝度が異なるがいずれの場合も、距離Ｄは式６より同程度になる。
このように、対数の差分を求める式６では、入力輝度が低くても距離Ｄが変わらないため、入力画像が比較的暗い場合であっても照度変化の有無を正確に判定することができる。
図１３は、第１の実施の形態の第１の変形例における分布図の一例である。同図におけるａは、画像内の一部の照度が変化した場合の入力画素および背景画素のそれぞれの輝度値の関係を示す図である。同図におけるａの縦軸は入力画素の輝度値であり、横軸は背景画素の輝度値である。また、点線で囲った領域内のプロットは、照度が変化した領域に対応するプロットである。これらのプロットの距離Ｄは、入力輝度が低いほど小さくなるため、距離閾値による切り分けが困難となる。
図１３におけるｂは、画像内の一部の照度が変化した場合の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す図である。同図におけるｂの縦軸は入力画素の輝度値の対数であり、横軸は背景画素の輝度値の対数である。また、点線で囲った領域内のプロットは、照度が変化した領域に対応するプロットである。これらのプロットの距離Ｄは、入力輝度が低くてもあまり変化しないため、距離閾値によって容易に分離することができる。
このように、第１の実施の形態における第１の変形例によれば、撮像装置１００は、画素値の対数の差分の分布の状態から照度変化の有無を判定するため、入力画像が比較的暗い場合における照度変化の誤判定を抑制することができる。
［第２の変形例］
上述の第１の実施の形態では、照度変化があれば動体の検出を停止していたが、照度変化の有無にかかわらず、動体の検出を行ってもよい。例えば、ゆっくりとした照度変化が生じる場合には、動体検出を停止させる必要はない。第１の実施の形態における第２の変形例の撮像装置１００は、照度変化の有無にかかわらず、動体を検出する点において第１の実施の形態と異なる。
図１４は、第１の実施の形態の第２の変形例における撮像装置１００の動作の一例を示すフローチャートである。第２の変形例の撮像装置１００は、照度変化があった場合に（ステップＳ９０１：Ｙｅｓ）、露光制御処理を行う（ステップＳ９５０）。また、照度変化が無かった場合（ステップＳ９０１：Ｎｏ）、または、ステップＳ９５０の後に、動体の検出を行う（ステップＳ９０２）。この第２の変形例では、照度変化の有無の検出結果に基づいて露光量が適切な値に制御されるため、動体の検出精度が向上する。
このように、第１の実施の形態における第２の変形例によれば、撮像装置１００は、照度変化の有無にかかわらず、動体を検出するため、照度変化が生じた場合であっても動体を検出することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、輝度値の相違度の全てを用いて、照度変化の有無を判定していたが、必ずしも相違度の全てを用いる必要はない。入力画像に動体が写った場合には、その動体内のプロットは、他の値から大きく外れた値になることが多い。このような外れ値が多いと、距離Ｄが「０」付近に集中しているか否かを正確に判定することが困難となり、撮像装置１００が照度変化の有無を誤って判定するおそれがある。したがって、外れ値を除去してから、距離Ｄを求めることが望ましい。第２の実施の形態の撮像装置１００は、外れ値を除去してから、距離Ｄを求める点において第１の実施の形態と異なる。
図１５は、第２の実施の形態における照度変化判定部２００の一構成例を示すブロック図である。第２の実施の形態の照度変化判定部２００は、外れ値除去部２２１をさらに備える点において第１の実施の形態と異なる。
外れ値除去部２２１は、対応する入力画素および背景画素のそれぞれの画素値からなるプロットの集合の中から、外れ値を含むプロットを除去するものである。外れ値の除去においては、例えば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴリズムが用いられる。ＲＡＮＳＡＣアルゴリズムの詳細については後述する。外れ値除去部２２１は、外れ値を除去した残りのプロットを距離算出部２１１に供給する。
図１６は、第２の実施の形態における照度変化判定処理を示すフローチャートである。第２の実施の形態の照度変化判定処理は、計数値ＣＮＴの初期化前に、外れ値を除去するための外れ値除去処理（ステップＳ９２０）を実行する点において第１の実施の形態と異なる。
なお、第２の実施の形態においても変形例と同様に、撮像装置１００は、輝度値の対数の差分を相違度として取得してもよい。
図１７は、第２の実施の形態の外れ値除去処理の一例を示すフローチャートである。この処理では、ＲＡＮＳＡＣアルゴリズムが用いられる。撮像装置１００は、ステップＳ９２２乃至Ｓ９２５を一定のループ回数（例えば、３０）、繰り返す。
撮像装置１００は、２つのプロットをランダムに選択し（ステップＳ９２２）、それらのプロットを通る直線ＬＮを取得する（ステップＳ９２３）。ここで、添え字のＮは、例えば、０乃至２９の整数である。撮像装置１００は、プロットごとに、直線ＬＮからの距離を式４により算出する（ステップＳ９２４）。そして、撮像装置１００は、距離が一定値以下のプロットの個数ＰＮを計数する（ステップＳ９２５）。
ステップＳ９２２乃至Ｓ９２５を一定回数、繰り返した後、撮像装置１００は、ＰＮが最も多い直線ＬＮを選択する（ステップＳ９２６）。そして、撮像装置１００は、選択したＬＮからの距離を式４により求め、その距離が一定値を超えるプロットを外れ値のプロットとして除去する（ステップＳ９２７）。
なお、撮像装置１００は、ステップＳ９２４およびＳ９２７において、式４から距離を算出しているが、式４の代わりに、次式により距離を差出してもよい。
D＝abs（a×log（x0）＋b×log（yo）＋c）／（a2＋b2）1/2 ・・・式７
また、撮像装置１００は、外れ値の除去にＲＡＮＳＡＣアルゴリズムを用いているが、最小二乗法やＭ推定法におけるアルゴリズムなど、ＲＡＮＳＡＣアルゴリズム以外のアルゴリズムを用いてもよい。最小二乗法やＭ推定法を用いる場合、撮像装置１００は、それらを用いて、プロットの分布に最もフィッティングする直線ａｘ＋ｂｙ＝０を求め、その直線からの距離が一定値を超えるプロットを外れ値として除去すればよい。
図１８は、第２の実施の形態におけるプロット選択前後の分布図の一例である。同図におけるａは、プロット選択前の分布図の一例であり、同図におけるｂは、プロット選択後の分布図の一例である。同図におけるａおよびｂの縦軸は入力画素の輝度値であり、横軸は背景画素の輝度値である。また、同図におけるｂの２つの黒丸は、ランダムに選択されたプロットである。撮像装置１００は、これらの２つのプロットを通る直線ＬＮを取得する。
図１９は、第２の実施の形態における外れ値除去処理で計数されたプロットを示す分布図の一例である。同図における縦軸は入力画素の輝度値であり、横軸は背景画素の輝度値である。また、黒丸は、選択され、かつ、計数されるプロットである。白丸は計数されるプロットであり、斜線の丸は、計数されないプロットである。同図に例示するように、撮像装置１００は、直線ＬＮからの距離が一定値以内のプロットの個数ＰＮを計数する。
上述の図１８および図１９を用いて説明した手順が、一定回数行われる。そして、撮像装置１００は、ＰＮが最も多い直線ＬＮを選択し、その選択したＬＮからの距離が一定値を超えるプロットを外れ値のプロットとして除去する。
図２０は、第２の実施の形態における入力画像および外れ値除去前後の分布図の一例である。同図におけるａは、入力画像５５１の一例を示す図である。この入力画像５５１には動体は写っておらず、照度変化が生じている。同図におけるｂは、外れ値除去前の入力画像５５１の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図である。同図におけるｃは、外れ値除去後の入力画像５５１の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図である。同図におけるｂおよびｃの縦軸は、入力画素の輝度値の対数であり、横軸は、背景画素の輝度値の対数である。同図におけるｂおよびｃに例示するように、照度変化の影響による外れ値が十分に除去されている。このため、撮像装置１００は、それぞれのプロットの距離Ｄが「０」付近に集中しているか否かを正確に判断することができる。
同図におけるｄは、入力画像５５２の一例を示す図である。この入力画像５５２には動体は写っており、照度変化はない。同図におけるｅは、外れ値除去前の入力画像５５２の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図である。同図におけるｆは、外れ値除去後の入力画像５５２の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図である。同図におけるｅおよびｆの縦軸は、入力画素の輝度値の対数であり、横軸は、背景画素の輝度値の対数である。同図におけるｅおよびｆに例示するように、動体の影響による外れ値が十分に除去されている。このため、撮像装置１００は、それぞれのプロットの距離Ｄが「０」付近に集中しているか否かを正確に判断することができる。
このように、本技術の第２の実施の形態によれば、撮像装置１００は、外れ値のプロットを除去してから距離Ｄ（相違度）を算出するため、各プロットの距離Ｄが「０」付近に集中しているか否かを正確に判定することができる。これにより、動体を正確に検出することができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、撮像装置１００は、「０」付近の距離閾値以下の距離Ｄの個数を計数し、その計数値ＣＮＴと計数値判定閾値との比較結果に基づいて距離Ｄが「０」付近に集中して分布しているか否かを判定していた。しかし、撮像装置１００は、距離Ｄの最頻値を求め、その最頻値と所定の最頻値判定閾値との比較結果から、距離Ｄの分布の状態を求めることもできる。計数値ＣＮＴを求める構成では画像の画素数が多いほど計数値ＣＮＴが多くなるため、画素数に応じて計数値判定閾値を変更する必要がある。一方、距離Ｄの最頻値は画素数に依存しないため、最頻値を求める方法では画素数に応じて最頻値判定閾値を変更する必要はない。この第３の実施の形態の撮像装置１００は、距離Ｄの最頻値を求め、その最頻値から、距離Ｄの分布の状態を求める点において第１の実施の形態と異なる。
図２１は、第３の実施の形態における照度変化判定部２００の一構成例を示すブロック図である。第３の実施の形態の照度変化判定部２００は、距離比較部２１２、計数部２１３および計数値比較部２１４の代わりに、ヒストグラム生成部２３１、最頻値取得部２３２および最頻値比較部２３３を備える点において第１の実施の形態と異なる。
第３の実施の形態の距離算出部２１１は、式５の代わりに次式により距離を算出してヒストグラム生成部２３１に供給する。
Ｄ＝｛ｌｏｇ（ｘ０）−ｌｏｇ（ｙ０）｝／２1/2 ・・・式８
なお、距離算出部２１１は、式８の代わりに次式により距離Ｄを算出してもよい。
Ｄ＝（ｘ０−ｙ０）／２1/2 ・・・式９
ヒストグラム生成部２３１は、距離Ｄごとに、その距離が算出された回数を度数として示すヒストグラムを生成するものである。
最頻値取得部２３２は、ヒストグラムにおいて度数が最も大きい距離を最頻値として取得するものである。
最頻値比較部２３３は、最頻値の絶対値と所定の最頻値判定閾値とを比較して、最頻値が最頻値判定閾値よりも大きいか否かを判定するものである。最頻値判定閾値には、変化量ｄＬが大きいほど大きな所定の実数が設定される。この最頻値比較部２３３は、その比較結果を照度変化判定結果として出力する。
図２２は、第３の実施の形態における分布図およびヒストグラムの一例である。同図におけるａは、照度変化があった場合の入力画素および背景画素のそれぞれの輝度値の関係を示す分布図の一例である。同図におけるａの縦軸は、入力画素の輝度値であり、横軸は背景画素の輝度値である。
また、図２２におけるｂは、照度変化があった場合の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図の一例である。同図におけるｂの縦軸は、入力画素の輝度値の対数であり、横軸は背景画素の輝度値の対数である。同図におけるａおよびｂに例示するように、照度変化があった場合には、傾きが「１」と異なる直線付近にプロットが集中する。それらのプロットを、傾き「−１」、切片「０」の直線上に投影すると、距離Ｄごとの度数を示すヒストグラムが得られる。
図２２におけるｃは、照度変化があった場合の距離Ｄごとの度数を示すヒストグラムの一例である。同図におけるｃの縦軸は、度数であり、横軸は距離Ｄである。このヒストグラムにおいて、撮像装置１００は、度数が最も高い距離Ｄを最頻値として求める。照度変化があった場合には、距離Ｄが「０」付近に集中しないため、距離Ｄの最頻値は、０から離れた値となる。
図２３は、第３の実施の形態における照度変化判定処理を示すフローチャートである。撮像装置１００は、全てのプロットについて、座標（ｍ，ｎ）に対応するプロットと、傾き「１」の直線との間の距離Ｄを式８により、ログスケールで算出する（ステップＳ９１９）。
そして、撮像装置１００は、距離Ｄごとの度数を示すヒストグラムを生成し（ステップＳ９３０）、そのヒストグラムにおいて、度数が最も多い距離Ｄを最頻値として求める（ステップＳ９３１）。
撮像装置１００は、最頻値が最頻値判定閾値以下であるか否かを判定する（ステップＳ９３２）。最頻値が最頻値判定閾値以下である場合に（ステップＳ９３２：Ｙｅｓ）、撮像装置１００は、照度変化判定フラグに「０」を設定する（ステップＳ９１７）。一方、最頻値が最頻値判定閾値より大きい場合に（ステップＳ９３２：Ｎｏ）、撮像装置１００は、照度変化判定フラグに「１」を設定する（ステップＳ９１８）。ステップＳ９１７またはＳ９１８の後、撮像装置１００は、照度変化判定処理を終了する。
図２４は、第３の実施の形態における撮像装置１００の動作を説明するための図である。同図におけるａは、照度変化がなく、動体が写っていない入力画像５６１の一例である。同図におけるｂは、入力画像５６１の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図の一例である。同図におけるｂの縦軸は、入力画素の輝度値の対数であり、横軸は背景画素の輝度値の対数である。同図におけるｂに例示するように、照度変化がないため、距離Ｄは、「０」付近に集中する。
図２４におけるｃは、入力画像５６１および背景画像から生成されたヒストグラムの一例である。同図におけるｃの縦軸は度数であり、横軸は距離Ｄである。同図におけるｃでは、度数が最も高い距離Ｄ（最頻値）は「０」である。最頻値が最頻値判定閾値以下であるため、入力画像５６１において動体検出が行われる。同図におけるｄは、入力画像５６１および背景画像の差分画像５６２の一例である。この差分画像５６２では、差分が閾値以上の領域がなく、動体が検出されない。
図２４におけるｅは、照度変化があり、動体が写っていない入力画像５６３の一例である。同図におけるｆは、入力画像５６３の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図の一例である。同図におけるｆの縦軸は、入力画素の輝度値の対数であり、横軸は背景画素の輝度値の対数である。同図におけるｆに例示するように、照度変化があったため、距離Ｄは、「０」付近に集中しない。
図２４におけるｇは、入力画像５６３および背景画像から生成されたヒストグラムの一例である。同図におけるｇの縦軸は度数であり、横軸は距離Ｄである。同図におけるｇでは、度数が最も高い距離Ｄ（最頻値）は「０」より大きく、最頻値判定閾値を超える。最頻値が最頻値判定閾値より大きいため、入力画像５６３において動体検出は行われず、露光制御が行われる。同図におけるｈは、露光制御後の入力画像５６４の一例である。
図２４におけるｉは、照度変化がなく、人間５６６が写った入力画像５６５の一例である。同図におけるｊは、入力画像５６５の入力画素および背景画素のそれぞれの輝度値の対数の関係を示す分布図の一例である。同図におけるｊの縦軸は、入力画素の輝度値の対数であり、横軸は背景画素の輝度値の対数である。同図におけるｊに例示するように、照度変化がないため、距離Ｄは、「０」付近に集中する。
図２４におけるｋは、入力画像５６５および背景画像から生成されたヒストグラムの一例である。同図におけるｋの縦軸は度数であり、横軸は距離Ｄである。同図におけるｋでは、度数が最も高い距離Ｄ（最頻値）は「０」である。最頻値が最頻値判定閾値以下であるため、入力画像５６５において動体検出が行われる。同図におけるｈは、入力画像５６５および背景画像の差分画像５６７の一例である。この差分画像５６７においては、人間５６６に対応する領域５６８が、動体として検出される。
このように、本技術の第３の実施の形態によれば、撮像装置１００は、距離Ｄの最頻値が閾値以下であるか否かにより照度変化の有無を判定するため、様々な画素数の入力画像において、動体を正確に検出することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
（１）入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得部と、
前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定部と
を具備する画像処理装置。
（２）前記入力画像について動体の検出を行う動体検出部をさらに具備する
前記（１）記載の画像処理装置。
（３）前記判定部は、前記照度変化があった場合には前記動体の検出を停止させる
前記（２）記載の画像処理装置。
（４）前記動体検出部は、前記入力画像および前記基準画像の差分画像を生成して当該差分画像において差分が所定の差分閾値より大きい領域を前記動体として検出する前記（２）または（３）記載の画像処理装置。
（５）前記分布において所定範囲内の値の前記相違度の個数を計数して計数値を出力する計数部をさらに具備し、
前記判定部は、前記計数値が所定の計数値判定閾値を超えるか否かにより前記照度変化の有無を判定する前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記分布において前記相違度の最頻値を求める最頻値取得部をさらに具備し、
前記判定部は、前記最頻値が所定範囲内にあるか否かにより前記照度変化の有無を判定する前記（１）から（５）のいずれかに記載の画像処理装置。
（７）前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値からなる組の集合から外れ値を含む組を除去する外れ値除去部をさらに具備し、
前記相違度取得部は、前記外れ値を含む組が除去された前記集合において前記相違度を取得する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記相違度取得部は、前記基準画素の画素値の対数と前記入力画素の画素値の対数との差分を前記相違度として取得する前記（１）から（７）のいずれかに記載の画像処理装置。
（９）入力画素が配列された入力画像を時系列順に撮像する撮像部と、
前記入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得部と、
前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定部と
を具備する撮像装置。
（１０）前記照度変化が無い場合には前記撮像部の露光量を所定量に制御する露光制御部をさらに具備する前記（９）記載の撮像装置。
（１１）相違度取得部が、入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得手順と、
判定部が、前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定手順と
を具備する画像処理方法。
（１２） 相違度取得部が、入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得手順と、
判定部が、前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定手順と
をコンピュータに実行させるためのプログラム。
１００ 撮像装置
１１０ 撮像部
１２０ 画像処理部
１２１ ホワイトバランス処理部
１２２ デモザイク処理部
１２３ 動体検出部
１３０ 露光制御部
１４０ 背景画像記憶部
１５０ 動画記録部
２００ 照度変化判定部
２１１ 距離算出部
２１２ 距離比較部
２１３ 計数部
２１４ 計数値比較部
２２１ 外れ値除去部
２３１ ヒストグラム生成部
２３２ 最頻値取得部
２３３ 最頻値比較部

Claims (11)

  1. 入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得部と、
    前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定部と
    を具備し、
    前記相違度取得部は、前記基準画素の画素値の対数と前記入力画素の画素値の対数との差分を前記相違度として取得する
    画像処理装置。
  2. 前記入力画像について動体の検出を行う動体検出部をさらに具備する
    請求項１記載の画像処理装置。
  3. 前記判定部は、前記照度変化があった場合には前記動体の検出を停止させる
    請求項２記載の画像処理装置。
  4. 前記動体検出部は、前記入力画像および前記基準画像の差分画像を生成して当該差分画像において差分が所定の差分閾値より大きい領域を前記動体として検出する請求項２記載の画像処理装置。
  5. 前記分布において所定範囲内の値の前記相違度の個数を計数して計数値を出力する計数部をさらに具備し、
    前記判定部は、前記計数値が所定の計数値判定閾値を超えるか否かにより前記照度変化の有無を判定する請求項１記載の画像処理装置。
  6. 前記分布において前記相違度の最頻値を求める最頻値取得部をさらに具備し、
    前記判定部は、前記最頻値が所定範囲内にあるか否かにより前記照度変化の有無を判定する請求項１記載の画像処理装置。
  7. 前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値からなる組の集合から外れ値を含む組を除去する外れ値除去部をさらに具備し、
    前記相違度取得部は、前記外れ値を含む組が除去された前記集合において前記相違度を取得する請求項１記載の画像処理装置。
  8. 入力画素が配列された入力画像を時系列順に撮像する撮像部と、
    前記入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得部と、
    前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定部と
    を具備し、
    前記相違度取得部は、前記基準画素の画素値の対数と前記入力画素の画素値の対数との差分を前記相違度として取得する
    撮像装置。
  9. 前記照度変化があった場合には前記撮像部の露光量を所定量に制御する露光制御部をさらに具備する請求項８記載の撮像装置。
  10. 相違度取得部が、入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得手順と、
    判定部が、前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定手順と
    を具備し、
    前記相違度取得部は、前記基準画素の画素値の対数と前記入力画素の画素値の対数との差分を前記相違度として取得する
    画像処理方法。
  11. 相違度取得部が、入力画素が配列された入力画像が入力されるたびに当該入力画像と基準画素が配列された基準画像とにおいて前記基準画素と当該基準画素に対応する前記入力画素とのそれぞれの画素値の相違度を前記入力画素ごとに取得する相違度取得手順と、
    判定部が、前記基準画像および前記入力画像のそれぞれを撮像した際の所定変化量を超える照度変化の有無を前記入力画素ごとの前記相違度の分布の状態に基づいて判定する判定手順と
    をコンピュータに実行させるためのプログラムであって、
    前記相違度取得部は、前記基準画素の画素値の対数と前記入力画素の画素値の対数との差分を前記相違度として取得する
    プログラム。
JP2015014891A 2015-01-29 2015-01-29 画像処理装置、撮像装置、画像処理方法およびプログラム Active JP6463153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015014891A JP6463153B2 (ja) 2015-01-29 2015-01-29 画像処理装置、撮像装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015014891A JP6463153B2 (ja) 2015-01-29 2015-01-29 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016140000A JP2016140000A (ja) 2016-08-04
JP6463153B2 true JP6463153B2 (ja) 2019-01-30

Family

ID=56560528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015014891A Active JP6463153B2 (ja) 2015-01-29 2015-01-29 画像処理装置、撮像装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6463153B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290959A (ja) * 2001-03-23 2002-10-04 Fujitsu General Ltd 侵入者検出方法および装置
JP2009169717A (ja) * 2008-01-17 2009-07-30 Meidensha Corp 画像処理による侵入者検知装置
JP5710230B2 (ja) * 2010-12-07 2015-04-30 株式会社日立国際電気 監視システムおよび監視方法

Also Published As

Publication number Publication date
JP2016140000A (ja) 2016-08-04

Similar Documents

Publication Publication Date Title
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
CN107258077B (zh) 用于连续自动聚焦(caf)的***和方法
US9609355B2 (en) Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5979553B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP5457606B2 (ja) 画像処理方法及び装置
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
US20160035099A1 (en) Depth estimation apparatus, imaging device, and depth estimation method
JP2006266848A (ja) 距離測定装置
US10063779B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US9536169B2 (en) Detection apparatus, detection method, and storage medium
CN109819206B (zh) 基于影像的物件追踪方法及其***与电脑可读取存储媒体
US9438832B2 (en) Image processing apparatus and image processing method
JP6091172B2 (ja) 特徴点検出装置およびプログラム
JP5968379B2 (ja) 画像処理装置およびその制御方法
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
US10965877B2 (en) Image generating method and electronic apparatus
JP6463153B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6305232B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
US20180150966A1 (en) System and method for estimating object size
EP2775422A2 (en) Object detection apparatus, program, and integrated circuit
WO2015159585A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6016546B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181228

R150 Certificate of patent or registration of utility model

Ref document number: 6463153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150