JP2018207176A - 画像処理装置、撮像装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2018207176A
JP2018207176A JP2017107072A JP2017107072A JP2018207176A JP 2018207176 A JP2018207176 A JP 2018207176A JP 2017107072 A JP2017107072 A JP 2017107072A JP 2017107072 A JP2017107072 A JP 2017107072A JP 2018207176 A JP2018207176 A JP 2018207176A
Authority
JP
Japan
Prior art keywords
image data
correction
signal level
evaluation value
reduced image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017107072A
Other languages
English (en)
Inventor
宣人 松田
Nobuto Matsuda
宣人 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017107072A priority Critical patent/JP2018207176A/ja
Priority to US15/974,003 priority patent/US20180352153A1/en
Publication of JP2018207176A publication Critical patent/JP2018207176A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 縮小した画像データを用いた場合であっても、露出の制御のための評価値を高い精度で得ることができる画像処理装置を提供する。
【解決手段】 画像処理装置は、画像データに帯域制限処理を行う帯域制限手段と、帯域制限処理が行われた画像データを縮小して縮小された画像データを生成する縮小手段と、縮小された画像データから得られた信号レベルに対して、帯域制限処理の減衰率に応じた補正処理を行う補正手段と、補正処理が行われた画像データに基づいて、画像データの明るさを示す評価値を生成する評価値生成手段、を有する。
【選択図】 図1

Description

本発明は画像データの明るさを評価するための評価値の作成方法に関するものである。
撮像装置で露出を制御するために、撮像により得られた画像データの明るさを評価する必要がある。この評価のために用いられる信号として、例えば、画像データから得られる輝度値から生成される評価値や、画像データに含まれるR信号、G信号、および、B信号のうち、最大となる値から生成される評価値などが知られている。これらの評価値のピークを検知し、ピークに対応する被写体の明るさに基づいて、画像データに飽和領域が生じないように露出を制御する方法が知られている。
しかしながら、画像データの画素数やフレームレートの増加によって、処理すべき信号の量が増加すると、これら明るさを評価するための値を算出する画像処理回路の規模が増えたり、消費電力が増大したりするという課題があった。
そこで、画像データに対して縮小処理を行って縮小画像データを生成し、この縮小画像データから評価値を生成する方法がある(例えば、特許文献1)。
特開2015−061137号公報
画像データに対して縮小処理を行うと、高周波成分による折り返りが生じる。そのため、画像データに対して縮小処理を行う場合には、ローパスフィルタなどを適用し、ナイキスト周波数の近傍、および、それよりも高い周波数成分の信号レベルを減衰させる帯域制限を行ってから、縮小処理を行うことが一般的である。
しかしながら、折り返りを防ぐために帯域制限を行うと、ナイキスト周波数近傍の周波数成分の信号レベルが小さくなるため、点光源のような高い周波数成分を有する被写体の輝度成分が減衰してしまう。よって、ような高い周波数成分を有する被写体が、画像データの露出制御に影響を与えるような高い輝度レベルを備えているような場合には、精度の高い露出制御ができないケースが生じる可能性がある。
本発明はこのような問題に鑑みてなされたものであり、縮小した画像データを用いた場合であっても、露出の制御のための評価値を高い精度で得ることができる画像処理装置を提供することを目的としている。
上記解題を解決するため、本願は、画像データに帯域制限処理を行う帯域制限手段と、前記帯域制限処理が行われた画像データを縮小して縮小された画像データを生成する縮小手段と、前記縮小された画像データから得られた信号レベルに対して、前記帯域制限処理の減衰率に応じた補正処理を行う補正手段と、前記補正処理が行われた前記画像データに基づいて、前記画像データの明るさを示す評価値を生成する評価値生成手段と、を有することを特徴とする画像処理装置を提供するものである。
同様に、上記課題を解決するため、本願は、画像データに帯域制限処理を行う帯域制限手段と、前記帯域制限処理が行われた画像データに縮小処理を行って縮小された画像データを生成する縮小手段と、前記縮小された画像データに含まれるそれぞれの領域が所定の条件を満たすかを判定する判定手段と、前記所定の条件を満たすと判定された領域においては、前記縮小された画像データの信号をレベルに基づき、前記所定の条件を満たすと判定されなかった領域においては、前記帯域制限処理と前記縮小処理が行われる前の画像データの信号レベルに基づいて、前記画像データの明るさを示す評価値を生成する評価値生成手段と、を有することを特徴とする画像処理装置を提供するものである。
以上説明したように、本発明によれば、縮小した画像データを用いた場合であっても、露出の制御のための評価値を高い精度で得ることができる。
第1の実施形態に係る画像処理装置の構成例を示すブロック図である。 縮小処理によって折り返りが生じることを説明するための図である。 第1の実施形態における画像データから評価値を生成する処理を説明するためのフローチャートである。 第2の実施形態に係る画像処理装置の構成例を示すブロック図である。 第2の実施形態における画像データから評価値を生成する処理を説明するためのフローチャートである。 第3の実施形態に係る画像処理装置の構成例を示すブロック図である。 第3の実施形態における画像データから評価値を生成する処理を説明するためのフローチャートである。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態では、画像処理装置としてデジタルカメラを例にあげて説明するが、画像データから露出のための評価値を生成することが可能な装置であれば、デジタルカメラに限らない。例えば、デジタルビデオカメラやパーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理装置、或いは、撮像装置として実現することもできる。なお、図1の画像処理装置において、光学レンズ101、撮像素子102、あるいは、モニタ106のような特定の物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
図1において、光学レンズ101は、ピントをあわせるためのフォーカス機構、光量や被写界深度を調節するための絞り機構、光量を調節するためのNDフィルタ機構、焦点距離を変化させるためのズーム機構などを有する。ただし、レンズの種類によっては前記の機構のうち幾つかの機構がないものもの存在する。本実施形態では光学レンズ101は、撮像素子102に像を結像するする機能さえ持っていれば、いかなる光学レンズであっても構わない。撮像素子102は、CCDイメージセンサーや、CMOSイメージセンサーであり、光学レンズ101からの入射光を電気信号に変換して出力する。
分配回路103は撮像素子102によって電気信号に変換された画像データを複製して2つに分配し、信号処理回路104と評価回路122に出力する。信号処理回路104は、画像データに対してノイズ抑圧処理、ガンマ補正処理、輪郭強調処理、および、色補正処理などを行う回路を含む。信号処理回路104で出力された画像データは、出力用加工回路105にて出力用の画像データに加工される。モニタ106は出力用加工回路105から受け取った画像データを用いて動画の表示を行う。図1ではモニタ106のみを例示しているが、出力用加工回路105から出力された画像データは、画像データを記録するための記録メディアや、外部の情報処理装置に画像データを出力する出力インターフェースにも入力される。
評価回路122は、帯域制限フィルタ107、縮小回路108、分割回路109、第1の帯域検出回路110、第1の信号補正回路111、および、第1の評価値生成回路112を有する。評価回路122は、さらに、第2の帯域検出回路113、第2の信号補正回路114、第2の評価値生成回路115、第3の帯域検出回路116、第3の信号補正回路117、第3の評価値生成回路118、第4の帯域検出回路119、第4の信号補正回路120、および、第4の評価値生成回路121を有する。
分配回路103から出力された画像データは、帯域制限フィルタ107に入力される。帯域制限フィルタ107は、画像データに対して帯域制限処理を行う。これは、後段の縮小処理におけるサンプリング間隔によって定まるナイキスト周波数よりも高い周波数成分が、縮小処理によって折り返りとなってしまうことを防ぐために必要な処理である。
図2に縮小処理によって折り返りが生じることを説明するための図を示す。図2(a)は帯域制限処理を適用する前の画像データのヒストグラムを表す。このヒストグラムは横軸が周波数成分であり、右に行くほど高周波成分であることを示す。縦軸はそれぞれの周波数成分の信号の強度であり、被写体に依存する。図2(b)は帯域制限処理をせずに画像データに縮小処理を適用した場合のヒストグラムを示す。ナイキスト周波数よりも高い周波数成分が、ナイキスト周波数よりも低い周波数に折り返り、ナイキスト周波数近傍の周波数成分の強度が変化してしまっていることがわかる。これに対し、図2(c)は縮小処理の前の画像データに帯域制限処理を適用してから、縮小処理を適用した場合のヒストグラムを示す図である。ナイキスト周波数よりも高い周波数成分の強度が抑圧されてほぼ無くなり、ナイキスト周波数よりは低いがナイキスト周波数近傍となる周波数成分の強度も抑圧されている。図2(d)は画像データに帯域制限処理を適用した後に縮小処理を適用した場合のヒストグラムを示す図えある。ナイキスト周波数よりも高い周波数成分の強度がほぼ0となり、ナイキスト周波数よりも低い周波数成分の強度は図2(c)とほぼ同じである。
帯域制限フィルタ107で帯域制限処理が適用された画像データは、縮小回路108にて縮小処理が適用され、画素数が少ない画像データが生成される。評価回路122は、この縮小された画像データから露出制御に用いる評価値を生成する。帯域制限フィルタ107から出力された画像データは分割回路109に入力される。分割回路109は、入力された画像データを4つの領域に分割し、分割した1/4のサイズの4つの画像データを、第1〜第4の帯域検出回路110、112、116、119に入力する。第1の信号補正回路111は、第1の帯域検出回路110から出力されたデータに対して、帯域制限フィルタ107の減衰特性に応じた補正処理を行い、第1の評価値生成回路112は補正処理が行われたデータから露出制御に用いるための評価値を生成する。これは、第2〜第4の信号補正回路114、117、120および第2〜第4の評価値生成回路115、118、121においても同様である。このように、画面を4分割し、分割されたそれぞれの画像領域において、露出制御に用いるための評価値を生成することができる。
マイコン123は、分割した4つの画像データのそれぞれから得られた評価値に基づいて露出制御のための制御量を算出し、制御回路124に出力する。制御回路124はこの制御量に基づいて、光学レンズ101における絞りやNDフィルタを制御する。また、制御回路124は撮像素子102の電子シャッターやゲインを制御する。
次に、第1の帯域検出回路110、第1の信号補正回路111、および、第1の評価値生成回路における処理について、図3を用いて説明する。第2〜第4の帯域検出回路、第2〜第4の信号補正回路、第2〜第4の評価値生成回路においても同様の処理が行われる。
図3は、第1の実施形態における、画像データから評価値を生成する処理を説明するためのフローチャートである。ステップS301において、帯域検出回路110が、入力された画像データのうち着目画素を含む所定範囲の画像データを選択し、高速フーリエ変換(FFT)を適用して周波数成分に分離し、周波数ごとの信号の強度分布であるスペクトラムを得る。
ステップS302において、帯域検出回路110は、帯域制限フィルタ107の減衰特性の逆特性を取得する。帯域制限フィルタ107の特性は既知であるため、その逆特性を予め不図示のメモリに記憶させておけばよい。
ステップS303で、帯域検出回路110は、取得した逆特性の最小値が1となるように正規化処理を行い、これを補正ゲインの元データとする。
ここで、補正ゲインが大きすぎると、補正ゲインを適用後の信号に含まれるノイズ成分の比率が大きくなってしまうおそれがある。そのため、ステップS304で、帯域検出回路110は所定のゲイン値Aよりも大きくなるゲインを所定値Aでクリップし、最終的な補正ゲインとする。
ステップS305で、信号補正回路111がステップS301で得られたスペクトラムに対して、ステップS304で得られた補正ゲインを乗じて、補正済みのスペクトラムを生成する。
ステップS306で、評価値生成回路112はステップS305で算出された補正済みのスペクトラムに対して、逆フーリエ変換を適用することで、着目画素を含む所定範囲の画像データの信号レベルを得る。
第1の帯域検出回路110、第1の信号補正回路111、および、第1の評価値生成回路112は、これらステップS301〜S306の処理を、帯域検出回路110に入力された画像データの全域に対して行うまで繰り返す(ステップS307)。
そして、ステップS308で、評価値生成回路112は、ステップS306で得られた信号レベルを所定の方法で演算することで評価値を生成し、このフローチャートを終了する。ここで言う所定の方法とは、露出制御の目的に合わせて、様々な算出方法が考えられる。例えば、この信号レベルは輝度値に応じた値であるため、信号レベルのピークを求め、このピークの大きさと所定レベルとの差分を演算する方法が考えられる。あるいは、帯域検出回路110に入力された画像データの全域の振幅レベルの平均値を求め、この平均値と所定値との差分を演算する方法が考えられる。マイコン123はこの評価値に基づいて露出制御のための制御量を算出することで、画像データの明るさを所望の範囲とすることができる。
以上説明したように、本実施形態では、まず縮小された画像データを周波数成分に変換する。そして、帯域制限処理による信号レベルの減衰を補償するための補正ゲインを周波数成分に適用し、それぞれの周波数成分を縮小処理を適用する前の振幅に近いレベルまで回復させる。この構成により、縮小後の画像データから評価値を算出する場合であっても、露出制御の精度を向上することができる。なお、本実施形態では、画面を4分割し、分割されたそれぞれの画像領域において、露出制御に用いるための評価値を得る構成としたが、必ずしも分割する必要はなく、帯域検出回路、信号補正回路、および、評価値生成回路をそれぞれ1つとしても良い。
<第2の実施形態>
次に、本発明の第2の実施形態について説明を行う。第1の実施形態では周波数特性の補正をするのにフーリエ変換を行って周波数ごとの強度分布を得たが、本実施形態ではフーリエ変換は行わない。
図4は、第2の実施形態に係る画像処理装置の構成例を示すブロック図である。光学レンズ101〜モニタ106、マイコン123、および、制御回路124は第1の実施形態と同じものであり、評価回路422が第1の実施形態と異なる。
評価回路422において、帯域制限フィルタ407は、画像データに対して帯域制限処理を行う。帯域制限フィルタ407で帯域制限処理が適用された画像データは、縮小回路408にて縮小処理が適用され、画素数が少ない画像データが生成される。この帯域制限フィルタ407および縮小回路408は、それぞれ図1の帯域制限フィルタ107および縮小回路108と同じ処理を行う。補正値生成回路410は高輝度被写体の周波数成分を推定し、補正値を決定する。信号補正回路411は、補正値生成回路410で決定された補正値を用いて、縮小処理が適用された画像データの信号レベルを補正し、評価値生成回路412は補正処理が行われたデータから露出制御に用いるための評価値を生成する。
次に、補正値生成回路410、信号補正回路411、および、評価値生成回路412における処理について、図5を用いて説明する。
図5は、第2の実施形態における、画像データから評価値を生成する処理を説明するためのフローチャートである。ステップS501で、補正値生成回路410は、画像データの全ての画素の信号レベルの最大値Pを検出する。あるいは、前フレームの画像データの全ての画素の信号レベルの最大値Pを取得するようにしてもよい。
ステップS502で、補正値生成回路410は、最大値Pに対して所定の割合αを掛けた値を閾値として設定する。この閾値は、最大値Pと同程度の輝度を有する被写体を検出するための値であり、例えば、割合αの値として0.95が設定される。また、後述する画素のカウント値を0に設定する。
ステップS503で、補正値生成回路410は、画像データの左上の座標に位置する画素から順に選択し、選択した画素の信号レベルとステップS502で定めた閾値を比較をする。その結果、信号レベルが閾値よりも大きければステップS504に進む。
ステップS504で、補正値生成回路410は、選択している画素の信号レベルと、メモリに記憶されている信号レベルを比較し、選択している画素の信号レベルのほうが大きければステップS505に進む。このメモリには、その前に選択された画素のうち、信号レベルが閾値以上であり、かつ、それまで選択された画素の中で最大値となる信号レベルと、その画素の座標(位置)が記憶されている。なお、メモリに信号レベルと画素の座標が記憶されていない場合には、ステップS505に進む。
ステップS505で、補正値生成回路410は、画素のカウントに1を加え、選択している画素の座標と信号レベルで、メモリに記憶されている情報を更新し、ステップS511に進む。
ステップS506で、補正値生成回路410は、画素のカウントに1を加えるが、メモリに記憶されている情報は更新せずに、ステップS511に進む。
ステップS511で、補正値生成回路410は、全ての画素がステップS503で選択されたかを判定し、全ての画素が選択されていればステップS512に進み、まだ選択されていない画素が残っている場合にはステップS503に戻る。
ステップS503に戻り、選択している画素の信号レベルが閾値以下であれば、ステップS507に進む。
ステップS507で、補正値生成回路410は、画素のカウント値を、直近までカウントされていた高輝度被写体のサイズとみなし、このサイズに対応する周波数成分を決定する。
ステップS508で、補正値生成回路410は、予め用意された補正値の中から、選択した周波数成分に対応する補正値を選択する。
ステップS509で、信号補正回路411は、その時点で最後にステップS505で更新された信号レベルを、ステップS508で選択した補正値で補正し、ピーク値の候補としてメモリに記憶する。
ステップS510で、補正値生成回路410は、画素のカウント値を0に設定し、ステップS509で更新された画素の座標と信号レベルをクリアして、ステップS511に進む。
ここで、補正値生成回路410が選択した画素の信号レベルが閾値を超えることが連続すれば、ステップS504、S505(またはS506)、S511、および、S503の処理が繰り返される。このとき、画素のカウント値が増加するとともに、メモリにはその中で最も高い信号レベルを有する画素の座標と、その信号レベルが記憶される。その後、補正値生成回路410が選択した画素の信号レベルが閾値以下になると、その時点におけるカウント値から、高輝度被写体のサイズ(幅)が推測されるため、このサイズに基づいて、この高輝度被写体において支配的な周波数成分を決定する。このサイズに対する支配的な周波数成分の値は、経験や実験的に求める必要があり、予めメモリに用意しておく必要がある。高輝度被写体において支配的な周波数成分がわかれば、帯域制限フィルタ407の帯域制限処理による信号レベルの減衰の程度は既知であるため、これをを補償するためのゲインを決定することができる。そして、信号補正回路411が、この高輝度被写体における最も高い信号レベルに対して、このゲインを掛けることで、帯域制限処理による信号レベルの減衰を補償した後の信号レベルをのピーク値を得ることができる。そして、補正値生成回路410は、画素のカウント値などをリセットし、次の画素を選択する。このような処理を行うことで、ステップS502で設定した閾値を超える信号レベルを有する高輝度被写体ごとに、帯域制限処理による信号レベルの減衰を補償した後の信号レベルをのピーク値を得ることができる。
ステップS512で、評価値生成回路412は、ステップS509でメモリに記憶されたピーク値の中から最大値のものを選択し、これから評価値を演算してマイコン123に送信し、このフローチャートを終了する。
マイコン123はこの評価値を元に露出の制御を行うことで、画像データを飽和させないようにすることができる。
以上のように、本実施形態では、第1の実施形態のようにフーリエ変換および逆フーリエ変換を行わずとも、それぞれの周波数成分を縮小処理を適用する前の振幅に近いレベルまで回復させることができる。なお、本実施形態においても、第1の実施形態と同様に、画像データを複数の領域に分割して処理するようにしても構わない。ただし、画像データを単純に分割すると境界部に掛かる被写体のサイズを検出できなくなるため、分割された領域が互いに重複する領域を有するように設定することが望ましい。
<第3の実施形態>
次に、本発明の第3の実施形態について説明を行う。本実施形態では、第1および第2の実施形態における信号補正回路111、411を備えておらず、縮小処理を施していない画像データに対して切り出し処理を行う回路を有する。
図6は、第3の実施形態に係る画像処理装置の構成例を示すブロック図である。光学レンズ101〜モニタ106、マイコン123、および、制御回路124は第1の実施形態と同じものであり、評価回路622が第1の実施形態と異なる。
評価回路622において、帯域制限フィルタ607は、画像データに対して帯域制限処理を行う。帯域制限フィルタ607で帯域制限処理が適用された画像データは、縮小回路608にて縮小処理が適用され、画素数が少ない画像データが生成される。この帯域制限フィルタ607および縮小回路608は、それぞれ図1の帯域制限フィルタ107および縮小回路108と同じ処理を行う。周波数判定回路610は、図4の補正値生成回路410と同様の方法で、高輝度画素数のカウント値に基づいて高輝度被写体において支配的な周波数成分を決定する。そして、この周波数成分の決定に基づいて、メモリ601に記憶された帯域制限処理および縮小処理が行われる前の画像データから部分領域を切り出し、注目画素に対応する信号レベルを評価値生成回路612に送信する。評価値生成回路612は、周波数判定回路610もしくは切り出し回路602から送信された信号レベルに基づいて、露出制御に用いるための評価値を生成する。
次に、メモリ601、切り出し回路602、周波数判定回路610、および、評価値生成回路612における処理について、図7を用いて説明する。図7は、第3の実施形態における、画像データから評価値を生成する処理を説明するためのフローチャートである。図7のステップS701乃至S707、および、S710乃至S712は、図5のステップS501乃至S507、および、S510乃至S512と同じであるため、説明を省略する。これらのステップにおいて、図5の補正値生成回路410が行っていた処理は、図7では周波数判定回路610が行うものとする。
ステップS721で、周波数判定回路610は、ステップS707で決定された、高輝度被写体において支配的な周波数成分が、閾値未満の周波数であるという条件を満たすかを判定する。図2(c)に示すように、周波数が高いほど信号レベルの減衰率は高くなる。この閾値は、帯域制限処理による減衰率が小さく、その影響が無視できると判断される周波数のうち、最も高い周波数に設定される。つまり、周波数がこの閾値より高いと、帯域制限処理による減衰率が無視できないということになる。周波数判定回路610は、閾値以下の周波数であると判定すると、縮小処理された画像データの、選択された画素の信号レベルをそのまま評価値生成回路612に送信し、ステップS710に進む。反対に、閾値より大きい周波数であると判定すると、ステップS722に進む。
ステップS722で、切り出し回路602は、周波数判定回路610が閾値より大きい周波数であると判定した対象である画素に対応する部分領域を、メモリ601に記憶された画像データから切り出す。メモリ601には、分配回路103から出力された画像データであって、帯域制限処理と縮小処理が適用されていない画像データが記憶されている。縮小回路608の縮小率に応じて、メモリ601に記憶された画像データのうち、周波数判定回路610が閾値より大きい周波数であると判定した画素に対応する部分領域を切り出すことで、減衰されていない信号レベルを得ることができる。切り出し回路602は、切り出した領域に含まれる画素の信号レベルのうち、最も高い信号レベルを決定する。そして、決定した信号レベルを、縮小処理された画像データの選択された画素の信号レベルとして、評価値生成回路612に送信し、ステップS710に進む。
以上のように、本実施形態では、縮小された画像データにおいて信号レベルが減衰率が高いと判断した画素については、元の画像データから信号レベルを決定する。元の画像データ全体を参照するのではなく、縮小された画像データにおいて信号レベルが減衰率が高いと判断した画素についてのみ参照するので、処理負荷を抑えることができる。
また、全ての画素を含む範囲に対して、高輝度画素が連続する領域を抽出してから、抽出された領域に対して、ステップS707乃至S723で説明した処理を行うようにしてもよい。
<その他の実施形態>
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
101 光学レンズ
102 撮像素子
103 分配回路
104 信号処理回路
105 出力用加工回路
106 モニタ
122、422、622 評価回路
123 マイコン
124 制御回路

Claims (13)

  1. 画像データに帯域制限処理を行う帯域制限手段と、
    前記帯域制限処理が行われた画像データを縮小して縮小された画像データを生成する縮小手段と、
    前記縮小された画像データから得られた信号レベルに対して、前記帯域制限処理の減衰率に応じた補正処理を行う補正手段と、
    前記補正処理が行われた前記画像データに基づいて、前記画像データの明るさを示す評価値を生成する評価値生成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記補正手段は、前記縮小された画像データを周波数成分に分離し、それぞれの周波数成分の信号レベルに対して、それぞれの周波数成分に対応する減衰率に応じた補正を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正手段は、それぞれの周波数成分の信号レベルに対して、それぞれの周波数成分に対応するゲインを適用し、該ゲインを所定値を超えないように設定することを特徴とする請求項2の撮像装置。
  4. 前記補正手段は、前記縮小された画像データに対してフーリエ変換を適用することで、前記縮小された画像データを周波数成分に分離することを特徴とする請求項2または3に記載に画像処理装置。
  5. 前記補正手段は、それぞれの周波数成分に対応する減衰率に応じた前記補正が行われた後の周波数成分に対して、逆フーリエ変換を適用することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
  6. 前記補正手段は、前記縮小された画像データにおいて信号レベルが閾値より大きい画素が連続する数をカウントし、該カウントに基づいて、前記帯域制限処理の減衰率に応じた補正処理を行うことを特徴とする請求項1に記載の画像処理装置。
  7. 前記補正手段は、前記カウントに基づいて、カウントの対象となった領域に含まれる画素の信号レベルに対して適用するゲインを決定することを特徴とする請求項6に記載の画像処理装置。
  8. 画像データに帯域制限処理を行う帯域制限手段と、
    前記帯域制限処理が行われた画像データに縮小処理を行って縮小された画像データを生成する縮小手段と、
    前記縮小された画像データに含まれるそれぞれの領域が所定の条件を満たすかを判定する判定手段と、
    前記所定の条件を満たすと判定された領域においては、前記縮小された画像データの信号をレベルに基づき、前記所定の条件を満たすと判定されなかった領域においては、前記帯域制限処理と前記縮小処理が行われる前の画像データの信号レベルに基づいて、前記画像データの明るさを示す評価値を生成する評価値生成手段と、
    を有することを特徴とする画像処理装置。
  9. 前記判定手段は、前記縮小された画像データにおいて信号レベルが閾値より大きい画素が連続する数をカウントし、該カウントに基づいて、それぞれの領域における周波数が閾値以下であるかを判定し、周波数が閾値以下である領域を前記所定の条件を満たす領域であると判定することを特徴とする請求項8に記載の画像処理装置。
  10. 撮像手段と、
    前記撮像手段の露出を制御する制御手段と、
    請求項1乃至9のいずれか1項に記載の画像処理装置と、を有し、
    前記制御手段は、前記評価値生成手段によって生成された評価値に基づいて、前記撮像手段の露出を制御することを特徴とする撮像装置。
  11. 画像データに帯域制限処理を行う工程と、
    前記帯域制限処理が行われた画像データを縮小して縮小された画像データを生成す工程と、
    前記縮小された画像データから得られた信号レベルに対して、前記帯域制限処理の減衰率に応じた補正処理を行う工程と、
    前記補正処理が行われた前記画像データに基づいて、前記画像データの明るさを示す評価値を生成する工程と、
    を有することを特徴とする画像処理方法。
  12. 画像データに帯域制限処理を行う工程と、
    前記帯域制限処理が行われた画像データに縮小処理を行って縮小された画像データを生成する工程と、
    前記縮小された画像データに含まれるそれぞれの領域が所定の条件を満たすかを判定する工程と、
    前記所定の条件を満たすと判定された領域においては、前記縮小された画像データの信号をレベルに基づき、前記所定の条件を満たすと判定されなかった領域においては、前記帯域制限処理と前記縮小処理が行われる前の画像データの信号レベルに基づいて、前記画像データの明るさを示す評価値を生成する工程と、
    を有することを特徴とする画像処理方法。
  13. コンピュータを、請求項1乃至9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2017107072A 2017-05-30 2017-05-30 画像処理装置、撮像装置、画像処理方法、および、プログラム Pending JP2018207176A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017107072A JP2018207176A (ja) 2017-05-30 2017-05-30 画像処理装置、撮像装置、画像処理方法、および、プログラム
US15/974,003 US20180352153A1 (en) 2017-05-30 2018-05-08 Image processing apparatus that generates evaluation value for evaluating luminance of image data, image capturing apparatus, method for processing image, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017107072A JP2018207176A (ja) 2017-05-30 2017-05-30 画像処理装置、撮像装置、画像処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2018207176A true JP2018207176A (ja) 2018-12-27

Family

ID=64460761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017107072A Pending JP2018207176A (ja) 2017-05-30 2017-05-30 画像処理装置、撮像装置、画像処理方法、および、プログラム

Country Status (2)

Country Link
US (1) US20180352153A1 (ja)
JP (1) JP2018207176A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022544B2 (ja) * 2017-09-13 2022-02-18 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Also Published As

Publication number Publication date
US20180352153A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US9692985B2 (en) Image processing apparatus and image processing method for tone control by applying different gain
US20150109525A1 (en) Image processing apparatus, image processing method, and storage medium
US20160110855A1 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
JPWO2017169039A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2021043874A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018207176A (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP6652052B2 (ja) 画像処理装置および画像処理方法
JP4272221B2 (ja) カラー画像動き検出回路、多重カラー画像統合装置およびカラー画像動き検出方法
JP2010183460A (ja) 撮像装置およびその制御方法
JP5930991B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP2014219795A (ja) 画像処理装置、画像処理回路及び画像処理方法
US10498925B2 (en) Image processing to control synthesizing results of shading correction when generating wider dynamic range image
KR101862490B1 (ko) 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
JP2015076754A5 (ja)
CN110060210B (zh) 图像处理方法及相关装置
JP6647394B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法
JP2015076676A (ja) 画像処理装置、画像処理方法及びプログラム
TWI645706B (zh) 影像處理方法及影像處理裝置
JP6501732B2 (ja) データ処理装置、撮像装置、およびデータ処理装置の制御方法
JP2009021813A (ja) フリッカ補正装置及びフリッカ補正方法
US20210289115A1 (en) Network for correcting overexposed and underexposed images
JP2017108267A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP6632339B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2016096403A (ja) 撮像装置および撮像方法