JP2012205031A - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP2012205031A JP2012205031A JP2011066961A JP2011066961A JP2012205031A JP 2012205031 A JP2012205031 A JP 2012205031A JP 2011066961 A JP2011066961 A JP 2011066961A JP 2011066961 A JP2011066961 A JP 2011066961A JP 2012205031 A JP2012205031 A JP 2012205031A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- luminance
- input
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
一般的なデジタルカメラやビデオカメラに搭載されている露光制御では、ダイナミックレンジの広いシーンを撮影した際に白飛び及び黒つぶれが発生し視認性が悪くなることがある。
【解決手段】
入出力特性制御手段が、被写体認識手段から得た被写体情報及び輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう撮像手段を制御し、かつ、輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう画像信号補正手段を制御する。または、入出力特性制御手段が、輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう撮像手段を制御し、かつ、輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう画像信号補正手段を制御するようにする。
【選択図】 図1
Description
本発明における実施例について詳細に説明する。図1は、本発明の実施例1における基本構成の一例を説明する図である。撮像部101は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。画像入力部102は、撮像部101からの画像信号に所定の処理を行い入力する。所定の処理とは、撮像素子からの信号を入力として、後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、AD(Analog to Digital)変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。また、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号を含む構成でも良い。被写体認識部103は、画像入力部102の出力する画像信号に対して画像認識を行い、特定の被写体を検出して、被写体の個数、各被写体の映像内における位置、輝度分布の情報、色情報、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔、人物、動体など、画像認識で検出できるものであれば何でも良い。輝度統計情報算出部104は、被写体認識部103から得た情報を用いて画像入力部102からの画像信号に対して輝度統計情報の算出を行う。具体的には、被写体認識部から被写体の存在する領域に関する情報を取得し、該領域の輝度統計情報を算出する。なお、輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。入出力特性制御部105は、輝度統計情報算出部104からの情報を用いて、画像入力部102からの画像信号に対する入出力特性制御量を算出し、撮像部101と画像信号補正部106の制御を行う。これにより、被写体に応じた露光制御と画像信号処理が可能となり、画面の視認性向上効果が得られる。画像信号補正部106は、入出力特性制御部105から得た情報を元に、画像入力部102からの画像信号に対して画像信号補正処理を行う。画像出力部107は、画像信号補正部106からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、画像信号補正部106からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、TVやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、NTSCやPALのビデオ出力に変換するものであり、例えば、HDMI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。なお、実施例1では画像信号補正部と画像信号処理を行う画像出力部を個別に図示しているが、画像信号補正部が画像出力部の一部に含まれていても構わない。
図2は、ダイナミックレンジの広いシーンを撮影した際の輝度分布の一例を説明する図である。横軸は輝度レベルを表わし、縦軸は該輝度レベルの画素数を表わす。図示した201の領域は、輝度レベルが低く、画面上ではほとんど黒として見える黒つぶれの状態になっている領域である。202の領域は、輝度レベルが高く、画面上ではほとんど白として見える白飛びの状態になっている領域である。画面の視認性を向上させるには、前記黒つぶれ及び前記白飛びしている画素が少なくなるよう入出力特性を制御する必要がある。
図6は、本発明の実施例2における基本構成の一例を説明する図である。撮像部601は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。画像入力部602は、撮像部601からの画像信号に所定の処理を行い入力する。所定の処理とは、撮像素子からの信号を入力として、後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、AD(Analog to Digital)変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。また、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号を含む構成でも良い。被写体認識部603は、画像入力部602の出力する画像信号に対して画像認識を行い、特定の被写体を検出して、被写体の個数、各被写体の映像内における位置、輝度分布の情報、色情報、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔、人物、動体など、画像認識で検出できるものであれば何でも良い。第一輝度統計情報算出部604は、被写体認識部603から得た情報を用いて画像入力部602からの画像信号に対して輝度統計情報の算出を行う。具体的には、被写体認識部から被写体の存在する領域に関する情報を取得し、該領域の輝度統計情報を算出する。なお、輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。第一入出力特性制御部605は、入出力特性制御部105(図1)と同様の機能を持つブロックであり、画像入力部602からの画像信号に対する入出力特性制御量を算出し、撮像部601と第一画像信号補正部606の制御を行う。第一画像信号補正部606は、画像信号補正部106と同様の機能を持つブロックであり、第一入出力特性制御部605からの情報を元に、画像入力部602からの画像信号に対して画像信号補正処理を行う。第二輝度統計情報算出部607は、第一画像信号補正部606からの画像信号に対して輝度統計情報を算出する。輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。第二入出力特性制御部608は、第二輝度統計情報算出部607から得た情報を用いて、第一画像信号補正部606からの画像信号の入出力特性制御量を算出する。第二画像信号補正部609は、第二入出力特性制御部608から得た情報を元に、第一画像信号補正部606からの画像信号に対して画像信号補正を行う。画像出力部610は、第二画像信号補正部609からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、第二画像信号補正部609からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、TVやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、NTSCやPALのビデオ出力に変換するものであり、例えば、HDMI信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。
図7は、第一入出力特性制御部605(図6)及び第二入出力特性制御部608が行う入出力特性制御の処理の流れを説明するフロー図である。本実施例では、第一輝度統計情報として被写体が存在する領域のヒストグラムを、第二輝度統計情報として輝度最大値最小値を使用した場合を例に説明する。また、第一入出力特性制御部は、低輝度部分と高輝度部分でそれぞれ異なる入出力特性変化量を算出可能であるとする。ステップS701で、入出力特性制御部605に画像入力部602からの画像情報及び第一輝度統計情報算出部604からの輝度統計情報が入力されると、ステップS702にて、前記輝度統計情報を用いて画面内に白飛びがあるか否かの判定を行う。白飛びがある場合はステップS703にて、入出力特性制御部605は撮像部601に対して絞りを絞るよう命令する。その後ステップS704にて、前記輝度統計情報を用いて再び、画面内に白飛びがあるか否かを判定する。このとき、ステップS702で白飛びがあると判定される画素数と、ステップS704で白飛びがあると判定される画素数は異なる値が設定される。これは、露光制御だけで白飛びを抑えようとして、暗い領域の信号が減少してしまうのを防ぐためである。ステップS704で白飛びがあると判定された場合は、ステップS705で、第一入出力特性制御部605が、高輝度部分の入出力特性制御を行い、第一画像信号補正部606が高輝度部分の画像信号補正を行う。ステップS704にて、白飛びが無いと判定された場合は、ステップS705を飛ばしてステップS706に移行する。ステップS706では、前記第一輝度統計情報を用いて画面内に黒つぶれがあるか否かの判定を行う。黒つぶれがある場合は、ステップS707で、第一入出力特性制御部605が、低輝度部分の入出力特性制御を行い、第一画像信号補正部606が低輝度部分の画像信号補正を行う。ステップS706で、黒つぶれが無いと判定された場合は、ステップS707を飛ばして処理を終了する。なお、白飛びしていると判定する輝度レベルの範囲や、ステップS702及びS704の判定で白飛びがあると判定するための画素数などは、EEPROMなどに値を保存し、それを用いても構わない。黒つぶれに関する判定については、白飛びの判定と同様の処理を行えば良い。また、白飛びしている画素数に応じて、露光制御部にて絞り量を制御したり、高輝度側の画像信号補正量を制御したり、また、黒つぶれしている画素数に応じて、低輝度側の画像信号補正量を制御しても良い。なお、本実施例では絞りを制御して画面全体の輝度レベルを変化させると前述したが、状況に応じてシャッタ速度や画像入力部102の利得制御量を制御しても構わない。最後にステップS708で、第二輝度統計情報算出部607から得た情報、具体的には第一画像信号補正部からの信号の輝度最大値及び最小値を用いて、第一画像信号補正部606からの信号に対して、ダイナミックレンジを拡大する第二画像信号補正処理を行い、処理を終了する。このとき、ステップS708にて第一画像信号補正部からの輝度最大値最小値を用いて第二画像信号補正処理を行う際に、前記輝度最大値最小値は一定期間蓄積した値の平均を用いて使用しても構わない。これにより、ノイズの影響を軽減することが可能である。また、その他のフィルタ処理を施して信号の確度を上げて使用してももちろん構わない。
第一画像信号補正処理については、実施例1の図4及び図5で画像信号補正処理として説明したものと同様である。
Claims (9)
- 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
を具備し、
前記入出力特性制御手段は、
前記輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記撮像手段を制御し、かつ、前記輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記画像信号補正手段を制御すること、
を特徴とする画像信号処理装置。 - 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
を具備し、
前記入出力特性制御手段は、
前記輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記撮像手段を制御し、かつ、前記輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記画像信号補正手段を制御すること、
を特徴とする画像信号処理装置。 - 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する第一輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う第一入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う第一画像信号補正手段と、
該第一画像信号補正手段の出力の輝度信号統計情報を算出する第二輝度信号統計情報算出手段と、
該第二輝度信号統計情報を用いて、該第一輝度信号統計情報算出手段からの出力に対して領域ごとに入出力特性の変化を制御する第二入出力特性制御手段と、
該第二入出力特性制御手段の出力に応じて画像信号補正を行う第二画像信号補正手段と、
を具備し、
前記第一入出力特性制御手段は、
前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記撮像手段を制御し、かつ、前記第一輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記第一画像信号補正手段を制御すること、
を特徴とする画像信号処理装置。 - 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する第一輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う第一入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う第一画像信号補正手段と、
該第一画像信号補正手段の出力の輝度信号統計情報を算出する第二輝度信号統計情報算出手段と、
該第二輝度信号統計情報を用いて、該第一輝度信号統計情報算出手段からの出力に対して領域ごとに入出力特性の変化を制御する第二入出力特性制御手段と、
該第二入出力特性制御手段の出力に応じて画像信号補正を行う第二画像信号補正手段と、
を具備し、
前記第一入出力特性制御手段は、
前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記撮像手段を制御し、かつ、前記第一輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記第一画像信号補正手段を制御すること、
を特徴とする画像信号処理装置。 - 請求項1または2の画像信号処理装置において、
前記入出力特性制御手段は、
少なくとも低輝度部分と高輝度部分とで異なる複数の入出力特性制御を行うこと、
を特徴とする画像信号処理装置。 - 請求項3または4の画像信号処理装置において、
前記第一入出力特性制御手段は、
少なくとも低輝度部分と高輝度部分とで異なる複数の入出力特性制御を行うこと、
を特徴とする画像信号処理装置。 - 請求項1または2の画像信号処理装置において、
前記輝度統計情報算出手段は、前記画像入力手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出すること、
を特徴とする画像信号処理装置。 - 請求項3または4の画像信号処理装置において、
前記第一輝度統計情報算出手段は、前記画像入力手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出し、
前記第二輝度統計情報算出手段は、前記第一画像信号補正手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出すること、
を特徴とする画像信号処理装置。 - 請求項3または4の画像処理装置において、
前記第二入出力特性制御手段は、
前記第二輝度信号統計情報算出手段から得た輝度信号統計情報に対して所定のフィルタ処理を行うこと、
を特徴とする画像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011066961A JP5520863B2 (ja) | 2011-03-25 | 2011-03-25 | 画像信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011066961A JP5520863B2 (ja) | 2011-03-25 | 2011-03-25 | 画像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012205031A true JP2012205031A (ja) | 2012-10-22 |
JP5520863B2 JP5520863B2 (ja) | 2014-06-11 |
Family
ID=47185541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011066961A Active JP5520863B2 (ja) | 2011-03-25 | 2011-03-25 | 画像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5520863B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602737B2 (en) | 2014-01-31 | 2017-03-21 | Hitachi Industry & Control Solutions, Ltd. | Imaging apparatus |
WO2018066454A1 (ja) * | 2016-10-04 | 2018-04-12 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
-
2011
- 2011-03-25 JP JP2011066961A patent/JP5520863B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602737B2 (en) | 2014-01-31 | 2017-03-21 | Hitachi Industry & Control Solutions, Ltd. | Imaging apparatus |
WO2018066454A1 (ja) * | 2016-10-04 | 2018-04-12 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
US10778903B2 (en) | 2016-10-04 | 2020-09-15 | Fujifilm Corporation | Imaging apparatus, imaging method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5520863B2 (ja) | 2014-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US11995809B2 (en) | Method and apparatus for combining low-dynamic range images to a single image | |
JP5358344B2 (ja) | 撮像装置及び撮像方法 | |
US11838649B2 (en) | Image capturing device and control method thereof and medium | |
JP2008005081A (ja) | 認証装置 | |
JP2014179756A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5861924B2 (ja) | 撮像装置 | |
GB2499668A (en) | Exposure Controller | |
US11863873B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, and storage medium | |
JP2013118513A (ja) | 撮像装置 | |
US10475162B2 (en) | Image processing device, method, and storage medium for gamma correction based on illuminance | |
JP6080531B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP5591026B2 (ja) | 撮像装置及びその制御方法 | |
JP5520863B2 (ja) | 画像信号処理装置 | |
JP2002288650A (ja) | 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 | |
JP4629002B2 (ja) | 撮像装置 | |
JP5215820B2 (ja) | 撮像装置 | |
JP5621335B2 (ja) | 画像処理装置及び画像処理方法、並びに画像撮像装置 | |
JP6397261B2 (ja) | 画像処理装置及び方法 | |
JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
JP2008306326A (ja) | 画像処理装置および画像処理方法 | |
JP2007329621A (ja) | 画像処理装置と画像処理方法、および画像信号処理プログラム。 | |
JP2022121793A (ja) | 画像処理方法 | |
JP2010130612A (ja) | 撮像装置 | |
JP2010187350A (ja) | 撮像システム、映像信号処理プログラム、および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5520863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |