JP4190124B2

JP4190124B2 - Image processing device

Info

Publication number: JP4190124B2
Application number: JP2000051729A
Authority: JP
Inventors: 建夫鶴岡; 一仁堀内
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-02-28
Filing date: 2000-02-28
Publication date: 2008-12-03
Anticipated expiration: 2020-02-28
Also published as: JP2001245130A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳しくは、異なる露光条件で撮像された複数の画像から一の広ダイナミックレンジ画像を生成する画像処理装置に関する。
【０００２】
【従来の技術】
従来より、異なる露光条件で撮像された複数の画像を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が提案されている。
【０００３】
このようなものの一例として、特願平１１−３３８５５１号には、各画像を適正露光領域と不適正露光領域に分割して、各適正露光領域毎に階調補正を行い、階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が記載されており、さらに、この画像処理装置を適用した機器の例として、被写体をより広いダイナミックレンジで撮像することができるスーパーラチチュードデジタルカメラが記載されている。
【０００４】
また、他の例としては特許掲載公報第２７５５３６６号に、例えば長時間露光画像と短時間露光画像の２画像を合成して一枚の広ダイナミックレンジ画像を生成する際には、それぞれの画像を適正露光域と不適正露光域に分割するが、このときに長時間露光の適正露光域と短時間露光の適正領域の両方に属するような中間領域を設けて、この中間領域内で重み付け加算をして画像合成するようにしたデジタルカメラが記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら上記特許掲載公報第２７５５３６６号に記載されたものでは、画像毎に異なる関数を用いて合成処理を行っているために、各関数の算出に時間がかかるという課題がある。
【０００６】
また、長時間露光の適正露光域ｌｏｎｇの端点のデータと、短時間露光の適正露光域ｓｈｏｒｔの端点のデータから、中間領域ｍｉｄにおける２本の直線をそれぞれ求めて、これらの直線から重み係数を求めるようになっている。
【０００７】
このような手段を用いると、画面における中間領域の形状が複雑になった場合に、濃度方向の変化に沿って端点のデータを求めることが困難になる（正確に行うには中間領域ｍｉｄの重心線を求めてこれと直交する向きに走査する必要がある）という課題が生じてしまう。
【０００８】
本発明は上記事情に鑑みてなされたものであり、画像を合成する際の演算の高速性と、合成された画像の連続性と、をバランス良く兼ね備える画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理装置は、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、上記画像群を構成する複数の画像のそれぞれについて、上記画像を構成する画素ごとに輝度信号を読み出すとともに、その読み出した輝度信号のレベルに基づき適切な露出であると判別された画素からなる適正露光域を抽出する抽出手段と、上記画像群を構成する各画像の適正露光域を読み込むことで、上記画像群から、最大の面積の適正露光域を有する一の画像を基準画像として選択するとともに、上記画像群から前記基準画像以外の少なくとも一つの画像を基準画像以外の画像として選択する選択手段と、上記基準画像および上記基準画像以外の画像のそれぞれについて抽出された各適正露光域のうち互いに位置的に重複する領域である重複領域を抽出する重複領域抽出手段と、上記基準画像以外の画像に含まれる適正露光域内の画像信号に対して階調補正を行う階調補正手段と、上記基準画像に含まれる上記適正露光域内の重複領域の画像信号である基準画像信号と、上記基準画像以外の画像に含まれる上記適正露光域内の重複領域の上記階調補正された画像信号である基準画像以外の画像信号とを重み付け加算するよう、上記基準画像および上記基準画像以外の画像を合成することによって、一の広ダイナミックレンジ画像を生成する合成手段と、を具備し、上記合成手段は、上記基準画像信号および上記基準画像以外の画像信号のうち上記基準画像信号のみを用いることによって、上記基準画像信号及び上記基準画像以外の画像信号に対して夫々重み付けするものであって、上記基準画像を走査することで上記基準画像信号の最大値および最小値を求め、上記走査対象の一位置における上記基準画像信号の値と上記最大値との差分に対して上記基準画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像信号に対して第１の重み付けを行い、上記走査対象の一位置における上記基準画像信号の値と上記最小値との差分に対して上記基準画像以外の画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像以外の画像信号に対して第２の重み付けを行い、上記第１の重み付けの結果と、上記第２の重み付けの結果と、を加算する上記重み付け加算処理によって上記基準画像および上記基準画像以外の画像を合成する。
【００１０】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記合成手段はさらに、上記基準画像および上記基準画像以外の画像に含まれる上記適正露光域のうち上記重複領域以外の部分の画像信号についてはそのままの画像信号を用いて上記基準画像および上記基準画像以外の画像を合成する。
【００１１】
さらに、第３の発明による画像処理装置は、上記第１又は第２の発明による画像処理装置において、上記選択手段は、長時間露光画像を上記基準画像として選択する。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図４は本発明の一実施形態を示したものであり、図１は電子カメラの基本的な構成を示すブロック図である。
【００１３】
本実施形態は、本発明の画像処理装置を電子カメラに適用したものであり、簡単のために短時間露光による画像と長時間露光による画像との２画像を合成して一の広ダイナミックレンジ画像を得る場合について説明するが、もちろんより多数の画像を合成する場合に適用することも可能である。
【００１４】
この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ等でなり、被写体像を光電変換して画像信号として出力するためのＣＣＤ４と、このＣＣＤ４上に被写体像を結像するためのレンズ系１と、このレンズ系１を通過した光束の通過範囲を制御するための絞り２と、この絞り２を通過した光束から不要な高周波成分を除去するための光学フィルタでなるローパスフィルタ３と、上記ＣＣＤ４から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われその後に増幅等がなされたアナログの画像信号をデジタル信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変換器５によりデジタル化された一画面分の画像データを各蓄積するものであり長時間露光による画像と短時間露光による画像とをそれぞれ記憶する第１画像用バッファ６ａおよび第２画像用バッファ６ｂと、これらの内の測光用および焦点検出用のデータを蓄積するのにも用いられる第１画像用バッファ６ａから画像データを読み出して輝度分布を求め撮像時に適正露光となるように上記絞り２の開口径や上記ＣＣＤ４の電子シャッタを制御する測光評価部７と、上記第１画像用バッファ６ａから画像データを読み出して合焦位置の検出を行いその検出結果に基づいて後述するＡＦモータ９を制御する合焦点検出部８と、この合焦点検出部８に制御されて上記レンズ系１のＡＦ用レンズを駆動し上記ＣＣＤ４上に被写体像を結像させるようにするＡＦモータ９と、上記第１，第２画像用バッファ６ａ，６ｂから読み出された単板の画像データを補間して３板の画像データに変換する補間部１０と、補間後の画像データを蓄積する作業用バッファ１１と、この作業用バッファ１１から読み出した３板の画像データを輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに分離するＹ／Ｃ分離部１２と、このＹ／Ｃ分離部１２からまず輝度信号Ｙを読み出して、画面全体を構成する各画素について、その画素が適切な露出であるか否かを信号レベルにより判別し、その結果に基づき分割画像情報を抽出して出力する抽出手段たる適正露光抽出部１３と、この適正露光抽出部１３により抽出された分割画像情報に基づいて長時間露光に係る適正露光域と短時間露光に係る適正露光域との重複部分である重複領域を抽出する重複領域抽出手段たる重複領域抽出部１４と、上記適正露光抽出部１３から出力される適正露光域の画像データについて特徴量であるエッジのヒストグラムを求めて変換特性を算出しその変換特性に基づき各画像についての階調変換を行う階調補正手段たる階調補正部１５と、上記適正露光抽出部１３から出力される適正露光域の情報と上記重複領域抽出部１４から出力される重複する領域の情報とを参照しながら上記階調補正部１５から出力される階調変換後の長時間露光に係る画像および短時間露光に係る画像を合成して一の広ダイナミックレンジ画像を生成する合成手段たる画像合成部１６と、この画像合成部１６により合成された広ダイナミックレンジ画像を例えば記録媒体や表示装置などに出力する出力部１７と、上記補間部１０、適正露光抽出部１３、重複領域抽出部１４、階調補正部１５、画像合成部１６、出力部１７を含むこの電子カメラ全体の制御を行う制御部１８と、を有して構成されている。
【００１５】
次に、図２は上記画像合成部の詳細な構成を示すブロック図である。
【００１６】
この画像合成部１６は、上記階調補正部１５により階調補正された後の、長時間露光に係る適正露光域と、短時間露光に係る適正露光域と、を合成する際に、これら長時間露光に係る適正露光域および短時間露光に係る適正露光域の両方に含まれる中間領域（重複領域）については処理速度を重視しながら実用的な画像の連続性を保持するように合成することで、一広ダイナミックレンジ画像を生成するようにしたものであり、例えば長時間露光に係る適正露光域の画像データを記憶する第１作業用バッファ２０と、例えば短時間露光に係る適正露光域の画像データを記憶する第２作業用バッファ２１と、これらの画像の内の適正露光域の面積が大きい方の一画像（３つ以上の画像を合成する場合には、適正露光域の面積が最大となる一画像）を基準画像として選択する選択手段たる基準画像選択部２２と、上記中間領域から上記基準画像との露光差を求めて該基準画像以外の画像の露光補正を行う露光補正手段たる露光補正部２３と、上記露光補正を行った適正露光域に関して、重複しない部分についてはそのまま、重複する部分については基準画像の画像信号レベルの変化に基づく関数（後述する数式１参照）で重み付け加算することにより合成を行う重み付け加算手段たる重み付け加算部２４と、を有して構成されている。
【００１７】
次に、図３は、長時間露光画像と短時間露光画像を中間領域で合成する様子を示す線図であり、図４は、画像合成の処理を示すフローチャートである。上記図２、図３を参照しながら、図４に沿って画像合成部１６の動作を説明する。
【００１８】
上記階調補正部１５により階調補正された画像データは、第１作業用バッファ２０と第２作業用バッファ２１にそれぞれ一旦記憶されるようになっている。
【００１９】
より詳しくは、まず長時間露光画像（図中、画像（１）としている）の輝度信号Ｙに係る画像データが第１作業用バッファ２０に記憶される（ステップＳ１）と共に、短時間露光画像（図中、画像（２）としている）の輝度信号Ｙに係る画像データが第２作業用バッファ２１に記憶され（ステップＳ４）、それらについて後述するような画像合成の処理を行う。このときには、長時間露光に係る中間領域（重複領域）の画像データと短時間露光に係る中間領域（重複領域）の画像データも読み込まれる（ステップＳ３）。
【００２０】
その後には、長時間露光の色差信号Ｃｂに係る画像データが第１作業用バッファ２０に記憶されると共に、短時間露光の色差信号Ｃｂに係る画像データが第２作業用バッファ２１に記憶されて同様に画像合成の処理がなされ、さらにその後に長時間露光の色差信号Ｃｒに係る画像データが第１作業用バッファ２０に記憶されると共に、短時間露光の色差信号Ｃｒに係る画像データが第２作業用バッファ２１に記憶されて画像合成の処理がなされることになる。
【００２１】
このときに、輝度信号Ｙに関する処理は最初に行う必要があるが、色差信号Ｃｂと色差信号Ｃｒの処理順序は上述とは逆であっても構わない。
【００２２】
そして、上記適正露光抽出部１３から入力される適正露光域の情報を読み込んで（ステップＳ２）、上記基準画像選択部２２が、長時間露光に係る適正露光域と短時間露光に係る適正露光域との内の、例えば面積が大きい方を基準画像として設定する（ステップＳ５）。
【００２３】
一方で、上記第１作業用バッファ２０と第２作業用バッファ２１に記憶された画像データは、上記重複領域抽出部１４から出力される重複領域の情報と、基準画像選択部２２から出力される選択画像情報とに基づいて、上記制御部１８により制御された露光補正部２３によって露光量比が算出され（ステップＳ６）、第１作業用バッファ２０に記憶されている長時間露光画像（画像（１））が基準画像として選択されていない場合には（ステップＳ７）、該長時間露光画像について露光補正が行われ（ステップＳ８）、他方、第２作業用バッファ２１に記憶されている短時間露光画像（画像（２））が基準画像として選択されていない場合には（ステップＳ９）、該短時間露光画像について露光補正が行われる（ステップＳ１０）。すなわち、露光補正は、基準画像以外の画像について行うようになっている。
【００２４】
重み付け加算部２４では、上記制御部１８の制御により、上記基準画像選択部２２による選択結果（例えば長時間露光に係る画像データが基準画像として選択されたと仮定して説明する。）と上記適正露光抽出部１３から出力されるデータとに基づいて、中間領域の輝度Ｙmid および色差信号Ｃｂmid ，Ｃｒmid を、次の数式１に示すように重み付け加算して演算処理する（ステップＳ１３）。
【００２５】
【数１】

【００２６】
ここに、ｌｏｎｇ＿Ｙ，ｌｏｎｇ＿Ｃｂ，ｌｏｎｇ＿Ｃｒは長時間露光に係る中間領域（重複領域）の輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒをそれぞれ示し、ｓｈｏｒｔ＿Ｙ，ｓｈｏｒｔ＿Ｃｂ，ｓｈｏｒｔ＿Ｃｒは短時間露光に係る中間領域（重複領域）の輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒをそれぞれ示している。また、ｍａｘ＿Ｙlongとｍｉｎ＿Ｙlongは長時間露光に係る中間領域（重複領域）の最大輝度値と最小輝度値をそれぞれ示している。
【００２７】
このような数式１を用いて画像の合成を行うときの信号の様子を示すのが図３であり、重複領域でない部分については露光補正後の適正露光域（図中の画像（１）および画像（２）の部分）をそのまま用いるとともに、重複領域については上記数式１に示したような処理を行った合成信号を用いるようになっている。
【００２８】
重複領域において合成された信号は、その両端において長時間露光画像や短時間露光画像と連続的に接続されるとは限らないが、基準画像となる長時間画像の情報（基準画像として短時間画像が選択された場合には短時間画像の情報となるし、さらに３枚以上の画像群から選択される場合にはその選択された画像の情報となる）のみを用いて重み付け演算を行っているために、処理回路への負荷を軽減して、処理時間の短縮を行うことができる。
【００２９】
こうして重み付け加算された重複領域の画像データと、長時間露光に係る重複していない適正露光域の画像データ（ステップＳ１１）と、短時間露光に係る重複していない適正露光域の画像データ（ステップＳ１２）と、を画像合成して（ステップＳ１４）、この合成された画像を出力して（ステップＳ１５）、終了する。
【００３０】
なお、上述では数式１に示したように、選択した基準画像（上述では長時間露光画像）の情報を用いて重み付け加算処理を行うようにしているが、より簡潔には、次の数式２に示すように行っても良い。
【００３１】
【数２】
Ｙmid ＝ｌｏｎｇ＿Ｙ／２＋ｓｈｏｒｔ＿Ｙ／２
Ｃｂmid ＝ｌｏｎｇ＿Ｃｂ／２＋ｓｈｏｒｔ＿Ｃｂ／２
Ｃｒmid ＝ｌｏｎｇ＿Ｃｒ／２＋ｓｈｏｒｔ＿Ｃｒ／２
【００３２】
この数式２を用いた場合には、極めて簡単な演算を行うのみで、中間領域においてもほぼ違和感のない実用的な合成画像を得ることが可能となる。
【００３３】
このような実施形態によれば、選択した１つの基準画像の情報のみに基づく関数（単一の関数）で重み付け加算しているために、複数の異なる関数で重み付け加算する場合に比べて、画像を合成する際の演算の負荷を軽減して処理を高速化することができる。また、画像の濃度方向の変化に沿って走査をする必要がないために、この点でも処理が容易となる。さらに、独立変数に依存しない定数を用いることで、更なる処理の高速化を図ることが可能となる。
【００３４】
こうして、演算の高速性と、合成された画像の連続性と、をバランス良く兼ね備える画像処理装置となる。
【００３５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【００３６】
【発明の効果】
以上説明したように、本発明の画像処理装置によれば、階調補正された適正露光域を、重複する領域の情報に基づき合成しているために、画像を合成する際の演算の高速性と、合成された画像の連続性と、をバランス良く兼ね備えることが可能となる。
【００３７】
また、本発明の画像処理装置によれば、基準画像を選択して、重複する適正露光域について、基準画像との露光差を求めて基準画像以外の露光補正を行い、基準画像の画像信号レベルの変化に基づく関数で重み付け加算をして合成するために、高速性と画像の実用的な連続性とを良好にバランスさせることができる。
【００３８】
さらに、本発明の画像処理装置によれば、適正露光域の面積が最大となる一画像を基準画像として選択するようにしたために、効率的な処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の電子カメラの基本的な構成を示すブロック図。
【図２】上記実施形態の画像合成部の詳細な構成を示すブロック図。
【図３】上記実施形態において、長時間露光画像と短時間露光画像を中間領域で合成する様子を示す線図。
【図４】上記実施形態における画像合成の処理を示すフローチャート。
【符号の説明】
４…ＣＣＤ
６ａ…第１画像用バッファ
６ｂ…第２画像用バッファ
１０…補間部
１１…作業用バッファ
１２…Ｙ／Ｃ分離部
１３…適正露光抽出部（抽出手段）
１４…重複領域抽出部（重複領域抽出手段）
１５…階調補正部（階調補正手段）
１６…画像合成部（合成手段）
１７…出力部
１８…制御部
２０…第１作業用バッファ
２１…第２作業用バッファ
２２…基準画像選択部（選択手段）
２３…露光補正部（露光補正手段）
２４…重み付け加算部（重み付け加算手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that generates one wide dynamic range image from a plurality of images captured under different exposure conditions.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been proposed an image processing apparatus that generates a single wide dynamic range image by combining a plurality of images captured under different exposure conditions.
[0003]
As an example of such a thing, Japanese Patent Application No. 11-338551 divides each image into an appropriate exposure area and an improper exposure area, and performs gradation correction for each appropriate exposure area. An image processing apparatus that generates a single wide dynamic range image by synthesizing appropriate exposure areas for each image is described. Further, as an example of a device to which this image processing apparatus is applied, a subject with a wider dynamic range is described. A super latitude digital camera capable of imaging is described.
[0004]
As another example, in Japanese Patent Publication No. 2755366, for example, when two images of a long exposure image and a short exposure image are combined to generate one wide dynamic range image, An appropriate exposure area and an improper exposure area are divided. At this time, an intermediate area that belongs to both the appropriate exposure area for long exposure and the appropriate area for short exposure is provided, and weighted addition is performed in this intermediate area. A digital camera is described in which images are synthesized.
[0005]
[Problems to be solved by the invention]
However, the one described in the above-mentioned Japanese Patent Publication No. 2755366 has a problem that it takes time to calculate each function because the composition processing is performed using a different function for each image.
[0006]
Further, two straight lines in the intermediate area mid are obtained from the end point data of the long exposure proper exposure area long and the end point data of the short exposure proper exposure area short, and the weighting coefficient is obtained from these straight lines. It comes to ask for.
[0007]
When such a means is used, when the shape of the intermediate region on the screen becomes complicated, it becomes difficult to obtain end point data along the change in the density direction. It is necessary to obtain a line and scan in a direction orthogonal to the line).
[0008]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus having a high balance between high-speed calculation when combining images and continuity of the combined images. .
[0009]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to a first aspect of the invention generates a single wide dynamic range image by processing an image group consisting of a plurality of images taken under different exposure conditions on the same subject. An image processing apparatus that reads out a luminance signal for each of the pixels that form the image for each of a plurality of images that form the image group , and that the exposure is appropriate based on the level of the read-out luminance signal An image having an appropriate exposure area of the maximum area from the image group by reading out the appropriate exposure area of each image constituting the image group by extracting means for extracting the appropriate exposure area consisting of the discriminated pixels. as well as selected as the reference image, and selection means for selecting at least one image other than the reference image from the image group as the image other than the reference image, the reference image And the overlapping area extracting means for extracting an overlapping area is an area that positionally overlap one another among the appropriate exposure region is extracted for each of the reference image than the image, the proper exposure included in the image other than the reference image Tone correction means for performing tone correction on an image signal in the area, a reference image signal that is an image signal of an overlapping area in the appropriate exposure area included in the reference image, and an image other than the reference image By combining the image other than the reference image and the image other than the reference image so as to be weighted and added to the image signal other than the reference image that is the tone-corrected image signal in the overlapping area in the appropriate exposure area, comprising synthesizing means for generating a dynamic range image, and the synthesizing means, the reference image signal of the reference image signal and the image signal other than the reference image By using only been made to weight each with respect to the reference image signal and the image signal other than the reference image, the maximum value and the minimum value of the reference image signal by scanning said reference image, A value obtained by multiplying the difference between the value of the reference image signal and the maximum value at one position of the scanning target by the value of the reference image signal is divided by the difference between the maximum value and the minimum value. Then, the first weighting is performed on the reference image signal, and the difference between the value of the reference image signal at the one position to be scanned and the minimum value is multiplied by the value of the image signal other than the reference image. The value obtained in this way is divided by the difference between the maximum value and the minimum value to perform second weighting on the image signal other than the reference image, and the result of the first weighting and the second weighting are performed. Result of weighting The reference image and an image other than the reference image are synthesized by the weighted addition process of adding
[0010]
The image processing apparatus according to a second aspect of the invention is the image processing apparatus according to the first aspect of the invention, wherein the synthesizing means further includes the overlap among the appropriate exposure areas included in the reference image and an image other than the reference image. As for the image signal of the part other than the region, the reference image and the image other than the reference image are synthesized using the image signal as it is.
[0011]
Furthermore, in the image processing device according to the third invention, in the image processing device according to the first or second invention, the selection means selects a long-time exposure image as the reference image.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
1 to 4 show an embodiment of the present invention, and FIG. 1 is a block diagram showing a basic configuration of an electronic camera.
[0013]
In the present embodiment, the image processing apparatus of the present invention is applied to an electronic camera. For simplicity, two images of a short-time exposure image and a long-time exposure image are combined to create a single wide dynamic range image. However, the present invention can be applied to a case where a larger number of images are synthesized.
[0014]
This electronic camera is composed of a single-plate color CCD having an electronic shutter function, a CCD 4 for photoelectrically converting a subject image and outputting it as an image signal, and a lens system for forming a subject image on the CCD 4 1, a diaphragm 2 for controlling the passage range of the light beam that has passed through the lens system 1, a low-pass filter 3 that is an optical filter for removing unnecessary high-frequency components from the light beam that has passed through the diaphragm 2, and An A / D converter 5 for converting an analog image signal which has been output from the CCD 4 and then subjected to removal of noise components by a correlated double sampling circuit (not shown) and then amplified to a digital signal, and this The image data for one screen digitized by the A / D converter 5 is accumulated, and an image by long exposure and an image by short exposure are stored. The image data is read out from the first image buffer 6a and the second image buffer 6b to be stored and the first image buffer 6a used for accumulating the photometry and focus detection data. Image data is read from the first image buffer 6a and the photometric evaluation section 7 for controlling the aperture diameter of the diaphragm 2 and the electronic shutter of the CCD 4 so as to obtain a brightness distribution and obtain an appropriate exposure at the time of imaging. An in-focus detection unit 8 that performs detection and controls an AF motor 9 to be described later based on the detection result, and an AF lens of the lens system 1 is driven by the in-focus detection unit 8 to drive an object on the CCD 4 A single plate image data read out from the AF motor 9 for forming an image and the first and second image buffers 6a and 6b is interpolated to be converted into three plate image data. Interpolating unit 10, working buffer 11 that stores the interpolated image data, and Y / C that separates the three pieces of image data read out from working buffer 11 into luminance signal Y and color difference signals Cb and Cr. First, the luminance signal Y is read from the separation unit 12 and the Y / C separation unit 12, and for each pixel constituting the entire screen, whether or not the pixel is appropriately exposed is determined based on the signal level. Based on the divided image information extracted based on the divided image information extracted by the appropriate exposure extraction unit 13, and the appropriate exposure area and the short exposure based on the divided image information extracted by the appropriate exposure extraction unit 13. About the overlapping area extracting unit 14 that is an overlapping area extracting unit that extracts an overlapping area that is an overlapping part with the appropriate exposure area, and image data of the appropriate exposure area that is output from the appropriate exposure extracting section 13 An edge histogram which is a feature amount is obtained, a conversion characteristic is calculated, and a gradation correction unit 15 which performs gradation conversion for each image based on the conversion characteristic and output from the appropriate exposure extraction unit 13. The image and the short image of the long-time exposure after gradation conversion output from the gradation correction unit 15 while referring to the information on the appropriate exposure area and the information on the overlapping area output from the overlapping area extraction unit 14 An image synthesizer 16 that is a synthesizer that synthesizes images related to time exposure to generate one wide dynamic range image, and outputs the wide dynamic range image synthesized by the image synthesizer 16 to, for example, a recording medium or a display device The entire electronic camera including the output unit 17, the interpolation unit 10, the appropriate exposure extraction unit 13, the overlapping region extraction unit 14, the gradation correction unit 15, the image synthesis unit 16, and the output unit 17. It is configured to include a control unit 18 for controlling the.
[0015]
Next, FIG. 2 is a block diagram showing a detailed configuration of the image composition unit.
[0016]
When the image composition unit 16 synthesizes the appropriate exposure area related to the long-time exposure and the appropriate exposure area related to the short-time exposure after the gradation correction by the gradation correction unit 15, these lengths are combined. The intermediate area (overlapping area) included in both the appropriate exposure area for time exposure and the appropriate exposure area for short time exposure should be synthesized so as to maintain practical image continuity while emphasizing processing speed. Thus, a wide dynamic range image is generated. For example, a first work buffer 20 that stores image data of an appropriate exposure area related to long exposure, and an appropriate exposure area related to short exposure, for example. The second work buffer 21 for storing image data and one of the images having the larger area of the appropriate exposure area (when combining three or more images, the area of the appropriate exposure area is the maximum). One image that becomes A reference image selection unit 22 that is a selection unit that selects a reference image, and an exposure correction unit 23 that is an exposure correction unit that performs exposure correction of an image other than the reference image by obtaining an exposure difference from the reference image from the intermediate region. With respect to the appropriate exposure area subjected to the exposure correction, the non-overlapping portion is left as it is, and the overlapping portion is synthesized by weighted addition with a function based on the change in the image signal level of the reference image (see Equation 1 described later). And a weighting addition unit 24 as weighting addition means to be performed.
[0017]
Next, FIG. 3 is a diagram showing how a long exposure image and a short exposure image are combined in an intermediate region, and FIG. 4 is a flowchart showing image combining processing. The operation of the image composition unit 16 will be described along FIG. 4 with reference to FIGS.
[0018]
The image data whose gradation has been corrected by the gradation correction unit 15 is temporarily stored in the first work buffer 20 and the second work buffer 21, respectively.
[0019]
More specifically, first, image data related to the luminance signal Y of the long-exposure image (referred to as image (1) in the figure) is stored in the first work buffer 20 (step S1), and the short-exposure image ( The image data relating to the luminance signal Y of the image (2) in the figure is stored in the second work buffer 21 (step S4), and the image composition process as described later is performed on them. At this time, the image data of the intermediate area (overlapping area) related to the long-time exposure and the image data of the intermediate area (overlapping area) related to the short-time exposure are also read (step S3).
[0020]
Thereafter, the image data related to the color difference signal Cb for long exposure is stored in the first work buffer 20, and the image data related to the color difference signal Cb for short exposure is stored in the second work buffer 21. Similarly, image composition processing is performed, and thereafter, image data related to the long-time exposure color difference signal Cr is stored in the first working buffer 20, and image data related to the short-time exposure color difference signal Cr is second. The image is stored in the work buffer 21 and image synthesis processing is performed.
[0021]
At this time, the processing relating to the luminance signal Y needs to be performed first, but the processing order of the color difference signal Cb and the color difference signal Cr may be reversed.
[0022]
Then, the appropriate exposure area information input from the appropriate exposure extraction unit 13 is read (step S2), and the reference image selection unit 22 performs the appropriate exposure area related to the long time exposure and the appropriate exposure area related to the short time exposure. For example, the larger one is set as a reference image (step S5).
[0023]
On the other hand, the image data stored in the first work buffer 20 and the second work buffer 21 are output from the overlapping area information output from the overlapping area extraction unit 14 and the reference image selection unit 22. Based on the selected image information, an exposure amount ratio is calculated by the exposure correction unit 23 controlled by the control unit 18 (step S6), and the long-time exposure image (image (image ( If 1)) is not selected as the reference image (step S7), exposure correction is performed on the long-time exposure image (step S8), while the short time stored in the second work buffer 21. If the exposure image (image (2)) is not selected as the reference image (step S9), exposure correction is performed on the short-time exposure image (step S10). That is, exposure correction is performed for images other than the reference image.
[0024]
In the weighted addition unit 24, the selection result by the reference image selection unit 22 (for example, it is assumed that image data related to long-time exposure is selected as a reference image) and the appropriate exposure are controlled by the control unit 18. Based on the data output from the extraction unit 13, the luminance Ymid and the color difference signals Cbmid and Crmid of the intermediate region are subjected to arithmetic processing by weighted addition as shown in the following Equation 1 (step S13).
[0025]
[Expression 1]

[0026]
Here, long_Y, long_Cb, and long_Cr indicate the luminance signal Y and the two color difference signals Cb and Cr in the intermediate region (overlapping region) related to the long-time exposure, respectively, and short_Y, short_Cb, and short_Cr are the intermediate regions related to the short-time exposure ( The luminance signal Y and the two color difference signals Cb and Cr in the overlapping region are shown. Further, max_Ylong and min_Ylong indicate the maximum luminance value and the minimum luminance value of the intermediate area (overlapping area) related to long-time exposure, respectively.
[0027]
FIG. 3 shows the state of the signal when the image is synthesized using Formula 1 as described above, and the appropriate exposure area after exposure correction (image (1) and image in the figure) is shown for the part that is not the overlapping area. The part (2)) is used as it is, and for the overlap region, a synthesized signal that has been processed as shown in the above formula 1 is used.
[0028]
The signal synthesized in the overlapping region is not always connected continuously to the long-exposure image or the short-exposure image at both ends, but information on the long-term image that becomes the reference image (the short-time image as the reference image) Is selected for a short time, and when it is selected from a group of three or more images, it is used only for the selected image). Therefore, the processing time can be shortened by reducing the load on the processing circuit.
[0029]
The image data of the overlapping area thus weighted and added, the image data of the non-overlapping appropriate exposure area related to the long exposure (Step S11), and the image data of the non-overlapping appropriate exposure area related to the short time exposure (Step S11). S12) is combined (step S14), the combined image is output (step S15), and the process ends.
[0030]
In the above description, the weighted addition process is performed using the information of the selected reference image (in the above description, the long exposure image) as shown in Equation 1, but more simply, in the following Equation 2. It may be done as shown.
[0031]
[Expression 2]
Ymid = long_Y / 2 + short_Y / 2
Cbmid = long_Cb / 2 + short_Cb / 2
Crmid = long_Cr / 2 + short_Cr / 2
[0032]
When Equation 2 is used, it is possible to obtain a practical composite image having almost no sense of incongruity even in the intermediate region only by performing extremely simple calculation.
[0033]
According to such an embodiment, since weighted addition is performed using a function (single function) based only on information of one selected reference image, the image is compared with a case where weighted addition is performed using a plurality of different functions. The processing load can be reduced and the processing load can be reduced. Further, since it is not necessary to scan along the change in the density direction of the image, the processing is also easy in this respect. Furthermore, by using constants that do not depend on independent variables, it is possible to further speed up the processing.
[0034]
In this way, an image processing apparatus having a high balance between high-speed computation and continuity of synthesized images.
[0035]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the spirit of the invention.
[0036]
【The invention's effect】
As described above, according to the image processing apparatus of the present invention, since the appropriate exposure area whose gradation has been corrected is synthesized based on the information of the overlapping areas, the calculation speed when synthesizing the images is high. It is possible to combine the continuity of the synthesized image with a good balance.
[0037]
According to the image processing apparatus of the present invention, by selecting the criteria image, overlapping the proper exposure range that performs exposure correction other than the reference image seeking exposure difference between the reference image, the reference picture signal Since the weighted addition is performed using a function based on the change in level, the high speed and the practical continuity of the image can be well balanced.
[0038]
Further, according to the image processing apparatus of the present invention can be carried out in the area of suitable positive exposure area is to be selected as the reference image an image having the maximum efficient processing.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of an electronic camera according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed configuration of an image composition unit of the embodiment.
FIG. 3 is a diagram illustrating a state in which a long-time exposure image and a short-time exposure image are combined in an intermediate region in the embodiment.
FIG. 4 is a flowchart showing image composition processing in the embodiment.
[Explanation of symbols]
4 ... CCD
6a ... first image buffer 6b ... second image buffer 10 ... interpolation unit 11 ... working buffer 12 ... Y / C separation unit 13 ... appropriate exposure extraction unit (extraction means)
14 ... Overlapping region extraction unit (overlapping region extraction means)
15 ... gradation correction part (gradation correction means)
16 ... Image composition part (composition means)
DESCRIPTION OF SYMBOLS 17 ... Output part 18 ... Control part 20 ... 1st work buffer 21 ... 2nd work buffer 22 ... Reference | standard image selection part (selection means)
23: Exposure correction unit (exposure correction means)
24 ... Weighting addition unit (weighting addition means)

Claims

同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
上記画像群を構成する複数の画像のそれぞれについて、上記画像を構成する画素ごとに輝度信号を読み出すとともに、その読み出した輝度信号のレベルに基づき適切な露出であると判別された画素からなる適正露光域を抽出する抽出手段と、
上記画像群を構成する各画像の適正露光域を読み込むことで、上記画像群から、最大の面積の適正露光域を有する一の画像を基準画像として選択するとともに、上記画像群から前記基準画像以外の少なくとも一つの画像を基準画像以外の画像として選択する選択手段と、
上記基準画像および上記基準画像以外の画像のそれぞれについて抽出された各適正露光域のうち互いに位置的に重複する領域である重複領域を抽出する重複領域抽出手段と、
上記基準画像以外の画像に含まれる適正露光域内の画像信号に対して階調補正を行う階調補正手段と、
上記基準画像に含まれる上記適正露光域内の重複領域の画像信号である基準画像信号と、上記基準画像以外の画像に含まれる上記適正露光域内の重複領域の上記階調補正された画像信号である基準画像以外の画像信号とを重み付け加算するよう、上記基準画像および上記基準画像以外の画像を合成することによって、一の広ダイナミックレンジ画像を生成する合成手段と、
を具備し、
上記合成手段は、
上記基準画像信号および上記基準画像以外の画像信号のうち上記基準画像信号のみを用いることによって、上記基準画像信号及び上記基準画像以外の画像信号に対して夫々重み付けするものであって、
上記基準画像を走査することで上記基準画像信号の最大値および最小値を求め、
上記走査対象の一位置における上記基準画像信号の値と上記最大値との差分に対して上記基準画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像信号に対して第１の重み付けを行い、
上記走査対象の一位置における上記基準画像信号の値と上記最小値との差分に対して上記基準画像以外の画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像以外の画像信号に対して第２の重み付けを行い、
上記第１の重み付けの結果と、上記第２の重み付けの結果と、を加算する上記重み付け加算処理によって上記基準画像および上記基準画像以外の画像を合成することを特徴とする画像処理装置。An image processing apparatus that generates a single wide dynamic range image by processing an image group consisting of a plurality of images captured under different exposure conditions for the same subject,
For each of a plurality of images constituting the image group , a luminance signal is read out for each pixel constituting the image, and appropriate exposure composed of pixels determined to be appropriate exposure based on the level of the read luminance signal Extraction means for extracting the area;
By reading the appropriate exposure area of each image constituting the image group , one image having the appropriate exposure area with the maximum area is selected as the reference image from the image group, and other than the reference image from the image group Selecting means for selecting at least one of the images as an image other than the reference image ;
An overlapping area extracting means for extracting an overlapping area that is an area that overlaps with each other among the appropriate exposure areas extracted for each of the reference image and the image other than the reference image ;
Gradation correction means for performing gradation correction on an image signal in an appropriate exposure area included in an image other than the reference image ;
A reference image signal that is an image signal of an overlapping area in the appropriate exposure area included in the reference image, and an image signal in which the gradation correction is performed in the overlapping area in the appropriate exposure area included in an image other than the reference image. Combining means for generating one wide dynamic range image by combining the image other than the reference image and the image other than the reference image so as to perform weighted addition with an image signal other than the reference image ;
Comprising
The synthesis means is
By using only the reference image signal of the reference image signal and the image signal other than the reference image, there is weighting respectively with respect to the reference image signal and the image signal other than the reference image,
By scanning the reference image, the maximum value and the minimum value of the reference image signal are obtained,
A value obtained by multiplying the difference between the value of the reference image signal and the maximum value at one position of the scanning target by the value of the reference image signal is divided by the difference between the maximum value and the minimum value. And first weighting the reference image signal,
A value obtained by multiplying the difference between the value of the reference image signal and the minimum value at one position of the scanning target by the value of the image signal other than the reference image is obtained by calculating the value between the maximum value and the minimum value. Second weighting is performed on image signals other than the reference image divided by the difference,
An image processing apparatus, wherein the reference image and an image other than the reference image are synthesized by the weighted addition process of adding the first weighted result and the second weighted result .

上記合成手段はさらに、上記基準画像および上記基準画像以外の画像に含まれる上記適正露光域のうち上記重複領域以外の部分の画像信号についてはそのままの画像信号を用いて上記基準画像および上記基準画像以外の画像を合成することを特徴とする請求項１に記載の画像処理装置。The synthesizing unit may further use the reference image and the reference image by using the image signal as it is for the image signal of the portion other than the overlapping area in the appropriate exposure area included in the reference image and the image other than the reference image. The image processing apparatus according to claim 1, wherein images other than the above are synthesized.

上記選択手段は、長時間露光画像を上記基準画像として選択することを特徴とする請求項１又は２に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the selection unit selects a long-exposure image as the reference image.