JP2007028088A - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP2007028088A JP2007028088A JP2005205952A JP2005205952A JP2007028088A JP 2007028088 A JP2007028088 A JP 2007028088A JP 2005205952 A JP2005205952 A JP 2005205952A JP 2005205952 A JP2005205952 A JP 2005205952A JP 2007028088 A JP2007028088 A JP 2007028088A
- Authority
- JP
- Japan
- Prior art keywords
- compression
- image
- illumination component
- luminance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、デジタルカメラ等の撮像装置、特に、ダイナミックレンジ圧縮機能を有する撮像装置及びこれに適用され得る画像処理方法に関するものである。 The present invention relates to an imaging apparatus such as a digital camera, and more particularly to an imaging apparatus having a dynamic range compression function and an image processing method that can be applied to the imaging apparatus.
近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つの大きなテーマとなっている。ダイナミックレンジの拡大に関し、例えばＭＯＳＦＥＴのサブスレッショルド特性を利用することで、高輝度側の出力特性を入射光量に応じて電気信号が対数的に変換される特性を有する撮像センサ、すなわち線形特性領域及び対数特性領域からなる光電変換特性を有する撮像センサ（リニアログセンサという）が知られている。リニアログセンサは、上述のように入射光量に対して自然対数的に変換された出力が得られることから、線形特性領域だけの光電変換特性を有する撮像センサと比べてより広いダイナミックレンジが確保される。 2. Description of the Related Art In recent years, in an imaging apparatus such as a digital camera, with the demand for higher image quality, it has become a major theme to expand the luminance range of a subject that can be handled by an imaging sensor, that is, the dynamic range (DR). . Regarding the expansion of the dynamic range, for example, by utilizing the sub-threshold characteristic of the MOSFET, an imaging sensor having a characteristic in which an electrical signal is logarithmically converted according to an incident light quantity, that is, an output characteristic on the high luminance side, that is, a linear characteristic region and An imaging sensor (referred to as a linear log sensor) having a photoelectric conversion characteristic composed of a logarithmic characteristic region is known. As described above, the linear log sensor can obtain a natural logarithmically converted output with respect to the amount of incident light, so that a wider dynamic range is ensured compared to an imaging sensor having photoelectric conversion characteristics only in the linear characteristic region. The
上記リニアログセンサのように撮像系の広ダイナミックレンジ化が進む一方、現状ではモニタ等の表示系の広ダイナミックレンジ化は撮像系ほど進んでおらず、たとえ入力画像の広ダイナミックレンジ化が図られたとしても、表示系においてその効果を充分に発揮できないことになる。したがって、広ダイナミックレンジの入力画像が表示系のダイナミックレンジに収まるように該入力画像のダイナミックレンジを圧縮させる必要がある。 While the wide dynamic range of the imaging system is increasing like the above linear log sensor, at present, the wide dynamic range of the display system such as a monitor is not progressing as much as the imaging system, and even if the input image has a wide dynamic range. Even if it is, the effect cannot be sufficiently exhibited in the display system. Therefore, it is necessary to compress the dynamic range of the input image so that the input image with a wide dynamic range falls within the dynamic range of the display system.
ところで、“ダイナミックレンジの圧縮”には、局所的に画像の明暗を調整する、すなわち画像の照明成分を圧縮することでコントラスト（階調）を向上させる意味と、画像全体の明暗の関係をそのまま維持した状態で、文字通り、帯域（ダイナミックレンジ）を圧縮する（局所的な明暗調整とは無関係に画像を一律に圧縮する）意味との２つの意味があるが、これらを区別するべく、前者を「覆い焼き処理」、後者を「ＤＲ圧縮」と称するものとする。 By the way, in “dynamic range compression”, the relationship between the meaning of adjusting the contrast of the image locally, that is, improving the contrast (gradation) by compressing the illumination component of the image, and the contrast of the entire image as it is. There are two meanings of literally compressing the band (dynamic range) while maintaining the state (compressing the image uniformly regardless of local contrast adjustment). In order to distinguish these, “Dodge processing” is referred to as “DR compression”.
従来、覆い焼き処理では、例えば画像から照明成分を抽出し（このとき反射率成分も抽出する）、この照明成分をＤＲ圧縮した後、当該ＤＲ圧縮された照明成分と反射率成分とから上記局所的に画像の明暗が調整された新たな画像を生成する。これに関し、例えば特許文献１に開示されている技術では、図１２に示すように、リニアログセンサにより得られた線形特性及び対数特性の光電変換特性を有する画像（以降、線形／対数画像という）を、ログ画像Ｉ１とリニア画像Ｉ２とに分割抽出し、それぞれの画像で覆い焼き処理を行った後、これらの画像を合成する。この合成画像を図１３に示す画像Ｉ’とすると、この画像Ｉ’が出力画像（例えば上記表示系）のダイナミックレンジに収まるように入力画像すなわち上記線形／対数画像としての元画像Ｉに対するＤＲ圧縮が行われる。
しかしながら、上記特許文献１に示す技術では、照明成分の全輝度レベルを一律に圧縮しているため、照明成分の明暗差が縮まり、すなわち、例えば図１４に示すように画像の建物１４１の部分のコントラストを向上させようとする覆い焼き処理によって、例えば空１４２と雲１４３の部分との明度差が小さくなり（空１４２及び雲１４３全体が所謂白飛びしたような画像となり）、画像全体でのコントラストが低下した所謂メリハリの少ない薄っぺらい画像（絵）となってしまう。これは、図１５に示すように、或る画像について例えば約２倍の輝度差（想定される画素値の差Ｄ１）を有する輝度Ａ、Ｂ（被写体Ａ、Ｂ）で見た場合、照明成分の圧縮により、この輝度Ａ、Ｂにおける画素値Ａ’、Ｂ’の差Ｄ２が小さくなってしまうことによる。
However, in the technique shown in
本発明は、上記事情に鑑みてなされたもので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる撮像装置及び画像処理方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and in the dodging process, it is possible to increase the brightness difference of the illumination component in the required area of the image, and thus to obtain a sharp natural image. An object is to provide an apparatus and an image processing method.
本発明の請求項１に係る撮像装置は、被写体光を撮像する撮像手段と、前記撮像手段による撮影画像から照明成分を抽出する照明成分抽出手段と、前記撮影画像から反射率成分を抽出する反射率成分抽出手段と、前記照明成分抽出手段によって抽出された照明成分のダイナミックレンジを所定の圧縮特性に基づいて圧縮する圧縮手段と、前記圧縮手段によって照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段によって抽出された反射率成分とから新たな画像を生成する画像生成手段と、前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を設定する圧縮特性設定手段とを備え、前記圧縮手段は、前記圧縮特性設定手段によって設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮することを特徴とする。
An imaging apparatus according to
上記構成によれば、撮像手段によって被写体光が撮像され、照明成分抽出手段によって撮像手段による撮影画像から照明成分が抽出され、反射率成分抽出手段によって撮影画像から反射率成分が抽出され、圧縮特性設定手段によって、撮影画像又は照明成分に対する少なくとも２つの所定の領域が設定されるとともに、当該各領域間の明度差を強調する圧縮特性が設定される。そして、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて上記抽出された照明成分のダイナミックレンジが圧縮され、画像生成手段によって、このダイナミックレンジが圧縮された圧縮照明成分と反射率成分とから新たな画像が生成される。 According to the above configuration, the subject light is imaged by the imaging unit, the illumination component is extracted from the photographed image by the imaging unit by the illumination component extracting unit, the reflectance component is extracted from the photographed image by the reflectance component extracting unit, and the compression characteristics The setting unit sets at least two predetermined areas for the captured image or the illumination component, and sets a compression characteristic that emphasizes the brightness difference between the areas. The dynamic range of the extracted illumination component is compressed by the compression unit based on the compression characteristic set by the compression characteristic setting unit, and the compressed illumination component and the reflectance with the dynamic range compressed by the image generation unit A new image is generated from the components.
請求項２に係る撮像装置は、請求項１において、前記圧縮特性設定手段は、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性を設定することを特徴とする。この構成によれば、圧縮特性設定手段によって、圧縮特性を示す特性ラインの当該各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性が設定される。 An imaging apparatus according to a second aspect is the imaging device according to the first aspect, wherein the compression characteristic setting means has a portion corresponding to each of the regions of the characteristic line indicating the compression characteristic with a slope of zero and a predetermined compression amount. It is characterized by setting a compression characteristic to be in a separated state. According to this configuration, the compression characteristic setting means has a compression characteristic in which the portions corresponding to the respective areas of the characteristic line indicating the compression characteristic are in a state in which the inclination is zero and they are separated from each other by a predetermined compression amount. Is set.
請求項３に係る撮像装置は、請求項１又は２において、前記撮影画像又は照明成分の輝度ヒストグラムを作成するヒストグラム作成手段をさらに備え、前記圧縮特性設定手段は、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定することを特徴とする。この構成によれば、ヒストグラム作成手段によって、撮影画像又は照明成分の輝度ヒストグラムが作成され、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定される。 An imaging apparatus according to a third aspect of the present invention further includes a histogram creation unit that creates a luminance histogram of the captured image or illumination component according to the first or second aspect, wherein the compression characteristic setting unit is a predetermined range on the luminance in the luminance histogram. Is set as each of the regions. According to this configuration, the histogram creation unit creates a brightness histogram of the captured image or the illumination component, and the compression characteristic setting unit sets a predetermined range on the brightness histogram as each region.
請求項４に係る撮像装置は、請求項１〜３のいずれかにおいて、前記圧縮特性設定手段は、前記撮影画像又は前記照明成分における空間的な所定範囲を設定するとともに、該所定範囲の画像に基づいて前記各領域を設定することを特徴とする。この構成によれば、圧縮特性設定手段によって、撮影画像又は照明成分における空間的な所定範囲が設定されるとともに、該所定範囲の画像に基づいて各領域が設定される。 An imaging apparatus according to a fourth aspect of the present invention is the imaging device according to any one of the first to third aspects, wherein the compression characteristic setting unit sets a predetermined spatial range in the captured image or the illumination component, and the image in the predetermined range. Each area is set based on the above. According to this configuration, the compression characteristic setting unit sets a predetermined spatial range in the captured image or the illumination component, and sets each region based on the image in the predetermined range.
請求項５に係る撮像装置は、請求項３又は４において、前記圧縮特性設定手段は、前記輝度ヒストグラムのピークを算出し、該ピーク又はピーク近傍位置を中心とした所定範囲を前記各領域として設定することを特徴とする。この構成によれば、圧縮特性設定手段によって、輝度ヒストグラムのピークが算出され、該ピーク又はピーク近傍位置を中心とした所定範囲が各領域として設定される。 An imaging apparatus according to a fifth aspect is the imaging device according to the third or fourth aspect, wherein the compression characteristic setting unit calculates a peak of the luminance histogram, and sets a predetermined range centered on the peak or a peak vicinity position as each region. It is characterized by doing. According to this configuration, the peak of the luminance histogram is calculated by the compression characteristic setting means, and a predetermined range centered on the peak or the peak vicinity position is set as each region.
請求項６に係る撮像装置は、請求項１〜５のいずれかにおいて、前記照明成分に対する、主被写体の所定輝度値を示す主被写体輝度以上の第１レベル値を設定する第１レベル値設定手段と、前記照明成分に対する、前記反射率成分の高輝度領域における反射率に応じた所定の画像出力最大値以下の第２レベル値を設定する第２レベル値設定手段とをさらに備え、前記圧縮特性設定手段は、前記各領域のうちの低輝度側の所定領域を前記第１レベル値と同レベルとし、高輝度側の所定領域を前記第２レベル値と同レベルとする圧縮特性を設定することを特徴とする。この構成によれば、第１レベル値設定手段によって、照明成分に対する、主被写体の所定輝度値を示す主被写体輝度以上の第１レベル値が設定され、第２レベル値設定手段によって、照明成分に対する、反射率成分の高輝度領域における反射率に応じた所定の画像出力最大値以下の第２レベル値が設定される。そして、圧縮特性設定手段によって、各領域のうちの低輝度側の所定領域を第１レベル値と同レベルとし、高輝度側の所定領域を第２レベル値と同レベルとする圧縮特性が設定される。 According to a sixth aspect of the present invention, there is provided an imaging apparatus according to any one of the first to fifth aspects, wherein the first level value setting means sets a first level value equal to or higher than a main subject luminance indicating a predetermined luminance value of the main subject for the illumination component. And a second level value setting means for setting a second level value that is equal to or less than a predetermined maximum image output value corresponding to the reflectance of the reflectance component in a high luminance region of the illumination component, and the compression characteristic. The setting means sets a compression characteristic in which a predetermined area on the low luminance side of each area is set to the same level as the first level value, and a predetermined area on the high luminance side is set to the same level as the second level value. It is characterized by. According to this configuration, the first level value setting unit sets a first level value equal to or higher than the main subject luminance indicating the predetermined luminance value of the main subject for the illumination component, and the second level value setting unit sets the first level value for the illumination component. A second level value equal to or lower than a predetermined maximum image output value is set according to the reflectance in the high luminance region of the reflectance component. Then, the compression characteristic setting means sets a compression characteristic in which a predetermined area on the low luminance side of each area is set to the same level as the first level value, and a predetermined area on the high luminance side is set to the same level as the second level value. The
請求項７に係る画像処理方法は、被写体光を撮像手段によって撮像する第１の工程と、前記撮像手段による撮影画像から照明成分抽出手段によって照明成分を抽出する第２の工程と、前記撮影画像から反射率成分抽出手段によって反射率成分を抽出する第３の工程と、前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮手段によって所定の圧縮特性に基づいて圧縮する第４の工程と、前記圧縮手段により照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段により抽出された反射率成分とから画像生成手段によって新たな画像を生成する第５の工程と、前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を圧縮特性設定手段によって設定する第６の工程とを有し、前記第４の工程は、圧縮手段によって、前記圧縮特性設定手段により設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮する工程であることを特徴とする。 An image processing method according to a seventh aspect includes a first step of imaging subject light by an imaging unit, a second step of extracting an illumination component from an image captured by the imaging unit by an illumination component extraction unit, and the captured image. And a fourth step of compressing the dynamic range of the illumination component extracted by the illumination component extraction unit based on a predetermined compression characteristic by the compression unit. And a fifth step of generating a new image by the image generation means from the compressed illumination component obtained by compressing the dynamic range of the illumination component by the compression means and the reflectance component extracted by the reflectance component extraction means; Before setting at least two predetermined areas for the captured image or the illumination component and emphasizing the brightness difference between the areas. A sixth step of setting a compression characteristic by a compression characteristic setting unit, and the fourth step includes a dynamic range of the illumination component based on the compression characteristic set by the compression characteristic setting unit by the compression unit. It is the process of compressing.
上記構成によれば、第１の工程において、撮像手段によって被写体光が撮像され、第２の工程において、照明成分抽出手段によって撮像手段による撮影画像から照明成分が抽出され、第３の工程において、反射率成分抽出手段によって撮影画像から反射率成分が抽出され、第６の工程において、圧縮特性設定手段によって、撮影画像又は照明成分に対する少なくとも２つの所定の領域（後述の被写体輝度エリア）が設定されるとともに、当該各領域間の明度差を強調する圧縮特性が設定される。そして、第４の工程において、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて上記抽出された照明成分のダイナミックレンジが圧縮され、第５の工程において、画像生成手段によって、このダイナミックレンジが圧縮された圧縮照明成分と反射率成分とから新たな画像が生成される。 According to the above configuration, in the first step, the subject light is imaged by the imaging unit, and in the second step, the illumination component is extracted from the photographed image by the imaging unit by the illumination component extraction unit, and in the third step, The reflectance component is extracted from the photographed image by the reflectance component extracting means, and in the sixth step, at least two predetermined areas (subject luminance areas described later) are set by the compression characteristic setting means for the photographed image or the illumination component. In addition, a compression characteristic that emphasizes the difference in brightness between the areas is set. In the fourth step, the dynamic range of the extracted illumination component is compressed by the compression unit based on the compression characteristic set by the compression characteristic setting unit. In the fifth step, the dynamic range of the extracted illumination component is compressed by the image generation unit. A new image is generated from the compressed illumination component and the reflectance component whose dynamic range is compressed.
請求項８に係る画像処理方法は、請求項７において、前記第６の工程は、圧縮特性設定手段によって、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性を設定する工程であることを特徴とする。この構成によれば、第６の工程において、圧縮特性設定手段によって、圧縮特性を示す特性ラインの前記各領域に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分だけ離間させた状態とする圧縮特性が設定される。 An image processing method according to an eighth aspect of the present invention is the image processing method according to the seventh aspect, wherein in the sixth step, the portion corresponding to each area of the characteristic line indicating the compression characteristic is zero-gradient by the compression characteristic setting unit. It is a step of setting compression characteristics that are separated from each other by a predetermined compression amount. According to this configuration, in the sixth step, the compression characteristic setting means causes the portions corresponding to the respective areas of the characteristic line indicating the compression characteristic to be separated from each other by a predetermined compression amount with a zero inclination. The compression characteristic to be set is set.
請求項９に係る画像処理方法は、請求項７又は８において、前記撮影画像又は照明成分の輝度ヒストグラムをヒストグラム作成手段によって作成する第７の工程をさらに有し、前記第６の工程は、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定する工程であることを特徴とする。この構成によれば、第７の工程において、撮影画像又は照明成分の輝度ヒストグラムがヒストグラム作成手段によって作成され、第６の工程において、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定される。
The image processing method according to
請求項１に係る撮像装置によれば、撮影画像又は照明成分に対して設定された少なくとも２つの所定領域間の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分のダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。 According to the imaging apparatus of the first aspect, the compression characteristic that enhances the brightness difference between at least two predetermined areas set for the captured image or the illumination component is set, and the dynamic of the illumination component is based on the compression characteristic. Since the range is compressed, in the dodging process, it is possible to increase the brightness difference of the illumination component in the required area of the image, and thus to obtain a sharp natural image.
請求項２に係る撮像装置によれば、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。 According to the imaging device of the second aspect, since the compression characteristics are set by a method in which the slopes of the respective regions are set to be zero and are separated from each other by a predetermined compression amount, the brightness difference between the predetermined regions is emphasized. Compression characteristics can be easily obtained.
請求項３に係る撮像装置によれば、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成される輝度ヒストグラムを用いて、当該各領域の設定を容易に行うことができる。 According to the imaging apparatus of the third aspect, since the predetermined range on the luminance in the luminance histogram is set as each region, the luminance histogram generally created when processing an image is used to Setting can be performed easily.
請求項４に係る撮像装置によれば、撮影画像又は照明成分における空間的な所定範囲が各領域として設定されるので、例えば、モニタ表示された撮影画像（又は照明成分画像）に対してユーザが所定範囲を指定することで各領域の設定を行うといったことが可能となり、画像における明度差を強調させたい箇所（各領域）の選択を、視覚的（直感的）に容易に行えるようになる。 According to the imaging device according to the fourth aspect, since a predetermined spatial range in the captured image or the illumination component is set as each region, for example, the user can perform an operation on the captured image (or illumination component image) displayed on the monitor. By designating a predetermined range, it becomes possible to set each area, and it becomes possible to visually (intuitively) easily select a location (each area) where the brightness difference in the image is to be emphasized.
請求項５に係る撮像装置によれば、輝度ヒストグラムのピーク又はピーク近傍位置を中心とした所定範囲を各領域として設定する方法によって、輝度ヒストグラムを用いた各領域の設定を容易に行うことができる。 According to the imaging device of the fifth aspect, it is possible to easily set each region using the luminance histogram by using a method in which a predetermined range centered on the peak of the luminance histogram or a position near the peak is set as each region. .
請求項６に係る撮像装置によれば、各領域のうちの低輝度側の所定領域を第１レベル値と同レベルとし、高輝度側の所定領域を第２レベル値と同レベルとする圧縮特性を設定する方法によって、各領域間の明度差が強調される圧縮特性の設定を容易に行うことができる。 According to the imaging device of the sixth aspect, the compression characteristic in which the predetermined area on the low luminance side of each area is set to the same level as the first level value, and the predetermined area on the high luminance side is set to the same level as the second level value. By the method of setting the compression characteristic, it is possible to easily set the compression characteristic that emphasizes the brightness difference between the regions.
請求項７に係る画像処理方法によれば、撮影画像又は照明成分に対して設定された少なくとも２つの所定領域間の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分のダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。 According to the image processing method of the seventh aspect, the compression characteristic that emphasizes the lightness difference between at least two predetermined regions set for the captured image or the illumination component is set, and the illumination component based on the compression characteristic is set. Since the dynamic range is compressed, in the dodging process, it is possible to increase the brightness difference of the illumination components in the required area of the image, and thus to obtain a sharp natural image.
請求項８に係る画像処理方法によれば、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。 According to the image processing method of the eighth aspect, the compression characteristics are set by a method in which the slopes of the respective regions are set to be zero and are separated from each other by a predetermined compression amount. The emphasized compression characteristic can be easily obtained.
請求項９に係る画像処理方法によれば、輝度ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成される輝度ヒストグラムを用いて、当該各領域の設定を容易に行うことができる。 According to the image processing method of the ninth aspect, since a predetermined range on the luminance histogram is set as each region, each region is used by using a luminance histogram that is generally created when an image is processed. Can be easily set.
図１は、本実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。
FIG. 1 shows a digital camera which is an example of an imaging apparatus according to the present embodiment, and a schematic block configuration diagram mainly relating to imaging processing of the digital camera. As shown in FIG. 1, the
レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック）を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部８によってこの絞りやシャッタの駆動制御がなされる構成となっている。
The
撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態においては、撮像センサ３として、センサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形、高輝度側が対数の光電変換特性を有する対数変換型固体撮像素子が用いられる。なお、この光電変換特性の線形特性領域と対数特性領域との切り替り点（以降、変曲点という）は、撮像センサ３の各画素回路に対する所定の制御信号により任意に制御可能とされている。
The
具体的には、撮像センサ３は例えばフォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、Ｐ型又はＮ型のＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂ＣＭＯＳイメージセンサが採用される。但し、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
Specifically, the
アンプ４は、撮像センサ３から出力された画像信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。
The
Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。
The A /
画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換処理によって得られた画像信号に対する色補間／色補正処理やホワイトバランス補正処理、特に、本実施形態の主な特徴点である覆い焼き処理に基づく階調変換処理といった各種画像処理を行うものである。画像処理部６におけるこの階調変換処理については後に詳述する。なお、画像処理部６は、上記各機能部の他に、例えば信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去するＦＰＮ補正部やＡ／Ｄ変換部５から入力されるデジタル画像信号の黒レベルを基準の値に補正する黒基準補正部等（いずれも図示略）を備えていてもよい。
The
画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６で画像処理が施された画像データ等を保存するものである。画像メモリ７は、例えば撮影よる所定フレーム分の画像データを記憶し得る容量を有したものとなっている。
The
制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３等の装置各部からの各種信号に基づき装置各部が必要とする制御パラメータ等を算出し、これに基づいて例えばタイミングジェネレータや駆動部（いずれも図示略）を介して装置各部の動作を制御する。制御部８は、本実施形態においては、特に、画像処理部６の階調変換処理における照明成分圧縮処理や特性変換処理等の処理動作を制御する。
The
モニタ部９は、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等のモニタ表示を行うものである。モニタ部９は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなる。
The
操作部１０は、デジタルカメラ１に対するユーザによる操作指示入力を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えばレリーズスイッチが押下（オン）されることで、撮像動作、すなわち撮像センサ３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の撮影動作が実行される。
The
ここで、上記階調変換処理の機能に関する画像処理部６の構成及び動作の詳細について説明する。図２は、画像処理部６の各機能を説明するための機能ブロック図である。同図に示すように画像処理部６は、主被写体輝度取得部６１、特性変換部６２、照明成分抽出部６３、圧縮開始点設定部６４、反射率成分算出部６５、高輝度領域反射率算出部６６、最大輝度圧縮点算出部６７、ヒストグラム演算部６８、被写体輝度エリア設定部６９、照明成分圧縮部７０及び画像生成部７１を備えている。
Here, details of the configuration and operation of the
主被写体輝度取得部６１は、撮像センサ３による撮像によって得られた撮影画像（元画像Ｉ）の主被写体輝度を取得（算出）するものである。主被写体輝度取得部６１は、図８に示すように例えば分割測光（マルチパターン測光）方式によって、撮像領域６００つまり元画像Ｉを、例えばＡ〜ＡＪブロックの３６個の検出ブロックに分割されてなる中央領域（主被写体領域６１０という）と、第１〜第１６ブロックの１６個の検出ブロックに分割されてなる周辺領域（周辺被写体領域６２０という）とからなる複数の区画に分割し、この各区画の画像から検出した輝度情報から例えば平均輝度として主被写体輝度を算出する。この場合、例えばＡ〜ＡＪブロック毎の主被写体輝度ヒストグラム（分布）を算出するとともに、このＡ〜ＡＪブロック毎の主被写体輝度ヒストグラムから主被写体領域６１０全体における主被写体全体輝度ヒストグラムを算出し、この主被写体全体輝度ヒストグラムから主被写体領域６１０に対する平均輝度を算出してもよい。この平均輝度算出の際には、例えば或る所定の閾値を用いて輝度データの「足切り」処理を行ってもよいし、周辺被写体領域の輝度情報（周辺被写体輝度ヒストグラムや周辺被写体全体輝度ヒストグラム）を用いてもよい。なお、主被写体輝度の算出方法は、上記したものに限定されず、種々の方法が採用可能である。また、主被写体輝度は平均輝度として算出せずともよく、例えば最大／最小輝度として算出してもよい。
The main subject
ここで、図３は、上記階調変換処理による覆い焼き処理（照明成分の圧縮）について説明するグラフ図である。特性変換部６２は、図３に示すように、リニア特性３０１及びログ特性３０２からなる光電変換特性を有する元画像Ｉに対する、特性を統一する処理（特性統一処理）を行うものである。この元画像Ｉは、撮像センサ３からの入力画像であり、以下の（１）、（２）式に示すような入力輝度ｘに対する画素値ｙの関係式（光電変換特性）を有する。但し、同図中の座標点（Ｘｔｈ、Ｙｔｈ）は、変曲点３０３を示し、（１）式はリニア特性３０１である画像Ｉ２を示し、（２）式はログ特性３０２である画像Ｉ１を示す。なお、式中の記号「＊」は乗算を示し、ａ、ｂ、α、βは所定の係数を示す（以下も同じ）。
ｙ＝ａ＊ｘ＋ｂ（０≦ｘ≦Ｘｔｈ） ・・・（１）
ｙ＝α＊ｌｏｇ（ｘ）＋β（ｘ＞Ｘｔｈ） ・・・（２）
Here, FIG. 3 is a graph illustrating the dodging process (the compression of the illumination component) by the gradation conversion process. As shown in FIG. 3, the
y = a * x + b (0 ≦ x ≦ Xth) (1)
y = α * log (x) + β (x> Xth) (2)
特性変換部６２は、ここでは、ログ特性３０２を、リニア特性３０１と同じ特性であるリニア特性３０４に変換する処理を行う。この場合、撮像センサ３の画素値をｉとすると、当該特性統一処理により得られる、リニア特性３０１及びリニア特性３０４からなる光電変換特性を有する画像（符号３１０に示す画像Ｉｔ）は、下記の（３）式に基づく変換によって与えられる。但し、式中の記号「／」は除算を示す（以下も同じ）。
ｉｆ（ｉ＞Ｙｔｈ）
Ｉｔ＝ａ＊ｅｘｐ（（ｉ−β）／α）＋ｂ
ｅｌｓｅ
Ｉｔ＝ｉ ・・・（３）
Here, the
if (i> Yth)
It = a * exp ((i−β) / α) + b
else
It = i (3)
なお、特性変換部６２は、上記ログ特性３０２からリニア特性３０４への変換を、所定のＬＵＴ（変換ＬＵＴという）を用いて行う。この変換ＬＵＴは例えば特性変換部６２に備えたＬＵＴ記憶部（図示略）に記憶しておいてもよい。
The
照明成分抽出部６３は、上記特性統一処理により得られた画像Ｉｔ（リニア画像）から照明成分を抽出するものである。この画像Ｉｔは、所謂Ｒｅｔｉｎｅｘ理論によれば、該画像Ｉｔにおける照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の(４)式で表される。なお、画像Ｉｔに示す直線グラフを、該画像Ｉｔから抽出した照明成分Ｌを表すものとして適宜扱うものとする。
Ｉｔ＝Ｌ＊Ｒ ・・・（４）
The illumination
It = L * R (4)
この画像Ｉｔからの照明成分Ｌの抽出処理は、メディアンフィルタやイプシロン（ε）フィルタ等の所謂エッジ維持フィルタ（非線形フィルタ）を用いて行われる。これは以下の(５)式で表される。
Ｌ＝Ｆ（Ｉｔ） ・・・(５)
但し、(５)式中の“Ｆ”は、上記エッジ維持フィルタを示している。なお、狭義での単に低周波成分を通過させる通常のＬＰＦ（ローパスフィルタ；線形フィルタ）では、画像の照明境界（エッジ）においてその変化を正確に抽出することができないため、すなわち、線形フィルタを用いて抽出した信号に基づいてＤＲ圧縮を行うと例えばアーティファクト（画像の暗く沈んだ部分）が出現してしまうため、このような問題を回避してエッジを正確に抽出することが可能なエッジ維持フィルタを用いている。
The extraction process of the illumination component L from the image It is performed using a so-called edge maintaining filter (nonlinear filter) such as a median filter or an epsilon (ε) filter. This is expressed by the following equation (5).
L = F (It) (5)
However, “F” in the equation (5) indicates the edge maintaining filter. Note that a normal LPF (low-pass filter; linear filter) that simply passes a low-frequency component in a narrow sense cannot accurately extract the change at the illumination boundary (edge) of the image, that is, a linear filter is used. If the DR compression is performed on the basis of the extracted signal, for example, an artifact (a darkly sunk portion of the image) appears. Therefore, an edge maintaining filter that can accurately extract an edge while avoiding such a problem Is used.
圧縮開始点設定部６４は、上記画像Ｔｔから抽出した照明成分Ｌに対する圧縮処理を行うに際しての、符号３０５に示す圧縮開始点Ｓ、具体的には圧縮開始レベルＹｓを設定する（入力輝度で見た場合の圧縮開始レベルＸｓを設定してもよい）ものである。この場合、圧縮開始レベルＹｓは、上記の平均輝度等で与えられる主被写体輝度以上の値となるように設定する。この主被写体輝度以上の値となる圧縮開始レベルＹｓを設定する方法としては、例えば、主被写体輝度の値を所定数倍した値を圧縮開始レベルＹｓとしてもよい。この所定数倍の具体的な値（倍率）は、例えば主被写体が人の顔となるような場合には、ガンマ補正を行うと適正な明るさが得られるレベルとなる２〜３倍程度、或いは主被写体が風景となるような場合には２倍程度としてもよい。但し、倍率はこれらに限定されず、任意な値が採用可能である。また、この倍率は、予め想定した被写体に応じて算出された１つの固定値として設定してもよいし、被写体に応じてその都度、異なるものを設定してもよい。この場合、例えば、ユーザによる操作部１０からの指示入力に基づいて複数の固定値から選択されたものを設定してもよいし、上記主被写体輝度取得部６１において測光結果から求めた主被写体輝度の値に応じて複数の固定値から自動的に選択されたものを設定してもよいし、また、当該測光結果や撮影倍率（焦点距離）から求められる撮影モード（例えば「ポートレート（人物）」モードや「風景」モード）により同定された主被写体の種類に応じて設定してもよい。いずれにしても、圧縮開始レベルＹｓは、主被写体（被写体）の種別や輝度情報に応じて適宜設定し、且つ主被写体輝度レベル（又はこの直近レベル）ではなく、主被写体輝度から所定値高いレベルに設定することが好ましく、これにより、各種被写体の違いに拘わらず、ＤＲ圧縮による主被写体への影響をより確実に防ぐことが可能となる。
The compression start
また、主被写体輝度以上の値となる圧縮開始レベルＹｓを設定する方法としては、上述したものに限定されず、例えば、主被写体及び／又は周辺被写体の輝度情報に基づく所定の輝度ヒストグラム（以降、単に「ヒストグラム」という）を算出し、主被写体輝度以上の領域における所定レベル、例えば度数の少ない輝度値（輝度レベル）を圧縮開始レベルＹｓとして設定してもよい。具体的には、ヒストグラムが例えば所謂「山」の形状をしており、この山の頂点付近が主被写体輝度であるとすると、このヒストグラムにおける主被写体輝度以上の度数が小さくなっている山裾の位置辺りを圧縮開始レベルとするように設定する。このように度数の少ない輝度値を圧縮開始レベルＹｓとして圧縮を行うことにより（ヒストグラムにおける度数の大きな部分に対する圧縮を回避できるため）、階調特性の変化を目立たなくすることができる。なお、このヒストグラムに基づく圧縮開始レベルＹｓの設定は、撮像センサ３によって撮影画像が得られる都度行われてもよい。
In addition, the method for setting the compression start level Ys that is a value equal to or higher than the main subject luminance is not limited to the above-described method. For example, a predetermined luminance histogram (hereinafter, based on luminance information of the main subject and / or surrounding subjects) is used. It is also possible to calculate a predetermined level in an area equal to or higher than the main subject luminance, for example, a luminance value (luminance level) with a low frequency as the compression start level Ys. Specifically, if the histogram has a so-called “mountain” shape and the vicinity of the peak is the main subject brightness, the position of the foot of the mountain where the frequency of the main subject brightness or less in this histogram is smaller Set the neighborhood to be the compression start level. In this way, by performing the compression with the luminance value having a low frequency as the compression start level Ys (because it is possible to avoid the compression of the high frequency portion in the histogram), the change in the gradation characteristics can be made inconspicuous. The setting of the compression start level Ys based on this histogram may be performed every time a captured image is obtained by the
また、撮像センサが本実施形態に示すようにリニアログセンサである場合、圧縮開始レベルＹｓを、例えばＹｓ＝Ｙｔｈ＊Ｐ（Ｐ；１より小さい所定の倍数値）として求めるなどして、変曲点レベルＹｔｈと連動させた値を設定してもよい。これは、変曲点レベルＹｔｈが、デジタルカメラ１による自動露出制御（ＡＥ制御）が行われる段階で、つまりここでの覆い焼き処理が行われる前段階で、主被写体輝度レベルよりも大きな値に設定されていることによる。なお、上記ＡＥ制御は、画像処理部６において撮影画像から求めたＡＥ制御用の評価値（ＡＥ評価値）を用いて行われる。上記いずれにしても、要は、主被写体輝度がＤＲ圧縮されて主被写体の階調がつぶれてしまわないようなレベルに圧縮開始レベルＹｓが設定されればよい。
Further, when the imaging sensor is a linear log sensor as shown in the present embodiment, the inflection is obtained by obtaining the compression start level Ys as, for example, Ys = Yth * P (P: a predetermined multiple value smaller than 1). A value linked to the point level Yth may be set. This is because the inflection point level Yth is larger than the main subject luminance level at the stage where automatic exposure control (AE control) is performed by the
反射率成分算出部６５は、画像Ｉｔから反射率成分Ｒを算出（抽出）するものである。この反射率成分Ｒは、上記照明成分Ｌを用いて以下の（６）式によって算出される。
Ｒ＝Ｉｔ／Ｌ ・・・（６）（上記（４）式から導出）
The reflectance
R = It / L (6) (derived from the above equation (4))
高輝度領域反射率算出部６６は、反射率成分算出部６５により算出した反射率成分Ｒから高輝度領域（高輝度部分）の反射率Ｒｈｉを算出するものである。具体的には、高輝度領域反射率算出部６６は、反射率成分Ｒのうち、照明成分Ｌの値が所定の閾値ｔｈ（図３参照）以上である高輝度領域における反射率の最大値又は平均値を反射率Ｒｈｉとして算出する。この最大値や平均値は、例えば反射率成分のヒストグラムを作成して該ヒストグラムに基づいて算出する（このヒストグラムでの計算の際、或る閾値で所謂「足切り」を行ってもよい）など、任意な算出方法が採用可能である。また、この平均値も、上記閾値ｔｈ以上の領域の反射率成分全体を単純平均して求めたものでもよいし、これ以外の平均方法によって求めた平均値であってもよい。また、上記閾値ｔｈは、上記従来技術（図９参照）で説明したように、画素値が出力最大値Ｏｍａｘを上回る反射率成分が、該閾値ｔｈ以上の輝度領域における反射率成分に内包され得る値が設定される。この閾値ｔｈは或る固定値として設定してもよいし、撮影画像が得られる都度、所定の設定基準情報に応じて設定してもよい。
The high luminance area
最大輝度圧縮点算出部６７は、高輝度領域反射率算出部６６により算出した反射率Ｒｈｉに基づいて、符号３０６に示す最大輝度圧縮点Ｍ’を算出（設定）するものである。この最大輝度圧縮点Ｍ’は、後述の照明成分圧縮部６８によるＤＲ圧縮後、高輝度領域の反射率成分Ｒが出力最大値Ｏｍａｘより大きな値とならないように設定される、すなわち、０（ゼロ）〜Ｙｍａｘ（リニア特性最大値）のダイナミックレンジをもつ照明成分Ｌが、ＤＲ圧縮によって０（ゼロ）〜Ｌ’ｍａｘのダイナミックレンジに収まるように設定される最大輝度Ｘｍａｘの照明圧縮レベルＬ’ｍａｘを示す点（Ｘｍａｘ、Ｌ’ｍａｘ）である。具体的には、最大輝度圧縮点算出部６７は、Ｌ’ｍａｘの値を、反射率Ｒｈｉ及び出力最大値Ｏｍａｘから以下の（７．３）式によって算出する。但し、（７．３）式は、後述する画像Ｉ’がＯｍａｘ以下の値であることに基づく（７．１）式、及びこの（７．１）式における画像Ｉ’が照明成分Ｌ’ｍａｘと反射率Ｒｈｉとの乗算値であることに基づく（７．２）式から導かれる。
Ｉ’≦Ｏｍａｘ ・・・（７．１）
Ｌ’ｍａｘ＊Ｒｈｉ≦Ｏｍａｘ ・・・（７．２）
Ｌ’ｍａｘ≦Ｏｍａｘ／Ｒｈｉ ・・・（７．３）
The maximum luminance compression
I ′ ≦ Omax (7.1)
L′ max * Rhi ≦ Omax (7.2)
L′ max ≦ Omax / Rhi (7.3)
ヒストグラム演算部６８は、撮影画像の輝度情報を基にヒストグラムを作成するとともに、このヒストグラム情報に基づく各種演算を行うものである。具体的には、ヒストグラム演算部６８は、図４の符号４１０に示すグラフのように、撮影画像から抽出された照明成分（照明成分画像）のヒストグラムを作成する（後述のピークヒストグラムに対して、このヒストグラムを全体ヒストグラムという）。そして、この作成した全体ヒストグラムに対して所定の閾値すなわち足切りレベルで足切り（足切り演算）を行うことで、足切りレベル以上のヒストグラム（以降、ピークヒストグラムという）を算出し、さらにこのピークヒストグラムにおけるピーク（ピーク値）を算出する。ここでは、図４の符号４２０に示すグラフのように、符号４１０に示す全体ヒストグラムにおけるピークヒストグラムが、輝度Ａを有する被写体Ａに対応するピークヒストグラム４１１及び輝度Ｂを有する被写体Ｂに対応するピークヒストグラム４１２の２つ得られており、これらピークヒストグラム４１１、４１２のピークがそれぞれピークＰ１、Ｐ２となっている。
The
被写体輝度エリア設定部６９は、上記ヒストグラム演算部６８によって算出したピークヒストグラム情報又はピーク情報に基づいて、所定輝度範囲（所定領域）を被写体輝度エリアとして設定するものである。ここでは、符号４２０のグラフに示すように、ピークＰ１、Ｐ２を中心とした（ピークＰ１、Ｐ２近傍位置を中心としてもよい）被写体輝度エリアＡ１、Ａ２を設定している。当該被写体輝度エリアの設定は、このピークＰ１、Ｐ２のようなピーク位置又はピーク近傍位置の輝度について標準偏差σを求め、±Ｎσ（Ｎ＞０の値、例えば３）の幅を被写体輝度エリアとする方法で設定してもよいし、また、ピーク位置又はピーク近傍位置からプラス及びマイナス方向に所定輝度値分だけ大きな輝度範囲を被写体輝度エリアとする方法で設定してもよい。この所定輝度値分の大きさは、例えばピーク輝度やピークヒストグラムの総度数から算出したものであってもよい。いずれにしても、ピークヒストグラム情報又はピーク情報に対応した所要の被写体輝度エリアが得られるのであれば、任意の設定方法が採用可能である。なお、各被写体輝度エリアは、互いに隣接したものとなってもよく（被写体輝度エリア同士の間隔が狭くてもよく）、換言すれば、上記各ピークヒストグラムは、互いに隣接したものであってもよく、この場合、圧縮特性の設定に際して、例えば被写体輝度エリア感の例えば後述の符号３１２に示す圧縮特性部が急傾斜となってもよい。
The subject luminance
但し、上記足切りレベル以上のピークヒストグラムが無い又は１つの場合（２つ以上でない場合）、或いは、ヒストグラムが一様に分布している（度数に偏りが生じていない）ことなどから明確なピークが得られない場合には、当該被写体輝度エリアを設定して行うＤＲ圧縮でなく、符号３２０に示す圧縮特性に基づくＤＲ圧縮を行う。これは、ピークの存在しない画像は、元来メリハリの無い画像であるため、当該被写体輝度エリアを設定して行うＤＲ圧縮は不要とされることによる。なお、上記明確なピークであるか否かの判別は、例えば所定のピークヒストグラムパターン情報（ピークヒストグラムの山形状の情報）を記憶しておき、この情報と比較することで行ってもよい。また、例えば１つのピークヒストグラムに複数のピークが存在する場合、これらピーク値の例えば平均値を算出し、この平均ピーク値を、このピークヒストグラムを代表する１つのピークとして算出する構成としてもよい。
However, there is no peak histogram above the cut-off level or one peak (if not two or more), or the histogram is uniformly distributed (no frequency deviation), etc. Cannot be obtained, DR compression based on the compression characteristic indicated by
照明成分圧縮部７０は、照明成分抽出部６３により画像Ｉｔから抽出された照明成分Ｌに対するＤＲ圧縮を行うものである。照明成分圧縮部７０は、このＤＲ圧縮において、上記圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’並びに被写体輝度エリアの情報の情報を基に所定の圧縮特性を設定し、この圧縮特性に基づいて該ＤＲ圧縮を行う。ここで、この圧縮特性の設定方法の一例について以下に説明する。
The illumination
照明成分圧縮部７０は、被写体輝度エリア設定部６９によって設定した被写体輝度エリア（ここでは被写体輝度エリアＡ１、Ａ２とする）の情報を基に、圧縮開始レベルＹｓ以上の領域における圧縮特性を決定する。この場合、図３に示すように、まず各被写体輝度エリアＡ１、Ａ２の圧縮特性の傾きをゼロとし、低輝度側の被写体輝度エリアＡ１、換言すれば圧縮開始点Ｓの輝度値Ｘｓに近い被写体輝度エリアＡ１を、例えば圧縮開始レベルＹｓと同じレベル位置に設定し、一方、高輝度側の被写体輝度エリアＡ２、換言すれば最大輝度圧縮点Ｍ’に近い被写体輝度エリアＡ２を、例えば照明圧縮レベルＬ’ｍａｘと同じレベル位置に設定することで被写体輝度エリアＡ１、Ａ２を所定の圧縮量分だけ離間させた状態とするとともに、圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’間における被写体輝度エリアＡ１、Ａ２以外の残りの符号３１１〜３１３に示す特性部分は、直線で繋いだ状態、すなわち一定の傾きを有した状態となるように圧縮特性を決定する。圧縮特性の設定に際して、このように被写体輝度エリアＡ１、Ａ２を配置することで、少なくとも上記符号３１２の圧縮特性に示す部分の出力分（Ｙｓ及びＬ’ｍａｘ間の出力分）だけ、被写体輝度エリアＡ１、Ａ２間の明度差（輝度差）を生じさせることができる。
The illumination
このように各被写体輝度エリアのレベル位置は、要は、互いの明度差が得られるようなものであればよく、必ずしも上述したような圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’のレベル位置に限定されず、例えば図９に示す出力レベルゼロからの高さ（以降、レベル高さという）７０１、７０２に示すように、被写体輝度エリアＡ１、Ａ２に応じた任意のレベルに設定してもよい。この場合も、残りの部分は上記と同様、一定の傾きを有するように設定する。なお、このレベル高さの設定は、例えば各被写体輝度エリアのピークＰ１、Ｐ２の輝度値が、それぞれ圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’の輝度値Ｘｓ、Ｘｍａｘからどれくらい離れているかに応じて（例えば離間距離に比例させて）決定してもよい。
As described above, the level position of each subject luminance area may be any level as long as a brightness difference between them can be obtained, and is not necessarily at the level position of the compression start point S and the maximum luminance compression point M ′ as described above. For example, as shown in
また、図１０に示すように、被写体輝度エリアが３つ以上存在する場合には（ここでは被写体輝度エリアＡ１１、Ａ１２、Ａ１３の３つとする）、例えば、圧縮開始点Ｓの輝度値Ｘｓに近い被写体輝度エリアＡ１１を圧縮開始レベルＹｓと同レベルに設定し、最大輝度圧縮点Ｍ’に近い被写体輝度エリアＡ１３を照明圧縮レベルＬ’ｍａｘと同レベルに設定し、その間の被写体輝度エリアＡ１２は、圧縮開始点Ｓ又は最大輝度圧縮点Ｍ’と該被写体輝度エリアＡ１２のピーク値との距離に応じたレベル高さに設定するというように所謂階段状の圧縮特性としてもよい。但し、各被写体輝度エリア間の明度差が好適に得られるのであれば、この設定方法に限定されず、例えば被写体輝度エリアＡ１２を、圧縮開始レベルＹｓ又は照明圧縮レベルＬ’ｍａｘと同レベルに設定してもよいし、被写体輝度エリアＡ１１、Ａ１３を図９の場合と同様、圧縮開始レベルＹｓ、照明圧縮レベルＬ’ｍａｘと同じレベル位置とせずに任意なレベル高さに設定してもよい。なお、この場合も、残りの特性部分は上記と同様、一定の傾きを有するように設定される。 Also, as shown in FIG. 10, when there are three or more subject luminance areas (here, the subject luminance areas A11, A12, and A13 are three), for example, close to the luminance value Xs of the compression start point S The subject brightness area A11 is set to the same level as the compression start level Ys, the subject brightness area A13 close to the maximum brightness compression point M ′ is set to the same level as the illumination compression level L′ max, and the subject brightness area A12 in the meantime is A so-called step-like compression characteristic may be used such that the level height is set according to the distance between the compression start point S or the maximum luminance compression point M ′ and the peak value of the subject luminance area A12. However, as long as the brightness difference between the subject luminance areas can be suitably obtained, the setting is not limited to this setting method. For example, the subject luminance area A12 is set to the same level as the compression start level Ys or the illumination compression level L′ max. Alternatively, the subject luminance areas A11 and A13 may be set to arbitrary level heights without setting the same level positions as the compression start level Ys and the illumination compression level L′ max, as in the case of FIG. In this case as well, the remaining characteristic portions are set to have a constant slope, as described above.
次に、圧縮開始レベルＹｓ未満の領域における圧縮特性を決定する。この圧縮開始レベルＹｓ未満における照明成分Ｌの圧縮特性は、以下の（８)式に示す特性関数で与えられる。
Ｌ’＝ｅｘｐ（ｌｏｇ（Ｌ）＊ｃ）＊ｎ ・・・（８）
但し、「ｃ」はＤＲ圧縮率、「ｎ」は正規化項である。
この（８）式に示す圧縮特性は、図３における特性グラフ３２０であり、上記符号３１０に示す照明成分ＬをＤＲ圧縮率ｃでＤＲ圧縮した場合に得られるものである。但し、特性グラフ３２０における、圧縮開始レベルＹｓ未満の符号３２１に示す領域が、ここでの圧縮開始レベルＹｓ未満で設定される圧縮特性（圧縮特性３２１）となる。
Next, the compression characteristic in the region below the compression start level Ys is determined. The compression characteristic of the illumination component L below this compression start level Ys is given by the characteristic function shown in the following equation (8).
L ′ = exp (log (L) * c) * n (8)
However, “c” is a DR compression rate, and “n” is a normalization term.
The compression characteristic shown in the equation (8) is a
このＤＲ圧縮によって、上記０〜Ｙｍａｘのダイナミックレンジを有する照明成分Ｌは、Ｏｍａｘ以下の０（ゼロ）〜Ｌ’ｍａｘのダイナミックレンジに収まるような照明成分Ｌ’にＤＲ圧縮される。このＯｍａｘは所定の画像出力系の出力最大値（撮像センサ３の出力最大値又は最大画素値であってもよい）であり、例えば８ビット画像において「２５５」の階調値をとる。上記（８）式に示すＤＲ圧縮後の照明成分を示す関数Ｌ’は、圧縮開始点Ｓ（Ｘｓ、Ｙｓ）と最大輝度圧縮点Ｍ’（Ｘｍａｘ、Ｌ’ｍａｘ）との２点を通過するため、これら点Ｓ及びＭ’の座標値をそれぞれ代入して得られる連立方程式から、（８）式における当該２つの未知数ｃ、ｎを算出することができる。 By this DR compression, the illumination component L having a dynamic range of 0 to Ymax is DR compressed to an illumination component L ′ that falls within a dynamic range of 0 (zero) to L′ max that is equal to or less than Omax. This Omax is the maximum output value of the predetermined image output system (may be the maximum output value or maximum pixel value of the image sensor 3), and takes a gradation value of “255” in an 8-bit image, for example. The function L ′ indicating the illumination component after DR compression shown in the above equation (8) passes through two points of the compression start point S (Xs, Ys) and the maximum luminance compression point M ′ (Xmax, L′ max). Therefore, the two unknowns c and n in the equation (8) can be calculated from simultaneous equations obtained by substituting the coordinate values of these points S and M ′.
但し、上記（８）式において、圧縮パラメータ“ｃ”に加え、パラメータ“ｎ”を導入するのは、例えば撮像センサ３の出力画像（撮影画像）が０〜２５５階調のダイナミックレンジ（８ビット画像）を有しており、ＤＲ圧縮後の照明成分Ｌ’が例えば０〜１００の階調となる場合には、これを０〜２５５の階調に合わせるべく「ｎ」の値を例えば２．５とすることで階調値全体を２．５倍するといった調整（照明成分Ｌ’の正規化）を可能にするためである。また、上記（８）式の圧縮特性は、Ｏｍａｘ以下の最大輝度圧縮点Ｍ’（Ｘｍａｘ、Ｌ’ｍａｘ）を通るものであることから、照明成分圧縮部７０は、反射率Ｒｈｉが高いほど圧縮後のレベルＬ’ｍａｘが小さくなる即ち圧縮率が大きくなるようにＤＲ圧縮率を決定し、該決定したＤＲ圧縮率に基づいて照明成分ＬをＤＲ圧縮するものであるとも言える。
However, in the above equation (8), in addition to the compression parameter “c”, the parameter “n” is introduced because, for example, the output image (captured image) of the
照明成分圧縮部７０は、上述のようにして求めた圧縮開始レベルＹｓ以上の符号３３１に示す圧縮特性（圧縮特性３３１）と、圧縮開始レベルＹｓ未満の圧縮特性３２１とからなる圧縮特性３３０を設定し、この圧縮特性３３０に基づいてＤＲ圧縮を行う。
The illumination
なお、照明成分Ｌに対するＤＲ圧縮において圧縮開始点Ｓを設定するのは、上述したように主被写体輝度がＤＲ圧縮されないようにするためであり、したがって、照明成分圧縮部７０は、照明成分Ｌに対するＤＲ圧縮において上記圧縮特性３２１を有する圧縮特性３３０を用いるものの、照明成分Ｌが圧縮開始レベルＹｓ未満の領域では、当該圧縮特性３３０により得られる照明成分Ｌ’を出力値として用いずに、元画像Ｉを出力値とする処理を行う。
The reason why the compression start point S is set in the DR compression for the illumination component L is to prevent the main subject luminance from being DR-compressed as described above. Although the
画像生成部７１は、照明成分圧縮部７０によって求めた照明成分Ｌ’と、反射率成分算出部６５によって求めた反射率成分Ｒとから、以下の（９）式によって、元画像Ｉに対する新たな画像Ｉ’（覆い焼き処理後の画像Ｉ’）を生成するものである。
Ｉ’＝Ｌ’＊Ｒ ・・・（９）
From the illumination component L ′ obtained by the illumination
I ′ = L ′ * R (9)
上述のような圧縮特性３３０を基にしたＤＲ圧縮による覆い焼き処理によって、例えば図５に示すように、画像の建物５０１の部分のコントラストを向上させつつ、例えば上記被写体輝度エリアＡ１に対応する空５０２と、被写体輝度エリアＡ２に対応する雲５０３の部分との明度差が小さくなって白飛びなどが生じていない（又は元画像における当該空５０２と雲５０３との明度差が維持されている）、メリハリの利いた自然な（好適な）画像を得ることができるようになる。
By the dodging process by DR compression based on the compression characteristic 330 as described above, for example, as shown in FIG. 5, the contrast of the
図６は、本実施形態におけるデジタルカメラ１による覆い焼き処理に関する動作の一例を示すフローチャートである。先ず特性変換部６２によってリニア特性への特性統一処理が行われて画像Ｉｔが得られる（ステップＳ１）。次に、照明成分抽出部６３によって、エッジ維持フィルタ（非線形フィルタ）処理に基づいて画像Ｉｔから照明成分Ｌが抽出される。但し、この照明成分の抽出処理は画像Ｉｔの全画素に対し同時に行われる（ステップＳ２）。そして、圧縮開始点設定部６４に圧縮開始レベルＹｓが設定されるとともに、照明成分圧縮部６８によって、照明成分Ｌが設定された圧縮開始レベルＹｓ以上であると判別された場合には（ステップＳ３のＹＥＳ）、反射率成分算出部６５によって反射率成分Ｒが算出され（ステップＳ４）、圧縮開始点Ｓ（圧縮開始レベルＹｓ）及び最大輝度圧縮点Ｍ’（照明圧縮レベルＬ’ｍａｘ）、並びに被写体輝度エリア（ここでは２つの被写体輝度エリアＡ１、Ａ２）の情報に基づき設定された圧縮特性に基づいて、上記照明成分ＬがＤＲ圧縮されて照明成分Ｌ’が得られる（ステップＳ５）。このステップＳ５の動作フローについては以下図７にて詳述する。このステップＳ４、５で得られた反射率成分Ｒ及び照明成分Ｌ’とから画像Ｉ’が生成されて出力される（ステップＳ６）。上記ステップＳ３において、照明成分Ｌが圧縮開始レベルＹｓ未満であると判別された場合には（ステップＳ３のＮＯ）、元画像Ｉが選択されて出力される（ステップＳ７）。但し、ステップＳ３〜Ｓ７の動作は、照明成分Ｌの画素毎に（１つの画素に対して）順次実行される。このようにしてステップＳ３〜Ｓ７の処理が全画素に対して完了すれば（ステップＳ８のＹＥＳ）、フロー終了となる。全画素に対して完了していなければ（ステップＳ８のＮＯ）、ステップＳ３に戻って、全画素が完了するまで当該ステップＳ３〜Ｓ７の各処理が繰り返される。
FIG. 6 is a flowchart showing an example of the operation related to the dodging process by the
図７は、上記ステップＳ５におけるＤＲ圧縮処理のより詳細な動作の一例を示すフローチャートである。ステップＳ５では先ず、高輝度領域反射率算出部６６によって、反射率成分算出部６５により算出された反射率成分Ｒから高輝度部の反射率Ｒｈｉ（最大値又は平均値）が算出される（ステップＳ２１）。次に、最大輝度圧縮点算出部６７によって、高輝度領域反射率算出部６６により算出された反射率Ｒｈｉに基づいて、最大輝度圧縮点Ｍ’が算出される。具体的には上記（７．３）式を用いて、反射率Ｒｈｉ及び出力最大値Ｏｍａｘから照明圧縮レベルＬ’ｍａｘが算出される（ステップＳ２２）。次に、ヒストグラム演算部６８によって照明成分画像のヒストグラムが作成されて、このヒストグラムからピークヒストグラム４１１、４１２が算出され、被写体輝度エリア設定部６９によって、このピークヒストグラム４１１、４１２のピーク情報等に基づいて被写体輝度エリアＡ１、Ａ２が算出される。そして、照明成分圧縮部７０によって、圧縮開始レベルＹｓ以上の領域においては、各被写体輝度エリアＡ１、Ａ２をそれぞれ圧縮開始レベルＹｓ及び照明圧縮レベルＬ’ｍａｘと同レベルにするなどして所定圧縮量分だけ離間させた状態とし、一方、圧縮開始レベルＹｓ未満の領域は、圧縮開始点Ｓ及び最大輝度圧縮点Ｍ’の２点を通る特性グラフ３２０の一部とした圧縮特性３３０が設定される（ステップＳ２３）。そして、照明成分圧縮部７０によって、この圧縮特性３３０に基づいて照明成分ＬがＤＲ圧縮される（ステップＳ２４）。
FIG. 7 is a flowchart showing an example of a more detailed operation of the DR compression process in step S5. In step S5, first, the high luminance area
以上のように、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像センサ３によって被写体光が撮像され、照明成分抽出部６３によって撮像センサ３にによる撮影画像（元画像Ｉ又は画像Ｉｔ）から照明成分Ｌが抽出され、反射率成分算出部６５によって撮影画像から反射率成分Ｒが抽出（算出）され、圧縮特性設定手段（被写体輝度エリア設定部６９、照明成分圧縮部７０）によって、撮影画像又は照明成分Ｌに対する少なくとも２つの所定の領域（例えば被写体輝度エリアＡ１、Ａ２）が設定されるとともに、当該各領域間の明度差を強調する圧縮特性３３０が設定される。そして、照明成分圧縮部７０によって、上記圧縮特性設定手段により設定された圧縮特性３３０に基づいて上記照明成分抽出部６３により抽出された照明成分Ｌのダイナミックレンジが圧縮され（ＤＲ圧縮され）、画像生成部７１によって、このダイナミックレンジが圧縮された照明成分Ｌ’（圧縮照明成分）と反射率成分Ｒとから新たな画像（画像Ｉ’）が生成される。これにより、撮影画像又は照明成分Ｌに対して設定された少なくとも２つの所定領域間（被写体輝度エリアＡ１、Ａ２間）の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分Ｌのダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。
As described above, according to the imaging apparatus (digital camera 1) of the present embodiment, subject light is imaged by the
また、上記圧縮特性設定手段によって、圧縮特性を示す特性ラインの各領域（被写体輝度エリアＡ１、Ａ２）に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分（レベルＹｓ及びＬ’ｍａｘ間の出力分）だけ離間させた状態とする圧縮特性が設定される。このように、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。 Further, the compression characteristic setting means causes the portions corresponding to the respective areas (subject luminance areas A1 and A2) of the characteristic line indicating the compression characteristics to have a predetermined zero compression amount (levels Ys and L ′). The compression characteristic is set so as to be separated by an output between max). In this way, the compression characteristics are set by a method in which the slopes of the respective areas are set to zero and are separated from each other by a predetermined compression amount, so that the compression characteristics that emphasize the brightness difference between the predetermined areas can be easily achieved. Obtainable.
また、ヒストグラム演算部６８によって、撮影画像（元画像Ｉ又は画像Ｉｔ）又は照明成分Ｌのヒストグラムが作成され、上記圧縮特性設定手段によって、ヒストグラムにおける輝度上の所定範囲が各領域（被写体輝度エリアＡ１、Ａ２）として設定される。このように、ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成されるヒストグラムを用いて、当該各領域の設定を容易に行うことができる。
Further, a histogram of the captured image (original image I or image It) or the illumination component L is created by the
また、上記圧縮特性設定手段によって、ヒストグラムのピークが算出され、該ピーク又はピーク近傍位置を中心とした所定範囲が各領域（被写体輝度エリアＡ１、Ａ２）として設定される。このように、ヒストグラムのピーク又はピーク近傍位置を中心とした所定範囲を各領域として設定する方法によって、ヒストグラムを用いた各領域の設定を容易に行うことができる。 In addition, the peak of the histogram is calculated by the compression characteristic setting means, and a predetermined range centered on the peak or a position near the peak is set as each region (subject luminance area A1, A2). As described above, each region using the histogram can be easily set by a method in which a predetermined range centered on the peak of the histogram or the position near the peak is set as each region.
また、圧縮開始点設定部６４（第１レベル値設定手段）によって、照明成分Ｌに対する、主被写体の所定輝度値を示す主被写体輝度以上の圧縮開始レベルＹｓ（第１レベル値）が設定され、最大輝度圧縮点算出部６７（第２レベル値設定手段）によって、照明成分Ｌに対する、反射率成分Ｒの高輝度領域における反射率Ｒｈｉに応じた所定の画像出力最大値（出力最大値Ｏｍａｘ）以下の照明圧縮レベルＬ’ｍａｘ（第２レベル値）が設定される。そして、上記圧縮特性設定手段によって、各領域（被写体輝度エリアＡ１、Ａ２）のうちの低輝度側の所定領域（ここでは被写体輝度エリアＡ１）を圧縮開始レベルＹｓと同レベルとし、高輝度側の所定領域（ここでは被写体輝度エリアＡ２）を照明圧縮レベルＬ’ｍａｘと同レベルとする圧縮特性３３０が設定される。このように、各領域のうちの低輝度側の所定領域を圧縮開始レベルＹｓと同レベルとし、高輝度側の所定領域を照明圧縮レベルＬ’ｍａｘと同レベルとする圧縮特性を設定する方法によって、各領域間の明度差が強調される圧縮特性の設定を容易に行うことができるようになる。
Also, the compression start point setting unit 64 (first level value setting means) sets a compression start level Ys (first level value) for the illumination component L that is equal to or higher than the main subject luminance indicating the predetermined luminance value of the main subject, Below the predetermined maximum image output value (output maximum value Omax) corresponding to the reflectance Rhi in the high brightness region of the reflectance component R with respect to the illumination component L by the maximum brightness compression point calculation unit 67 (second level value setting means). The illumination compression level L′ max (second level value) is set. Then, by the compression characteristic setting means, the predetermined area on the low luminance side (subject luminance area A1 in this case) of each region (subject luminance area A1, A2) is set to the same level as the compression start level Ys, and the high luminance side is set. A
また、本実施形態の画像処理方法によれば、第１の工程において、撮像センサ３によって被写体光が撮像され、第２の工程において、照明成分抽出部６３によって撮像センサ３による撮影画像（元画像Ｉ又は画像Ｉｔ）から照明成分Ｌが抽出され、第３の工程において、反射率成分算出部６５によって撮影画像から反射率成分Ｒが抽出（算出）され、第６の工程において、圧縮特性設定手段によって、撮影画像又は照明成分Ｌに対する少なくとも２つの所定の領域（例えば被写体輝度エリアＡ１、Ａ２）が設定されるとともに、当該各領域間の明度差を強調する圧縮特性が設定される。そして、第４の工程において、圧縮手段によって、圧縮特性設定手段により設定された圧縮特性に基づいて上記抽出された照明成分のダイナミックレンジが圧縮され、第５の工程において、画像生成部７１によって、このダイナミックレンジが圧縮された照明成分Ｌ’（圧縮照明成分）と反射率成分Ｒとから新たな画像（画像Ｉ’）が生成される。これにより、撮影画像又は照明成分Ｌに対して設定された少なくとも２つの所定領域間（被写体輝度エリアＡ１、Ａ２間）の明度差を強調する圧縮特性が設定され、この圧縮特性に基づいて照明成分Ｌのダイナミックレンジが圧縮されるので、覆い焼き処理において、画像の所要領域における照明成分の明度差を大きくすることができ、ひいてはメリハリの利いた自然な画像を得ることができる。
Further, according to the image processing method of the present embodiment, subject light is imaged by the
また、上記第６の工程において、圧縮特性設定手段によって、圧縮特性を示す特性ラインの各領域（被写体輝度エリアＡ１、Ａ２）に対応する部分を、傾きがゼロであり且つ互いに所定の圧縮量分（レベルＹｓ及びＬ’ｍａｘ間の出力分）だけ離間させた状態とする圧縮特性が設定される。このように、各領域の傾きをゼロとし且つ互いに所定の圧縮量分だけ離間させた状態とする方法で圧縮特性が設定されるので、所定領域間の明度差が強調される圧縮特性を容易に得ることができる。 Further, in the sixth step, the compression characteristic setting means causes the portions corresponding to the respective areas (subject luminance areas A1 and A2) of the characteristic line indicating the compression characteristics to have a slope of zero and a predetermined compression amount. The compression characteristic is set so as to be separated by (the output between the levels Ys and L′ max). In this way, the compression characteristics are set by a method in which the slopes of the respective areas are set to zero and are separated from each other by a predetermined compression amount, so that the compression characteristics that emphasize the brightness difference between the predetermined areas can be easily achieved. Obtainable.
さらに、上記第７の工程において、撮影画像（元画像Ｉ又は画像Ｉｔ）又は照明成分Ｌのヒストグラムがヒストグラム演算部６８によって作成され、第６の工程において、圧縮特性設定手段によって、ヒストグラムにおける輝度上の所定範囲が各領域として設定される。このように、ヒストグラムにおける輝度上の所定範囲が各領域として設定されるので、画像を処理する際に一般的に作成されるヒストグラムを用いて、各領域の設定を容易に行うことができる。
Further, in the seventh step, a histogram of the captured image (original image I or image It) or the illumination component L is created by the
なお、本発明は、以下の態様をとることができる。
（Ａ）上記実施形態においては、被写体輝度エリアが設定される照明成分の圧縮特性の形状は、図３の圧縮特性３３０に示すように階段状、すなわち被写体輝度エリアで傾きゼロ、その他の特性部分は直線で繋いだような形状となっているが、このような形状の圧縮特性に限定されず、例えば図１１に示すように、被写体輝度エリアに相当する部分の傾きが略ゼロ（平坦なグラフとなり）を保った情報で且つ各部が滑らかに接続された曲線状の圧縮特性が設定される構成であってもよい。
In addition, this invention can take the following aspects.
(A) In the above embodiment, the shape of the compression characteristic of the illumination component in which the subject luminance area is set is stepped as shown by the compression characteristic 330 in FIG. 3, that is, the inclination is zero in the subject luminance area, and other characteristic portions However, the shape is not limited to the compression characteristics of such a shape. For example, as shown in FIG. 11, the slope of the portion corresponding to the subject luminance area is substantially zero (a flat graph). It is also possible to adopt a configuration in which a curved compression characteristic is set in which information is maintained and each part is smoothly connected.
（Ｂ）反射率Ｒｈｉは、上記最大値又は平均値に限定されず、高輝度領域の反射率成分が出力最大値Ｏｍａｘを上回らないようにＤＲ圧縮率ｃを設定するのに好適な値であれば、いずれの値であってもよい。 (B) The reflectance Rhi is not limited to the maximum value or the average value, and may be a value suitable for setting the DR compression ratio c so that the reflectance component in the high luminance region does not exceed the output maximum value Omax. Any value may be used.
（Ｃ）上記覆い焼き処理において扱われる撮影画像（元画像）は、上記線形／対数画像でなくともよく、例えば、一般的なリニアセンサによる、異なるシャッタスピードや絞り値で撮影して得られた複数枚の画像から作成した広ダイナミックレンジ画像であってもよいし、ニー処理された画像（明るい画像分部（高輝度領域）にだけ所定のゲインをかけて圧縮した画像）であってもよい。 (C) The captured image (original image) handled in the dodging process does not have to be the linear / logarithmic image. For example, the captured image is obtained by capturing images with different shutter speeds or aperture values using a general linear sensor. It may be a wide dynamic range image created from a plurality of images, or a knee-processed image (an image compressed by applying a predetermined gain only to a bright image portion (high luminance region)). .
（Ｄ）上記実施形態において、照明成分Ｌ全体をＤＲ圧縮した後、圧縮開始レベルＹｓ未満は元画像Ｉを用いるという方法でなくともよく、例えば当該照明成分Ｌに対するＤＲ圧縮を、圧縮開始レベルＹｓ以上の照明成分Ｌに対してのみ行い（圧縮開始レベルＹｓ未満の照明成分Ｌに対してはＤＲ圧縮を行わず）、圧縮開始レベルＹｓ未満においては、元画像Ｉをそのまま出力値とする方法であってもよい。 (D) In the above embodiment, after the entire illumination component L is DR-compressed, the original image I may not be used below the compression start level Ys. For example, DR compression for the illumination component L is performed at the compression start level Ys. Only the above illumination component L is performed (DR compression is not performed for the illumination component L below the compression start level Ys), and the original image I is used as an output value as it is below the compression start level Ys. There may be.
（Ｅ）上記実施形態においては、撮影画像に対する覆い焼き処理（ＤＲ圧縮処理）をデジタルカメラ１内（画像処理部６）で行う構成としているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いてデジタルカメラ１と直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成されたユーザーインターフェイスを備える所定のホスト（例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）において当該覆い焼き処理を行う構成としてもよい。
(E) In the above-described embodiment, the dodging process (DR compression process) for the captured image is performed in the digital camera 1 (image processing unit 6). It is good also as a structure performed in a process part. Specifically, for example, a user interface configured to be directly connected (wired) to the
（Ｆ）上記実施形態においては、図４に示すように、先ず撮影画像（全体）又は照明成分（全体）のヒストグラムを算出しておき、各被写体輝度エリアをこのヒストグラムにおける輝度上の所定範囲として設定する構成としているが、例えば図５に示すように、デジタルカメラ１のモニタ部９或いは上記変形態様（Ｅ）に示すホストのモニタ等に撮影画像（又は照明成分画像）を表示し、このモニタ表示された画像における互いに明度差を強調したい箇所の範囲（少なくとも２つの範囲）を、すなわち例えば符号５１１、５１２に示す空画像や雲画像の所定範囲（指定範囲５１１、５１２）を、ユーザがマウスやペン等による所定の入力操作によって画像の空間的な範囲として指定し、この指定範囲の画像情報に基づいて被写体輝度エリアを設定する構成としてもよい。このように、上記圧縮特性設定手段（デジタルカメラ１の被写体輝度エリア設定部６９及び照明成分圧縮部７０、或いは上記ＰＣ等のホスト）によって、撮影画像又は照明成分（照明成分画像）における空間的な範囲が設定されるとともに、この範囲の画像に基づいて被写体輝度エリアが設定されるので、画像における明度差を強調させたい箇所の選択を、ユーザが視覚的（直感的）に容易に行えるようになる。
(F) In the above embodiment, as shown in FIG. 4, first, a histogram of the captured image (entire) or illumination component (entire) is calculated, and each subject luminance area is set as a predetermined range on the luminance in this histogram. For example, as shown in FIG. 5, a photographed image (or illumination component image) is displayed on the
なお、上記指定範囲の画像に基づく被写体輝度エリアの設定方法は、上記実施形態で述べた撮影画像全体（照明成分全体）の情報を基に被写体輝度エリアを設定する方法と同様、すなわち指定範囲毎に該指定範囲の画像情報を基にヒストグラムを作成し、このヒストグラムから足切り演算によりピークヒストグラムを算出し、さらにこのピークヒストグラムからピークを算出し、該ピーク又はピーク近傍位置を中心とした所定範囲を被写体輝度エリアとして設定する方法であってもよい。この方法の場合、各指定範囲における画像の輝度ヒストグラムの輝度範囲やピークが同じ、或いは輝度範囲に重なり部を生じることがあるが、輝度範囲やピークが同じ（近似している）ものとなる場合は、被写体輝度エリアを設定しない（これら輝度範囲間の明度差を強調しない）通常の圧縮特性を用いたＤＲ圧縮を行い、また、輝度範囲に重なり部を生じるような場合には、この重なり部の影響が無くなるように、例えばピークヒストグラム算出時の足切りレベル（閾値）を調整したり、被写体輝度エリア設定時の範囲を調整することが好ましい。 Note that the method of setting the subject luminance area based on the image of the specified range is the same as the method of setting the subject luminance area based on the information of the entire captured image (entire illumination component) described in the above embodiment, that is, for each specified range. A histogram is created based on the image information of the specified range, a peak histogram is calculated from the histogram by a round-off operation, a peak is further calculated from the peak histogram, and a predetermined range centered on the peak or near peak position May be set as the subject luminance area. In the case of this method, the brightness range and peak of the brightness histogram of the image in each specified range may be the same, or there may be an overlap in the brightness range, but the brightness range and peak are the same (approximate) Does not set the subject luminance area (does not emphasize the brightness difference between these luminance ranges), and performs DR compression using normal compression characteristics, and if there is an overlapping portion in the luminance range, this overlapping portion For example, it is preferable to adjust the cut-off level (threshold value) at the time of calculating the peak histogram, or to adjust the range at the time of setting the subject luminance area.
１ デジタルカメラ（撮像装置）
３ 撮像センサ（撮像手段）
６ 画像処理部
６３ 照明成分抽出部（照明成分抽出手段）
６４ 圧縮開始点設定部（第１レベル値設定手段）
６５ 反射率成分算出部（反射率成分抽出手段）
６６ 高輝度領域反射率算出部
６７ 最大輝度圧縮点算出部（第２レベル値設定手段）
６８ ヒストグラム演算部（ヒストグラム作成手段）
６９ 被写体輝度エリア設定部（圧縮特性設定手段）
７０ 照明成分圧縮部（圧縮手段、圧縮特性設定手段）
７１ 画像生成部（画像生成手段）
３３０ 圧縮特性
５１１、５１２ 指定範囲（請求項４記載の空間的な所定範囲）
Ａ１、Ａ２ 被写体輝度エリア（請求項１記載の２つの所定の領域、各領域）
Ｙｓ 圧縮開始レベル（第１レベル値）
Ｌ’ｍａｘ 照明圧縮レベル（第２レベル値）
1 Digital camera (imaging device)
3 Imaging sensor (imaging means)
6
64 Compression start point setting unit (first level value setting means)
65 Reflectivity component calculation unit (reflectance component extraction means)
66 High-intensity area
68 Histogram calculation section (histogram creation means)
69 Subject luminance area setting section (compression characteristic setting means)
70 Illumination component compression unit (compression means, compression characteristic setting means)
71 Image generation unit (image generation means)
330
A1, A2 Subject luminance area (two predetermined areas according to
Ys Compression start level (first level value)
L'max Lighting compression level (second level value)
Claims (9)
前記撮像手段による撮影画像から照明成分を抽出する照明成分抽出手段と、
前記撮影画像から反射率成分を抽出する反射率成分抽出手段と、
前記照明成分抽出手段によって抽出された照明成分のダイナミックレンジを所定の圧縮特性に基づいて圧縮する圧縮手段と、
前記圧縮手段によって照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段によって抽出された反射率成分とから新たな画像を生成する画像生成手段と、
前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を設定する圧縮特性設定手段とを備え、
前記圧縮手段は、前記圧縮特性設定手段によって設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮することを特徴とする撮像装置。 Imaging means for imaging subject light;
Illumination component extraction means for extracting an illumination component from an image captured by the imaging means;
A reflectance component extracting means for extracting a reflectance component from the captured image;
Compression means for compressing the dynamic range of the illumination component extracted by the illumination component extraction means based on a predetermined compression characteristic;
Image generation means for generating a new image from the compressed illumination component obtained by compressing the dynamic range of the illumination component by the compression means and the reflectance component extracted by the reflectance component extraction means;
A compression characteristic setting unit that sets at least two predetermined areas for the captured image or the illumination component, and sets the compression characteristic that emphasizes the brightness difference between the areas;
The image pickup apparatus, wherein the compression unit compresses a dynamic range of the illumination component based on the compression characteristic set by the compression characteristic setting unit.
前記圧縮特性設定手段は、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定することを特徴とする請求項１又は２記載の撮像装置。 A histogram creation means for creating a brightness histogram of the captured image or illumination component;
The imaging apparatus according to claim 1, wherein the compression characteristic setting unit sets a predetermined range on the luminance in the luminance histogram as each region.
前記照明成分に対する、前記反射率成分の高輝度領域における反射率に応じた所定の画像出力最大値以下の第２レベル値を設定する第２レベル値設定手段とをさらに備え、
前記圧縮特性設定手段は、前記各領域のうちの低輝度側の所定領域を前記第１レベル値と同レベルとし、高輝度側の所定領域を前記第２レベル値と同レベルとする圧縮特性を設定することを特徴とする請求項１〜５のいずれかに記載の撮像装置。 First level value setting means for setting a first level value equal to or higher than a main subject luminance indicating a predetermined luminance value of the main subject for the illumination component;
A second level value setting unit configured to set a second level value equal to or lower than a predetermined maximum image output value corresponding to the reflectance of the reflectance component in a high-luminance region of the reflectance component;
The compression characteristic setting means has a compression characteristic in which a predetermined area on the low luminance side of each area is set to the same level as the first level value, and a predetermined area on the high luminance side is set to the same level as the second level value. The imaging device according to claim 1, wherein the imaging device is set.
前記撮像手段による撮影画像から照明成分抽出手段によって照明成分を抽出する第２の工程と、
前記撮影画像から反射率成分抽出手段によって反射率成分を抽出する第３の工程と、
前記照明成分抽出手段により抽出された照明成分のダイナミックレンジを圧縮手段によって所定の圧縮特性に基づいて圧縮する第４の工程と、
前記圧縮手段により照明成分のダイナミックレンジが圧縮されてなる圧縮照明成分と前記反射率成分抽出手段により抽出された反射率成分とから画像生成手段によって新たな画像を生成する第５の工程と、
前記撮影画像又は前記照明成分に対する少なくとも２つの所定の領域を設定するとともに、当該各領域間の明度差を強調する前記圧縮特性を圧縮特性設定手段によって設定する第６の工程とを有し、
前記第４の工程は、圧縮手段によって、前記圧縮特性設定手段により設定された圧縮特性に基づいて前記照明成分のダイナミックレンジを圧縮する工程であることを特徴とする画像処理方法。 A first step of imaging subject light by imaging means;
A second step of extracting an illumination component by an illumination component extraction unit from an image captured by the imaging unit;
A third step of extracting a reflectance component from the photographed image by a reflectance component extracting means;
A fourth step of compressing the dynamic range of the illumination component extracted by the illumination component extraction unit based on a predetermined compression characteristic by the compression unit;
A fifth step of generating a new image by the image generation unit from the compressed illumination component obtained by compressing the dynamic range of the illumination component by the compression unit and the reflectance component extracted by the reflectance component extraction unit;
And setting at least two predetermined areas for the captured image or the illumination component, and setting the compression characteristic for enhancing the brightness difference between the areas by a compression characteristic setting means,
The image processing method according to claim 4, wherein the fourth step is a step of compressing a dynamic range of the illumination component based on a compression characteristic set by the compression characteristic setting unit by a compression unit.
前記第６の工程は、圧縮特性設定手段によって、輝度ヒストグラムにおける輝度上の所定範囲を前記各領域として設定する工程であることを特徴とする請求項７又は８記載の画像処理方法。 A seventh step of creating a brightness histogram of the photographed image or illumination component by a histogram creation means;
The image processing method according to claim 7 or 8, wherein the sixth step is a step of setting a predetermined range on the luminance histogram in the luminance histogram as each region by a compression characteristic setting unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005205952A JP2007028088A (en) | 2005-07-14 | 2005-07-14 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005205952A JP2007028088A (en) | 2005-07-14 | 2005-07-14 | Imaging apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007028088A true JP2007028088A (en) | 2007-02-01 |
Family
ID=37788276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005205952A Pending JP2007028088A (en) | 2005-07-14 | 2005-07-14 | Imaging apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007028088A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012513172A (en) * | 2008-12-19 | 2012-06-07 | クゥアルコム・インコーポレイテッド | High dynamic range image composition |
| US8797421B2 (en) | 2008-12-19 | 2014-08-05 | Qualcomm Incorporated | System and method to selectively combine images |
| US9070031B2 (en) | 2003-10-24 | 2015-06-30 | Cognex Technology And Investment Llc | Integrated illumination assembly for symbology reader |
| US9292724B1 (en) | 2004-12-16 | 2016-03-22 | Cognex Corporation | Hand held symbology reader illumination diffuser with aimer optics |
| US9298960B2 (en) | 2003-10-24 | 2016-03-29 | Cognex Corporation | Method and apparatus for providing omnidirectional lighting in a scanning device |
| US9329332B2 (en) | 2003-10-24 | 2016-05-03 | Cognex Corporation | Light pipe illumination system and method |
| US9361495B2 (en) | 2004-12-16 | 2016-06-07 | Cognex Technology And Investment Llc | Hand held symbology reader illumination diffuser |
| US9405951B2 (en) | 2005-10-24 | 2016-08-02 | Cognex Technology And Investment Llc | Integrated illumination assembly for symbology reader |
| US9495573B2 (en) | 2004-12-21 | 2016-11-15 | Cognex Technology And Investment Corporation | Low profile illumination for direct part mark readers |
| US9536124B1 (en) | 2003-10-24 | 2017-01-03 | Cognex Corporation | Integrated illumination assembly for symbology reader |
| WO2021059430A1 (en) * | 2019-09-26 | 2021-04-01 | オリンパス株式会社 | Image processing device, imaging device, image processing method, program, and recording medium |
-
2005
- 2005-07-14 JP JP2005205952A patent/JP2007028088A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9070031B2 (en) | 2003-10-24 | 2015-06-30 | Cognex Technology And Investment Llc | Integrated illumination assembly for symbology reader |
| US9298960B2 (en) | 2003-10-24 | 2016-03-29 | Cognex Corporation | Method and apparatus for providing omnidirectional lighting in a scanning device |
| US9329332B2 (en) | 2003-10-24 | 2016-05-03 | Cognex Corporation | Light pipe illumination system and method |
| US9536124B1 (en) | 2003-10-24 | 2017-01-03 | Cognex Corporation | Integrated illumination assembly for symbology reader |
| US9292724B1 (en) | 2004-12-16 | 2016-03-22 | Cognex Corporation | Hand held symbology reader illumination diffuser with aimer optics |
| US9361495B2 (en) | 2004-12-16 | 2016-06-07 | Cognex Technology And Investment Llc | Hand held symbology reader illumination diffuser |
| US9495573B2 (en) | 2004-12-21 | 2016-11-15 | Cognex Technology And Investment Corporation | Low profile illumination for direct part mark readers |
| US9405951B2 (en) | 2005-10-24 | 2016-08-02 | Cognex Technology And Investment Llc | Integrated illumination assembly for symbology reader |
| JP2012513172A (en) * | 2008-12-19 | 2012-06-07 | クゥアルコム・インコーポレイテッド | High dynamic range image composition |
| US8797421B2 (en) | 2008-12-19 | 2014-08-05 | Qualcomm Incorporated | System and method to selectively combine images |
| WO2021059430A1 (en) * | 2019-09-26 | 2021-04-01 | オリンパス株式会社 | Image processing device, imaging device, image processing method, program, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7990443B2 (en) | Image sensing apparatus and image processing method | |
| US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
| JP4736939B2 (en) | Imaging apparatus and image processing method | |
| JP2007028088A (en) | Imaging apparatus and image processing method | |
| JP4218723B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4163353B2 (en) | Image processing device | |
| US8488029B2 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
| JP4720537B2 (en) | Imaging device | |
| JP2007082181A (en) | Imaging apparatus and image processing method | |
| EP2216987B1 (en) | Image capturing apparatus and control method thereof | |
| US20100201843A1 (en) | Image capturing apparatus and control method thereof | |
| JP2008104009A (en) | Imaging apparatus and method | |
| US20220124237A1 (en) | Apparatus for generating high-dynamic-range image, method, and storage medium | |
| JP2008085634A (en) | Imaging apparatus and image processing method | |
| JP5932392B2 (en) | Image processing apparatus and image processing method | |
| JP2002288650A (en) | Image processing device, digital camera, image processing method and recording medium | |
| JP2010011153A (en) | Imaging apparatus, imaging method and program | |
| JP2007174482A (en) | Imaging apparatus, image processing method, and image processing program | |
| JP4024284B1 (en) | Imaging apparatus and imaging method | |
| JP2006333113A (en) | Imaging device | |
| JP6786273B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP2008219230A (en) | Imaging apparatus, and image processing method | |
| JP2008306326A (en) | Image processing device and image processing method | |
| JP5351663B2 (en) | Imaging apparatus and control method thereof | |
| JP2007142978A (en) | Image processing method and imaging apparatus |