JP2010273001A - Image processor, imaging apparatus, and synthetic image generating method - Google Patents
Image processor, imaging apparatus, and synthetic image generating method Download PDFInfo
- Publication number
- JP2010273001A JP2010273001A JP2009121556A JP2009121556A JP2010273001A JP 2010273001 A JP2010273001 A JP 2010273001A JP 2009121556 A JP2009121556 A JP 2009121556A JP 2009121556 A JP2009121556 A JP 2009121556A JP 2010273001 A JP2010273001 A JP 2010273001A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- value
- pixel value
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像合成技術に関する。 The present invention relates to an image composition technique.
一般的に、風景のダイナミックレンジ(最も明るい部分と最も暗い部分の明暗の比)に比べて、CCD等の撮像素子のダイナミックレンジは狭いことが知られている。 In general, it is known that the dynamic range of an image pickup device such as a CCD is narrower than the dynamic range of a landscape (ratio of light and darkness of the brightest part to the darkest part).
そこで、同一の被写体を異なる撮影条件で複数回撮影して、異なる範囲のダイナミックレンジをもつ画像(「参照画像」とも称する)を複数取得し、当該複数の参照画像を合成することによりダイナミックレンジの広い画像(「ハイダイナミックレンジ画像」とも称する)を生成する技術が存在する。 Therefore, the same subject is photographed multiple times under different photographing conditions, a plurality of images having different dynamic ranges (also referred to as “reference images”) are acquired, and the reference images are synthesized to synthesize the dynamic range. There exists a technique for generating a wide image (also referred to as a “high dynamic range image”).
例えば、特許文献1には、参照画像として長時間露光画像と短時間露光画像とを取得し、各画像を適正露光領域と不適正露光領域とに分割して、適正露光領域ごとに階調補正を行い、階調補正された適正露光領域を合成して一のハイダイナミックレンジ画像を生成する画像処理装置が提案されている。 For example, Patent Document 1 acquires a long-time exposure image and a short-time exposure image as reference images, divides each image into a proper exposure region and an improper exposure region, and performs tone correction for each proper exposure region. An image processing apparatus has been proposed that generates a single high dynamic range image by synthesizing the appropriate exposure areas subjected to gradation correction.
しかしながら、取得された参照画像において適正露光領域であるか否かの判断は、対象画素の画素値と、適正露出の上限を示す所定の閾値との比較に基づいて行われるため、合成された画像の良否は、所定の閾値の影響を受けることになる。 However, since it is determined based on the comparison between the pixel value of the target pixel and a predetermined threshold value indicating the upper limit of the appropriate exposure, whether or not the acquired reference image is a proper exposure area is a synthesized image. The pass / fail is influenced by a predetermined threshold.
このような画像合成に用いられる上記所定の閾値は、通常、撮像装置の設計者によって固定値に手動で設定されるため、取得された参照画像それぞれに適した値になる可能性が低い。また、閾値の設定をユーザに行わせることも考えられるが、ユーザが最適な閾値を設定するのは、困難である。 Since the predetermined threshold value used for such image synthesis is normally manually set to a fixed value by the designer of the imaging apparatus, there is a low possibility that the predetermined threshold value is suitable for each acquired reference image. Although it is conceivable that the user is allowed to set a threshold value, it is difficult for the user to set an optimal threshold value.
そこで、本発明は、取得された参照画像に応じた最適な閾値を自動的に設定して、ダイナミックレンジの広い合成画像を生成することが可能な技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique capable of automatically setting an optimum threshold value according to an acquired reference image and generating a composite image having a wide dynamic range.
本発明の第1の側面は、画像処理装置であって、所定被写体に関する第1画像と、前記所定被写体を前記第1画像とは異なる撮影条件で撮影した第2画像とをそれぞれ取得する画像取得手段と、前記第1画像を構成する画素の画素値と前記第2画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段とを備え、前記画像合成手段は、前記第1画像と前記第2画像との露出の高低順位を判別する判別手段と、前記第1画像および前記第2画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、前記第1画像または前記第2画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第1画像および前記第2画像それぞれについて設定する設定手段と、前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段とを有する。 According to a first aspect of the present invention, there is provided an image processing apparatus for acquiring a first image relating to a predetermined subject and a second image obtained by photographing the predetermined subject under photographing conditions different from the first image. And image synthesizing means for generating a synthesized image having a wide dynamic range using the pixel values of the pixels constituting the first image and the pixel values of the pixels constituting the second image. A means for discriminating a level of exposure between the first image and the second image; and a cumulative sum obtained by adding the number of pixels equal to or less than a predetermined pixel value in each of the first image and the second image. Based on the cumulative frequency, a cumulative frequency calculation means for calculating a frequency and a threshold value used as a reference for the selection when selecting a pixel value to be used for generating the composite image from the first image or the second image. Setting means for setting each of the first image and the second image, and pixel value determining means for determining a pixel value of each pixel constituting the composite image based on the exposure level and the threshold value. Have.
本発明の第2の側面は、撮像装置であって、同一被写体を異なる撮影条件で撮影し、第1画像と第2画像とをそれぞれ取得する撮影手段と、前記第1画像を構成する画素の画素値と前記第2画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段とを備え、前記画像合成手段は、前記第1画像と前記第2画像との露出の高低順位を判別する判別手段と、前記第1画像および前記第2画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、前記第1画像または前記第2画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第1画像および前記第2画像それぞれについて設定する設定手段と、前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段とを有する。 According to a second aspect of the present invention, there is provided an imaging apparatus, which is configured to capture an image of the same subject under different imaging conditions and acquire a first image and a second image, and a pixel constituting the first image. Image synthesizing means for generating a synthesized image having a wide dynamic range using pixel values and pixel values of pixels constituting the second image, wherein the image synthesizing means comprises the first image and the second image. Discriminating means for discriminating the level of exposure with respect to each other; cumulative frequency calculating means for calculating a cumulative frequency obtained by adding together the number of pixels equal to or less than a predetermined pixel value in each of the first image and the second image; When selecting a pixel value to be used for generating the composite image from one image or the second image, a threshold value used as a reference for the selection is set for each of the first image and the second image based on the cumulative frequency. A setting means for setting, based on the height ranking and the threshold value of the exposure, the pixel value determining means for determining a pixel value of each pixel constituting the composite image.
本発明によれば、取得された参照画像に応じて最適な閾値を自動的に設定して、ハイダイナミックレンジ画像を生成することができる。 According to the present invention, a high dynamic range image can be generated by automatically setting an optimal threshold value according to the acquired reference image.
以下、本発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
<1.第1実施形態>
[1−1.構成概要]
図1は、本発明の第1実施形態に係る撮像装置1Aの機能構成を示すブロック図である。
<1. First Embodiment>
[1-1. Configuration Overview]
FIG. 1 is a block diagram showing a functional configuration of an
図1に示すように、撮像装置1Aは、撮像部101、AFE(アナログフロントエンド)102、画像処理部103、画像メモリ104、着脱可能な記録デバイス105、操作部106、および全体制御部110等を有している。
As shown in FIG. 1, the
撮像部101は、例えば、COMSセンサまたはCCDセンサなどの撮像素子を有して構成され、被写体像を形成する光(被写体光)を受光して、被写体像に関する画像信号を生成する機能を有している。
The
AFE102は、撮像素子に対して所定の動作を実行させるタイミングパルスを与えるとともに、撮像素子から出力される画像信号に所定の信号処理を施し、デジタル信号に変換して画像処理部103に出力する機能を有している。
The AFE 102 provides a timing pulse for executing a predetermined operation to the image sensor, performs predetermined signal processing on an image signal output from the image sensor, converts the image signal to a digital signal, and outputs the digital signal to the
具体的には、このAFE102は、タイミング制御回路、信号処理部およびA/D変換部などを備えて構成されている。 Specifically, the AFE 102 includes a timing control circuit, a signal processing unit, an A / D conversion unit, and the like.
タイミング制御回路は、全体制御部110から出力される基準クロックに基づいて所定のタイミングパルス(垂直走査パルスφVn、水平走査パルスφVm、リセット信号φVr等を発生させるパルス)を生成して撮像素子に出力し、撮像素子の撮像動作を制御する。また、所定のタイミングパルスを信号処理部およびA/D変換部にそれぞれ出力することにより、信号処理部およびA/D変換部の動作を制御する。
The timing control circuit generates a predetermined timing pulse (a pulse for generating a vertical scanning pulse φVn, a horizontal scanning pulse φVm, a reset signal φVr, etc.) based on a reference clock output from the
信号処理部は、撮像素子から出力されるアナログの画像信号に所定のアナログ信号処理を施すものである。この信号処理部には、CDS(相関二重サンプリング)回路、AGC(オートゲインコントロール)回路およびクランプ回路等が備えられている。 The signal processing unit performs predetermined analog signal processing on the analog image signal output from the image sensor. The signal processing unit includes a CDS (correlated double sampling) circuit, an AGC (auto gain control) circuit, a clamp circuit, and the like.
A/D変換部は、信号処理部から出力されたアナログの赤(R)、緑(G)、青(B)の画像信号を、タイミング制御回路から出力されるタイミングパルスに基づいて、複数のビット(例えば8ビット)からなるデジタルの画像信号に変換するものである。デジタル信号に変換された画像信号は、画像処理部103に入力される。
The A / D conversion unit outputs a plurality of analog red (R), green (G), and blue (B) image signals output from the signal processing unit based on timing pulses output from the timing control circuit. The digital image signal is composed of bits (for example, 8 bits). The image signal converted into the digital signal is input to the
画像処理部103に入力された画像信号は、一旦、画像メモリ104に画像データとして格納される。以後、この画像メモリ104に格納された画像データにアクセスして、画像処理部103の各種処理が実行される。
The image signal input to the
なお、画像メモリ104は、生成された画像データを一時的に記憶するための、高速アクセス可能なメモリであり、複数フレーム分の画像データを記憶可能な容量を有している。
The
ここで、画像処理部103で実現される各種処理について詳述する。画像処理部103は、ホワイトバランス(WB)制御部31と画素補間部32とガンマ補正部33とYCC変換部34とハイダイナミックレンジ(HDR)画像生成部35とを有している。
Here, various processes realized by the
ホワイトバランス制御部31は、R(赤)、G(緑)、B(青)各色成分のデジタル信号のレベルを変換するホワイトバランス補正を行う。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のR、G、Bそれぞれの平均値とG/R比およびG/B比とを求め、これをR、Bの補正ゲインとしてレベル補正する。
The white
画素補間部32は、画像メモリ104に格納された画像データにおいて、画素の不足している色成分を、当該画素に隣接している周辺画素の色情報を用いて補間により求める。
In the image data stored in the
ガンマ補正部33は、WB調整された画像信号の階調特性を補正するものである。具体的には、ガンマ補正部33は、予め設定されたガンマ補正用テーブルを用いて、画像信号のレベルを色成分毎に非線形変換するとともにオフセット調整を行う。
The
YCC変換部34は、画像データの色空間を変換する。具体的には、YCC変換部34では、下記の式(1)を用いたマトリクス演算によりRGBの原色成分をもつ色空間が、輝度成分と色差成分とをもつ色空間に変換される。
The YCC
なお、式(1)中の「R(i,j)」、「G(i,j)」、「B(i,j)」、「Y(i,j)」、「Cb(i,j)」、および「Cr(i,j)」は、参照画像の左下を原点とした場合に、当該参照画像におけるX方向i番目、Y方向j番目の位置に存在する画素のR信号、G信号、B信号、輝度信号、および2つの色差信号をそれぞれ示している。 Note that “R (i, j)”, “G (i, j)”, “B (i, j)”, “Y (i, j)”, “Cb (i, j)” in Expression (1) ) ”And“ Cr (i, j) ”are R signals and G signals of pixels existing at the i-th position in the X direction and the j-th position in the Y direction in the reference image when the lower left of the reference image is the origin. , B signal, luminance signal, and two color difference signals, respectively.
この色空間変換によって、画像データを構成する、各画素の輝度成分の信号値(Y)と、各画素の色差成分の信号値(Cr,Cb)とがそれぞれ取得される。なお、以下では、輝度成分の信号値を「輝度信号」または「輝度値」とも称し、色差成分の信号値を「色差信号」または「色差信号値」とも称する。 By this color space conversion, the signal value (Y) of the luminance component of each pixel and the signal value (Cr, Cb) of the color difference component of each pixel that constitute the image data are acquired. Hereinafter, the signal value of the luminance component is also referred to as “luminance signal” or “luminance value”, and the signal value of the color difference component is also referred to as “color difference signal” or “color difference signal value”.
ハイダイナミックレンジ画像生成部35は、同一被写体を異なる撮影条件で撮影することにより取得された複数の画像を合成して、ダイナミックレンジの広い合成画像(「ハイダイナミックレンジ画像」とも称する)を生成する画像合成手段として機能する。
The high dynamic range
ハイダイナミックレンジ画像(HDR画像)の生成に用いられる画像は、参照画像とも称される。当該参照画像を撮影する際の撮影条件には、シャッタースピード並びに絞り値の露出条件、およびフラッシュの発光量が含まれ、異なる撮影条件で撮影された各参照画像では、露光量が異なることになる。なお、ハイダイナミックレンジ画像の生成手法については、後述する。 An image used for generating a high dynamic range image (HDR image) is also referred to as a reference image. Shooting conditions for shooting the reference image include shutter speed and aperture value exposure conditions, and flash emission amount, and each reference image shot under different shooting conditions has a different exposure amount. . A method for generating a high dynamic range image will be described later.
操作部106は、レリーズボタン、撮影モード等を設定するメニューボタンを含む各種ボタンおよびスイッチ等を備えて構成される。操作部106に対するユーザの入力操作に応答して、全体制御部110等が各種動作を実行させる。例えば、レリーズボタンの押下操作が検出されると、本撮影画像の撮影動作が実行される。
The
全体制御部110は、マイクロコンピュータとして構成され、主にCPU、RAMおよびROM等を備える。全体制御部110は、ROM内に格納されるプログラムを読み出し、当該プログラムをCPUで実行することによって、露出制御部111、指示制御部112、撮影制御部113、および表示制御部114等を機能的に実現する。
The
露出制御部111は、シャッタースピードと絞り値とを調節する露出制御を行うものである。具体的には、露出制御部111は、撮像素子によって取得される被写体の輝度情報に基づいて露出値を決定し、さらに、決定した露出値に基づいてシャッタースピードおよび絞り値を設定する。このように撮像装置1Aは、露出制御部111による露出制御によって露光時間を自動で算出することができる。 The exposure control unit 111 performs exposure control for adjusting the shutter speed and the aperture value. Specifically, the exposure control unit 111 determines the exposure value based on the luminance information of the subject acquired by the image sensor, and further sets the shutter speed and the aperture value based on the determined exposure value. As described above, the imaging apparatus 1 </ b> A can automatically calculate the exposure time by the exposure control by the exposure control unit 111.
指示制御部112は、操作部106を用いたユーザの入力指示を検出して、当該入力指示に応じた所定動作の実行指示を行う。
The
例えば、メニューボタン等の操作により、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化された場合は、指示制御部112は、露出制御部111に対して参照画像を撮影する際のシャッタースピードおよび絞り値の設定指示を行う。そして、レリーズボタンの押下操作を検出すると、指示制御部112は、次述の撮影制御部113に対して、参照画像の撮影指示を行う。
For example, when the high dynamic range image generation function is enabled in the shooting mode by operating the menu button or the like, the
撮影制御部113は、選択された撮影モードにおける各種撮影動作を制御する機能を有している。
The
例えば、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化された状態で、指示制御部112から参照画像の撮影指示を受けた場合は、撮影制御部113は、露出制御部111において設定されたシャッタースピードおよび絞り値に基づいた露光を複数回行い、複数の参照画像を取得するように制御する。
For example, when a reference image shooting instruction is received from the
表示制御部114は、モニタ12などの表示部における表示内容を制御する。例えば、表示制御部114は、再生モードにおいて、記録デバイス105に保存された画像データを読み出し、画像表示を行う。
The
[1−2.ハイダイナミックレンジ画像の生成について]
ここで、撮像装置1Aで実行されるハイダイナミックレンジ画像の生成処理について詳述する。
[1-2. About high dynamic range image generation]
Here, a high dynamic range image generation process executed by the
上述のように、撮像装置1Aは、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化された状態では、同一被写体についての撮影画像(参照画像)を異なる撮影条件で複数取得し、取得された複数の参照画像を合成することによって、ハイダイナミックレンジ画像を生成することができる。
As described above, the
ハイダイナミックレンジ画像の生成処理は、主にハイダイナミックレンジ画像生成部35において実行される。図2は、ハイダイナミックレンジ画像生成部35内の機能構成を示す図である。
The high dynamic range image generation process is mainly executed by the high dynamic range
図2に示されるように、ハイダイナミックレンジ画像生成部35は、度数分布取得部351と、露出高低順位判別部(判別手段)352と、累積度数算出部(累積度数算出手段)353と、対応輝度値特定部(特定手段)354と、境界輝度値探索部(探索手段)355と、画素値決定部(画素値決定手段)356とを有している。
As shown in FIG. 2, the high dynamic range
撮像部101で複数の参照画像が取得されると、各参照画像は、AFE102を介して画像処理部103に入力され、画像メモリ104に格納される。そして、画像処理部103のYCC変換部34による色空間変換等が施された後、参照画像は、ハイダイナミックレンジ画像生成部35に入力される。なお、以下では、異なる撮影条件で取得された2枚の参照画像を合成して、ハイダイナミックレンジ画像を生成する場合を例示する。また、参照画像を構成する各画素の画素値は、輝度値および色差信号値を含み、輝度値および色差信号値はそれぞれ8ビットで表されるものとする。
When a plurality of reference images are acquired by the
度数分布取得部351は、2枚の参照画像を構成する各画素の輝度値を比較して、輝度値に対する画素の度数(個数)を表す度数分布を取得する。図3は、2枚の参照画像に関する度数分布を図に表した度数分布図(ヒストグラム)HG1,HG2である。
The frequency
露出高低順位判別部352は、入力された2枚の参照画像のうち、どちらの画像が露光量の多い画像かについての順位(「露出の高低順位」または「露出高低順位」とも称する)を判別する。参照画像の露出高低順位は、各参照画像の特徴量を比較することによって判別することができる。
The exposure
参照画像の特徴量としては、例えば、参照画像の平均輝度値を採用することができる。具体的には、露出高低順位判別部352では、各参照画像の平均輝度値が算出され、当該平均輝度値を比較して露出高低順位が判別される。すなわち、2枚の参照画像の平均輝度値の比較により平均輝度値が高いと判別された画像は、比較的露光量の多い高露出画像KHとされ、平均輝度値が低いと判別された画像は、比較的露光量の少ない低露出画像KLとされる。例えば、図3では、ヒストグラムHG1で表される輝度値で構成された参照画像は、高露出画像KHと判別され、ヒストグラムHG2で表される輝度値で構成された参照画像は、低露出画像KLと判別される。
As the feature amount of the reference image, for example, an average luminance value of the reference image can be adopted. Specifically, the exposure level ranking determining
累積度数算出部353は、度数分布取得部351で取得された度数分布に基づいて、所定輝度値以下の度数全体を加え合わせた累積度数(「累積画素数」とも称する)を算出する。具体的には、参照画像KNに関する所定輝度値「q」以下の累積度数「PKN(q)」は、下記の式(2)に基づいて算出される。
Based on the frequency distribution acquired by the frequency
なお、式(2)中のHKN(Y)は、参照画像KNにおける輝度値「Y」の画素の度数を示している。 In Equation (2), H KN (Y) indicates the frequency of the pixel having the luminance value “Y” in the reference image KN.
累積度数算出部353では、参照画像それぞれについて、各輝度値に対する累積度数が算出されるので、輝度値が8ビットで表される場合は、輝度値「0」から輝度値「255」までの256個の累積度数が参照画像ごとに算出されることになる。
The cumulative
対応輝度値特定部354は、累積度数算出部353で取得された各参照画像の累積度数「PKN(Y)」を比較して、2枚の参照画像間において、互いの累積度数が最も近くなる輝度値(「対応輝度値」とも称する)の組み合わせを特定する。
The corresponding luminance
具体的には、対応輝度値特定部354では、2枚の参照画像のうち、一方の参照画像(例えば、高露出画像KH)の所定輝度値における累積度数に対して、他方の参照画像(例えば、低露出画像KL)において、最も近い累積度数となる輝度値が特定される。このような対応輝度値の特定は、一方の参照画像の輝度値ごとに行われ、輝度値が8ビットで表される場合は、2枚の参照画像間において256組の対応輝度値が特定される。
Specifically, in the corresponding luminance
また、このような対応輝度値の特定処理は、2枚の参照画像における各累積度数の差が最小となるときの輝度値の組を特定する処理であるとも表現できる。すなわち、対応輝度値の特定処理は、参照画像K1の累積度数「PK1(Y1)」と参照画像K2の累積度数「PK2(Y2)」とを用いて表される式(3)の数式によって算出される値を、最小化するような輝度値の組を求める処理であると考えることができる。 In addition, such a process for specifying the corresponding luminance value can also be expressed as a process for specifying a set of luminance values when the difference between the cumulative frequencies in the two reference images is minimized. That is, the identification process of the corresponding luminance value is expressed by the equation (3) expressed using the cumulative frequency “P K1 (Y1)” of the reference image K1 and the cumulative frequency “P K2 (Y2)” of the reference image K2. It can be considered that this is a process for obtaining a set of luminance values that minimizes the value calculated by.
式(3)を用いて対応輝度値の組を特定する場合は、まず、2枚の参照画像のうち一方の参照画像における輝度値「Y1」を或る値に固定して、上記式(3)で算出される値を最小化する輝度値「Y2」が特定される。そして、固定側の輝度値「Y1」に対応する輝度値が特定されたときは、固定値を変更して再び式(3)を用いた対応輝度値の特定処理が行われる。このような一連の処理を繰り返すことによって、256組の対応輝度値が特定される。 When the set of corresponding luminance values is specified using Expression (3), first, the luminance value “Y1” in one of the two reference images is fixed to a certain value, and the above Expression (3) is used. The luminance value “Y2” that minimizes the value calculated in step) is specified. When the brightness value corresponding to the fixed-side brightness value “Y1” is specified, the corresponding brightness value specifying process using the formula (3) is performed again by changing the fixed value. By repeating such a series of processes, 256 sets of corresponding luminance values are specified.
境界輝度値探索部(「繋ぎ目輝度値探索部」とも称する)355は、対応輝度値特定部354で特定された複数組の対応輝度値の組み合わせの中から、2枚の参照画像に関する度数分布を合成する際の境界輝度値の組み合わせを探索する。
The boundary luminance value search unit (also referred to as “joint luminance value search unit”) 355 is a frequency distribution related to two reference images from among a plurality of combinations of corresponding luminance values specified by the corresponding luminance
境界輝度値の組の探索は、対応輝度値の組を用いて2枚の参照画像に関する度数分布を合成して度数分布(「合成度数分布」とも称する)を得た場合に、当該合成度数分布の階級を表す輝度値のダイナミックレンジが最大となるような対応輝度値の組を特定することによって行われる。 A search for a set of boundary luminance values is performed when a frequency distribution (also referred to as a “composite frequency distribution”) is obtained by synthesizing a frequency distribution related to two reference images using the corresponding luminance value set. This is done by specifying a set of corresponding luminance values that maximizes the dynamic range of the luminance values that represent the class of.
具体的には、図4を用いて境界輝度値の探索処理を概念化して説明する。図4には、高露出画像KHに関するヒストグラムHG1および低露出画像KLに関するヒストグラムHG2と、当該各ヒストグラムHG1,HG2を合成して得られるヒストグラム(「疑似合成ヒストグラム」または「合成ヒストグラム」とも称する)HG3とが示されている。 Specifically, the boundary luminance value search process is conceptualized and described with reference to FIG. FIG. 4 shows a histogram HG1 related to the high-exposure image KH and a histogram HG2 related to the low-exposure image KL, and a histogram (also referred to as “pseudo-composite histogram” or “composite histogram”) HG3 obtained by combining the histograms HG1 and HG2. Is shown.
図4に示されるように、例えば、高露出画像KHにおける輝度値「a」と、低露出画像KLにおける輝度値「b」とが、対応輝度値の組として特定され、当該対応輝度値の組を用いて度数分布を合成するものとする。この場合、度数分布の合成処理をヒストグラム上で表すと、度数分布の合成は、高露出画像KHにおける輝度値「0」から輝度値「a」までの各度数と、低露出画像KLにおける輝度値「b」から輝度値「255」までの各度数とを組み合わせて合成ヒストグラムHG3を生成することに相当する。 As shown in FIG. 4, for example, the luminance value “a” in the high-exposure image KH and the luminance value “b” in the low-exposure image KL are specified as a set of corresponding luminance values, and the set of the corresponding luminance values The frequency distribution is synthesized using In this case, when the frequency distribution composition processing is represented on the histogram, the frequency distribution composition is performed for each frequency from the luminance value “0” to the luminance value “a” in the high-exposure image KH and the luminance value in the low-exposure image KL. This corresponds to generating the combined histogram HG3 by combining the frequencies from “b” to the luminance value “255”.
なお、合成度数分布を構成する画素の個数(画素数)は、各参照画像の画素数とほぼ等しくなる。これは、対応輝度値特定部354によって、2枚の参照画像間において累積度数の最も近い輝度値の組が対応輝度値の組として特定され、当該対応輝度値の組を用いて合成度数分布が得られるためである。したがって、対応輝度値特定部354では、参照画像の画素数と合成度数分布を構成する画素数とがほぼ一致する輝度値の組が対応輝度値の組として特定されるとも表現することができる。
Note that the number of pixels (number of pixels) constituting the synthesis frequency distribution is substantially equal to the number of pixels of each reference image. This is because the corresponding luminance
このように、合成度数分布は、露出高低順位判別部352における判別結果および対応輝度値を用いて、2枚の参照画像から高露出画像KHにおける低輝度帯の画素情報と、低露出画像KLにおける高輝度帯の画素情報とをそれぞれ抽出し、抽出された両者を組み合わせて生成される。
As described above, the composite frequency distribution uses the determination result in the exposure
そして、このとき、合成ヒストグラムHG3では、階級を示す輝度値の範囲は、「0」から「255+a−b」となるので、合成ヒストグラムHG3のダイナミックレンジ、すなわち合成度数分布のダイナミックレンジD(a,b)は、式(4)で表されることになる。 At this time, in the combined histogram HG3, the range of the luminance value indicating the class is “0” to “255 + ab”, so that the dynamic range of the combined histogram HG3, that is, the dynamic range D (a, b) is expressed by the equation (4).
ここで、境界輝度値の組を探索する処理では、上述のように、合成度数分布の輝度値のダイナミックレンジを最大にする対応輝度値の組を境界輝度値の組として特定する処理が実行される。したがって、境界輝度値探索部355では、上記式(4)で表されるダイナミックレンジ「D(a,b)」を最大にする対応輝度値「a」、「b」が境界輝度値「L1」、「L2」として特定されることになる。 Here, in the process of searching for the boundary luminance value pair, as described above, the process of specifying the corresponding luminance value pair that maximizes the dynamic range of the luminance value of the composite frequency distribution as the boundary luminance value pair is executed. The Therefore, in the boundary luminance value search unit 355, the corresponding luminance values “a” and “b” that maximize the dynamic range “D (a, b)” expressed by the above equation (4) are the boundary luminance value “L1”. , “L2”.
このように、境界輝度値探索部355では、高露出画像KHにおける対応輝度値「a」から低露出画像KLにおける対応輝度値「b」を差し引いた値が最も大きくなるときの対応輝度値の組み合わせが、複数組の対応輝度値の組み合わせの中から探索される。そして、探索された対応輝度値の組が、それぞれ高露出画像KHにおける境界輝度値「L1」、低露出画像KLにおける境界輝度値「L2」として設定される。 As described above, the boundary luminance value search unit 355 combines the corresponding luminance values when the value obtained by subtracting the corresponding luminance value “b” in the low exposure image KL from the corresponding luminance value “a” in the high exposure image KH is the largest. Are searched from a plurality of combinations of corresponding luminance values. Then, the searched pair of corresponding luminance values is set as the boundary luminance value “L1” in the high exposure image KH and the boundary luminance value “L2” in the low exposure image KL, respectively.
なお、上記では、境界輝度値の探索についての理解を容易にするためにヒストグラムを用いて説明したが、実際の境界輝度値の探索処理では、ヒストグラムを生成しなくてもよい。 In the above description, the histogram is used to facilitate understanding of the search for the boundary luminance value. However, in the actual boundary luminance value search process, the histogram need not be generated.
画素値決定部356は、境界輝度値探索部355で特定された境界輝度値「L1」、「L2」および2枚の参照画像(高露出画像KHおよび低露出画像KL)の各画素の画素値に基づいて、ハイダイナミックレンジ画像の各画素の画素値を決定する。
The pixel
具体的には、画素値決定部356は、高露出画像KHにおいて境界輝度値「L1」よりも小さい画素値と、低露出画像KLにおいて境界輝度値「L2」よりも大きい画素値とを用いて、ハイダイナミックレンジ画像の画素値を決定する。
Specifically, the pixel
より詳細には、ハイダイナミックレンジ画像の左下を原点としたときに、当該ハイダイナミックレンジ画像におけるX方向i番目、Y方向j番目の位置に存在する画素の輝度値「YH(i,j)」は、式(5)を用いて算出することができる。 More specifically, the luminance value “Y H (i, j) of a pixel existing at the i-th position in the X direction and the j-th position in the Y direction in the high dynamic range image when the lower left corner of the high dynamic range image is the origin. "Can be calculated using equation (5).
ここで、式(5)を用いた輝度値決定手法を詳述する。ハイダイナミックレンジ画像における位置(i,j)の画素の輝度値を決定する場合は、まず、高露出画像KHおよび低露出画像KLそれぞれの位置(i,j)における画素の輝度値が取得される。 Here, the brightness value determination method using Formula (5) will be described in detail. When determining the luminance value of the pixel at the position (i, j) in the high dynamic range image, first, the luminance value of the pixel at the position (i, j) of each of the high exposure image KH and the low exposure image KL is acquired. .
そして、高露出画像KHの位置(i,j)における画素の輝度値「YKH(i,j)」が、境界輝度値「L1」より小さいときは、高露出画像KHの輝度値「YKH(i,j)」が、ハイダイナミックレンジ画像の輝度値「YH(i,j)」として採用される。また、低露出画像KLの位置(i,j)における画素の輝度値「YKL(i,j)」が、境界輝度値「L2」より大きいときは、低露出画像KLの輝度値「YKL(i,j)」を境界輝度値で補正した値が、ハイダイナミックレンジ画像の輝度値「YH(i,j)」として採用される。なお、ここでは、低露出画像KLの位置(i,j)における画素の輝度値「YKL(i,j)」が、境界輝度値「L2」と等しいときも、低露出画像KLの輝度値「YKL(i,j)」を境界輝度値で補正した値が、ハイダイナミックレンジ画像の輝度値「YH(i,j)」として採用されるものとする。 When the luminance value “Y KH (i, j)” of the pixel at the position (i, j) of the high exposure image KH is smaller than the boundary luminance value “L1”, the luminance value “Y KH of the high exposure image KH. (I, j) ”is adopted as the luminance value“ Y H (i, j) ”of the high dynamic range image. When the luminance value “Y KL (i, j)” of the pixel at the position (i, j) of the low exposure image KL is larger than the boundary luminance value “L2”, the luminance value “Y KL ” of the low exposure image KL. A value obtained by correcting (i, j) ”with the boundary luminance value is adopted as the luminance value“ Y H (i, j) ”of the high dynamic range image. Here, even when the luminance value “Y KL (i, j)” of the pixel at the position (i, j) of the low-exposure image KL is equal to the boundary luminance value “L2”, the luminance value of the low-exposure image KL. A value obtained by correcting “Y KL (i, j)” with the boundary luminance value is adopted as the luminance value “Y H (i, j)” of the high dynamic range image.
また、ハイダイナミックレンジ画像における位置(i,j)の画素の色差信号値「CbH(i,j)」は、式(6)を用いて算出することができる。 Further, the color difference signal value “Cb H (i, j)” of the pixel at the position (i, j) in the high dynamic range image can be calculated using Expression (6).
より詳細には、ハイダイナミックレンジ画像における位置(i,j)の画素の色差信号値「CbH(i,j)」を決定する場合、高露出画像KHの位置(i,j)における画素の輝度値「YKH(i,j)」が、境界輝度値「L1」より小さいときは、高露出画像KHの色差信号値「CbKH(i,j)」が、ハイダイナミックレンジ画像の色差信号値「CbH(i,j)」として採用される。また、低露出画像KLの位置(i,j)における画素の輝度値「YKL(i,j)」が、境界輝度値「L2」より大きいときは、低露出画像KLの色差信号値「CbKL(i,j)」が、ハイダイナミックレンジ画像の色差信号値「CbH(i,j)」として採用される。なお、ここでは、低露出画像KLの位置(i,j)における画素の輝度値「YKL(i,j)」が、境界輝度値「L2」と等しいときも、低露出画像KLの色差信号値「CbKL(i,j)」が、ハイダイナミックレンジ画像の色差信号値「CbH(i,j)」として採用されるものとする。 More specifically, when the color difference signal value “Cb H (i, j)” of the pixel at the position (i, j) in the high dynamic range image is determined, the pixel of the pixel at the position (i, j) of the high exposure image KH is determined. When the luminance value “Y KH (i, j)” is smaller than the boundary luminance value “L1”, the color difference signal value “Cb KH (i, j)” of the high exposure image KH is the color difference signal of the high dynamic range image. It is adopted as the value “Cb H (i, j)”. Further, when the luminance value “Y KL (i, j)” of the pixel at the position (i, j) of the low-exposure image KL is larger than the boundary luminance value “L2”, the color difference signal value “Cb” of the low-exposure image KL. KL (i, j) ”is adopted as the color difference signal value“ Cb H (i, j) ”of the high dynamic range image. Here, even when the luminance value “Y KL (i, j)” of the pixel at the position (i, j) of the low-exposure image KL is equal to the boundary luminance value “L2”, the color difference signal of the low-exposure image KL. It is assumed that the value “Cb KL (i, j)” is adopted as the color difference signal value “Cb H (i, j)” of the high dynamic range image.
また、画素値決定部356では、もう一方の色差信号値「CrH(i,j)」についても、既述の色差信号値「CbH(i,j)」の決定手法と同様の原理で、下記の式(7)を用いて算出される。
The pixel
このように、画素値決定部356では、参照画像の境界輝度値と、当該参照画像の各画素の輝度値との大小関係に基づいて、各参照画像からハイダイナミックレンジ画像の生成に用いる画素値が選択される。
As described above, the pixel
なお、各参照画像について設定された境界輝度値は、各参照画像からハイダイナミックレンジ画像の生成に用いる画素値を選択する際に、当該選択の基準として用いられることになる。このような観点に基づけば、対応輝度値特定部354および境界輝度値探索部355は、各参照画像からハイダイナミックレンジ画像の生成に用いる画素値を選択する際の基準値を設定する設定手段として機能しているとも表現できる。
Note that the boundary luminance value set for each reference image is used as a selection criterion when selecting a pixel value to be used for generating a high dynamic range image from each reference image. Based on such a viewpoint, the corresponding luminance
また、上記のような画素値決定手法では、ハイダイナミックレンジ画像の画素において、高露出画像KHおよび低露出画像KLから重複して画素値が採用されることになる画素(「重複画素」とも称する)、または画素値が決定されない画素(「空白画素」とも称する)が発生しうる。図5および図6は、ハイダイナミックレンジ画像の画素値決定手法を説明するための図である。 Further, in the pixel value determination method as described above, in a pixel of a high dynamic range image, a pixel value whose pixel value is adopted redundantly from the high exposure image KH and the low exposure image KL (also referred to as “overlapping pixel”). ) Or pixels whose pixel values are not determined (also referred to as “blank pixels”). 5 and 6 are diagrams for explaining a pixel value determination method for a high dynamic range image.
具体的には、ハイダイナミックレンジ画像の或る位置(iw,jw)における画素の輝度値を決定する場合に、高露出画像KHの位置(iw,jw)における画素の輝度値「Yw1」が、境界輝度値「L1」より小さく、低露出画像KLの位置(iw,jw)における画素の輝度値「Yw2」が、境界輝度値「L2」より大きい場合を想定する。この場合、上記式(5)によれば、高露出画像KHに基づく輝度値「Yw1」および低露出画像KLに基づく輝度値「Yw2」の2つの輝度値が、ハイダイナミックレンジ画像の輝度値として算出されることになる。 Specifically, when determining the luminance value of the pixel at a certain position (iw, jw) of the high dynamic range image, the luminance value “Yw1” of the pixel at the position (iw, jw) of the high-exposure image KH is Assume that the luminance value “Yw2” of the pixel at the position (iw, jw) of the low-exposure image KL is smaller than the boundary luminance value “L1” and larger than the boundary luminance value “L2”. In this case, according to the above equation (5), the two luminance values of the luminance value “Yw1” based on the high exposure image KH and the luminance value “Yw2” based on the low exposure image KL are the luminance values of the high dynamic range image. Will be calculated.
このように、画素値が重複して算出された場合は、高露出画像KHおよび低露出画像KLそれぞれの度数分布において、算出された画素値と境界輝度値「L1」、「L2」との差の絶対値を算出し、絶対値が大きい方の画素値に基づいて、ハイダイナミックレンジ画像の画素値を決定してもよい。例えば、図5に示される、高露出画像KHおよび低露出画像KLの各ヒストグラムHG1,HG2においては、高露出画像KHにおける輝度値Yw1と境界輝度値「L1」との差の方が、低露出画像KLにおける輝度値Yw2と境界輝度値「L2」との差より大きくなっている。この場合、境界輝度値に対する差の大きい画素値は、高露出画像KHにおける輝度値Yw1であるから、高露出画像KHにおける輝度値Yw1がハイダイナミックレンジ画像の画素値として採用されることになる。 As described above, when the pixel values are calculated overlappingly, the difference between the calculated pixel value and the boundary luminance values “L1” and “L2” in the frequency distribution of each of the high exposure image KH and the low exposure image KL. May be calculated, and the pixel value of the high dynamic range image may be determined based on the pixel value having the larger absolute value. For example, in the histograms HG1 and HG2 of the high exposure image KH and the low exposure image KL shown in FIG. 5, the difference between the luminance value Yw1 and the boundary luminance value “L1” in the high exposure image KH is lower. It is larger than the difference between the luminance value Yw2 and the boundary luminance value “L2” in the image KL. In this case, since the pixel value having a large difference with respect to the boundary luminance value is the luminance value Yw1 in the high exposure image KH, the luminance value Yw1 in the high exposure image KH is adopted as the pixel value of the high dynamic range image.
また、ハイダイナミックレンジ画像の或る位置(iv,jv)における画素の輝度値を決定する場合に、高露出画像KHの位置(iv,jv)における画素の輝度値「Yv1」が、境界輝度値「L1」より大きく、低露出画像KLの位置(iv,jv)における画素の輝度値「Yv2」が、境界輝度値「L2」より小さい場合を想定する。この場合、上記式(5)によれば、高露出画像KHに基づく輝度値「Yv1」および低露出画像KLに基づく輝度値「Yv2」いずれの輝度値も、ハイダイナミックレンジ画像の輝度値として算出されないことになる。 When determining the luminance value of the pixel at a certain position (iv, jv) in the high dynamic range image, the luminance value “Yv1” of the pixel at the position (iv, jv) of the high-exposure image KH is the boundary luminance value. Assume that the luminance value “Yv2” of the pixel at a position (iv, jv) of the low-exposure image KL that is larger than “L1” is smaller than the boundary luminance value “L2”. In this case, according to the above formula (5), the luminance value “Yv1” based on the high exposure image KH and the luminance value “Yv2” based on the low exposure image KL are both calculated as the luminance values of the high dynamic range image. Will not be.
このように、画素値が算出されない場合は、高露出画像KHおよび低露出画像KLそれぞれの度数分布において、算出された画素値と境界輝度値「L1」、「L2」との差の絶対値を算出し、絶対値が小さい方の画素値に基づいて、ハイダイナミックレンジ画像の画素値を決定してもよい。例えば、図6に示される、高露出画像KHおよび低露出画像KLの各ヒストグラムHG1,HG2においては、低露出画像KLにおける輝度値Yv2と境界輝度値「L2」との差の方が、高露出画像KHにおける輝度値Yv1と境界輝度値「L1」との差より小さくなっている。この場合、境界輝度値に対する差の小さい画素値は、低露出画像KLにおける輝度値Yv2であるから、低露出画像KLにおける輝度値Yv2に基づいて、ハイダイナミックレンジ画像の画素値が決定されることになる。 Thus, when the pixel value is not calculated, the absolute value of the difference between the calculated pixel value and the boundary luminance values “L1” and “L2” in the frequency distribution of each of the high exposure image KH and the low exposure image KL is calculated. The pixel value of the high dynamic range image may be determined based on the calculated pixel value with the smaller absolute value. For example, in the histograms HG1, HG2 of the high exposure image KH and the low exposure image KL shown in FIG. 6, the difference between the luminance value Yv2 and the boundary luminance value “L2” in the low exposure image KL is higher. It is smaller than the difference between the luminance value Yv1 and the boundary luminance value “L1” in the image KH. In this case, since the pixel value having a small difference with respect to the boundary luminance value is the luminance value Yv2 in the low-exposure image KL, the pixel value of the high dynamic range image is determined based on the luminance value Yv2 in the low-exposure image KL. become.
[1−3.動作]
次に、撮像装置1Aの動作について説明する。図7は、撮像装置1Aの動作を示すフローチャートである。
[1-3. Operation]
Next, the operation of the
図7に示されるように、撮影モードにおいてハイダイナミックレンジ画像の生成機能が有効化され、ステップSP11においてレリーズボタンが押下されると、ステップSP12に移行される。 As shown in FIG. 7, when the high dynamic range image generation function is enabled in the shooting mode and the release button is pressed in step SP11, the process proceeds to step SP12.
ステップSP12では、同一被写体を異なる撮影条件で2回撮影する撮影動作が実行され、2枚の参照画像が取得される。 In step SP12, a photographing operation for photographing the same subject twice under different photographing conditions is executed, and two reference images are acquired.
ステップSP13では、2枚の参照画像に対して、WB補正およびYCC変換等の所定の画像処理が施される。 In step SP13, predetermined image processing such as WB correction and YCC conversion is performed on the two reference images.
ステップSP14では、度数分布取得部351によって、輝度値に対する画素の度数を表す度数分布が参照画像ごとに取得される。
In step SP14, the frequency
ステップSP15では、露出高低順位判別部352によって、2枚の参照画像の露出高低順位が判別され、高露出画像KHと低露出画像KLとが決定される。
In step SP15, the exposure height
ステップSP16では、累積度数算出部353によって、参照画像それぞれに関して、各輝度値における累積度数が算出される。
In step SP16, the cumulative
ステップSP17では、対応輝度値特定部354によって、2枚の参照画像間において互いに対応した累積度数となる輝度値(対応輝度値)が特定される。
In step SP17, the corresponding luminance
ステップSP18では、境界輝度値探索部355によって、対応輝度値の中から高露出画像KHの度数分布と低露出画像KLの度数分布とを組み合わせるための境界輝度値が探索される。 In step SP18, the boundary luminance value search unit 355 searches the corresponding luminance value for a boundary luminance value for combining the frequency distribution of the high exposure image KH and the frequency distribution of the low exposure image KL.
ステップSP19では、画素値決定部356によって、高露出画像KHの各画素の画素値と低露出画像KLの各画素の画素値とに基づいて、ハイダイナミックレンジ画像の各画素の画素値が決定される。
In step SP19, the pixel
ステップSP20では、ハイダイナミックレンジ画像の出力形式に応じて、ハイダイナミックレンジ画像の画素値が調整される。例えば、ハイダイナミックレンジ画像を8ビットで出力する場合は、ハイダイナミックレンジ画像の最大輝度値が255となるように、ステップSP19で決定された画素値に対して圧縮処理が施される。 In step SP20, the pixel value of the high dynamic range image is adjusted according to the output format of the high dynamic range image. For example, when a high dynamic range image is output with 8 bits, the pixel value determined in step SP19 is subjected to compression processing so that the maximum luminance value of the high dynamic range image is 255.
以上のように、撮像装置1Aは、同一被写体を異なる撮影条件で撮影した2枚の参照画像を合成して、ハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部35を備え、ハイダイナミックレンジ画像生成部35は、2枚の参照画像における露出の高低順位を判別する露出高低順位判別部352と、2枚の参照画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出部353と、2枚の参照画像からハイダイナミックレンジ画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる境界輝度値を、累積度数に基づいて2枚の参照画像それぞれについて設定する設定手段と、露出の高低順位および境界輝度値に基づいて、ハイダイナミックレンジ画像を構成する各画素の画素値を決定する画素値決定部356とを有する。
As described above, the
このような撮像装置1Aによれば、取得された参照画像に応じて最適な閾値をその都度自動的に設定して、ハイダイナミックレンジ画像を生成することが可能になる。
According to such an
<2.第2実施形態>
次に、本発明の第2実施形態について説明する。上記第1実施形態に係る撮像装置1Aでは、2枚の参照画像を合成してハイダイナミックレンジ画像を生成していたが、第2実施形態に係る撮像装置1Bでは、3枚の参照画像からハイダイナミックレンジ画像を生成する。なお、撮像装置1Bは、撮像装置1Aとほぼ同様の構造および機能(図1および図2参照)を有しており、共通する部分については同じ符号を付して説明を省略する。
<2. Second Embodiment>
Next, a second embodiment of the present invention will be described. In the
第2実施形態の撮像装置1Bは、撮像部101(図1参照)によって、同一被写体についての撮影を、それぞれ異なる撮影条件で3回行い、3枚の参照画像を取得する。
In the
そして、撮像装置1Bは、ハイダイナミックレンジ画像生成部35によって、3枚の参照画像を合成してハイダイナミックレンジ画像を生成する。
Then, the
具体的には、図2に示されるように、ハイダイナミックレンジ画像生成部35では、度数分布取得部351によって、3枚の参照画像それぞれについての度数分布が取得される。
Specifically, as shown in FIG. 2, in the high dynamic range
露出高低順位判別部352では、3枚の参照画像に関する露出高低順位が判別される。具体的には、露出高低順位判別部352では、3枚の参照画像それぞれの平均輝度値が算出される。そして、算出された各平均輝度値を比較することによって、平均輝度値の最も高い高露出画像KHと、平均輝度値の最も低い低露出画像KLと、平均輝度値が中程度の中露出画像KMとが特定される。
The exposure level ranking
累積度数算出部353では、参照画像それぞれに関して、各輝度値における累積度数が算出される。
The cumulative
対応輝度値特定部354では、高露出画像KHと中露出画像KMとの間、および中露出画像KMと低露出画像KLとの間それぞれにおいて、互いに対応した累積度数となる輝度値(対応輝度値)が特定される。
In the corresponding luminance
そして、境界輝度値探索部355では、高露出画像KHと中露出画像KMとの間における対応輝度値の組の中から高露出画像KHの度数分布と中露出画像KMの度数分布とを組み合わせるための境界輝度値の組「L11」、「L12」が探索される。また、境界輝度値探索部355では、中露出画像KMと低露出画像KLとの間における対応輝度値の組の中から中露出画像KMの度数分布と低露出画像KLの度数分布とを組み合わせるための境界輝度値の組「L13」、「L14」が探索される。このように、撮像装置1Bでは、高露出画像KHと中露出画像KMとの間、および中露出画像KMと低露出画像KLとの間それぞれにおいて、撮像装置1Aで高露出画像KHと低露出画像KLとの間で行われる境界輝度値の組の探索処理と同様の処理が行われる。
The boundary luminance value search unit 355 combines the frequency distribution of the high exposure image KH and the frequency distribution of the medium exposure image KM from the set of corresponding luminance values between the high exposure image KH and the medium exposure image KM. A set of boundary luminance values “L11” and “L12” is searched. Further, the boundary luminance value search unit 355 combines the frequency distribution of the medium exposure image KM and the frequency distribution of the low exposure image KL from the set of corresponding luminance values between the medium exposure image KM and the low exposure image KL. A set of boundary luminance values “L13” and “L14” is searched. Thus, in the
画素値決定部356では、高露出画像KHの各画素の画素値と中露出画像KMの各画素の画素値と低露出画像KLの各画素の画素値とに基づいて、ハイダイナミックレンジ画像の各画素の画素値が決定される。
In the pixel
ここで、撮像装置1Bで行われるハイダイナミックレンジ画像の生成処理についてヒストグラムを用いて概念化して説明する。図8は、撮像装置1Bで実行されるハイダイナミックレンジ画像の生成の様子を、ヒストグラムを用いて概念化した図である。
Here, the high dynamic range image generation processing performed in the
図8に示されるように、境界輝度値の探索処理によって、高露出画像KHと中露出画像KMとの間における境界輝度値の組が「L11」、「L12」と探索され、中露出画像KMと低露出画像KLとの間における境界輝度値の組が「L13」、「L14」と探索されたとする。この場合、ハイダイナミックレンジ画像のヒストグラム(合成ヒストグラム)HG4は、高露出画像KHにおける最小輝度値「0」から境界輝度値「L11」の範囲のヒストグラム情報と、中露出画像KMにおける境界輝度値「L12」から境界輝度値「L13」の範囲のヒストグラム情報と、低露出画像KLにおける境界輝度値「L14」から最大輝度値「255」の範囲のヒストグラム情報とで構成されることになる。 As shown in FIG. 8, the boundary luminance value search process between the high exposure image KH and the medium exposure image KM is searched as “L11” and “L12” by the boundary luminance value search process, and the medium exposure image KM. Assume that a set of boundary luminance values between the image and the low-exposure image KL is searched as “L13” and “L14”. In this case, the histogram (composite histogram) HG4 of the high dynamic range image includes histogram information in the range from the minimum luminance value “0” to the boundary luminance value “L11” in the high exposure image KH and the boundary luminance value “ Histogram information in the range from “L12” to the boundary luminance value “L13” and histogram information in the range from the boundary luminance value “L14” to the maximum luminance value “255” in the low-exposure image KL.
すなわち、撮像装置1Bにおけるハイダイナミックレンジ画像は、高露出画像KHにおける最小輝度値「0」から境界輝度値「L11」の各画素と、中露出画像KMにおける境界輝度値「L12」から境界輝度値「L13」の各画素と、低露出画像KLにおける境界輝度値「L14」から最大輝度値「255」の各画素とを用いて生成されるとも表現できる。
In other words, the high dynamic range image in the
ハイダイナミックレンジ画像における各画素の画素値決定には、下記の式(8)〜(10)が用いられる。具体的には、ハイダイナミックレンジ画像の左下を原点としたときに、当該ハイダイナミックレンジ画像におけるX方向i番目、Y方向j番目の位置に存在する画素の輝度値「YHB(i,j)」は、式(8)を用いて算出される。 The following formulas (8) to (10) are used to determine the pixel value of each pixel in the high dynamic range image. Specifically, the luminance value “Y HB (i, j) of a pixel existing at the i-th position in the X direction and the j-th position in the Y direction in the high dynamic range image when the lower left of the high dynamic range image is the origin. "Is calculated using equation (8).
また、ハイダイナミックレンジ画像における位置(i,j)の画素の色差信号値「CbHB(i,j)」、「CrHB(i,j)」は、それぞれ式(9)、(10)を用いて算出される。 Further, the color difference signal values “Cb HB (i, j)” and “Cr HB (i, j)” of the pixel at the position (i, j) in the high dynamic range image are expressed by equations (9) and (10), respectively. Is used to calculate.
以上のように、撮像装置1Bでは、3枚の参照画像の露出高低順位が判別され、当該判別結果に基づいて、露出高低順位の近い参照画像同士の組が2組特定される。そして、撮像装置1Aで実行される2枚の参照画像の合成処理と同様の処理が異なる組み合わせで2回行われて、ハイダイナミックレンジ画像が生成される。
As described above, in the
<3.第3実施形態>
次に、本発明の第3実施形態について説明する。上記各実施形態では、撮像装置1A,1Bにおいてハイダイナミックレンジ画像の生成を行っていたが、第3実施形態では、撮影された参照画像を入力情報NDとして画像処理装置(例えば、パーソナルコンピュータ(PC)、携帯情報端末)50に入力し、当該画像処理装置50においてハイダイナミックレンジ画像の生成処理を実行する。図9は、第3実施形態に係る画像処理装置50の機能構成を示すブロック図である。なお、画像処理装置50は、第1実施形態に係る撮像装置1Aと共通する機能を多数有しており、共通する機能については同じ符号を付して説明を省略する。
<3. Third Embodiment>
Next, a third embodiment of the present invention will be described. In each of the above embodiments, the high dynamic range image is generated in the
第3実施形態に係る画像処理装置50は、データ取得部(画像取得手段)501と、データ記憶部502と、画像処理部503に含まれるハイダイナミックレンジ(HDR)画像生成部35と、全体制御部510とを有している。
The
画像処理装置50では、入力情報NDとして入力された参照画像が、データ取得部501を介してデータ記憶部502に保存される。そして、全体制御部510からの指示に応じてデータ記憶部502に保存された参照画像にアクセスして、ハイダイナミックレンジ画像生成部35によるハイダイナミックレンジ画像の生成処理が実行される。
In the
なお、ハイダイナミックレンジ画像生成部35は、第1実施形態と同様の構成(図2参照)を有し、複数の参照画像を合成してハイダイナミックレンジ画像を生成する。
The high dynamic range
<4.変形例>
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
<4. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.
例えば、上記各実施形態では、参照画像を構成する各画素の画素値としては、8ビットで表現される画素値を用いていたが、これに限定されず、参照画像の画素値のビット数を変更してもよい。 For example, in each of the above embodiments, the pixel value represented by 8 bits is used as the pixel value of each pixel constituting the reference image. However, the present invention is not limited to this, and the number of bits of the pixel value of the reference image is It may be changed.
具体的には、ハイダイナミックレンジ画像の生成処理を開始する前に、画素値のビット数を増やしてもよい。例えば、画素値のビット数を10ビットで表現すると、累積度数算出部353では、輝度値「0」から輝度値「1023」までの1024個の累積度数が参照画像ごとに算出されることになる。そして、対応輝度値特定部354では、2枚の参照画像間において1024組の対応輝度値が特定され、境界輝度値探索部355では、1024組の対応輝度値の中から、境界輝度値が探索されることになる。すなわち、参照画像の画素値のビット数を増やした場合は、2枚の参照画像に関する度数分布を組み合わせる際の境界輝度値を細かいレベルで精度良く設定することが可能になる。
Specifically, the number of bits of the pixel value may be increased before starting the generation process of the high dynamic range image. For example, when the bit number of the pixel value is expressed by 10 bits, the cumulative
このように、ハイダイナミックレンジ画像の生成処理を開始する前に、参照画像における画素値のビット数を増やすと、合成によるひずみの少ないなめらかなハイダイナミックレンジ画像を生成することが可能になる。 As described above, when the number of bits of the pixel value in the reference image is increased before the generation process of the high dynamic range image is started, it is possible to generate a smooth high dynamic range image with less distortion due to synthesis.
一方、ハイダイナミックレンジ画像の生成処理を開始する前に、画素値のビット数を減らしてもよい。例えば、画素値のビット数を6ビットで表現すると、累積度数算出部353では、輝度値「0」から輝度値「63」までの64個の累積度数が参照画像ごとに算出されることになる。そして、対応輝度値特定部354では、2枚の参照画像間において64組の対応輝度値が特定され、境界輝度値探索部355では、64組の対応輝度値の中から、境界輝度値が探索されることになる。
On the other hand, the number of bits of the pixel value may be reduced before starting the generation process of the high dynamic range image. For example, when the bit number of the pixel value is expressed by 6 bits, the cumulative
すなわち、ハイダイナミックレンジ画像の生成処理を開始する前に、参照画像における画素値のビット数を減らすと、境界輝度値の探索に要する演算量を抑制することができるので、ハイダイナミックレンジ画像の生成処理を高速に行うことが可能になる。 That is, if the number of bits of the pixel value in the reference image is reduced before starting the generation process of the high dynamic range image, it is possible to reduce the amount of computation required for the search for the boundary luminance value. Processing can be performed at high speed.
このように、ハイダイナミックレンジ画像の生成処理を開始する前に、参照画像における画素値のビット数を変更することによれば、ハイダイナミックレンジ画像の用途および/または撮影環境に応じてハイダイナミックレンジ画像の生成処理を最適化することができる。 As described above, by changing the number of bits of the pixel value in the reference image before starting the generation process of the high dynamic range image, the high dynamic range according to the use of the high dynamic range image and / or the shooting environment. The image generation process can be optimized.
なお、画素値のビット数の変更処理は、例えば、YCC変換部34で行うことができる。例えば、画素値のビット数を増やす場合は、式(1)を用いた色空間変換の際にビット数を増加させるような端数処理を行えばよい。一方、画素値のビット数を減らす場合は、色空間変換後にビット数を圧縮する処理を行えばよい。
Note that the process of changing the number of bits of the pixel value can be performed by, for example, the
また、上記各実施形態の露出高低順位判別部352では、露出高低順位の判別に利用する参照画像の特徴量として、参照画像の平均輝度値が用いられていたが、これに限定されない。
Further, in the exposure
具体的には、参照画像の輝度値に関するヒストグラムの中央値(「中央階調値」または「中央輝度値」とも称する)を参照画像の特徴量として用いることができる。 Specifically, the median value of the histogram relating to the luminance value of the reference image (also referred to as “central gradation value” or “central luminance value”) can be used as the feature amount of the reference image.
また、露出高低順位判別部352では、露出制御部111で決定された露出値に基づいて露出高低順位を判別してもよい。
Further, the exposure height
また、上記第1実施形態および第2実施形態では、それぞれ2枚および3枚の参照画像を合成して、ハイダイナミックレンジ画像を生成する場合について例示したが、これに限定されない。 In the first embodiment and the second embodiment, the case where the high dynamic range image is generated by synthesizing the two reference images and the three reference images, respectively, is illustrated, but the present invention is not limited to this.
具体的には、ハイダイナミックレンジ画像は、N枚の参照画像を合成して生成することも可能である。N枚の参照画像に基づいてハイダイナミックレンジ画像を生成する場合は、露出高低順位に基づいた参照画像同士の組み合わせをN−1組特定し、各組において、2枚の参照画像の合成と同様の原理に基づいた処理が実行される。 Specifically, the high dynamic range image can be generated by synthesizing N reference images. When generating a high dynamic range image based on N reference images, N-1 sets of combinations of reference images based on exposure level are specified, and in each set, the same as the synthesis of two reference images Processing based on the principle of is executed.
1A,1B 撮像装置
50 画像処理装置
103,503 画像処理部
34 YCC変換部
35 ハイダイナミックレンジ(HDR)画像生成部
351 度数分布取得部
352 露出高低順位判別部
353 累積度数算出部
354 対応輝度値特定部
355 境界輝度値探索部
356 画素値決定部
110,510 全体制御部
111 露出制御部
112 指示制御部
113 撮影制御部
114 表示制御部
HG1〜HG4 度数分布図(ヒストグラム)
KH 高露出画像
KL 低露出画像
KM 中露出画像
1A,
KH High exposure image KL Low exposure image KM Medium exposure image
Claims (10)
前記第1画像を構成する画素の画素値と前記第2画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段と、
を備え、
前記画像合成手段は、
前記第1画像と前記第2画像との露出の高低順位を判別する判別手段と、
前記第1画像および前記第2画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、
前記第1画像または前記第2画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第1画像および前記第2画像それぞれについて設定する設定手段と、
前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段と、
を有する画像処理装置。 Image acquisition means for respectively acquiring a first image relating to a predetermined subject and a second image obtained by photographing the predetermined subject under photographing conditions different from those of the first image;
Image synthesizing means for generating a synthesized image having a wide dynamic range using a pixel value of a pixel constituting the first image and a pixel value of a pixel constituting the second image;
With
The image composition means includes
Discriminating means for discriminating the order of exposure of the first image and the second image;
A cumulative frequency calculating means for calculating a cumulative frequency obtained by adding together the number of pixels equal to or less than a predetermined pixel value in each of the first image and the second image;
When selecting a pixel value to be used for generating the composite image from the first image or the second image, a threshold value used as a reference for the selection is set based on the cumulative frequency, and the first image and the second image, respectively. Setting means to set about,
Pixel value determining means for determining a pixel value of each pixel constituting the composite image based on the exposure level and the threshold;
An image processing apparatus.
前記設定手段は、
前記第1画像における画素値ごとの前記累積度数と、前記第2画像における画素値ごとの前記累積度数とを比較して、互いの累積度数が近くなる対応画素値の組み合わせを複数組特定する特定手段と、
前記特定手段によって特定された複数組の前記対応画素値の組み合わせの中から、前記合成画像のダイナミックレンジを最大にする対応画素値の組み合わせを探索する探索手段と、
を含み、
前記設定手段は、前記探索手段によって探索された対応画素値の組み合わせを、高露出画像における第1の閾値と低露出画像における第2の閾値との組として設定する請求項1に記載の画像処理装置。 The cumulative frequency calculating means calculates the cumulative frequency for each pixel value of the first image and the second image,
The setting means includes
A specification that compares the cumulative frequency for each pixel value in the first image with the cumulative frequency for each pixel value in the second image, and identifies a plurality of combinations of corresponding pixel values that are close to each other. Means,
Search means for searching for a combination of corresponding pixel values that maximizes the dynamic range of the composite image from among a plurality of combinations of the corresponding pixel values specified by the specifying means;
Including
The image processing according to claim 1, wherein the setting unit sets a combination of corresponding pixel values searched by the search unit as a set of a first threshold value in a high exposure image and a second threshold value in a low exposure image. apparatus.
前記探索手段は、高露出画像における対応画素値から低露出画像における対応画素値を差し引いた値が最も大きくなる対応画素値の組み合わせを、高露出画像における第1の閾値と低露出画像における第2の閾値との組として設定する請求項2に記載の画像処理装置。 The discriminating unit discriminates a high-exposure image with a relatively large exposure amount and a low-exposure image with a relatively small exposure amount from the first image and the second image based on the level of exposure. And
The search means uses a combination of the corresponding pixel value that maximizes the value obtained by subtracting the corresponding pixel value in the low-exposure image from the corresponding pixel value in the high-exposure image as the second threshold in the low-exposure image. The image processing apparatus according to claim 2, wherein the image processing apparatus is set as a pair with a threshold value.
前記高露出画像において前記第1の閾値よりも小さい画素値と、前記低露出画像において前記第2の閾値よりも大きい画素値とを用いて、前記合成画像の画素値を決定する請求項3に記載の画像処理装置。 The pixel value determining means includes
The pixel value of the composite image is determined using a pixel value smaller than the first threshold value in the high-exposure image and a pixel value larger than the second threshold value in the low-exposure image. The image processing apparatus described.
前記高露出画像において所定位置に存在する画素の画素値が、前記第1の閾値よりも小さい場合は、高露出画像における当該画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定し、
前記低露出画像において前記所定位置と同位置に存在する画素の画素値が、前記第2の閾値よりも大きい場合は、低露出画像における当該画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定する請求項3または請求項4に記載の画像処理装置。 The pixel value determining means includes
When the pixel value of a pixel existing at a predetermined position in the high exposure image is smaller than the first threshold value, the pixel value exists at the same position as the predetermined position in the composite image based on the pixel value in the high exposure image. Determine the pixel value of the pixel to be
When a pixel value of a pixel existing at the same position as the predetermined position in the low-exposure image is larger than the second threshold value, the predetermined position in the composite image is determined based on the pixel value in the low-exposure image. The image processing apparatus according to claim 3 or 4, wherein a pixel value of a pixel existing at the same position is determined.
前記高露出画像において所定位置に存在する画素の画素値が、前記第1の閾値よりも大きく、かつ前記低露出画像において前記所定位置と同位置に存在する画素の画素値が、前記第2の閾値よりも小さい場合は、前記高露出画像において前記所定位置に存在する画素の画素値と前記第1の閾値との差の絶対値と、前記低露出画像において前記所定位置と同位置に存在する画素の画素値と前記第2の閾値との差の絶対値とを比較し、絶対値の小さい方の画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定する請求項3から請求項5のいずれかに記載の画像処理装置。 The pixel value determining means includes
A pixel value of a pixel existing at a predetermined position in the high exposure image is larger than the first threshold value, and a pixel value of a pixel existing at the same position as the predetermined position in the low exposure image is the second value. When it is smaller than the threshold value, the absolute value of the difference between the pixel value of the pixel existing at the predetermined position in the high exposure image and the first threshold value is present at the same position as the predetermined position in the low exposure image. Comparing the absolute value of the difference between the pixel value of the pixel and the second threshold value, and based on the pixel value of the smaller absolute value, the pixel value of the pixel existing at the same position as the predetermined position in the composite image The image processing device according to claim 3, wherein the image processing device is determined.
前記高露出画像において所定位置に存在する画素の画素値が、前記第1の閾値よりも小さく、かつ前記低露出画像において前記所定位置と同位置に存在する画素の画素値が、前記第2の閾値よりも大きい場合は、前記高露出画像において前記所定位置に存在する画素の画素値と前記第1の閾値との差の絶対値と、前記低露出画像において前記所定位置と同位置に存在する画素の画素値と前記第2の閾値との差の絶対値とを比較し、絶対値の大きい方の画素値に基づいて、前記合成画像において前記所定位置と同位置に存在する画素の画素値を決定する請求項3から請求項5のいずれかに記載の画像処理装置。 The pixel value determining means includes
A pixel value of a pixel existing at a predetermined position in the high exposure image is smaller than the first threshold value, and a pixel value of a pixel existing at the same position as the predetermined position in the low exposure image is the second value. When larger than the threshold, the absolute value of the difference between the pixel value of the pixel existing at the predetermined position in the high exposure image and the first threshold is present at the same position as the predetermined position in the low exposure image. Comparing the pixel value of the pixel with the absolute value of the difference between the second threshold value, and based on the pixel value having the larger absolute value, the pixel value of the pixel existing at the same position as the predetermined position in the composite image The image processing device according to claim 3, wherein the image processing device is determined.
前記累積度数算出手段は、変更された画素値ごとに前記累積度数を算出する請求項1から請求項7のいずれかに記載の画像処理装置。 Changing means for changing the number of bits of the pixel value of each pixel in the first image and the second image;
The image processing apparatus according to claim 1, wherein the cumulative frequency calculation unit calculates the cumulative frequency for each changed pixel value.
前記第1画像を構成する画素の画素値と前記第2画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する画像合成手段と、
を備え、
前記画像合成手段は、
前記第1画像と前記第2画像との露出の高低順位を判別する判別手段と、
前記第1画像および前記第2画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する累積度数算出手段と、
前記第1画像または前記第2画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第1画像および前記第2画像それぞれについて設定する設定手段と、
前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する画素値決定手段と、
を有する撮像装置。 Photographing means for photographing the same subject under different photographing conditions and obtaining a first image and a second image, respectively;
Image synthesizing means for generating a synthesized image having a wide dynamic range using a pixel value of a pixel constituting the first image and a pixel value of a pixel constituting the second image;
With
The image composition means includes
Discriminating means for discriminating the order of exposure of the first image and the second image;
A cumulative frequency calculating means for calculating a cumulative frequency obtained by adding together the number of pixels equal to or less than a predetermined pixel value in each of the first image and the second image;
When selecting a pixel value to be used for generating the composite image from the first image or the second image, a threshold value used as a reference for the selection is set based on the cumulative frequency, and the first image and the second image, respectively. Setting means to set about,
Pixel value determining means for determining a pixel value of each pixel constituting the composite image based on the exposure level and the threshold;
An imaging apparatus having
b)前記第1画像を構成する画素の画素値と前記第2画像を構成する画素の画素値とを用いて、ダイナミックレンジの広い合成画像を生成する工程と、
を備え、
前記b)工程は、
b−1)前記第1画像と前記第2画像との露出の高低順位を判別する工程と、
b−2)前記第1画像および前記第2画像それぞれにおいて、所定画素値以下の画素の個数を加え合わせた累積度数を算出する工程と、
b−3)前記第1画像または前記第2画像から前記合成画像の生成に用いる画素値を選択する際に、当該選択の基準として用いる閾値を、前記累積度数に基づいて前記第1画像および前記第2画像それぞれについて設定する工程と、
b−4)前記露出の高低順位および前記閾値に基づいて、前記合成画像を構成する各画素の画素値を決定する工程と、
を有する前記合成画像の生成方法。 a) obtaining a first image relating to a predetermined subject and a second image obtained by photographing the predetermined subject under photographing conditions different from the first image;
b) generating a composite image having a wide dynamic range using a pixel value of a pixel constituting the first image and a pixel value of a pixel constituting the second image;
With
The step b)
b-1) determining the level of exposure of the first image and the second image;
b-2) calculating a cumulative frequency obtained by adding together the number of pixels equal to or less than a predetermined pixel value in each of the first image and the second image;
b-3) When selecting a pixel value to be used for generating the composite image from the first image or the second image, a threshold value used as a reference for the selection is set based on the cumulative frequency and the first image and the Setting for each of the second images;
b-4) determining a pixel value of each pixel constituting the composite image based on the exposure level and the threshold;
A method for generating the composite image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009121556A JP5315125B2 (en) | 2009-05-20 | 2009-05-20 | Image processing apparatus, imaging apparatus, and composite image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009121556A JP5315125B2 (en) | 2009-05-20 | 2009-05-20 | Image processing apparatus, imaging apparatus, and composite image generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010273001A true JP2010273001A (en) | 2010-12-02 |
JP5315125B2 JP5315125B2 (en) | 2013-10-16 |
Family
ID=43420697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009121556A Expired - Fee Related JP5315125B2 (en) | 2009-05-20 | 2009-05-20 | Image processing apparatus, imaging apparatus, and composite image generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5315125B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2538661A1 (en) | 2011-06-23 | 2012-12-26 | JVC KENWOOD Corporation | Image processing apparatus and image processing method |
US8989484B2 (en) | 2011-07-28 | 2015-03-24 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion |
CN110572584A (en) * | 2019-08-26 | 2019-12-13 | Oppo广东移动通信有限公司 | Image processing method, image processing device, storage medium and electronic equipment |
JP2022501883A (en) * | 2018-09-07 | 2022-01-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Spatial multiplex exposure Automatic exposure of high dynamic range image sensor |
CN117014729A (en) * | 2023-09-27 | 2023-11-07 | 合肥辉羲智能科技有限公司 | Method and system for fusing secondary exposure image with high dynamic range image |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003324656A (en) * | 2002-05-08 | 2003-11-14 | Sony Corp | Imaging device and imaging method, recording medium, and program |
JP2004120205A (en) * | 2002-09-25 | 2004-04-15 | Sony Corp | Imaging unit, image output method for imaging unit, and computer program |
-
2009
- 2009-05-20 JP JP2009121556A patent/JP5315125B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003324656A (en) * | 2002-05-08 | 2003-11-14 | Sony Corp | Imaging device and imaging method, recording medium, and program |
JP2004120205A (en) * | 2002-09-25 | 2004-04-15 | Sony Corp | Imaging unit, image output method for imaging unit, and computer program |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2538661A1 (en) | 2011-06-23 | 2012-12-26 | JVC KENWOOD Corporation | Image processing apparatus and image processing method |
US8970719B2 (en) | 2011-06-23 | 2015-03-03 | JVC Kenwood Corporation | Image processing apparatus and image processing method |
US8989484B2 (en) | 2011-07-28 | 2015-03-24 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion |
JP2022501883A (en) * | 2018-09-07 | 2022-01-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Spatial multiplex exposure Automatic exposure of high dynamic range image sensor |
US11412154B2 (en) | 2018-09-07 | 2022-08-09 | Dolby Laboratories Licensing Corporation | Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensor metric and adjustment |
JP7150147B2 (en) | 2018-09-07 | 2022-10-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Spatial Multiplexing Exposure Automatic Exposure of High Dynamic Range Image Sensors |
CN110572584A (en) * | 2019-08-26 | 2019-12-13 | Oppo广东移动通信有限公司 | Image processing method, image processing device, storage medium and electronic equipment |
CN110572584B (en) * | 2019-08-26 | 2021-05-07 | Oppo广东移动通信有限公司 | Image processing method, image processing device, storage medium and electronic equipment |
CN117014729A (en) * | 2023-09-27 | 2023-11-07 | 合肥辉羲智能科技有限公司 | Method and system for fusing secondary exposure image with high dynamic range image |
CN117014729B (en) * | 2023-09-27 | 2023-12-05 | 合肥辉羲智能科技有限公司 | Method and system for fusing secondary exposure image with high dynamic range image |
Also Published As
Publication number | Publication date |
---|---|
JP5315125B2 (en) | 2013-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5713752B2 (en) | Image processing apparatus and control method thereof | |
US8488019B2 (en) | Image-capturing device, image-capturing method and storage medium storing image-capturing program for generating a wide dynamic range image | |
JP4218723B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
KR101388130B1 (en) | Image processing apparatus and image processing method | |
US9058640B2 (en) | Image processing apparatus, image processing method and recording medium | |
US9426437B2 (en) | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing | |
KR101352440B1 (en) | Image processing apparatus, image processing method, and recording medium | |
US8970719B2 (en) | Image processing apparatus and image processing method | |
US8237854B2 (en) | Flash emission method and flash emission apparatus | |
JP2006081037A (en) | Image pickup device | |
JP5220657B2 (en) | Imaging apparatus and image processing program | |
JP2010147786A (en) | Imaging device and image processing method | |
JP2013138301A5 (en) | ||
JP6375806B2 (en) | Image processing apparatus, method, and imaging apparatus | |
JP5315125B2 (en) | Image processing apparatus, imaging apparatus, and composite image generation method | |
US20230196530A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
JP5814610B2 (en) | Image processing apparatus, control method therefor, and program | |
JP5609788B2 (en) | Image processing apparatus and image processing method | |
JP2008017198A (en) | Device and method for calculating light source color, and photographing device | |
JP2006333113A (en) | Imaging device | |
EP2515543B1 (en) | Image capturing apparatus and image capturing method | |
JP5743456B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2008219230A (en) | Imaging apparatus, and image processing method | |
JP4475118B2 (en) | Camera device, white balance bracketing shooting method | |
JP2011244053A (en) | Image processing apparatus, imaging apparatus, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5315125 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |