JP7282536B2 - Image processing device, image processing method and program - Google Patents

Image processing device, image processing method and program Download PDF

Info

Publication number
JP7282536B2
JP7282536B2 JP2019017918A JP2019017918A JP7282536B2 JP 7282536 B2 JP7282536 B2 JP 7282536B2 JP 2019017918 A JP2019017918 A JP 2019017918A JP 2019017918 A JP2019017918 A JP 2019017918A JP 7282536 B2 JP7282536 B2 JP 7282536B2
Authority
JP
Japan
Prior art keywords
signal
input image
range
dynamic range
gradation conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019017918A
Other languages
Japanese (ja)
Other versions
JP2020127110A (en
Inventor
香 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019017918A priority Critical patent/JP7282536B2/en
Publication of JP2020127110A publication Critical patent/JP2020127110A/en
Application granted granted Critical
Publication of JP7282536B2 publication Critical patent/JP7282536B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。 The present invention relates to an image processing device, an image processing method, a program, and a recording medium.

近年、提案されているＨＤＲの映像システムでは、非特許文献１に開示された階調圧縮をカメラ内で行いモニタに伝送することで、ＳＤＲでは圧縮されていた反射率１００％以上の階調を被写体の見た目に近いコントラストで再現することをできる。ここで、ＨＤＲの映像信号規格で採用されている、非特許文献１の階調圧縮特性（Inverse-EOTF Nonlinear Encoding Equation）は、ＳＤＲやＳＤＲと互換のあるＨＬＧ方式と比較して暗部の変換特性の非線形性が大きい。したがって、ハードウェアの実装に適した低次の関数での近似が困難である。 In the HDR video system proposed in recent years, the gradation compression disclosed in Non-Patent Document 1 is performed in the camera and transmitted to the monitor, so that the gradation with a reflectance of 100% or more, which was compressed in SDR, can be reduced. It is possible to reproduce the contrast close to the appearance of the subject. Here, the gradation compression characteristic (Inverse-EOTF Nonlinear Encoding Equation) of Non-Patent Document 1, which is adopted in the HDR video signal standard, is a dark area conversion characteristic compared to SDR and the HLG method compatible with SDR. is highly nonlinear. Therefore, approximation with a low-order function suitable for hardware implementation is difficult.

特許文献１には、予め保持している複数の基本ガンマ特性を画像の被写体の明暗差に応じて補間することにより、明暗差に応じたガンマ特性を生成し、生成したガンマ特性を画像の輝度レベルに適用する画像処理装置が開示されている。 In Patent Document 1, by interpolating a plurality of pre-stored basic gamma characteristics according to the brightness difference of the subject of the image, a gamma characteristic corresponding to the brightness difference is generated, and the generated gamma characteristic is used as the luminance of the image. An image processing apparatus for applying levels is disclosed.

特開２０１４－１２１０１９号公報JP 2014-121019 A

ST 2084:2014 - SMPTE Standard - High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays（p.7 Eauation5.2）ST 2084:2014 - SMPTE Standard - High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays (p.7 Eauation5.2)

しかしながら、特許文献１に開示された画像処理装置では、複数のガンマ特性の線形補間で目標のガンマ特性を生成するために、実現したい階調変換に高次の近似が必要となる場合には、変換誤差を低減することが難しいという問題がある。
本発明は、上述したような問題点に鑑みてなされたものであり、入力画像の信号レベルを階調変換するときの変換誤差を低減することを目的とする。 However, in the image processing apparatus disclosed in Patent Document 1, in order to generate a target gamma characteristic by linear interpolation of a plurality of gamma characteristics, if a high-order approximation is required for tone conversion to be realized, There is a problem that it is difficult to reduce the conversion error.
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and it is an object of the present invention to reduce conversion errors when performing gradation conversion on the signal level of an input image.

本発明の画像処理装置は、入力画像のダイナミックレンジを複数の信号レンジに分割する分割手段と、前記分割手段により分割された信号レンジごとに、前記入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定手段と、前記入力画像の信号レベルを信号レンジごとに調整する調整手段と、前記調整手段により調整された前記入力画像の信号レベルを信号レンジごとに、前記決定手段により決定された階調変換特性を用いて階調変換する変換手段と、を有する画像処理装置であって、前記決定手段は、所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定することを特徴とする。 An image processing apparatus according to the present invention comprises dividing means for dividing a dynamic range of an input image into a plurality of signal ranges, and gradation conversion of the signal level of the input image for each signal range divided by the dividing means. determining means for determining tone conversion characteristics; adjusting means for adjusting the signal level of the input image for each signal range; and determining means for adjusting the signal level of the input image adjusted by the adjusting means for each signal range. and converting means for performing gradation conversion using the gradation conversion characteristics determined by the determination means, wherein the determination means determines that the gradation conversion of signal levels included in a predetermined signal range is applied to the input image. The gradation conversion characteristic is determined for each signal range so as to be constant regardless of the dynamic range of the signal.

本発明によれば、入力画像の信号レベルを階調変換するときの変換誤差を低減することができる。 According to the present invention, it is possible to reduce conversion errors when converting the signal level of an input image into gradation.

画像処理装置の構成の一例を示す図である。It is a figure which shows an example of a structure of an image processing apparatus. 階調変換処理部の構成の一例を示す図である。It is a figure which shows an example of a structure of a gradation conversion process part. 階調変換処理部による動作の一例を示すフローチャートである。6 is a flow chart showing an example of an operation by a gradation conversion processing unit; 階調変換処理部に適用されるガンマ設定の一例を示すグラフである。7 is a graph showing an example of gamma settings applied to the gradation conversion processing section;

以下、図面を参照して本発明の好適な実施形態について説明する。
本実施形態では、画像処理装置の例としてカメラを適用する場合について説明する。
図１は、画像処理装置１００の構成の一例を示す図である。
画像処理装置１００は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、色調整処理部１０４、階調変換処理部１０５、輝度・色差符号化処理部１０６、記録用処理部１０７、表示部１０８、ユーザ指示部１０９、システム制御部１１０を有する。 Preferred embodiments of the present invention will be described below with reference to the drawings.
In this embodiment, a case where a camera is applied as an example of an image processing device will be described.
FIG. 1 is a diagram showing an example of the configuration of an image processing apparatus 100. As shown in FIG.
The image processing apparatus 100 includes an optical system 101, an image sensor 102, an A/D conversion unit 103, a color adjustment processing unit 104, a gradation conversion processing unit 105, a luminance/color difference encoding processing unit 106, a recording processing unit 107, a display It has a unit 108 , a user instruction unit 109 and a system control unit 110 .

光学系１０１は、フォーカスレンズ、絞り、シャッターが含まれる。
撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号に変換するＣＭＯＳ等の素子である。光学系１０１のフォーカス、絞り、シャッター、および、撮像素子１０２の撮影感度等は、撮影時のダイナミックレンジに基づいてシステム制御部１１０によって制御される。
Ａ／Ｄ変換部１０３は、撮像素子１０２からの電気信号をデジタル信号に変換してＲＡＷ画像を生成する。 The optical system 101 includes a focus lens, diaphragm, and shutter.
The imaging device 102 is a device such as a CMOS that converts the amount of light of an object imaged by the optical system 101 into an electrical signal by photoelectric conversion. The focus, aperture, and shutter of the optical system 101, and the imaging sensitivity of the imaging device 102 are controlled by the system control unit 110 based on the dynamic range during imaging.
The A/D conversion unit 103 converts the electrical signal from the image sensor 102 into a digital signal to generate a RAW image.

色調整処理部１０４は、生成されたＲＡＷ画像のＲＧＢ値に対して、ホワイトバランス調整のためのゲイン処理、色再現特性を調整するためのマトリクス処理を行う。
階調変換処理部１０５は、色調整処理されたＲＧＢ信号に対して、モニタ表示の絶対輝度を階調変換後の信号レベルに対応付けた特性で階調変換を行う。
輝度・色差符号化処理部１０６は、階調変換されたＲＧＢ信号を輝度・色差信号に変換するマトリクス処理を行う。
記録用処理部１０７は、変換された輝度・色差信号を所定のファイルフォーマットで記録するための符号化圧縮処理を行う。 The color adjustment processing unit 104 performs gain processing for white balance adjustment and matrix processing for adjusting color reproduction characteristics on the RGB values of the generated RAW image.
The gradation conversion processing unit 105 performs gradation conversion on the RGB signals that have undergone color adjustment processing using characteristics in which the absolute luminance of the monitor display is associated with the signal level after gradation conversion.
A luminance/color-difference encoding processing unit 106 performs matrix processing for converting the tone-converted RGB signals into luminance/color-difference signals.
A recording processing unit 107 performs encoding/compression processing for recording the converted luminance/color difference signals in a predetermined file format.

表示部１０８は、例えば、カメラ背面に設置された液晶モニタ等である。表示部１０８は、輝度・色差符号化処理部１０６で変換された輝度・色差信号を表示する。
ユーザ指示部１０９は、カメラ本体に配置された操作ダイヤル、カメラ背面に配置されたタッチパネル方式の液晶モニタ等である。ユーザは撮影シーンに応じた撮影時の露出設定を行うときにユーザ指示部１０９を介して設定値を入力する。
システム制御部１１０は、画像処理装置１００全体の動作を制御する。 The display unit 108 is, for example, a liquid crystal monitor or the like installed on the back of the camera. A display unit 108 displays the luminance/color difference signals converted by the luminance/color difference encoding processing unit 106 .
A user instruction unit 109 is an operation dial arranged on the camera body, a touch panel type liquid crystal monitor arranged on the rear surface of the camera, or the like. The user inputs a setting value via the user instruction unit 109 when setting the exposure for shooting according to the shooting scene.
A system control unit 110 controls the operation of the entire image processing apparatus 100 .

次に、階調変換処理部１０５について詳細に説明する。
階調変換処理部１０５には、任意のダイナミックレンジの入力画像が入力される。本実施形態では、入力画像のダイナミックレンジを、撮像時に飽和する被写体の反射率で表記する。例えば、ダイナミックレンジが４００％とは、反射率４００％の被写体を撮影したときに、撮像素子１０２の出力が飽和するように露出制御されていることを示す。 Next, the gradation conversion processing unit 105 will be described in detail.
An input image with an arbitrary dynamic range is input to the gradation conversion processing unit 105 . In the present embodiment, the dynamic range of the input image is represented by the reflectance of the object saturated when the image is captured. For example, a dynamic range of 400% indicates that exposure control is performed so that the output of the image sensor 102 is saturated when an object with a reflectance of 400% is photographed.

入力画像のダイナミックレンジは、システム制御部１１０が撮影時にユーザ指示部１０９から入力された露出設定に基づいて決定したり、シャッタレリーズ前に取り込まれた画像の輝度分布を解析して決定したりする。
本実施形態の階調変換処理部１０５は、何れのダイナミックレンジの入力画像であっても、後述する閾値ＴＨに基づいて信号レンジを分割し、暗部側に相当する所定の信号レンジで最も近似精度の高い階調変換が行われるように階調変換処理を制御する。 The dynamic range of the input image is determined by the system control unit 110 based on the exposure setting input from the user instruction unit 109 at the time of shooting, or by analyzing the luminance distribution of the image captured before shutter release. .
The gradation conversion processing unit 105 of the present embodiment divides the signal range based on a threshold value TH, which will be described later, regardless of the dynamic range of the input image, and obtains the highest approximation accuracy in a predetermined signal range corresponding to the dark side. To control gradation conversion processing so that gradation conversion with a high value is performed.

図２は、階調変換処理部１０５の構成の一例を示す図である。
階調変換処理部１０５は、画像入力端子２００、信号レンジ分割部２０１、信号レベル調整部２０２、ガンマ変換部２０３、ガンマ設定ＤＢ２０４、画像出力端子２０５を有する。 FIG. 2 is a diagram showing an example of the configuration of the gradation conversion processing unit 105. As shown in FIG.
The gradation conversion processing section 105 has an image input terminal 200 , a signal range division section 201 , a signal level adjustment section 202 , a gamma conversion section 203 , a gamma setting DB 204 and an image output terminal 205 .

画像入力端子２００には、色調整処理部１０４から任意のダイナミックレンジの画像が入力される。
信号レンジ分割部２０１は、入力画像の信号レベルを画素ごとに閾値以下であるか否かを判定して、判定結果を信号レベル調整部２０２およびガンマ変換部２０３に出力する。信号レンジ分割部２０１は、判定基準となる閾値を、入力画像のダイナミックレンジと、ガンマ設定ＤＢ２０４で保持されているガンマ設定とに基づいて取得する。 An image of an arbitrary dynamic range is input from the color adjustment processing unit 104 to the image input terminal 200 .
The signal range division unit 201 determines whether the signal level of the input image is equal to or less than the threshold for each pixel, and outputs the determination result to the signal level adjustment unit 202 and the gamma conversion unit 203 . The signal range dividing unit 201 acquires a threshold that serves as a criterion based on the dynamic range of the input image and the gamma setting held in the gamma setting DB 204 .

信号レベル調整部２０２は、信号レンジ分割部２０１の判定結果に基づいて、入力画像の画素ごとに信号レベルの振幅を調整する。
ガンマ変換部２０３は、信号レンジ分割部２０１の判定結果に基づいて、ガンマ設定ＤＢ２０４から、着目画素の信号レンジに対応したガンマ設定を決定して、信号レベル調整部２０２により調整された信号レベルに対して階調変換、すなわちガンマ変換を行う。 The signal level adjustment unit 202 adjusts the signal level amplitude for each pixel of the input image based on the determination result of the signal range division unit 201 .
The gamma conversion unit 203 determines the gamma setting corresponding to the signal range of the pixel of interest from the gamma setting DB 204 based on the determination result of the signal range division unit 201, and converts the signal level to the signal level adjusted by the signal level adjustment unit 202. Tone conversion, that is, gamma conversion is performed.

ガンマ設定ＤＢ２０４は、複数のガンマ設定を保持する。各ガンマ設定は、異なる種類であり、異なるダイナミックレンジにそれぞれ対応している。ガンマ設定は、階調変換特性の一例である。
画像出力端子２０５には、ガンマ変換部２０３により階調変換された信号レベルが入力される。画像出力端子２０５は、階調変換された信号レベルを輝度・色差符号化処理部１０６に出力する。 The gamma setting DB 204 holds multiple gamma settings. Each gamma setting is of a different type and corresponds to a different dynamic range. A gamma setting is an example of a gradation conversion characteristic.
The image output terminal 205 receives the signal level that has undergone gradation conversion by the gamma conversion section 203 . The image output terminal 205 outputs the tone-converted signal level to the luminance/color difference encoding processing unit 106 .

次に、階調変換処理部１０５による階調変換処理について図３のフローチャートを参照して説明する。図３のフローチャートは、画像処理装置１００が起動されることで開始される。
Ｓ３００では、信号レンジ分割部２０１は、色調整処理部１０４から出力されて画像入力端子２００に入力された入力画像を取得する。
Ｓ３０１では、信号レンジ分割部２０１は、システム制御部１１０から入力画像のダイナミックレンジの情報を取得する。 Next, gradation conversion processing by the gradation conversion processing unit 105 will be described with reference to the flowchart of FIG. The flowchart in FIG. 3 is started when the image processing apparatus 100 is activated.
In S<b>300 , the signal range division unit 201 acquires the input image that is output from the color adjustment processing unit 104 and input to the image input terminal 200 .
In S<b>301 , the signal range division unit 201 acquires information on the dynamic range of the input image from the system control unit 110 .

Ｓ３０２では、信号レンジ分割部２０１は、取得したダイナミックレンジと、ガンマ設定ＤＢ２０４で保持されているガンマ設定とに基づいて、入力画像の信号レベルを判定するための第１の基準反射率および第２の基準反射率を決定する。
具体的に、信号レンジ分割部２０１は、ガンマ設定ＤＢ２０４で保持されている複数のガンマ設定のうち、入力画像のダイナミックレンジよりも小さい反射率で飽和するガンマ設定を選択して、そのガンマ設定の飽和レベルを第１の基準反射率とする。なお、このときに選択されるガンマ設定は、後述するＳ３０５において閾値ＴＨ以下の信号レベルを階調変換するときに適用される。
また、信号レンジ分割部２０１は、ガンマ設定ＤＢ２０４で保持されている複数のガンマ設定のうち、入力画像のダイナミックレンジ以上の反射率で飽和するガンマ設定を選択して、そのガンマ設定の飽和レベルを第２の基準反射率とする。なお、このときに選択されるガンマ設定は、後述するＳ３０７において閾値ＴＨよりも大きい信号レベルを階調変換するときに適用される。 In S302, the signal range dividing unit 201 calculates the first reference reflectance and the second reference reflectance for determining the signal level of the input image based on the acquired dynamic range and the gamma setting held in the gamma setting DB 204. Determine the reference reflectance of
Specifically, the signal range dividing unit 201 selects a gamma setting that saturates with a reflectance lower than the dynamic range of the input image from among the plurality of gamma settings held in the gamma setting DB 204, and selects the gamma setting. Let the saturation level be the first reference reflectance. Note that the gamma setting selected at this time is applied when performing gradation conversion on a signal level equal to or lower than the threshold TH in S305, which will be described later.
Further, the signal range dividing unit 201 selects a gamma setting that saturates with a reflectance higher than the dynamic range of the input image from among the plurality of gamma settings held in the gamma setting DB 204, and sets the saturation level of the gamma setting to A second reference reflectance is used. Note that the gamma setting selected at this time is applied when tone conversion is performed on a signal level greater than the threshold TH in S307, which will be described later.

例えば、入力画像のダイナミックレンジがＸ％であり、ガンマ設定ＤＢ２０４に反射率Ｌ％および反射率Ｈ％で飽和するガンマ設定が保持されている場合には、第１の基準反射率がＬ、第２の基準反射率がＨとなる。ここで、Ｘ、Ｌ、Ｈの大小関係は、Ｌ＜Ｘ≦Ｈである。なお、反射率Ｌ％で飽和するガンマ設定における基準となるダイナミックレンジはＬ％であり、反射率Ｈ％で飽和するガンマ設定における基準となるダイナミックレンジはＨ％である。 For example, if the dynamic range of the input image is X% and the gamma setting DB 204 holds a gamma setting saturated with reflectance L% and reflectance H%, then the first reference reflectance is L and the first reference reflectance is L%. The reference reflectance of 2 becomes H. Here, the magnitude relationship among X, L, and H is L<X≦H. Note that the reference dynamic range for the gamma setting saturated at the reflectance L% is L%, and the reference dynamic range for the gamma setting saturated at the reflectance H% is H%.

Ｓ３０３では、信号レンジ分割部２０１は、入力画像のダイナミックレンジを複数の信号レンジに分割して、入力画像の各信号レベルが何れの信号レンジであるかを判定するための閾値ＴＨを式（１）で算出する。この処理は、分割手段による処理の一例に対応する。信号レンジ分割部２０１は、入力画像の画素ごとに信号レベルが閾値ＴＨ以下であるか否かを判定する。
ＴＨ＝２n×（第１の基準反射率）／（入力画像のダイナミックレンジ）・・式（１）
ここで、ｎは、階調変換処理部１０５に入力された入力信号のｂｉｔ精度である。 In S303, the signal range dividing unit 201 divides the dynamic range of the input image into a plurality of signal ranges, and calculates a threshold value TH for determining which signal range each signal level of the input image belongs to by formula (1 ). This processing corresponds to an example of processing by the dividing means. The signal range dividing unit 201 determines whether the signal level is equal to or less than the threshold TH for each pixel of the input image.
TH=2 n ×(first reference reflectance)/(dynamic range of input image) (1)
Here, n is the bit precision of the input signal input to the gradation conversion processing unit 105 .

例えば、入力信号のｂｉｔ精度が１４ｂｉｔであり、入力画像のダイナミックレンジがＸ％、第１の基準反射率がＬ％とすると、閾値ＴＨは式（２）のようになる。
ＴＨ＝１６３８３×Ｌ／Ｘ・・式（２）
入力画像の信号レベルが閾値ＴＨ以下である場合にはＳ３０４に進み、閾値ＴＨより大きい場合にはＳ３０６に進む。信号レンジ分割部２０１は入力画像の画素ごとに判定することで、入力画像の信号レベルが低い信号レンジまたは高い信号レンジに分けられる。 For example, assuming that the bit precision of the input signal is 14 bits, the dynamic range of the input image is X%, and the first reference reflectance is L%, the threshold TH is given by Equation (2).
TH=16383×L/X Expression (2)
If the signal level of the input image is equal to or less than the threshold TH, the process proceeds to S304, and if greater than the threshold TH, the process proceeds to S306. The signal range dividing unit 201 divides the input image into a signal range with a low signal level or a signal range with a high signal level by making a determination for each pixel of the input image.

Ｓ３０４では、信号レベル調整部２０２は、信号レベルが閾値ＴＨ以下の場合に、入力画像のダイナミックレンジと第１の基準反射率との比に基づいて信号レベルを調整する。この処理は、調整手段の一例に対応する。
具体的には、入力画像のダイナミックレンジがＸ％で、第１の基準反射率がＬ％の場合には、式（３）のゲインＬ＿ｇａｉｎを用いて、信号レベルを増幅するように調整する。
Ｌ＿ｇａｉｎ＝（入力画像のダイナミックレンジ）／（第１の基準反射率）
＝Ｘ／Ｌ ・・・式（３）
信号レベル調整部２０２は、調整した信号レベルをガンマ変換部２０３に出力する。 In S304, the signal level adjustment unit 202 adjusts the signal level based on the ratio between the dynamic range of the input image and the first reference reflectance when the signal level is equal to or lower than the threshold TH. This process corresponds to an example of adjustment means.
Specifically, when the dynamic range of the input image is X% and the first reference reflectance is L%, the gain L_gain of equation (3) is used to adjust the signal level to be amplified.
L_gain=(dynamic range of input image)/(first reference reflectance)
=X/L Expression (3)
The signal level adjustment section 202 outputs the adjusted signal level to the gamma conversion section 203 .

Ｓ３０５では、ガンマ変換部２０３は、信号レベルが閾値ＴＨ以下の場合に、ガンマ設定ＤＢ２０４で保持されているガンマ設定のうち第１の基準反射率に対応する第１のガンマ設定を階調変換するためのガンマ設定に決定する。この処理は、決定手段の一例に対応する。具体的には、第１の基準反射率がＬ％である場合にはダイナミックレンジＬ％のガンマ設定が階調変換するためのガンマ設定に決定される。続いて、ガンマ変換部２０３は、決定したガンマ設定を適用して、調整された信号レベルを階調変換する。この処理は、変換手段の一例に対応する。 In S305, the gamma conversion unit 203 tone-converts the first gamma setting corresponding to the first reference reflectance among the gamma settings held in the gamma setting DB 204 when the signal level is equal to or lower than the threshold TH. determine the gamma setting for This processing corresponds to an example of a determining means. Specifically, when the first reference reflectance is L %, the gamma setting for the dynamic range L % is determined as the gamma setting for tone conversion. Subsequently, the gamma conversion unit 203 applies the determined gamma setting to tone-convert the adjusted signal level. This process corresponds to an example of conversion means.

Ｓ３０６では、信号レベル調整部２０２は、信号レベルが閾値ＴＨよりも大きい場合に、入力画像のダイナミックレンジと第２の基準反射率との比に基づいて信号レベルを調整する。この処理は、調整手段の一例に対応する。
具体的には、入力画像のダイナミックレンジがＸ％で、第２の基準反射率がＨ％の場合には、式（４）のゲインＨ＿ｇａｉｎを用いて、信号レベルを減衰するように調整する。
Ｈ＿ｇａｉｎ＝（入力画像のダイナミックレンジ）／（第２の基準反射率）
＝Ｘ／Ｈ ・・・式（４）
信号レベル調整部２０２は、調整した信号レベルをガンマ変換部２０３に出力する。 In S306, the signal level adjuster 202 adjusts the signal level based on the ratio between the dynamic range of the input image and the second reference reflectance when the signal level is greater than the threshold TH. This process corresponds to an example of adjustment means.
Specifically, when the dynamic range of the input image is X% and the second reference reflectance is H%, the signal level is adjusted to attenuate using the gain H_gain of equation (4).
H_gain=(dynamic range of input image)/(second reference reflectance)
=X/H Expression (4)
The signal level adjustment section 202 outputs the adjusted signal level to the gamma conversion section 203 .

Ｓ３０７では、ガンマ変換部２０３は、信号レベルが閾値ＴＨよりも大きい場合に、ガンマ設定ＤＢ２０４で保持されているガンマ設定のうち第２の基準反射率に対応する第２のガンマ設定を階調変換するためのガンマ設定に決定する。この処理は、決定手段の一例に対応する。具体的には、第２の基準反射率がＨ％である場合にはダイナミックレンジＨ％のガンマ設定が階調変換するためのガンマ設定に決定される。続いて、ガンマ変換部２０３は、決定したガンマ設定を適用して、調整された信号レベルを階調変換する。この処理は、変換手段の一例に対応する。
ガンマ変換部２０３は、Ｓ３０５あるいはＳ３０７の処理を全ての画素について行い、階調変換した信号レベルを画像出力端子２０５に出力する。
以上の処理により、階調変換処理部１０５の動作が終了する。 In S307, if the signal level is greater than the threshold TH, the gamma conversion unit 203 tone-converts the second gamma setting corresponding to the second reference reflectance among the gamma settings held in the gamma setting DB 204. to determine the gamma setting for This processing corresponds to an example of a determining means. Specifically, when the second reference reflectance is H %, the gamma setting for dynamic range H % is determined as the gamma setting for tone conversion. Subsequently, the gamma conversion unit 203 applies the determined gamma setting to tone-convert the adjusted signal level. This processing corresponds to an example of conversion means.
The gamma conversion unit 203 performs the processing of S305 or S307 for all pixels, and outputs the signal level after gradation conversion to the image output terminal 205. FIG.
With the above processing, the operation of the gradation conversion processing unit 105 ends.

次に、階調変換処理で適用されるガンマ設定の一例について図４を参照して説明する。
図４では、入力画像のダイナミックレンジがＸ％である場合に、ガンマ設定ＤＢ２０４で保持されている、ダイナミックレンジＬ％とＨ％に対応するガンマ設定を適用して、ダイナミックレンジＸ％の入力画像の階調変換を行うものとする。なお、Ｘ、Ｌ、Ｈの大小関係は、Ｌ＜Ｘ≦Ｈである。 Next, an example of gamma setting applied in tone conversion processing will be described with reference to FIG.
In FIG. 4, when the dynamic range of the input image is X%, the gamma settings corresponding to the dynamic ranges L% and H% held in the gamma setting DB 204 are applied to obtain the input image with the dynamic range of X%. gradation conversion is performed. It should be noted that the magnitude relationship among X, L, and H is L<X≦H.

図４において、横軸は階調変換処理部１０５に入力される１４ｂｉｔで量子化された入力画像の信号レベルを示し、縦軸は階調変換後の１０ｂｉｔの信号レベルを示している。この１０ｂｉｔの信号レベルは、モニタ表示の絶対輝度と対応付けられた値となる。
入力画像は、閾値ＴＨを境に２分され、０～Ｌ％までの信号レンジ（Ｘ％＿ｒａｎｇｅ＿０＿Ｌ）については、入力画像の信号レベルを ×Ｘ／Ｌのゲインで増幅して、ダイナミックレンジＬ％に対応するガンマ設定（Ｌ％＿ｒａｎｇｅ＿０＿Ｌ）で変換する。また、入力画像のＬ％～Ｘ％の信号レンジ（Ｘ％＿ｒａｎｇｅ＿Ｌ＿Ｘ）については、入力画像の信号レベルを ×Ｘ／Ｈのゲインで減衰させて、ダイナミックレンジＨ％に対応するガンマ設定（Ｈ％＿ｒａｎｇｅ＿Ｌ＿Ｘ）で変換する。 In FIG. 4, the horizontal axis indicates the signal level of the 14-bit quantized input image input to the gradation conversion processing unit 105, and the vertical axis indicates the 10-bit signal level after the gradation conversion. This 10-bit signal level is a value associated with the absolute luminance of the monitor display.
The input image is divided into two with the threshold TH as the boundary, and for the signal range (X%_range_0_L) from 0 to L%, the signal level of the input image is amplified by a gain of ×X/L, and the dynamic range L% is converted with the gamma setting (L%_range_0_L) corresponding to . In addition, for the signal range (X%_range_L_X) of L% to X% of the input image, the signal level of the input image is attenuated by the gain of ×X/H, and the gamma setting (H% _range_L_X).

ここで、ダイナミックレンジＬ％に対応するガンマ設定のガンマカーブは、ガンマ設定ＤＢ２０４で保持されているガンマ設定の中で最も低い信号レンジ用のガンマカーブである。すなわち、反射率Ｌ％までの明るさの信号に対して、入力１４ｂｉｔ、出力１０ｂｉｔの精度で細かく階調変換することが可能であるため、目標とする階調変換との誤差を低減させることができる。 Here, the gamma curve for the gamma setting corresponding to the dynamic range L% is the lowest signal range gamma curve among the gamma settings held in the gamma setting DB 204 . That is, since it is possible to finely perform gradation conversion with an accuracy of 14 bits for input and 10 bits for output for signals with brightness up to reflectance L%, it is possible to reduce the error from target gradation conversion. can.

また、撮影時の露出設定により、入力画像のダイナミックレンジＸ％は変動する可能性がある。しかしながら、Ｌ＜Ｘ≦Ｈの関係を満たしていれば、常に、入力画像において閾値ＴＨ以下の信号レベルについては、ダイナミックレンジＬ％用のガンマ設定のガンマカーブにより精度よく階調変換を行うことができる。したがって、本実施形態では所定の信号レンジに含まれる信号レベルの階調変換が入力画像のダイナミックレンジによらず一定となるように、信号レンジごとにガンマ設定を決定する。 Also, the dynamic range X% of the input image may fluctuate depending on the exposure setting at the time of shooting. However, as long as the relationship L<X≦H is satisfied, gradation conversion can be performed with high precision using the gamma curve of the gamma setting for the dynamic range L% for signal levels below the threshold TH in the input image. can. Therefore, in this embodiment, the gamma setting is determined for each signal range so that the gradation conversion of signal levels included in a predetermined signal range is constant regardless of the dynamic range of the input image.

具体的に、画像処理装置１００がダイナミックレンジ３００％、６００％、１０００％で撮影可能であり、ダイナミックレンジ３００％、６００％、１０００％の入力画像を取得したと仮定する。ガンマ変換部２０３は、何れの入力画像を階調変換する場合でもダイナミックレンジが３００％未満（例えば２００％）を基準とするガンマ設定を、暗部側の信号レンジの信号レベルを階調変換するときのガンマ設定に決定する。ガンマ変換部２０３は、暗部側の信号レンジの信号レベルを、決定したガンマ設定を適用して階調変換する。このように階調変換することで、何れの入力画像においても暗部側の信号レンジの明るさをモニタ表示したときに同じ明るさで再現することができ、近似誤差の少ない階調変換を行うことができる。 Specifically, it is assumed that the image processing apparatus 100 can capture images with dynamic ranges of 300%, 600%, and 1000%, and acquires input images with dynamic ranges of 300%, 600%, and 1000%. The gamma conversion unit 203 sets a gamma setting based on a dynamic range of less than 300% (for example, 200%) when tone-converting any input image. gamma setting. The gamma conversion unit 203 performs gradation conversion on the signal level of the signal range on the dark side by applying the determined gamma setting. By performing gradation conversion in this manner, the brightness of the signal range on the dark side of any input image can be reproduced with the same brightness when displayed on a monitor, and gradation conversion with less approximation error can be performed. can be done.

したがって、本実施形態によれば、撮影シーンの明るさをモニタ表示の絶対輝度と対応づけて階調変換するときの変換誤差を低減し、良好な画像を記録することができる。また、本実施形態による階調変換は比較的に処理負担が掛からないために、階調変換処理部１０５をハードウェアとして画像処理装置１００に実装することができる。 Therefore, according to this embodiment, it is possible to reduce the conversion error when converting the gradation by associating the brightness of the shooting scene with the absolute luminance of the monitor display, and to record a good image. Further, since the tone conversion according to the present embodiment requires relatively little processing load, the tone conversion processing unit 105 can be implemented in the image processing apparatus 100 as hardware.

また、本実施形態では、ガンマ変換部２０３は、複数の信号レンジのうち低い信号レンジでは、入力画像のダイナミックレンジよりも低いダイナミックレンジに対応するガンマ設定を、信号レベルを階調変換するときのガンマ設定に決定する。したがって、低い信号レンジの信号レベルに対して、細かい階調変換をすることができることから目標とする階調変換との誤差を低減させることができる。 Further, in the present embodiment, the gamma conversion unit 203 sets the gamma setting corresponding to the dynamic range lower than the dynamic range of the input image to the low signal range among the plurality of signal ranges, and sets the gamma setting corresponding to the dynamic range lower than the dynamic range of the input image. Set the gamma setting. Therefore, since fine gradation conversion can be performed for signal levels in a low signal range, it is possible to reduce errors from target gradation conversion.

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムあるいは装置に供給し、システムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを記録した記録媒体は本発明を構成する。 (Other embodiments)
The present invention is also realized by executing the following processing. That is, it is a process in which a program that implements the functions of the above-described embodiments is supplied to a system or device via a network or various recording media, and a computer (CPU, MPU, etc.) of the system or device reads and executes the program. In this case, the program and the recording medium recording the program constitute the present invention.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
上述した実施形態では、ガンマ変換部２０３が階調変換するためのガンマ設定を決定する場合について説明したが、この場合に限られず、信号レンジ分割部２０１が階調変換するためのガンマ設定を決定してもよい。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist.
In the above-described embodiment, the case where the gamma conversion unit 203 determines the gamma setting for gradation conversion has been described. You may

１０１：光学系 １０２：撮像素子 １０３：Ａ／Ｄ変換部 １０４：色調整処理部 １０５：階調変換処理部 １０６：輝度・色差符号化処理部 １０７：記録用処理部 １０８：表示部 １０９：ユーザ指示部 １１０：システム制御部 ２０１：信号レンジ分割部 ２０２：信号レベル調整部 ２０３：ガンマ変換部 ２０４：ガンマ設定ＤＢ 101: Optical system 102: Imaging element 103: A/D conversion unit 104: Color adjustment processing unit 105: Gradation conversion processing unit 106: Luminance/color difference encoding processing unit 107: Recording processing unit 108: Display unit 109: User Instruction unit 110: System control unit 201: Signal range division unit 202: Signal level adjustment unit 203: Gamma conversion unit 204: Gamma setting DB

Claims (11)

入力画像のダイナミックレンジを複数の信号レンジに分割する分割手段と、
前記分割手段により分割された信号レンジごとに、前記入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定手段と、
前記入力画像の信号レベルを信号レンジごとに調整する調整手段と、
前記調整手段により調整された前記入力画像の信号レベルを信号レンジごとに、前記決定手段により決定された階調変換特性を用いて階調変換する変換手段と、を有する画像処理装置であって、
前記決定手段は、
所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定することを特徴とする画像処理装置。 a dividing means for dividing the dynamic range of the input image into a plurality of signal ranges;
determining means for determining gradation conversion characteristics when performing gradation conversion of the signal level of the input image for each signal range divided by the dividing means;
adjusting means for adjusting the signal level of the input image for each signal range;
converting means for tone-converting the signal level of the input image adjusted by the adjusting means for each signal range using the tone conversion characteristics determined by the determining means, the image processing apparatus comprising:
The determining means is
An image processing apparatus, wherein tone conversion characteristics are determined for each signal range so that tone conversion of signal levels included in a predetermined signal range is constant regardless of the dynamic range of the input image. 前記決定手段は、
前記分割手段により分割された複数の信号レンジのうち低い信号レンジでは、前記入力画像のダイナミックレンジよりも低いダイナミックレンジに対応する階調変換特性を、信号レベルを階調変換するときの階調変換特性に決定することを特徴とする請求項１に記載の画像処理装置。 The determining means is
In a low signal range among the plurality of signal ranges divided by the dividing means, a gradation conversion characteristic corresponding to a dynamic range lower than the dynamic range of the input image is used for gradation conversion when performing gradation conversion of the signal level. 2. The image processing apparatus according to claim 1, wherein the determination is based on characteristics. 前記決定手段は、
前記分割手段により分割された複数の信号レンジのうち高い信号レンジでは、前記入力画像のダイナミックレンジ以上のダイナミックレンジに対応する階調変換特性を、信号レベルを階調変換するときの階調変換特性に決定することを特徴とする請求項１または２に記載の画像処理装置。 The determining means is
In the higher signal range among the plurality of signal ranges divided by the dividing means, the gradation conversion characteristic corresponding to the dynamic range equal to or greater than the dynamic range of the input image is used as the gradation conversion characteristic when performing gradation conversion of the signal level. 3. The image processing apparatus according to claim 1, wherein the image processing apparatus determines that 前記決定手段は、
複数のダイナミックレンジにそれぞれ対応する複数の階調変換特性から、前記分割手段により分割された信号レンジごとに、信号レベルを階調変換するときの階調変換特性を決定することを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。 The determining means is
wherein, from a plurality of tone conversion characteristics respectively corresponding to a plurality of dynamic ranges, a tone conversion characteristic for performing tone conversion of a signal level is determined for each signal range divided by the dividing means; 4. The image processing apparatus according to any one of items 1 to 3. 前記調整手段は、
信号レンジごとに、前記入力画像のダイナミックレンジと前記決定手段により決定された階調変換特性の基準となるダイナミックレンジとに基づいて、前記入力画像の信号レベルを調整することを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。 The adjustment means is
3. The signal level of the input image is adjusted for each signal range based on the dynamic range of the input image and the dynamic range that is a reference for tone conversion characteristics determined by the determining means. 5. The image processing apparatus according to any one of 1 to 4. 前記調整手段は、
前記分割手段により分割された複数の信号レンジのうち低い信号レンジでは、前記入力画像のダイナミックレンジと前記決定手段により決定された低い信号レンジに対応する階調変換特性の基準となるダイナミックレンジとの比を用いて前記入力画像の信号レベルを増幅するように調整し、
前記分割手段により分割された複数の信号レンジのうち高い信号レンジでは、前記入力画像のダイナミックレンジと前記決定手段により決定された高い信号レンジに対応する階調変換特性の基準となるダイナミックレンジとの比を用いて前記入力画像の信号レベルを減衰するように調整することを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。 The adjustment means is
In the low signal range among the plurality of signal ranges divided by the dividing means, the dynamic range of the input image and the dynamic range serving as a reference of the gradation conversion characteristics corresponding to the low signal range determined by the determining means. adjusting to amplify the signal level of the input image using a ratio;
In the high signal range among the plurality of signal ranges divided by the dividing means, the dynamic range of the input image and the dynamic range serving as a reference of the gradation conversion characteristic corresponding to the high signal range determined by the determining means. 6. The image processing apparatus according to any one of claims 1 to 5, wherein a ratio is used to adjust the signal level of the input image so as to attenuate. 前記分割手段は、
前記入力画像のダイナミックレンジと、前記決定手段により決定された階調変換特性の基準となるダイナミックレンジとに基づいて、前記入力画像のダイナミックレンジを複数の信号レンジに分割することを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。 The dividing means is
The dynamic range of the input image is divided into a plurality of signal ranges based on the dynamic range of the input image and the dynamic range as a reference of the gradation conversion characteristics determined by the determining means. Item 7. The image processing apparatus according to any one of Items 1 to 6. 前記入力画像のダイナミックレンジは、前記入力画像の撮影時の露出設定と前記入力画像の輝度分布の少なくとも何れかに基づいて決定されることを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。 8. The method according to any one of claims 1 to 7, wherein the dynamic range of the input image is determined based on at least one of an exposure setting when the input image was captured and a luminance distribution of the input image. The described image processing device. 入力画像のダイナミックレンジを複数の信号レンジに分割する分割ステップと、
前記分割ステップにより分割された信号レンジごとに、前記入力画像の信号レベルを階調変換するときの階調変換特性を決定する決定ステップと、
前記入力画像の信号レベルを信号レンジごとに調整する調整ステップと、
前記調整ステップにより調整された前記入力画像の信号レベルを信号レンジごとに、前記決定ステップにより決定された階調変換特性を用いて階調変換する変換ステップと、を有する画像処理方法であって、
前記決定ステップでは、
所定の信号レンジに含まれる信号レベルの階調変換が前記入力画像のダイナミックレンジによらず一定となるように、信号レンジごとに階調変換特性を決定することを特徴とする画像処理方法。 a splitting step of splitting the dynamic range of the input image into a plurality of signal ranges;
a determination step of determining a gradation conversion characteristic when performing gradation conversion of the signal level of the input image for each signal range divided by the division step;
an adjusting step of adjusting the signal level of the input image for each signal range;
a conversion step of tone-converting the signal level of the input image adjusted in the adjustment step for each signal range using the tone conversion characteristic determined in the determination step, wherein
In the determining step,
An image processing method, comprising: determining gradation conversion characteristics for each signal range so that gradation conversion of signal levels included in a predetermined signal range is constant regardless of the dynamic range of the input image. コンピュータを、請求項１ないし８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 8. コンピュータを、請求項１ないし８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。 A computer-readable recording medium recording a program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 8.
JP2019017918A 2019-02-04 2019-02-04 Image processing device, image processing method and program Active JP7282536B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019017918A JP7282536B2 (en) 2019-02-04 2019-02-04 Image processing device, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019017918A JP7282536B2 (en) 2019-02-04 2019-02-04 Image processing device, image processing method and program

Publications (2)

Publication Number Publication Date
JP2020127110A JP2020127110A (en) 2020-08-20
JP7282536B2 true JP7282536B2 (en) 2023-05-29

Family

ID=72084306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019017918A Active JP7282536B2 (en) 2019-02-04 2019-02-04 Image processing device, image processing method and program

Country Status (1)

Country Link
JP (1) JP7282536B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006081037A (en) 2004-09-10 2006-03-23 Eastman Kodak Co Image pickup device
JP2017085482A (en) 2015-10-30 2017-05-18 キヤノン株式会社 Video image processing device, video image processing method, program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006081037A (en) 2004-09-10 2006-03-23 Eastman Kodak Co Image pickup device
JP2017085482A (en) 2015-10-30 2017-05-18 キヤノン株式会社 Video image processing device, video image processing method, program

Also Published As

Publication number Publication date
JP2020127110A (en) 2020-08-20

Similar Documents

Publication Publication Date Title
KR101051604B1 (en) Image processing apparatus and method
JP6415062B2 (en) Image processing apparatus, image processing method, control program, and recording medium
JP4785799B2 (en) Image processing apparatus, image processing method, and photographing apparatus
CN102045506A (en) Image processing apparatus and image processing method
JP4433883B2 (en) White balance correction device, white balance correction method, program, and electronic camera device
JP2016058941A (en) Image processing apparatus and method, and imaging apparatus
US8970732B2 (en) Image capture apparatus and method of controlling the same
KR101981161B1 (en) Signal processing apparatus, signal processing method, and imaging apparatus
US11829885B2 (en) Image processing apparatus that performs machine learning of learning model, method of controlling image processing apparatus, and storage medium
JP7282536B2 (en) Image processing device, image processing method and program
JP6929174B2 (en) Image processing equipment and image processing methods and programs
JP6956531B2 (en) Image processing equipment and image processing methods, programs, storage media
JP2004222160A (en) Digital camera
US11641525B2 (en) Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium
JP5754929B2 (en) Image processing apparatus and image processing method
JP2015126416A (en) Image processing apparatus, control method, and program
US8854256B2 (en) Image capture apparatus and method of controlling the same
US11341622B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2013162246A (en) Image processing apparatus and control method thereof
US20230370725A1 (en) Imaging apparatus and control method for imaging apparatus
JP6083959B2 (en) Transmission apparatus, control method thereof, and control program
JP6292870B2 (en) Image processing apparatus, image processing method, and program
JP6924081B2 (en) Image processing equipment and image processing methods, programs, storage media
JP2021048522A (en) Image processing apparatus and image processing method
JP2022119630A (en) Image processing device, image processing method, imaging apparatus, and control method of them

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230517

R151 Written notification of patent or utility model registration

Ref document number: 7282536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151