JP2016092576A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2016092576A JP2016092576A JP2014224356A JP2014224356A JP2016092576A JP 2016092576 A JP2016092576 A JP 2016092576A JP 2014224356 A JP2014224356 A JP 2014224356A JP 2014224356 A JP2014224356 A JP 2014224356A JP 2016092576 A JP2016092576 A JP 2016092576A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- condition
- image data
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Facsimile Image Signal Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
従来の表示装置が表示可能な輝度のダイナミックレンジはそれほど広くなく、ヒトが認識可能な輝度のダイナミックレンジよりも狭いものであった。そのため、従来から一般的に用いられている画像フォーマットで規定されたダイナミックレンジ（画像データのダイナミックレンジ）も広くなかった。 The luminance dynamic range that can be displayed by the conventional display device is not so wide and is narrower than the luminance dynamic range that can be recognized by humans. For this reason, the dynamic range (dynamic range of image data) defined by an image format generally used has not been wide.
近年、従来よりも広いダイナミックレンジを有する画像を表示可能な表示装置が提案されている。また、従来よりも広いダイナミックレンジが規定された画像フォーマットが提案されている（特許文献１）。 In recent years, display devices capable of displaying images having a wider dynamic range than before have been proposed. In addition, an image format in which a wider dynamic range than the conventional one has been proposed (Patent Document 1).
このような、従来よりも広いダイナミックレンジは、“ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）”と呼ばれる。また、ＨＤＲを有する画像は“ＨＤＲ画像”と呼ばれ、ＨＤＲ画像を表す画像データは“ＨＤＲ画像データ”と呼ばれる。ＨＤＲ画像を表示可能な表示装置は、従来よりも暗い暗画像と従来よりも明るい明画像との両方を、画面に同時に表示することができる。そのため、ＨＤＲ画像を表示可能な表示装置を使用すれば、リアリティ、光沢感、輝き感、迫力、等が高い表示画像（画面に表示された画像）を得ることができる。例えば、物体の表示画像として、ヒトが物体を見た際に知覚する輝度に近い輝度を有する表示画像を得ることができる。同様に、ＨＤＲ画像データは、リアリティ、光沢感、輝き感、等が高い画像を表現することができる。 Such a dynamic range wider than the conventional one is called “HDR (High Dynamic Range)”. An image having HDR is called “HDR image”, and image data representing the HDR image is called “HDR image data”. A display device capable of displaying an HDR image can simultaneously display both a dark image darker than the conventional image and a bright image brighter than the conventional image on the screen. Therefore, if a display device capable of displaying an HDR image is used, a display image (an image displayed on the screen) having high reality, gloss, brightness, power, and the like can be obtained. For example, as a display image of an object, a display image having a luminance close to the luminance perceived when a human views the object can be obtained. Similarly, HDR image data can express an image with high reality, glossiness, brightness, and the like.
上述したように、ＨＤＲ画像を表示可能な表示装置を使用すれば、リアリティ、光沢感、輝き感、等が高い表示画像を得ることができる。しかしながら、ＨＤＲ画像を表示した場合、ヒトの視覚の順応の影響により、眼が疲れたり、気分が悪くなったりする視覚的障害が生じる虞がある。例えば、画像の輝度の時間的な増減が繰り返される明滅シーンは、上記視覚的障害をもたらすことがある。 As described above, if a display device capable of displaying an HDR image is used, a display image with high reality, gloss, brightness, and the like can be obtained. However, when an HDR image is displayed, there is a possibility that a visual disturbance may occur such that the eyes become tired or feel unwell due to the effect of human visual adaptation. For example, a blinking scene in which the luminance of an image is repeatedly increased and decreased over time may cause the visual impairment.
このような課題に鑑みた従来技術は、例えば、特許文献２に開示されている。特許文献２には、明滅シーンのフレームを検出し、検出したフレームの画像データのダイナミックレンジを狭める技術が開示されている。 A conventional technique in view of such a problem is disclosed in Patent Document 2, for example. Patent Document 2 discloses a technique for detecting a blinking scene frame and narrowing the dynamic range of image data of the detected frame.
また、ＨＤＲ画像を表示可能な表示装置を使用すれば、我々が日常において感じ得る、眼が眩むような「まぶしさ」を有する表示画像を得ることもできる。しかしながら、そのような「まぶしさ」は、視覚的な妨害感や不快感となる虞がある。視覚的な妨害感や不快感をもたらす「まぶしさ」は“グレア”と呼ばれる。特許文献２に開示の技術では、明滅シーンに限って画像データのダイナミックレンジが狭められる。そのため、特許文献２に開示の技術を用いたとしても、明滅シーン以外のシーンにおける視覚的な妨害感や不快感を低減することはできない。例えば、遮蔽物によって隠れていた太陽が現れるシーン、暗い夜道で自動車のヘッドライトから光が発せられるシーン、等における「まぶしさ」を低減することはできない。ユーザが太陽やヘッドライトの領域に注目することは考えにくく、ユーザは、通常、太陽やライトから発せられた光が照射された物体の領域に注目する。従って、太陽やライトの領域における「まぶしさ」に対して、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ可能性は低く、このような「まぶしさ」をユーザが妨害として認識する可能性が高い。 If a display device capable of displaying an HDR image is used, a display image having “glare” that can be felt in daily life can be obtained. However, such “glare” may cause visual disturbance or discomfort. The “glare” that causes visual disturbance and discomfort is called “glare”. In the technique disclosed in Patent Document 2, the dynamic range of image data is narrowed only in the blinking scene. For this reason, even if the technique disclosed in Patent Document 2 is used, it is not possible to reduce visual disturbance and discomfort in scenes other than the blinking scene. For example, it is not possible to reduce “glare” in a scene where the sun hidden by a shield appears, a scene where light is emitted from a car headlight on a dark night road, and the like. It is unlikely that the user will focus on the sun or the headlight area, and the user usually focuses on the area of the object irradiated with the light emitted from the sun or the light. Therefore, it is unlikely that the user has a good impression that “realism, glossiness, shine, power, etc. are high” with respect to the “glare” in the sun and light areas. Is likely to be recognized as a disturbance by the user.
シーンに依らず、画像データのダイナミックレンジを狭める補正を常に行えば、上述した視覚的障害、視覚的な妨害感、及び、視覚的な不快感を低減することができる。しかしながら、画像データのダイナミックレンジを狭める補正を常に行ってしまうと、画像製作者の意図が反映された表示画像を得ることができない虞がある。舞台上でスポットライトを浴びる演者の領域、煌めく貴金属の領域、煌めく宝石の領域、等は、ユーザが注目する可能性が高い領域である。そして、ユーザが注目する領域における「まぶしさ」をユーザが妨害として認識する可能性は低く、このような「まぶしさ」に対して、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ可能性が高い。また、ユーザが注目する可能性が高い領域は、リアリティ、光沢感、輝き感、迫力、等が高い画像の表示を画像制作者が期待（意図）している領域である可能性も高い。しかしながら、画像データのダイナミックレンジを狭める補正を常に行ってしまうと、ユーザが注目する領域においてリアリティ、光沢感、輝き感、迫力、等が低い表示画像が得られてしまう。 Regardless of the scene, if the correction that narrows the dynamic range of the image data is always performed, the above-described visual disturbance, visual disturbance, and visual discomfort can be reduced. However, if correction for narrowing the dynamic range of image data is always performed, there is a possibility that a display image reflecting the intention of the image producer cannot be obtained. The performer's area, the glittering precious metal area, the glittering jewel area, etc. that are spotlighted on the stage are areas that the user is likely to pay attention to. In addition, it is unlikely that the user will recognize “glare” in the area that the user is paying attention as an obstruction, and the user is not able to recognize “realism, glossiness, brightness, power, etc.” It is likely to have a good impression of “high”. In addition, a region that is highly likely to be noticed by the user is highly likely to be a region where the image producer expects (intentions) to display an image with high reality, gloss, shine, power, and the like. However, if correction for narrowing the dynamic range of image data is always performed, a display image with low reality, glossiness, shine, force, and the like in a region that is noticed by the user can be obtained.
本発明は、好適な輝度の画像データを得ることができる技術を提供することを目的とする。 An object of this invention is to provide the technique which can obtain the image data of suitable brightness | luminance.
本発明の第１の態様は、
１つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得手段と、
前記輝度ヒストグラムから、度数が第１閾値以上である１つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、
前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：第２閾値以下の数のカテゴリからなる
条件２：第３閾値よりも高い輝度値を含む
ことを特徴とする画像処理装置である。
The first aspect of the present invention is:
Acquisition means for acquiring, from each input image data, a luminance histogram representing, as a frequency, the total number of pixels having luminance values belonging to the category for each category that is a luminance range including one or more luminance values;
Detecting means for detecting a cluster which is a luminance range composed of one or more categories whose frequency is equal to or greater than a first threshold from the luminance histogram;
Determining means for determining whether or not the cluster detected by the detecting means satisfies a predetermined condition;
Correction means for correcting the input image data based on the determination result of the determination means;
Have
The predetermined condition includes the following
本発明の第２の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：画像の空間周波数が、第１閾値以上の空間周波数である高周波成分を含む
条件２：画像の輝度が、第２閾値よりも高い
ことを特徴とする画像処理装置である。
The second aspect of the present invention is:
For each of a plurality of blocks constituting the image area represented by the input image data, the spatial frequency information related to the spatial frequency of the image in the block and the feature quantity related to the luminance of the image in the block are acquired from the input image data. Acquisition means;
For each of the plurality of blocks, determination means for determining whether the block satisfies a predetermined condition based on the spatial frequency information and the feature amount acquired for the block;
Correction means for correcting the input image data based on the determination result of the determination means;
Have
The determination means determines that the predetermined condition is satisfied for a block satisfying the first predetermined condition including the following
本発明の第３の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得手段と、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出手段で検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：前記所定のオブジェクトの画像の領域を含む
条件２：画像の輝度が、第１閾値よりも高い
ことを特徴とする画像処理装置である。
The third aspect of the present invention is:
For each of a plurality of blocks constituting the region of the image represented by the input image data, an acquisition unit that acquires, from the input image data, a feature amount related to the luminance of the image in the block;
Detection means for detecting an image area of a predetermined object from an image area represented by the input image data;
A determination unit that determines, for each of the plurality of blocks, whether or not the block satisfies a predetermined condition based on the feature amount acquired for the block and the area detected by the detection unit; ,
Correction means for correcting the input image data based on the determination result of the determination means;
Have
The determination means determines that the predetermined condition is satisfied for a block satisfying a first predetermined condition including the following
本発明の第４の態様は、
フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得手段と、
前記取得手段で取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出手段と、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出手段で検出された明滅シーンの入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：画像の輝度が第１閾値以上の変動幅で変動する頻度が、第２閾値以上である
条件２：画像の輝度の最大値が第３閾値よりも高い
ことを特徴とする画像処理装置である。
The fourth aspect of the present invention is:
Acquisition means for acquiring, for each frame, a feature amount related to the brightness of the image represented by the input image data of the frame;
Detecting means for detecting a scene satisfying a predetermined condition as a blinking scene in which the luminance of the image is repeatedly increased and decreased based on the feature amount acquired by the acquiring means;
Correction means for correcting the input image data of the blinking scene detected by the detection means so that the representable range that is the luminance range from the lower limit value to the upper limit value of the luminance value gradually changes in time;
Have
The predetermined condition includes the following
本発明の第５の態様は、
１つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得ステップと、
前記輝度ヒストグラムから、度数が第１閾値以上である１つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出ステップと、
前記検出ステップで検出されたクラスタが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：第２閾値以下の数のカテゴリからなる
条件２：第３閾値よりも高い輝度値を含む
ことを特徴とする画像処理方法である。
According to a fifth aspect of the present invention,
Obtaining a luminance histogram from the input image data for each category that is a luminance range including one or more luminance values, representing the total number of pixels having luminance values belonging to that category as a frequency;
Detecting from the luminance histogram a cluster that is a luminance range consisting of one or more categories whose frequency is equal to or greater than a first threshold;
A determination step of determining whether or not the cluster detected in the detection step satisfies a predetermined condition;
A correction step of correcting the input image data based on the determination result of the determination step;
Have
The predetermined condition includes the
本発明の第６の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：画像の空間周波数が、第１閾値以上の空間周波数である高周波成分を含む
条件２：画像の輝度が、第２閾値よりも高い
ことを特徴とする画像処理方法である。
The sixth aspect of the present invention is:
For each of a plurality of blocks constituting the image area represented by the input image data, the spatial frequency information related to the spatial frequency of the image in the block and the feature quantity related to the luminance of the image in the block are acquired from the input image data. An acquisition step;
For each of the plurality of blocks, a determination step of determining whether or not the block satisfies a predetermined condition based on the spatial frequency information and the feature amount acquired for the block;
A correction step of correcting the input image data based on the determination result of the determination step;
Have
In the determination step, it is determined that the predetermined condition is satisfied for a block satisfying the first predetermined condition including the following
本発明の第７の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得ステップと、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出ステップで検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：前記所定のオブジェクトの画像の領域を含む
条件２：画像の輝度が、第１閾値よりも高い
ことを特徴とする画像処理方法である。
The seventh aspect of the present invention is
For each of a plurality of blocks constituting the region of the image represented by the input image data, an acquisition step of acquiring, from the input image data, a feature amount related to the luminance of the image in the block;
A detection step of detecting an image area of a predetermined object from an image area represented by the input image data;
For each of the plurality of blocks, a determination step for determining whether or not the block satisfies a predetermined condition based on the feature amount acquired for the block and the region detected in the detection step; ,
A correction step of correcting the input image data based on the determination result of the determination step;
Have
In the determination step, it is determined that the predetermined condition is satisfied for a block satisfying the first predetermined condition including the
本発明の第８の態様は、
フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得ステップと、
前記取得ステップで取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出ステップと、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出ステップで検出された明滅シーンの入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：画像の輝度が第１閾値以上の変動幅で変動する頻度が、第２閾値以上である
条件２：画像の輝度の最大値が第３閾値よりも高い
ことを特徴とする画像処理方法である。
The eighth aspect of the present invention is
For each frame, an acquisition step of acquiring a feature amount related to the brightness of the image represented by the input image data of the frame;
A detection step of detecting a scene satisfying a predetermined condition as a flickering scene in which an increase / decrease in the luminance of the image is repeated based on the feature amount acquired in the acquisition step;
A correction step of correcting the input image data of the blinking scene detected in the detection step so that an expressible range that is a luminance range from the lower limit value to the upper limit value of the luminance value gradually changes in time;
Have
The predetermined condition includes the
本発明の第９の態様は、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。 A ninth aspect of the present invention is a program that causes a computer to execute each step of the above-described image processing method.
本発明によれば、好適な輝度の画像データを得ることができる。 According to the present invention, image data with suitable luminance can be obtained.
＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及び画像処理方法について説明する。
本実施例に係る画像処理装置には、広いダイナミックレンジを有する画像を表す画像データを入力することができる。本実施例では、広いダイナミックレンジを“ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）”と記載し、ＨＤＲを有する画像を“ＨＤＲ画像”と記載し、ＨＤＲ画像を表す画像データを“ＨＤＲ画像データ”と記載する。ＨＤＲ画像は、例えば、照明光に照らされたオブジェクトの領域、発光体（太陽、照明、等）の領域、等の非常に明るい領域を有する画像である。
<Example 1>
Hereinafter, an image processing apparatus and an image processing method according to
Image data representing an image having a wide dynamic range can be input to the image processing apparatus according to the present embodiment. In this embodiment, a wide dynamic range is described as “HDR (High Dynamic Range)”, an image having HDR is described as “HDR image”, and image data representing the HDR image is described as “HDR image data”. The HDR image is an image having a very bright region such as a region of an object illuminated by illumination light, a region of a light emitter (sun, illumination, etc.), and the like.
本実施例では、ＨＤＲ画像データの輝度ヒストグラムが分析される。それにより、ＨＤＲ画像の高輝度領域が、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域であるか、「まぶしさ」をユーザが妨害として認識する領域であるか、が判断される。そして、高輝度領域の判断結果に基づいて、ＨＤＲ画像データの輝度が好適な輝度に補正される。「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域は、ユーザが注目する可能性が高い領域である。そこで、本実施例では、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域を、“注目領域”と記載する。また、「まぶしさ」をユーザが妨害として認識する領域は、ユーザが注目しない可能性が高い領域である。そこで、本実施例では、「まぶしさ」をユーザが妨害として認識する領域を、“非注目領域”と記載する。 In this embodiment, the brightness histogram of the HDR image data is analyzed. As a result, the high brightness region of the HDR image is a region where the user has a good impression that “reality, glossiness, shine, power, etc. are high” with respect to “glare”. It is determined whether the area is recognized as a disturbance by the user. Then, the brightness of the HDR image data is corrected to a suitable brightness based on the determination result of the high brightness area. A region where the user has a good impression that “the reality, glossiness, brightness, power, etc. are high” with respect to “glare” is a region where the user is likely to pay attention. Therefore, in this embodiment, an area where the user has a good impression that “realism, glossiness, shine, power, etc. are high” with respect to “glare” is described as “attention area”. In addition, a region where the user recognizes “glare” as an obstruction is a region where the user is not likely to pay attention. Therefore, in this embodiment, an area in which the user recognizes “glare” as an obstruction is described as a “non-attention area”.
図２は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
本実施例に係る画像処理装置は、入力画像データ（画像処理装置に入力された画像データ）に画像処理を施し、画像処理が施された画像データを表示部１０４に出力する。
表示部１０４は、ＨＤＲ画像を表示可能な表示部（表示装置）である。表示部１０４は、表示部１０４に入力された画像データに基づく画像を画面に表示する。
FIG. 2 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
The image processing apparatus according to the present embodiment performs image processing on input image data (image data input to the image processing apparatus), and outputs the image data subjected to the image processing to the
The
なお、表示部１０４の表示方式や構成は特に限定されない。例えば、発光部と、発光部
から発せられた光を変調することで画面に画像を表示する表示パネルと、を有する表示装置を、表示部１０４として使用することができる。具体的には、バックライト部と液晶パネルとを有する液晶表示装置を、表示部１０４として使用することができる。液晶素子の代わりにＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）シャッターを用いたＭＥＭＳシャッター方式ディスプレイ装置を、表示部１０４として使用することもできる。表示部１０４の発光部として、発光輝度を局所的に変更可能な発光部、発光輝度を局所的に変更不可能な発光部、等を使用することができる。発光輝度を局所的に変更可能な発光部を使用すれば、発光部の発光輝度を制御することによって表示画像（画面に表示された画像）のダイナミックレンジを拡大することができる。具体的には、明るい画像が表示される領域での発光輝度を高い値に制御したり、暗い画像が表示される領域での発光輝度を低い値に制御したりすることによって、表示画像のダイナミックレンジを拡大することができる。プラズマ表示装置、有機ＥＬ表示装置、等の自発光型ディスプレイ装置を、表示部１０４として使用することもできる。
また、図２には、表示部１０４が画像処理装置と別体の装置である場合の例が示されているが、表示部１０４は画像処理装置と一体の装置であってもよい。
Note that the display method and configuration of the
2 shows an example in which the
特徴量取得部１０１は、入力画像データから、入力画像データの輝度に関する特徴量を取得する。本実施例では、特徴量取得部１０１は、入力画像データから輝度ヒストグラムＰを取得する。そして、特徴量取得部１０１は、輝度ヒストグラムＰを高輝度領域判断部１０２に出力する。輝度ヒストグラムＰは、１つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数Ｆ１として表す。カテゴリが１つの輝度値を含む場合、“カテゴリ”を“輝度値”と読み替えることができる。
The feature
高輝度領域判断部１０２は、特徴量取得部１０１によって取得された特徴量に基づいて、入力画像データによって表された画像（入力画像）がどのようなシーンの画像であるのかを判断する。具体的には、高輝度領域判断部１０２は、特徴量取得部１０１によって取得された特徴量に基づいて、非注目領域である高輝度領域が入力画像に存在するか否かを判断する。そして、高輝度領域判断部１０２は、判断結果を画像補正部１０３に出力する。高輝度領域判断部１０２の処理の詳細については、後述する。
Based on the feature amount acquired by the feature
画像補正部１０３は、高輝度領域判断部１０２の判断結果に基づいて、入力画像データを補正する（画像処理）。本実施例では、“非注目領域である高輝度領域が入力画像に存在する”と判断された場合に、画像補正部１０３は、非注目領域である高輝度領域を構成する画素の輝度値が低減されるように、入力画像データを補正する。
The
高輝度領域判断部１０２は、クラスタ検出部１０５と非注目領域検出部１０６を有する。
The high luminance
クラスタ検出部１０５は、特徴量取得部１０１で取得された輝度ヒストグラムＰから、度数Ｆ１が閾値ＴＨ＿Ｆ（第１閾値）以上である１つ以上のカテゴリからなる輝度範囲であるクラスタを検出する。そして、クラスタ検出部１０５は、検出結果を非注目領域検出部１０６に出力する。例えば、検出結果として、検出されたクラスタの最小輝度値と最大輝度値を表す情報が出力される。
The
非注目領域検出部１０６は、クラスタ検出部１０５の検出結果に基づいて、クラスタ検出部１０５で検出されたクラスタが所定条件を満たすか否かを判断する。そして、非注目領域検出部１０６は、判断結果を画像補正部１０３に出力する。例えば、判断結果として、所定条件を満たすクラスタの最小輝度値と最大輝度値を表す情報が出力される。本実施例に係る所定条件は、以下の条件１と条件２を含む。なお、所定条件は、条件１，２以外の条件をさらに含んでいてもよい。
条件１：閾値ＴＨ＿Ｃ（第２閾値）以下の数のカテゴリからなる
条件２：基準値Ｗ（第３閾値）よりも高い輝度値を含む
本実施例では、所定条件（条件１，２）を満たすクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、クラスタが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Ｗよりも高いか否かに拘らず、所定条件を満たすクラスタに属す輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われてもよい。
The non-attention
Condition 1: Consists of a number of categories equal to or less than the threshold TH_C (second threshold) Condition 2: Includes a luminance value higher than the reference value W (third threshold) In this embodiment, the predetermined condition (
Regardless of whether or not the luminance value is higher than the reference value W, a region of a pixel having a luminance value belonging to a cluster that satisfies a predetermined condition may be treated as a high luminance region that is a non-attention region.
クラスタ検出部１０５の処理の具体例を説明する。
本実施例では、クラスタ検出部１０５は、閾値ＴＨ＿Ｆ以上の度数Ｆ１を１に、閾値ＴＨ＿Ｆ未満の度数Ｆ１を０に、２値化する。そして、クラスタ検出部１０５は、２値化後の度数Ｆ２が１である１つ以上のカテゴリからなる輝度範囲を、クラスタとして検出する。本実施例では、２つのカテゴリ間の距離Ｄが閾値ＴＨ＿Ｄ未満であり、且つ、当該２つのカテゴリの度数Ｆ２が１である場合、当該２つのカテゴリが同じクラスタに属すものとして扱われる。距離Ｄは、低輝度側のカテゴリの最大輝度値と、高輝度側のカテゴリの最小輝度値と、の差分値（絶対値）に対応する。
A specific example of processing of the
In this embodiment, the
非注目領域検出部１０６の処理の具体例を説明する。
本実施例では、非注目領域検出部１０６は、クラスタ検出部１０５で複数のクラスタが検出されたか否かを判断する。クラスタ検出部１０５で検出されたクラスタの総数が１つである場合には、非注目領域検出部１０６は、当該クラスタに対して重要度（注目度）“高”を割り当てる。そして、クラスタ検出部１０５で検出されたクラスタの総数が２つ以上である場合には、非注目領域検出部１０６は、各クラスタに対して、そのクラスタに含まれているカテゴリの総数に応じた重要度を割り当てる。具体的には、非注目領域検出部１０６は、閾値ＴＨ＿Ｃよりも多くのカテゴリを含むクラスタに対して、重要度“高”を割り当て、それ以外のクラスタに対して、重要度“低”を割り当てる。重要度“低”が割り当てられたクラスタは、条件１を満たすクラスタである。そして、非注目領域検出部１０６は、重要度“低”が割り当てられたクラスタが基準値Ｗよりも高い輝度値を含むか否かを判断する。重要度“低”が割り当てられ、且つ、基準値Ｗよりも高い輝度値を含むクラスタは、所定条件（条件１，２）を満たすクラスタである。
A specific example of the processing of the non-attention
In this embodiment, the non-attention
本実施例に係る画像処理装置の処理フローの一例について、図３を用いて説明する。図３は、本実施例に係る画像処理装置の処理の流れの一例を示すフローチャートである。 An example of the processing flow of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an example of a processing flow of the image processing apparatus according to the present embodiment.
まず、特徴量取得部１０１が、入力画像データから輝度ヒストグラムＰを取得する（Ｓ０１）。
次に、クラスタ検出部１０５が、Ｓ０１で取得された輝度ヒストグラムＰの度数Ｆ１を２値化することにより、２値化ヒストグラムＱを生成する（Ｓ０２）。具体的には、クラスタ検出部１０５は、閾値ＴＨ＿Ｆ以上の度数Ｆ１を１に、閾値ＴＨ＿Ｆ未満の度数Ｆ１を０に、２値化することにより、２値化ヒストグラムＱを生成する。
First, the feature
Next, the
そして、複数のカテゴリのそれぞれについて、Ｓ０３〜Ｓ１１の処理が行われる。本実施例では、クラスタ検出部１０５は、複数のカテゴリのそれぞれを、低輝度側のカテゴリから順番に、Ｓ０３〜Ｓ１１の処理の対象として選択する。本実施例では、Ｎ個（Ｎは２以上の整数）のカテゴリが設定されており、Ｎ個のカテゴリのそれぞれに対して、カテゴリに対応する輝度の増加にともなって番号が１ずつ増加するように、１以上Ｎ以下の番号が設定されている。そして、クラスタ検出部１０５は、変数ｎを１からＮまで１ずつ増加させながら、番号ｎのカテゴリを処理対象として選択する処理を繰り返し行う。
And the process of S03-S11 is performed about each of a some category. In the present embodiment, the
Ｓ０３では、クラスタ検出部１０５が、番号ｎのカテゴリの度数Ｆ２（Ｓ０２で生成された２値化ヒストグラムＱの度数）が０か否かを判断する。図３において、度数Ｆ２（ｎ）は、番号ｎのカテゴリの度数Ｆ２である。度数Ｆ２（ｎ）が０である場合には、Ｓ０４に処理が進められ、度数Ｆ２（ｎ）が１である場合には、Ｓ０７に処理が進められる。
In S03, the
Ｓ０４では、クラスタ検出部１０５が、以下の条件Ａと条件Ｂの両方が満たされているか否かを判断する。本実施例では、距離Ｄの初期値は０である。
条件Ａ：距離Ｄが０である
条件Ｂ：番号ｎが１（初期値）でない
条件Ａと条件Ｂの両方が満たされている場合には、Ｓ０５に処理が進められ、条件Ａと条件Ｂの少なくとも一方が満たされていない場合には、Ｓ０６に処理が進められる。
Ｓ０５では、クラスタ検出部１０５が、直前に始端カテゴリが決定されたクラスタの終端カテゴリの番号Ｙｅとして、番号ｎ−１を設定する。始端カテゴリはクラスタの始端（低輝度側の端）に相当するカテゴリであり、終端カテゴリはクラスタの終端（高輝度側の端）に相当するカテゴリである。また、クラスタ検出部１０５は、クラスタ総数（クラスタの総数）ＣＮに１を加算する。クラスタ総数ＣＮの初期値は０である。詳細は後述するが、始端カテゴリは、Ｓ０８の処理により決定される。
Ｓ０６では、クラスタ検出部１０５が、距離Ｄに１を加算する。その後、Ｎ個のカテゴリのそれぞれを処理対象として選択する処理が完了している場合には、Ｓ１２に処理が進められる。処理対象として選択されていないカテゴリが存在する場合には、番号ｎを１だけ増加させることによって処理対象のカテゴリが更新され、Ｓ０３に処理が戻される。
In S04, the
Condition A: Distance D is 0 Condition B: Number n is not 1 (initial value) When both Condition A and Condition B are satisfied, the process proceeds to S05, and Condition A and Condition B If at least one is not satisfied, the process proceeds to S06.
In S05, the
In S06, the
なお、複数のクラスタが存在する場合には、番号Ｙｓと番号Ｙｅの組み合わせが複数決定される。そのため、複数の番号Ｙｓと複数の番号Ｙｅを記憶可能な記憶装置を用意し、記憶装置に番号Ｙｓ，Ｙｅを記録することが好ましい。記憶装置としては、半導体メモリ、磁気ディスク、光ディスク、等を使用することができる。 If there are a plurality of clusters, a plurality of combinations of the numbers Ys and Ye are determined. For this reason, it is preferable to prepare a storage device capable of storing a plurality of numbers Ys and a plurality of numbers Ye and record the numbers Ys and Ye in the storage device. As the storage device, a semiconductor memory, a magnetic disk, an optical disk, or the like can be used.
Ｓ０７では、クラスタ検出部１０５が、以下の条件Ｃと条件Ｄの少なくとも一方が満たされているか否かを判断する。本実施例では、クラスタフラグＦｓの初期値は１である。
条件Ｃ：距離Ｄが閾値ＴＨ＿Ｄ以上である
条件Ｄ：クラスタフラグＦｓが１である
条件Ｃと条件Ｄの少なくとも一方が満たされている場合には、Ｓ０８に処理が進められ、条件Ｃと条件Ｄのいずれも満たされていない場合には、Ｓ０９に処理が進められる。
Ｓ０８では、クラスタ検出部１０５が、始端カテゴリの番号Ｙｓとして番号ｎを設定する。また、クラスタ検出部１０５は、クラスタフラグＦｓの値として０を設定する。その後、Ｓ０９に処理が進められる。
Ｓ０９では、クラスタ検出部１０５が、距離Ｄを０にリセットする。その後、Ｓ１０に処理が進められる。
In S07, the
Condition C: Distance D is greater than or equal to threshold TH_D Condition D: Cluster flag Fs is 1 When at least one of condition C and condition D is satisfied, the process proceeds to S08, where condition C and condition D If neither of these is satisfied, the process proceeds to S09.
In S08, the
In S09, the
Ｓ１０では、クラスタ検出部１０５が、番号ｎが番号Ｎと等しいか否かを判断する。番号ｎが番号Ｎと等しい場合には、Ｓ１１に処理が進められる。番号ｎが番号Ｎよりも小さい場合には、番号ｎを１だけ増加させることによって処理対象のカテゴリが更新され、Ｓ０３に処理が戻される。
Ｓ１１では、クラスタ検出部１０５が、直前に始端カテゴリが決定されたクラスタの終端カテゴリの番号Ｙｅとして、番号ｎ（＝Ｎ）を設定する。また、クラスタ検出部１０５は、クラスタ総数ＣＮに１を加算する。その後、Ｓ１２に処理が進められる。
In S10, the
In S11, the
Ｓ１２では、非注目領域検出部１０６が、複数のクラスタが検出されたか否かを判断する。具体的には、非注目領域検出部１０６は、クラスタ総数ＣＮが２以上であるか否かを判断する。複数のクラスタが検出された場合、即ちクラスタ総数ＣＮが２以上である場合
には、Ｓ１３に処理が進められる。複数のクラスタが検出されなかった場合、即ちクラスタ総数ＣＮが２未満である場合には、本フローチャートが終了される。具体的には、クラスタ総数ＣＮが２未満である場合には、画像補正部１０３による処理（入力画像データを補正する処理）が省略される。
In S12, the non-attention
複数のクラスタが検出された場合には、複数のクラスタのそれぞれについて、Ｓ１３〜Ｓ１５の処理が行われる。本実施例では、非注目領域検出部１０６は、複数のクラスタのそれぞれを、順番に、Ｓ１３〜Ｓ１５の処理の対象として選択する。
When a plurality of clusters are detected, the processes of S13 to S15 are performed for each of the plurality of clusters. In the present embodiment, the non-attention
Ｓ１３では、非注目領域検出部１０６が、処理対象のクラスタを構成するカテゴリの総数が閾値以下であるか否かを判断する。処理対象のクラスタを構成するカテゴリの総数が閾値ＴＨ＿Ｃ以下である場合には、Ｓ１４に処理が進められる。処理対象のクラスタを構成するカテゴリの総数が閾値ＴＨ＿Ｃよりも多く、且つ、各クラスタを処理対象として選択する処理が完了している場合には、本フローチャートが終了される。処理対象のクラスタを構成するカテゴリの総数が閾値ＴＨ＿Ｃよりも多く、且つ、処理対象として選択されていないクラスタが存在する場合には、処理対象のクラスタが更新され、Ｓ１３に処理が戻される。
In S <b> 13, the non-attention
Ｓ１４では、非注目領域検出部１０６が、処理対象のクラスタに基準値Ｗよりも高い輝度値が含まれているか否かを判断する。例えば、Ｓ１４では、処理対象のクラスタに対応する番号Ｙｅから、処理対象のクラスタの終端カテゴリが判断される。そして、終端カテゴリの最大輝度値が基準値Ｗよりも大きい場合に、“処理対象のクラスタに基準値Ｗよりも高い輝度値が含まれている”と判断される。終端カテゴリの最大輝度値が基準値Ｗ以下である場合には、“処理対象のクラスタに基準値Ｗよりも高い輝度値が含まれていない”と判断される。処理対象のクラスタに基準値Ｗよりも高い輝度値が含まれている場合には、Ｓ１５に処理が進められる。処理対象のクラスタに基準値Ｗよりも高い輝度値が含まれておらず、且つ、各クラスタを処理対象として選択する処理が完了している場合には、本フローチャートが終了される。処理対象のクラスタに基準値Ｗよりも高い輝度値が含まれておらず、且つ、処理対象として選択されていないクラスタが存在する場合には、処理対象のクラスタが更新され、Ｓ１３に処理が戻される。
In S14, the non-attention
Ｓ１５では、画像補正部１０３が、処理対象のクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正する。具体的には、画像補正部１０３は、処理対象のクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の輝度値からオフセット値を減算する。その後、各クラスタを処理対象として選択する処理が完了している場合には、本フローチャートが終了される。処理対象として選択されていないクラスタが存在する場合には、処理対象のクラスタが更新され、Ｓ１３に処理が戻される。輝度値からオフセット値を減算する画像処理を行うことにより、処理対象のクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域における階調性を低減せずに、当該領域の輝度を低減することができる。
In S15, the
上記フローチャートを実行することにより、複数のクラスタが検出された場合に、“複数のクラスタに対応する複数のオブジェクト領域（オブジェクトの領域）が入力画像に存在する”と判断される。複数のクラスタが検出された場合には、複数のクラスタのそれぞれについて、そのクラスタが所定条件を満たすか否かが判断される。そして、所定条件を満たすクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、当該領域を構成する画素の輝度値からオフセット値を減算する画像処理が行われる。検出されたクラスタの総数が１つである場合には、そのクラスタが所定条件を満たしていたとしても、当該クラスタに属す輝度値を有する画素の領域が非注目領域である可能性は低い。そのため、そのような場合には、クラスタが
所定条件を満たすか否かを判断する処理（Ｓ１３とＳ１４）、及び、入力画像データを補正する処理（Ｓ１５）は省略される。
By executing the flowchart, when a plurality of clusters are detected, it is determined that “a plurality of object regions (object regions) corresponding to the plurality of clusters exist in the input image”. When a plurality of clusters are detected, it is determined for each of the plurality of clusters whether the cluster satisfies a predetermined condition. Then, a region of a pixel having a luminance value higher than the reference value W among luminance values belonging to a cluster satisfying the predetermined condition is treated as a high luminance region that is a non-attention region, and the luminance value of the pixels constituting the region is determined. Image processing for subtracting the offset value is performed. When the total number of detected clusters is one, even if the cluster satisfies a predetermined condition, it is unlikely that a pixel region having a luminance value belonging to the cluster is a non-attention region. Therefore, in such a case, the process of determining whether or not the cluster satisfies a predetermined condition (S13 and S14) and the process of correcting the input image data (S15) are omitted.
本実施例に係る画像処理装置の処理の具体例について、図４（Ａ）〜４（Ｆ）を用いて説明する。 A specific example of the processing of the image processing apparatus according to the present embodiment will be described with reference to FIGS.
図４（Ａ）〜４（Ｃ）には、注目領域である高輝度領域を有し、且つ、非注目領域である高輝度領域を有さない画像データが画像処理装置に入力された場合の例が示されている。具体的には、図４（Ａ）〜４（Ｃ）には、図１（Ａ）に示されている画像を表す画像データが画像処理装置に入力された場合の例が示されている。図１（Ａ）に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。舞台上でスポットライトを浴びる演者の領域は、ユーザが注目する可能性が高い領域であり、且つ、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ可能性が高い領域である。 FIGS. 4A to 4C illustrate a case where image data having a high luminance area that is an attention area and not having a high luminance area that is a non-attention area is input to the image processing apparatus. An example is shown. Specifically, FIGS. 4A to 4C show examples when image data representing the image shown in FIG. 1A is input to the image processing apparatus. In the image shown in FIG. 1 (A), there is an area of performers who are spotlighted on the stage. The performer's area that is spotlighted on the stage is an area where the user is likely to pay attention, and the user is “high in reality, gloss, brightness, power, etc.” It is an area that is likely to have a good impression.
図４（Ｄ）〜４（Ｆ）には、非注目領域である高輝度領域を有する画像データが画像処理装置に入力された場合の例が示されている。具体的には、図４（Ｄ）〜４（Ｆ）には、図１（Ｂ）に示されている画像を表す画像データが画像処理装置に入力された場合の例が示されている。図１（Ｂ）に示されている画像には、太陽の領域が存在する。太陽の領域は、ユーザが注目する可能性が低い領域であり、且つ、「まぶしさ」をユーザが妨害として認識する可能性が高い領域である。 FIGS. 4D to 4F show an example in which image data having a high luminance area that is a non-attention area is input to the image processing apparatus. Specifically, FIGS. 4D to 4F show examples when image data representing the image shown in FIG. 1B is input to the image processing apparatus. In the image shown in FIG. 1B, there is a solar region. The sun region is a region where the user has a low possibility of paying attention and is a region where the user is likely to recognize the “glare” as an obstruction.
図４（Ａ），４（Ｄ）は、特徴量取得部１０１で取得された輝度ヒストグラムＰを示す。図４（Ｂ），４（Ｅ）は、クラスタ検出部１０５で生成された２値化ヒストグラムＱを示す。図４（Ｃ），４（Ｆ）は、画像補正部１０３が出力する画像データの輝度ヒストグラムを示す。
4A and 4D show the luminance histogram P acquired by the feature
まず、図１（Ａ）に示されている画像を表す画像データが画像処理装置に入力された場合の例について説明する。 First, an example in which image data representing the image shown in FIG. 1A is input to the image processing apparatus will be described.
クラスタ検出部１０５は、輝度ヒストグラムＰの度数Ｆ１が閾値ＴＨ＿Ｆ以上であるか否かの判断結果に基づいて、２値化ヒストグラムＱを生成する。閾値ＴＨ＿Ｆとして、例えば、入力画像データに含まれているノイズの影響を除外できる値が使用される。閾値ＴＨ＿Ｆとして１が使用されてもよい。
図４（Ａ）の輝度ヒストグラムＰでは、番号Ｙ１１から番号Ｙ１２までのカテゴリの度数Ｆ１が閾値ＴＨ＿Ｆ以上であり、他のカテゴリの度数Ｆ１が閾値ＴＨ＿Ｆ未満である。そのため、番号Ｙ１１から番号Ｙ１２までのカテゴリの度数Ｆ２が１であり、且つ、他のカテゴリの度数Ｆ２が０である２値化ヒストグラムＱが生成される（図４（Ｂ））。
The
In the luminance histogram P of FIG. 4A, the frequency F1 of the categories from number Y11 to number Y12 is greater than or equal to the threshold value TH_F, and the frequency F1 of other categories is less than the threshold value TH_F. Therefore, a binarized histogram Q in which the frequency F2 of the categories from number Y11 to number Y12 is 1 and the frequency F2 of other categories is 0 is generated (FIG. 4B).
また、クラスタ検出部１０５は、度数Ｆ２が１である１つ以上のカテゴリからなる輝度範囲を、クラスタとして検出する。
図４（Ｂ）の２値化ヒストグラムＱでは、上述したように、番号Ｙ１１から番号Ｙ１２までのカテゴリの度数Ｆ２が１であり、他のカテゴリの度数Ｆ２が０である。そのため、番号Ｙ１１から番号Ｙ１２までの複数のカテゴリからなるクラスタ１１が検出される（図４（Ｂ））。図４（Ｂ）の例では、クラスタ１１を構成するカテゴリの総数はＭ１１（＝Ｙ１２−Ｙ１１＋１）個である。また、クラスタ１１は、基準値Ｗを跨いでいる。ここでは、総数Ｍ１１が閾値ＴＨ＿Ｃよりも多いものとする。
Further, the
In the binarized histogram Q of FIG. 4B, as described above, the frequency F2 of the categories from number Y11 to number Y12 is 1, and the frequency F2 of the other categories is 0. Therefore, a
基準値Ｗとして、例えば、所定の視環境においてユーザがまぶしいと感じる明るさが使用される。そのような明るさ（基準値Ｗ）は、例えば、多数の被験者（ユーザ）に対する
実験の結果に基づいて決定することができる。具体的には、複数の被験者のそれぞれについて、その被験者がまぶしいと感じる明るさを調べる実験を行い、複数の被験者に対して得られた複数の明るさの代表値（平均値、最頻値、中間値、最大値、最小値）を、基準値Ｗとして決定することができる。
As the reference value W, for example, the brightness that the user feels dazzling in a predetermined visual environment is used. Such brightness (reference value W) can be determined based on the results of experiments on a large number of subjects (users), for example. Specifically, for each of a plurality of subjects, an experiment is performed to determine the brightness that the subject feels dazzling, and representative values (average value, mode value, Intermediate value, maximum value, minimum value) can be determined as the reference value W.
図４（Ｂ）では、１つのクラスタ１１のみが検出されている。そのため、非注目領域検出部１０６は、“クラスタ１１に属す輝度値を有する画素の領域は注目領域である”と判断する。また、非注目領域検出部１０６は、“クラスタ１１に属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域は高輝度領域である”と判断する。具体的には、非注目領域検出部１０６は、“基準値Ｗからクラスタ１１の最大輝度値までの輝度値を有する画素の「まぶしさ」に対して、ユーザは“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ”と判断する。そして、画像補正部１０３は、入力画像データを補正する処理を行わずに、入力画像データを出力する。その結果、図４（Ｃ）の輝度ヒストグラムが図４（Ａ）のヒストグラムと一致する。
In FIG. 4B, only one
次に、図１（Ｂ）に示されている画像を表す画像データが画像処理装置に入力された場合の例について説明する。 Next, an example where image data representing the image shown in FIG. 1B is input to the image processing apparatus will be described.
図４（Ｄ）の輝度ヒストグラムＰでは、番号Ｙ２１から番号Ｙ２２までのカテゴリの度数Ｆ１と番号Ｙ２３から番号Ｙ２４までのカテゴリの度数Ｆ１とが閾値ＴＨ＿Ｆ以上であり、他のカテゴリの度数Ｆ１が閾値ＴＨ＿Ｆ未満である。そのため、番号Ｙ２１から番号Ｙ２２までのカテゴリの度数Ｆ２と番号Ｙ２３から番号Ｙ２４までのカテゴリの度数Ｆ２とが１であり、且つ、他のカテゴリの度数Ｆ２が０である２値化ヒストグラムＱが生成される（図４（Ｅ））。 In the luminance histogram P of FIG. 4D, the category frequency F1 from number Y21 to number Y22 and the category frequency F1 from number Y23 to number Y24 are equal to or greater than the threshold value TH_F, and the frequency F1 of other categories is the threshold value. It is less than TH_F. Therefore, a binarized histogram Q is generated in which the frequency F2 of the category from number Y21 to number Y22 and the frequency F2 of the category from number Y23 to number Y24 are 1 and the frequency F2 of the other category is 0. (FIG. 4E).
図４（Ｅ）の２値化ヒストグラムＱでは、上述したように、番号Ｙ２１から番号Ｙ２２までのカテゴリの度数Ｆ２と番号Ｙ２３から番号Ｙ２４までのカテゴリの度数Ｆ２とが１であり、他のカテゴリの度数Ｆ２が０である。ここでは、番号Ｙ２２のカテゴリと番号２３のカテゴリとの間の距離Ｄが、閾値ＴＨ＿Ｄ以上であるものとする。そのため、番号Ｙ２１から番号Ｙ２２までの複数のカテゴリからなるクラスタ２１と、番号Ｙ２３から番号Ｙ２４までの複数のカテゴリからなるクラスタ２２と、の２つのクラスタが検出される（図４（Ｅ））。図４（Ｅ）の例では、クラスタ２１を構成するカテゴリの総数はＭ２１個であり、クラスタ２２を構成するカテゴリの総数はＭ２２個である。また、クラスタ２１は、基準値Ｗよりも高い輝度値を含まず、クラスタ２２は、基準値Ｗよりも高い輝度値のみを含む。ここでは、総数Ｍ２１が閾値ＴＨ＿Ｃよりも多く、総数Ｍ２２が閾値ＴＨ＿Ｃよりも少ないものとする。
In the binarized histogram Q of FIG. 4E, as described above, the frequency F2 of the categories from the number Y21 to the number Y22 and the frequency F2 of the categories from the number Y23 to the number Y24 are 1, and the other categories The frequency F2 is zero. Here, it is assumed that the distance D between the category of number Y22 and the category of number 23 is equal to or greater than the threshold value TH_D. Therefore, two clusters are detected: a
図４（Ｅ）では、２つのクラスタ２１，２２が検出されている。そのため、非注目領域検出部１０６は、２つのクラスタ２１，２２のそれぞれについて、所定条件（条件１，２）を満たすか否かを判断する。
In FIG. 4E, two
上述したように、クラスタ２１は基準値Ｗよりも高い輝度値を含まず、クラスタ２１を構成するカテゴリの総数Ｍ２１は閾値ＴＨ＿Ｃよりも多い。即ち、クラスタ２１は所定条件を満たさない。そのため、非注目領域検出部１０６は、“クラスタ２１に属す輝度値を有する画素の領域は注目領域である”と判断する。
As described above, the
上述したように、クラスタ２２は基準値Ｗよりも高い輝度値のみを含み、クラスタ２２を構成するカテゴリの総数Ｍ２２は閾値ＴＨ＿Ｃよりも少ない。即ち、クラスタ２２は所定条件を満たす。そのため、非注目領域検出部１０６は、“クラスタ２２に属す輝度値を有する画素の領域は非注目領域である”と判断する。また、非注目領域検出部１０６は、
“クラスタ２２に属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域は高輝度領域である”と判断する。具体的には、非注目領域検出部１０６は、“クラスタ２２に属し且つ基準値Ｗよりも高い輝度値を有する画素の「まぶしさ」を、ユーザが妨害として認識する”と判断する。
As described above, the
It is determined that “a pixel region having a luminance value higher than the reference value W among luminance values belonging to the
そして、画像補正部１０３は、クラスタ２２に属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の輝度値からオフセット値を減算する画像処理を入力画像データに施し、画像処理後の画像データを出力する。上記画像処理により、輝度ヒストグラムは図４（Ｄ）の輝度ヒストグラムから図４（Ｆ）の輝度ヒストグラムに変化する。また、画像は、図１（Ｂ）の画像から図１（Ｃ）の画像に変化する。図１（Ｃ）では、太陽の領域の輝度が低減されている。即ち、太陽の領域の「まぶしさ」が低減されている。
Then, the
なお、図４（Ｅ）の距離Ｄが閾値ＴＨ＿Ｄ未満である場合には、番号Ｙ２１のカテゴリから番号Ｙ２４のカテゴリまでの複数のカテゴリの集まりが１つのクラスタとして検出される。図４（Ｅ）の距離Ｄが閾値ＴＨ＿Ｄ以上である場合には、Ｓ０８で始端カテゴリの番号Ｙｓ＝Ｙ２１が設定された後、Ｓ０４で終端カテゴリの番号Ｙｅ＝Ｙ２２が設定される。その後、Ｓ０８で番号Ｙｓ＝Ｙ２３が設定され、Ｓ０４で番号Ｙｅ＝Ｙ２４が設定される。しかしながら、図４（Ｅ）の距離Ｄが閾値ＴＨ＿Ｄ未満である場合には、番号Ｙｓ＝Ｙ２１と番号Ｙｅ＝Ｙ２２が設定された後、番号Ｙｓ＝Ｙ２３が設定されることなく、Ｓ０４で番号Ｙｅ＝Ｙ２４が設定される。その場合には、番号Ｙ２１のカテゴリから番号Ｙ２４のカテゴリまでの複数のカテゴリの集まりが１つのクラスタとして扱われ、番号Ｙｅ＝Ｙ２４を設定する際に、クラスタ総数ＣＮに１を加算する処理は省略される。 When the distance D in FIG. 4E is less than the threshold TH_D, a group of a plurality of categories from the category with the number Y21 to the category with the number Y24 is detected as one cluster. When the distance D in FIG. 4E is equal to or greater than the threshold TH_D, the start category number Ys = Y21 is set in S08, and then the end category number Ye = Y22 is set in S04. Thereafter, the number Ys = Y23 is set in S08, and the number Ye = Y24 is set in S04. However, when the distance D in FIG. 4E is less than the threshold TH_D, after the number Ys = Y21 and the number Ye = Y22 are set, the number Ys = Y23 is not set, and the number Ye is set in S04. = Y24 is set. In that case, a group of a plurality of categories from the category of the number Y21 to the category of the number Y24 is treated as one cluster, and the process of adding 1 to the total number of clusters CN when setting the number Ye = Y24 is omitted. Is done.
本実施例の効果について説明する。 The effect of the present embodiment will be described.
本実施例では、基準値Ｗよりも高い輝度値を有する画素の領域が高輝度領域として扱われる。具体的には、条件２を満たすクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域が高輝度領域として扱われる。 In this embodiment, a pixel area having a luminance value higher than the reference value W is treated as a high luminance area. Specifically, a pixel region having a luminance value higher than the reference value W among luminance values belonging to the cluster satisfying the condition 2 is treated as a high luminance region.
オブジェクト領域の輝度範囲が狭い場合、オブジェクト領域にはディテール（細かい表現）が含まれていない可能性が高く、ディテールを確認するためにユーザがオブジェクト領域に注目する可能性は低い。また、発光体（太陽、照明、等）の領域にユーザが注目する可能性は低く、発光体の領域の輝度範囲は狭いことが多い。そして、非注目領域（ユーザが注目する可能性が低い領域）での「まぶしさ」は、ユーザが妨害として認識する「まぶしさ」である可能性が高い。 When the luminance range of the object area is narrow, there is a high possibility that the object area does not include details (fine expression), and the possibility that the user pays attention to the object area in order to confirm the detail is low. In addition, it is unlikely that the user will pay attention to the area of the illuminant (sun, illumination, etc.), and the luminance range of the illuminant area is often narrow. Then, the “glare” in the non-attention area (the area where the user is less likely to pay attention) is more likely to be the “glare” that the user recognizes as interference.
一方、オブジェクト領域の輝度範囲が広い場合、オブジェクト領域にはディテールが含まれている可能性が高く、ディテールを確認するためにユーザがオブジェクト領域に注目する可能性も高い。また、照明光に照らされたオブジェクトの領域にユーザが注目する可能性は高く、照明光に照らされたオブジェクトの領域の輝度範囲は広いことが多い。そして、注目領域（ユーザが注目する可能性が高い領域）での「まぶしさ」は、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」である可能性が高い。 On the other hand, when the luminance range of the object area is wide, there is a high possibility that the object area includes details, and there is a high possibility that the user pays attention to the object area in order to confirm the details. In addition, there is a high possibility that the user pays attention to the area of the object illuminated by the illumination light, and the luminance range of the object area illuminated by the illumination light is often wide. The “glare” in the attention area (the area where the user is highly likely to pay attention) is the “glare” that gives the user a good impression that “reality, glossiness, brightness, power, etc. are high”. There is a high possibility.
そのため、クラスタが条件１を満たす場合、クラスタの輝度範囲が狭いため、クラスタに属す輝度値を有する画素の領域が非注目領域（ユーザが注目する可能性が低い領域）である可能性が高い。そして、クラスタが条件１を満たさない場合、クラスタの輝度範囲が広いため、クラスタに属す輝度値を有する画素の領域が注目領域（ユーザが注目する可能性が高い領域）である可能性が高い。そして、非注目領域での「まぶしさ」は、ユーザが妨害として認識する「まぶしさ」である可能性が高い。また、注目領域での「まぶしさ」
は、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」である可能性が高い。
Therefore, when the cluster satisfies the
Is likely to be “glare” with a good impression that the user has “high reality, gloss, shine, power, etc.”.
本実施例によれば、所定条件（条件１，２）を満たすクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、非注目領域である高輝度領域を構成する画素の輝度値が低減される。それにより、ユーザが妨害として認識する「まぶしさ」を低減することができる。また、他の輝度値は補正されないため、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」をもたらす画像データを得ることができる。具体的には、注目領域での「まぶしさ」が維持された画像表示を実現する画像データを得ることができる。
According to the present embodiment, a pixel area having a luminance value higher than the reference value W among luminance values belonging to a cluster that satisfies a predetermined condition (
なお、本実施例では、検出されたクラスタの総数が１つであった場合に、入力画像データを補正する処理が省略される例を説明したが、これに限らない。例えば、検出されたクラスタの総数に拘らず、所定条件を満たすクラスタが存在する場合に、入力画像データを補正する処理が行われてもよい。 In the present embodiment, the example in which the process of correcting the input image data is omitted when the total number of detected clusters is one has been described. However, the present invention is not limited to this. For example, regardless of the total number of detected clusters, when there are clusters that satisfy a predetermined condition, a process for correcting the input image data may be performed.
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値（変更可能な値）であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される値であってもよい。 Note that the various threshold values described in the present embodiment may be fixed values predetermined by a manufacturer or the like, or may be values preset by a user (changeable values). The various threshold values described in this embodiment may be values that are automatically determined and changed by an image processing apparatus or the like.
なお、所定の視環境（照明条件）における白色の輝度に相当する画像データの輝度値が、基準値Ｗとして使用されてもよい。 Note that a luminance value of image data corresponding to white luminance in a predetermined viewing environment (illumination condition) may be used as the reference value W.
また、撮像装置では、ＬＤＲ表示装置用の画像データを生成する場合に、視環境に応じて、白色を撮影したときの撮像素子のセンサ値が所定値となるように、撮影パラメータ値が設定されることが多い。ＬＤＲ表示装置は、ＨＤＲ画像を表示できない表示装置である。換言すれば、ＬＤＲ表示装置は、ダイナミックレンジが狭い画像しか表示できない表示装置である。そして、撮像装置では、ＬＤＲ表示装置用の画像データを生成する場合に、白色の輝度に相当する輝度値がＬＤＲ表示装置で表示可能な最大輝度値と一致する画像データが生成されることが多い。このような輝度値（白色に相当する輝度値；ＬＤＲ表示装置で表示可能な最大輝度値）が基準値Ｗとして使用されてもよい。そのような基準値Ｗを使用すれば、ＬＤＲ表示装置で表示可能な最大輝度値よりも高い輝度値によってもたらされる「まぶしさ」を好適に制御することができる。 Further, in the imaging device, when generating image data for the LDR display device, the imaging parameter value is set so that the sensor value of the imaging device when shooting white is a predetermined value according to the viewing environment. Often. The LDR display device is a display device that cannot display an HDR image. In other words, the LDR display device is a display device that can display only images with a narrow dynamic range. When the image data for the LDR display device is generated, the image pickup device often generates image data in which the luminance value corresponding to the white luminance matches the maximum luminance value that can be displayed by the LDR display device. . Such a luminance value (luminance value corresponding to white; maximum luminance value that can be displayed by the LDR display device) may be used as the reference value W. By using such a reference value W, it is possible to suitably control the “glare” caused by the brightness value higher than the maximum brightness value that can be displayed by the LDR display device.
また、画像処理装置から出力された画像データに基づく画像の視環境に基づいて、基準値Ｗが決定されてもよい。具体的には、画像処理装置から出力された画像データに基づく画像を表示する表示装置に設けられた外光センサ（表示装置の外光を検出するセンサ）の検出値に基づいて、基準値Ｗが決定されてもよい。 Further, the reference value W may be determined based on the visual environment of the image based on the image data output from the image processing apparatus. Specifically, the reference value W is based on the detection value of an external light sensor (sensor that detects external light of the display device) provided in the display device that displays an image based on the image data output from the image processing device. May be determined.
また、表示装置は、一般的に、ユーザ画質調整部を有する。ユーザ画質調整部は、ユーザ操作に応じた調整値を用いて、ブライトネス調整、ガンマ調整、等の画質調整を行う機能部である。ユーザ画質調整部から取得した調整値に基づいて、基準値Ｗが決定されてもよい。それにより、画像処理装置から出力された画像データに基づく画像の画質がユーザ画質調整部によって調整された場合にも、本実施例の上記効果を得ることが可能となる。 The display device generally has a user image quality adjustment unit. The user image quality adjustment unit is a functional unit that performs image quality adjustment such as brightness adjustment and gamma adjustment using an adjustment value according to a user operation. The reference value W may be determined based on the adjustment value acquired from the user image quality adjustment unit. Thereby, even when the image quality of the image based on the image data output from the image processing apparatus is adjusted by the user image quality adjustment unit, the above-described effect of the present embodiment can be obtained.
なお、非注目領域検出部１０６は、基準値Ｗよりも高い輝度値と基準値Ｗ以下の輝度値との両方を含むクラスタに対して重要度“高”を割り当ててもよい。また、非注目領域検出部１０６は、基準値Ｗよりも高い輝度値を含み、且つ、基準値Ｗ以下の輝度値を含まないクラスタに対して重要度“低”を割り当ててもよい。即ち、所定条件は、以下の条件３
をさらに含んでいてもよい。
条件３：基準値Ｗ以下の輝度値を含まない
The non-attention
May further be included.
Condition 3: Does not include luminance values below the reference value W
基準値Ｗよりも高い輝度値と基準値Ｗ以下の輝度値とを含むオブジェクト領域に対して、基準値Ｗよりも高い輝度値のみを低減する画像処理を施した場合、当該オブジェクト領域における画像の印象が大きく変化してしまうことがある。上記条件３を考慮することにより、基準値Ｗ以下の輝度値を含むクラスタが所定条件を満たさなくなる。それにより、基準値Ｗよりも高い輝度値と基準値Ｗ以下の輝度値とを含むオブジェクト領域に対して上記画像処理が施されることを抑制できる。そして、基準値Ｗよりも高い輝度値と基準値Ｗ以下の輝度値とを含むオブジェクト領域における画像の印象が上記画像処理によって変化することを抑制することができる。また、基準値Ｗよりも高い輝度値のみを含むオブジェクト領域については、上記画像処理によりオブジェクト領域内の全ての画素の輝度値が一律に低減されるため、オブジェクト領域における画像の印象が上記画像処理によって大きく変化することはない。 When image processing for reducing only a luminance value higher than the reference value W is performed on an object region including a luminance value higher than the reference value W and a luminance value equal to or lower than the reference value W, the image in the object region Impressions can change significantly. By taking the above condition 3 into consideration, a cluster including a luminance value equal to or less than the reference value W does not satisfy the predetermined condition. Thereby, it can suppress that the said image processing is performed with respect to the object area | region containing the luminance value higher than the reference value W, and the luminance value below the reference value W. And it can suppress that the impression of the image in the object area | region containing the luminance value higher than the reference value W and the luminance value below the reference value W changes by the said image processing. In addition, for an object region that includes only a luminance value higher than the reference value W, the luminance value of all the pixels in the object region is uniformly reduced by the image processing. Will not change significantly.
なお、画像補正部１０３で使用されるオフセット値は、距離Ｄに基づいて決定されてもよい。例えば、処理対象のクラスタの最小輝度値と、処理対象のクラスタよりも低輝度側に存在するクラスタの最大輝度値と、の差分値（絶対値）以下の値が、オフセット値として使用されることが好ましい。処理対象のクラスタよりも低輝度側に複数のクラスタが存在する場合もある。その場合には、処理対象のクラスタの最小輝度値と、処理対象のクラスタよりも低輝度側に存在し且つ処理対象のクラスタに最も近いクラスタの最大輝度値と、の差分値以下の値が、オフセット値として使用されることが好ましい。それにより、処理対象のクラスタに属す輝度値が他のクラスタに属す輝度値に補正されることを抑制することができ、階調つぶれ等に起因する画質劣化を抑制することができる。
Note that the offset value used in the
なお、入力画像データの補正方法は、輝度値からオフセット値を減算する上記方法に限らない。例えば、１よりも小さいゲイン値を輝度値に乗算することにより、入力画像データが補正されてもよい。上述したように、オフセット値として上記差分値以下の値を使用することが好ましい。しかしながら、オフセット値として上記差分値以下の値を使用し他場合、十分に輝度値を低減することができないことがある。上記ゲイン値を用いて階調圧縮を行えば、所定対象のクラスタに割り当てられた階調数が減ってしまうものの、十分に輝度値を低減することが可能となる。ゲイン値を用いて輝度値を低減する様子を図５に示す。 Note that the correction method of the input image data is not limited to the above method of subtracting the offset value from the luminance value. For example, the input image data may be corrected by multiplying the luminance value by a gain value smaller than 1. As described above, it is preferable to use a value equal to or smaller than the difference value as the offset value. However, when a value equal to or smaller than the difference value is used as the offset value, the luminance value may not be sufficiently reduced. If gradation compression is performed using the gain value, the number of gradations assigned to a predetermined target cluster is reduced, but the luminance value can be sufficiently reduced. FIG. 5 shows how the luminance value is reduced using the gain value.
なお、入力画像データが静止画像データ（画像の動きが無い（小さい）静止シーンの画像データを含む）である場合には、輝度値の低減量を時間の経過にともなって徐々に低下させてもよい。例えば、時間の経過に伴って、オフセット値を徐々に０に近づけたり、ゲイン値を徐々に１に近づけたりしてもよい。ユーザが輝度の高い表示画像を見た場合、ユーザは、当初はまぶしく感じるが、ヒトの視覚の順応により、次第にまぶしさに慣れ、次第にまぶしさを感じなくなる。視覚の順応を考慮して低減量を徐々に低下させれば、「まぶしさ」をユーザが妨害として認識することを抑制することができ、最終的に本来の表示輝度（入力画像データの輝度値に応じた表示輝度）の表示画像を得ることができる。 If the input image data is still image data (including image data of a still scene with no image movement (small)), the amount of decrease in the luminance value may be gradually decreased over time. Good. For example, the offset value may gradually approach 0 or the gain value may gradually approach 1 over time. When a user views a display image with high brightness, the user initially feels dazzled, but gradually becomes accustomed to glare and gradually loses glare due to adaptation of human vision. If the reduction amount is gradually reduced in consideration of visual adaptation, it is possible to prevent the user from recognizing “glare” as an obstacle, and finally to the original display luminance (the luminance value of the input image data). Display luminance) can be obtained.
なお、オブジェクト領域が非注目領域であるか否かを判断する際に、オブジェクト領域のサイズが考慮されてもよい。例えば、処理対象のクラスタの度数（クラスタに属すカテゴリの度数Ｆ１の総和）が閾値ＴＨ＿Ｓ以下である場合に、“処理対象のクラスタに属す輝度値を有する画素の領域は非注目領域である”と判断されてもよい。そして、処理対象のクラスタの度数が閾値ＴＨ＿Ｓ以上である場合に、“処理対象のクラスタに属す輝度値を有する画素の領域は注目領域である”と判断されてもよい。即ち、所定条件は、以下の条件４をさらに含んでいてもよい。
条件４：度数が閾値ＴＨ＿Ｓ未満である
オブジェクト領域のサイズを考慮することにより、オブジェクト領域が非注目領域であるか否かをより高精度に判断することができる。具体的には、クラスタの度数を考慮することにより、クラスタに属す輝度値を有する画素の領域が非注目領域であるか否かをより高精度に判断することができる。
Note that the size of the object area may be taken into account when determining whether or not the object area is a non-attention area. For example, when the frequency of the cluster to be processed (the sum of the frequencies F1 of the categories belonging to the cluster) is equal to or less than the threshold value TH_S, “a pixel area having a luminance value belonging to the cluster to be processed is a non-attention area”. It may be judged. Then, when the frequency of the cluster to be processed is equal to or greater than the threshold value TH_S, it may be determined that “a pixel region having a luminance value belonging to the cluster to be processed is a region of interest”. That is, the predetermined condition may further include the following condition 4.
Condition 4: The frequency is less than the threshold TH_S By considering the size of the object area, it can be determined with higher accuracy whether the object area is a non-attention area. Specifically, by considering the frequency of the cluster, it is possible to determine with higher accuracy whether or not the region of the pixel having the luminance value belonging to the cluster is a non-attention region.
オブジェクト領域のサイズを考慮した場合の具体例を図６（Ａ）〜６（Ｆ）に示す。図６（Ａ），６（Ｃ），６（Ｄ），６（Ｆ）は、図４（Ａ），４（Ｃ），４（Ｄ），４（Ｆ）と同じものである。図６（Ｂ），６（Ｅ）は、オブジェクト領域のサイズを考慮して生成されたヒストグラムである。図６（Ｂ），６（Ｅ）は、輝度ヒストグラムＰと２値化ヒストグラムＱから生成することができる。図６（Ｂ），６（Ｅ）のヒストグラムは、クラスタ毎に度数を表す。クラスタの度数としては、そのクラスタに属すカテゴリの度数Ｆ１の総和が使用される。図６（Ａ）では、番号Ｙ１１から番号Ｙ１２までのカテゴリの総度数はＴＦ１１である。そのため、図６（Ｂ）では、クラスタ１１の度数としてＴＦ１１が設定されている。また、図６（Ｄ）では、番号Ｙ２１から番号Ｙ２２までのカテゴリの総度数はＴＦ２１であり、番号Ｙ２３から番号Ｙ２４までのカテゴリの総度数はＴＦ２２である。そのため、図６（Ｅ）では、クラスタ２１の度数としてＴＦ２１が設定されており、クラスタ２２の度数としてＴＦ２２が設定されている。
Specific examples in consideration of the size of the object area are shown in FIGS. 6 (A) to 6 (F). 6 (A), 6 (C), 6 (D), and 6 (F) are the same as FIGS. 4 (A), 4 (C), 4 (D), and 4 (F). 6B and 6E are histograms generated in consideration of the size of the object area. 6B and 6E can be generated from the luminance histogram P and the binarized histogram Q. The histograms in FIGS. 6B and 6E represent the frequency for each cluster. As the frequency of the cluster, the total sum of the frequencies F1 of the categories belonging to the cluster is used. In FIG. 6A, the total frequency of the categories from number Y11 to number Y12 is TF11. Therefore, in FIG. 6B, TF11 is set as the frequency of the
なお、図７に示すように、画像処理装置は、空間ＬＰＦ部１０７をさらに有していてもよい。空間ＬＰＦ部１０７は、入力画像データに平滑化処理（２次元の空間ローパスフィルタ処理）を施す。それにより、入力画像を空間的に平滑化した画像を表す画像データが生成される。そして、入力画像データからではなく、空間ＬＰＦ部１０７によって生成された画像データから、輝度ヒストグラムが取得されてもよい。平滑化処理は一般的な２次元ＦＩＲフィルタやＩＩＲフィルタを用いて実現することができるが、平滑化処理の方法は特に限定されない。
As shown in FIG. 7, the image processing apparatus may further include a
ユーザは、空間的に連続する高輝度領域の面積が大きいほど「まぶしさ」を感じやすい。例えば、満天の星空の画像では、各星の領域（星領域）の面積は小さいため、ユーザは星領域に対して「まぶしさ」を感じにくい。そして、星領域の輝度を低減してしまうと、星領域のリアリティや輝き感が損なわれてしまう。そこで、平滑化処理を行えば、星領域の輝度が背景領域（夜空の暗い領域）の輝度に近づけられたり、星領域周辺の背景領域の輝度が星領域の輝度に近づけられたりする。その結果、星領域に対応する輝度範囲が所定条件を満たすクラスタとして検出されることを抑制することができ、星領域の輝度が低減されることを抑制することができる。ひいては、星領域のリアリティや輝き感が高い高画質な画像を表す画像データを得ることができる。 The user is more likely to feel “glare” as the area of the spatially continuous high luminance region is larger. For example, in an image of a starry sky, the area of each star region (star region) is small, so that the user does not feel “glare” with respect to the star region. If the brightness of the star region is reduced, the reality and brightness of the star region are impaired. Therefore, if smoothing processing is performed, the luminance of the star region can be brought close to the luminance of the background region (dark region of the night sky), or the luminance of the background region around the star region can be brought close to the luminance of the star region. As a result, it can be suppressed that the luminance range corresponding to the star region is detected as a cluster satisfying the predetermined condition, and the luminance of the star region can be suppressed from being reduced. As a result, it is possible to obtain image data representing a high-quality image with high reality and brightness of the star region.
なお、本実施例で説明した処理（図３のフローチャート）は、フレーム単位で行われてもよいし、そうでなくてもよい。例えば、本実施例で説明した処理は、入力画像の領域を構成する複数のブロックのそれぞれについて行われてもよい。即ち、本実施例で説明した処理は、ブロック毎に行われてもよい。１つの画素の領域がブロックとして扱われてもよいし、複数の画素からなる領域がブロックとして扱われてもよい。画面の領域を構成する複数の部分領域のそれぞれについて発光輝度を個別に制御可能な発光部を有する表示装置が使用される場合には、部分領域に表示すべき画像の領域がブロックとして使用されてもよい。ブロック単位で本実施例に係る処理を行えば、本実施例に係る補正が不要な領域（補正不要領域）における輝度値が補正されてしまうことを抑制することができ、より高画質な画像を表す画像データを得ることができる。 Note that the processing described in the present embodiment (the flowchart in FIG. 3) may or may not be performed in units of frames. For example, the processing described in the present embodiment may be performed for each of a plurality of blocks constituting the area of the input image. That is, the processing described in this embodiment may be performed for each block. One pixel region may be treated as a block, or a region composed of a plurality of pixels may be treated as a block. When a display device having a light emitting unit capable of individually controlling light emission luminance is used for each of a plurality of partial areas constituting a screen area, the image area to be displayed in the partial area is used as a block. Also good. If the process according to the present embodiment is performed in units of blocks, it is possible to suppress the correction of the luminance value in the area that does not require correction according to the present embodiment (the correction unnecessary area), and a higher quality image can be obtained. Representing image data can be obtained.
なお、本実施例では、非注目領域である高輝度領域の輝度を低減し、且つ、注目領域である高輝度領域の輝度を低減しない（維持する）例を説明したが、これに限らない。
注目領域の輝度（まぶしさ）を低減して、当該領域の視認性を高めたいというユーザ需要もある。例えば、ユーザが注目する可能性が高い顔や文字の領域が明るすぎてユーザが当該領域のディテールを確認できない、ということが問題となることもある。また、非注目領域はまぶしくてもかまわない、というユーザ需要もある。
そのため、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。そのような構成は、例えば、所定条件を満たさないクラスタに属す輝度値のうち基準値Ｗよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正することで、実現することができる。また、非注目領域である高輝度領域と、注目領域である高輝度領域と、のどちらの領域の輝度を低減するのかを、ユーザが選択可能としてもよい。
In the present embodiment, an example has been described in which the luminance of the high-luminance region that is the non-attention region is reduced and the luminance of the high-luminance region that is the attention region is not reduced (maintained).
There is also a user demand for reducing the brightness (glare) of a region of interest and improving the visibility of the region. For example, there may be a problem that the area of the face or character that is likely to be noticed by the user is too bright and the user cannot confirm the details of the area. There is also a user demand that the non-attention area may be dazzling.
Therefore, the luminance of the high-luminance area that is the attention area may be reduced without reducing the luminance of the high-luminance area that is the non-attention area. Such a configuration, for example, by correcting the input image data so that the luminance value of pixels having a luminance value higher than the reference value W among luminance values belonging to a cluster that does not satisfy the predetermined condition is reduced, Can be realized. Further, the user may be able to select which of the high luminance area that is the non-attention area and the high luminance area that is the attention area to reduce the luminance.
注目領域である高輝度領域の輝度を維持すれば、当該領域のリアリティ、光沢感、輝き感、迫力、等が高い画像を表す画像データを得ることができる。また、非注目領域である高輝度領域の輝度を低減すれば、当該領域の「まぶしさ」による視覚的な妨害感や不快感を低減することができる。
一方、注目領域である高輝度領域の輝度を低減すれば、当該領域の視認性が高められた画像を表す画像データを得ることができる。また、非注目領域である高輝度領域の輝度を維持すれば、当該領域のリアリティ、光沢感、輝き感、迫力、等が高い画像を表す画像データを得ることができる。
If the brightness of the high brightness area, which is the attention area, is maintained, image data representing an image having a high reality, glossiness, brightness, power, etc. of the area can be obtained. Further, if the brightness of the high brightness area, which is a non-attention area, is reduced, it is possible to reduce visual disturbance and discomfort due to the “glare” of the area.
On the other hand, if the brightness of the high brightness area, which is the attention area, is reduced, image data representing an image with improved visibility of the area can be obtained. Further, if the luminance of the high luminance region which is a non-attention region is maintained, image data representing an image with high reality, glossiness, shine, force, etc. of the region can be obtained.
＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及び画像処理方法について説明する。
実施例１と同様に、本実施例に係る画像処理装置には、ＨＤＲ画像データを入力することができる。また、本実施例に係る画像処理装置には、動画像を表す動画像データを入力することができる。即ち、本実施例に係る画像処理装置には、動画像のフレーム毎に、そのフレームの画像データを入力することができる。
<Example 2>
Hereinafter, an image processing apparatus and an image processing method according to Embodiment 2 of the present invention will be described.
As in the first embodiment, HDR image data can be input to the image processing apparatus according to the present embodiment. In addition, moving image data representing a moving image can be input to the image processing apparatus according to the present embodiment. That is, the image processing apparatus according to the present embodiment can input image data of a frame for each frame of the moving image.
動画像のシーンとして、画像の輝度の時間的な増減が繰り返される明滅シーンがある。明滅シーンは、輝き感、迫力、等を高めるために、販売販促用の動画像、演劇の動画像、等の種々の動画像にしばしば含まれる。
しかしながら、輝度の増減が激しい明滅シーンは、眼が疲れたり、気分が悪くなったりする視覚的障害を伴う「まぶしさ」をもたらす。また、そのような明滅シーンに対してユーザが輝き感、迫力、等を求めておらず、当該明滅シーンがユーザに視覚的妨害として認識されてしまうことがある。例えば、報道の動画像における、カメラのストロボが連続的に発光する明滅シーンに対してユーザが輝き感、迫力、等を求めることは少なく、当該明滅シーンがユーザに視覚的妨害として認識されることが多い。
As a scene of a moving image, there is a blinking scene in which increase / decrease in luminance of the image is repeated. The flickering scene is often included in various moving images such as a sales / motion promotion moving image and a theatrical moving image in order to enhance a sense of brightness, power, and the like.
However, a blinking scene with a sharp increase / decrease in brightness results in “glare” accompanied by visual disturbances such as eye fatigue and moodiness. In addition, the user does not seek a sense of brightness, force, or the like for such a blinking scene, and the blinking scene may be recognized as a visual disturbance by the user. For example, in a moving image of a news report, a user rarely asks for a sparkling feeling, force, etc. for a blinking scene in which a camera strobe emits light continuously, and the blinking scene is recognized as a visual disturbance by the user. There are many.
本実施例では、入力画像の輝度の時間変化が分析され、ユーザに視覚的妨害として認識されてしまう明滅シーンが検出される。そして、明滅シーンの検出結果に基づいて、明滅シーンにおける入力画像データの輝度が好適な輝度に補正される。 In this embodiment, the temporal change in luminance of the input image is analyzed, and a blinking scene that is recognized as a visual disturbance by the user is detected. Based on the detection result of the blinking scene, the luminance of the input image data in the blinking scene is corrected to a suitable luminance.
図９は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
実施例１と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部１０４に出力する。図９の表示部１０４は、図２の表示部１０４と同じものであるため、その説明は省略する。
FIG. 9 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
Similar to the first embodiment, the image processing apparatus according to the present embodiment performs image processing on input image data and outputs the image data subjected to the image processing to the
特徴量取得部２０１は、フレーム毎に、そのフレームの入力画像データによって表された画像（入力画像）の輝度に関する特徴量を取得する。そして、特徴量取得部２０１は、フレーム毎に、そのフレームについて取得した特徴量を、明滅シーン検出部２０２に出力する。本実施例では、特徴量として、入力画像データの平均輝度値が取得される。
なお、特徴量は平均輝度値（輝度値の平均値）に限らない。例えば、入力画像データの輝度値の最大値、最小値、最頻値、中間値、等が特徴量として取得されてもよい。平均値、最大値、最小値、最頻値、中間値、等は、“代表値”と呼ぶことができる。入力画像データの輝度値のヒストグラム（輝度ヒストグラム）が特徴量として取得されてもよい。
The feature
Note that the feature amount is not limited to an average luminance value (an average value of luminance values). For example, the maximum value, the minimum value, the mode value, the intermediate value, and the like of the luminance value of the input image data may be acquired as the feature amount. The average value, maximum value, minimum value, mode value, intermediate value, and the like can be referred to as “representative values”. A luminance value histogram (luminance histogram) of the input image data may be acquired as the feature amount.
明滅シーン検出部２０２は、特徴量取得部２０１によって取得された特徴量に基づいて、明滅シーンとして、所定条件を満たすシーンを検出する。本実施例では、明滅シーン検出部２０２は、複数のフレームについて取得された複数の特徴量に基づいて、当該複数のフレームのシーンが明滅シーン（所定条件を満たすシーン）か否かを判断する。明滅シーン検出部２０２は、フレーム毎に、そのフレームを期間基準とする判断対象期間について取得された複数の特徴量に基づいて、当該フレームが明滅シーンのフレームか否かを判断する。判断対象期間は、期間基準のフレームに対して時間的に前に連続する１つ以上のフレームと、期間基準のフレームに対して時間的に後に連続する１つ以上のフレームと、の少なくとも一方の時間位置を含む期間である。判断対象期間は、期間基準のフレームの時間位置を含む期間であってもよいし、期間基準のフレームの時間位置を含まない期間であってもよい。
Based on the feature amount acquired by the feature
本実施例に係る所定条件は、以下の条件１と条件２を含む。なお、所定条件は、条件１，２以外の条件をさらに含んでいてもよい。
条件１：画像の輝度（本実施例では平均輝度値）が閾値ＴＨ＿Ｗ（第１閾値）以上の変動幅で変動する頻度が、閾値ＴＨ＿Ｆｒ（第２閾値）以上である
条件２：画像の輝度の最大値が閾値ＴＨ＿Ｂｍ（第３閾値）よりも高い
The predetermined condition according to the present embodiment includes the
Condition 1: The frequency at which the luminance of the image (the average luminance value in this embodiment) fluctuates with a fluctuation width equal to or greater than the threshold TH_W (first threshold) is equal to or greater than the threshold TH_Fr (second threshold) Condition 2: The luminance of the image Maximum value is higher than threshold TH_Bm (third threshold)
入力画像の輝度が大きな変動幅且つ高い頻度で繰り返し増減するシーンが高輝度の入力画像を含む場合、当該シーンがユーザに視覚的妨害として認識される可能性が高い。即ち、条件１と条件２の両方を満たすシーンがユーザに視覚的妨害として認識される可能性は高い。そのため、明滅シーン検出部２０２は、ユーザに視覚的妨害として認識される可能性が高いシーンを、明滅シーンとして検出することができる。
When a scene in which the luminance of the input image repeatedly fluctuates frequently with a large fluctuation range includes a high-luminance input image, there is a high possibility that the scene is recognized as a visual disturbance by the user. That is, there is a high possibility that a scene satisfying both
画像補正部２０３は、明滅シーン検出部２０２の検出結果に基づいて、入力画像データを補正する。本実施例では、画像補正部２０３は、表現可能範囲が時間的に徐々に変化し且つ変動幅が閾値ＴＨ＿Ｗ未満の値に制限されるように、検出された明滅シーンの入力画像データを補正する。表現可能範囲は、輝度値の下限値から上限値までの輝度範囲である。変動幅は、入力画像データの輝度値を補正したり、表現可能範囲の幅を狭めたりすることによって、低減することができる。
The
明滅シーン検出部２０２の処理の具体例を説明する。
本実施例では、明滅シーン検出部２０２は、フレーム毎に、そのフレームについて取得された平均輝度値と、当該フレームを隣接基準とする隣接フレームについて取得された平均輝度値と、の差分値（絶対値）を、上記変動幅として算出する。本実施例では、隣接基準のフレームに対して時間的に前に隣接するフレームが、隣接フレームとして扱われる。また、明滅シーン検出部２０２は、フレーム毎に、そのフレームを期間基準のフレームとして扱う。そして、明滅シーン検出部２０２は、少なくとも判断対象期間分の平均輝度値と差分値を記憶し、以下の処理を行う。
まず、明滅シーン検出部２０２は、記憶している差分値のうち閾値ＴＨ＿Ｗ以上の差分値の総数を上記頻度としてカウントし、カウントされた総数ＴＦｒが閾値ＴＨ＿Ｆｒ以上であるか否かを判断する。この処理により、判断対象期間のシーンが１フレーム間隔で輝度が増減するシーンか否かを判断することができる。また、明滅シーン検出部２０２は、記憶している平均輝度値の最大値Ｂｍが閾値ＴＨ＿Ｂｍよりも高いか否かを判断する。
そして、明滅シーン検出部２０２は、総数ＴＦｒ≧閾値ＴＨ＿Ｆｒ且つ最大値Ｂｍ＞閾
値ＴＨ＿Ｂｍである場合に、判断対象期間のシーンが明滅シーン（所定条件を満たすシーン）であると判断し、期間対象のフレームが明滅シーンのフレームであると判断する。
A specific example of the process of the blinking
In this embodiment, the blinking
First, the blinking
Then, when the total number TFr ≧ threshold value TH_Fr and maximum value Bm> threshold value TH_Bm, the blinking
なお、明滅シーンの検出方法は、上記方法に限らない。例えば、隣接基準のフレームに対して時間的に後に隣接するフレームが、隣接フレームとして扱われてもよい。また、動画像の期間を構成する複数の部分期間のそれぞれについて、その部分期間が明滅シーンか否かを判断してもよい。
なお、明滅シーンは、１フレーム間隔で輝度が増減するシーンに限らない。ユーザが明滅を感じる程度の時間間隔で画像の輝度が増減するシーンであり、且つ、ユーザに視覚的妨害として認識される可能性が高いシーンが、明滅シーンとして検出されればよい。複数フレーム間隔で輝度が増減するシーンが明滅シーンとして検出されてもよい。例えば、複数の明フレーム（明るい画像のフレーム）と複数の暗フレーム（暗い画像のフレーム）とが交互に繰り返されるシーンが明滅シーンとして検出されてもよい。そのような明滅シーンは、時間的に隣り合う極小輝度値と極大輝度値の差分値を変動幅として扱って上記処理を行うことで検出することができる。極小輝度値は、判断対象期間や部分期間での入力画像の輝度の時間変化における輝度の極小値であり、極大輝度値は、判断対象期間や部分期間での入力画像の輝度の時間変化における輝度の極大値である。極小輝度値から極大輝度値へ時間変化する際の差分値のみが変動幅として扱われてもよいし、極大輝度値から極小輝度値へ時間変化する際の差分値のみが変動幅として扱われてもよい、それら両方の差分値が変動幅として扱われてもよい。極大輝度値とその前後の２つの極小輝度値との差分を表す値が、変動幅として扱われてもよい。例えば、極大輝度値と上記２つの極小輝度値の平均値との差分値が、変動幅として扱われてもよい。
Note that the blinking scene detection method is not limited to the above method. For example, a frame that is temporally adjacent to an adjacent reference frame may be treated as an adjacent frame. Further, for each of a plurality of partial periods constituting a moving image period, it may be determined whether or not the partial period is a blinking scene.
Note that the blinking scene is not limited to a scene whose luminance increases or decreases at intervals of one frame. A scene in which the brightness of an image increases or decreases at a time interval such that the user feels blinking, and a scene that is highly likely to be recognized as a visual disturbance by the user may be detected as a blinking scene. A scene whose luminance increases or decreases at intervals of a plurality of frames may be detected as a blinking scene. For example, a scene in which a plurality of bright frames (bright image frames) and a plurality of dark frames (dark image frames) are alternately repeated may be detected as a blinking scene. Such a blinking scene can be detected by treating the difference value between the minimum brightness value and the maximum brightness value that are temporally adjacent to each other as the fluctuation range and performing the above processing. The minimum luminance value is the minimum value of luminance in the time variation of the luminance of the input image in the judgment target period or partial period, and the maximum luminance value is the luminance in the time change of the luminance of the input image in the judgment target period or partial period. Is the local maximum. Only the difference value when the time changes from the minimum brightness value to the maximum brightness value may be treated as the fluctuation range, or only the difference value when the time changes from the maximum brightness value to the minimum brightness value is treated as the fluctuation range. Alternatively, a difference value between them may be treated as a fluctuation range. A value representing the difference between the maximum luminance value and the two minimum luminance values before and after the maximum luminance value may be treated as a fluctuation range. For example, a difference value between the maximum luminance value and the average value of the two minimum luminance values may be treated as the fluctuation range.
画像補正部２０３の処理の具体例について、図１０（Ａ）〜１０（Ｃ）を用いて説明する。図１０（Ａ）は、入力画像の輝度の時間変化の一例を示す。図１０（Ａ）の例では、入力画像の輝度の時間的な増減が繰り返されている。また、図１０（Ａ）の例では、極大輝度値ＰＨ１が高く、変動幅（極大輝度値ＰＨ１と極小輝度値ＰＬの差分値）が大きい。そのため、図１０（Ａ）の時間変化を示すシーンは、ユーザに視覚的妨害として認識されたり、ユーザに不快感を与えたりする可能性が高い。ここでは、明滅シーン検出部２０２により、図１０（Ａ）の時間変化を示すシーンが、明滅シーン（所定条件を満たすシーン）として検出されたとする。
A specific example of the processing of the
従来は、図１０（Ｂ）に示すように、極大輝度値ＰＨ１を極大輝度値ＰＨ２に低減することにより、変動幅を低減し、視覚的な妨害感や不快感を低減していた。しかしながら、このような補正をしてしまうと、シーンの輝度が常に暗い値となり、輝き感、迫力、等が低減してしまう。 Conventionally, as shown in FIG. 10B, the fluctuation range is reduced by reducing the maximum luminance value PH1 to the maximum luminance value PH2, thereby reducing visual disturbance and discomfort. However, if such a correction is made, the brightness of the scene will always be a dark value, and the brightness, power, etc. will be reduced.
そこで、画像補正部２０３は、図１０（Ｃ）に示すように、表現可能範囲が時間的に徐々に変化し且つ変動幅が閾値ＴＨ＿Ｗ未満の値に制限されるように、検出された明滅シーンの入力画像データを補正する。それにより、視覚的な妨害感や不快感を低減することだけでなく、輝き感、迫力、等が低減されることを抑制することも可能となる。
例えば、図１０（Ｃ）の例では、変動幅Ｒ１〜Ｒ４が閾値ＴＨ＿Ｗ未満の値に制限されているため、視覚的な妨害感や不快感が低減されている。また、極大輝度値が輝度値ＰＨ２から輝度値ＰＨ１まで徐々に増加するため、輝き感、迫力、等が徐々に高められる。
なお、変動幅を閾値ＴＨ＿Ｗ未満の値に制限することは必須の処理ではない。表現可能範囲が時間的に徐々に変化させるだけで“視覚的な妨害感や不快感を低減することができ、且つ、輝き感、迫力、等が低減されることを抑制することができる”という上記効果を得ることもできる。
Therefore, as shown in FIG. 10C, the
For example, in the example of FIG. 10C, since the fluctuation ranges R1 to R4 are limited to values less than the threshold value TH_W, visual disturbance and discomfort are reduced. Further, since the maximum luminance value gradually increases from the luminance value PH2 to the luminance value PH1, the brightness, the force, and the like are gradually increased.
Note that it is not an essential process to limit the fluctuation range to a value less than the threshold value TH_W. “The visual disturbance and discomfort can be reduced, and the reduction in brightness, power, etc. can be suppressed by simply changing the expressible range gradually over time.” The above effects can also be obtained.
本実施例の効果について図８（Ａ）〜８（Ｃ）を用いて説明する。
図８（Ａ）は、入力画像の一例を示す。図８（Ａ）の例では、入力画像の輝度の時間的な増減が繰り返されている。ここでは、明滅シーン検出部２０２により、図８（Ａ）のフレーム１〜４を含むシーンが、明滅シーン（所定条件を満たすシーン）として検出されたとする。
The effect of the present embodiment will be described with reference to FIGS. 8 (A) to 8 (C).
FIG. 8A shows an example of an input image. In the example of FIG. 8A, the increase / decrease in the luminance of the input image over time is repeated. Here, it is assumed that the scene including the
上述したように、従来は、極大輝度値を低減することにより、変動幅を低減し、視覚的な妨害感や不快感を低減していた。そのため、図８（Ｂ）に示すように、図８（Ａ）の明滅シーンが、輝度が常に低いシーンに変換されてしまう。 As described above, conventionally, the fluctuation range is reduced by reducing the maximum luminance value, and the visual disturbance and discomfort are reduced. For this reason, as shown in FIG. 8B, the blinking scene of FIG. 8A is always converted into a scene with low luminance.
本実施例によれば、図８（Ｃ）に示すように、変動幅が低減されることにより、視覚的な妨害感や不快感を低減することができる。画像の輝度が徐々に高められるように表現可能範囲が徐々に変更されることにより、輝き感、迫力、等を徐々に高めることができる。 According to the present embodiment, as shown in FIG. 8C, the fluctuation range is reduced, so that visual disturbance and discomfort can be reduced. By gradually changing the representable range so that the luminance of the image is gradually increased, it is possible to gradually increase the feeling of brightness, force, and the like.
なお、本実施例で説明した種々の処理は、フレーム単位で行われてもよいし、そうでなくてもよい。例えば、本実施例で説明した処理は、入力画像の領域を構成する複数のブロックのそれぞれについて行われてもよい。即ち、本実施例で説明した処理は、ブロック毎に行われてもよい。１つの画素の領域がブロックとして扱われてもよいし、複数の画素からなる領域がブロックとして扱われてもよい。画面の領域を構成する複数の部分領域のそれぞれについて発光輝度を個別に制御可能な発光部を有する表示装置が使用される場合には、部分領域に表示すべき画像の領域がブロックとして使用されてもよい。図８（Ｃ）は画素単位で処理を行った場合の例を示し、図８（Ｄ）はフレーム単位で処理を行った場合の例を示す。図８（Ｃ），８（Ｄ）から、フレーム単位で処理を行っても、上述した効果と同等の効果が得られることがわかる。画素単位（ブロック単位）で処理を行えば、本実施例に係る補正が不要な領域（補正不要領域）における輝度値が補正されてしまうことを抑制することができ、より高画質な画像を表す画像データを得ることができる。 Note that the various processes described in the present embodiment may or may not be performed in units of frames. For example, the processing described in the present embodiment may be performed for each of a plurality of blocks constituting the area of the input image. That is, the processing described in this embodiment may be performed for each block. One pixel region may be treated as a block, or a region composed of a plurality of pixels may be treated as a block. When a display device having a light emitting unit capable of individually controlling light emission luminance is used for each of a plurality of partial areas constituting a screen area, the image area to be displayed in the partial area is used as a block. Also good. FIG. 8C shows an example in which processing is performed in units of pixels, and FIG. 8D shows an example in which processing is performed in units of frames. 8 (C) and 8 (D), it can be seen that the same effects as those described above can be obtained even if processing is performed in units of frames. If processing is performed in units of pixels (block units), it is possible to suppress the correction of the luminance value in an area that does not require correction according to the present embodiment (an area that does not require correction), thereby representing a higher quality image. Image data can be obtained.
なお、表現可能範囲を徐々に変化させる際の変化速度は、ヒトの視覚の順応速度に基づいて決定することが好ましい。ヒトの視覚は、視野の明るさに応じて、認識可能なダイナミックレンジが変動する。そして、明滅の速さが視覚の順応速度よりも速い場合、ヒトは、画像の明るさを正確に認識することはできない。そのため、認識可能なダイナミックレンジの変化に合うように、表現可能範囲を変化させることが好ましい。それにより、ユーザに違和感を与えることなく、視覚的な妨害感や不快感を低減することができる。 It should be noted that the rate of change when the representable range is gradually changed is preferably determined based on the adaptation speed of human vision. In human vision, the recognizable dynamic range varies depending on the brightness of the visual field. When the blinking speed is faster than the visual adaptation speed, a human cannot accurately recognize the brightness of the image. Therefore, it is preferable to change the representable range so as to match the change in the recognizable dynamic range. Thereby, visual disturbance and discomfort can be reduced without causing the user to feel uncomfortable.
なお、画像の輝度の時間的な増減が繰り返される周期（明滅周期）よりも長い周期で表現可能範囲が周期的に変化するように、明滅シーン（所定条件を満たすシーン）の入力画像データが補正されてもよい。図１１（Ａ）は入力画像の輝度の時間変化の一例を示す。図１１（Ｂ），１１（Ｃ）は、図１１（Ａ）の明滅周期よりも長い周期で表現可能範囲が周期的に変化させた画像の輝度の時間変化の一例を示す。図１１（Ｂ）は、変動幅を閾値ＴＨ＿Ｗ未満の値に制限した場合の例を示し、図１１（Ｃ）は、明滅周期よりも長い周期で変動幅も変化させた場合の例を示す。明滅周期よりも長い周期で表現可能範囲を周期的に変化させることにより、明滅の周波数（明滅周波数）を疑似的に低減することができる。ヒトの視覚が明滅を認識できる明滅周波数の範囲においては、明滅周波数が高いほど視覚的な妨害感や不快感は大きい。そのため、明滅周波数を疑似的に低減することにより、視覚的な妨害感や不快感を低減することができる。また、明滅シーンの極大輝度値として従来よりも高い輝度値を使用することができるため、従来よりも明滅シーンの輝き感、迫力、等が高い画像データを得ることができる。 It should be noted that the input image data of the blinking scene (scene satisfying a predetermined condition) is corrected so that the representable range periodically changes in a cycle longer than the cycle in which the increase / decrease in luminance of the image is repeated (flashing cycle). May be. FIG. 11A shows an example of temporal change in luminance of the input image. 11B and 11C show an example of a temporal change in luminance of an image in which the representable range is periodically changed in a cycle longer than the blinking cycle in FIG. FIG. 11B shows an example in which the fluctuation range is limited to a value less than the threshold TH_W, and FIG. 11C shows an example in which the fluctuation range is also changed in a cycle longer than the blinking cycle. By periodically changing the representable range with a period longer than the blinking period, the blinking frequency (flickering frequency) can be reduced in a pseudo manner. In the range of the flicker frequency where human vision can recognize flicker, the higher the flicker frequency, the greater the visual disturbance and discomfort. Therefore, by visually reducing the blinking frequency, it is possible to reduce visual interference and discomfort. In addition, since a higher brightness value than the conventional brightness value can be used as the maximum brightness value of the blinking scene, it is possible to obtain image data having a higher brightness, power, and the like of the blinking scene than before.
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値（変更可能な値）であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される
値であってもよい。
Note that the various threshold values described in the present embodiment may be fixed values predetermined by a manufacturer or the like, or may be values preset by a user (changeable values). The various threshold values described in this embodiment may be values that are automatically determined and changed by an image processing apparatus or the like.
＜実施例３＞
以下、本発明の実施例３に係る画像処理装置及び画像処理方法について説明する。
実施例１と同様に、本実施例に係る画像処理装置には、ＨＤＲ画像データを入力することができる。
<Example 3>
Hereinafter, an image processing apparatus and an image processing method according to Embodiment 3 of the present invention will be described.
As in the first embodiment, HDR image data can be input to the image processing apparatus according to the present embodiment.
本実施例では、入力画像の空間周波数と輝度が分析される。それにより、入力画像の領域が、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域であるか、「まぶしさ」をユーザが妨害として認識する領域であるか、が判断される。そして、領域の判断結果に基づいて、入力画像データの輝度が好適な輝度に補正される。 In this embodiment, the spatial frequency and luminance of the input image are analyzed. As a result, the input image area is an area where the user has a good impression that “realism, glossiness, shine, power, etc. are high” with respect to “glare”, or “glare” is determined by the user. It is determined whether the area is recognized as obstruction. Based on the determination result of the area, the luminance of the input image data is corrected to a suitable luminance.
図１３は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
実施例１と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部１０４に出力する。図１３の表示部１０４は、図２の表示部１０４と同じものであるため、その説明は省略する。
FIG. 13 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
Similar to the first embodiment, the image processing apparatus according to the present embodiment performs image processing on input image data and outputs the image data subjected to the image processing to the
ブロック特徴量取得部３０１は、入力画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける入力画像の空間周波数に関する空間周波数情報と、当該ブロックにおける入力画像の輝度に関する特徴量と、を入力画像データから取得する。そして、ブロック特徴量取得部３０１は、各ブロックの空間周波数情報と特徴量を、高輝度領域判断部３０２に出力する。本実施例では、ブロックの特徴量として、当該ブロックにおける入力画像データの最大輝度値（輝度値の最大値）が取得される。また、ブロックにおける画像データを用いて一般的なエッジ検出処理を行うことにより、当該ブロックの空間周波数情報として、エッジ画像データが取得される。エッジ検出処理は、画像に存在するエッジを検出する処理であり、エッジ画像データは、検出されたエッジを表す画像データである。
The block feature
ブロックの空間周波数情報は、エッジ画像データに限らない。例えば、ブロックにおける画像データを離散コサイン変換（ＤＣＴ）することにより、当該ブロックの空間周波数情報として、係数（ＤＣＴ係数）が取得されてもよい。
なお、ブロックの特徴量は、当該ブロックにおける画像データの最大輝度値に限らない。例えば、ブロックにおける入力画像データの輝度値の最小値、最頻値、中間値、平均値、等が、当該ブロックの特徴量として取得されてもよい。ブロックにおける入力画像データの輝度値のヒストグラム（輝度ヒストグラム）が、当該ブロックの特徴量として取得されてもよい。
The spatial frequency information of the block is not limited to edge image data. For example, a coefficient (DCT coefficient) may be acquired as the spatial frequency information of the block by performing discrete cosine transform (DCT) on the image data in the block.
Note that the feature amount of a block is not limited to the maximum luminance value of image data in the block. For example, the minimum value, mode value, intermediate value, average value, and the like of the luminance value of the input image data in the block may be acquired as the feature amount of the block. A histogram (luminance histogram) of luminance values of input image data in a block may be acquired as the feature amount of the block.
高輝度領域判断部３０２は、ブロック特徴量取得部３０１によって取得された空間周波数情報と特徴量に基づいて、入力画像がどのようなシーンの画像であるのかを判断する。具体的には、高輝度領域判断部３０２は、ブロック特徴量取得部３０１によって取得された空間周波数情報と特徴量に基づいて、非注目領域である高輝度領域が入力画像に存在するか否かを判断する。そして、高輝度領域判断部３０２は、判断結果を画像補正部３０３に出力する。高輝度領域判断部３０２の処理の詳細については、後述する。
The high luminance
画像補正部３０３は、高輝度領域判断部３０２の判断結果に基づいて、入力画像データを補正する。本実施例では、“非注目領域である高輝度領域が入力画像に存在する”と判断された場合に、画像補正部３０３は、非注目領域である高輝度領域を構成する画素の輝度値が低減されるように、入力画像データを補正する。
The
高輝度領域判断部３０２は、空間周波数解析部３０５と非注目領域検出部３０６を有する。
The high luminance
空間周波数解析部３０５は、複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報に基づいて、当該ブロックにおける入力画像の空間周波数Ｓｆが高周波成分を含むか否かを判断する。高周波成分は、閾値ＴＨ＿Ｓｆ（第１閾値）以上の空間周波数である。本実施例では、空間周波数解析部３０５は、ブロックにおける入力画像の空間周波数が閾値ＴＨ＿Ｓａ（第３閾値）以上の量の高周波成分を含む場合に、当該ブロックを、空間周波数が高周波成分を含むブロックとして検出する。具体的には、空間周波数解析部３０５は、ブロック内のエッジ画素（エッジを構成する画素）の総数が閾値ＴＨ＿Ｓａ以上である場合に、当該ブロックを、空間周波数が高周波成分を含むブロックとして検出する。そして、空間周波数解析部３０５は、処理結果を非注目領域検出部３０６に出力する。例えば、処理結果として、空間周波数が高周波成分を含むブロックを表す情報、等が出力される。
なお、高周波成分の量が大きいか否かに拘らず、空間周波数が高周波成分を含むブロックが検出されてもよい。
For each of the plurality of blocks, the spatial
Note that a block whose spatial frequency includes a high frequency component may be detected regardless of whether the amount of the high frequency component is large.
非注目領域検出部３０６は、複数のブロックのそれぞれについて、そのブロックが所定条件を満たすか否かを判断する。そして、非注目領域検出部３０６は、判断結果を画像補正部３０３に出力する。例えば、判断結果として、所定条件を満たすブロックを表す情報が出力される。本実施例では、空間周波数解析部３０５の処理結果と、ブロック特徴量取得部３０１で取得された特徴量と、に基づいて、ブロックが所定条件を満たすか否かが判断される。
The non-attention
本実施例では、非注目領域検出部３０６は、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第１所定条件は、条件１，２以外の条件をさらに含んでいてもよい。
条件１：画像の空間周波数が、高周波成分を含む
条件２：画像の輝度が、閾値ＴＨ＿Ｂ（第２閾値）よりも高い
上述したように、本実施例では、ブロックにおける入力画像の空間周波数が閾値ＴＨ＿Ｓａ以上の量の高周波成分を含む場合に、当該ブロックが、空間周波数が高周波成分を含むブロックとして検出される。そのため、本実施例では、条件１は、“画像の空間周波数が、閾値ＴＨ＿Ｓａ以上の量の高周波成分を含む”という条件である。
In this embodiment, the non-attention
Condition 1: The spatial frequency of the image includes a high frequency component Condition 2: The luminance of the image is higher than the threshold value TH_B (second threshold value) As described above, in this embodiment, the spatial frequency of the input image in the block is the threshold value. When a high frequency component of an amount equal to or higher than TH_Sa is included, the block is detected as a block whose spatial frequency includes a high frequency component. Therefore, in the present embodiment,
また、本実施例では、非注目領域検出部３０６は、さらに、上記条件２と以下の条件３とを含む第２所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第２所定条件は、条件２，３以外の条件をさらに含んでいてもよい。
条件３：第１所定条件を満たすブロックに隣接する
なお、画質の観点から、第２所定条件を満たすブロックに対しても所定条件を満たすと判断されることが好ましいが、第２所定条件を満たすブロックに対しては所定条件を満たすと判断されなくてもよい。
Further, in this embodiment, the non-attention
Condition 3: Adjacent to a block satisfying the first predetermined condition From the viewpoint of image quality, it is preferable that the predetermined condition is also determined for a block satisfying the second predetermined condition, but the second predetermined condition is satisfied. The block may not be determined to satisfy the predetermined condition.
本実施例では、所定条件を満たすブロックに含まれる、基準値Ｗ（第４閾値）よりも高い輝度値を有する画素の領域が、注目領域である高輝度領域として扱われる。そして、所定条件を満たさないブロックに含まれる、基準値Ｗよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、ブロックが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Ｗよりも高いか否かに拘らず、所定条件を満たすブロックが、注目領域である高輝度領域として扱われてもよい。輝度値が基準値Ｗよりも高いか否かに拘
らず、所定条件を満たさないブロックが、非注目領域である高輝度領域として扱われてもよい。
In this embodiment, a pixel area having a luminance value higher than the reference value W (fourth threshold value) included in a block that satisfies a predetermined condition is treated as a high-luminance area that is an attention area. Then, an area of a pixel having a luminance value higher than the reference value W included in a block that does not satisfy the predetermined condition is treated as a high luminance area that is a non-attention area. For this reason, the process of determining whether or not a block satisfies a predetermined condition can also be referred to as “a process of determining whether or not a high-luminance area that is a non-target area exists in the input image”.
Regardless of whether or not the luminance value is higher than the reference value W, a block that satisfies the predetermined condition may be treated as a high luminance region that is a region of interest. Regardless of whether or not the luminance value is higher than the reference value W, a block that does not satisfy the predetermined condition may be treated as a high luminance region that is a non-attention region.
画像補正部３０３の処理の具体例について、図１４を用いて説明する。図１４は、補正前の輝度値（入力輝度値）と補正後の輝度値（出力輝度値）との対応関係の一例を示す図である。
画像補正部３０３は、所定条件を満たさないブロックに含まれる、基準値Ｗよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正する。具体的には、画像補正部３０３は、所定条件を満たさないブロックに含まれる画素の輝度値を、図１４の対応関係に従って変換（非線形変換）する。図１４の対応関係によれば、基準値Ｗ以下の輝度値を有する画素の輝度値は変換されず、基準値Ｗよりも高い輝度値を有する画素の輝度値が低減される。
なお、補正前の輝度値と補正後の輝度値との対応関係は、図１４の対応関係に限らない。
A specific example of the processing of the
The
The correspondence relationship between the luminance value before correction and the luminance value after correction is not limited to the correspondence relationship in FIG.
本実施例によれば、所定条件を満たさないブロックに含まれる、基準値Ｗよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、非注目領域である高輝度領域を構成する画素の輝度値が低減される。それにより、ユーザが妨害として認識する「まぶしさ」を低減することができる。また、他の輝度値は補正されないため、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」をもたらす画像データを得ることができる。 According to the present embodiment, a pixel area having a luminance value higher than the reference value W included in a block that does not satisfy the predetermined condition is treated as a high luminance area that is a non-attention area, and a high area that is a non-attention area. The luminance value of the pixels constituting the luminance area is reduced. Thereby, it is possible to reduce the “glare” that the user recognizes as an obstruction. Further, since the other luminance values are not corrected, it is possible to obtain image data that provides “glare” with a good impression that the user has “high reality, gloss, shine, power, etc.”.
図１２を用いて、本実施例の効果について具体的に説明する。
図１２（Ａ）に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。演者の領域の空間周波数は高周波成分を含み、演者の領域の輝度は高い。そのため、本実施例では、図１２（Ａ）の画像データが画像処理装置に入力された場合、演者の領域の輝度値は低減されず、演者の領域のリアリティ、光沢感、輝き感、迫力、等が高い画像データを得ることができる。
図１２（Ｂ）に示されている画像には、太陽の領域と人物の領域とが存在する。太陽の領域の空間周波数は高周波成分を含まず、人物の領域の空間周波数は高周波成分を含む。また、太陽の領域の輝度は高い。そのため、本実施例では、図１２（Ｂ）の画像データが画像処理装置に入力された場合、図１２（Ｃ）に示すように、人物の領域の輝度値は低減されず、太陽の領域の輝度値は低減される。その結果、太陽の領域の「まぶしさ」（ユーザが妨害として認識する「まぶしさ」）が低減され、且つ、人物の領域（ユーザが注目する可能性が高い領域）の「まぶしさ」が維持された画像データを得ることができる。
The effect of the present embodiment will be specifically described with reference to FIG.
In the image shown in FIG. 12 (A), there is an area of performers who are spotlighted on the stage. The spatial frequency of the performer's area includes high frequency components, and the brightness of the performer's area is high. Therefore, in the present embodiment, when the image data of FIG. 12A is input to the image processing apparatus, the brightness value of the performer's area is not reduced, and the reality, glossiness, brightness, force, Can be obtained.
The image shown in FIG. 12B includes a sun region and a person region. The spatial frequency of the solar region does not include high frequency components, and the spatial frequency of the human region includes high frequency components. In addition, the brightness of the sun region is high. Therefore, in the present embodiment, when the image data of FIG. 12B is input to the image processing apparatus, as shown in FIG. The luminance value is reduced. As a result, the “glare” of the sun region (“glare” recognized by the user as an obstruction) is reduced, and the “glare” of the person region (the region where the user is likely to focus) is maintained. Obtained image data can be obtained.
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値（変更可能な値）であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される値であってもよい。 Note that the various threshold values described in the present embodiment may be fixed values predetermined by a manufacturer or the like, or may be values preset by a user (changeable values). The various threshold values described in this embodiment may be values that are automatically determined and changed by an image processing apparatus or the like.
なお、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。例えば、所定条件を満たすブロックに含まれる、基準値Ｗよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データが補正されてもよい。 Note that the luminance of the high-brightness area that is the attention area may be reduced without reducing the luminance of the high-luminance area that is the non-attention area. For example, the input image data may be corrected so that the luminance value of a pixel having a luminance value higher than the reference value W included in the block that satisfies the predetermined condition is reduced.
＜実施例４＞
以下、本発明の実施例４に係る画像処理装置及び画像処理方法について説明する。
実施例１と同様に、本実施例に係る画像処理装置には、ＨＤＲ画像データを入力することができる。
<Example 4>
Hereinafter, an image processing apparatus and an image processing method according to Embodiment 4 of the present invention will be described.
As in the first embodiment, HDR image data can be input to the image processing apparatus according to the present embodiment.
本実施例では、入力画像の領域から特定オブジェクト領域（所定のオブジェクトの画像の領域）が検出される。そして、その検出結果に基づいて、入力画像の領域が、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域であるか、「まぶしさ」をユーザが妨害として認識する領域であるか、が判断される。その後、その判断結果に基づいて、入力画像データの輝度が好適な輝度に補正される。 In this embodiment, a specific object area (an area of an image of a predetermined object) is detected from the area of the input image. Then, based on the detection result, whether the area of the input image is an area where the user has a good impression that “realism, glossiness, brightness, power, etc. are high” with respect to “glare”. It is determined whether or not the user recognizes “glare” as an obstruction. Thereafter, based on the determination result, the luminance of the input image data is corrected to a suitable luminance.
図１５は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
実施例１と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部１０４に出力する。図１５の表示部１０４は、図２の表示部１０４と同じものであるため、その説明は省略する。
FIG. 15 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment.
Similar to the first embodiment, the image processing apparatus according to the present embodiment performs image processing on input image data and outputs the image data subjected to the image processing to the
ブロック特徴量取得部４０１は、入力画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける入力画像の輝度に関する特徴量を、入力画像データから取得する。そして、ブロック特徴量取得部４０１は、各ブロックの特徴量を、高輝度領域判断部４０２に出力する。本実施例では、ブロックの特徴量として、当該ブロックにおける入力画像データの最大輝度値が取得される。
なお、ブロックの特徴量は、当該ブロックにおける画像データの最大輝度値に限らない。例えば、ブロックにおける入力画像データの輝度値の最小値、最頻値、中間値、平均値、等が、当該ブロックの特徴量として取得されてもよい。ブロックにおける入力画像データの輝度値のヒストグラム（輝度ヒストグラム）が、当該ブロックの特徴量として取得されてもよい。
The block feature
Note that the feature amount of a block is not limited to the maximum luminance value of image data in the block. For example, the minimum value, mode value, intermediate value, average value, and the like of the luminance value of the input image data in the block may be acquired as the feature amount of the block. A histogram (luminance histogram) of luminance values of input image data in a block may be acquired as the feature amount of the block.
高輝度領域判断部４０２は、ブロック特徴量取得部４０１によって取得された特徴量に基づいて、入力画像がどのようなシーンの画像であるのかを判断する。具体的には、高輝度領域判断部４０２は、ブロック特徴量取得部４０１によって取得された特徴量に基づいて、非注目領域である高輝度領域が入力画像に存在するか否かを判断する。そして、高輝度領域判断部４０２は、判断結果を画像補正部３０３に出力する。高輝度領域判断部４０２の処理の詳細については、後述する。
図１５の画像補正部３０３は、図１３の画像補正部３０３と同じものであるため、その説明は省略する。
The high brightness
The
高輝度領域判断部４０２は、オブジェクト検出部４０５と非注目領域検出部４０６を有する。
The high brightness
オブジェクト検出部４０５は、入力画像データに基づいて、入力画像の領域から特定オブジェクト領域を検出する。本実施例では、入力画像の領域から、顔の画像の領域（顔領域）が検出される。そして、オブジェクト検出部４０５は、検出結果を非注目領域検出部４０６に出力する。例えば、検出結果として、特定オブジェクト領域を表す情報が出力される。
The
なお、特定オブジェクト領域を検出する処理は、画像単位（フレーム単位）で行われてもよいし、ブロック単位で行われてもよい。 Note that the process of detecting the specific object area may be performed in units of images (frame units) or in units of blocks.
なお、特定オブジェクト領域の検出方法は特に限定されない。例えば、特定オブジェクト領域は、パターンマッチングを用いて検出することができる。具体的には、入力画像の領域から肌色の領域を検出し、検出した肌色の領域における入力画像と、予め用意された顔画像（平均的な顔画像）と、の類似度を、パターンマッチングによって決定してもよい。そして、決定した類似度が閾値以上である場合に、“検出された肌色の領域が顔領域で
ある”と判断し、決定した類似度が閾値未満である場合に、“検出された肌色の領域が顔領域でない”と判断してもよい。
The specific object area detection method is not particularly limited. For example, the specific object region can be detected using pattern matching. Specifically, a skin color region is detected from the input image region, and the similarity between the input image in the detected skin color region and the face image (average face image) prepared in advance is determined by pattern matching. You may decide. If the determined similarity is equal to or greater than the threshold, it is determined that “the detected skin color region is a face region”, and if the determined similarity is less than the threshold, “the detected skin color region It may be determined that “is not a face area”.
なお、所定のオブジェクトは「顔」に限らない。例えば、特定オブジェクト領域として、文字の画像の領域（文字領域）、発光体（太陽、照明、等）の画像の領域（発光体領域）、等が検出されてもよい。文字領域は、例えば、スキャナ、コピー機、等でしばしば利用されるＯＣＲの技術を用いて検出することができる。文字領域は、パターンマッチングを用いて検出することもできる。発光体領域は、例えば、パターンマッチングを用いて検出することができる。具体的には、画像の平均輝度に対して閾値以上高い輝度を有する領域を検出してもよい。そして、検出した領域における入力画像と、予め用意された発光体画像（発光体の画像）と、の類似度を、パターンマッチングによって決定してもよい。その後、決定した類似度が閾値以上である場合に、“検出された領域が発光体領域である”と判断し、決定した類似度が閾値未満である場合に、“検出された領域が発光体領域でない”と判断してもよい。通常、地球から見た太陽の形状はあまり変化しない。そのため、夜明け、昼間、夕暮れ等のいくつかの時刻における太陽の画像（パターン画像）を用意しておけば、パターンマッチングによって、太陽の領域を検出することができる。オブジェクトの種類が互いに異なる複数の特定オブジェクト領域を検出する場合には、例えば、検出された特定オブジェクト領域とその種類（オブジェクトの種類）とを表す情報が、オブジェクト検出部４０５から出力される。
The predetermined object is not limited to the “face”. For example, a character image region (character region), a light emitter (sun, illumination, etc.) image region (light emitter region), and the like may be detected as the specific object region. The character area can be detected by using an OCR technique often used in a scanner, a copier, or the like. The character area can also be detected using pattern matching. The light emitter region can be detected using, for example, pattern matching. Specifically, an area having a brightness higher than the threshold value with respect to the average brightness of the image may be detected. Then, the similarity between the input image in the detected region and a previously prepared light emitter image (light emitter image) may be determined by pattern matching. Thereafter, when the determined similarity is equal to or greater than the threshold, it is determined that “the detected region is a light emitter region”, and when the determined similarity is less than the threshold, “the detected region is a light emitter. It may be determined that it is not an area. Usually, the shape of the sun seen from the earth does not change much. Therefore, if sun images (pattern images) at several times such as dawn, daytime, and dusk are prepared, the sun region can be detected by pattern matching. When detecting a plurality of specific object regions having different object types, for example, information indicating the detected specific object region and its type (object type) is output from the
非注目領域検出部４０６は、複数のブロックのそれぞれについて、そのブロックが所定条件を満たすか否かを判断する。そして、非注目領域検出部４０６は、判断結果を画像補正部３０３に出力する。例えば、判断結果として、所定条件を満たすブロックを表す情報が出力される。本実施例では、オブジェクト検出部４０５の検出結果と、ブロック特徴量取得部４０１で取得された特徴量と、に基づいて、ブロックが所定条件を満たすか否かが判断される。
The non-attention
本実施例では、非注目領域検出部４０６は、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第１所定条件は、条件１，２以外の条件をさらに含んでいてもよい。
条件１：特定オブジェクト領域（顔領域）を含む
条件２：画像の輝度が、閾値ＴＨ＿Ｂ（第１閾値）よりも高い
In the present embodiment, the non-attention
Condition 1: includes a specific object area (face area) Condition 2: the luminance of the image is higher than the threshold value TH_B (first threshold value)
また、本実施例では、非注目領域検出部４０６は、さらに、上記条件２と以下の条件３とを含む第２所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第２所定条件は、条件２，３以外の条件をさらに含んでいてもよい。
条件３：第１所定条件を満たすブロックに隣接する
なお、画質の観点から、第２所定条件を満たすブロックに対しても所定条件を満たすと判断されることが好ましいが、第２所定条件を満たすブロックに対しては所定条件を満たすと判断されなくてもよい。
In the present embodiment, the non-attention
Condition 3: Adjacent to a block satisfying the first predetermined condition From the viewpoint of image quality, it is preferable that the predetermined condition is also determined for a block satisfying the second predetermined condition, but the second predetermined condition is satisfied. The block may not be determined to satisfy the predetermined condition.
本実施例では、条件１の対象である特定オブジェクト領域として、ユーザが注目する可能性が高い顔領域が使用される。そして、本実施例では、所定条件を満たすブロックに含まれる、基準値Ｗ（第２閾値）よりも高い輝度値を有する画素の領域が、注目領域である高輝度領域として扱われる。また、所定条件を満たさないブロックに含まれる、基準値Ｗよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、ブロックが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Ｗよりも高いか否かに拘らず、所定条件を満たすブロックが、注目領域である高輝度領域として扱われてもよい。輝度値が基準値Ｗよりも高いか否かに拘
らず、所定条件を満たさないブロックが、非注目領域である高輝度領域として扱われてもよい。
In the present embodiment, a face area that is highly likely to be noticed by the user is used as the specific object area that is the target of
Regardless of whether or not the luminance value is higher than the reference value W, a block that satisfies the predetermined condition may be treated as a high luminance region that is a region of interest. Regardless of whether or not the luminance value is higher than the reference value W, a block that does not satisfy the predetermined condition may be treated as a high luminance region that is a non-attention region.
上述したように、本実施例では、条件１の対象である特定オブジェクト領域として、ユーザが注目する可能性が高いオブジェクト領域が使用される。しかし、上述したように、オブジェクトの種類が互いに異なる複数の特定オブジェクト領域が検出されることもある。そのような場合には、例えば、以下の処理を行うことにより、第１所定条件を満たすブロックを検出すればよい。
As described above, in this embodiment, an object area that is highly likely to be noticed by the user is used as the specific object area that is the target of the
まず、非注目領域検出部４０６は、検出された特定オブジェクト領域に対して、予め用意された重要度情報に応じた重要度（注目度）を割り当てる。重要度情報は、オブジェクトの種類毎に重要度を表す。顔領域、文字領域、等に対しては、ユーザが注目する可能性が高いため、重要度“高”が割り当てられ、発光体領域、等に対しては、ユーザが注目する可能性が低いため、重要度“低”が割り当てられる。
次に、非注目領域検出部４０６は、重要度“高”が割り当てられたブロックについて、そのブロックおける入力画像の輝度が閾値ＴＨ＿Ｂよりも高いか否かを判断する。
そして、非注目領域検出部４０６は、重要度“高”が割り当てられ、且つ、画像の輝度が閾値ＴＨ＿Ｂよりも高いブロックを、第１所定条件を満たすブロックとして検出する。
First, the non-attention
Next, the non-attention
Then, the non-attention
その後、実施例３と同様に、画像処理（補正）が行われる。 Thereafter, image processing (correction) is performed as in the third embodiment.
本実施例によれば、所定条件を満たさないブロックに含まれる、基準値Ｗよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、非注目領域である高輝度領域を構成する画素の輝度値が低減される。それにより、ユーザが妨害として認識する「まぶしさ」を低減することができる。また、他の輝度値は補正されないため、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」をもたらす画像データを得ることができる。 According to the present embodiment, a pixel area having a luminance value higher than the reference value W included in a block that does not satisfy the predetermined condition is treated as a high luminance area that is a non-attention area, and a high area that is a non-attention area. The luminance value of the pixels constituting the luminance area is reduced. Thereby, it is possible to reduce the “glare” that the user recognizes as an obstruction. Further, since the other luminance values are not corrected, it is possible to obtain image data that provides “glare” with a good impression that the user has “high reality, gloss, shine, power, etc.”.
図１２を用いて、本実施例の効果について具体的に説明する。
図１２（Ａ）に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。本実施例では、図１２（Ａ）の画像データが画像処理装置に入力された場合、演者全体の領域、演者の顔の領域、等が、ユーザが注目する可能性が高い特定オブジェクト領域として検出される。そのため、演者の領域の輝度値は低減されず、演者の領域のリアリティ、光沢感、輝き感、迫力、等が高い画像データを得ることができる。
図１２（Ｂ）に示されている画像には、太陽の領域と人物の領域とが存在する。本実施例では、図１２（Ｂ）の画像データが画像処理装置に入力された場合、太陽の領域が、ユーザが注目する可能性が低い特定オブジェクト領域として検出されたり、人物の領域が、ユーザが注目する可能性が高い特定オブジェクト領域として検出されたりする。そのため、図１２（Ｃ）に示すように、人物の領域の輝度値は低減されず、太陽の領域の輝度値は低減される。その結果、太陽の領域の「まぶしさ」（ユーザが妨害として認識する「まぶしさ」）が低減され、且つ、人物の領域（ユーザが注目する可能性が高い領域）の「まぶしさ」が維持された画像データを得ることができる。
The effect of the present embodiment will be specifically described with reference to FIG.
In the image shown in FIG. 12 (A), there is an area of performers who are spotlighted on the stage. In the present embodiment, when the image data of FIG. 12A is input to the image processing apparatus, the entire performer region, the performer's face region, etc. are detected as specific object regions that are likely to be noticed by the user. Is done. Therefore, the brightness value of the performer's area is not reduced, and it is possible to obtain image data with high reality, gloss, shine, power, etc. of the performer's area.
The image shown in FIG. 12B includes a sun region and a person region. In this embodiment, when the image data of FIG. 12B is input to the image processing apparatus, the sun area is detected as a specific object area that is less likely to be noticed by the user, or the person area is the user. May be detected as a specific object region that is likely to be noticed. Therefore, as shown in FIG. 12C, the luminance value of the person region is not reduced, and the luminance value of the sun region is reduced. As a result, the “glare” of the sun region (“glare” recognized by the user as an obstruction) is reduced, and the “glare” of the person region (the region where the user is likely to focus) is maintained. Obtained image data can be obtained.
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値（変更可能な値）であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される値であってもよい。 Note that the various threshold values described in the present embodiment may be fixed values predetermined by a manufacturer or the like, or may be values preset by a user (changeable values). The various threshold values described in this embodiment may be values that are automatically determined and changed by an image processing apparatus or the like.
なお、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。例えば、所定条件を満たすブロックに含まれる、基準値Ｗよ
りも高い輝度値を有する画素の輝度値が低減されるように、入力画像データが補正されてもよい。
Note that the luminance of the high-brightness area that is the attention area may be reduced without reducing the luminance of the high-luminance area that is the non-attention area. For example, the input image data may be corrected so that the luminance value of a pixel having a luminance value higher than the reference value W included in the block that satisfies the predetermined condition is reduced.
なお、条件１の対象である特定オブジェクト領域として、ユーザが注目する可能性が高いオブジェクト領域ではなく、ユーザが注目する可能性が低いオブジェクト領域が使用されてもよい。
Note that, as the specific object area that is the target of the
＜実施例１〜４に共通の事項＞
なお、実施例１〜４では、画像処理装置が表示装置に画像データを出力する例を説明したが、これに限らない。画像処理装置は、補正後の画像データを、表示装置ではなく、記憶装置（磁気ディスク、光ディスク、半導体メモリ、等）に記録してもよい。記憶装置は、画像処理装置に対して着脱可能な装置であってもよいし、画像処理装置から取り外し不可能な装置（画像処理装置に内蔵された装置）であってもよい。画像処理装置により、表示用途の画像データではなく、編集用途の画像データが生成されてもよい。画像処理装置によって編集用途の画像データが生成されれば、ユーザの安全性に配慮した高画質な画像データを作成する際の、画像編集者の手間を減らし、画像編集者が行う編集作業を効率化できる。画像処理装置として、専用の装置が用意されてもよいし、そうでなくてもよい。実施例１〜４で述べた処理を行うソフトウェアプログラム（アプリケーションプログラム）が一般的なパーソナルコンピュータ（ＰＣ）で実行されることにより、ＰＣが画像処理装置として機能されてもよい。
<Matters common to Examples 1 to 4>
In the first to fourth embodiments, the example in which the image processing apparatus outputs image data to the display device has been described. However, the present invention is not limited to this. The image processing apparatus may record the corrected image data in a storage device (magnetic disk, optical disk, semiconductor memory, etc.) instead of the display device. The storage device may be a device that can be attached to and detached from the image processing device, or a device that is not removable from the image processing device (a device built in the image processing device). The image processing apparatus may generate image data for editing instead of image data for display. If image data for editing is generated by the image processing device, the effort required by the image editor when creating high-quality image data in consideration of user safety is reduced, and the editing work performed by the image editor is efficient. Can be As the image processing apparatus, a dedicated apparatus may be prepared or not. The PC may function as an image processing apparatus by executing a software program (application program) for performing the processing described in the first to fourth embodiments on a general personal computer (PC).
発光輝度を局所的に変更可能な発光部を表示装置の発光部として使用した場合の効果について説明する。このような発光部を使用すれば、部分領域単位で表示画像のダイナミックレンジを向上することができる。しかしながら、部分領域における表示画像のダイナミックレンジが、表示部（表示パネル）のコントラスト比を上回ることはない。このコントラスト比は、発光部から発せられた光を変調することだけで実現可能な表示輝度の範囲に相当する。そのため、部分領域の発光輝度を高い値に制御した場合、明るい画像の表示輝度として高い値を得ることができるが、暗い画像の表示輝度としても高い値が得られてしまうことがある。そのため、画質が劣化した表示画像が得られてしまうことがある。具体的には、黒浮き、ハロー、等が生じた表示画像が得られてしまうことがある。実施例１〜４によれば、注目領域である高輝度領域についてのみ、輝度値が高い値に設定されたり、非注目領域である高輝度領域についてのみ、輝度値が高い値に設定されたりする。それにより、部分領域の発光輝度が不必要に高められることを抑制し、上記画質の劣化を抑制することができる。例えば、注目領域である高輝度領域の輝度値を高い値に設定し、非注目領域である高輝度領域の輝度値を高い値に設定する構成であれば、非注目領域である高輝度領域における発光輝度が低い値に設定される。それにより、非注目領域である高輝度領域やその周辺で黒浮きやハローが発生することを抑制することができる。 The effect when using the light emitting part capable of locally changing the light emission luminance as the light emitting part of the display device will be described. If such a light emitting unit is used, the dynamic range of the display image can be improved in units of partial areas. However, the dynamic range of the display image in the partial area does not exceed the contrast ratio of the display unit (display panel). This contrast ratio corresponds to a display luminance range that can be realized only by modulating the light emitted from the light emitting section. Therefore, when the light emission luminance of the partial area is controlled to a high value, a high value can be obtained as the display luminance of a bright image, but a high value can be obtained as the display luminance of a dark image. For this reason, a display image with degraded image quality may be obtained. Specifically, a display image in which black float, halo, or the like has occurred may be obtained. According to the first to fourth embodiments, the luminance value is set to a high value only for the high luminance region that is the attention region, or the luminance value is set to a high value only for the high luminance region that is the non-attention region. . Thereby, it is possible to suppress the emission luminance of the partial area from being unnecessarily increased, and to suppress the deterioration of the image quality. For example, if the configuration is such that the luminance value of the high luminance area that is the attention area is set to a high value and the luminance value of the high luminance area that is the non attention area is set to a high value, The light emission brightness is set to a low value. Thereby, it is possible to suppress the occurrence of black floating or halo in the high-luminance region which is a non-attention region or the periphery thereof.
＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other examples>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０１，２０１：特徴量取得部 １０２，３０２，４０２：高輝度領域判断部
１０３，２０３，３０３：画像補正部 １０５：クラスタ検出部
１０６，３０６，３０６：非注目領域検出部 ２０２：明滅シーン検出部
３０１，４０１：ブロック特徴量取得部 ３０５：空間周波数解析部
４０５：オブジェクト検出部
101, 201: Feature
Claims (25)
前記輝度ヒストグラムから、度数が第１閾値以上である１つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、
前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：第２閾値以下の数のカテゴリからなる
条件２：第３閾値よりも高い輝度値を含む
ことを特徴とする画像処理装置。 Acquisition means for acquiring, from each input image data, a luminance histogram representing, as a frequency, the total number of pixels having luminance values belonging to the category for each category that is a luminance range including one or more luminance values;
Detecting means for detecting a cluster which is a luminance range composed of one or more categories whose frequency is equal to or greater than a first threshold from the luminance histogram;
Determining means for determining whether or not the cluster detected by the detecting means satisfies a predetermined condition;
Correction means for correcting the input image data based on the determination result of the determination means;
Have
The predetermined condition includes the following condition 1 and condition 2: Condition 1: consists of a number of categories equal to or less than the second threshold. Condition 2: an image processing apparatus including a luminance value higher than the third threshold.
条件３：前記第３閾値以下の輝度値を含まない
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the predetermined condition further includes the following condition 3: Condition 3: a luminance value equal to or less than the third threshold value is not included.
ことを特徴とする請求項１または２に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the correction unit omits the process of correcting the input image data when the total number of clusters detected by the detection unit is one. .
前記取得手段は、前記平滑化手段によって生成された画像データから前記輝度ヒストグラムを取得する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。 Smoothing means for obtaining image data representing an image obtained by spatially smoothing an image represented by the input image data by performing a smoothing process on the input image data;
The image processing apparatus according to claim 1, wherein the acquisition unit acquires the luminance histogram from the image data generated by the smoothing unit.
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。 The correction unit corrects the input image data so that a luminance value of a pixel having a luminance value higher than the third threshold among luminance values belonging to a cluster that does not satisfy the predetermined condition is reduced. The image processing apparatus according to any one of claims 1 to 4.
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：画像の空間周波数が、第１閾値以上の空間周波数である高周波成分を含む
条件２：画像の輝度が、第２閾値よりも高い
ことを特徴とする画像処理装置。 For each of a plurality of blocks constituting the image area represented by the input image data, the spatial frequency information related to the spatial frequency of the image in the block and the feature quantity related to the luminance of the image in the block are acquired from the input image data. Acquisition means;
For each of the plurality of blocks, determination means for determining whether the block satisfies a predetermined condition based on the spatial frequency information and the feature amount acquired for the block;
Correction means for correcting the input image data based on the determination result of the determination means;
Have
The determination means determines that the predetermined condition is satisfied for a block satisfying the first predetermined condition including the following condition 1 and condition 2: Condition 1: The spatial frequency of the image is a spatial frequency equal to or higher than the first threshold value. A certain high-frequency component is included. Condition 2: The image processing apparatus is characterized in that the luminance of the image is higher than a second threshold value.
ことを特徴とする請求項７に記載の画像処理装置。 The image processing apparatus according to claim 7, wherein the condition 1 is a condition that “the spatial frequency of the image includes a high-frequency component in an amount equal to or greater than a third threshold value”.
条件３：前記第１所定条件を満たすブロックに隣接する
ことを特徴とする請求項７または８に記載の画像処理装置。 The determination means further determines that the predetermined condition is satisfied for a block satisfying the second predetermined condition including the condition 2 and the following condition 3. Condition 3: Adjacent to the block satisfying the first predetermined condition The image processing apparatus according to claim 7, wherein the image processing apparatus is an image processing apparatus.
ことを特徴とする請求項７〜９のいずれか１項に記載の画像処理装置。 The correction means corrects the input image data so that a luminance value of a pixel having a luminance value higher than a fourth threshold included in the block satisfying the predetermined condition is reduced. The image processing apparatus according to any one of 7 to 9.
ことを特徴とする請求項７〜９のいずれか１項に記載の画像処理装置。 The correction means corrects the input image data so that a luminance value of a pixel having a luminance value higher than a fourth threshold included in a block that does not satisfy the predetermined condition is reduced. Item 10. The image processing apparatus according to any one of Items 7 to 9.
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出手段で検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：前記所定のオブジェクトの画像の領域を含む
条件２：画像の輝度が、第１閾値よりも高い
ことを特徴とする画像処理装置。 For each of a plurality of blocks constituting the region of the image represented by the input image data, an acquisition unit that acquires, from the input image data, a feature amount related to the luminance of the image in the block;
Detection means for detecting an image area of a predetermined object from an image area represented by the input image data;
A determination unit that determines, for each of the plurality of blocks, whether or not the block satisfies a predetermined condition based on the feature amount acquired for the block and the area detected by the detection unit; ,
Correction means for correcting the input image data based on the determination result of the determination means;
Have
The determination means determines that the predetermined condition is satisfied for a block satisfying a first predetermined condition including the following condition 1 and condition 2: Condition 1: includes an image area of the predetermined object Condition 2: Image The image processing apparatus is characterized in that the luminance of is higher than the first threshold.
条件３：前記第１所定条件を満たすブロックに隣接する
ことを特徴とする請求項１２に記載の画像処理装置。 The determination means further determines that the predetermined condition is satisfied for a block satisfying the second predetermined condition including the condition 2 and the following condition 3. Condition 3: Adjacent to the block satisfying the first predetermined condition The image processing apparatus according to claim 12, wherein:
ことを特徴とする請求項１２または１３に記載の画像処理装置。 The image processing apparatus according to claim 12, wherein the predetermined object includes a light emitter.
ことを特徴とする請求項１２または１３に記載の画像処理装置。 The image processing apparatus according to claim 12, wherein the predetermined object includes at least one of a face and a character.
ことを特徴とする請求項１２〜１５のいずれか１項に記載の画像処理装置。 The said correction | amendment means correct | amends the said input image data so that the luminance value of the pixel which is contained in the block which satisfy | fills the said predetermined condition and which has a luminance value higher than a 2nd threshold value is reduced. The image processing device according to any one of 12 to 15.
ことを特徴とする請求項１２〜１５のいずれか１項に記載の画像処理装置。 The correction means corrects the input image data so that a luminance value of a pixel having a luminance value higher than a second threshold included in a block that does not satisfy the predetermined condition is reduced. Item 16. The image processing device according to any one of Items 12 to 15.
前記取得手段で取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出手段と、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出手段で検出された明滅シーンの入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：画像の輝度が第１閾値以上の変動幅で変動する頻度が、第２閾値以上である
条件２：画像の輝度の最大値が第３閾値よりも高い
ことを特徴とする画像処理装置。 Acquisition means for acquiring, for each frame, a feature amount related to the brightness of the image represented by the input image data of the frame;
Detecting means for detecting a scene satisfying a predetermined condition as a blinking scene in which the luminance of the image is repeatedly increased and decreased based on the feature amount acquired by the acquiring means;
Correction means for correcting the input image data of the blinking scene detected by the detection means so that the representable range that is the luminance range from the lower limit value to the upper limit value of the luminance value gradually changes in time;
Have
The predetermined condition includes the following condition 1 and condition 2: Condition 1: The frequency at which the luminance of the image fluctuates within a fluctuation range of the first threshold or higher is the second threshold or higher. Condition 2: The maximum value of the luminance of the image is An image processing apparatus characterized by being higher than a third threshold.
ことを特徴とする請求項１８に記載の画像処理装置。 The image processing apparatus according to claim 18, wherein the correction unit corrects the input image data of the blinking scene so that the fluctuation range is limited to a value less than the first threshold value.
ことを特徴とする請求項１８または１９に記載の画像処理装置。 The correction means corrects the input image data of the blinking scene so that the representable range periodically changes in a cycle longer than a cycle in which the increase / decrease in luminance of the image is repeated. The image processing apparatus according to claim 18 or 19.
前記輝度ヒストグラムから、度数が第１閾値以上である１つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出ステップと、
前記検出ステップで検出されたクラスタが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：第２閾値以下の数のカテゴリからなる
条件２：第３閾値よりも高い輝度値を含む
ことを特徴とする画像処理方法。 Obtaining a luminance histogram from the input image data for each category that is a luminance range including one or more luminance values, representing the total number of pixels having luminance values belonging to that category as a frequency;
Detecting from the luminance histogram a cluster that is a luminance range consisting of one or more categories whose frequency is equal to or greater than a first threshold;
A determination step of determining whether or not the cluster detected in the detection step satisfies a predetermined condition;
A correction step of correcting the input image data based on the determination result of the determination step;
Have
The predetermined condition includes the following condition 1 and condition 2: Condition 1: consists of a number of categories equal to or less than the second threshold. Condition 2: an image processing method including a luminance value higher than the third threshold.
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：画像の空間周波数が、第１閾値以上の空間周波数である高周波成分を含む
条件２：画像の輝度が、第２閾値よりも高い
ことを特徴とする画像処理方法。 For each of a plurality of blocks constituting the image area represented by the input image data, the spatial frequency information related to the spatial frequency of the image in the block and the feature quantity related to the luminance of the image in the block are acquired from the input image data. An acquisition step;
For each of the plurality of blocks, a determination step of determining whether or not the block satisfies a predetermined condition based on the spatial frequency information and the feature amount acquired for the block;
A correction step of correcting the input image data based on the determination result of the determination step;
Have
In the determination step, it is determined that the predetermined condition is satisfied for a block satisfying the first predetermined condition including the following conditions 1 and 2. Condition 1: The spatial frequency of the image is a spatial frequency equal to or higher than the first threshold. Condition 2: including a certain high-frequency component: An image processing method, wherein the brightness of the image is higher than a second threshold value.
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出ステップで検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件１と条件２を含む第１所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件１：前記所定のオブジェクトの画像の領域を含む
条件２：画像の輝度が、第１閾値よりも高い
ことを特徴とする画像処理方法。 For each of a plurality of blocks constituting the region of the image represented by the input image data, an acquisition step of acquiring, from the input image data, a feature amount related to the luminance of the image in the block;
A detection step of detecting an image area of a predetermined object from an image area represented by the input image data;
For each of the plurality of blocks, a determination step for determining whether or not the block satisfies a predetermined condition based on the feature amount acquired for the block and the region detected in the detection step; ,
A correction step of correcting the input image data based on the determination result of the determination step;
Have
In the determination step, it is determined that the predetermined condition is satisfied for a block satisfying the first predetermined condition including the following condition 1 and condition 2: Condition 1: including an image area of the predetermined object Condition 2: Image The image processing method is characterized in that the luminance of the image is higher than the first threshold value.
前記取得ステップで取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出ステップと、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出ステップで検出された明滅シーンの入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件１と条件２を含む
条件１：画像の輝度が第１閾値以上の変動幅で変動する頻度が、第２閾値以上である
条件２：画像の輝度の最大値が第３閾値よりも高い
ことを特徴とする画像処理方法。 For each frame, an acquisition step of acquiring a feature amount related to the brightness of the image represented by the input image data of the frame;
A detection step of detecting a scene satisfying a predetermined condition as a flickering scene in which an increase / decrease in the luminance of the image is repeated based on the feature amount acquired in the acquisition step;
A correction step of correcting the input image data of the blinking scene detected in the detection step so that an expressible range that is a luminance range from the lower limit value to the upper limit value of the luminance value gradually changes in time;
Have
The predetermined condition includes the following condition 1 and condition 2: Condition 1: The frequency at which the luminance of the image fluctuates within a fluctuation range of the first threshold or higher is the second threshold or higher. Condition 2: The maximum value of the luminance of the image is An image processing method characterized by being higher than a third threshold.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014224356A JP2016092576A (en) | 2014-11-04 | 2014-11-04 | Image processing apparatus, image processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014224356A JP2016092576A (en) | 2014-11-04 | 2014-11-04 | Image processing apparatus, image processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016092576A true JP2016092576A (en) | 2016-05-23 |
Family
ID=56019729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014224356A Pending JP2016092576A (en) | 2014-11-04 | 2014-11-04 | Image processing apparatus, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016092576A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016194362A1 (en) * | 2015-06-04 | 2016-12-08 | Canon Kabushiki Kaisha | Image display apparatus, image output apparatus, and control methods thereof |
| WO2018092467A1 (en) * | 2016-11-15 | 2018-05-24 | シャープ株式会社 | Display device, display method, and image processing device |
| WO2018180843A1 (en) * | 2017-03-29 | 2018-10-04 | シャープ株式会社 | Display device |
| CN109461419A (en) * | 2018-12-24 | 2019-03-12 | 惠科股份有限公司 | Display data processing method and system and display device |
| JP2020009136A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Image processing system, control method, and program |
| CN116109526A (en) * | 2023-04-12 | 2023-05-12 | 深圳市昂星科技有限公司 | Display picture enhancement method and system based on vehicle rearview mirror |
-
2014
- 2014-11-04 JP JP2014224356A patent/JP2016092576A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016194362A1 (en) * | 2015-06-04 | 2016-12-08 | Canon Kabushiki Kaisha | Image display apparatus, image output apparatus, and control methods thereof |
| US10839758B2 (en) | 2015-06-04 | 2020-11-17 | Canon Kabushiki Kaisha | Image display apparatus, image output apparatus, and control methods thereof |
| WO2018092467A1 (en) * | 2016-11-15 | 2018-05-24 | シャープ株式会社 | Display device, display method, and image processing device |
| WO2018180843A1 (en) * | 2017-03-29 | 2018-10-04 | シャープ株式会社 | Display device |
| JP2020009136A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Image processing system, control method, and program |
| JP7280670B2 (en) | 2018-07-06 | 2023-05-24 | キヤノン株式会社 | Image processing device, control method, and program |
| CN109461419A (en) * | 2018-12-24 | 2019-03-12 | 惠科股份有限公司 | Display data processing method and system and display device |
| CN116109526A (en) * | 2023-04-12 | 2023-05-12 | 深圳市昂星科技有限公司 | Display picture enhancement method and system based on vehicle rearview mirror |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016092576A (en) | Image processing apparatus, image processing method and program | |
| US11107204B2 (en) | System and method for real-time tone-mapping | |
| Lin et al. | Multi-scale retinex improvement for nighttime image enhancement | |
| KR100782845B1 (en) | A digital image enhancement method and system using non-log domain illumination correction | |
| KR102145201B1 (en) | Method and apparatus for dynamic range enhancement of an image | |
| JP6758891B2 (en) | Image display device and image display method | |
| US20060082689A1 (en) | Method of generating transfer curves for adaptive contrast enhancement | |
| Bagade et al. | Use of histogram equalization in image processing for image enhancement | |
| CN105191277B (en) | Details enhancing based on guiding filter | |
| US9396526B2 (en) | Method for improving image quality | |
| CN102428492A (en) | A display apparatus and a method therefor | |
| EP3190585A1 (en) | Image adjusting method capable of executing optical adjustment according to environmental variation and related display | |
| JP2010503056A (en) | Image enhancement method and apparatus | |
| KR20090000503A (en) | Method and apparatus for improving dynamic range of images | |
| EP1703462B1 (en) | System or method for enhancing an image | |
| US20150318019A1 (en) | Method and apparatus for editing video scenes based on learned user preferences | |
| CN112819699A (en) | Video processing method and device and electronic equipment | |
| US11310440B2 (en) | Image processing apparatus, surveillance camera system, and image processing method | |
| JP2005217847A (en) | Frame circulation type noise reduction method | |
| JP6627530B2 (en) | Image processing device and program | |
| Carbonaro et al. | A comprehensive approach to image-contrast enhancement | |
| CN112488957A (en) | Low-illumination color image real-time enhancement method and system | |
| Lee et al. | Visual sensitivity correlated tone reproduction for low dynamic range images in the compression field | |
| JP6801647B2 (en) | Image processing equipment and methods | |
| CN114022390B (en) | Star burst adding method, star burst adding device, computer equipment and readable storage medium |