JP5654065B2 - Video processing method and apparatus - Google Patents

Video processing method and apparatus Download PDF

Info

Publication number
JP5654065B2
JP5654065B2 JP2013026023A JP2013026023A JP5654065B2 JP 5654065 B2 JP5654065 B2 JP 5654065B2 JP 2013026023 A JP2013026023 A JP 2013026023A JP 2013026023 A JP2013026023 A JP 2013026023A JP 5654065 B2 JP5654065 B2 JP 5654065B2
Authority
JP
Japan
Prior art keywords
video
value
brightness
luminance
luminance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013026023A
Other languages
Japanese (ja)
Other versions
JP2013140381A (en
Inventor
良 鎬 趙
良 鎬 趙
承 信 李
承 信 李
智 暎 洪
智 暎 洪
朴 斗 植
斗 植 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013140381A publication Critical patent/JP2013140381A/en
Application granted granted Critical
Publication of JP5654065B2 publication Critical patent/JP5654065B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive

Description

本発明は、映像処理方法および装置に関し、より詳しくは、低電力環境下で映像の明るさを正常の電力下と類似する程度に維持することのできる映像処理方法および装置に関するものである。   The present invention relates to a video processing method and apparatus, and more particularly, to a video processing method and apparatus capable of maintaining the brightness of video in a low power environment to a level similar to that under normal power.

近年、携帯電話、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)のような携帯用端末機の普及が増加している。携帯用端末機は、携帯性と使用性の便利さを長所とする一方、構造的に電力供給量に限界があるという短所も有する。一般的に、使用者は充電やバッテリ交換なしで携帯用端末機を長時間の間使用することを願うため、携帯用端末機の電力消耗を減らす技術は大変重要な課題である。   In recent years, portable terminals such as mobile phones, PDA (Personal Digital Assistants), and PMP (Portable Multimedia Player) have been widely used. While the portable terminal has advantages in portability and convenience, it also has a disadvantage in that there is a limit to the amount of power supply in terms of structure. Generally, since a user desires to use a portable terminal for a long time without charging or battery replacement, a technique for reducing power consumption of the portable terminal is a very important issue.

携帯用端末機における相当量の電力消耗は、ディスプレイ装置の駆動部で発生する。したがって、携帯用端末機の電力消耗を減らすために、低電力モードではディスプレイ装置の光源(例えば、LCDのバックライト)の明るさを減少させることができる。この場合、認知される明るさの変化なく使用者に映像をディスプレイできる映像処理技法が要求されている。
韓国公開特許第10−2005−046162号公報
A considerable amount of power consumption in the portable terminal occurs in the driving unit of the display device. Accordingly, in order to reduce power consumption of the portable terminal, the brightness of the light source of the display device (for example, the backlight of the LCD) can be reduced in the low power mode. In this case, there is a demand for a video processing technique that can display a video to the user without a perceived change in brightness.
Korean Published Patent No. 10-2005-046162

本発明は、低電力環境で映像の明るさを向上させることにその目的がある。
本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。
An object of the present invention is to improve the brightness of an image in a low power environment.
The objects of the present invention are not limited to the objects mentioned above, and other objects that are not mentioned can be clearly understood by those skilled in the art from the following description.

前記目的を達成するために、本発明の一態様に係る映像処理方法は、入力映像の輝度ヒストグラムの特徴に応じて前記入力映像を所定の映像範疇に分類する段階、および前記映像範疇に対応する階調写像関数と前記入力映像を構成するピクセルの位置に応じて前記入力映像の輝度を調節する段階を含む。   In order to achieve the above object, an image processing method according to an aspect of the present invention includes a step of classifying the input image into a predetermined image category according to a feature of a luminance histogram of the input image, and corresponds to the image category. Adjusting a luminance of the input image according to a gradation mapping function and a position of a pixel constituting the input image.

前記目的を達成するために、本発明の一態様に係る映像処理装置は、入力映像の輝度ヒストグラムの特徴に応じて前記入力映像を所定の映像範疇に分類する分類部、および前記映像範疇に対応する階調写像関数と前記入力映像を構成するピクセルの位置に応じて前記入力映像の輝度を調節する輝度調節部を含む。   In order to achieve the above object, an image processing apparatus according to an aspect of the present invention is compatible with a classification unit that classifies the input image into a predetermined image category according to a feature of a luminance histogram of the input image, and the image category. A brightness adjusting unit that adjusts the brightness of the input image in accordance with a gradation mapping function to be performed and a position of a pixel constituting the input image.

その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。   In addition, the specific matter of embodiment is contained in detailed description and drawing.

上記のような本発明の映像処理方法および装置によれば、低電力環境でも正常の電力環境における明るさと類似する明るさで使用者が映像を鑑賞できる効果がある。   According to the video processing method and apparatus of the present invention as described above, there is an effect that the user can view the video at a brightness similar to that in a normal power environment even in a low power environment.

本発明の一実施形態に係る映像処理装置を示すブロック図である。It is a block diagram which shows the video processing apparatus which concerns on one Embodiment of this invention. 図1の分類部をより具体的に示すブロック図である。It is a block diagram which shows the classification | category part of FIG. 1 more specifically. 任意の入力映像に対して作成された輝度ヒストグラムの一例を示す図である。It is a figure which shows an example of the brightness | luminance histogram produced with respect to arbitrary input images | videos. 本発明の一実施形態に係る映像範疇の特徴を代表することのできる輝度ヒストグラムを示す図である。It is a figure which shows the brightness | luminance histogram which can represent the characteristic of the image category which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像範疇を選択するための選択部の動作過程を示すフローチャートである。4 is a flowchart illustrating an operation process of a selection unit for selecting a video category according to an exemplary embodiment of the present invention. 本発明の一実施形態に係るTMFを利用した輝度変化率をグラフによって示す図である。It is a figure which shows the luminance change rate using TMF which concerns on one Embodiment of this invention with a graph. 本発明の一実施形態に係る輝度調節部を示すブロック図である。It is a block diagram which shows the brightness | luminance adjustment part which concerns on one Embodiment of this invention. 本発明の入力映像を構成する各ピクセルに割当てられる可変利益値の一実施形態を示す図である。It is a figure which shows one Embodiment of the variable profit value allocated to each pixel which comprises the input image | video of this invention. 本発明の一実施形態に係るコントラスト調節部の構成を示すブロック図である。It is a block diagram which shows the structure of the contrast adjustment part which concerns on one Embodiment of this invention. 対象ピクセルと対象ピクセルとを含むマスクの平均輝度値を説明するための図である。It is a figure for demonstrating the average luminance value of the mask containing an object pixel and an object pixel. 本発明の一実施形態に係る彩度調節部を示すブロック図である。It is a block diagram which shows the saturation adjustment part which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像処理過程を示すフローチャートである。5 is a flowchart illustrating a video processing process according to an embodiment of the present invention.

本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって具現されることができ、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範囲によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。以下にて信号処理装置は信号処理部と呼ぶ。   Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and can be embodied in various forms different from each other. The present embodiments merely provide a complete disclosure of the present invention, and The present invention is provided only for fully understanding the scope of the invention to those skilled in the art to which the present invention pertains, and the present invention is defined only by the claims. Throughout the specification, the same reference numerals denote the same components. Hereinafter, the signal processing apparatus is referred to as a signal processing unit.

以下、添付された図面を参照して、本発明の好ましい実施形態を詳細に、説明することにする。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

図1は、本発明の一実施形態に係る映像処理装置100を示すブロック図である。映像処理装置100は、分類部110、輝度調節部120、コントラスト調節部130、および彩度調節部140を含む。映像処理装置100は所定のディスプレイ装置(図示なし)に含まれるか、ディスプレイ装置を具備した端末機に含まれることができ、ディスプレイ装置の電力モードと入力映像の輝度分布特性に応じて入力映像の輝度を調節することができる。ここで、ディスプレイ装置の好ましい例としてLCDを挙げることができ、前記LCDで提供される各ピクセルの輝度が個別的に調節されることもできる。   FIG. 1 is a block diagram showing a video processing apparatus 100 according to an embodiment of the present invention. The video processing apparatus 100 includes a classification unit 110, a luminance adjustment unit 120, a contrast adjustment unit 130, and a saturation adjustment unit 140. The video processing apparatus 100 may be included in a predetermined display device (not shown) or may be included in a terminal equipped with the display device. The brightness can be adjusted. Here, an LCD can be cited as a preferred example of the display device, and the brightness of each pixel provided in the LCD can be individually adjusted.

分類部110は、入力映像の輝度分布に応じて入力映像を所定の映像範疇に分類する。より具体的には、分類部110は互いに異なる特徴を有する複数の映像範疇のうちで入力映像の輝度ヒストグラムが有する特徴と最も類似する特徴を有する映像範疇によって入力映像を分類することができる。ここで、映像範疇は多様な映像の輝度分布特性を代表することのできるモデルを意味し、映像範疇の種類および数は予め設定されていられる。以下、図2ないし図5を参照して、本発明の一実施形態に係る分類部110についてより具体的に説明することにする。   The classification unit 110 classifies the input video into a predetermined video category according to the luminance distribution of the input video. More specifically, the classification unit 110 can classify the input video by a video category having a feature most similar to the feature of the luminance histogram of the input video among a plurality of video categories having different features. Here, the video category means a model that can represent luminance distribution characteristics of various videos, and the type and number of video categories are set in advance. Hereinafter, the classification unit 110 according to an embodiment of the present invention will be described in more detail with reference to FIGS. 2 to 5.

図2は、図1の分類部110をより具体的に示すブロック図である。分類部110は、ヒストグラム生成部210と、特徴抽出部220、および選択部230を含む。   FIG. 2 is a block diagram illustrating the classification unit 110 of FIG. 1 more specifically. The classification unit 110 includes a histogram generation unit 210, a feature extraction unit 220, and a selection unit 230.

ヒストグラム生成部210は、入力映像の輝度分布を示す輝度ヒストグラムを生成する。輝度ヒストグラムを生成するためには、入力映像の各ピクセルが有する輝度値を算出しなければならない。輝度値を算出するための一実施形態として、ヒストグラム生成部210は式(1)に示すようなNTSC(National Television Systems Committee)標準の計算式を使用することができる。   The histogram generation unit 210 generates a luminance histogram indicating the luminance distribution of the input video. In order to generate a luminance histogram, the luminance value of each pixel of the input video must be calculated. As an embodiment for calculating the luminance value, the histogram generation unit 210 may use an NTSC (National Television Systems Committee) standard calculation formula as shown in Formula (1).

Y=0.288R+0.587G+0.114B (1)
式(1)でR、G、Bは各々輝度値を算出しようとする対象ピクセルの赤、緑、青の成分値を示し、Yは対象ピクセルの輝度値を示す。式(1)は入力映像を表現する色がRGB色空間に基づく場合に使用され得る。もちろん、入力映像を表現する色が異なる類型の色空間に基づいているのであれば、輝度値を算出するために他の方式が使用され得る。また、本発明は、輝度値の算出方式に限定されないため、入力映像がRGB色空間を使用していたとしても、NTSC標準の計算式以外に他の輝度値の算出方式が使用されても構わない。入力映像が輝度値を含む色空間に基づいていれば、輝度値を算出する作業は省略することができる。
Y = 0.288R + 0.587G + 0.114B (1)
In Equation (1), R, G, and B indicate red, green, and blue component values of the target pixel for which the luminance value is to be calculated, and Y indicates the luminance value of the target pixel. Equation (1) may be used when the color representing the input video is based on the RGB color space. Of course, if the colors representing the input video are based on different types of color spaces, other methods can be used to calculate the luminance value. In addition, since the present invention is not limited to the luminance value calculation method, even if the input video uses the RGB color space, other luminance value calculation methods may be used in addition to the NTSC standard calculation method. Absent. If the input video is based on a color space including the luminance value, the work of calculating the luminance value can be omitted.

図3は、任意の入力映像に対して作成された輝度ヒストグラムの一例を示す図面である。図示する輝度ヒストグラムの横軸は輝度値を示す。例えば、入力映像が8ビット映像であれば、輝度値は0〜255の間の値を有することができる。一方、輝度ヒストグラムの縦軸は、各輝度値に対応するピクセル頻度を示す。ここで、ピクセル頻度は入力映像で各輝度値を有するピクセルの数に対応する。   FIG. 3 is a diagram illustrating an example of a luminance histogram created for an arbitrary input video. The horizontal axis of the illustrated luminance histogram indicates the luminance value. For example, if the input image is an 8-bit image, the luminance value may have a value between 0 and 255. On the other hand, the vertical axis of the luminance histogram indicates the pixel frequency corresponding to each luminance value. Here, the pixel frequency corresponds to the number of pixels having each luminance value in the input image.

再び図2を参照すれば、特徴抽出部220は、ヒストグラム生成部210が提供する輝度ヒストグラムの特徴を抽出する。輝度ヒストグラムの特徴は、入力映像が属する映像範疇を決定するために使われるパラメータであり、1つの輝度ヒストグラムから複数の特徴が抽出される。いかなるパラメータを輝度ヒストグラムの特徴として使用するかは映像処理装置100の設計時に決定されていられる。本発明の一実施形態に係る、輝度ヒストグラムの特徴を示すパラメータに対して図3を参照して説明することにする。   Referring to FIG. 2 again, the feature extraction unit 220 extracts the features of the luminance histogram provided by the histogram generation unit 210. The feature of the luminance histogram is a parameter used to determine the video category to which the input video belongs, and a plurality of features are extracted from one luminance histogram. What parameters are used as features of the luminance histogram is determined at the time of designing the video processing apparatus 100. The parameters indicating the characteristics of the luminance histogram according to an embodiment of the present invention will be described with reference to FIG.

図3に示すように、輝度範囲は低帯域(low band)、中帯域(middle band)、および高帯域(high band)に分けることができる。ここで、輝度範囲は1つのピクセルが表すことのできる階調の数を意味する。例えば、8ビット映像を構成する各ピクセルは0〜255の間の輝度値を有することができるため、8ビット映像での輝度範囲は0〜255となる。   As shown in FIG. 3, the luminance range can be divided into a low band, a middle band, and a high band. Here, the luminance range means the number of gradations that one pixel can represent. For example, since each pixel constituting an 8-bit video can have a luminance value between 0 and 255, the luminance range in the 8-bit video is 0 to 255.

各帯域間の境界は、事前実験によって輝度ヒストグラムの特徴を最もよく表すことができる位置に設定され得る。例えば、低帯域と中帯域の境界(L)は輝度範囲のうち下位25%(8ビット映像の場合に輝度値63)であり、中帯域と高帯域の境界(H)は輝度範囲のうち上位25%(8ビット映像の場合に輝度値191)であり得る。   The boundary between each band can be set to a position that can best represent the features of the luminance histogram by prior experiments. For example, the boundary (L) between the low band and the medium band is the lower 25% of the luminance range (luminance value 63 in the case of 8-bit video), and the boundary (H) between the medium band and the high band is the upper part of the luminance range. It may be 25% (luminance value 191 for 8-bit video).

輝度ヒストグラムの特徴を示すパラメータの例として、HighSUM、LowSUM、MiddleSUM、Mean、ZeroBin、Dynamic Range(以下、「DR」という)を挙げることができる。   Examples of the parameters indicating the characteristics of the luminance histogram include HighSUM, LowSUM, MiddleSUM, Mean, ZeroBin, and Dynamic Range (hereinafter referred to as “DR”).

HighSUMは高帯域に含まれるピクセル数を意味し、LowSUMは低帯域に含まれるピクセル数を意味し、MiddleSUMは中帯域に含まれるピクセル数を意味する。Meanは、入力映像を構成するすべてのピクセルの輝度値の平均(以下、平均輝度値という)を意味する。   HighSUM means the number of pixels included in the high band, LowSUM means the number of pixels included in the low band, and MiddleSUM means the number of pixels included in the medium band. Mean means an average of luminance values of all pixels constituting the input video (hereinafter referred to as average luminance value).

DRは、輝度ヒストグラムで輝度値の有効範囲を示すが、Max−Minで定義され得る。ここで、Maxは輝度ヒストグラムで輝度値が低い順に各輝度値の頻度を合算する場合、その合計が輝度ヒストグラムの面積の1%になる時の輝度値を意味する。また、Minは輝度値が高い順に各輝度値の頻度を合算する場合、その合計が輝度ヒストグラムの面積の1%になる時の輝度値を意味する。例えば、図3の輝度ヒストグラムで、第1領域310の広さが輝度ヒストグラム全体面積の1%であればMaxはY1になり、第2領域320の広さが輝度ヒストグラム全体面積の1%であればMinはY2となる。この場合、輝度ヒストグラムのDRは、Y1−Y2で表すことができる。   DR indicates the effective range of the luminance value in the luminance histogram, and can be defined by Max-Min. Here, Max means the luminance value when the sum of the frequencies of the luminance values in the luminance histogram in ascending order is 1% of the area of the luminance histogram. In addition, Min means the luminance value when the sum of the frequencies of the luminance values in descending order is 1% of the area of the luminance histogram. For example, in the luminance histogram of FIG. 3, if the area of the first region 310 is 1% of the entire area of the luminance histogram, Max is Y1, and the area of the second area 320 is 1% of the entire area of the luminance histogram. Min becomes Y2. In this case, DR of the luminance histogram can be represented by Y1-Y2.

ZeroBinは中帯域に属する各輝度値の頻度の平均の10%を基準値とする時、輝度範囲のうちで頻度が基準値より小さい輝度値を有するピクセル数を意味する。   ZeroBin means the number of pixels having a luminance value whose frequency is smaller than the reference value in the luminance range when 10% of the average frequency of each luminance value belonging to the middle band is used as the reference value.

再び図2を参照すれば、選択部230は特徴抽出部220から提供されている輝度ヒストグラムの特徴を分析して入力映像と最も近い特徴を有する映像範疇を選択する。本発明の一実施形態に係る映像範疇の特徴を代表することのできる輝度ヒストグラム(以下、代表ヒストグラムという)を図4に示す。   Referring to FIG. 2 again, the selection unit 230 analyzes the feature of the luminance histogram provided from the feature extraction unit 220 and selects a video category having a feature closest to the input video. FIG. 4 shows a luminance histogram (hereinafter referred to as a representative histogram) that can represent the characteristics of the video category according to an embodiment of the present invention.

図4に示す代表ヒストグラムによって各映像範疇が有する輝度特性を詳しく見ると、映像範疇Aは中帯域に属するピクセルが多く、高帯域および低帯域に属するピクセルが少ない映像を代表する。映像範疇Bは高帯域に属するピクセルが多い映像を代表し、映像範疇Cは低帯域に属するピクセルが多い映像を代表する。映像範疇Dは、高いコントラストを示す映像として、高帯域と低帯域に大部分のピクセルが分布する映像を代表する。映像範疇Eは、前帯域にかけて均等なピクセル分布を有する映像を代表する。最後に、映像範疇Fはグラフィック作業によって生成された映像のように輝度値が離散して分布する映像を代表する。図4に示す各映像範疇の代表ヒストグラムは、一実施形態にすぎないため、他の輝度特性を有する映像範疇が使用されることもできる。   When the luminance characteristics of each video category are examined in detail using the representative histogram shown in FIG. 4, the video category A represents an image having many pixels belonging to the middle band and few pixels belonging to the high band and the low band. The video category B represents a video with many pixels belonging to the high band, and the video category C represents a video with many pixels belonging to the low band. The image category D represents an image in which most pixels are distributed in a high band and a low band as an image showing high contrast. The image category E represents an image having a uniform pixel distribution over the previous band. Finally, the video category F represents a video in which luminance values are discretely distributed like a video generated by graphic work. Since the representative histogram of each video category shown in FIG. 4 is only one embodiment, video categories having other luminance characteristics may be used.

入力映像を分類するために使用される輝度ヒストグラムの特徴が、先に説明したようなHighSUM、LowSUM、MiddleSUM、Mean、ZeroBin、およびDRであり、映像範疇が図4に示すような輝度特性を有する場合、映像範疇を選択するための選択部230の動作過程に対する一実施形態を図5に示す。   The characteristics of the luminance histogram used to classify the input video are HighSUM, LowSUM, MiddleSUM, Mean, ZeroBin, and DR as described above, and the video category has luminance characteristics as shown in FIG. In this case, FIG. 5 illustrates an exemplary embodiment of an operation process of the selection unit 230 for selecting a video category.

まず、選択部230は、入力映像のHighSUMおよびLowSUMが各々入力映像の全体ピクセル数の25%より小さいか同じであるかを判断する(S510)。段階S510の判断結果が正しければ、選択部230はMiddleSUMがHighSUMおよびLowSUMを合計した値の125%より大きいかを判断する(S515)。段階S515の判断結果が正しければ、選択部230は映像範疇Aを選択する(S520)。   First, the selection unit 230 determines whether HighSUM and LowSUM of the input video are less than or equal to 25% of the total number of pixels of the input video (S510). If the determination result in step S510 is correct, the selection unit 230 determines whether MiddleSUM is greater than 125% of the sum of HighSUM and LowSUM (S515). If the determination result in step S515 is correct, the selection unit 230 selects the video category A (S520).

しかし、段階S515の判断結果が正しくなければ、選択部230はZeroBinがMiddleSUMに0.5をかけた値より大きいかを判断する(S525)。段階S525の判断結果が正しければ選択部230は映像範疇Fを選択し(S530)、段階S525の判断結果が正しくなければ選択部230は映像範疇Eを選択する(S535)。   However, if the determination result in step S515 is not correct, the selection unit 230 determines whether ZeroBin is larger than a value obtained by multiplying MiddleSUM by 0.5 (S525). If the determination result in step S525 is correct, the selection unit 230 selects the video category F (S530). If the determination result in step S525 is not correct, the selection unit 230 selects the video category E (S535).

一方、段階S510の判断結果が正しくなければ、選択部230はHighSUMおよびLowSUMが各々入力映像の全体ピクセル数の25%より大きくて、DRに含まれるピクセル数が全体ピクセル数の90%より大きいかを判断する(S540)。段階S540の判断結果が正しければ、選択部230は映像範疇Dを選択する(S545)。   On the other hand, if the determination result in step S510 is not correct, the selection unit 230 determines that HighSUM and LowSUM are each greater than 25% of the total number of pixels of the input video and that the number of pixels included in the DR is greater than 90% of the total number of pixels. Is determined (S540). If the determination result in step S540 is correct, the selection unit 230 selects the video category D (S545).

しかし段階S540の判断結果が正しくなければ、選択部230はMeanが輝度範囲に0.45をかけた値より大きくて、輝度範囲に0.55をかけた値より小さいかを判断する(S550)。段階S550の判断結果が正しければ、選択部230は映像範疇Eを選択する(S535)。   However, if the determination result in step S540 is not correct, the selection unit 230 determines whether Mean is larger than the value obtained by multiplying the luminance range by 0.45 and smaller than the value obtained by multiplying the luminance range by 0.55 (S550). . If the determination result in step S550 is correct, the selection unit 230 selects the video category E (S535).

しかし段階S550の判断結果が正しくなければ、選択部230はZeroBinがMiddleSUMの0.5倍より大きいかを判断する(S555)。段階S555の判断結果が正しければ、選択部230は映像範疇Fを選択する(S530)。   However, if the determination result in step S550 is not correct, the selection unit 230 determines whether ZeroBin is larger than 0.5 times of MiddleSUM (S555). If the determination result in step S555 is correct, the selection unit 230 selects the video category F (S530).

一方、段階S555の判断結果が正しくなければ、選択部230はHighSUMが全体ピクセル数の25%より大きくて、LowSUMが全体ピクセル数の25%より小さいか同じであるかを判断する(S560)。段階S560の判断結果が正しければ、選択部230は映像範疇Bを選択する(S565)。   On the other hand, if the determination result in step S555 is not correct, the selection unit 230 determines whether HighSUM is greater than 25% of the total number of pixels and LowSUM is less than or equal to 25% of the total number of pixels (S560). If the determination result in step S560 is correct, the selection unit 230 selects the video category B (S565).

しかし、段階S560の判断結果が正しくなければ、選択部230はHighSUMが全体ピクセル数の25%より小さくて、LowSUMが全体ピクセル数の25%より大きいか同じであるか判断する(S570)。段階S570の判断結果が正しければ、選択部230は映像範疇Cを選択する(S575)。   However, if the determination result in step S560 is not correct, the selection unit 230 determines whether HighSUM is smaller than 25% of the total number of pixels and LowSUM is greater than or equal to 25% of the total number of pixels (S570). If the determination result in step S570 is correct, the selection unit 230 selects the video category C (S575).

しかし、段階S570の判断結果が正しくなければ、選択部230はMeanが画素範囲に0.5をかけた値より小さいかを判断する(S580)。段階S580の判断結果が正しければ選択部230は映像範疇Aを選択し(S520)、正しくなければ選択部230は映像範疇Eを選択する(S535)。   However, if the determination result in step S570 is not correct, the selection unit 230 determines whether Mean is smaller than a value obtained by multiplying the pixel range by 0.5 (S580). If the determination result in step S580 is correct, the selection unit 230 selects the video category A (S520), and if not, the selection unit 230 selects the video category E (S535).

以上、図5の映像範疇選択過程は一実施形態にすぎず、本発明がこれに限定されるものではない。   As described above, the video category selection process of FIG. 5 is merely an embodiment, and the present invention is not limited thereto.

再び図1を参照すれば、輝度調節部120は電力モードおよび入力映像が属する映像範疇に応じて入力映像の輝度を調節する。ここで、電力モードは映像処理装置100が適用されるディスプレイ装置の電力消耗の程度を示す。例えば、正常電力モードはディスプレイ装置が最大電力を使用していることを示し、低電力モードはディスプレイ装置が一定水準で消費電力を減少したことを表すことができる。もちろん、電力減少率に応じて低電力モードも多段階の電力モードで区分することができる。例えば、電力減少率が30%である場合を第1低電力モードにし、電力減少率が60%である場合を第2低電力モードにすることができる。   Referring to FIG. 1 again, the brightness adjusting unit 120 adjusts the brightness of the input image according to the power mode and the image category to which the input image belongs. Here, the power mode indicates the degree of power consumption of the display apparatus to which the video processing apparatus 100 is applied. For example, the normal power mode may indicate that the display device is using maximum power, and the low power mode may indicate that the display device has reduced power consumption at a certain level. Of course, the low power mode can also be classified into multi-stage power modes according to the power reduction rate. For example, the first low power mode can be set when the power reduction rate is 30%, and the second low power mode can be set when the power reduction rate is 60%.

輝度調節部120は、低電力モードにおける効果的な映像再現のために、入力映像が属する映像範疇に対応する階調写像関数(Tone Mapping Function;TMF)を使用できる。TMFは、低電力モードで各映像範疇に属する映像の輝度を調節するための最適化されたパターンを示す関数であって、入力輝度値に対応する出力輝度値を提供する。TMFは、事前実験によって輝度調節部120に設定され得る。   The brightness adjusting unit 120 may use a tone mapping function (TMF) corresponding to a video category to which an input video belongs for effective video reproduction in the low power mode. The TMF is a function indicating an optimized pattern for adjusting the luminance of the video belonging to each video category in the low power mode, and provides an output luminance value corresponding to the input luminance value. The TMF can be set in the brightness adjustment unit 120 by a preliminary experiment.

図6は、本発明の一実施形態に係るTMFを利用した輝度変化率をグラフで示す図面である。図示する輝度変化率グラフは、各々図4に示した6個の映像範疇に対応する。図6のグラフにおいて、横軸は入力輝度値を示しているが、本実施形態では6ビット映像を仮定し、0〜63の輝度範囲で表現されている。また、図6のグラフで縦軸は各入力輝度値に対応する輝度変化率を示す。図6のグラフを利用して入力映像の輝度を変化させる一例を説明すれば、入力映像が映像範疇Eに属する場合に入力映像のうちの輝度値が43であるピクセルに対する輝度増加率は0.14であるため、該当ピクセルの輝度値は43+(43*0.14)と計算されて約49になる。   FIG. 6 is a graph showing a luminance change rate using TMF according to an embodiment of the present invention. The illustrated luminance change rate graph corresponds to each of the six video categories shown in FIG. In the graph of FIG. 6, the horizontal axis indicates the input luminance value, but in the present embodiment, a 6-bit video is assumed and is expressed in a luminance range of 0 to 63. In the graph of FIG. 6, the vertical axis indicates the luminance change rate corresponding to each input luminance value. An example of changing the luminance of the input video using the graph of FIG. 6 will be described. When the input video belongs to the video category E, the luminance increase rate for a pixel having a luminance value of 43 in the input video is 0. Therefore, the luminance value of the corresponding pixel is calculated as 43+ (43 * 0.14) and becomes about 49.

以下、図7および図8を参照して、輝度調節部120について具体的に説明することにする。   Hereinafter, the brightness adjusting unit 120 will be described in detail with reference to FIGS. 7 and 8.

図7は、本発明の一実施形態に係る輝度調節部120を示すブロック図である。輝度調節部120は、固定利益処理部710、可変利益処理部720、およびスイッチ部730を含む。   FIG. 7 is a block diagram showing the brightness adjusting unit 120 according to an embodiment of the present invention. The brightness adjustment unit 120 includes a fixed profit processing unit 710, a variable profit processing unit 720, and a switch unit 730.

固定利益処理部710は、電力減少率によって決定される固定利益値と入力映像が属する映像範疇に対応するTMFを利用して入力映像の輝度値を調節する。固定利益処理部710によって調節される輝度値は、式(2)のように表すことができる。   The fixed profit processing unit 710 adjusts the luminance value of the input video using the fixed profit value determined by the power reduction rate and the TMF corresponding to the video category to which the input video belongs. The luminance value adjusted by the fixed profit processing unit 710 can be expressed as in Expression (2).

Figure 0005654065
式(2)において、
Figure 0005654065
In equation (2),

Figure 0005654065
は低電力映像の具現のための出力輝度値であり、
Figure 0005654065
Is the output luminance value for the realization of low-power video,

Figure 0005654065
は入力輝度値である。また、
Figure 0005654065
Is an input luminance value. Also,

Figure 0005654065
は入力映像が属する映像範疇に対応するTMFによる輝度増加率であって、図6のグラフの縦軸に対応する値である。また、
Figure 0005654065
Is a luminance increase rate by TMF corresponding to the video category to which the input video belongs, and is a value corresponding to the vertical axis of the graph of FIG. Also,

Figure 0005654065
は電力減少率に対応する利益値として、1つの入力映像を構成するすべてのピクセルに対して同一の値に適用される。もちろん、電力減少率に応じて
Figure 0005654065
Is applied to the same value for all pixels constituting one input image as a profit value corresponding to the power reduction rate. Of course, depending on the power reduction rate

Figure 0005654065
が変わり得る。例えば、電力減少率が高くなるほどディスプレイ装置の光源(例えば、LCDのバックライト)の明るさが低くなるもので、
Figure 0005654065
Can change. For example, the higher the power reduction rate, the lower the brightness of the light source (eg, LCD backlight) of the display device.

Figure 0005654065
は電力減少率が高くなるほど次第に大きい値に設定され、映像の輝度を増加させるようにできる。電力減少率に対応する適切な固定利益値は、事前実験によって設定され得る。
Figure 0005654065
Is set to a gradually increasing value as the power reduction rate increases, and the luminance of the image can be increased. An appropriate fixed profit value corresponding to the power reduction rate can be set by a prior experiment.

可変利益処理部720は、各ピクセルの映像内の位置に応じて決定される可変利益値と入力映像が属する映像範疇に対応するTMFを利用して入力映像の輝度値を調節する。可変利益処理部720によって調節される輝度値は式(3)のように表すことができる。   The variable profit processing unit 720 adjusts the luminance value of the input video using the variable profit value determined according to the position of each pixel in the video and the TMF corresponding to the video category to which the input video belongs. The luminance value adjusted by the variable profit processing unit 720 can be expressed as in Expression (3).

Figure 0005654065
式(3)において、
Figure 0005654065
In equation (3),

Figure 0005654065
式(2)で説明したような意味を有する。式(3)において、xとyは映像内で現在処理中にあるピクセル(以下、対象ピクセルという)の座標を示し、
Figure 0005654065
The meaning is as described in the formula (2). In Equation (3), x and y indicate the coordinates of a pixel currently being processed in the video (hereinafter referred to as a target pixel),

Figure 0005654065
は可変利益値として映像内で対象ピクセルが有する空間的位置に応じて可変する。
Figure 0005654065
Varies as a variable profit value according to the spatial position of the target pixel in the image.

好ましくは、映像の中心における可変利益値は0として、出力輝度値を入力輝度値と同一に維持し、映像の外郭領域では可変利益値を最大にして輝度増加率を高めることができる。その他、映像の中心部から外郭部に至る間の領域では、外郭部に行くほど可変利益値を徐々に増加させることによって、映像内で急激な明度値の差による映像の歪みを防止することができる。   Preferably, the variable profit value at the center of the video is set to 0, the output luminance value is maintained the same as the input luminance value, and the luminance increase rate can be increased by maximizing the variable profit value in the outer area of the video. In addition, in the area from the center of the video to the outer part, the variable profit value is gradually increased toward the outer part to prevent distortion of the video due to a sharp difference in brightness value in the video. it can.

このような特性を満足する可変利益値を計算するために、本発明の一実施形態によれば逆ガウス関数を使用することができる。まず、本発明の一実施形態に係るガウス関数を式(4)に示す。   In order to calculate a variable profit value that satisfies such characteristics, an inverse Gaussian function can be used according to an embodiment of the present invention. First, a Gaussian function according to an embodiment of the present invention is shown in Expression (4).

Figure 0005654065
式(4)において、「width」と「height」は入力映像の横および縦の大きさであり、AとBは入力映像の縦横比に応じてガウス関数を楕円形で変形するための定数値である。式(4)のガウス関数から正規化された逆ガウス関数は式(5)に示すようになる。
Figure 0005654065
In Expression (4), “width” and “height” are the horizontal and vertical sizes of the input video, and A and B are constant values for transforming the Gaussian function into an ellipse according to the aspect ratio of the input video. It is. An inverse Gaussian function normalized from the Gaussian function of Equation (4) is as shown in Equation (5).

Figure 0005654065
式(5)の逆ガウス関数を使用すれば、可変利益値は式(6)のように表すことができる。
Figure 0005654065
If the inverse Gaussian function of Expression (5) is used, the variable profit value can be expressed as Expression (6).

Figure 0005654065
式(6)において、
Figure 0005654065
In equation (6),

Figure 0005654065
は入力映像が属する映像範疇に対応する最大利益値であって、事前実験によって入力映像の輝度調節に適する値に設定されている。最大利益値
Figure 0005654065
Is the maximum profit value corresponding to the video category to which the input video belongs, and is set to a value suitable for the luminance adjustment of the input video by a prior experiment. Maximum profit value

Figure 0005654065
が4であり、入力映像の大きさが15*20である場合、入力映像を構成する各ピクセルに割当てられる可変利益値の一実施形態を図8に示す。図8において、各ブロックは入力映像800を構成するピクセルを示し、各ブロック内の数字は該当ピクセルに割当てられる可変利益値を示す。図示するように、入力映像800の中心領域では可変利益値が0に割当てられ、入力映像800の外郭領域では可変利益値が最大利益値の4に割当てられる。また、中心領域から外郭領域に次第に各ピクセルに割当てられる可変利益値は0から4に順次増加するようになる。
Figure 0005654065
FIG. 8 shows an embodiment of the variable profit value assigned to each pixel constituting the input video when is 4 and the size of the input video is 15 * 20. In FIG. 8, each block indicates a pixel constituting the input image 800, and a number in each block indicates a variable profit value assigned to the corresponding pixel. As shown in the figure, a variable profit value is assigned to 0 in the central area of the input image 800, and a variable profit value is assigned to a maximum profit value of 4 in the outer area of the input image 800. Further, the variable profit value assigned to each pixel gradually increases from 0 to 4 from the central area to the outline area.

スイッチ部730は、電力モードと入力映像が属する映像範疇に応じて固定利益処理部710と可変利益処理部720の動作を制御する。電力モードに関する情報は、図示していない外部モジュールから獲得することができる。例えば、映像処理装置100が適用されるディスプレイ装置の電力を制御する制御部(図示なし)から電力モードに関する情報を獲得することが可能である。   The switch unit 730 controls the operations of the fixed profit processing unit 710 and the variable profit processing unit 720 according to the power mode and the video category to which the input video belongs. Information on the power mode can be obtained from an external module (not shown). For example, it is possible to acquire information on the power mode from a control unit (not shown) that controls the power of the display device to which the video processing apparatus 100 is applied.

本発明の一実施形態によれば、映像処理装置100は映像処理装置100が適用されるディスプレイ装置が低電力モードで動作する場合、すなわちディスプレイ装置の消費電力が減少した場合に動作することが好ましい。したがって、電力減少がない正常電力モードであれば、スイッチ部730は固定利益処理部710と可変利益処理部720をすべて非活性化することができる。正常電力モードで入力映像の輝度を向上させるようになればむしろ出力映像に歪みが発生するためである。   According to an embodiment of the present invention, the video processing apparatus 100 preferably operates when the display apparatus to which the video processing apparatus 100 is applied operates in the low power mode, that is, when the power consumption of the display apparatus decreases. . Therefore, in the normal power mode in which there is no power reduction, the switch unit 730 can deactivate all the fixed profit processing unit 710 and the variable profit processing unit 720. This is because if the brightness of the input video is improved in the normal power mode, the output video is distorted.

低電力モードの場合、スイッチ部730は固定利益処理部710と可変利益処理部720のうちいずれか1つを活性化させるようになる。まず、電力減少率が閾値より大きくなければ、スイッチ部730は固定利益処理部710を活性化することができる。固定利益処理部710が入力映像の輝度を増加させる場合(すなわち、式(2)を使用する場合)、低電力環境でも正常電力が使用される環境と類似する明るさで映像を鑑賞することができる。   In the low power mode, the switch unit 730 activates one of the fixed profit processing unit 710 and the variable profit processing unit 720. First, if the power reduction rate is not greater than the threshold value, the switch unit 730 can activate the fixed profit processing unit 710. When the fixed profit processing unit 710 increases the luminance of the input video (that is, when using the equation (2)), the video can be viewed with brightness similar to the environment where normal power is used even in a low power environment. it can.

しかし、固定利益処理部710が使用する固定利益値は、電力減少率が高くなるほど次第に大きい値を有するため、電力減少率が閾値を越えるようになれば入力映像に対する輝度増加量が過度に大きくなるようになる。この場合、輝度値が飽和されて映像の細かさが減少し得る。特に、入力映像の中心部のピクセルが全般的に高い輝度値を有するならば、閾値より大きい電力減少率下での固定利益処理部710の処理結果は映像の画質を容易に劣化させることがあり得る。   However, since the fixed profit value used by the fixed profit processing unit 710 gradually increases as the power reduction rate increases, the amount of increase in luminance with respect to the input image becomes excessively large when the power reduction rate exceeds the threshold. It becomes like this. In this case, the luminance value is saturated and the fineness of the image can be reduced. In particular, if the pixel at the center of the input video generally has a high luminance value, the processing result of the fixed profit processing unit 710 under a power reduction rate larger than the threshold may easily deteriorate the image quality of the video. obtain.

したがって、スイッチ部730は、電力減少率が閾値より大きい場合には可変利益処理部720を活性化させることができる。先に説明したように、可変利益処理部720は映像内の位置に応じて対象ピクセルに割当てる利益値を可変する。したがって、可変利益処理部720によって処理された出力映像の中心部は、入力映像の中心部と同一の輝度値を有するようになり、映像の細かさが減少しない。また、映像の外郭領域は人間の視覚的特性上、相対的に重要度が低いため、可変利益処理部720は映像の外郭領域では利益値を高く設定して、映像の細かさよりは輝度の向上に重点を置く。この場合、使用者が認知する映像の明るさが正常な電力環境下における映像の明るさと類似するようになり得る。その他、映像の中心部から外郭部までは利益値が徐々に増加するようになるため、映像内における急激な明度値の差による映像の歪みを防止することができる。   Accordingly, the switch unit 730 can activate the variable profit processing unit 720 when the power reduction rate is greater than the threshold. As described above, the variable profit processing unit 720 changes the profit value assigned to the target pixel in accordance with the position in the video. Accordingly, the central portion of the output video processed by the variable profit processing unit 720 has the same luminance value as the central portion of the input video, and the fineness of the video is not reduced. In addition, since the outer area of the video is relatively low in terms of human visual characteristics, the variable profit processing unit 720 sets a higher profit value in the outer area of the video and improves the brightness rather than the fineness of the video. Emphasis on. In this case, the brightness of the image recognized by the user may be similar to the brightness of the image in a normal power environment. In addition, since the profit value gradually increases from the center of the video to the outline, it is possible to prevent the video from being distorted due to a sharp difference in brightness value in the video.

一方、電力減少率が閾値より大きいとしても、スイッチ部730は特殊な映像範疇に属する入力映像に対しては固定利益処理部710が活性化することができる。例えば、図4で映像範疇Dは輝度範囲の両極端に大部分のピクセルが集中している映像を代表し、映像範疇Fはいくつかの輝度値に大部分のピクセルが離散して分布している映像を代表しているが、このような映像範疇に属する入力映像は可変利益処理部720によって処理される場合に出力映像の歪みがむしろ増加し得る。映像範疇Dや映像範疇Fに属する映像は特殊な効果によって処理された映像であるか、グラフィック映像である可能性が高いためである。したがって、スイッチ部730はこのような映像範疇に属する入力映像に対しては固定利益処理部710を活性化させることができる。   On the other hand, even if the power reduction rate is larger than the threshold, the switch unit 730 can activate the fixed profit processing unit 710 for input video belonging to a special video category. For example, in FIG. 4, the video category D represents a video in which most pixels are concentrated at both extremes of the luminance range, and the video category F has a majority of pixels dispersed in several luminance values. Although an image is representative, when an input image belonging to such an image category is processed by the variable profit processing unit 720, distortion of the output image may increase. This is because the video belonging to the video category D and the video category F is likely to be a video processed by a special effect or a graphic video. Accordingly, the switch unit 730 can activate the fixed profit processing unit 710 for an input video belonging to such a video category.

再び図1を参照すれば、コントラスト調節部130は輝度調節部120によって処理された映像のコントラストを調節する。このため、コントラスト調節部130は入力映像を構成する各ピクセルの輝度特性に応じて各ピルセルの最終輝度値を決定するようになる。以下、図9および図10を参照して、コントラスト調節部130に対して具体的に説明するようにする。   Referring back to FIG. 1, the contrast adjuster 130 adjusts the contrast of the image processed by the brightness adjuster 120. Therefore, the contrast adjusting unit 130 determines the final luminance value of each pill cell according to the luminance characteristics of each pixel constituting the input image. Hereinafter, the contrast adjusting unit 130 will be described in detail with reference to FIGS. 9 and 10.

図9は、本発明の一実施形態に係るコントラスト調節部130の構成を示すブロック図である。コントラスト調節部130はピクセル分類部910およびコントラスト向上部920を含む。   FIG. 9 is a block diagram illustrating a configuration of the contrast adjustment unit 130 according to an embodiment of the present invention. The contrast adjustment unit 130 includes a pixel classification unit 910 and a contrast improvement unit 920.

ピクセル分類部910は、輝度特性に応じて入力映像の各ピクセルを分類する。本発明の一実施形態によれば、ピクセルは3つのグループに分類することができるが、具体的な分類基準として対象ピクセルのグローバルコントラスト率とローカルコントラスト率とを使用することができる。   The pixel classification unit 910 classifies each pixel of the input video according to the luminance characteristics. According to an embodiment of the present invention, the pixels can be classified into three groups, but the global contrast ratio and the local contrast ratio of the target pixel can be used as specific classification criteria.

グローバルコントラスト率は、対象ピクセルの輝度値と入力映像の平均輝度値との間の比率として式(7)に示すようになる。   The global contrast ratio is expressed by Equation (7) as a ratio between the luminance value of the target pixel and the average luminance value of the input video.

Figure 0005654065
式(7)において、Contはグローバルコントラスト率を示す。また、
Figure 0005654065
In Expression (7), Cont represents the global contrast rate. Also,

Figure 0005654065
は入力映像の平均輝度値であり、
Figure 0005654065
Is the average luminance value of the input video,

Figure 0005654065
は対象ピクセルの輝度値である。ここで、
Figure 0005654065
Is the luminance value of the target pixel. here,

Figure 0005654065
は輝度調節部120によって処理される前の入力映像を基準にした値である。
Figure 0005654065
Is a value based on the input video before being processed by the brightness adjusting unit 120.

対象ピクセルのグローバルコントラスト率が1より大きいであれば、対象ピクセルは入力映像で暗いピクセルに属するということを意味する。この場合、ピクセル分類部910は対象ピクセルを全般的に暗いピクセル(globally dark pixel;GDP)で分類する。しかし対象ピクセルのグローバルコントラスト率が1より大きくなければ、対象ピクセルは入力映像で明るいピクセルが属するということを意味する。この場合、ピクセル分類部910は対象ピクセルを全般的に明るいピクセル(globally light pixel;GLP)で分類する。   If the global contrast ratio of the target pixel is greater than 1, it means that the target pixel belongs to a dark pixel in the input image. In this case, the pixel classification unit 910 classifies the target pixel by a generally dark pixel (GDP). However, if the global contrast ratio of the target pixel is not greater than 1, it means that the target pixel belongs to a bright pixel in the input image. In this case, the pixel classifying unit 910 classifies the target pixel as a generally bright pixel (GLP).

ピクセル分類部910はGLPに分類されたピクセルをローカルコントラスト率に基づいて、再分類する。ローカルコントラスト率は輝度調節部120によって処理された結果を基準にする時、対象ピクセルの輝度値と対象ピクセルを含む所定サイズのマスクに含まれるピクセルの平均輝度値との間の比率である。例えば、図10に示すように3*3大きさのマスクが使われる場合、マスク内には9個のピクセルが存在して、この中対象ピクセルはマスクの中心に存在する。本発明の一実施形態に係るローカルコントラスト率は式(8)のように表すことができる。   The pixel classification unit 910 reclassifies pixels classified as GLP based on the local contrast rate. The local contrast ratio is a ratio between the luminance value of the target pixel and the average luminance value of the pixels included in the mask of a predetermined size including the target pixel when the result processed by the luminance adjusting unit 120 is used as a reference. For example, when a 3 * 3 size mask is used as shown in FIG. 10, there are nine pixels in the mask, and the target pixel is present at the center of the mask. The local contrast ratio according to an embodiment of the present invention can be expressed as shown in Equation (8).

Figure 0005654065
式(8)において、
Figure 0005654065
In equation (8),

Figure 0005654065
はローカルコントラスト率を示す。また、
Figure 0005654065
Indicates the local contrast ratio. Also,

Figure 0005654065
は対象ピクセルを含むマスクに含まれるピクセルの平均輝度値であり、
Figure 0005654065
Is the average luminance value of the pixels in the mask containing the target pixel,

Figure 0005654065
は対象ピクセルの輝度値である。
Figure 0005654065
Is the luminance value of the target pixel.

Figure 0005654065
は輝度調節部120によって処理された後の入力映像を基準にした値である。
Figure 0005654065
Is a value based on the input image after being processed by the brightness adjusting unit 120.

ピクセル分類部910はローカルコントラスト率が1より大きい対象ピクセルを領域別暗いピクセル(locally dark pixel;LDP)で分類して、ローカルコントラスト率が1より大きくない対象ピクセルを領域別明るいピクセル(locally light pixel;LLP)で分類する。   The pixel classifying unit 910 classifies target pixels having a local contrast ratio greater than 1 by area-specific dark pixels (LDP), and classifies target pixels having a local contrast ratio not greater than 1 by area-wide light pixels (locally light pixels). ; LLP).

コントラスト向上部920はピクセル分類部910によって分類されたピクセルの輝度値を変化させることにより映像のコントラストを向上させる。コントラスト向上部920はGDPに分類されたピクセルに対する輝度調節部120の処理結果で所定の大きさだけに輝度値を減少させる。好ましくは、GDPに分類されたピクセルに対する輝度値の減少量はグローバルコントラスト率に比例し、その一例を式(9)に示す。   The contrast improving unit 920 improves the contrast of the image by changing the luminance value of the pixels classified by the pixel classifying unit 910. The contrast improving unit 920 reduces the luminance value to a predetermined size based on the processing result of the luminance adjusting unit 120 for the pixels classified as GDP. Preferably, the amount of decrease in luminance value for a pixel classified as GDP is proportional to the global contrast ratio, and an example thereof is shown in Equation (9).

Figure 0005654065
式(9)において、
Figure 0005654065
In equation (9),

Figure 0005654065
はコントラスト向上部920によって出力される最終輝度値である。また、
Figure 0005654065
Is the final luminance value output by the contrast improving unit 920. Also,

Figure 0005654065
は輝度調節部120によって処理された結果対象ピクセルが有する輝度値であり、
Figure 0005654065
Is a luminance value of the target pixel as a result of being processed by the luminance adjusting unit 120,

Figure 0005654065
は加重値として事前実験によって予め設定され得る。また、Contは式(7)を利用して計算したグローバルコントラスト率を示す。
Figure 0005654065
Can be preset as a weight by prior experiments. Cont represents the global contrast ratio calculated using the equation (7).

一方、コントラスト向上部920は、GDPに分類されたピクセルのうちでLDPによって再分類されたピクセルに対しては輝度値を減少させ、LLPで再分類されたピクセルに対しては輝度値を増加させる。GDPに分類されたピクセルに対するコントラス向上部920の輝度値調節は、式(10)のように表すことができる。   On the other hand, the contrast improving unit 920 decreases the luminance value for pixels reclassified by LDP among the pixels classified as GDP, and increases the luminance value for pixels reclassified by LLP. . The brightness value adjustment of the contrast improving unit 920 for the pixels classified as GDP can be expressed as in Expression (10).

Figure 0005654065
式(10)において、
Figure 0005654065
In equation (10),

Figure 0005654065
はコントラスト向上部920によって出力される最終輝度値である。また、
Figure 0005654065
Is the final luminance value output by the contrast improving unit 920. Also,

Figure 0005654065
は輝度調節部120によって処理された結果対象ピクセルが有する輝度値であり、αは輝度値の増減量として所定の実数値(好ましくは整数値)を有することができる。対象ピクセルがLDPに分類されたピクセルであれば、αは負数であり得、対象ピクセルがLLPに分類されたピクセルであれば、αは正数であり得る。
Figure 0005654065
Is a luminance value of the target pixel as a result of processing by the luminance adjusting unit 120, and α can have a predetermined real value (preferably an integer value) as an increase / decrease amount of the luminance value. If the target pixel is a pixel classified as LDP, α may be a negative number, and if the target pixel is a pixel classified as LLP, α may be a positive number.

αの値は、コントラスト向上部920によって最終処理された輝度値に基づいたときのローカルコントラスト率(以下、最終ローカルコントラスト率という)と最初の入力映像の輝度値に基づくときのローカルコントラスト率(以下初期ローカルコントラスト率という)が同一になるように設定され得る。式(11)と式(12)に初期ローカルコントラスト率と最終ローカルコントラスト率を各々示す。   The value of α is a local contrast ratio (hereinafter referred to as final local contrast ratio) based on the luminance value finally processed by the contrast improving unit 920 and a local contrast ratio (hereinafter referred to as final local contrast ratio) based on the luminance value of the first input video. The initial local contrast ratio) can be set to be the same. Expressions (11) and (12) show the initial local contrast ratio and the final local contrast ratio, respectively.

Figure 0005654065
式(11)において、
Figure 0005654065
In equation (11),

Figure 0005654065
は初期ローカルコントラスト率である。
Figure 0005654065
Is the initial local contrast ratio.

Figure 0005654065
はマスクに含まれるピクセルの輝度値の平均であり、
Figure 0005654065
Is the average luminance value of the pixels contained in the mask,

Figure 0005654065
は対象ピクセルの輝度値として、
Figure 0005654065
Is the brightness value of the target pixel,

Figure 0005654065
はすべて初期の入力映像に基づく。
Figure 0005654065
Are all based on the initial input video.

Figure 0005654065
式(12)において、
Figure 0005654065
In equation (12),

Figure 0005654065
は最終ローカルコントラスト率である。
Figure 0005654065
Is the final local contrast ratio.

Figure 0005654065
は各々式(8)によって説明した通りであり、αは式(10)によって説明した通りであり、GLPに分類されたピクセルに対する輝度値増減量を示す。また、
Figure 0005654065
Is the same as that described by Expression (8), and α is the same as that described by Expression (10), and indicates the amount of increase / decrease of the luminance value for the pixels classified as GLP. Also,

Figure 0005654065
はマスクの大きさを示す。
Figure 0005654065
Indicates the size of the mask.

先に説明したように、GLPに分類されたピクセルに対する輝度値増減量αは、初期ローカルコントラスト率と最終ローカルコントラスト率を同一にする値に設定されるため、式(11)と式(12)を利用して   As described above, since the luminance value increase / decrease amount α for the pixels classified as GLP is set to a value that makes the initial local contrast rate and the final local contrast rate the same, the equations (11) and (12) are used. Using

Figure 0005654065
の方程式を計算すれば、αを得ることができる。αは式(13)に示すようになる。
Figure 0005654065
Α can be obtained by calculating the following equation. α is as shown in Equation (13).

Figure 0005654065
再び図1を参照すれば、彩度調節部140はコントラスト調節部130によって処理された映像の彩度を調節する。低電力モードのために入力映像の輝度が全般的に上昇した場合、相対的に彩度は減少するためである。彩度調節部140は、図11に示すように変換部1110、肌色抽出部1120、および彩度向上部1130を含む。
Figure 0005654065
Referring back to FIG. 1, the saturation adjusting unit 140 adjusts the saturation of the image processed by the contrast adjusting unit 130. This is because when the luminance of the input image generally increases due to the low power mode, the saturation is relatively decreased. As shown in FIG. 11, the saturation adjustment unit 140 includes a conversion unit 1110, a skin color extraction unit 1120, and a saturation improvement unit 1130.

変換部1110は、入力映像が基盤としている色空間を、彩度成分を表現することのできる色空間に変換する。例えば、変換部1110は、入力映像をHVS色空間に基づくように変換することができる。   The conversion unit 1110 converts the color space on which the input video is based into a color space that can express a saturation component. For example, the conversion unit 1110 can convert the input video based on the HVS color space.

肌色抽出部1120は、入力映像で肌色領域を検出する。HSV色空間の場合、色(Hue)と彩度(Saturation)を使用して、肌色領域を検出することができるが、肌色の範囲は閾値範囲のうちの色値と彩度値とが予め設定され得る。肌色の定義は、映像処理装置100が適用されたディスプレイ装置を使用することになる使用者によって別に設定され得る。   The skin color extraction unit 1120 detects a skin color region from the input video. In the case of the HSV color space, the skin color region can be detected using the color (Hue) and the saturation (Saturation), but the skin color range is preset with a color value and a saturation value within the threshold range. Can be done. The definition of the skin color may be set separately by a user who uses the display apparatus to which the image processing apparatus 100 is applied.

彩度向上部1130は、入力映像の彩度を向上させる。これによって、輝度調節部120とコントラスト調節部130によって処理された入力映像に発生し得る彩度減少を補償することができる。彩度向上部1130は、入力映像のうちの肌色領域では彩度向上度を小さくして肌色の歪みを防止し、それ以外の色領域では彩度向上度をより大きくすることができる。彩度向上部1130は、入力映像の彩度を向上させるために式(14)と式(15)を使用することができるが、式(14)は肌色のピクセルを対象にして、式(15)は肌色以外の色のピクセルを対象にする。   The saturation improvement unit 1130 improves the saturation of the input video. Accordingly, it is possible to compensate for a reduction in saturation that may occur in the input image processed by the luminance adjustment unit 120 and the contrast adjustment unit 130. The saturation improvement unit 1130 can reduce the saturation improvement degree in the skin color area of the input video to prevent the skin color distortion, and can increase the saturation improvement degree in the other color areas. The saturation enhancement unit 1130 can use Equations (14) and (15) to improve the saturation of the input video, but Equation (14) is for the skin color pixels. ) Applies to pixels of colors other than skin color.

Figure 0005654065
Figure 0005654065

Figure 0005654065
式(14)と式(15)において、
Figure 0005654065
In Expression (14) and Expression (15),

Figure 0005654065
は出力される最終彩度値であり、
Figure 0005654065
Is the final saturation value to be output,

Figure 0005654065
は入力彩度値である。また、
Figure 0005654065
Is the input saturation value. Also,

Figure 0005654065
各々彩度増加率として事前実験によって適切な値に設定されるが、
Figure 0005654065
Each saturation increase rate is set to an appropriate value by preliminary experiments.

Figure 0005654065
より大きい値を有することが好ましい。
Figure 0005654065
It is preferred to have a larger value.

この時、本実施形態で用いられる「モジュール」という用語は、ソフトウェアまたはFPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)のようなハードウェア構成要素を意味し、モジュールはある役割を行う。ところが、モジュールは、ソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、1つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結合したり、追加的な構成要素とモジュールにさらに分離したりすることができる。   At this time, the term “module” used in the present embodiment means software or a hardware component such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit), and the module plays a role. . However, the module is not limited to software or hardware. A module can be configured to reside on a storage medium that can be addressed, or it can be configured to replay one or more processors. Thus, by way of example, modules are components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, procedures, subroutines, segments of program code, drivers, firmware, micro-components. Includes code, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided in the components and modules can be combined into a smaller number of components and modules or further separated into additional components and modules.

以下、図12を参照して、映像処理装置100の動作過程を説明することにする。
図12は、本発明の一実施形態に係る映像処理過程を示すフローチャートである。
入力映像が提供されれば、分類部110は入力映像の輝度特性に基づいて入力映像を映像範疇に分類する(S1210)。
Hereinafter, the operation process of the video processing apparatus 100 will be described with reference to FIG.
FIG. 12 is a flowchart illustrating a video processing process according to an embodiment of the present invention.
If the input video is provided, the classification unit 110 classifies the input video into video categories based on the luminance characteristics of the input video (S1210).

その後、輝度調節部120は入力映像が属する映像範疇が特定映像範疇に該当するかを判断する(S1220)。ここで、特定映像範疇は図4を参照して説明した映像範疇Dや映像範疇Fのように非正常的な輝度情報を含む映像範疇として、予め決定され得る。   Thereafter, the brightness adjustment unit 120 determines whether the video category to which the input video belongs corresponds to the specific video category (S1220). Here, the specific video category may be determined in advance as a video category including abnormal luminance information, such as the video category D and the video category F described with reference to FIG.

段階S1220における判断の結果、入力映像が属する映像範疇が特定映像範疇に該当すれば、輝度調節部120は固定利益値を使用して入力映像の輝度を調節する(S1230)。しかし、段階S1220における判断の結果、入力映像が属する映像範疇が特定映像範疇に該当しなければ、輝度調節部120は可変利益値を使用して、入力映像の輝度を調節する(S1240)。より詳しくは、段階S1230は図7を参照して説明した輝度調節部120の固定利益処理部710を遂行し、段階S1240は図7を参照して説明した輝度調節部120の可変利益処理部720を遂行し得る。   If the video category to which the input video belongs corresponds to the specific video category as a result of the determination in step S1220, the brightness adjusting unit 120 adjusts the brightness of the input video using the fixed profit value (S1230). However, if it is determined in step S1220 that the video category to which the input video belongs does not correspond to the specific video category, the luminance adjustment unit 120 uses the variable profit value to adjust the luminance of the input video (S1240). More specifically, in step S1230, the fixed profit processing unit 710 of the luminance adjusting unit 120 described with reference to FIG. 7 is performed, and in step S1240, the variable profit processing unit 720 of the luminance adjusting unit 120 described with reference to FIG. Can be carried out.

その後、コントラスト調節部130は、輝度調節部120によって処理された入力映像のコントラストを調節し(S1250)、彩度調節部140はコントラスト調節部130の作業後入力映像の彩度を調節する(S1260)。コントラスト調節部130と彩度調節部140との入力映像処理作業は、先に説明した内容によって理解できるものであるため、本フローチャートにおける具体的な説明は省略することにする。   Thereafter, the contrast adjustment unit 130 adjusts the contrast of the input image processed by the luminance adjustment unit 120 (S1250), and the saturation adjustment unit 140 adjusts the saturation of the input image after the operation of the contrast adjustment unit 130 (S1260). ). Since the input video processing operations of the contrast adjustment unit 130 and the saturation adjustment unit 140 can be understood from the contents described above, a specific description in this flowchart will be omitted.

以上で説明した本願発明の実施形態は、媒体上に記録された、コンピュータで読み取ることができ、少なくとも1つのプロセシングエレメントを制御するためのコードやインストラクションによって実行される。前記媒体は、コンピュータで読み取ることができるコードやインストラクションの保存や伝送が可能である。   The embodiments of the present invention described above are executed by codes or instructions for controlling at least one processing element recorded on a medium and readable by a computer. The medium is capable of storing and transmitting codes and instructions that can be read by a computer.

前記コンピュータで読み取ることができるコードやインストラクションは、多様な類型の媒体を介して記録されたり伝送されることができる。前記媒体の例として、マグネチック保存媒体(例えば、ROM、フロッピー(登録商標)ディスク、ハードディスク)や光記録媒体(例えば、CD−ROMまたはDVD)のような記録媒体、および搬送波(carrier waves)のような伝送媒体を挙げられる。また、本発明の実施形態によれば、前記媒体は合成信号またはビットストリーム(bitstream)のような信号でもある。前記媒体は、分散ネットワークであることもあり得るため、コンピュータで読み取れるコードやインストラクションは分散方式によって複数の媒体上に保存および伝送されて実行されることができる。また、前記プロセシングエレメントは、プロセッサまたはコンピュータプロセッサを含むことができる。前記プロセシングエレメントは、複数の装置やサーバーに分散していることもでき、1つの装置やサーバーに含まれることもできる。   Codes and instructions that can be read by the computer can be recorded and transmitted via various types of media. Examples of the medium include a recording medium such as a magnetic storage medium (for example, a ROM, a floppy (registered trademark) disk, a hard disk), an optical recording medium (for example, a CD-ROM or a DVD), and a carrier wave. Such transmission media can be mentioned. Also, according to an embodiment of the present invention, the medium is a signal such as a composite signal or a bitstream. Since the medium may be a distributed network, computer-readable codes and instructions can be stored and transmitted on a plurality of media in a distributed manner and executed. The processing element may include a processor or a computer processor. The processing element may be distributed among a plurality of devices and servers, or may be included in one device or server.

以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。   The embodiments of the present invention have been described above with reference to the accompanying drawings. However, the present invention may be modified by those who have ordinary knowledge in the technical field to which the present invention belongs. However, it can be understood that the present invention can be implemented in other specific forms. Therefore, it should be understood that the embodiments described above are illustrative in all aspects and not limiting.

110 分類部
120 輝度調節部
130 コントラスト調節部
140 彩度調節部
110 Classification unit 120 Brightness adjustment unit 130 Contrast adjustment unit 140 Saturation adjustment unit

Claims (23)

入力映像の輝度ヒストグラムの特徴に応じて、前記入力映像を、予め決定された複数の互いに異なる輝度分布特性を表す映像範疇のうちの所定の映像範疇に分類する段階、および、
それぞれの階調写像関数が前記入力映像を入力して出力映像を出力する関数であって、前記複数の互いに異なる輝度分布特性を表す映像範疇のそれぞれに対応する複数の階調写像関数のうち、前記所定の映像範疇に対応する階調写像関数に基づいて前記入力映像の輝度を調節する段階を含み、
前記複数の階調写像関数のそれぞれは、前記入力映像を表示するディスプレイ装置の少なくとも1つの電力減少率に対応して予め設けられる、
前記輝度を調節する段階は、前記電力減少率が閾値より大きくない場合に、前記電力減少率が高いほど大きい値を有し前記入力映像を構成するすべてのピクセルに対し同一に適用される固定利益値と前記所定の映像範疇に対応する階調写像関数に基づいて前記入力映像の輝度を調節し、前記電力減少率が閾値より大きい場合に、前記入力映像を構成するピクセルの空間的位置によって可変する可変利益値と前記所定の映像範疇に対応する階調写像関数に基づいて前記入力映像の輝度を調節する、
映像処理方法。
Classifying the input video into a predetermined video category among a plurality of predetermined video categories representing different luminance distribution characteristics according to the characteristics of the luminance histogram of the input video; and
Each gradation mapping function is a function for inputting the input image and outputting an output image, and among the plurality of gradation mapping functions corresponding to each of the plurality of image categories representing different luminance distribution characteristics, Adjusting the brightness of the input video based on a gradation mapping function corresponding to the predetermined video category,
Each of the plurality of gradation mapping functions is provided in advance corresponding to at least one power reduction rate of the display device that displays the input image.
The step of adjusting the brightness, wherein when the power reduction rate is not greater than the threshold, the fixed income that apply to the same for all pixels constituting the input image have a larger value the higher the power reduction rate adjusting the brightness of the input image based on the grayscale mapping function corresponding to the value predetermined image categories, if the power reduction rate is larger than the threshold value, the variable by the spatial positions of pixels constituting the input image Adjusting the brightness of the input video based on a variable profit value and a gradation mapping function corresponding to the predetermined video category;
Video processing method.
前記入力映像の輝度を調節する段階は、前記映像処理方法を遂行する装置のLCDに提供する各ピクセルの輝度を個別的に調節する段階を含む、
請求項1に記載の映像処理方法。
The step of adjusting the brightness of the input image includes the step of individually adjusting the brightness of each pixel provided to the LCD of an apparatus for performing the image processing method.
The video processing method according to claim 1.
前記輝度を調節する段階は、
前記階調写像関数に基づく輝度増加率と前記ピクセルの位置に対応する利益率に比例するように前記ピクセルの輝度を増加させる段階を含む、
請求項1に記載の映像処理方法。
Adjusting the brightness comprises:
Increasing the brightness of the pixel to be proportional to a brightness increase rate based on the tone mapping function and a profit rate corresponding to the position of the pixel;
The video processing method according to claim 1.
前記利益率は、前記ピクセルの位置が前記入力映像の中心に近いほど小さくなり、前記入力映像の外郭に近いほど大きくなる、
請求項3に記載の映像処理方法。
The profit rate is smaller as the pixel position is closer to the center of the input image, and is larger as the pixel position is closer to the outline of the input image.
The video processing method according to claim 3.
前記利益率は、前記ピクセルの位置を示す座標を入力変数とする逆ガウス関数に比例する、
請求項3に記載の映像処理方法。
The profit rate is proportional to an inverse Gaussian function having coordinates indicating the position of the pixel as input variables.
The video processing method according to claim 3.
前記輝度を調節する段階は、
前記映像範疇が第1基準輝度値より大きい輝度値を有するピクセルの数と第2基準輝度値より小さい輝度値を有するピクセルの数とが各々閾値比率以上である映像を代表する第1映像範疇であるか、所定の輝度値にピクセルが離散して分布する映像を代表する第2映像範疇である場合、前記映像範疇に対応する階調写像関数と前記映像範疇に対応する固定利益率を利用して前記入力映像の輝度を増加させる段階、および、
前記映像範疇が前記第1映像範疇と前記第2映像範疇でない場合、前記映像範疇に対応する階調写像関数と前記入力映像を構成するピクセルの位置に応じて前記入力映像の輝度を増加させる段階を含む、
請求項1に記載の映像処理方法。
Adjusting the brightness comprises:
A first video category representing a video in which the number of pixels having a brightness value greater than a first reference brightness value and the number of pixels having a brightness value less than a second reference brightness value are each greater than or equal to a threshold ratio. If it is a second video category representing a video in which pixels are distributed discretely at a predetermined luminance value, a gradation mapping function corresponding to the video category and a fixed profit rate corresponding to the video category are used. Increasing the brightness of the input video, and
When the video category is not the first video category and the second video category, increasing the luminance of the input video according to a gradation mapping function corresponding to the video category and the positions of pixels constituting the input video including,
The video processing method according to claim 1.
前記輝度が調節された入力映像のコントラストを調節する段階をさらに含む、
請求項1に記載の映像処理方法。
Adjusting the contrast of the brightness adjusted input image;
The video processing method according to claim 1.
前記コントラストを調節する段階は、
前記入力映像の第1平均輝度値が前記ピクセルの第1輝度値より大きい場合、前記ピクセルの第2輝度値を減少させる段階を含み、
前記第1平均輝度値と前記第1輝度値とは、前記輝度が調節される前の入力映像を基準とし、前記第2輝度値は前記輝度が調節された後の入力映像を基準とする、
請求項7に記載の映像処理方法。
The step of adjusting the contrast includes:
Reducing the second luminance value of the pixel if the first average luminance value of the input image is greater than the first luminance value of the pixel;
The first average luminance value and the first luminance value are based on the input video before the luminance is adjusted, and the second luminance value is based on the input video after the luminance is adjusted,
The video processing method according to claim 7.
前記第2輝度値の減少量は、前記第1平均輝度値と前記第1輝度値との間のコントラスト率に比例する、
請求項8に記載の映像処理方法。
The amount of decrease in the second luminance value is proportional to the contrast rate between the first average luminance value and the first luminance value.
The video processing method according to claim 8.
前記コントラストを調節する段階は、
前記第1平均輝度値が前記第2輝度値より大きくない場合、前記ピクセルを含む所定サイズのマスクに含まれるピクセルの第2平均輝度値と前記第2輝度値との間のコントラスト率が前記マスクに含まれるピクセルの第3平均輝度値と前記第1輝度値との間のコントラスト率と一致するように前記ピクセルの輝度を増減させる段階を含み、
前記第3平均輝度値は、前記輝度が調節される前の入力映像を基準とする、
請求項8に記載の映像処理方法。
The step of adjusting the contrast includes:
If the first average luminance value is not greater than the second luminance value, the contrast ratio between the second average luminance value of the pixels included in the mask of a predetermined size including the pixels and the second luminance value is the mask. Increasing or decreasing the luminance of the pixel to match the contrast ratio between the third average luminance value of the pixel included in the pixel and the first luminance value,
The third average luminance value is based on an input image before the luminance is adjusted.
The video processing method according to claim 8.
前記コントラストが調節された入力映像の彩度を調節する段階をさらに含む、
請求項7に記載の映像処理方法。
Adjusting the saturation of the input image with the contrast adjusted;
The video processing method according to claim 7.
前記彩度を調節する段階は、
前記コントラストが調節された入力映像で予め設定された色および彩度範囲に該当する肌色領域と前記肌色以外の色領域の彩度を増加させる段階を含み、
前記肌色以外の色領域の彩度増加率は、前記肌色領域の彩度増加率より高い、
請求項11に記載の映像処理方法。
The step of adjusting the saturation includes
Increasing the saturation of a skin color area corresponding to a color and saturation range set in advance in the input image in which the contrast is adjusted, and a color area other than the skin color;
The saturation increase rate of the color region other than the skin color is higher than the saturation increase rate of the skin color region,
The video processing method according to claim 11.
入力映像の輝度ヒストグラムの特徴に応じて、前記入力映像を、予め決定された複数の互いに異なる輝度分布特性を表す映像範疇のうちの所定の映像範疇に分類する分類部、および、
それぞれの階調写像関数が前記入力映像を入力して出力映像を出力する関数であって、前記複数の互いに異なる輝度分布特性を表す映像範疇のそれぞれに対応する複数の階調写像関数のうち、前記所定の映像範疇に対応する階調写像関数に基づいて前記入力映像の輝度を調節する輝度調節部を含み、
前記複数の階調写像関数のそれぞれは、前記入力映像を表示するディスプレイ装置の少なくとも1つの電力減少率に対応して予め設けられる、
前記輝度調節部は、前記電力減少率が閾値より大きくない場合に、前記電力減少率が高いほど大きい値を有し前記入力映像を構成するすべてのピクセルに対し同一に適用される固定利益値と前記所定の映像範疇に対応する階調写像関数に基づいて前記入力映像の輝度を調節し、前記電力減少率が閾値より大きい場合に、前記入力映像を構成するピクセルの空間的位置によって可変する可変利益値と前記所定の映像範疇に対応する階調写像関数に基づいて前記入力映像の輝度を調節する、
映像処理装置。
A classification unit for classifying the input video into a predetermined video category out of a plurality of predetermined video categories representing different luminance distribution characteristics according to the characteristics of the luminance histogram of the input video; and
Each gradation mapping function is a function for inputting the input image and outputting an output image, and among the plurality of gradation mapping functions corresponding to each of the plurality of image categories representing different luminance distribution characteristics, A luminance adjusting unit that adjusts the luminance of the input video based on a gradation mapping function corresponding to the predetermined video category;
Each of the plurality of gradation mapping functions is provided in advance corresponding to at least one power reduction rate of the display device that displays the input image.
The brightness control unit, when the power reduction rate is not greater than the threshold value, a fixed profit value that apply to the same for all pixels constituting the input image have a larger value the higher the power reduction rate adjusting the brightness of the input image based on the grayscale mapping function corresponding to the predetermined image categories, if the power reduction rate is larger than a threshold, the variable is varied by the spatial positions of pixels constituting the input image Adjusting the luminance of the input video based on a profit value and a gradation mapping function corresponding to the predetermined video category;
Video processing device.
前記輝度調節部は、前記階調写像関数に基づく輝度増加率と前記ピクセルの位置に対応する利益率に比例するように前記ピクセルの輝度を増加させる、
請求項13に記載の映像処理装置。
The brightness adjusting unit increases the brightness of the pixel in proportion to a brightness increase rate based on the gradation mapping function and a profit rate corresponding to the position of the pixel;
The video processing apparatus according to claim 13.
前記利益率は、前記ピクセルの位置が前記入力映像の中心に近いほど小さくなり、前記入力映像の外郭に近いほど大きくなる、
請求項14に記載の映像処理装置。
The profit rate is smaller as the pixel position is closer to the center of the input image, and is larger as the pixel position is closer to the outline of the input image.
The video processing apparatus according to claim 14.
前記利益率は前記ピクセルの位置を示す座標を入力変数とする逆ガウス関数に比例する、
請求項14に記載の映像処理装置。
The profit rate is proportional to an inverse Gaussian function having coordinates indicating the position of the pixel as input variables.
The video processing apparatus according to claim 14.
前記輝度調節部は、
前記映像範疇が第1基準輝度値より大きい輝度値を有するピクセルの数と第2基準輝度値より小さい輝度値を有するピクセルの数とが各々閾値比率以上である映像を代表する第1映像範疇であるか、所定の輝度値にピクセルが離散して分布する映像を代表する第2映像範疇である場合、前記映像範疇に対応する階調写像関数と前記映像範疇に対応する固定利益値を利用して前記入力映像の輝度を増加させる固定利益処理部、および、
前記映像範疇が前記第1映像範疇と前記第2映像範疇でない場合、前記映像範疇に対応する階調写像関数と前記入力映像を構成するピクセルの位置に対応する可変利益値とを使用して、前記入力映像の輝度を増加させる可変利益処理部を含む、
請求項13に記載の映像処理装置。
The brightness adjusting unit is
A first video category representing a video in which the number of pixels having a brightness value greater than a first reference brightness value and the number of pixels having a brightness value less than a second reference brightness value are each greater than or equal to a threshold ratio. If the second video category represents a video in which pixels are distributed discretely at a predetermined luminance value, a gradation mapping function corresponding to the video category and a fixed profit value corresponding to the video category are used. A fixed profit processing unit for increasing the brightness of the input video, and
If the video category is not the first video category and the second video category, using a gradation mapping function corresponding to the video category and a variable profit value corresponding to the position of a pixel constituting the input video, A variable profit processing unit for increasing the brightness of the input video;
The video processing apparatus according to claim 13.
前記輝度が調節された入力映像のコントラストを調節するコントラスト調節部をさらに含む、
請求項13に記載の映像処理装置。
A contrast adjusting unit for adjusting a contrast of the input image having the brightness adjusted;
The video processing apparatus according to claim 13.
前記コントラスト調節部は、前記入力映像の第1平均輝度値が前記ピクセルの第1輝度値より大きい場合、前記ピクセルの第2輝度値を減少させ、
前記第1平均輝度値と前記第1輝度値とは、前記輝度が調節される前の入力映像を基準として、前記第2輝度値は前記輝度が調節された後の入力映像を基準とする、
請求項18に記載の映像処理装置。
The contrast adjustment unit may decrease the second luminance value of the pixel when the first average luminance value of the input image is larger than the first luminance value of the pixel;
The first average luminance value and the first luminance value are based on the input video before the luminance is adjusted, and the second luminance value is based on the input video after the luminance is adjusted.
The video processing apparatus according to claim 18.
前記第2輝度値の減少量は、前記第1平均輝度値と前記第1輝度値との間のコントラスト率に比例する、
請求項19に記載の映像処理装置。
The amount of decrease in the second luminance value is proportional to the contrast rate between the first average luminance value and the first luminance value.
The video processing apparatus according to claim 19.
前記コントラスト調節部は、前記第1平均輝度値が前記第2輝度値より大きくない場合、前記ピクセルを含む所定サイズのマスクに含まれるピクセルの第2平均輝度値と前記第2輝度値との間のコントラスト率が前記マスクに含まれるピクセルの第3平均輝度値と前記第1輝度値との間のコントラスト率と一致するように前記ピクセルの輝度を増減させ、
前記第3平均輝度値は、前記輝度が調節される前の入力映像を基準とする、
請求項19に記載の映像処理装置。
When the first average luminance value is not greater than the second luminance value, the contrast adjusting unit may determine a difference between the second average luminance value of the pixels included in the mask having a predetermined size including the pixels and the second luminance value. Increasing or decreasing the brightness of the pixel so that the contrast ratio matches the contrast ratio between the third average brightness value of the pixels included in the mask and the first brightness value,
The third average luminance value is based on an input image before the luminance is adjusted.
The video processing apparatus according to claim 19.
前記コントラストが調節された入力映像の彩度を調節する彩度調節部をさらに含む、
請求項18に記載の映像処理装置。
A saturation adjuster for adjusting the saturation of the input image with the contrast adjusted;
The video processing apparatus according to claim 18.
前記彩度調節部は、前記コントラストが調節された入力映像で予め設定された色および彩度範囲に該当する肌色領域と前記肌色以外の色領域の彩度を増加させ、
前記肌色以外の色領域の彩度増加率は前記肌色領域の彩度増加率より高い、
請求項22に記載の映像処理装置。
The saturation adjusting unit increases the saturation of a skin color area corresponding to a color and a saturation range set in advance in the input image with the contrast adjusted, and a color area other than the skin color,
The saturation increase rate of the color region other than the skin color is higher than the saturation increase rate of the skin color region,
The video processing apparatus according to claim 22.
JP2013026023A 2006-10-25 2013-02-13 Video processing method and apparatus Active JP5654065B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2006-0104181 2006-10-25
KR1020060104181A KR100791387B1 (en) 2006-10-25 2006-10-25 Method and apparatus for image processing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007276624A Division JP2008116941A (en) 2006-10-25 2007-10-24 Video processing method and device

Publications (2)

Publication Number Publication Date
JP2013140381A JP2013140381A (en) 2013-07-18
JP5654065B2 true JP5654065B2 (en) 2015-01-14

Family

ID=39052761

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007276624A Pending JP2008116941A (en) 2006-10-25 2007-10-24 Video processing method and device
JP2013026023A Active JP5654065B2 (en) 2006-10-25 2013-02-13 Video processing method and apparatus

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007276624A Pending JP2008116941A (en) 2006-10-25 2007-10-24 Video processing method and device

Country Status (5)

Country Link
US (1) US8155465B2 (en)
EP (1) EP1918873B1 (en)
JP (2) JP2008116941A (en)
KR (1) KR100791387B1 (en)
CN (1) CN101169930B (en)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4304678B2 (en) * 2007-01-16 2009-07-29 セイコーエプソン株式会社 Image processing device
US8638338B2 (en) 2008-02-11 2014-01-28 Apple Inc. Adjusting color attribute of an image in a non-uniform way
US20110115811A1 (en) * 2008-05-28 2011-05-19 Phoebus Vision Opt-Elec Tech Co., Ltd System and method for expanding color gamut
US20100080459A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Content adaptive histogram enhancement
US8498480B2 (en) 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
FR2947082B1 (en) * 2009-06-22 2014-12-12 St Ericsson France Sas METHOD AND DEVICE FOR PROCESSING A DIGITAL IMAGE TO LIGHTEN THIS IMAGE.
WO2011011542A1 (en) * 2009-07-21 2011-01-27 Integrated Device Technology, Inc. A method and system for detection and enhancement of video images
CN101710955B (en) * 2009-11-24 2014-06-25 北京中星微电子有限公司 Method and equipment for adjusting brightness and contrast
US8666148B2 (en) 2010-06-03 2014-03-04 Adobe Systems Incorporated Image adjustment
KR101182637B1 (en) 2010-12-24 2012-09-14 고려대학교 산학협력단 Apparatus and method for providing image
CN102737610B (en) * 2011-03-31 2015-02-11 青岛海信电器股份有限公司 Method and apparatus for adjusting light source brightness, and display device
US9008415B2 (en) 2011-09-02 2015-04-14 Adobe Systems Incorporated Automatic image adjustment parameter correction
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US8971623B2 (en) 2012-03-06 2015-03-03 Apple Inc. Overlaid user interface tools for applying effects to image
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
CN103942755B (en) * 2013-01-23 2017-11-17 深圳市腾讯计算机***有限公司 Brightness of image adjusting method and device
US9728052B2 (en) * 2013-04-22 2017-08-08 Electronics And Telecommunications Research Institute Digital signage system and emergency alerting method using same
KR101497933B1 (en) * 2013-08-19 2015-03-03 현대모비스(주) System and Method for compositing various images using clustering technique
JP6234117B2 (en) * 2013-08-30 2017-11-22 キヤノン株式会社 Printing apparatus, control method thereof, and control program
KR102051538B1 (en) * 2013-09-13 2020-01-08 에스케이하이닉스 주식회사 Signal processing device and operating method thereof
CN104036474B (en) * 2014-06-12 2017-12-19 厦门美图之家科技有限公司 A kind of Automatic adjustment method of brightness of image and contrast
KR102227478B1 (en) * 2014-08-05 2021-03-15 삼성디스플레이 주식회사 Display controlling apparatus, display controlling method, and display apparatus
KR102234795B1 (en) * 2014-09-30 2021-04-02 삼성디스플레이 주식회사 Method of processing image data and display system for display power reduction
US10530995B2 (en) * 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
JP2017139678A (en) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 Image data converter, image data conversion method, image data conversion program, pos terminal, and server
CN106169290B (en) * 2016-06-28 2019-04-12 Oppo广东移动通信有限公司 Control method, control device and electronic device
CN105931614B (en) * 2016-06-28 2019-02-05 Oppo广东移动通信有限公司 Control method, control device and electronic device
CN107644606A (en) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 Terminal display screen control method and device
CN107194363B (en) * 2017-05-31 2020-02-04 Oppo广东移动通信有限公司 Image saturation processing method and device, storage medium and computer equipment
CN107680056B (en) * 2017-09-27 2020-03-10 深圳市华星光电半导体显示技术有限公司 Image processing method and device
CN108090884B (en) * 2018-01-09 2020-11-06 深圳市华星光电半导体显示技术有限公司 Image optimization method and related device
US10652434B2 (en) * 2018-01-09 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Image optimization method and related device
CN108510965B (en) * 2018-05-03 2019-10-11 武汉天马微电子有限公司 A kind of display brightness compensation method, apparatus and system
CN109215595A (en) * 2018-10-11 2019-01-15 京东方科技集团股份有限公司 Display driving method, display drive apparatus, data drive circuit and display device
CN111105756B (en) * 2018-10-26 2021-05-11 展讯通信(上海)有限公司 Backlight compensation method and device for liquid crystal display image, storage medium and terminal
CN109584175B (en) * 2018-11-21 2020-08-14 浙江大华技术股份有限公司 Image processing method and device
CN109949377B (en) * 2019-03-08 2021-10-01 北京旷视科技有限公司 Image processing method and device and electronic equipment

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63268380A (en) * 1987-04-25 1988-11-07 Sony Corp Projecting type video display device
EP0531904A3 (en) * 1991-09-10 1993-10-06 Eastman Kodak Company Method and apparatus for spatially variant filtering
KR0148053B1 (en) * 1995-05-12 1998-09-15 김광호 Backlight driving control device and its driving control method of liquid crystal display elements
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP2002014660A (en) 2000-06-29 2002-01-18 Victor Co Of Japan Ltd Liquid crystal display device
EP1211640A3 (en) * 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US7003153B1 (en) * 2000-09-29 2006-02-21 Sharp Laboratories Of America, Inc. Video contrast enhancement through partial histogram equalization
KR20020080574A (en) * 2001-04-16 2002-10-26 디엑스오 텔레콤(주) method of enhancing a digital color image by an automatic image classification
FR2827060B1 (en) * 2001-07-05 2003-09-19 Eastman Kodak Co METHOD FOR IDENTIFYING THE SKY IN AN IMAGE AND IMAGE OBTAINED THANKS TO THIS PROCESS
US6845181B2 (en) * 2001-07-12 2005-01-18 Eastman Kodak Company Method for processing a digital image to adjust brightness
JP3850241B2 (en) * 2001-07-19 2006-11-29 シャープ株式会社 LIGHTING DEVICE AND LIQUID CRYSTAL DISPLAY DEVICE USING THE SAME
WO2003091791A1 (en) 2002-04-26 2003-11-06 Electronics And Telecommunications Research Institute Apparatus and method for reducing power consumption by adjusting backlight and adapting visual signal
JP2003345315A (en) * 2002-05-30 2003-12-03 Fujitsu Ltd Signal processor and liquid crystal display device
JP2006508387A (en) * 2002-11-27 2006-03-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method for improving the perceptual contrast of displayed images
JP2005134866A (en) * 2003-04-18 2005-05-26 Sharp Corp Color display device, color compensation method, and color compensation program
JP2004102244A (en) 2003-07-07 2004-04-02 Hitachi Ltd Liquid crystal display
US7605829B2 (en) * 2003-07-26 2009-10-20 Lg Electronics Inc. Apparatus and method for controlling brightness level of display
JP4776875B2 (en) * 2003-08-29 2011-09-21 セイコーエプソン株式会社 Video display device, projection display device
US7466868B2 (en) * 2003-10-03 2008-12-16 Adobe Systems Incorporated Determining parameters for adjusting images
US7412105B2 (en) * 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
KR100680058B1 (en) 2003-11-13 2007-02-07 엘지.필립스 엘시디 주식회사 Method and Apparatus of Driving Liquid Crystal Display
JP4628770B2 (en) * 2004-02-09 2011-02-09 株式会社日立製作所 Image display device having illumination device and image display method
JP4855648B2 (en) * 2004-03-30 2012-01-18 グローバル・オーエルイーディー・テクノロジー・リミテッド・ライアビリティ・カンパニー Organic EL display device
KR100612494B1 (en) * 2004-06-07 2006-08-14 삼성전자주식회사 Apparatus and method for saturation comtrolling of color image
JP2006101421A (en) * 2004-09-30 2006-04-13 Toshiba Corp Video signal processing circuit
US7573533B2 (en) * 2004-10-15 2009-08-11 Genesis Microchip Inc. Method of generating transfer curves for adaptive contrast enhancement
KR101103889B1 (en) * 2004-12-29 2012-01-12 엘지디스플레이 주식회사 Liquid crystal display device and driving method thereof
KR100757474B1 (en) * 2005-02-15 2007-09-11 삼성전자주식회사 Image display device and pixel control method using the same
CN100474388C (en) * 2005-03-24 2009-04-01 索尼株式会社 Display apparatus and display method
JP2006284972A (en) * 2005-04-01 2006-10-19 Sony Corp Printing phenomenon compensation method, self-luminous emission system, printing phenomenon compensating system, and program
US7352410B2 (en) * 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit

Also Published As

Publication number Publication date
EP1918873A2 (en) 2008-05-07
EP1918873A3 (en) 2017-12-20
KR100791387B1 (en) 2008-01-07
US8155465B2 (en) 2012-04-10
EP1918873B1 (en) 2020-04-08
JP2008116941A (en) 2008-05-22
CN101169930A (en) 2008-04-30
US20080101697A1 (en) 2008-05-01
JP2013140381A (en) 2013-07-18
CN101169930B (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5654065B2 (en) Video processing method and apparatus
WO2017143635A1 (en) Method and system for reducing power consumption of display panel
KR100827237B1 (en) Apparatus for supporting power control of light sources, and method for the same
TWI736574B (en) Devices and methods for displaying an e-book using a combination of colors for text and background that have a reduced myopiagenic effect
JP5334402B2 (en) Display apparatus and method for improving flicker of video
US8625894B2 (en) Image display device capable of supporting brightness enhancement and power control and method thereof
JP5374802B2 (en) Image display device, image display method, image display program, and recording medium recording image display program
CN101794565B (en) Image display method, device and system
JP5165802B1 (en) Video display device and television receiver
JP2006093753A (en) Video display
CN1957603A (en) Video signal transformation device, and video display device
JP5284444B2 (en) Video display device and television receiver
CN103380451B (en) Video display device
EP2056284B1 (en) A liquid crystal display method and apparatus
JP2005134866A (en) Color display device, color compensation method, and color compensation program
CN116382540A (en) Display method and device for electronic paper, electronic equipment and storage medium
Tsai et al. Depth-guided pixel dimming with saliency-oriented power-saving transformation for stereoscope amoled displays
TW200913730A (en) Method and apparatus for processing image and electronic device using the same
KR101715853B1 (en) Color gamut expansion method and unit, and wide color gamut display apparatus using the same
JP2021148874A (en) Control apparatus, display device, control program, and control method
KR100755682B1 (en) Apparatus for supporting bright enhancement and power control, and method thereof
CN117198220B (en) Driving method and device of display panel, display module and electronic equipment
CN117198219B (en) Display method, device, storage medium and apparatus for display screen
US8014593B2 (en) Image color compensating apparatus and methods thereof
CN111200699B (en) Image adjusting method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141119

R150 Certificate of patent or registration of utility model

Ref document number: 5654065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250