JP2010258703A - Information processor and information processing method - Google Patents
Information processor and information processing method Download PDFInfo
- Publication number
- JP2010258703A JP2010258703A JP2009105559A JP2009105559A JP2010258703A JP 2010258703 A JP2010258703 A JP 2010258703A JP 2009105559 A JP2009105559 A JP 2009105559A JP 2009105559 A JP2009105559 A JP 2009105559A JP 2010258703 A JP2010258703 A JP 2010258703A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- chromaticity
- white balance
- chromaticity data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、情報処理装置及び情報処理方法に関し、特に入力した画像の色再現を行うために用いて好適なものである。 The present invention relates to an information processing apparatus and an information processing method, and is particularly suitable for use in color reproduction of an input image.
従来、ビデオカメラ、デジタルカメラ等で撮影した画像について、画像の色がより自然となるように画像を補正する処理としてホワイトバランス処理と称される画像処理が一般的に行われている。ホワイトバランス処理は、一般的に、画像データのR/G/B各成分の信号値のバランスを調整する画像処理である。例えば、ホワイトバランス処理では、画像データを解析し、画像ハイライト部の色の偏りを検出し、当該画像ハイライト部のR/G/B各成分の信号値の比率が1:1:1となるようにR/G/B各成分の信号値のバランスを相対的に調整する。 Conventionally, image processing called white balance processing is generally performed as processing for correcting an image taken with a video camera, digital camera, or the like so that the color of the image becomes more natural. The white balance processing is generally image processing for adjusting the balance of signal values of R / G / B components of image data. For example, in the white balance processing, image data is analyzed, the color deviation of the image highlight portion is detected, and the ratio of the signal values of the R / G / B components of the image highlight portion is 1: 1: 1. Thus, the balance of the signal values of the R / G / B components is relatively adjusted.
近年、ホワイトバランス処理として、画像ハイライト部の色の偏りに応じてホワイトバランス補正の度合いを調整し、画像データを補正する画像処理方法が提案されている(特許文献1を参照)。
ここで、ホワイトバランスに関連して色温度について説明しておく。色温度は、完全黒体を熱したときに完全黒体から放射される放射光の色に対応し、その色と温度とは1対1に関係付けられ、完全黒体の温度が高くなるにつれて、色度が赤から白、さらに青の方向に変化する。このため、画像全体の赤みが強い場合は「色温度が低い」、画像全体の青みが強い場合は「色温度が高い」といった表現がされる。
なお、デジタルカメラで撮影した画像のホワイトバランスを調整する際には、R/G/B各成分の信号値のバランスを調整する方法以外に、この色温度を調整する方法によって、ホワイトバランスの調整が行える。例えば、撮影した画像の赤みが強い場合には色温度を高く調節することで赤みをとることができる。
In recent years, as white balance processing, an image processing method has been proposed in which the degree of white balance correction is adjusted in accordance with the color deviation of an image highlight portion to correct image data (see Patent Document 1).
Here, the color temperature will be described in relation to the white balance. The color temperature corresponds to the color of the emitted light emitted from the complete black body when the complete black body is heated, and the color and temperature are related one-to-one, and as the temperature of the complete black body increases. The chromaticity changes from red to white and further to blue. For this reason, the expression “color temperature is low” when the redness of the entire image is strong, and “color temperature is high” when the blueness of the entire image is strong.
Note that when adjusting the white balance of an image shot with a digital camera, the white balance is adjusted by adjusting the color temperature in addition to adjusting the balance of the signal values of the R / G / B components. Can be done. For example, when the captured image is very reddish, it can be reddish by adjusting the color temperature high.
しかしながら、画像のホワイトバランスを色温度によって調整する従来の方法では、赤み−青み方向の調節はできるが、黒体放射軌跡と離れる緑方向に調節することはできない。また、色温度を保持したまま緑成分のみを調節することは難しいため、R/G/B各成分の信号値のバランスで緑成分を調節しようとすると、色みの調節に多大な労力が必要となる。
また、特許文献1に記載の技術では、画像データのRGBデータからホワイトバランスを算出してホワイトバランス補正処理を行っているが、実際に画像データを再現するデバイスの特性等が考慮されていない。このため、画像データの使用環境によって画像が好適に再現されない問題が生じ得る。
However, in the conventional method of adjusting the white balance of the image by the color temperature, the reddish-blued direction can be adjusted, but cannot be adjusted in the green direction away from the black body radiation locus. In addition, since it is difficult to adjust only the green component while maintaining the color temperature, a great deal of effort is required to adjust the color when trying to adjust the green component based on the balance of the R / G / B component signal values. It becomes.
In the technique disclosed in Patent Document 1, white balance is calculated by calculating white balance from RGB data of image data. However, characteristics of a device that actually reproduces image data are not considered. For this reason, the problem that an image is not suitably reproduced by the use environment of image data may arise.
本発明はこのような問題点に鑑みなされたもので、デバイスによる入力画像の再現を適正に行うことを目的とする。 The present invention has been made in view of such problems, and an object thereof is to appropriately reproduce an input image by a device.
そこで、本発明は、情報処理装置が、デバイスに依存する色情報から前記デバイスに依存しない色情報への変換を入力画像データについて行う変換手段と、前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、を備えることを特徴とする。 Therefore, the present invention provides an information processing apparatus that does not depend on a conversion unit that performs conversion from color information that depends on a device to color information that does not depend on the device for input image data, and the device that is converted by the conversion unit. Calculation means for calculating chromaticity data of the input image data based on color information, and correction means for correcting the chromaticity data while maintaining a color temperature corresponding to the chromaticity data calculated by the calculation means And image correction means for correcting the input image data based on the chromaticity data corrected by the correction means.
本発明によれば、デバイスによる入力画像の再現を適正に行うことができる。 According to the present invention, it is possible to appropriately reproduce an input image by a device.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態に係る情報処理装置101の構成を示す図である。まず、図1(a)を参照して、情報処理装置101のハードウェア構成について説明する。
(First embodiment)
FIG. 1 is a diagram showing a configuration of an
情報処理装置101は、CPU(Central Processing Unit)1及び記憶装置2を含んで構成される。なお、情報処理装置101が備える各装置は、互いに通信可能に構成され、バス等により接続されている。CPU1は、情報処理装置101の動作をコントロールし、記憶装置2に格納されたプログラムの実行等を行う。記憶装置2は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、CPU1の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、CPU1が、記憶装置2に格納されたプログラムの手順に従って処理を行うことによって、情報処理装置101における機能及び後述するフローチャートに係る処理が実現される。
なお、情報処理装置101のハードウェア構成は、上述した構成に限られるものではない。例えば、情報処理装置101は、各種の指示を入力するマウス、キーボード、タッチパネルデバイス、ボタン等の入力装置を備えてもよい。また、例えば、情報処理装置101は、各種の情報を出力する液晶パネル、外部モニタ等の出力装置を備えてもよい。また、例えば、情報処理装置101は、各種の装置間で通信を行うためのI/O装置を備えてもよい。I/O装置は、メモリカード、USBケーブル等の入出力部、有線、無線等による送受信部等である。
The
Note that the hardware configuration of the
次に、図1(b)を参照して、情報処理装置101の機能構成について説明する。情報処理装置101は、画像データ取得部103、デバイス特性取得部105、画像データ解析部106、UI部107、投影部108、ホワイトバランス算出部109、ホワイトバランス補正部110、及び画像変換処理部111を含んで構成される。
Next, the functional configuration of the
画像データ取得部103は、変換元画像データ(換言するならば、入力画像データ)であるRGB画像データを保持する画像データ保持装置102から変換元画像データであるRGB画像データを取得する。デバイス特性取得部105は、デバイス特性データを保持するデバイス特性保持装置104からデバイス特性データを取得する。画像データ解析部106は、RGB画像データを解析する。UI部107は、UI(user interface)を表示装置等の出力装置(図示せず。)に出力する。投影部108は、画像変換処理が施されたRGB画像データを出力装置に出力、スクリーン(図示せず。)に投影等する。ホワイトバランス算出部109は、RGB画像データのホワイトバランスを算出する。ホワイトバランス補正部110は、ホワイトバランスを補正する。画像変換処理部111は、色知覚モデルを用いて、RGB画像データを変換する。バッファメモリ部112は、記憶装置2に設けられる記憶領域であり、画像データ、演算処理を行うために一時的に演算結果等を記憶する。
なお、情報処理装置101は、画像データ保持装置102及びデバイス特性保持装置104の何れか一方又は双方を備えてもよい。
The image
The
<情報処理装置101における動作>
図2は、情報処理装置101にて実行される処理に係るフローチャートの一例を示す図である。なお、以下のフローチャートによる処理は、情報処理装置101が備えるCPU1が、記憶装置2に記憶されている制御プログラムを実行すること等によって実現される。
<Operation in
FIG. 2 is a diagram illustrating an example of a flowchart relating to processing executed by the
ステップS1において、画像データ取得部103は、変換元画像データであるRGB画像データを画像データ保持装置102から取得し、バッファメモリ部112に取得したRGB画像データを格納する。
ステップS2において、画像データ解析部106は、ステップS1で取得されたRGB画像データを解析し、RGB画像データのヒストグラムを作成する。なお、画像データ解析部106の具体的な処理については後述する。
In step S <b> 1, the image
In step S2, the image
ステップS3において、デバイス特性取得部105は、デバイス特性保持装置104からデバイス特性データを取得する。デバイス特性データは、デバイス(プロジェクタ等)に依存する色情報であるデバイス依存色(RGB)からデバイスに依存しない色情報であるデバイス独立色(XYZ)への変換特性が関連付けられて記述されたファイル(特性情報)である。変換特性は、例えば、RGBからXYZへのγ+3×3変換マトリクス、又は変換ルックアップテーブル(LUT)として記述される。本実施形態では、LUTを使用し、例えば、図3に示すフォーマットのように均等格子点に並んだRGB値とXYZ値との対応関係がLUTに記述され、この対応関係に基づいて四面体補間等することでRGB値をXYZ値に変換する。なお、本実施形態で採用するLUTのデータは、暗黒環境下でデバイスの投影色を測定した値である。
In step S <b> 3, the device
ステップS4において、変換手段及び算出手段の一例であるホワイトバランス算出部109は、ステップS2で取得されたRGB画像データのヒストグラムとステップS3で取得されたデバイス特性データとに基づいてホワイトバランスを算出する。なお、ホワイトバランス算出部109がホワイトバランス(換言するならば、RGB画像データの色度データ)を算出する具体的な処理については後述する。
ステップS5において、補正手段の一例であるホワイトバランス補正部110は、ステップS4で算出されたホワイトバランスと黒体放射軌跡データとを用いてホワイトバランスを補正する。なお、ホワイトバランス補正部110の具体的な処理については後述する。
In step S4, the white
In step S5, the white
ステップS6において、画像補正手段の一例である画像変換処理部111は、ステップS5で補正されたホワイトバランスを用いてRGB画像データを補正する。なお、画像変換処理部111の具体的な処理については後述する。
ステップS7において、投影部108は、ステップS6において補正されたRGB画像データをスクリーンに投影等し、処理を終了する。
In step S6, the image
In step S <b> 7, the
なお、情報処理装置101が処理を行う手順は、これに限られるものではない。例えば、ステップS3の処理は、ステップS1の処理の前に行ってもよく、情報処理装置101が処理を行う手順を適宜変更することができる。
Note that the procedure performed by the
<画像データ解析部106の動作>
図4は、ステップS2における画像データ解析部106の具体的な処理に係るフローチャートの一例を示す図である。
<Operation of Image
FIG. 4 is a diagram illustrating an example of a flowchart relating to specific processing of the image
ステップS21において、画像データ解析部106は、バッファメモリ部112からRGB画像データを1画素分取得し、取得したRGB画像データのRGB値をバッファメモリ部112に設けられるヒストグラム保持部(図示せず。)に保持する。
ステップS22において、画像データ解析部106は、ステップS21で取得したRGB画像データのRGB値に基づきヒストグラム保持部に保持されているヒストグラムを更新する。ヒストグラム保持部には、R/G/B各成分の信号値(RGB値)を格納するHistR[R]、HistG[G]、HistB[B]と、当該信号値を有する画素の出現頻度との関係がヒストグラムとして保持されている。HistR[R]、HistG[G]、HistB[B]の初期状態は、全て0である。ヒストグラムは、下記の式(a)に従って更新される。
In step S <b> 21, the image
In step S22, the image
ステップS23において、画像データ解析部106は、ヒストグラムの更新がRGB画像データの全画素について終了したかどうかを判断し、全てのヒストグラムの更新が終了している場合は、ステップS24の処理を行う。他方、全てのヒストグラムの更新が終了していない場合は、画像データ解析部106は、ステップS21に処理を戻し、再び処理を続ける。
ステップS24において、画像データ解析部106は、ステップS23で作成したヒストグラムをバッファメモリ部112に保存する。なお、図5に、ステップS2で作成されたヒストグラムを例示する。
In step S23, the image
In step S24, the image
<ホワイトバランス算出部109の動作>
図6は、ステップS4におけるホワイトバランス算出部109の具体的な処理に係るフローチャートの一例を示す図である。
<Operation of White
FIG. 6 is a diagram illustrating an example of a flowchart relating to specific processing of the white
ステップS41において、ホワイトバランス算出部109は、ステップS2で作成されたRGB画像データのヒストグラムをバッファメモリ部112から取得する。
ステップS42において、ホワイトバランス算出部109は、ステップS41で取得したヒストグラムのハイライト領域において出現頻度の最も高いR/G/B各成分の信号値をホワイトバランス補正の際に使用するRGB値として取得する。ヒストグラムのハイライト領域とは、例えば、ヒストグラムにおけるHistR[R]、HistG[G]、HistB[B]の上側5%の領域をいう。
In step S <b> 41, the white
In step S42, the white
ステップS43において、ホワイトバランス算出部109は、ステップS42で取得したRGB値をステップS2で取得されたデバイス特性に基づいて色度データに変換する。色度データ(xy色度値)は、ステップS42で取得したRGB値をデバイス特性に基づきXYZ値に変換し、XYZ値を用いて下記の式(b)に従って算出される。
In step S43, the white
ステップS44において、ホワイトバランス算出部109は、ステップS43で算出した色度データをバッファメモリ部112に格納する。
In step S44, the white
<ホワイトバランス補正部110の動作>
図7は、ステップS5におけるホワイトバランス補正部110の具体的な処理に係るフローチャートの一例を示す図である。
<Operation of White
FIG. 7 is a diagram illustrating an example of a flowchart relating to specific processing of the white
ステップS51において、ホワイトバランス補正部110は、バッファメモリ部112からステップS4で算出された色度データを取得する。
ステップS52において、ホワイトバランス補正部110は、下記の式(c)を用いてステップS51で取得した色度データにおける相関色温度(T)を算出する。
In step S51, the white
In step S52, the white
ステップS53において、ホワイトバランス補正部110は、ステップS52で算出した相関色温度に対応する黒体放射軌跡上の色度データを下記の式(d)を用いて算出する。このように、ここでは、ステップS52で算出した相関色温度と等しい相関色温度についての色度データの軌跡で表された相関色温度線と、黒体放射軌跡との交点の色度データを求めるようにしている。しかしながら、必ずしもこのようにする必要はない。例えば、ホワイトバランス補正部110は、ステップS4で算出された色度データが黒体放射軌跡から離れている場合、相関色温度線に沿って、黒体放射軌跡上に又は黒体放射軌跡に近づく方向に当該色度データを補正してもよい。すなわち、ホワイトバランス補正部110は、より広義には、色度データに対応する色温度を一定に保った状態で色度データを補正する。
In step S53, the white
ステップS54において、ホワイトバランス補正部110は、ステップS53で算出した色度データをバッファメモリ部112に保存する。
In step S54, the white
<画像変換処理部111の動作>
図8は、ステップS6における画像変換処理部111の動作の具体的な処理に係るフローチャートの一例を示す図である。
<Operation of Image
FIG. 8 is a diagram illustrating an example of a flowchart relating to specific processing of the operation of the image
ステップS61において、画像変換処理部111は、バッファメモリ部112からRGB画像データのRBG値を1画素分取得する。
ステップS62において、画像変換処理部111は、バッファメモリ部112からデバイス特性データを取得し、デバイス特性データに基づいてRGB画像データのRGB値をXYZ値に変換する。
ステップS63において、画像変換処理部111は、フォワードアピアランスモデルを用いてXYZ値を知覚色データに変換する。なお、具体的な変換式については後述する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップS4で算出した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
In step S <b> 61, the image
In step S62, the image
In step S63, the image
ステップS64において、画像変換処理部111は、逆アピアランスモデルを用いて、ステップS63で算出した知覚色データをX'Y'Z'値に変換する。また、変換式に必要な観察環境パラメータについては、白色点には、ステップS5で補正した色度データを設定し、他のパラメータについてはCIECAM02の推奨パラメータを設定する。
ステップS65において、画像変換処理部111は、バッファメモリ部112からデバイス特性データを取得し、デバイス特性データに基づいてステップS64で算出したX'Y'Z'値をR'G'B'値に変換する。
In step S64, the image
In step S65, the image
ステップS66において、画像変換処理部111は、画像変換を全画素について終了したかどうかを判断し、全ての画像変換が終了している場合は、処理を終了する。他方、全ての画像変換が終了していない場合は、画像変換処理部111は、ステップS61に処理を戻し、処理を続ける。
ステップS67において、画像変換処理部111は、ステップS61からステップS66で変換されたR'G'B'値をバッファメモリ部112に格納する。
すなわち、画像変換処理部111は、補正された色度データをパラメータとする知覚モデルを適用してRGB画像データに係るX'Y'Z'値(デバイスに依存しない色情報)を算出する。そして、画像変換処理部111は、デバイス特性データに基づいて、算出した全てのX'Y'Z'値について、X'Y'Z'値をX'Y'Z'値に対応するR'G'B'値(デバイスに依存する色情報)に変換することにより、RGB画像データを補正する。
In step S66, the image
In step S 67, the image
In other words, the image
ここで、アピアランスモデル(CIECAM02)の変換式とアピアランスモデルの観察条件パラメータとについて説明する。
<アピアランスモデル(CIECAM02)の変換式>
CIECAM02(順変換)における処理フローを色順応部、錐体応答部、心理値変換部の3つの変換部に分けて説明する。
色順応部では、(1)式でXYZ値を錐体の分光感度に変換し、(3)式で各錐体の信号を光源の白色点の値で正規化を行う。順応係数Dは(4)式で算出される。最後に(2)式を用いることで、観察環境下の光源に対応したXYZ値に変換する。
Here, the transformation model of the appearance model (CIECAM02) and the observation condition parameters of the appearance model will be described.
<Conversion formula of appearance model (CIECAM02)>
The processing flow in CIECAM02 (forward conversion) will be described by dividing it into three conversion units: a color adaptation unit, a cone response unit, and a psychological value conversion unit.
In the chromatic adaptation unit, the XYZ value is converted into the spectral sensitivity of the cone by the equation (1), and the signal of each cone is normalized by the white point value of the light source by the equation (3). The adaptation coefficient D is calculated by equation (4). Finally, the equation (2) is used to convert the value into an XYZ value corresponding to the light source under the observation environment.
錐体応答部では、(5)式でXYZ値を錐体の分光感度に変換し、(6)式で目に入る光量の強度に応じた、順応後の錐体応答値に変換する。 In the cone response unit, the XYZ value is converted into the spectral sensitivity of the cone by the equation (5), and converted into a cone response value after adaptation according to the intensity of the amount of light entering the eye by the equation (6).
心理値変換部では、(7)、(8)、(9)式を用いて、錐体応答値を視覚野での無彩色応答と反対色応答との信号値に変換し、この信号値を(10)、(11)、(12)式を用いて知覚明度J値、知覚彩度C値、知覚色相h値に変換する。 The psychological value conversion unit converts the cone response value into signal values of an achromatic color response and an opposite color response in the visual cortex using the equations (7), (8), and (9), and this signal value is converted into the signal value. Using the equations (10), (11), and (12), conversion into perceptual lightness J value, perceptual saturation C value, and perceptual hue h value is performed.
なお、CIECAM02逆変換部では、観察環境により観察条件パラメータを設定し、順変換の工程で新たに無彩色応答Awを計算し、Aw、JCh値、かかる係数から順変換部の逆工程を行うことで、知覚色データからXYZ値への変換が行われる。 The CIECAM02 inverse conversion unit sets the observation condition parameters according to the observation environment, newly calculates the achromatic response Aw in the forward conversion process, and performs the reverse process of the forward conversion unit from the Aw, JCh value, and such coefficients. Thus, the perceptual color data is converted into XYZ values.
<色知覚モデル(CIECAM02)の観察条件パラメータ>
図9は、CIECAM02において推奨されている観察条件パラメータを示す図である。図9に示す周囲の条件averageは、平均的な周辺(周辺の相対輝度が対象シーンの中の白色の20%以上であること)を示す。また、周囲の条件dimは、薄暗い周辺(周辺の相対輝度が対象シーンの中の白色の20%以下であること)を示す。また、周囲の条件darkは、暗黒周辺(周辺の相対輝度が対象シーンの中の白色の0%であること)を示す。なお、本実施形態では、順変換時の白色にはステップS4で算出した色度データに基づくXYZ値、逆変換時の白色にはステップS5で算出した色度データに基づくXYZ値を用いる。その他のパラメータについてはCIECAM02の推奨パラメータを使用する。
<Observation condition parameters of color perception model (CIECAM02)>
FIG. 9 is a diagram showing observation condition parameters recommended in CIECAM02. The ambient condition average shown in FIG. 9 indicates an average periphery (peripheral relative luminance is 20% or more of white in the target scene). The surrounding condition dim indicates a dim surrounding (the relative luminance of the surrounding is 20% or less of white in the target scene). The ambient condition dark indicates a dark periphery (the relative luminance of the periphery is 0% of white in the target scene). In this embodiment, the XYZ value based on the chromaticity data calculated in step S4 is used for white at the time of forward conversion, and the XYZ value based on chromaticity data calculated at step S5 is used for the white at the time of reverse conversion. For other parameters, use the recommended parameters of CIECAM02.
<第1の実施形態の効果の例>
本実施形態の情報処理装置101は、入力画像の画像情報を解析し、デバイス特性に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、従来に比べ、入力画像に対応する色温度を保持したままホワイトバランスを補正すること、すなわち色みを容易に調整することが可能となることに加え、実際にデバイスを用いて鑑賞するシーンで好適な画像を再現することができる。
<Example of effects of first embodiment>
The
(第2の実施形態)
第2の実施形態では、第1の実施形態の処理に加えて、投影面に照明光が写りこむ影響を考慮してホワイトバランスを補正する処理が行われる。そこで、本実施形態では、照明光を取得する部を備えた変更点等、第1の実施形態との差異について説明する。
(Second Embodiment)
In the second embodiment, in addition to the processing of the first embodiment, processing for correcting white balance is performed in consideration of the influence of illumination light reflected on the projection surface. Therefore, in the present embodiment, differences from the first embodiment, such as a change point provided with a unit that acquires illumination light, will be described.
図10は、第2の実施形態に係る情報処理装置101の構成を示す図である。なお、図10において、第1の実施形態に係る情報処理装置101と同一の部分については、図1に付した符号と同一の符号を付している。また、図10に示すように、第2の実施形態に係る情報処理装置101は、照明データ取得部114を備える点が第1の実施形態に係る情報処理装置101と異なる。照明データ取得部114は、照明データを計測する測定器113から照明データを取得する。なお、情報処理装置101が測定器113を備える構成を採用してもよい。
FIG. 10 is a diagram illustrating a configuration of the
<情報処理装置101における動作>
図11は、情報処理装置101にて実行される処理に係るフローチャートの一例を示す図である。図11を参照して、第2の実施形態に特有の処理であるステップS14及びステップS15の処理について説明する。なお、その他のステップS11からS13までの処理、及びステップS16からS18までの処理については、それぞれ第1の実施形態で説明した図2のステップS1からS3までの処理、及びステップS5からS7までの処理と同様であるので説明を省略する。
<Operation in
FIG. 11 is a diagram illustrating an example of a flowchart relating to processing executed by the
ステップS14において、照明データ取得部114は、測定器113を用いて投影面のXYZ値を測定する。なお、投影面には測定用としてR=0、G=0、B=0の黒(基準色)の色票を表示し、実際に画像(すなわち、基準画像データ)を視聴する環境下で投影面のXYZ値の測定を行う。
In step S <b> 14, the illumination
ステップS15において、ホワイトバランス算出部109は、ホワイトバランスを算出する。すなわちホワイトバランス算出部109は、ステップS12で取得したRGB画像データのヒストグラムと、ステップS13で取得したデバイス特性データと、ステップS14で測定した値に基づく照明光の写りこみ量とを用いてホワイトバランスを算出する。なお、ホワイトバランス算出部109の具体的な処理については後述する。
In step S15, the white
<ホワイトバランス算出部109における動作>
図12は、ステップS15における算出手段の一例であるホワイトバランス算出部109の具体的な処理に係るフローチャートを示す図である。図12を参照して、第2の実施形態に特有の処理であるステップS153からステップS155までの処理について説明する。なお、その他のステップS151、S152、S156の処理については、それぞれ第1の実施形態で説明した図6のステップS41、S42、S44の処理と同様であるので説明を省略する。
<Operation in White
FIG. 12 is a diagram illustrating a flowchart relating to specific processing of the white
ステップS153において、ホワイトバランス算出部109は、ステップS152で算出したRGB値をステップS13で取得したデバイス特性に基づいてXYZ値に変換する。
ステップS154において、ホワイトバランス算出部109は、ステップS14で測定した測定値(XL、YL、BL)及びステップS13で取得したデバイス特性データ(R=0、G=0、B=0)に対応するXYZ値(XB、YB、ZB)を取得する。そして、ホワイトバランス算出部109は、取得した値に基づいて照明光の写りこみ量(XS、YS、ZS)を下記の式(e)により算出する。
In step S153, the white
In step S154, the white
ステップS155において、ホワイトバランス算出部109は、ステップS153で変換されたXYZ値にステップS154で算出した写りこみ量を加算し、色度データを算出する。すなわち、ホワイトバランス算出部109は、入力画像データ(ここではRGB画像データ)がデバイスで使用される環境下での照明を適応した色度データを算出する。
In step S155, the white
<第2の実施形態の効果の例>
以上、本実施形態の情報処理装置101は、入力画像の画像情報を解析し、デバイス特性及び照明光に関連付けてホワイトバランスを算出し、ホワイトバランスを相関色温度線に従って黒体放射軌跡上に補正する。この構成によれば、照明光の写りこみ量を考慮したホワイトバランスを算出することが可能となるので、第1の実施形態で説明した効果に加え、(実際にデバイスを用いて鑑賞するシーンだけでなく)視環境下でも好適な画像を再現することができる効果を奏する。
<Example of effect of second embodiment>
As described above, the
(第3の実施形態)
第3の実施形態では、第1の実施形態に係る構成又は第2の実施形態に係る構成に加えて、ユーザにホワイトバランスを調整するUIを表示し、UIで取得した調整値からホワイトバランスを補正する構成を採用する。そこで、本実施形態では、第1の実施形態からの差異である、UI部107によるホワイトバランス調整値の取得方法と、取得したホワイトバランス調整値を用いたホワイトバランスを補正する処理方法(図2のステップS5)について説明する。
(Third embodiment)
In the third embodiment, in addition to the configuration according to the first embodiment or the configuration according to the second embodiment, the UI for adjusting the white balance is displayed to the user, and the white balance is obtained from the adjustment value acquired by the UI. Adopt a configuration to correct. Therefore, in the present embodiment, a method for acquiring a white balance adjustment value by the
まず、図13を参照して、UI部107がホワイトバランス調整値を取得する方法について説明する。
UI部107は、図13に示すような色調整バーを備えるUIを出力装置等に表示する。ユーザは、入力装置等を介してこの色調整バーを操作することにより表示画像の色みを制御することが可能となる。色調整バーは、内部的には0から1の範囲において所定の値(例えば、0.2刻み)で数値を指示する。UI部107は、図13で色調整バーにより補正なしが選択された場合には1の値、ニュートラルが選択された場合には0の値、その間が選択された場合にはその刻み幅に対応する値をホワイトバランス調整値として取得する。
First, a method by which the
The
次に、図14を参照して、UI部107のユーザの操作により取得されたホワイトバランス調整値に基づいてホワイトバランスを補正する処理について説明する。図14は、ホワイトバランスを補正する処理に係るフローチャートの一例を示す図である。ここでは、第3の実施形態に特有の処理であるステップS74及びステップS75の処理について説明する。なお、その他のステップS71からステップS73まで、及びステップS76の処理については、それぞれ第1の実施形態で説明した図7のステップS51からステップS53まで、及びステップS54の処理と同様であるので説明を省略する。
Next, with reference to FIG. 14, processing for correcting white balance based on a white balance adjustment value acquired by a user operation of the
ステップS74において、ホワイトバランス補正部110は、UI部107よりホワイトバランス調整値を取得する。
ステップS75において、ホワイトバランス補正部110は、ステップS71で取得した色度データ及びステップS73で取得した色度データをより人間の感覚に近いuv色度値へと変換する。そして、ホワイトバランス補正部110は、補正なしはステップS71で取得した色度データ、ニュートラルはステップS73で取得した色度データ、とそれぞれ対応付ける。ホワイトバランス補正部110は、ステップS74で取得したホワイトバランス調整値を内分点としてuv色度値を加算平均する。また、ホワイトバランス補正部110は、算出後のuv色度値を色度データへ再度変換する。なお、uv色度値は、以下の式(f)により算出される。
ここで、図15に色度データの調整例を示す。図15において、151は、黒体放射軌跡(3000K〜1200K)である。152は、相関色温度線である。153は、RGB画像データ(入力画像データ)から算出したホワイトバランス(色度データ)である。154は、RGB画像データの色度データに対応する色温度での色度データ(換言するならば、入力画像データに係る黒体放射軌跡151上の色度データ)である。155は、UI部107で設定された内分比により算出される色度データである。
In step S <b> 74, the white
In step S75, the white
Here, FIG. 15 shows an example of adjustment of chromaticity data. In FIG. 15, 151 is a black body radiation locus (3000K-1200K).
<第3の実施形態の効果の例>
本実施形態の情報処理装置101は、画像の色みをユーザが調整する場合において、ホワイトバランスをニュートラルな色度値に簡易に調整できる機構をもつ。この機構によれば、第1の実施形態で説明した効果に加え、ホワイトバランスについてコンテンツの色温度に忠実に色補正できない煩わしさを低減し、ユーザの調整作業の負担を低減できる効果を奏する。
<Example of effect of third embodiment>
The
(変形例)
<画像データ解析部>
各実施形態に係る情報処理装置では、RGB画像データの解析部としてヒストグラムを作成し、ホワイトバランス処理を行っているが、ホワイトバランス処理は、これに限られるものではない。例えば、ホワイトバランス処理では、ヒストグラムの色分布を解析してシーンの判別を行って、ホワイトバランス処理を行うべき画像と行うべきでない画像とを分ける処理を行ってもよい。この構成によれば、どのようなシーンでも一律にホワイトバランスを調整することでシーンによっては逆に画像が不自然になる事態を極力回避できる。
(Modification)
<Image data analysis unit>
In the information processing apparatus according to each embodiment, a histogram is created and white balance processing is performed as an RGB image data analysis unit, but the white balance processing is not limited thereto. For example, in the white balance process, a scene distribution may be determined by analyzing the color distribution of the histogram, and a process for separating an image that should be subjected to the white balance process and an image that should not be performed may be performed. According to this configuration, by adjusting the white balance uniformly in any scene, it is possible to avoid the situation where the image becomes unnatural depending on the scene.
<ヒストグラムの算出方法>
各実施形態に係る情報処理装置では、ヒストグラムのハイライト領域からRGB値を取得する際にヒストグラムの上側5%における最頻値を用いているが、ヒストグラムからRGB値を取得する処理は、これに限られるものではない。例えば、ヒストグラムからRGB値を取得する処理では、ヒストグラムの上側5%における平均値、ヒストグラムの最大値等を用いてもよい。また、ヒストグラムからRGB値を取得する処理では、ヒストグラムに閾値を設けて閾値以上又は閾値以下のヒストグラムの上側1%における平均値、最頻値等をRGB値とする方法を用いてもよい。
<Histogram calculation method>
In the information processing apparatus according to each embodiment, the mode value in the upper 5% of the histogram is used when acquiring the RGB value from the highlight area of the histogram, but the process of acquiring the RGB value from the histogram is It is not limited. For example, in the process of acquiring RGB values from the histogram, the average value in the upper 5% of the histogram, the maximum value of the histogram, or the like may be used. Further, in the process of acquiring RGB values from the histogram, a method may be used in which a threshold value is provided in the histogram and the average value, mode value, etc. in the upper 1% of the histogram above or below the threshold value are used as the RGB value.
<ホワイトバランスの補正方法>
各実施形態に係る情報処理装置では、ホワイトバランス補正部110は、RGB画像データのホワイトバランスを算出し、そのホワイトバランスを黒体放射軌跡上の色度データへと補正しているが、ホワイトバランスを補正する処理は、これに限られるものではない。例えば、黒体放射軌跡に沿った許容範囲を設けて、ホワイトバランス補正部110が、ホワイトバランスが許容範囲外であれば補正し、許容範囲内であれば補正しない構成を採用してもよい。
<White balance correction method>
In the information processing apparatus according to each embodiment, the white
<画像変換処理の方法>
各実施形態に係る情報処理装置では、RGB画像データの変換にアピアランスモデルを用いてRGB値からR'G'B'値への変換を行っているが、RGB値からR'G'B'値への変換処理は、これに限られるものではない。例えば、ある格子点のRGB値を用いてこの変換処理をLUT処理で行ってもよい。また、アピアランスモデルを用いずに、白色の補正前のRGB値と補正後のR'G'B'値とから簡易的にホワイトバランス補正の係数を算出し、この係数を用いてRGB画像データのRGB値を変換する構成を採用してもよい。なお、係数としては、例えば、Rk=R'/R、Gk=G'/G、Bk=B'/Bを採用する。
<Image conversion processing method>
In the information processing apparatus according to each embodiment, the RGB image data is converted from the RGB value to the R′G′B ′ value using an appearance model, but the RGB value is converted into the R′G′B ′ value. However, the conversion process is not limited to this. For example, this conversion processing may be performed by LUT processing using RGB values at a certain grid point. Also, without using the appearance model, a white balance correction coefficient is simply calculated from the RGB value before white correction and the R′G′B ′ value after correction, and the RGB image data is converted using this coefficient. A configuration for converting RGB values may be employed. As coefficients, for example, Rk = R ′ / R, Gk = G ′ / G, and Bk = B ′ / B are adopted.
<黒体放射軌跡のデータ>
各実施形態に係る情報処理装置では、黒体放射軌跡上の色度データを、式(d)を用いて算出しているが、黒体放射軌跡上の色度データの算出処理は、これに限られるものではない。例えば、予め所定の相関色温度について色度データを計算し、相関色温度と色度データとの対応関係をテーブルとして格納し、これを参照して黒体放射軌跡の色度データの計算処理を行う構成を採用してもよい。
<Black body radiation locus data>
In the information processing apparatus according to each embodiment, the chromaticity data on the blackbody radiation locus is calculated using the equation (d). It is not limited. For example, the chromaticity data is calculated in advance for a predetermined correlated color temperature, the correspondence relationship between the correlated color temperature and the chromaticity data is stored as a table, and the chromaticity data calculation process of the black body radiation locus is referred to by referring to this You may employ | adopt the structure to perform.
<第3の実施形態におけるUI>
第3の実施形態に係る情報処理装置では、画像調整用にUIを用いているが、UIは、これに限られるものではない。例えば、青−赤方向の黒体放射軌跡に沿った色温度を調整できるUIと併用する構成を採用してもよい。
<UI in the Third Embodiment>
In the information processing apparatus according to the third embodiment, a UI is used for image adjustment, but the UI is not limited to this. For example, you may employ | adopt the structure used together with UI which can adjust the color temperature along the black-body radiation locus of a blue-red direction.
<情報処理装置>
本情報処理装置は、複数の機器(ホストコンピュータ、インタフェイス機器、リーダ、ディスプレイ等)から構成されるシステムに適用しても、1つの機器からなる装置(プロジェクタ等)に適用してもよい。
<Information processing device>
This information processing apparatus may be applied to a system constituted by a plurality of devices (host computer, interface device, reader, display, etc.) or may be applied to an apparatus (projector, etc.) constituted by one device.
<記憶媒体>
プログラムコードを供給するための記憶媒体としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
<Storage medium>
As a storage medium for supplying the program code, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like can be used.
<その他の実施形態>
また、上述した実施形態の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(又は記録媒体)を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理部(CPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は上述した実施形態を構成することになる。
<Other embodiments>
The object of the above-described embodiment is achieved by the following. That is, a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded is supplied to the system or apparatus. Then, the central processing unit (CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium recording the program code constitutes the above-described embodiment.
また、システム或いは装置の前記中央演算処理部が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。 In addition, by executing the program code read by the central processing unit of the system or apparatus, an operating system (OS) or the like operating on the system or apparatus performs actual processing based on an instruction of the program code. Do some or all. The case where the function of the above-described embodiment is realized by the processing is also included.
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。 Furthermore, it is assumed that the program code read from the storage medium is written to a memory provided in a function expansion card inserted into the system or apparatus or a function expansion unit connected thereto. After that, based on the instruction of the program code, the CPU of the function expansion card or function expansion unit performs part or all of the actual processing, and the function of the above-described embodiment is realized by the processing. It is.
上述した実施形態を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。 When the above-described embodiment is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.
上述した実施形態では、例えば、入力画像の画像情報に基づいて、ホワイトバランスをデバイス特性、照明光等と関連付けて算出し、算出したホワイトバランスを相関色温度線に沿って黒体放射軌跡方向に補正する。この構成によれば、色温度を保持したままホワイトバランスを補正することが可能となり、実際にデバイスを用いて鑑賞するシーン及び照明環境下で好適な画像を再現することができる。また、この構成によれば、ユーザによるホワイトバランス補正等の色を調整する作業にかかる負担を軽減できる。 In the above-described embodiment, for example, based on the image information of the input image, white balance is calculated in association with device characteristics, illumination light, etc., and the calculated white balance is calculated along the correlated color temperature line in the direction of the black body radiation locus. to correct. According to this configuration, it is possible to correct the white balance while maintaining the color temperature, and it is possible to reproduce a suitable image in a scene and an illumination environment that are actually viewed using a device. Moreover, according to this structure, the burden concerning the operation | work which adjusts colors, such as white balance correction | amendment by a user, can be reduced.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.
101 情報処理装置、103 画像データ取得部、105 デバイス特性取得部、106 画像データ解析部、108 投影部、109 ホワイトバランス算出部、110 ホワイトバランス補正部、111 画像変換処理部、112 バッファメモリ部
DESCRIPTION OF
Claims (6)
前記変換手段で変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出手段と、
前記算出手段で算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正手段と、
前記補正手段で補正された色度データに基づいて、前記入力画像データを補正する画像補正手段と、
を備えることを特徴とする情報処理装置。 Conversion means for converting input device data from device-dependent color information to device-independent color information; and
Calculation means for calculating chromaticity data of the input image data based on the color information independent of the device converted by the conversion means;
Correction means for correcting the chromaticity data while maintaining a color temperature corresponding to the chromaticity data calculated by the calculation means;
Image correcting means for correcting the input image data based on the chromaticity data corrected by the correcting means;
An information processing apparatus comprising:
前記算出手段は、前記基準画像データが前記デバイスで照明されたときに測定された前記デバイスに依存しない色情報と、前記基準画像データにおける前記変換手段で変換された前記デバイスに依存しない色情報とを用いて、前記入力画像データに照明が写りこむ写りこみ量を算出し、算出した前記写りこみ量に基づいて前記デバイスで前記入力画像データが使用されるときの照明の量に適応した前記入力画像の色度データを算出することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 The converting means performs conversion from color information dependent on the device to color information independent of the device for reference image data,
The calculation means includes color information independent of the device measured when the reference image data is illuminated by the device, and color information independent of the device converted by the conversion means in the reference image data. The input amount adapted to the amount of illumination when the input image data is used in the device based on the calculated amount of reflection, and the amount of reflection reflected in the input image data is calculated using The information processing apparatus according to claim 1, wherein chromaticity data of an image is calculated.
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
を備えることを特徴とする情報処理方法。 A conversion step for converting input device data from device-dependent color information to device-independent color information;
A calculation step of calculating chromaticity data of the input image data based on the device-independent color information converted in the conversion step;
A correction step of correcting the chromaticity data while maintaining a color temperature corresponding to the chromaticity data calculated in the calculation step;
An image correction step for correcting the input image data based on the chromaticity data corrected in the correction step;
An information processing method comprising:
前記変換ステップで変換された前記デバイスに依存しない色情報に基づいて、前記入力画像データの色度データを算出する算出ステップと、
前記算出ステップで算出された色度データに対応する色温度を保持しつつ、前記色度データを補正する補正ステップと、
前記補正ステップで補正された色度データに基づいて、前記入力画像データを補正する画像補正ステップと、
をコンピュータに実行させることを特徴とするプログラム。 A conversion step for converting input device data from device-dependent color information to device-independent color information;
A calculation step of calculating chromaticity data of the input image data based on the device-independent color information converted in the conversion step;
A correction step of correcting the chromaticity data while maintaining a color temperature corresponding to the chromaticity data calculated in the calculation step;
An image correction step for correcting the input image data based on the chromaticity data corrected in the correction step;
A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009105559A JP2010258703A (en) | 2009-04-23 | 2009-04-23 | Information processor and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009105559A JP2010258703A (en) | 2009-04-23 | 2009-04-23 | Information processor and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010258703A true JP2010258703A (en) | 2010-11-11 |
Family
ID=43319133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009105559A Pending JP2010258703A (en) | 2009-04-23 | 2009-04-23 | Information processor and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010258703A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012194969A (en) * | 2011-02-11 | 2012-10-11 | Fundacion Tecnalia Research & Innovation | Bioinspired system for featuring through processing on color attribute of digital image |
-
2009
- 2009-04-23 JP JP2009105559A patent/JP2010258703A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012194969A (en) * | 2011-02-11 | 2012-10-11 | Fundacion Tecnalia Research & Innovation | Bioinspired system for featuring through processing on color attribute of digital image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4375781B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
KR100834762B1 (en) | Method and apparatus for gamut mapping for cross medias | |
JP4522346B2 (en) | Color processing method and apparatus | |
JP5430254B2 (en) | Image display apparatus and control method thereof | |
US8625154B2 (en) | Apparatus and method for reproducing optimized preference color using candidate images and natural languages | |
TW201448563A (en) | Methods and apparatus for image data transformation | |
JP2008165231A (en) | Apparatus and method for correcting ambient light adaptive color | |
WO2002076106A1 (en) | Environment-adaptive image display system, information storage medium, and image processing method | |
JP2007157116A (en) | Apparatus for adjusting specific color attribute and method therefor | |
JP2004356930A (en) | Apparatus and method for adjusting color | |
US8731288B2 (en) | Image processing techniques for color correction | |
JP2010217645A (en) | Method, device and program of making correction value of image display device | |
JP3876650B2 (en) | Color correction parameter calculation device, image color correction device, color correction parameter calculation method used therefor, and program thereof | |
US8730343B2 (en) | Color processing apparatus and method for performing color conversion using a color appearance model | |
JP2001320598A (en) | Color correction unit | |
JP2010217644A (en) | Method, device and program of making correction value of image display device | |
JP2010258703A (en) | Information processor and information processing method | |
JP2007081581A (en) | Color processing method and device | |
JP4300780B2 (en) | Color conversion coefficient creation method, color conversion coefficient creation apparatus, program, and storage medium | |
JP5082705B2 (en) | Correction data generation system and correction data generation method | |
JP4221584B2 (en) | Color processing apparatus, color processing method, and color processing program | |
JP3952081B2 (en) | Image color correction parameter calculation system, color correction method, and color correction apparatus | |
JP2006238335A (en) | Information processing method | |
JP2010251940A (en) | Image processor, image processing method, and program | |
KR100507779B1 (en) | Apparatus for compensating contrast of lightness according to brightness of surroundings |