JP4239218B2 - White balance adjustment method and electronic camera - Google Patents
White balance adjustment method and electronic camera Download PDFInfo
- Publication number
- JP4239218B2 JP4239218B2 JP2003311440A JP2003311440A JP4239218B2 JP 4239218 B2 JP4239218 B2 JP 4239218B2 JP 2003311440 A JP2003311440 A JP 2003311440A JP 2003311440 A JP2003311440 A JP 2003311440A JP 4239218 B2 JP4239218 B2 JP 4239218B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- sensitivity
- pixel
- color signal
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明はホワイトバランス調整方法及び電子カメラに係り、特に、感度が異なる高感度の色信号と低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法及び電子カメラに関する。 The present invention relates to a white balance adjustment method and an electronic camera, and more particularly to a white balance adjustment method and an electronic device for generating a wide dynamic range color signal based on a high sensitivity color signal and a low sensitivity color signal having different sensitivities. Regarding the camera.
感度の高い主画素と主画素よりも感度の低い副画素とを多数配置したカラー撮像手段によって被写体を撮像し、主画素で光電変換して得られた色信号と副画素で光電変換して得られた色信号とを合成することにより広ダイナミックレンジの色信号が得られるようにした電子カメラが提案されている。この電子カメラによれば、被写体の中間輝度領域の再現を適切に保ったまま、ハイライト領域を白飛びさせることなく再現させることができる。 The subject is imaged by color imaging means with a large number of high-sensitivity main pixels and sub-pixels with lower sensitivity than the main pixels, and the color signal obtained by photoelectric conversion at the main pixel and the sub-pixel are used for photoelectric conversion. An electronic camera has been proposed in which a color signal with a wide dynamic range can be obtained by combining the obtained color signal. According to this electronic camera, the highlight area can be reproduced without overexposure while appropriately reproducing the intermediate luminance area of the subject.
一方で、光源種を判別し、その判別した光源種に適したホワイトバランス調整を行うようにしたホワイトバランス調整方法が提案されている（例えば特許文献１参照）。 On the other hand, a white balance adjustment method has been proposed in which a light source type is determined and white balance adjustment suitable for the determined light source type is performed (see, for example, Patent Document 1).
静止画と動画とでホワイトバランス補正値を切り替えるようにした電子カメラも提案されている（特許文献２参照）。具体的には、静止画撮影時には目標の補正が瞬時に完了するホワイトバランス補正値を用い、動画撮影時には高速性よりも時系列での円滑性を重視したホワイトバランス補正値を用いるようになっている。
主画素と副画素とを多数配置したカラー撮像素子の色信号に対してホワイトバランス調整をする場合、主画素の色信号のみ的確に色再現されても、副画素の色信号での色再現がくずれていれば、主画素の色信号と副画素の色信号とを合成して得た広ダイナミックレンジの色信号も色再現が十分でないことになり、結果として、利用者が画像を視認した際に違和感を抱きかねない。即ち、従来の単一種類の画素を多数配置した電子カメラでのホワイトバランス調整方法を、主画素の色信号と副画素の色信号とに対してそれぞれ独立に適用しただけでは、十分な色再現は困難であろう。 When white balance adjustment is performed on the color signal of a color image sensor with a large number of main pixels and sub-pixels, even if only the color signal of the main pixel is accurately reproduced, color reproduction with the color signal of the sub-pixel is possible. If the color signal is not correct, the color signal of the wide dynamic range obtained by combining the color signal of the main pixel and the color signal of the sub-pixel will not be adequately reproduced. As a result, when the user visually recognizes the image You may feel uncomfortable. In other words, sufficient color reproduction is achieved by simply applying the white balance adjustment method for a conventional electronic camera with a large number of single-type pixels to the color signal of the main pixel and the color signal of the sub-pixel. Will be difficult.
特許文献２には、２種類の色信号（静止画及び動画）に対するホワイトバランス調整方法が開示されてはいるが、このような公知の方法を主画素の色信号及び副画素の色信号のホワイトバランス調整に仮に適用したとしても、やはり的確な色再現をすることができない。この特許文献２に開示されたものでは、せっかく一方の色信号（静止画）に対して色再現可能な適切なホワイトバランス補正値を決めても、他方の色信号（動画）では円滑性を重視したホワイトバランス補正値を用いるため、シーンによっては色再現が異なってしまう。
本発明はこのような事情に鑑みてなされたもので、低感度の色信号についても高感度の色信号と同様に的確な色再現をすることができ、これらの高感度の色信号と低感度の色信号とに基づいて生成した広ダイナミックレンジの色信号でも的確な色再現を可能とするホワイトバランス調整方法及び電子カメラを提供することを目的とする。 The present invention has been made in view of such circumstances, and it is possible to accurately reproduce a low-sensitivity color signal as well as a high-sensitivity color signal. It is an object of the present invention to provide a white balance adjustment method and an electronic camera that enable accurate color reproduction even with a wide dynamic range color signal generated based on the color signal.
前記目的を達成するために、請求項１に記載の発明は、高感度の色信号と低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法において、高感度の色信号に基づいて第１のホワイトバランス補正値を求めるステップと、前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正するステップと、前記高感度の色信号の色間の出力差と前記低感度の色信号の色間の比である感度比を、前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求めるステップと、前記第２のホワイトバランス補正値に従って前記低感度の色信号を補正するステップと含む構成となっている。 To achieve the above object, a first aspect of the present invention, in the white balance adjustment method when generating a color signal of wide dynamic range on the basis of the color signal of the color signal and the low-sensitivity high-sensitivity, high A step of obtaining a first white balance correction value based on a color signal of sensitivity; a step of correcting the color signal of high sensitivity according to the first white balance correction value; and between colors of the color signal of high sensitivity . Multiplying the first white balance correction value by a sensitivity ratio, which is a ratio between an output difference and a color of the low-sensitivity color signal, to obtain a second white balance correction value; and the second white balance And a step of correcting the low-sensitivity color signal according to a correction value.
この構成によって、低感度の色信号に対するホワイトバランス補正値が、前記高感度の色信号の色間の出力差と前記低感度の色信号の色間の比である感度比を高感度の色信号に対するホワイトバランス補正値に乗算して求められ、このようにして求められたホワイトバランス補正値に従って低感度の色信号のホワイトバランスが調整されるので、低感度の色信号についても高感度の色信号と同様に的確な色再現がされることになる。 This configuration, low white balance correction value for the color signal of the sensitivity, the high sensitivity output difference between the low-sensitivity color signals sensitive sensitivity ratio is the ratio of the colors of the color signal between the color of the color signals White is determined by multiplying the balance correction value, the white balance of the color signal of the low sensitivity is adjusted in accordance with the white balance correction value determined in this way, the high sensitivity for the low-sensitivity color signal the color signal for the As with, accurate color reproduction will be performed.
また、請求項２に記載の発明は、高感度の色信号と該低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する際のホワイトバランス調整方法において、前記色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、前記第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求めるステップと、前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正するステップと、前記低感度の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、前記高感度の色信号と前記低感度の色信号との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求めるステップと、前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求めるステップと、前記第３のホワイトバランス補正値に従って前記低感度の色信号を補正するステップと、を含む構成となっている。
The invention according to
この構成によって、低感度の色信号のＲ／Ｇ及びＢ／Ｇが高感度の色信号のＲ／Ｇ及びＢ／Ｇに相当するように補正されて、これらの補正された低感度の色信号のＲ／Ｇ及びＢ／Ｇに基づいて高感度の色信号に対するホワイトバランス補正値に相当する低感度の色信号のホワイトバランス補正値が求められるとともに、この低感度の色信号のホワイトバランス補正値に、前記高感度の色信号と前記低感度の色信号との比である感度比が乗算されて、この補正されたホワイトバランス補正値に従って低感度の色信号のホワイトバランスが調整されるので、低感度の色信号についても高感度の色信号と同様に的確な色再現がされることになる。 This configuration is corrected as the low-sensitivity color signals R / G and B / G corresponds to R / G and B / G sensitive color signals, these corrected low-sensitivity color signals based on the R / G and B / G with white balance correction value of the low sensitivity of the color signal is obtained corresponding to the white balance correction value for the sensitivity of the color signal, white balance correction value of the color signal of the low-sensitivity to, the high sensitivity is the ratio at which the sensitivity ratio is multiplied by the No. Iroshin and No. Iroshin of the low sensitivity, white balance of the color signal of low sensitivity is adjusted according to the corrected white balance correction value Therefore, an accurate color reproduction is performed for a low-sensitivity color signal as well as a high-sensitivity color signal.
また、請求項３に記載の発明は、請求項１又は２に記載の発明において、前記感度比を予め記憶した記憶手段から該感度比を読み出すステップを更に含む構成となっている。
The invention according to
この構成によって、シミュレーションの結果や実際の回路での試験結果等に基づく適当な感度比を記憶手段に予め記憶させておき、この予め記憶させた感度比に基づいて的確な色再現をさせることが可能になる。 With this configuration, an appropriate sensitivity ratio based on a simulation result, a test result on an actual circuit, or the like is stored in advance in a storage unit, and accurate color reproduction can be performed based on the previously stored sensitivity ratio. It becomes possible.
また、請求項４に記載の発明は、請求項１又は２に記載の発明において、前記感度比を前記高感度の色信号及び前記低感度の色信号に基づいて算出するステップを更に含む構成となっている。
The invention according to
この構成によって、実際に個々の電子カメラで感度比を算出して各電子カメラに適した色再現をさせることも可能になる。 With this configuration, the sensitivity ratio can be actually calculated by each electronic camera and color reproduction suitable for each electronic camera can be performed.
また、請求項５に記載の発明は、高感度の色信号と低感度の色信号とをもち、高感度の色信号に基づいて第１のホワイトバランス補正値を求める手段と、前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正する手段と、前記高感度の色信号と前記低感度の色信号との比である感度比を前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求める手段と、前記第２のホワイトバランス補正値に従って前記低感度の色信号を補正する手段と、前記補正された高感度の色信号と該高感度に対応する位置の補正された低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段とを備えた構成となっている。 According to a fifth aspect of the present invention, there is provided means for obtaining a first white balance correction value based on a high-sensitivity color signal having a high-sensitivity color signal and a low-sensitivity color signal ; means for correcting the color signal of the high sensitivity in accordance with the white balance correction value, multiplied by the ratio a is the sensitivity ratio between the No. Iroshin of the low sensitivity and No. Iroshin of the high sensitivity to the first white balance correction value It means for obtaining a second white balance correction value, and means for correcting the color signal of the low-sensitivity in accordance with the second white balance correction value, corresponding to the color signals and the high sensitivity of the corrected sensitivity And a means for generating a color signal with a wide dynamic range based on the corrected low-sensitivity color signal.
また、請求項６に記載の発明は、高感度の色信号と低感度の色信号とをもち、
高感度の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、該第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求める手段と、前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正する手段と、低感度の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、前記高感度の色信号と前記低感度の色信号との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求める手段と、前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求める手段と、前記第３のホワイトバランス補正値に従って前記低感度の色信号を補正する手段と、前記補正された高感度の色信号と該高感度に対応する低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段とを備えた構成となっている。
The invention according to
Means for obtaining a first ratio R / G, B / G of integrated values of the R, G, B color signals based on the high-sensitivity color signal, and based on the first ratios R / G, B / G Means for determining a first white balance correction value; means for correcting the high-sensitivity color signal in accordance with the first white balance correction value; and R, G, B color signals based on the low-sensitivity color signal. the second ratio R / G integrated value, B / means for determining G, the high ratio the sensitivity ratio of the second is the ratio of the No. Iroshin of the low sensitivity and No. Iroshin sensitivity R / Means for multiplying G, B / G to obtain a third ratio R / G, B / G corresponding to the first ratio R / G, B / G, and the third ratio R / G, B Means for obtaining a second white balance correction value corresponding to the first white balance correction value based on / G, and the sensitivity ratio as the second white balance Means for obtaining a third white balance correction value by multiplying a positive value, the third means for correcting the color signal of the low-sensitivity according to the white balance correction value, the corrected sensitivity of the color signal and the And a means for generating a color signal with a wide dynamic range based on a low-sensitivity color signal corresponding to high sensitivity .
本発明によれば、低感度の色信号についても高感度の色信号と同様に的確な色再現がされ、これらの高感度の色信号と低感度の色信号とに基づいて生成した広ダイナミックレンジの色信号でも的確な色再現がされる。 According to the present invention, accurate color reproduction is performed for low-sensitivity color signals as well as high-sensitivity color signals, and a wide dynamic range generated based on these high-sensitivity color signals and low-sensitivity color signals. Accurate color reproduction is possible even with this color signal.
以下添付図面に従って本発明に係るホワイトバランス調整方法及び電子カメラの好ましい実施の形態について詳説する。 Hereinafter, preferred embodiments of a white balance adjustment method and an electronic camera according to the present invention will be described in detail with reference to the accompanying drawings.
（第１の実施の形態） 図１は本発明を適用した電子カメラのブロック図である。 First Embodiment FIG. 1 is a block diagram of an electronic camera to which the present invention is applied.
この電子カメラは、静止画や動画の記録及び再生の機能を備えたデジタルカメラであり、電子カメラ全体の動作は中央処理装置（ＣＰＵ）６０によって統括制御される。ＣＰＵ６０は、所定のプログラムに従って本電子カメラの各部を制御する制御手段として機能する。また、自動露出（ＡＥ）、自動焦点調節（ＡＦ）、及び、自動ホワイトバランス調整（ＡＷＢ）などの制御を行う際には、これらの制御に必要な各種の演算もＣＰＵ６０で実施するようになっている。
This electronic camera is a digital camera having functions for recording and reproducing still images and moving images, and the overall operation of the electronic camera is centrally controlled by a central processing unit (CPU) 60. The
カラー撮像素子（ＣＣＤ）１４には、撮影レンズ１０及び絞り１２を透過した光が入射される。このＣＣＤ１４は、複数のフォトダイオード（後述の受光セルを構成する）が二次元配列されており、これらのフォトダイオードによって被写体像が入射光量に応じた信号電荷に変換される。図２は、ハニカム配列と呼ばれる配列形態のカラー撮像素子を示す平面模式図であり、互いに隣接する受光セル１４２０の行同士（又は列同士）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配列されている。
Light that has passed through the photographing
各受光セル１４２０は、感度の異なる二つの受光領域１４２１、１４２２を含む。第１の受光領域１４２１は、第２の受光領域１４２２よりも相対的に広い面積を有する感光部（以下「主画素」と称する）を構成する。第２の受光領域１４２２は、第１の受光領域１４２１よりも相対的に狭い面積を有する従たる感光部（以下「副画素」と称する）を構成する。ここで、副画素１４２２は主画素１４２１よりも感度が低い。各受光セル１４２０を構成する一対の主画素１４２１と副画素１４２２には同色のカラーフィルタが配置されている。すなわち、各受光セル１４２０に対応してそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の何れか一色の原色カラーフィルタが割り当てられている。尚、図２では受光セル１４２０の開口形状が四角形であるが、開口形状はこのような四角形に限定されず、六角形や八角形等の多角形、或いは円形であってもよい。また、受光セル１４２０の分割形態についても、図２に示した形状に限定されず、面積の大小関係など適宜設計される。
Each
受光セル１４２０に近接して垂直転送路（ＶＣＣＤ）１４３０が設けられている。垂直転送路１４３０上には４相駆動（φ１、φ２、φ３、φ４）に必要な転送電極１４３１、１４３２、１４３３、１４３４が配置されている。また、受光セル１４２０が並んだ撮像エリア１４４０に近接して、転送電極１４３１乃至１４３４にパルス電圧を印加するＶＣＣＤ駆動回路１４４２と、垂直転送路１４３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）１４４４が設けられている。水平転送路１４４４は、２相駆動であり、水平転送路１４４４の最終段は出力部１４４６に接続されている。出力部１４４６は出力アンプを含み、入力された信号電荷の電荷検出を行って、信号電圧として出力端子１４４８に色信号を出力する。こうして、各受光セル１４２０で光電変換した色信号（Ｒ，Ｇ，Ｂ信号）が、点順次の信号列として出力される。
A vertical transfer path (VCCD) 1430 is provided adjacent to the
このようなＣＣＤ１４において、一度の露光により主画素１４２１及び副画素１４２２で蓄積された信号電荷は、それぞれ独立に読み出される。具体的には、主画素１４２１及び副画素１４２２でそれぞれ生成された信号電荷は、受光セル１４２０に近接した垂直転送路１４３０に別々に読み出され、混ざり合うことなく転送される。すなわち、ひとつの受光セル１４２０から感度の異なる２種類の色信号（即ち、主画素のＲ，Ｇ，Ｂ信号と副画素のＲ，Ｇ，Ｂ信号）が別々に取り出される。
In such a
主画素１４２１の出力は、入射光量（被写体反射率）に比例して次第に増加し、入射光量が所定値（ｃ）のときに飽和値（以下「飽和光量」と称する）に達する。以後、入射光量が増加しても主画素１４２１の出力は一定となる。一方で、副画素１４２２の出力は、入射光量が主画素１４２１の飽和光量ｃを超えても飽和しないようになっている。
The output of the
ＣＣＤ１４は、電荷蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。ＣＣＤ１４に蓄積された電荷は、ＣＰＵ６０の指令に従いＣＣＤ駆動回路１６から与えられる駆動パルスによって信号電荷に応じた電圧信号（Ｒ，Ｇ，Ｂ信号）として順次読み出される。以下、主画素から取り出されたＲ，Ｇ，Ｂ信号を「主画素の色信号」、副画素から取り出されたＲ，Ｇ，Ｂ信号を「副画素の色信号」ともいう。
The
ＣＣＤ１４から順次取り出された主画素及び副画素の色信号は、相関二重サンプリング回路（ＣＤＳ回路）１８に与えられ、サンプリングホールド（相関二重サンプリング処理）された後、Ａ／Ｄ変換器２０に与えられ、アナログからデジタルに変換される。これらのＣＣＤ駆動回路１６、ＣＤＳ回路１８、及びＡ／Ｄ変換器２０は、タイミング発生器２２から与えられるタイミング信号によって同期して動作するようになっている。
The main pixel and sub-pixel color signals sequentially taken out from the
Ａ／Ｄ変換器２０から出力された主画素及び副画素の色信号は、一旦メモリ２４に格納され、その後、デジタル信号処理回路２６に加えられる。デジタル信号処理回路２６は、同時化回路２８、ホワイトバランス補正回路３０、ガンマ処理回路３２、合成回路３３、ＹＣ信号生成回路３４及びメモリ３６から構成されている。同時化回路２８は、Ａ／Ｄ変換器２０でデジタルに変換された点順次の主画素及び副画素の色信号を同時式に変換し、ホワイトバランス補正回路３０は、同時化回路２８から出力された主画素及び副画素の色信号のホワイトバランスを補正し、ガンマ処理回路３２は、ホワイトバランス補正回路３０から出力された主画素及び副画素の色信号が所望のガンマ特性となるように入出力特性を変更し、合成回路３３は主画素の色信号と副画素の色信号とを合成して広ダイナミックレンジの色信号を生成する。
The main pixel and sub-pixel color signals output from the A /
図３は、ガンマ処理回路３２から出力された主画素の色信号３２０Ｐ及び副画素の色信号３２０Ｓと、合成回路３３から出力された広ダイナミックレンジの色信号３３０の例を示す。図３において、横軸は被写体反射率、縦軸は各色信号のレベルにしてある。このように主画素の色信号と副画素の色信号とを合成して広ダイナミックレンジの色信号を生成することにより、被写体の中間輝度領域の再現を適切に保ったまま、ハイライト領域を白飛びさせることなく再現させることができる。
FIG. 3 shows examples of the main
ＹＣ信号生成回路３４は、合成回路３３から出力された広ダイナミックレンジの色信号（Ｒ，Ｇ，Ｂ信号である）から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成し、メモリ３６はＹＣ信号生成回路３４から出力されたＹＣ信号を一時記憶する。
The YC
メモリ３６内に一時記憶されたＹＣ信号は、液晶モニタ５２に表示させることができる。また、圧縮／伸長回路５４は、ＪＰＥＧなどの所定のフォーマットでＹＣ信号を圧縮し、記録部５６は、メモリカードその他の所定の記録媒体に画像データとして記録する。また、記録部５６によって記録媒体から読み出された画像データは、圧縮／伸長回路５４によって伸長処理された後、液晶モニタ５２に出力されるようになっている。
The YC signal temporarily stored in the
操作部４０には、モード選択スイッチ、撮影ボタン、メニューキー、ＯＫキー、十字キー、キャンセルキーなどが設けられている。モードスイッチは、被写体を撮影して画像データを記録するための撮影モードと、記録した画像データを再生する再生モードとを切り替えるための操作手段である。撮影ボタンは、撮影開始の指示を入力するための操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。メニューキーは、液晶モニタ５２の画面上にメニューを表示させる指示を入力するための操作手段である。ＯＫキーは、選択内容の確定及び実行などの指示を入力するための操作手段である。十字キーは、メニュー上の項目の選択などのために上下左右４方向の指示を入力する操作手段である。キャンセルキーは、選択項目や指示内容などの取消の指示を入力する操作手段である。
The
図４は、第１の実施の形態の電子カメラにおけるホワイトバランス補正値の算出に関連する部分を示すブロック図である。 FIG. 4 is a block diagram illustrating a portion related to the calculation of the white balance correction value in the electronic camera according to the first embodiment.
主画素積算値算出回路５０Ｐは、ＣＣＤ１４の有効な受光面全体に相当する１画面を複数のエリア（例えば８×８個）に分割し、これらの分割エリアごとに主画素のＲ，Ｇ，Ｂ信号をそれぞれ積算し、Ｒ，Ｇ，Ｂ信号別の積算値（「主画素積算値」と称する）を出力する。副画素積算値算出回路５０Ｓは、ＣＣＤ１４の有効な受光面全体に相当する１画面を複数のエリア（例えば８×８個）に分割し、これらの分割エリアごとに副画素のＲ，Ｇ，Ｂ信号をそれぞれ積算し、Ｒ，Ｇ，Ｂ信号別の積算値（「副画素積算値」と称する）を出力する。これらの主画素積算値算出回路５０Ｐ及び副画素積算値算出回路５０Ｓは、図１の積算値算出回路５０を構成する。
The main pixel integrated
主画素積算値算出回路５０Ｐ及び副画素積算値算出回路５０Ｓは、それぞれ、ＣＣＤ１４に発生する暗電流に起因する黒レベルのオフセットを調整するための所定の黒レベル調整値を出力する黒レベル調整値回路（ＯＢ回路）５０２Ｐ、５０２Ｓと、入力されたＲ，Ｇ，Ｂ信号から黒レベル調整値を減算する減算器５０３Ｐ、５０３Ｓと、カメラ間のバラツキを調整するための所定の微補正マトリクスゲインを出力する微補正マトリクスゲイン回路５０４Ｐ、５０４Ｓと、黒レベル調整後のＲ，Ｇ，Ｂ信号に微補正マトリクスゲインを乗算する乗算器５０５Ｐ、５０５Ｓと、カメラ間のバラツキが補正されたＲ，Ｇ，Ｂ信号について、分割エリアごとにＲ，Ｇ，Ｂ信号をそれぞれ積算して、Ｒ，Ｇ，Ｂ信号別の積算値を出力する積算器５０６Ｐ、５０６Ｓとを有する。
The main pixel integrated
主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐは、分割エリアごとに、主画素のＲ信号の積算値と主画素のＧ信号の積算値との比（「主画素Ｒ／Ｇ」と称する）、及び、主画素のＢ信号の積算値と主画素のＧ信号の積算値との比（「主画素Ｂ／Ｇ」と称する）を算出する。言い換えれば、主画素積算値を、（Ｒ，Ｇ，Ｂ）座標から、（Ｒ／Ｇ，Ｂ／Ｇ）座標（「表色座標」ともいう）に変換する。 The main pixel R / G and B / G calculation means 602P has a ratio between the integrated value of the R signal of the main pixel and the integrated value of the G signal of the main pixel (referred to as “main pixel R / G”) for each divided area. And a ratio (referred to as “main pixel B / G”) between the integrated value of the B signal of the main pixel and the integrated value of the G signal of the main pixel. In other words, the main pixel integrated value is converted from (R, G, B) coordinates to (R / G, B / G) coordinates (also referred to as “color coordinates”).
副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓは、分割エリアごとに、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（「副画素Ｒ／Ｇ」と称する）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（「副画素Ｂ／Ｇ」と称する）を算出する。言い換えれば、副画素積算値を、（Ｒ，Ｇ，Ｂ）座標から、（Ｒ／Ｇ，Ｂ／Ｇ）座標（「表色座標」ともいう）に変換する。 The subpixel R / G and B / G calculation means 602S has a ratio between the integrated value of the R signal of the subpixel and the integrated value of the G signal of the subpixel (referred to as “subpixel R / G”) for each divided area. And the ratio (referred to as “subpixel B / G”) of the integrated value of the B signal of the subpixel and the integrated value of the G signal of the subpixel. In other words, the sub-pixel integrated value is converted from (R, G, B) coordinates to (R / G, B / G) coordinates (also referred to as “color coordinates”).
補正係数算出手段６０４は、数１に示すように、副画素Ｒ／Ｇを主画素Ｒ／Ｇで除算して第１の感度比ａを算出するとともに、副画素Ｂ／Ｇを主画素Ｂ／Ｇで除算して第２の感度比ｂを算出し、これらの感度比ａ，ｂのそれぞれ逆数を第１の補正係数１／ａ及び第２の補正係数１／ｂとする。
［数１］
ａ＝（副画素Ｒ／Ｇ）／（主画素Ｒ／Ｇ）
ｂ＝（副画素Ｂ／Ｇ）／（主画素Ｂ／Ｇ）
第１の補正係数１／ａは、具体的には、主画素のＲ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＲ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比を示す。また、第２の補正係数１／ｂは、具体的には、主画素のＢ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＢ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比を示す。
The correction coefficient calculating means 604 calculates the first sensitivity ratio a by dividing the sub-pixel R / G by the main pixel R / G, as shown in
[Equation 1]
a = (subpixel R / G) / (main pixel R / G)
b = (subpixel B / G) / (main pixel B / G)
Specifically, the
これらの補正係数１／ａ及び１／ｂは、感度比ａ及びｂのそれぞれ逆数であるから、補正係数１／ａ及び１／ｂも、主画素の色信号の色間の出力差と副画素の色信号の色間の出力差との比である感度比（ただし主画素／副画素である）を示す。
Since these
尚、感度比ａ、ｂを算出する際に用いる副画素Ｒ／Ｇ、主画素Ｒ／Ｇ、及び、副画素Ｂ／Ｇ、主画素Ｂ／Ｇは、特定の分割エリア（例えば光源種を示す分割エリア）のものを用いる方法、複数の分割エリア（検出個数が最も多かった検出枠内の複数の分割エリア）のものを積算して用いる方法、１画面内の積算値を用いる方法等がある。 The subpixel R / G, the main pixel R / G, the subpixel B / G, and the main pixel B / G used when calculating the sensitivity ratios a and b are specific division areas (for example, light source types). A method using a plurality of divided areas (a method using a plurality of divided areas (a plurality of divided areas in a detection frame having the largest number of detections)), a method using one integrated value in one screen, and the like. .
主画素ゲイン算出手段６０６は、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐで算出された主画素Ｒ／Ｇ及び主画素Ｂ／Ｇに基づいて、主画素のＲ，Ｇ，Ｂ信号のホワイトバランスを調整するためのホワイトバランスゲイン（「主画素ゲイン」と称する）を算出する。 The main pixel gain calculation means 606 is a white signal for the R, G, B signals of the main pixel based on the main pixel R / G and the main pixel B / G calculated by the main pixel R / G, B / G calculation means 602P. A white balance gain (referred to as “main pixel gain”) for adjusting the balance is calculated.
この主画素ゲイン算出手段６０６は、検出枠判別手段６０６２、重み付け演算手段６０６４及び光源色補正手段６０６６を有している。
The main pixel
検出枠判別手段６０６２は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした表色座標上で、各分割エリアの積算値に対応する点（Ｒ／Ｇ，Ｂ／Ｇ）が、予め決められた複数の検出枠のうち、何れの検出枠内に入るかを判別する。 The detection frame discriminating means 6062 has a point (R / G, B / G) corresponding to the integrated value of each divided area in advance on the color coordinate where the horizontal axis is R / G and the vertical axis is B / G. It is determined which of the plurality of determined detection frames is included in the detection frame.
検出枠の例を図５に示す。図５において、表色座標２００における青空検出枠２０２、日陰検出枠２０４、曇り検出枠２０６、昼光色検出枠２０８、昼白色−白色検出枠２１０、肌色検出枠２１２、温白色検出枠２１４、タングステン灯検出枠２１６は、光源種ごとに範囲を規定したものである。尚、検出枠の種類や数、範囲等については本例に限定されず、多様な設計が可能である。
An example of the detection frame is shown in FIG. In FIG. 5, the blue
重み付け演算手段６０６４は、表色座標上の検出枠を用い、撮影画面の各分割エリアにおける各点（例えば８×８個の点）の分布状態を得るとともに、この分布状態と検出枠ごとの重み付けとに基づいて、色味をグレーに合わせるようなゲイン（基本ゲイン）を算出する。 The weighting calculation means 6064 obtains the distribution state of each point (for example, 8 × 8 points) in each divided area of the photographing screen using the detection frame on the color coordinate, and weights each distribution state and the detection frame. Based on the above, a gain (basic gain) that matches the color to gray is calculated.
光源色補正手段６０６６は、重み付け演算手段６０６４の演算で求められた基本ゲインに対して光源色の後味を残すための補正を施す。
The light source
副画素ゲイン算出手段６０７は、主画素ゲイン算出手段６０６で算出された主画素ゲインと補正係数算出手段６０４で算出された補正係数（１／ａ、１／ｂ）とに基づいて、副画素の色信号のホワイトバランスを調整するためのホワイトバランスゲイン（「副画素ゲイン」と称する）を算出する。
The sub-pixel
Ｒ，Ｇ，Ｂ信号別の主画素ゲインをそれぞれ主画素Ｒｇ、主画素Ｇｇ、主画素Ｂｇとし、Ｒ，Ｇ，Ｂ信号別の副画素ゲインをそれぞれ副画素Ｒｇ、副画素Ｇｇ、副画素Ｂｇとすると、数式２に示すようにして副画素ゲインが算出される。
［数２］
副画素Ｒｇ＝主画素Ｒｇ×１／ａ
副画素Ｇｇ＝主画素Ｇｇ
副画素Ｂｇ＝主画素Ｂｇ×１／ｂ
主画素ゲイン算出手段６０６から出力されたＲ，Ｇ，Ｂ信号別の主画素ゲインは、主画素ホワイトバランス補正回路３０Ｐにおいて、主画素のＲ，Ｇ，Ｂ信号にそれぞれ乗算される。また、副画素ゲイン算出手段６０７から出力されたＲ，Ｇ，Ｂ信号別の副画素ゲインは、副画素ホワイトバランス補正回路３０Ｓにおいて、副画素のＲ，Ｇ，Ｂ信号にそれぞれ乗算される。これらの乗算により主画素のＲ，Ｇ，Ｂ信号及び副画素のＲ，Ｇ，Ｂ信号のホワイトバランスがそれぞれ調整されるようになっている。
The main pixel gains for the R, G, and B signals are the main pixel Rg, the main pixel Gg, and the main pixel Bg, respectively, and the sub-pixel gains for the R, G, and B signals are the sub-pixel Rg, the sub-pixel Gg, and the sub-pixel Bg, respectively. Then, the subpixel gain is calculated as shown in
[Equation 2]
Subpixel Rg = Main pixel Rg × 1 / a
Sub-pixel Gg = main pixel Gg
Subpixel Bg = Main pixel Bg × 1 / b
The main pixel gain for each of the R, G, and B signals output from the main pixel
ホワイトバランス補正前の主画素の色信号を主画素Ｒ，主画素Ｇ，主画素Ｂとし、ホワイトバランス補正後の主画素の色信号を主画素Ｒ'、主画素Ｇ'、主画素Ｂ'とすると、数３に示すようになる。
［数３］
主画素Ｒ'＝主画素Ｒｇ×主画素Ｒ
主画素Ｇ'＝主画素Ｇｇ×主画素Ｇ
主画素Ｂ'＝主画素Ｂｇ×主画素Ｂ
同様に、ホワイトバランス補正前の副画素の色信号を副画素Ｒ，副画素Ｇ，副画素Ｂとし、ホワイトバランス補正後の副画素の色信号を副画素Ｒ'、副画素Ｇ'、副画素Ｂ'とすると、数４に示すようになる。
「数４」
副画素Ｒ'＝副画素Ｒｇ×副画素Ｒ
副画素Ｇ'＝副画素Ｇｇ×副画素Ｇ
副画素Ｂ'＝副画素Ｂｇ×副画素Ｂ
尚、図４において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓ、補正係数算出手段６０４、主画素ゲイン算出手段６０６、及び、副画素ゲイン算出手段６０７は、ＣＰＵ６０によって構成している。
The main pixel color signals before white balance correction are the main pixel R, main pixel G, and main pixel B, and the main pixel color signals after white balance correction are the main pixel R ′, main pixel G ′, and main pixel B ′. Then, it becomes as shown in
[Equation 3]
Main pixel R ′ = main pixel Rg × main pixel R
Main pixel G ′ = main pixel Gg × main pixel G
Main pixel B ′ = main pixel Bg × main pixel B
Similarly, subpixel R, subpixel G, and subpixel B are color signals of subpixels before white balance correction, and subpixel R ′, subpixel G ′, and subpixel are subpixel color signals after white balance correction. Assuming B ′, the following formula is obtained.
"
Subpixel R ′ = Subpixel Rg × Subpixel R
Subpixel G ′ = Subpixel Gg × Subpixel G
Subpixel B ′ = Subpixel Bg × Subpixel B
In FIG. 4, main pixel R / G, B / G calculation means 602P, sub pixel R / G, B / G calculation means 602S, correction coefficient calculation means 604, main pixel gain calculation means 606, and sub pixel gain. The
図６は、本実施の形態におけるホワイトバランス調整及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。 FIG. 6 is a flowchart showing the flow of processing relating to white balance adjustment and wide dynamic range color signal generation in the present embodiment.
撮影ボタンが全押しされて撮影が開始されると、主画素１４２１で光電変換して得られた色信号（主画素Ｒ，Ｇ，Ｂ信号）のホワイトバランス調整処理と、副画素１４２２で光電変換して得られた色信号（副画素Ｒ，Ｇ，Ｂ信号）のホワイトバランス調整処理とが並行して行われる。
When shooting is started by fully pressing the shooting button, white balance adjustment processing of color signals (main pixel R, G, B signals) obtained by photoelectric conversion in the
主画素のホワイトバランス調整では、まず、主画素積算値算出回路５０Ｐによって、分割エリアごとに主画素Ｒ，Ｇ，Ｂ信号がそれぞれ積算され、Ｒ，Ｇ，Ｂ信号別の積算値（主画素積算値）が得られる（Ｓ１０）。この分割エリアごとの主画素積算値は、（Ｒ，Ｇ，Ｂ）座標から（Ｒ／Ｇ，Ｂ／Ｇ）座標（表色座標）に変換される。具体的には、主画素のＲ信号の積算値と主画素のＧ信号の積算値との比（主画素Ｒ／Ｇ）、及び、主画素のＢ信号の積算値と主画素のＧ信号の積算値との比（主画素Ｂ／Ｇ）が算出される（Ｓ１１）。そして、これらの主画素Ｒ／Ｇ及び主画素Ｂ／Ｇに基づいて、主画素のＲ，Ｇ，Ｂ信号にそれぞれ乗算するＲ，Ｇ，Ｂ信号別のホワイトバランスゲイン（主画素ゲイン）が算出される（Ｓ１６）。算出されたＲ，Ｇ，Ｂ信号別の主画素ゲインは、主画素ホワイトバランス補正回路３０Ｐによって、主画素のＲ，Ｇ，Ｂ信号に乗算される（Ｓ１８）。ホワイトバランス補正が施された主画素のＲ，Ｇ，Ｂ信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ１９）。
In the white balance adjustment of the main pixel, first, the main pixel integrated
副画素のホワイトバランス調整では、まず、副画素積算値算出回路５０Ｓによって、分割エリアごとに副画素Ｒ，Ｇ，Ｂ信号がそれぞれ積算され、Ｒ，Ｇ，Ｂ信号別の積算値（副画素積算値）が得られる（Ｓ２０）。この分割エリアごとの副画素積算値は、Ｒ，Ｇ，Ｂ座標からＲ／Ｇ，Ｂ／Ｇ座標（表色座標）に変換される。具体的には、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｒ／Ｇ）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｂ／Ｇ）が算出される（Ｓ２１）。また、副画素Ｒ／Ｇを主画素Ｒ／Ｇで除算して第１の感度比ａが算出されるとともに、副画素Ｂ／Ｇを主画素Ｂ／Ｇで除算して第２の感度比ｂが算出され、これらの感度比ａ，ｂのそれぞれ逆数を第１の補正係数１／ａ及び第２の補正係数１／ｂとする（Ｓ２２）。そして、主画素ゲインに補正係数（１／ａ及び１／ｂ）を乗算して、副画素ゲインが算出される（Ｓ２６）。算出された副画素ゲインは、副画素ホワイトバランス補正回路３０Ｓによって、副画素のＲ，Ｇ，Ｂ信号に乗算される（Ｓ２８）。ホワイトバランス補正が施された副画素のＲ，Ｇ，Ｂ信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。
In the sub-pixel white balance adjustment, first, the sub-pixel integrated
ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素Ｒ，Ｇ，Ｂ信号と副画素Ｒ，Ｇ，Ｂ信号とは、合成回路３３によって合成されて広ダイナミックレンジのＲ，Ｇ，Ｂ信号が生成される（Ｓ４０）。生成された広ダイナミックレンジのＲ，Ｇ，Ｂ信号は、ＹＣ信号生成回路３４によってＹ，Ｃ信号に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。
The main pixel R, G, and B signals and the sub-pixel R, G, and B signals that have been subjected to white balance correction and gamma processing are combined by the combining
ここで、主画素ゲイン算出手段６０６でのホワイトバランスゲイン算出の一例について詳細に説明する。
Here, an example of white balance gain calculation in the main pixel
まず、横軸をＲ／Ｇ、縦軸をＢ／Ｇとした表色座標上で、各分割エリアが、図５に示すような複数の検出枠のうち、何れの検出枠内に入るかを判別する。具体的には、（Ｒ／Ｇ，Ｂ／Ｇ）座標に変換された、分割エリアごとの色信号の積算値が、何れの検出枠内に入るかを判別する。 First, on the color coordinate where the horizontal axis is R / G and the vertical axis is B / G, it is determined in which detection frame each divided area falls within a plurality of detection frames as shown in FIG. Determine. Specifically, it is determined in which detection frame the integrated value of the color signal for each divided area converted into (R / G, B / G) coordinates falls.
次に、数５に示すように、各検出枠（ｉ）について、積算値の平均座標（Σ｛（Ｒｉ／Ｇｉ）／ｎ｝）を求めるとともに、この平均座標を原点Ｏ（１，１）に合わせるための基本ゲイン、即ち色味をグレーに合わせるためのホワイトバランスゲイン（ｇｒｉ及びｇｂｉ）を算出する。
［数５］
ｇｒｉ＝１／Σ｛（Ｒｉ／Ｇｉ）／ｎ｝
ｇｂｉ＝１／Σ｛（Ｂｉ／Ｇｉ）／ｎ｝
ここで、ｎは各検出枠（ｉ）内に入った点の個数（検出個数）である。尚、何れの検出枠にも入らなかった点（積算値）は除外され、検出枠内に入った点の座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）及び検出個数に基づいて基本ゲインｇｒｉ，ｇｂｉが算出される。
Next, as shown in
[Equation 5]
gri = 1 / Σ {(Ri / Gi) / n}
gbi = 1 / Σ {(Bi / Gi) / n}
Here, n is the number of points (detected number) that have entered each detection frame (i). Note that points (integrated values) that did not enter any detection frame are excluded, and the basic gains gri and gbi are determined based on the coordinates (Ri / Gi, Bi / Gi) of the points that have entered the detection frame and the number of detections. Calculated.
また、各検出枠内に入った検出個数と予め検出枠ごとに決められた重み付けのための係数とに基づいて、評価値Ｈｉが算出される。具体的には、数６に示すように、検出枠（ｉ）ごとに、明るさ依存係数（０〜１）を検出個数に乗じて、評価値Ｈｉが得られる。
［数６］
Ｈｉ＝検出個数×明るさ依存係数
そして、数７に示すように、主画素ゲイン（主画素Ｒｇ，Ｇｇ，Ｂｇ）が算出される。
［数７］
主画素Ｒｇ＝Σ（Ｔｘｉ×ｇｒｉ×Ｈｉ）／ΣＨｉ×Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
主画素Ｂｇ＝Σ（Ｔｙｉ×ｇｂｉ×Ｈｉ）／ΣＨｉ×Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
主画素Ｇｇ＝Σ（Ｇｉ×Ｈｉ）／ΣＨｉ
ここで、ＴｘｉはＲ／Ｇ軸上での目標値、ＴｙｉはＢ／Ｇ軸上での目標値、である。
Further, the evaluation value Hi is calculated based on the number of detections included in each detection frame and a weighting coefficient determined in advance for each detection frame. Specifically, as shown in
[Equation 6]
Hi = detected number × brightness-dependent coefficient Then, as shown in Equation 7, main pixel gains (main pixels Rg, Gg, Bg) are calculated.
[Equation 7]
Main pixel Rg = Σ (Txi × gri × Hi) / ΣHi × Σ (Gi × Hi) / ΣHi
Main pixel Bg = Σ (Tyi × gbi × Hi) / ΣHi × Σ (Gi × Hi) / ΣHi
Main pixel Gg = Σ (Gi × Hi) / ΣHi
Here, Txi is a target value on the R / G axis, and Tyi is a target value on the B / G axis.
さらに光源色の色味を残すための補正（光源色補正）を施す。具体的には、Ｒ，Ｇ，Ｂ信号別のホワイトバランスゲインＲｇ，Ｂｇ，Ｇｇのそれぞれに、０から１００％までの順応率を乗じて、実際に色信号に乗じる最終のホワイトバランスゲイン（最終ゲイン）が求められる。 Further, correction (light source color correction) for leaving the color of the light source color is performed. Specifically, the white balance gains Rg, Bg, and Gg for each of the R, G, and B signals are multiplied by an adaptation rate from 0 to 100%, and the final white balance gain that is actually multiplied by the color signal (final) Gain).
ここで、図１３の表色座標を用いて、本実施の形態におけるホワイトバランス調整の作用について説明する。 Here, the operation of the white balance adjustment in the present embodiment will be described using the color coordinate of FIG.
本来、一対の主画素及び副画素はＣＣＤ１４の受光面上で略同一位置に配置されているので、同一の分割エリア内での主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とは、表色座標上で同一の座標となるのが理想である。しかしながら、実際には、一対の主画素及び副画素であっても、光電変換された色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差が、主画素の色信号と副画素の色信号とで異なっている（即ち感度比が「１」でない）。例えば、主画素及び副画素自体の形態等の相違による違いや、黒レベル調整で生じる違いがある。したがって、図１３の表色座標上に示されるように、主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とはどうしても異なった座標となってしまう。
Originally, since the pair of main pixels and sub-pixels are arranged at substantially the same position on the light receiving surface of the
仮に、原点Ｏ（１，１）、即ちグレーに色味を合わせるためのホワイトバランスゲイン（基本ゲイン）を、主画素と副画素とでそれぞれ独立に積算値から求めたとすると、主画素の基本ゲインが直線Ｐ−Ｏ、副画素の基本ゲインが直線Ｓ−Ｏでそれぞれ表されるから、これらの基本ゲインに光源色の色味を残すための順応率を乗じて求めた最終ゲインで色信号のホワイトバランス補正を行うと、ホワイトバランス補正後の主画素積算値が点Ｐ’、副画素積算値が点Ｓ’でそれぞれ表されることになる（ただし、ホワイトバランス補正後の主画素積算値及び副画素積算値は実際には算出しない）。これは、光源色の色味を残そうとした場合、主画素の色信号と副画素の色信号とでは、互いに異なる色再現性を持ってしまうことを示している。 If the white balance gain (basic gain) for matching the tone to the origin O (1, 1), that is, gray, is determined from the integrated value independently for the main pixel and the sub-pixel, the basic gain of the main pixel is assumed. Is represented by a straight line PO, and the basic gain of the sub-pixel is represented by a straight line SO, respectively. Therefore, the final gain obtained by multiplying these basic gains by the adaptation rate for leaving the color of the light source color is used. When white balance correction is performed, the main pixel integrated value after white balance correction is represented by point P ′, and the sub-pixel integrated value is represented by point S ′ (however, the main pixel integrated value after white balance correction and The sub-pixel integrated value is not actually calculated). This indicates that when trying to leave the color of the light source color, the color signal of the main pixel and the color signal of the sub-pixel have different color reproducibility.
本実施の形態において、副画素ゲイン（副画素Ｒｇ、Ｇｇ、Ｂｇ）は、主画素ゲイン（主画素Ｒｇ、Ｇｇ、Ｂｇ）に、主画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差と副画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差との比である感度比を乗算して求められ、このようにして求められたホワイトバランスゲイン（副画素Ｒｇ、Ｇｇ、Ｂｇ）に従って副画素の色信号のホワイトバランスが調整されるので、副画素の色信号についても主画素の色信号と同様に的確な色再現がされることになる。 In the present embodiment, the sub-pixel gain (sub-pixel Rg, Gg, Bg) is the main pixel gain (main pixel Rg, Gg, Bg) and the color signal between the main pixel color signals (R, G, B signals). It is obtained by multiplying the sensitivity ratio, which is the ratio of the output difference between RG and BG, and the output difference between the color signals (R, G, B signals) of the sub-pixel (between RG and BG). Since the white balance of the color signal of the sub-pixel is adjusted according to the white balance gain (sub-pixels Rg, Gg, Bg) thus obtained, the color signal of the sub-pixel is also the same as the color signal of the main pixel. Accurate color reproduction will be achieved.
（第２の実施の形態） 図７は、第２の実施の形態の電子カメラにおけるホワイトバランス補正値の算出に関連する部分を示すブロック図である。尚、図４に示した第１の実施の形態と同じ部分には同じ符号を付してあり、詳細な説明を省略する。 Second Embodiment FIG. 7 is a block diagram illustrating a portion related to calculation of a white balance correction value in an electronic camera according to a second embodiment. The same parts as those in the first embodiment shown in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
図７において、補正係数記憶手段６１４は、不揮発性メモリによって構成されており、第１の補正係数１／ａ及び第２の補正係数１／ｂを予め記憶するものである。これらの補正係数１／ａ及び１／ｂは、主画素の色信号（主画素Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間，ＢＧ間）の出力差と副画素の色信号（副画素Ｒ，Ｇ，Ｂ）の色間（ＲＧ間，ＢＧ間）の出力差との比を示す。本実施の形態において、第１の補正係数１／ａは、具体的には、主画素のＲ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＲ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（主画素／副画素である）を示す。また、第２の補正係数１／ｂは、具体的には、主画素のＢ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＢ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（主画素／副画素である）を示す。これらの補正係数１／ａ、１／ｂは、一般に、シミュレーションの結果や実際の回路での試験結果等に基づいて予め求められて、補正係数記憶手段６１４に記憶されるようになっている。
In FIG. 7, the correction coefficient storage means 614 is composed of a non-volatile memory, and stores in advance a
第２の実施の形態では、副画素ゲイン算出手段６０７が、補正係数記憶手段６１４に記憶された補正係数（１／ａ、１／ｂ）と、主画素ゲイン算出手段６０６で算出された主画素の色信号のホワイトバランスを調整するためのホワイトバランスゲイン（主画素ゲイン）とに基づいて、副画素の色信号のホワイトバランスを調整するためのホワイトバランスゲイン（副画素ゲイン）を算出するようになっている。
In the second embodiment, the sub-pixel
尚、図７において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、主画素ゲイン算出手段６０６、及び、副画素ゲイン算出手段６０７は、ＣＰＵ６０によって構成している。
In FIG. 7, the main pixel R / G and B / G calculation means 602P, the main pixel gain calculation means 606, and the sub-pixel gain calculation means 607 are configured by the
図８は、本実施の形態におけるホワイトバランス調整処理及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。尚、主画素のホワイトバランス調整処理（Ｓ１０からＳ１９まで）の各ステップは、図６に示す第１の実施の形態における同符号の各ステップと同じであり、詳細な説明を省略する。 FIG. 8 is a flowchart showing the flow of processing relating to white balance adjustment processing and wide dynamic range color signal generation in the present embodiment. Each step of the white balance adjustment process (S10 to S19) of the main pixel is the same as each step of the same sign in the first embodiment shown in FIG. 6, and detailed description thereof is omitted.
副画素のホワイトバランス調整では、補正係数記憶手段６１４から第１の補正係数１／ａ及び第２の補正係数１／ｂが読み出され（Ｓ２３）、主画素ゲイン算出手段６０６で算出された主画素ゲインに補正係数を乗算して、副画素ゲインが算出される（Ｓ２６）。算出された副画素ゲインは、副画素ホワイトバランス補正回路３０Ｓによって、副画素の色信号に乗算される（Ｓ２８）。
In the white balance adjustment of the sub-pixel, the
ホワイトバランス補正が施された副画素の色信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。
The color signal of the sub-pixel subjected to the white balance correction is processed by the
そして、ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素の色信号と副画素の色信号とは、合成回路３３によって合成されて、広ダイナミックレンジの色信号が生成される（Ｓ４０）。広ダイナミックレンジの色信号は、ＹＣ信号生成回路３４によって輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。
Then, the color signal of the main pixel and the color signal of the sub-pixel that have been subjected to white balance correction and gamma processing are combined by the combining
（第３の実施の形態） 図９は、第３の実施の形態の電子カメラにおけるホワイトバランスゲイン算出に関連する部分を示すブロック図である。尚、図４に示した第１の実施の形態と同じ部分には同じ符号を付してあり、詳細な説明を省略する。 Third Embodiment FIG. 9 is a block diagram illustrating a portion related to white balance gain calculation in an electronic camera according to a third embodiment. The same parts as those in the first embodiment shown in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.
図９において、補正係数記憶手段６１４は、不揮発性メモリによって構成されており、第１の補正係数１／ａ及び第２の補正係数１／ｂを予め記憶するものである。これらの補正係数１／ａ及び１／ｂは、主画素の色信号（主画素Ｒ，Ｇ，Ｂ）の色間（ＲＧ間，ＢＧ間）の出力差と副画素の色信号（副画素Ｒ，Ｇ，Ｂ）の色間（ＲＧ間，ＢＧ間）の出力差との比を示す。本実施の形態において、第１の補正係数１／ａは、具体的には、主画素のＲ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＲ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（ただし主画素／副画素である）を示す。また、第２の補正係数１／ｂは、具体的には、主画素のＢ信号の出力レベル及び主画素のＧ信号の出力レベルの差と、副画素のＢ信号の出力レベル及び副画素のＧ信号の出力レベルの差との比（ただし主画素／副画素である）を示す。これらの補正係数１／ａ、１／ｂは、一般に、シミュレーションの結果や実際の回路での試験結果等に基づいて予め求められて、補正係数記憶手段６１４に記憶されるようになっている。
In FIG. 9, the correction coefficient storage means 614 is composed of a non-volatile memory, and stores in advance a
副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段６１５は、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓによって（Ｒ，Ｇ，Ｂ）座標から（Ｒ／Ｇ，Ｂ／Ｇ）座標（表色座標）に変換された副画素積算値（副画素Ｒ／Ｇ，副画素Ｂ／Ｇ）を、第１の補正係数１／ａ及び第２の補正係数１／ｂに基づいて補正し、主画素積算値（主画素Ｒ／Ｇ，主画素Ｂ／Ｇ）に相当する副画素積算値（副画素Ｒ／Ｇ'，副画素Ｂ／Ｇ'）を求めるものである。具体的には、乗算器によって構成されており、数８に示すように、副画素Ｒ／Ｇ（分割エリアごとの副画素のＲ信号の積算値と副画素のＧ信号の積算値との比）に第１の補正係数１／ａを乗算して副画素Ｒ／Ｇ'を求めるとともに、副画素Ｂ／Ｇ（分割エリアごとの副画素のＢ信号の積算値と副画素のＧ信号の積算値との比）に第２の補正係数１／ｂを乗算して副画素Ｂ／Ｇ'を求めるようになっている。
[数８]
副画素Ｒ／Ｇ'＝（副画素Ｒ／Ｇ）×１／ａ
副画素Ｂ／Ｇ'＝（副画素Ｂ／Ｇ）×１／ｂ
ホワイトバランスゲイン算出手段６１６は、第１の実施の形態で説明した検出枠判別手段６０６２と、重み付け演算手段６０６４と、光源色補正手段６０６６とを有する。このホワイトバランスゲイン算出手段６１６は、主画素Ｒ／Ｇ（分割エリアごとの主画素のＲ信号の積算値と主画素のＧ信号の積算値との比）及び主画素Ｂ／Ｇ（分割エリアごとの主画素のＢ信号の積算値と主画素のＧ信号の積算値との比）に基づいて主画素の色信号（主画素Ｒ，Ｇ，Ｂ）に乗算する主画素ゲイン（主画素Ｒｇ，Ｇｇ，Ｂｇ）を算出するようになっている。また、副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段６１５から出力された副画素Ｒ／Ｇ'及び副画素Ｂ／Ｇ'に基づいて副画素ゲイン（副画素Ｒｇ，Ｇｇ，Ｂｇ）を算出するようになっている。ここでの主画素ゲイン（主画素Ｒｇ，Ｇｇ，Ｂｇ）の算出方法は、第１の実施の形態における主画素ゲインの算出方法と同一である。また、副画素ゲイン（副画素Ｒｇ，Ｇｇ，Ｂｇ）の算出方法は、副画素Ｒ／Ｇ及び副画素Ｂ／Ｇに基づいて算出する点で主画素ゲインの算出方法と異なり、その他は主画素ゲインの算出方法と略同一である。
The subpixel R / G, B / G correction means 615 is operated by the subpixel R / G, B / G calculation means 602S from the (R, G, B) coordinates to the (R / G, B / G) coordinates (color coordinates). ) Converted into a subpixel integrated value (subpixel R / G, subpixel B / G) based on the
[Equation 8]
Subpixel R / G ′ = (Subpixel R / G) × 1 / a
Subpixel B / G ′ = (Subpixel B / G) × 1 / b
The white balance
副画素ゲイン補正手段６１８は、ホワイトバランスゲイン算出手段６１６で算出された副画素ゲイン（副画素Ｒｇ，Ｇｇ，Ｂｇ）を、第１の補正係数１／ａ及び第２の補正係数１／ｂに基づいて補正して、主画素と同様な色再現を可能とする副画素ゲイン（副画素Ｒｇ'，Ｇｇ'，Ｂｇ'）を求めるものである。具体的には、乗算器によって構成されており、数９に示すように、副画素Ｒｇに第１の補正係数１／ａを乗算して副画素Ｒｇ'を求めるとともに、副画素Ｂｇに第２の補正係数１／ｂを乗算して副画素Ｂｇ'を求めるようになっている。尚、副画素Ｇｇには「１」を乗算して（或いは乗算を行わず）副画素Ｇｇ'とする。
[数９]
副画素Ｒｇ'＝副画素Ｒｇ×１／ａ
副画素Ｇｇ'＝副画素Ｇｇ
副画素Ｂｇ'＝副画素Ｂｇ×１／ｂ
ホワイトバランス補正前の主画素の色信号を主画素Ｒ，主画素Ｇ，主画素Ｂとし、ホワイトバランス補正回路３０によるホワイトバランス補正後の主画素の色信号を主画素Ｒ'、主画素Ｇ'、主画素Ｂ'とすると、数１０に示すようになる。
[数１０]
主画素Ｒ'＝主画素Ｒｇ×主画素Ｒ
主画素Ｇ'＝主画素Ｇｇ×主画素Ｇ
主画素Ｂ'＝主画素Ｂｇ×主画素Ｂ
また、ホワイトバランス補正前の副画素の色信号を副画素Ｒ，副画素Ｇ，副画素Ｂとし、ホワイトバランス補正回路３０によるホワイトバランス補正後の副画素の色信号を副画素Ｒ'、副画素Ｇ'、副画素Ｂ'とすると、数１１に示すようになる。
[数１１]
副画素Ｒ'＝副画素Ｒｇ'×副画素Ｒ
副画素Ｇ'＝副画素Ｇｇ'×副画素Ｇ
副画素Ｂ'＝副画素Ｂｇ'×副画素Ｂ
尚、図９において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓ、副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段６１５、ホワイトバランスゲイン算出手段６１６、及び、副画素ゲイン補正手段６１８は、ＣＰＵ６０によって構成している。
The sub-pixel
[Equation 9]
Subpixel Rg ′ = Subpixel Rg × 1 / a
Subpixel Gg ′ = Subpixel Gg
Subpixel Bg ′ = Subpixel Bg × 1 / b
The main pixel color signals before white balance correction are the main pixel R, main pixel G, and main pixel B, and the main pixel color signals after white balance correction by the white
[Equation 10]
Main pixel R ′ = main pixel Rg × main pixel R
Main pixel G ′ = main pixel Gg × main pixel G
Main pixel B ′ = main pixel Bg × main pixel B
Also, the sub-pixel color signals before white balance correction are sub-pixel R, sub-pixel G, and sub-pixel B, and the sub-pixel color signals after white balance correction by the white
[Equation 11]
Subpixel R ′ = Subpixel Rg ′ × Subpixel R
Subpixel G ′ = Subpixel Gg ′ × Subpixel G
Subpixel B ′ = Subpixel Bg ′ × Subpixel B
In FIG. 9, main pixel R / G, B / G calculating means 602P, sub pixel R / G, B / G calculating means 602S, sub pixel R / G, B / G correcting means 615, white balance gain calculating means. 616 and the sub-pixel
図１０は、本実施の形態におけるホワイトバランス調整処理及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。 FIG. 10 is a flowchart showing the flow of processing relating to white balance adjustment processing and wide dynamic range color signal generation in the present embodiment.
撮影ボタンが全押しされて撮影が開始されると、主画素１４２１で光電変換して得られた色信号（主画素Ｒ，Ｇ，Ｂ）のホワイトバランス調整処理（Ｓ１０からＳ１９まで）と、副画素１４２２で光電変換して得られた色信号（副画素Ｒ，Ｇ，Ｂ）のホワイトバランス調整処理（Ｓ２０からＳ２９まで）とが並行して行われる。尚、主画素のホワイトバランス調整処理（Ｓ１０からＳ１９まで）の各ステップは、図６に示す第１の実施の形態における同符号の各ステップと同じであり、詳細な説明を省略する。
When shooting is started by fully pressing the shooting button, white balance adjustment processing (from S10 to S19) of color signals (main pixels R, G, B) obtained by photoelectric conversion in the
副画素のホワイトバランス調整では、まず、副画素積算値算出回路５０Ｓによって、分割エリアごとに、副画素のＲ，Ｇ，Ｂ信号別の積算値（副画素積算値）が算出される（Ｓ２０）。
In the white balance adjustment of the sub-pixel, first, the sub-pixel integrated
次に、分割エリアごとに、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｒ／Ｇ）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｂ／Ｇ）が算出される（Ｓ２１）。 Next, for each divided area, the ratio (subpixel R / G) of the integrated value of the R signal of the subpixel and the integrated value of the G signal of the subpixel, and the integrated value of the B signal of the subpixel and the subpixel A ratio (subpixel B / G) with the integrated value of the G signal is calculated (S21).
ここで、補正係数記憶手段６１４から第１の補正係数１／ａ及び第２の補正係数１／ｂが読み出され（Ｓ２３）、前記数８に示されるように、副画素Ｒ／Ｇに第１の補正係数１／ａを乗算して副画素Ｒ／Ｇ'を求めるとともに、副画素Ｂ／Ｇに第２の補正係数１／ｂを乗算して副画素Ｂ／Ｇ'を求める（Ｓ２４）。
Here, the
このような乗算により得られた副画素Ｒ／Ｇ'，Ｂ／Ｇ'に基づいて、副画素ゲイン（副画素Ｒｇ、Ｇｇ、 Ｂｇ）が算出される（Ｓ２６）。 Based on the sub-pixels R / G ′ and B / G ′ obtained by such multiplication, sub-pixel gains (sub-pixels Rg, Gg, Bg) are calculated (S26).
ここで、前記数９に示されるように、副画素Ｒｇに第１の補正係数１／ａを乗算して副画素Ｒｇ'を求めるとともに、副画素Ｂｇに第２の補正係数１／ｂを乗算して副画素Ｂｇ'を求める（Ｓ２７）。尚、副画素Ｇｇには「１」を乗算して（或いは乗算を行わず）副画素Ｇｇ'とする。
Here, as shown in Equation 9, the sub-pixel Rg is multiplied by the
このような乗算により得られた副画素ゲイン（副画素Ｒｇ'、Ｇｇ'、 Ｂｇ'）は、副画素ホワイトバランス補正回路３０Ｓによって、前記数１１に示されるように副画素の色信号（副画素Ｒ、Ｇ、Ｂ）に乗算される（Ｓ２８）。
Sub-pixel gains (sub-pixels Rg ′, Gg ′, Bg ′) obtained by such multiplication are sub-pixel color signals (sub-pixels) by the sub-pixel white
ホワイトバランス補正が施された副画素の色信号（副画素Ｒ'，Ｇ'，Ｂ'）は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。
The sub-pixel color signals (sub-pixels R ′, G ′, B ′) subjected to the white balance correction are processed by the
そして、ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素の色信号と副画素の色信号とは、合成回路３３によって合成されて、広ダイナミックレンジの色信号が生成される（Ｓ４０）。広ダイナミックレンジの色信号は、ＹＣ信号生成回路３４によって輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。
Then, the color signal of the main pixel and the color signal of the sub-pixel that have been subjected to white balance correction and gamma processing are combined by the combining
ここで、図１３の表色座標を用いて、本実施の形態におけるホワイトバランス調整の作用について説明する。 Here, the operation of the white balance adjustment in the present embodiment will be described using the color coordinate of FIG.
本来、一対の主画素及び副画素はＣＣＤ１４の受光面上で略同一位置に配置されているので、同一の分割エリア内での主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とは、表色座標上で同一の座標となるのが理想である。しかしながら、実際には、一対の主画素及び副画素であっても、光電変換された色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差が、主画素の色信号と副画素の色信号とで異なっている（即ち感度比が「１」でない）。例えば、主画素及び副画素自体の形態等の相違による違いや、黒レベル調整で生じる違いがある。したがって、図１３の表色座標上に示されるように、主画素積算値（Ｐ点）と副画素積算値（Ｓ点）とはどうしても異なった座標となってしまう。
Originally, since the pair of main pixels and sub-pixels are arranged at substantially the same position on the light receiving surface of the
仮に、原点Ｏ（１，１）、即ちグレーに色味を合わせるためのホワイトバランスゲイン（基本ゲイン）を、主画素と副画素とでそれぞれ独立に積算値から求めたとすると、主画素の基本ゲインが直線Ｐ−Ｏ、副画素の基本ゲインが直線Ｓ−Ｏでそれぞれ表されるから、これらの基本ゲインに光源色の色味を残すための順応率を乗じて求めた最終ゲインで色信号のホワイトバランス補正を行うと、ホワイトバランス補正後の主画素積算値が点Ｐ’、副画素積算値が点Ｓ’でそれぞれ表されることになる。これは、光源色の色味を残そうとした場合、主画素の色信号と副画素の色信号とでは、互いに異なる色再現性を持ってしまうことを示している。 If the white balance gain (basic gain) for matching the tone to the origin O (1, 1), that is, gray, is determined from the integrated value independently for the main pixel and the sub-pixel, the basic gain of the main pixel is assumed. Is represented by a straight line PO, and the basic gain of the sub-pixel is represented by a straight line SO, respectively. Therefore, the final gain obtained by multiplying these basic gains by the adaptation rate for leaving the color of the light source color is used. When white balance correction is performed, the main pixel integrated value after white balance correction is represented by a point P ′, and the sub-pixel integrated value is represented by a point S ′. This indicates that when trying to leave the color of the light source color, the color signal of the main pixel and the color signal of the sub-pixel have different color reproducibility.
そこで、本実施の形態においては、主画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差と副画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差との比である感度比を、副画素積算値（Ｓ点）に乗算して副画素積算値を補正することにより、主画素積算値（Ｐ点）に相当する副画素積算値が得られる。この副画素積算値の補正は、図１３では第１の矢印３０５に相当する。
Therefore, in the present embodiment, the output difference between the color signals (R, G, B signals) of the main pixel (between RG and BG) and the color signal (R, G, B signal) of the subpixels. The main pixel integrated value (P point) is obtained by correcting the sub pixel integrated value by multiplying the sub pixel integrated value (S point) by the sensitivity ratio, which is the ratio of the output difference between colors (between RG and BG). ) Is obtained. This correction of the subpixel integrated value corresponds to the
ここで、仮に、この補正された副画素積算値を用いて副画素ゲインを算出し、この副画素ゲインそのままで副画素の色信号を補正したとすると、過補正となってしまうことになる。即ち、副画素の基本ゲインが直線Ｓ−Ｏ’で表されるから、光源色の色味を残すための順応率を乗じて求めた最終ゲインで副画素の色信号のホワイトバランス補正を行うと、ホワイトバランス補正後の副画素積算値が点Ｓ”で表されることになり、ホワイトバランス補正後の主画素積算値の点Ｐ’と異なってしまう。 Here, if the sub-pixel gain is calculated using the corrected sub-pixel integrated value and the color signal of the sub-pixel is corrected with the sub-pixel gain as it is, overcorrection will occur. That is, since the basic gain of the sub-pixel is represented by the straight line SO ′, when the white balance correction of the color signal of the sub-pixel is performed with the final gain obtained by multiplying the adaptation rate for leaving the color of the light source color. Thus, the subpixel integrated value after white balance correction is represented by a point S ″, which is different from the point P ′ of the main pixel integrated value after white balance correction.
そこで、本実施の形態においては、主画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差と副画素の色信号（Ｒ，Ｇ，Ｂ信号）の色間（ＲＧ間、ＢＧ間）の出力差との比である感度比を、補正後の副画素積算値に基づいて求めた副画素の最終ゲインに乗じる。これにより、ホワイトバランス補正後、副画素積算値が表色座標上で主画素積算値（点Ｐ’）に相当する座標に移動することになる（ただし、ホワイトバランス補正後の主画素積算値及び副画素積算値は実際には算出されない）。この副画素ゲインの補正は、図１３では第２の矢印３０８に相当する。これは、光源色の色味を残すようなホワイトバランス補正を行った場合であっても、主画素の色信号と副画素の色信号とで、同じ色再現性になることを示している。
Therefore, in the present embodiment, the output difference between colors (between RG and BG) of the color signals (R, G, B signals) of the main pixel and the color signals (R, G, B signals) of the sub-pixels. The sensitivity ratio, which is the ratio of the output difference between colors (between RG and BG), is multiplied by the final gain of the subpixel determined based on the corrected subpixel integrated value. Thereby, after the white balance correction, the sub-pixel integrated value moves to the coordinate corresponding to the main pixel integrated value (point P ′) on the color coordinate (however, the main pixel integrated value after white balance correction and The sub-pixel integrated value is not actually calculated). This correction of the sub-pixel gain corresponds to the
（第４の実施の形態） 図１１は、第４の実施の形態の電子カメラにおけるホワイトバランスゲイン算出に関連する部分を示すブロック図である。尚、図９に示した第３の実施の形態と同じ部分には同じ符号を付してあり、詳細な説明を省略する。 Fourth Embodiment FIG. 11 is a block diagram illustrating a portion related to white balance gain calculation in an electronic camera according to a fourth embodiment. The same parts as those in the third embodiment shown in FIG. 9 are denoted by the same reference numerals, and detailed description thereof is omitted.
図１１において、補正係数算出手段６０４は、主画素Ｒ／Ｇ及びＢ／Ｇと副画素Ｒ／Ｇ及びＢ／Ｇとに基づいて補正係数１／ａ及び１／ｂを算出する。この補正係数算出手段６０４は、第１の実施の形態における補正係数算出手段６０４と同様である。
In FIG. 11, the correction coefficient calculation means 604 calculates
尚、図１１において、主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｐ、副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段６０２Ｓ、補正係数算出手段６０４、ホワイトバランスゲイン算出手段６１６、及び、副画素ゲイン補正手段６１８は、ＣＰＵ６０によって構成している。
In FIG. 11, main pixel R / G, B / G calculation means 602P, subpixel R / G, B / G calculation means 602S, correction coefficient calculation means 604, white balance gain calculation means 616, and subpixel gain. The correcting
図１２は、本実施の形態におけるホワイトバランス調整処理及び広ダイナミックレンジの色信号生成に関する処理の流れを示すフローチャートである。尚、主画素のホワイトバランス調整処理（Ｓ１０からＳ１９まで）の各ステップは、図１０に示す第３の実施の形態における同符号の各ステップと同じであり、詳細な説明を省略する。 FIG. 12 is a flowchart showing a flow of processing relating to white balance adjustment processing and wide dynamic range color signal generation according to the present embodiment. Each step of the main pixel white balance adjustment processing (S10 to S19) is the same as each step of the same reference numeral in the third embodiment shown in FIG. 10, and detailed description thereof is omitted.
副画素のホワイトバランス調整では、まず、副画素積算値算出回路５０Ｓによって、分割エリアごとに、副画素のＲ，Ｇ，Ｂ信号別の積算値（副画素積算値）が算出され（Ｓ２０）、副画素のＲ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｒ／Ｇ）、及び、副画素のＢ信号の積算値と副画素のＧ信号の積算値との比（副画素Ｂ／Ｇ）が算出される（Ｓ２１）。
In the white balance adjustment of the sub-pixel, first, the sub-pixel integrated
ここで、副画素Ｒ／Ｇを主画素Ｒ／Ｇ（主画素のＲ信号の積算値と主画素のＧ信号の積算値との比）で除算して感度比ａが算出されるとともに、副画素Ｂ／Ｇを主画素Ｂ／Ｇ（主画素のＢ信号の積算値と主画素のＧ信号の積算値との比）で除算して感度比ｂが算出され、これらの感度比ａ，ｂのそれぞれ逆数を第１の補正係数１／ａ及び第２の補正係数１／ｂとする（Ｓ２２）。
Here, the sub-pixel R / G is divided by the main pixel R / G (ratio of the integrated value of the R signal of the main pixel and the integrated value of the G signal of the main pixel) to calculate the sensitivity ratio a, and The sensitivity ratio b is calculated by dividing the pixel B / G by the main pixel B / G (the ratio between the integrated value of the B signal of the main pixel and the integrated value of the G signal of the main pixel), and the sensitivity ratios a, b Are the
そして、副画素Ｒ／Ｇに第１の補正係数１／ａを乗算して副画素Ｒ／Ｇ'を求めるとともに、副画素Ｂ／Ｇに第２の補正係数１／ｂを乗算して副画素Ｂ／Ｇ'を求める（Ｓ２４）。
Then, the sub-pixel R / G is multiplied by the
このような乗算により得られた副画素Ｒ／Ｇ'，Ｂ／Ｇ'に基づいて、副画素ゲイン（副画素Ｒｇ、Ｇｇ、 Ｂｇ）が算出される（Ｓ２６）。 Based on the sub-pixels R / G ′ and B / G ′ obtained by such multiplication, sub-pixel gains (sub-pixels Rg, Gg, Bg) are calculated (S26).
ここで、副画素Ｒｇに第１の補正係数１／ａを乗算して副画素Ｒｇ'を求めるとともに、副画素Ｂｇに第２の補正係数１／ｂを乗算して副画素Ｂｇ'を求める（Ｓ２７）。尚、副画素Ｇｇには「１」を乗算し（或いは乗算を行わず）副画素Ｇｇ'とする。
Here, the subpixel Rg ′ is obtained by multiplying the subpixel Rg by the
このような乗算により得られた副画素ゲイン（副画素Ｒｇ'、Ｇｇ'、 Ｂｇ'）は、副画素ホワイトバランス補正回路３０Ｓによって副画素の色信号（副画素Ｒ、Ｇ、Ｂ）に乗算される（Ｓ２８）。
The subpixel gains (subpixels Rg ′, Gg ′, Bg ′) obtained by such multiplication are multiplied by the subpixel color signals (subpixels R, G, B) by the subpixel white
ホワイトバランス補正が施された副画素のＲ，Ｇ，Ｂ信号は、ガンマ処理回路３２によって、所望のガンマ特性となるように処理が施される（Ｓ２９）。
The R, G, B signals of the sub-pixels that have undergone white balance correction are processed by the
そして、ホワイトバランス補正及びガンマ処理がそれぞれ施された主画素の色信号と副画素の色信号とは、合成回路３３によって合成されて、広ダイナミックレンジの色信号が生成される（Ｓ４０）。広ダイナミックレンジの色信号は、ＹＣ信号生成回路３４によって輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）に変換され（Ｓ４２）、所定の記録媒体に記録される（Ｓ４４）。
Then, the color signal of the main pixel and the color signal of the sub-pixel that have been subjected to white balance correction and gamma processing are combined by the combining
尚、前述の第１から第４の実施の形態では、１画面を複数の分割エリアに分割して色信号の積算値を算出し、これらの積算値に基づいてホワイトバランス補正値を算出する例について説明したが、本発明はこれに限るものではない。また、例えば１画面全体の積算値を算出し、この１画面の積算値に基づいてホワイトバランス補正値を算出するような態様にも適用可能である。また、例えば、画素ごとの色信号に基づいて、直接、ホワイトバランス補正値を算出するような態様にも適用可能である。 In the above-described first to fourth embodiments, an example in which one screen is divided into a plurality of divided areas to calculate an integrated value of color signals and a white balance correction value is calculated based on these integrated values. However, the present invention is not limited to this. Further, for example, the present invention can also be applied to a mode in which an integrated value of one entire screen is calculated and a white balance correction value is calculated based on the integrated value of this one screen. Further, for example, the present invention can be applied to a mode in which the white balance correction value is directly calculated based on the color signal for each pixel.
また、積算値をそのまま用いるのではなく、積算値を分割エリア内の画素数で除算して得た画素あたりの値（平均値）を用いるようにしてもよい。即ち、本発明の積算値は積算値から求めた平均値を含む。 Further, instead of using the integrated value as it is, a value (average value) per pixel obtained by dividing the integrated value by the number of pixels in the divided area may be used. That is, the integrated value of the present invention includes an average value obtained from the integrated value.
また、表色座標が（Ｒ／Ｇ，Ｂ／Ｇ）座標である場合を例に説明したが、これと異なる座標系を用いてホワイトバランス補正値を算出してもよい。 Further, although the case where the color coordinate is an (R / G, B / G) coordinate has been described as an example, the white balance correction value may be calculated using a different coordinate system.
また、色信号に最終的に乗算する最終ゲインを光源色に応じて求める場合を例に説明したが、本発明はこれに限るものではない。例えば、操作手段で順応率をマニュアルで入力し、この入力された順応率に応じて最終ゲインを求めるようにしてもよい。 Further, the case where the final gain to be finally multiplied by the color signal is obtained according to the light source color has been described as an example, but the present invention is not limited to this. For example, the adaptation rate may be manually input by the operating means, and the final gain may be obtained according to the input adaptation rate.
また、本発明のホワイトバランス調整方法は、オートホワイトバランス調整に限らず、マニュアルのホワイトバランス調整に適用してもよい。 The white balance adjustment method of the present invention is not limited to automatic white balance adjustment, and may be applied to manual white balance adjustment.
また、本発明において、ホワイトバランス算出の際に感度比を「乗算する」とは、実質的に乗算することを示し、感度比の分母と分子の関係によっては、「除算する」場合も含むことは言うまでもない。また、対数表現であれば「加算（或いは減算）する」場合を含むことも言うまでもない。 In the present invention, “multiplying” the sensitivity ratio when calculating the white balance means substantially multiplying, and includes the case of “dividing” depending on the relationship between the denominator and the numerator of the sensitivity ratio. Needless to say. Needless to say, logarithmic expression includes a case of “adding (or subtracting)”.
また、本発明のホワイトバランス調整方法は、プログラムによって全てＣＰＵに各ステップを実行させるようにしてもよい。 In the white balance adjustment method of the present invention, all steps may be executed by the CPU by a program.
１０…撮影レンズ、１２…絞り、１４…ＣＣＤ（カラー撮像素子）、１８…相関二重サンプリング回路、２０…Ａ／Ｄ変換器、２８…同時化回路、３０Ｐ…主画素ホワイトバランス補正回路、３０Ｓ…副画素ホワイトバランス補正回路、３２…ガンマ処理回路、３３…合成回路、３４…ＹＣ信号生成回路、４０…操作部、５０Ｐ…主画素積算値算出回路、５０Ｓ…副画素積算値算出回路、５４…圧縮／伸長回路、５６…記録部、６０…ＣＰＵ、６０２Ｐ…主画素Ｒ／Ｇ，Ｂ／Ｇ算出手段、６０２Ｓ…副画素Ｒ／Ｇ，Ｂ／Ｇ算出手段、６０４…補正係数算出手段、６０６…主画素ゲイン算出手段、６０７…副画素ゲイン算出手段、６１４…補正係数記憶手段、６１５…副画素Ｒ／Ｇ，Ｂ／Ｇ補正手段、６１８…副画素ゲイン補正手段
DESCRIPTION OF
Claims (6)
高感度の色信号に基づいて第１のホワイトバランス補正値を求めるステップと、
前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正するステップと、
前記高感度の色信号の色間の出力差と前記低感度の色信号の色間の比である感度比を、前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求めるステップと、
前記第２のホワイトバランス補正値に従って前記低感度の色信号を補正するステップと、
を含むホワイトバランス調整方法。 In the white balance adjustment method when generating a wide dynamic range color signal based on the high sensitivity color signal and the low sensitivity color signal,
Obtaining a first white balance correction value based on a highly sensitive color signal;
Correcting the high-sensitivity color signal according to the first white balance correction value;
The second white balance correction value is obtained by multiplying the first white balance correction value by a sensitivity ratio which is a ratio between the output difference between the colors of the high sensitivity color signal and the color of the low sensitivity color signal. Seeking steps,
Correcting the low-sensitivity color signal according to the second white balance correction value;
White balance adjustment method including
前記色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、
前記第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求めるステップと、
前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正するステップと、
前記低感度の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、
前記高感度の色信号と前記低感度の色信号との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求めるステップと、
前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求めるステップと、
前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求めるステップと、
前記第３のホワイトバランス補正値に従って前記低感度の色信号を補正するステップと、
を含むホワイトバランス調整方法。 In a white balance adjustment method when generating a wide dynamic range color signal based on a high-sensitivity color signal and the low-sensitivity color signal,
A step of obtaining R, G, the first ratio R / G of the integrated values of the color signals of B, and B / G based on the previous SL color signals,
Obtaining a first white balance correction value based on the first ratios R / G, B / G;
Correcting the high-sensitivity color signal according to the first white balance correction value;
Obtaining a second ratio R / G, B / G of integrated values of the R, G, B color signals based on the low sensitivity color signal;
The high sensitivity of the a No. Iroshin the sensitivity ratio is the ratio of the No. Iroshin the low sensitivity second ratio R / G, B / the by multiplying G first ratio R / G, B / Obtaining a third ratio R / G, B / G corresponding to G;
Obtaining a second white balance correction value corresponding to the first white balance correction value based on the third ratio R / G, B / G;
Multiplying the second white balance correction value by the sensitivity ratio to obtain a third white balance correction value;
Correcting the low-sensitivity color signal according to the third white balance correction value;
White balance adjustment method including
高感度の色信号に基づいて第１のホワイトバランス補正値を求める手段と、
前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正する手段と、
前記高感度の色信号と前記低感度の色信号との比である感度比を前記第１のホワイトバランス補正値に乗算して第２のホワイトバランス補正値を求める手段と、
前記第２のホワイトバランス補正値に従って前記低感度の色信号を補正する手段と、
前記補正された高感度の色信号と該高感度に対応する位置の補正された低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段と、
を備えたことを特徴とするカメラ。 It has a high-sensitivity color signal and a low-sensitivity color signal,
Means for obtaining a first white balance correction value based on a high-sensitivity color signal;
Means for correcting the high-sensitivity color signal in accordance with the first white balance correction value;
It means for obtaining a second white balance correction value the sensitivity ratio is the ratio of the No. Iroshin of the low sensitivity and No. Iroshin by multiplying the first white balance correction value of the high sensitivity,
Means for correcting the low-sensitivity color signal according to the second white balance correction value;
It means for generating a color signal of wide dynamic range on the basis of the color signal corrected low-sensitivity position corresponding to the color signals and the high sensitivity of the corrected sensitivity,
A camera characterized by comprising
高感度の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第１の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、
該第１の比Ｒ／Ｇ，Ｂ／Ｇに基づいて第１のホワイトバランス補正値を求める手段と、
前記第１のホワイトバランス補正値に従って前記高感度の色信号を補正する手段と、
低感度の色信号に基づいてＲ，Ｇ，Ｂの各色信号の積算値の第２の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、
前記高感度の色信号と前記低感度の色信号との比である感度比を前記第２の比Ｒ／Ｇ，Ｂ／Ｇに乗算して前記第１の比Ｒ／Ｇ，Ｂ／Ｇに相当する第３の比Ｒ／Ｇ，Ｂ／Ｇを求める手段と、
前記第３の比Ｒ／Ｇ，Ｂ／Ｇに基づいて前記第１のホワイトバランス補正値に相当する第２のホワイトバランス補正値を求める手段と、
前記感度比を前記第２のホワイトバランス補正値に乗算して第３のホワイトバランス補正値を求める手段と、
前記第３のホワイトバランス補正値に従って前記低感度の色信号を補正する手段と、
前記補正された高感度の色信号と該高感度に対応する低感度の色信号とに基づいて広ダイナミックレンジの色信号を生成する手段と、
を備えたことを特徴とするカメラ。 It has a high-sensitivity color signal and a low-sensitivity color signal,
Means for obtaining a first ratio R / G, B / G of integrated values of the R, G, B color signals based on the highly sensitive color signal;
Means for obtaining a first white balance correction value based on the first ratios R / G and B / G;
Means for correcting the high-sensitivity color signal in accordance with the first white balance correction value;
Means for obtaining a second ratio R / G, B / G of integrated values of the R, G, B color signals based on the low sensitivity color signal;
The high sensitivity of the a No. Iroshin the sensitivity ratio is the ratio of the No. Iroshin the low sensitivity second ratio R / G, B / the by multiplying G first ratio R / G, B / Means for obtaining a third ratio R / G, B / G corresponding to G;
Means for obtaining a second white balance correction value corresponding to the first white balance correction value based on the third ratios R / G and B / G;
Means for multiplying the second white balance correction value by the sensitivity ratio to obtain a third white balance correction value;
Means for correcting the low-sensitivity color signal according to the third white balance correction value;
It means for generating a color signal of wide dynamic range on the basis of the color signal of the low sensitivity corresponding to the color signals and the high sensitivity of the corrected sensitivity,
A camera characterized by comprising
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003311440A JP4239218B2 (en) | 2003-09-03 | 2003-09-03 | White balance adjustment method and electronic camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003311440A JP4239218B2 (en) | 2003-09-03 | 2003-09-03 | White balance adjustment method and electronic camera |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005080190A JP2005080190A (en) | 2005-03-24 |
| JP2005080190A5 JP2005080190A5 (en) | 2006-10-19 |
| JP4239218B2 true JP4239218B2 (en) | 2009-03-18 |
Family
ID=34413005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003311440A Expired - Fee Related JP4239218B2 (en) | 2003-09-03 | 2003-09-03 | White balance adjustment method and electronic camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4239218B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020135022A1 (en) * | 2018-12-24 | 2020-07-02 | 惠科股份有限公司 | Display panel image optimization method and device and computer readable storage medium |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5375457B2 (en) * | 2008-09-03 | 2013-12-25 | 株式会社リコー | Imaging apparatus and imaging method |
| CN102918845B (en) * | 2010-05-28 | 2015-09-02 | 富士胶片株式会社 | The method of imaging device and calculating white balance gains |
| WO2011162041A1 (en) | 2010-06-22 | 2011-12-29 | 富士フイルム株式会社 | Imaging device and imaging method |
| JP5693271B2 (en) * | 2011-02-03 | 2015-04-01 | キヤノン株式会社 | Image processing apparatus and method |
| JP6148497B2 (en) * | 2013-02-27 | 2017-06-14 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
| JP2014175832A (en) | 2013-03-08 | 2014-09-22 | Toshiba Corp | Solid state image pickup device |
| CN113784104A (en) * | 2021-08-18 | 2021-12-10 | 杭州涂鸦信息技术有限公司 | White balance processing method and related device |
-
2003
- 2003-09-03 JP JP2003311440A patent/JP4239218B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020135022A1 (en) * | 2018-12-24 | 2020-07-02 | 惠科股份有限公司 | Display panel image optimization method and device and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005080190A (en) | 2005-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4293174B2 (en) | Imaging apparatus and image processing apparatus | |
| JP4051674B2 (en) | Imaging device | |
| US8723958B2 (en) | Image pickup apparatus and image pickup element | |
| US7602438B2 (en) | Method and apparatus for capturing high quality long exposure images with a digital camera | |
| US20090051781A1 (en) | Image processing apparatus, method, and program | |
| JP5663564B2 (en) | Imaging apparatus, captured image processing method, and captured image processing program | |
| JP2008271123A (en) | Imaging device | |
| JP4544319B2 (en) | Image processing apparatus, method, and program | |
| JP4239218B2 (en) | White balance adjustment method and electronic camera | |
| JP4158029B2 (en) | White balance adjustment method and electronic camera | |
| US20050219404A1 (en) | Apparatus for compensating for color shading on a picture picked up by a solid-state image sensor over a broad dynamic range | |
| JP4306306B2 (en) | White balance control method and imaging apparatus | |
| JP4114707B2 (en) | Imaging device | |
| JP4544318B2 (en) | Image processing apparatus, method, and program | |
| JP2006333113A (en) | Imaging device | |
| JP4051701B2 (en) | Defective pixel correction method and imaging apparatus for solid-state imaging device | |
| JP4028395B2 (en) | Digital camera | |
| JP2004222134A (en) | Image pickup device | |
| JP4735820B2 (en) | Signal processing method for imaging apparatus and imaging apparatus | |
| JP4307862B2 (en) | Signal processing method, signal processing circuit, and imaging apparatus | |
| JP4276847B2 (en) | Imaging device | |
| JP4538742B2 (en) | Signal processing method for imaging apparatus and imaging apparatus | |
| JP2005006047A (en) | Exposure control device of electronic camera | |
| JP2005086630A (en) | Imaging apparatus | |
| JP3958219B2 (en) | Imaging apparatus and contour correction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060901 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4239218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |