JP3138152B2 - White balance adjustment device - Google Patents

White balance adjustment device

Info

Publication number
JP3138152B2
JP3138152B2 JP06205571A JP20557194A JP3138152B2 JP 3138152 B2 JP3138152 B2 JP 3138152B2 JP 06205571 A JP06205571 A JP 06205571A JP 20557194 A JP20557194 A JP 20557194A JP 3138152 B2 JP3138152 B2 JP 3138152B2
Authority
JP
Japan
Prior art keywords
color
green
screen
level
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06205571A
Other languages
Japanese (ja)
Other versions
JPH0879786A (en
Inventor
俊宣 春木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP06205571A priority Critical patent/JP3138152B2/en
Publication of JPH0879786A publication Critical patent/JPH0879786A/en
Application granted granted Critical
Publication of JP3138152B2 publication Critical patent/JP3138152B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は,撮像素子から得られる
撮像映像信号を基に、白バランスの制御を行うカラ−ビ
デオカメラの自動白バランス調整装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic white balance adjusting device for a color video camera which controls a white balance based on an image signal obtained from an image sensor.

【0002】[0002]

【従来の技術】カラ−ビテオカメラに於いては、光源に
よる光の波長分布の違いを補正するために、白バランス
の制御を行う必要がある。
2. Description of the Related Art In a color video camera, it is necessary to control a white balance in order to correct a difference in wavelength distribution of light depending on a light source.

【0003】この制御は、赤(以下R)、青(以下
B)、緑(以下G)の三原色信号の比が1:1:1とな
るように、各色信号の利得を調節することで行われる。
一般には、例えば特開昭62−35792号公報(H0
4N9/73)に示される様に、画面の色差信号R−
Y、B−Yの積分値が零になるように利得を調節する方
式が賞用されている。
[0003] This control is performed by adjusting the gain of each color signal so that the ratio of the three primary color signals of red (hereinafter R), blue (hereinafter B) and green (hereinafter G) becomes 1: 1: 1. Will be
In general, for example, JP-A-62-35792 (H0
4N9 / 73), the color difference signal R-
A method of adjusting the gain so that the integrated values of Y and BY become zero has been awarded.

【0004】図2は、この方式を用いた白バランス回路
のブロック図である。以下、この図2について簡単に説
明する。図中、レンズ1を通過した光は、CCD(撮像
素子)2で光電変換された後、色分離回路3で、R、
G、Bの3原色信号として取り出される。これらの3原
色信号のうちのR信号はR増幅回路4を、またB信号は
B増幅回路5を経て、G信号と共に後段のカメラプロセ
ス及びマトリクス回路6に入力され、輝度信号Y、赤及
び青それぞれの色差信号R−Y、B−Yが作成されてビ
デオ回路7に送られ、周知の信号処理が施された上で記
録回路にて磁気テープに記録が為される。
FIG. 2 is a block diagram of a white balance circuit using this method. Hereinafter, FIG. 2 will be briefly described. In the figure, light that has passed through a lens 1 is photoelectrically converted by a CCD (image pickup device) 2,
The signals are extracted as G and B primary color signals. Of these three primary color signals, the R signal passes through an R amplifier circuit 4 and the B signal passes through a B amplifier circuit 5 and is input to a subsequent camera process and matrix circuit 6 together with a G signal. The respective color difference signals RY and BY are created, sent to the video circuit 7, and subjected to well-known signal processing, and then recorded on the magnetic tape by the recording circuit.

【0005】また同時に、二つの色差信号は、夫々積分
回路17、18で、十分に長い時間、積分され、各積分
値が零になるように利得制御回路13、14がR、B各
々の増幅回路4、5の利得を調節する。尚、両色差信号
は白色のように無彩色の被写体を撮影した時に零レベル
となる。
At the same time, the two color difference signals are respectively integrated by integrating circuits 17 and 18 for a sufficiently long time, and gain control circuits 13 and 14 amplify each of R and B so that each integrated value becomes zero. The gain of the circuits 4 and 5 is adjusted. Note that the two color difference signals become zero level when an achromatic subject such as white is photographed.

【0006】上述の方式は、ビデオカメラにより撮影さ
れる画面の様々な色分布に対して、積分回路17、18
の時定数を長くする等の工夫を施して、これらの色分布
を平均化すれば、色分布を構成する各色成分が打ち消し
合い、略白い画面状態に近似できることを前提としてい
る。
[0006] The above-mentioned method is based on integrating circuits 17 and 18 for various color distributions of a screen shot by a video camera.
It is premised that if these color distributions are averaged by taking measures such as lengthening the time constant of, the respective color components constituting the color distribution will cancel each other out and approximate a substantially white screen state.

【0007】ところが、実際の撮影時には、物体色の影
響で画面の時間的あるいは空間的な平均色が白でないこ
とも多い。特に、芝生や木の入った場面は日常多く撮影
され、しかも画面内でこの芝生や木が大きな面積を占
め、これらの緑色が白バランス調整回路の動作によって
補色側に補正され、芝生や木の緑色が色あせるといった
弊害が生まれ易い。
However, in actual photographing, the average temporal or spatial color of the screen is often not white due to the effect of the object color. In particular, scenes with grass and trees are often photographed daily, and the grass and trees occupy a large area on the screen, and the green color is corrected to the complementary color side by the operation of the white balance adjustment circuit, Evils such as fading green are likely to occur.

【0008】そこで、この改善策として、画面の特定の
色、例えば緑色の部分の色差信号の白バランス調整への
寄与を減じるといった方法が考えられる。
Therefore, as a remedy, it is conceivable to reduce the contribution of a color difference signal of a specific color of a screen, for example, a green portion, to white balance adjustment.

【0009】[0009]

【発明が解決しようとする課題】ところで、撮影画面内
で被写体が緑色となる状況は、芝生や木のように本来の
物体色自体が緑色である場合の他に、ある種の光源(一
部の蛍光灯)の光が、例えば白色紙のように反射率の高
い被写体に当り、画面上で被写体が緑色に見えるような
場合もある。従って、前述のように緑色の被写体に対し
て白バランス制御の寄与を軽減させる方法では、被写体
自体の物体色に起因する場合と光源に起因する場合の2
種類の場合にも区別されることがなく、芝生や木の緑色
の色あせが防止できる反面、本来、例えば白色紙が緑色
に見えるのを積極的な白バランス調整により補色側に補
正して、白色に補正する必要がある状況に対しても、積
極的な白バランス調整が阻害され、ある種の光源に対す
る補正能力が低下するといった問題点が生じる。
However, the situation in which the subject is green on the photographing screen is not only when the original object color itself is green like a lawn or a tree, but also when a certain light source (partly) is used. (Fluorescent lamp) hits a subject with high reflectance such as white paper, for example, and the subject may appear green on the screen. Therefore, as described above, in the method of reducing the contribution of the white balance control to the green subject, there are two cases: the case due to the object color of the subject itself and the case due to the light source.
There is no distinction in the case of different types, and while it is possible to prevent the fading of the green color of lawns and trees, on the other hand, for example, the white paper looks green, which is corrected to the complementary color side by aggressive white balance adjustment. However, even in a situation where correction is necessary, aggressive white balance adjustment is hindered, and a problem arises in that the ability to correct certain light sources is reduced.

【0010】[0010]

【課題を解決するための手段】本発明は、撮像映像信号
中の色情報信号を基に、各色信号の利得を可変すること
で制御を行う白バランス調整装置で、色座標上のある範
囲でもって定義された緑色を持つ、画面内の領域の内、
輝度が画面の平均輝度から得られる閾値を下回る領域に
ついて、この領域の色信号利得決定に対する寄与を減ず
る。
SUMMARY OF THE INVENTION The present invention relates to a white balance adjusting device for controlling by varying the gain of each color signal based on a color information signal in a picked-up video signal. Of the area on the screen that has a predefined green color,
For a region where the luminance is below a threshold obtained from the average luminance of the screen, the contribution of this region to the determination of the color signal gain is reduced.

【0011】もしくは、色座標上のある範囲でもって定
義された緑の色を持つ、画面内の領域の平均輝度が閾値
を下回るとき緑色に対する補正量を小さくすることを特
徴とする。
Alternatively, when the average luminance of a region in the screen having a green color defined by a certain range on a color coordinate is lower than a threshold value, the correction amount for green is reduced.

【0012】[0012]

【作用】本発明は、上述の如く構成したので、一般的に
画面内の周辺の領域より輝度の低い芝生や木の緑色に関
しては色あせることが無く、白色紙といった反射率の高
い被写体に主に反映される、光源の緑色に関しては高い
補正能力を維持することができる。
Since the present invention is constructed as described above, it generally does not fade grass and trees with lower brightness than the peripheral area in the screen, and is mainly used for objects having high reflectance such as white paper. A high correction ability can be maintained for the reflected light source green.

【0013】[0013]

【実施例】以下、図面に従い、本発明の第1実施例につ
いて説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the present invention will be described below with reference to the drawings.

【0014】図1は本実施例による自動白バランス調整
回路の回路ブロック図である。図中、従来例と同一の部
分については同一符号を付して説明を割愛する。
FIG. 1 is a circuit block diagram of an automatic white balance adjusting circuit according to the present embodiment. In the figure, the same parts as those of the conventional example are denoted by the same reference numerals, and description thereof is omitted.

【0015】マトリクス回路6からの両色差信号B−
Y、R−Y及び輝度信号Yは、夫々A/D変換器20、
21、22に入力されて、画面上の同一画素について同
時にサンプリングされてディジタル値に変換され、画素
毎のディジタル色差信号B−Yはゲート回路23及び緑
色判別回路25に入力され、同様に色差信号R−Yはゲ
ート回路24及び緑色判別回路25に入力される。
The two color difference signals B-
Y, RY, and the luminance signal Y are output from the A / D converter 20,
21 and 22, the same pixel on the screen is simultaneously sampled and converted into a digital value. The digital color difference signal BY for each pixel is input to the gate circuit 23 and the green color discrimination circuit 25. RY is input to the gate circuit 24 and the green determination circuit 25.

【0016】一方、ディジタル化された輝度信号Yは、
積分回路27で1画面分、即ち1フィールド期間にわた
って積分され、A/D変換器22にてサンプリングして
得られたディジタル値の総和が算出される。
On the other hand, the digitized luminance signal Y is
The integration circuit 27 integrates over one screen, that is, over one field period, and the A / D converter 22 calculates the sum of digital values obtained by sampling.

【0017】こうして得られる積分値は平均輝度検出回
路28にて、A/D変換器22での1フィールド期間の
サンプリング点の総数で割り算され、1サンプリング点
当りの輝度信号のレベルが平均輝度レベルとして後段の
閾値決定回路29に供給される。
The integrated value thus obtained is divided by the average luminance detection circuit 28 by the total number of sampling points in one field period in the A / D converter 22, and the level of the luminance signal per sampling point is converted to the average luminance level. Is supplied to the threshold determination circuit 29 in the subsequent stage.

【0018】閾値決定回路29では、上述のように算出
された平均輝度レベルの80%を輝度の閾値Sとして決
定する。こうして算出された閾値Sは、輝度信号Yと共
に輝度判別回路26に入力される。
The threshold value determination circuit 29 determines 80% of the average luminance level calculated as described above as the luminance threshold value S. The threshold value S calculated in this way is input to the luminance determination circuit 26 together with the luminance signal Y.

【0019】ここで、積分回路27、平均輝度検出回路
28及び閾値決定回路29の一連の回路にて実行される
閾値決定処理は、後述の緑色判別回路25及び輝度判別
回路26での両判別動作の対象となるフィールドの1フ
ィールド前の画面にて実行され、平均輝度レベル及び閾
値Sは1フィールド毎に更新されることになる。
Here, the threshold determination processing executed by a series of circuits of the integration circuit 27, the average luminance detection circuit 28, and the threshold determination circuit 29 is performed by a green determination circuit 25 and a luminance determination circuit 26 described later. Is executed on the screen one field before the target field, and the average luminance level and the threshold value S are updated every field.

【0020】緑色判別回路25は、入力されるR−Y、
B−Yの両色差信号から、この色差信号に該当する画面
上の位置が緑色に該当するか否かを判別(緑色判別)す
るもので、具体的には入力される両色差信号を図4に示
す色座標上にプロットし、この色座標上に予め設定さ
れ、ハッチングで示された範囲a内に、プロットされた
点が位置するか否かを判別する。
The green determination circuit 25 receives the input RY,
From the BY color difference signals, it is determined whether or not a position on the screen corresponding to the color difference signal corresponds to green (green determination). Specifically, the input color difference signals are shown in FIG. Is plotted on the color coordinates shown in FIG. 5, and it is determined whether or not the plotted point is located within a range a set in advance and indicated by hatching on the color coordinates.

【0021】ここで、範囲aは色座標上で主に第三象限
に位置し、緑色の被写体を撮影したときには両色差信号
がプロットし得る範囲であり、レンズ1、CCD2、及
び後段の回路に依存し、システムに応じて予め実験によ
り決定されている。
Here, the range a is located mainly in the third quadrant on the color coordinates, and is a range where both color difference signals can be plotted when a green object is photographed. Depends on the system and is determined in advance by experiment according to the system.

【0022】この緑色判別動作により緑色であるとの判
別結果が得られた場合にのみ、緑色判別回路25はH
(ハイ)レベルの緑色判別信号を発する。
Only when a green determination result is obtained by this green determination operation, the green determination circuit 25
A (high) level green determination signal is issued.

【0023】輝度判別回路26は、具体的には、輝度信
号Yと1フィールド前の画面を評価して得られた閾値決
定回路29からの閾値Sをレベル比較する比較回路であ
り、輝度信号レベルが閾値Sを下回るときにのみHレベ
ルの輝度判別信号を発する。
More specifically, the luminance discriminating circuit 26 is a comparison circuit for comparing the luminance signal Y with a threshold value S from a threshold value determining circuit 29 obtained by evaluating the screen one field before, and the luminance signal level. Is less than the threshold value S, an H level luminance determination signal is issued.

【0024】こうして得られた両判別信号は、ANDゲ
ート30に入力されて論理積がとられ、さらにこのAN
Dゲート30出力は反転回路31にて反転された上で、
ゲート信号として後述のゲート回路23、24に入力さ
れる。
The two discrimination signals thus obtained are input to an AND gate 30 where they are logically ANDed.
After the output of the D gate 30 is inverted by the inverting circuit 31,
Gate signals are input to gate circuits 23 and 24 to be described later.

【0025】以上のように構成することにより、評価の
対象である画素が、緑色で且つ輝度信号レベルが閾値S
を下回るという両方の条件を満足する場合、即ち芝生や
木の葉に該当する画素である場合にのみ、ゲート信号が
L(ロー)レベルとなる。
With the above configuration, the pixel to be evaluated is green and the luminance signal level is equal to the threshold S.
Is satisfied, that is, only when the pixel corresponds to a lawn or a leaf of a tree, the gate signal becomes L (low) level.

【0026】ゲート回路23、24は、夫々ゲート信号
がHレベルの間は、色差信号B−Y、R−Yを積分回路
32、33に入力して、ゲート信号がLレベルの間は、
色差信号B−Y、R−Yの積分回路32、33への入力
を阻止して、この部分の色の白バランス調整への影響を
除いている。
The gate circuits 23 and 24 input the color difference signals BY and RY to the integrating circuits 32 and 33 while the gate signal is at the H level, respectively.
The input of the color difference signals BY and RY to the integration circuits 32 and 33 is blocked to eliminate the influence of the color of this portion on the white balance adjustment.

【0027】また、ゲート信号はゲート信号がHレベル
を維持する期間を測定するカウンタ34に入力される。
このカウンタ34は所定周期のクロックをゲート信号が
Hレベル間でのみカウントするもので、このカウンタ3
4のカウント値は、水平同期信号の発生毎にリセットさ
れる。即ち、ゲート時間の検出は、1フィールド単位で
実行されるので、ゲート信号が常時Hレベルを維持する
ときには、カウンタ34のカウント値を時間に換算する
と1/60秒となる。尚、カウンタ34のカウント値
は、前述のようにゲート信号のHレベルとなる時間に相
当し、これは緑色及び輝度判別回路25、26にて白バ
ランス調整を積極的に行う必要がないと判定された部分
を除く領域、即ち白バランス調整に積極的に寄与すべき
領域(以下、有効領域という)の面積に比例する。
The gate signal is input to a counter 34 that measures a period during which the gate signal maintains the H level.
The counter 34 counts a clock of a predetermined cycle only while the gate signal is at the H level.
The count value of 4 is reset every time the horizontal synchronization signal is generated. That is, since the detection of the gate time is performed in units of one field, the count value of the counter 34 is 1/60 seconds when the count value of the counter 34 is converted to time when the gate signal is constantly maintained at the H level. Note that the count value of the counter 34 corresponds to the time when the gate signal is at the H level as described above, and this is determined by the green and luminance determination circuits 25 and 26 that it is not necessary to actively adjust the white balance. In other words, the area is proportional to the area of the area excluding the set portion, that is, the area that should actively contribute to the white balance adjustment (hereinafter referred to as an effective area).

【0028】積分回路32はゲート回路23を経て入力
された色差信号B−Yを、1フィールド期間にわたって
積分することにより、前記有効領域内での色差信号B−
Yのレベルの積分値が得られることになる。同様に、積
分回路33はゲート回路24を経て入力された色差信号
R−Yを、1フィールド期間にわたって積分することに
より、前記有効領域内での色差信号R−Yのレベルの積
分値が得られることになる。
The integration circuit 32 integrates the color difference signal BY input through the gate circuit 23 over one field period, thereby obtaining the color difference signal B- in the effective area.
As a result, an integrated value of the Y level is obtained. Similarly, the integrating circuit 33 integrates the color difference signal RY input through the gate circuit 24 over one field period, thereby obtaining an integrated value of the level of the color difference signal RY in the effective area. Will be.

【0029】尚、積分回路32、33に入力される両色
差信号の基準レベル、即ち零レベルは、完全な無彩色面
を撮影したときに得られるレベルに設定されており、従
って、ディジタル化された各色差信号は正の値だけでな
く、負の値にもなり、ディジタル積分動作は、具体的に
は正の値についてはその絶対値を加算し、逆に負の値に
ついてはその絶対値を減算することになる。
The reference level of the two color difference signals input to the integration circuits 32 and 33, that is, the zero level, is set to a level obtained when a complete achromatic color plane is photographed. Each color difference signal becomes not only a positive value but also a negative value, and the digital integration operation specifically adds the absolute value of a positive value, and conversely, the absolute value of a negative value. Will be subtracted.

【0030】各積分回路32、33の後段には、演算器
35、36が接続され、積分回路32、33から出力さ
れるB−Y、R−Yの色差信号の1フィールド中の有効
領域内での積分値を、カウンタ34のカウント値により
割り算することにより、実質的に有効領域内の単位面積
当りでの積分値が各色差信号の平均値として得られるこ
とになり、夫々利得制御回路37、38に入力される。
Arithmetic units 35 and 36 are connected to the succeeding stages of the integration circuits 32 and 33, respectively, and the BY and RY color difference signals output from the integration circuits 32 and 33 are set within the effective area in one field. Is divided by the count value of the counter 34, the integral value per unit area in the effective area is substantially obtained as the average value of the respective color difference signals. , 38.

【0031】利得制御回路37では演算器35から単位
面積当りの積分値が零レベルとなるようにB増幅回路5
の利得を制御するB利得制御信号を作成し、同様に利得
制御回路38では演算器36からの単位面積当りの積分
値が零レベルとなるようにR増幅回路4の利得を制御す
るR利得制御信号を作成し、これらの利得制御信号に基
づいてR及びB増幅回路4、5が動作し、白バランス調
整が実行される。
In the gain control circuit 37, the B amplifying circuit 5 is operated by the computing unit 35 so that the integrated value per unit area becomes zero level.
Similarly, the gain control circuit 38 generates a B gain control signal for controlling the gain of the R amplifier circuit 4 so that the integrated value per unit area from the calculator 36 becomes zero level. A signal is created, and the R and B amplifier circuits 4 and 5 operate based on these gain control signals to execute white balance adjustment.

【0032】ここで、一般的に、芝生や木の緑色は画面
内の周辺の領域に比べて輝度が低い。一方で、光源の緑
色は白色紙といった反射率の高い被写体に主に反映され
る。このことから、上述のように、撮像画面において、
緑色でしかも閾値Sより輝度が低い部分は、光源の緑色
が反射率の高い被写体に反映されたものではなく、芝生
や木の葉のようなもので、積極的に白バランス調整を行
うと緑色があせる惧れがあるので、この部分での白バラ
ンス調整への影響を阻止する、即ち寄与度を軽減するこ
とにより芝生や木の葉が緑の補色側に補正されて色あせ
の発生が抑えられ、また光源の緑色に関しては積極的に
白バランス調整に影響させるために有効領域に含めるこ
とで、この光源の緑色に対しては高い白バランス補正能
力を維持させることができる。
Here, generally, the green color of a lawn or a tree is lower in brightness than a peripheral area in the screen. On the other hand, the green color of the light source is mainly reflected on a subject having high reflectance such as white paper. From this, as described above, in the imaging screen,
The portion that is green and has a luminance lower than the threshold value S is not reflected in the object with high reflectance of the light source, but is like a lawn or a leaf of a tree. Because of this, the influence on white balance adjustment in this area is prevented, that is, by reducing the degree of contribution, lawn and leaves are corrected to the complementary color side of green, and the occurrence of fading is suppressed. By including the green color in the effective area in order to positively influence the white balance adjustment, it is possible to maintain a high white balance correction capability for the green color of the light source.

【0033】前記実施例において、閾値決定回路29に
て決定される閾値Sは、様々な撮影環境により種々のレ
ベルとなり得る画面の平均輝度レベルを基に決定するこ
とにより様々な撮影環境にも対処できることになるが、
80%という数値は予め実験により設定された値であ
り、例えば90%や70%に設定してもよいことはいう
までもない。また、閾値Sは白バランス調整の対象とな
るフィールドの1フィールド前の画面を評価することに
より決定されており、白バランス調整用の評価画面とは
1フィールドのずれがあるが、画面全体の輝度レベルに
関しては1フィールド程度のずれがあっても大きな変化
はなく問題はない。
In the above embodiment, the threshold value S determined by the threshold value determination circuit 29 is determined based on the average luminance level of the screen which can be various levels depending on various photographing environments, thereby coping with various photographing environments. Will be able to do it,
The value of 80% is a value set in advance by an experiment, and it goes without saying that the value may be set to 90% or 70%, for example. The threshold value S is determined by evaluating the screen one field before the field to be adjusted for white balance, and there is a shift of one field from the evaluation screen for white balance adjustment, but the luminance of the entire screen is Regarding the level, even if there is a deviation of about one field, there is no significant change and there is no problem.

【0034】更に、前記実施例では、両色差信号及び輝
度信号はいずれもディジタル値に変換して処理された
が、アナログ値のままでも同様の処理が可能であること
は言うまでもない。
Further, in the above embodiment, both the color difference signal and the luminance signal are converted into digital values and processed. However, it is needless to say that the same processing can be performed with the analog values.

【0035】前記実施例では低輝度で緑色の部分では、
両色差信号の積分回路32、33への入力を遮断して、
この部分の白バランス調整への寄与度を軽減させたが、
これに替えて、低輝度で緑色の部分での色差信号の重み
付け量を他の部分に比べて軽減させることも可能であ
る。このような構成を第2の実施例として図3を参照に
説明する。
In the above embodiment, in the low-luminance and green portion,
The input of the two color difference signals to the integration circuits 32 and 33 is cut off,
Although the contribution of this part to white balance adjustment has been reduced,
Alternatively, it is possible to reduce the weight of the color difference signal in the low-luminance, green portion compared to the other portions. Such a configuration will be described as a second embodiment with reference to FIG.

【0036】A/D変換器20にてディジタル値に変換
されたB−Yの色差信号は乗算器82及び切替回路80
に入力され、A/D変換器21にてディジタル値に変換
されたR−Yの色差信号は乗算器83及び切替回路81
に入力される。
The BY color difference signal converted into a digital value by the A / D converter 20 is supplied to a multiplier 82 and a switching circuit 80.
Is input to the A / D converter 21 and converted to a digital value by the A / D converter 21.
Is input to

【0037】乗算器82はB−Yの色差信号に予め設定
された値Kを掛け算するもので、この値Kは例えば0.
7のように1よりも小さい値であり、予め実験に基づい
て設定されている。従って、同一レベルのB−Y信号を
乗算器82に通した場合と、そうでない場合とでは、乗
算器82を通過した方が30%だけレベルを圧縮させて
しまうことになる。同様に、乗算器83はR−Yの色差
信号に予め設定された値Kを掛け算してレベルを圧縮さ
せる。
The multiplier 82 multiplies the BY color difference signal by a preset value K. This value K is, for example, 0.1.
It is a value smaller than 1 as in 7 and is set in advance based on an experiment. Therefore, when the BY signal of the same level is passed through the multiplier 82 and when it is not, the level passed through the multiplier 82 compresses the level by 30%. Similarly, the multiplier 83 compresses the level by multiplying the RY color difference signal by a preset value K.

【0038】乗算器82、83の出力は、夫々切替回路
80、81の一方の入力となり、切替回路80、81で
は反転回路31からの切替制御信号に基づいて後段の積
分回路32、33に乗算器82、83を経たB−Y、R
−Y信号か、乗算器82、83を経ないB−Y、R−Y
信号の一方を選択する。即ち、反転回路31からの出力
がLレベル、即ち芝生や木の葉のように低輝度で緑色の
画素であると判断される場合には、切替回路80、81
は夫々乗算器82、83を経てレベルが30%降下した
各色差信号を選択し、逆に反転回路31からの出力がH
レベル、即ち芝生や木の葉のように低輝度で緑色の画素
ではないと判断される場合には、切替回路80、81は
夫々乗算器82、83を経ず何ら加工されていない各色
差信号を選択する。
The outputs of the multipliers 82 and 83 are input to one of the switching circuits 80 and 81, respectively, and the switching circuits 80 and 81 multiply the subsequent integration circuits 32 and 33 based on the switching control signal from the inverting circuit 31. BY, R via vessels 82, 83
-Y signal or BY, RY without passing through the multipliers 82 and 83
Select one of the signals. That is, when it is determined that the output from the inverting circuit 31 is at the L level, that is, a low-luminance green pixel such as a lawn or a leaf of a tree, the switching circuits 80, 81
Selects each color difference signal whose level has dropped by 30% through the multipliers 82 and 83, respectively. Conversely, the output from the inverting circuit 31 is H
If it is determined that the pixel is not a green pixel with low luminance like a lawn or a leaf of a tree, the switching circuits 80 and 81 select the respective color difference signals that have not been processed without passing through the multipliers 82 and 83, respectively. I do.

【0039】こうして両判別回路25、26での判別結
果に応じて切替回路80、81にて選択された各信号
は、積分回路32、33にて1フィールド期間にわたっ
て積分し、この積分値が夫々零になるように利得制御回
路37、38がB及びR利得制御信号を出力する。従っ
て、芝生や木の葉のように低輝度で緑色の画素でのみ両
色差信号のレベルを圧縮して、実質的に白バランス調整
への寄与度を軽減している。
The signals selected by the switching circuits 80 and 81 in accordance with the results of the determinations by the two determination circuits 25 and 26 are integrated by the integration circuits 32 and 33 over one field period. The gain control circuits 37 and 38 output B and R gain control signals so that they become zero. Therefore, the levels of both color difference signals are compressed only for low-luminance, green pixels such as grass and leaves, thereby substantially reducing the contribution to white balance adjustment.

【0040】次に、第3の実施例について図5を参照に
説明する。
Next, a third embodiment will be described with reference to FIG.

【0041】マトリクス回路6からの輝度信号Yは、積
分回路70に入力されて画面全体、即ち1フィールド期
間にわたってアナログ的に積分され、画面全体について
の平均輝度レベルを検出し、さらに後段の閾値決定回路
71にてこの平均輝度レベルの80%を閾値と設定し、
比較回路45に入力する。また、輝度信号Yはゲート回
路50にも入力される。
The luminance signal Y from the matrix circuit 6 is input to the integration circuit 70 and is integrated in an analog manner over the entire screen, that is, over one field period, to detect the average luminance level for the entire screen, and to determine the threshold value at the subsequent stage. A circuit 71 sets 80% of the average luminance level as a threshold,
Input to the comparison circuit 45. The luminance signal Y is also input to the gate circuit 50.

【0042】一方、マトリクス回路6からの二つの色差
信号は積分回路72、73に送られると同時に、緑色判
別回路74に送られ、ここで上述の緑色判別回路25と
同様に入力される両色差信号にて色座標上にプロットさ
れる点が予め色座標上に設定された緑色に該当する範囲
a内にあるか否かが識別され、範囲a内に存在すると判
断された場合には、Hレベルの判別信号をゲート制御信
号としてゲート回路50に出力する。
On the other hand, the two color difference signals from the matrix circuit 6 are sent to the integration circuits 72 and 73, and at the same time, sent to the green color judgment circuit 74. It is determined whether or not the point plotted on the color coordinates by the signal is within the range a corresponding to green set in advance on the color coordinates, and if it is determined that the point is within the range a, H The level discrimination signal is output to the gate circuit 50 as a gate control signal.

【0043】ゲート回路50は緑色判別回路74からの
判別信号がHレベルの間にのみ、輝度信号Yの積分回路
51への通過を許容する働きを為し、積分回路51はゲ
ート回路50を通過した輝度信号Yのみを1フィールド
期間にわたってアナログ積分し、この積分値が、結果的
に画面内の緑色の領域の平均輝度レベルとなる。
The gate circuit 50 functions to allow the luminance signal Y to pass through the integration circuit 51 only when the determination signal from the green determination circuit 74 is at the H level. Only the obtained luminance signal Y is analog-integrated over one field period, and the integrated value becomes the average luminance level of the green area in the screen as a result.

【0044】比較回路45は、白バランス調整の対象と
なる1フィールドの全画素の緑色判別回路51での判別
動作が完了した後に、積分回路51からの積分値と閾値
決定回路71からの閾値のレベルを比較するもので、こ
の比較の結果、積分値が閾値を下回ると判断された場合
にのみHレベルの制御信号を緑側利得制御回路46に出
力する。
After the green discriminating circuit 51 completes the discriminating operation of all the pixels of one field to be subjected to white balance adjustment in the green discriminating circuit 51, the comparing circuit 45 compares the integrated value from the integrating circuit 51 with the threshold value from the threshold value determining circuit 71. The level is compared, and the control signal of the H level is output to the green-side gain control circuit 46 only when the integrated value is determined to be lower than the threshold value as a result of the comparison.

【0045】積分回路72は色差信号B−Yを1フィー
ルド期間にわたってアナログ的に積分して色差信号B−
Yの平均レベルを検出し、同様に色差信号R−Yを1フ
ィールド期間にわたってアナログ的に積分して色差信号
R−Yの平均レベルを検出する。
The integration circuit 72 integrates the color difference signal BY in an analog manner over one field period and performs color integration of the color difference signal BY.
The average level of the color difference signal RY is detected by analogously integrating the color difference signal RY over one field period to detect the average level of the color difference signal RY.

【0046】このようにして検出された色差信号B−Y
の積分値は利得制御回路47に、また色差信号R−Yの
積分値は利得制御回路48に、更に両色差信号は共に緑
側利得制御回路46に入力される。
The color difference signal BY detected in this way is
Is input to a gain control circuit 47, the integrated value of the color difference signal RY is input to a gain control circuit 48, and both of the color difference signals are input to a green side gain control circuit 46.

【0047】緑側利得制御回路46では、積分回路7
2、73からの両積分値を、緑色判別回路74での判別
と同様に、横軸に色差信号B−Yの積分値、縦軸に色差
信号R−Yの積分値をとった色座標上にプロットし、図
4と同様に主に第3象限に設定された緑色を定義する範
囲内に、このプロット点が範囲内に存在するか否かを判
別すると共に、比較回路45からの制御信号がHレベル
か否かを1フィールド分の積分値で判別し、Hレベルで
ある場合に、撮像画面内に芝生や木の葉のように緑色で
はあるが低輝度の被写体が存在し、利得制御回路47、
48が芝生や木の葉の緑色を積極的に弱める方向に動作
すると予想されるので、この場合にHレベルの制御信号
を利得制御回路47、48に出力する。
In the green side gain control circuit 46, the integration circuit 7
2 and 73, on the color coordinates with the horizontal axis representing the integral value of the color difference signal BY and the vertical axis representing the integral value of the color difference signal RY, as in the determination by the green determination circuit 74. In the same manner as in FIG. 4, it is determined whether or not this plot point exists within the range defining green, which is set mainly in the third quadrant, as well as the control signal from the comparison circuit 45. Is determined to be the H level or not by the integrated value for one field. When the level is the H level, there is a green but low-luminance subject such as a lawn or a tree leaf in the imaging screen. ,
Since it is expected that 48 operates in a direction that positively weakens the green color of grass and leaves, in this case, an H-level control signal is output to the gain control circuits 47 and 48.

【0048】利得制御回路47は、緑側利得制御回路4
6からHレベルの制御信号が入力されることのない通常
状態では、色差信号B−Yの積分値を零レベルにするよ
うにB増幅回路5の利得を制御する様にB利得調整信号
を出力し、同様に利得制御回路48は通常状態では、色
差信号R−Yの積分値を零レベルにするようにR増幅回
路4の利得を制御する様にR利得調整信号を出力する。
The gain control circuit 47 includes a green side gain control circuit 4
In a normal state in which no H-level control signal is input from 6, a B gain adjustment signal is output so as to control the gain of the B amplifier circuit 5 so that the integrated value of the color difference signal BY becomes zero. Similarly, in the normal state, the gain control circuit 48 outputs an R gain adjustment signal so as to control the gain of the R amplification circuit 4 so that the integrated value of the color difference signal RY becomes zero level.

【0049】一方、緑側利得制御回路46からHレベル
の制御信号が入力される場合には、両利得制御回路4
7、48は共に各色差信号の積分値を零レベルにするよ
うに作成されたB及びR利得調整信号のレベルを共に1
0%低下させて出力する。これにより制御信号がHレベ
ルとなる場合には、R及びB増幅回路4、5での緑色の
補色側への利得調整を抑えることができる。尚、この軽
減量については、特に10%に限定される必要はなく他
の値であってもよい。
On the other hand, when an H-level control signal is input from the green-side gain control circuit 46, both gain control circuits 4
7 and 48, both of the levels of the B and R gain adjustment signals created so that the integrated value of each color difference signal becomes zero level, are both 1
The output is reduced by 0%. Thus, when the control signal is at the H level, it is possible to suppress the gain adjustment to the complementary green color side in the R and B amplifier circuits 4 and 5. It should be noted that this reduction amount does not need to be particularly limited to 10% and may be another value.

【0050】また、緑色の補色側への利得調整を抑える
別の方法として、緑色利得制御回路46からHレベルの
制御信号が入力される場合に、B及びR利得調整信号に
予め上限値を設け、この上限値を越えるようなレベルの
利得調整信号については上限値に固定するようにするこ
とも可能である。
As another method for suppressing the gain adjustment to the green complementary color side, when an H level control signal is input from the green gain control circuit 46, upper limit values are set in advance for the B and R gain adjustment signals. The gain adjustment signal having a level exceeding the upper limit may be fixed to the upper limit.

【0051】尚、前記第3実施例では、積分回路70、
51はいずれも1フィールド期間にわたって入力信号を
アナログ積分するものであるため、比較回路45での比
較は1フィールドにわたる積分が完了した後に実行され
る。
In the third embodiment, the integration circuit 70,
Since each of the circuits 51 performs analog integration of the input signal over one field period, the comparison by the comparison circuit 45 is executed after the integration over one field is completed.

【0052】前記全実施例では、色、輝度の判断は実質
的に画素毎に行われるが、撮像画面を複数の小領域に分
割して、各領域毎に前述の判断を行うことも可能であ
り、また、これらの動作をマイクロコンピュータによ
り、ソフトウェア的に処理可能であることは言うまでも
ない。
In all of the above embodiments, the judgment of color and luminance is made substantially for each pixel. However, it is also possible to divide the image screen into a plurality of small areas and make the above judgment for each area. Yes, and it is needless to say that these operations can be processed as software by a microcomputer.

【0053】[0053]

【発明の効果】上述のごとく本発明によれば、一般的に
画面内の周辺の領域より輝度の低い、芝生や木の緑色に
関しては色あせを起こすことがなく、反射率の高い被写
体に主に反映される光源の緑色に関しては高い補正能力
を維持することができる。
As described above, according to the present invention, the brightness of grass and trees is lower than that of the peripheral area of the screen. A high correction capability can be maintained for the reflected light source green.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施例の回路ブロック図FIG. 1 is a circuit block diagram of a first embodiment of the present invention.

【図2】従来例の回路ブロック図FIG. 2 is a circuit block diagram of a conventional example.

【図3】本発明の第2の実施例の回路ブロック図FIG. 3 is a circuit block diagram of a second embodiment of the present invention.

【図4】緑色の範囲を定義する色座標である。FIG. 4 shows color coordinates defining a green range.

【図5】本発明の第3の実施例の回路ブロック図FIG. 5 is a circuit block diagram of a third embodiment of the present invention.

【符号の説明】[Explanation of symbols]

32 積分回路 33 積分回路 25 緑色判別回路 26 輝度判別回路 23 ゲート回路 24 ゲート回路 4 R増幅回路 5 B増幅回路 72 積分回路 73 積分回路 74 緑色判別手段 45 比較手段 46 緑側利得制御回路 Reference Signs List 32 integration circuit 33 integration circuit 25 green determination circuit 26 luminance determination circuit 23 gate circuit 24 gate circuit 4 R amplification circuit 5 B amplification circuit 72 integration circuit 73 integration circuit 74 green determination means 45 comparison means 46 green side gain control circuit

フロントページの続き (56)参考文献 特開 平4−150186(JP,A) 特開 平3−198494(JP,A) 特開 平1−123588(JP,A) 特開 平3−232391(JP,A) 特開 平3−232392(JP,A) 特開 平3−254294(JP,A) 特開 平4−160892(JP,A) 特開 平4−264893(JP,A) 特開 平5−344530(JP,A) 特開 平5−168032(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 9/73 H04N 9/04 Continuation of the front page (56) References JP-A-4-150186 (JP, A) JP-A-3-198494 (JP, A) JP-A-1-123588 (JP, A) JP-A-3-232391 (JP) JP-A-3-232392 (JP, A) JP-A-3-254294 (JP, A) JP-A-4-160892 (JP, A) JP-A-4-264893 (JP, A) 5-344530 (JP, A) JP-A-5-168032 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 9/73 H04N 9/04

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 撮像映像信号中の色情報信号を基に各色
信号の利得を制御する白バランス調整装置において、撮
像画面内で色座標上の緑色に該当する特定の範囲内に色
情報信号レベルが位置する領域であり、且つ画面の平均
輝度レベルから算出され該平均輝度レベルより低い所定
値に設定された閾値を輝度レベルが下回る領域での色情
報信号の色信号利得制御に対する寄与度を減ずることを
特徴とする白バランス調整装置。
1. A white balance adjustment device for controlling a gain of each color signal based on a color information signal in a captured video signal, wherein a color information signal level falls within a specific range corresponding to green on a color coordinate in an imaging screen. Is reduced, and the contribution of the color information signal to the color signal gain control is reduced in a region where the luminance level is lower than a threshold value calculated from the average luminance level of the screen and set to a predetermined value lower than the average luminance level. A white balance adjusting device, characterized in that:
【請求項2】 撮像映像信号中のR−Y及びB−Yの各
色差信号を積分する積分手段と、 前記両色差信号より対応する画面上の位置の色が緑色か
否かを判別する緑色判別手段と、 画面の平均輝度レベルから算出され該平均輝度レベルよ
り低い所定値に設定された閾値を、前記位置での輝度レ
ベルが下回るか否かを判別する輝度判別手段と、 該両判別手段により緑色で、且つ輝度レベルが前記閾値
を下回ると判別される画面上の位置に対応する色差信号
の前記積分手段への入力を阻止するゲート手段と、 前記積分手段出力に応じて赤色及び青色の色信号の利得
を調整する増幅手段を備える白バランス調整装置。
2. Integrating means for integrating each of RY and BY color difference signals in an imaged video signal, and green for judging whether or not a color at a position on the screen corresponding to the two color difference signals is green or not. Determination means; and brightness determination means for determining whether or not the brightness level at the position is lower than a threshold calculated from the average brightness level of the screen and set to a predetermined value lower than the average brightness level; A gate means for blocking input of the color difference signal corresponding to a position on the screen where the luminance level is determined to be lower than the threshold value to the integrating means, and red and blue colors corresponding to the output of the integrating means. A white balance adjusting device including an amplifying unit for adjusting a gain of a color signal.
【請求項3】 撮像映像信号中のR−Y及びB−Yの各
色差信号を積分する積分手段と、 前記両色差信号より対応する画面上の位置の色が緑色か
否かを判別する緑色判別手段と、 画面の平均輝度レベルから算出され該平均輝度レベルよ
り低い所定値に設定された閾値を、前記位置での輝度レ
ベルが下回るか否かを判別する輝度判別手段と、 該両判別手段により緑色で、且つ輝度レベルが前記閾値
を下回ると判別される画面上の位置に対応する色差信号
のレベルを圧縮する演算手段と、 前記積分手段出力に応じて赤色及び青色の色信号の利得
を調整する増幅手段を備える白バランス調整装置。
3. An integrating means for integrating RY and BY color difference signals in a picked-up video signal, and green for judging whether or not a color at a position on a screen corresponding to the color is green from the two color difference signals. Determination means; and brightness determination means for determining whether or not the brightness level at the position is lower than a threshold calculated from the average brightness level of the screen and set to a predetermined value lower than the average brightness level; Calculating means for compressing the level of the color difference signal corresponding to a position on the screen which is determined to be green and the luminance level is below the threshold, and adjusting the gains of the red and blue color signals according to the output of the integrating means. A white balance adjusting device including an amplifying means for adjusting.
【請求項4】 撮像映像信号中のR−Y及びB−Yの各
色差信号を積分する積分手段と、 該積分手段出力に応じて赤色及び青色の色信号の利得を
調整する増幅手段と、 前記両色差信号より対応する画面上の位置の色が緑色か
否かを判別する緑色判別手段と、 該緑色判別手段にて緑色と判別された領域の平均輝度レ
ベルである領域平均輝度レベルが、画面全体の平均輝度
レベルである画面平均輝度レベルから算出され該画面平
均輝度レベルより低い所定値に設定された閾値を下回る
か否かを判別する輝度判別手段と、 該輝度判別手段にて前記領域平均輝度レベルが前記閾値
を下回ると判別される場合に、前記増幅手段での緑色の
補色側への補正量を小さくする緑側利得制御手段を備え
る白バランス調整装置。
4. An integrating means for integrating RY and BY color difference signals in a captured video signal, and an amplifying means for adjusting gains of red and blue color signals according to an output of the integrating means. Green discriminating means for discriminating whether or not the color at the position on the screen corresponding to the two color difference signals is green, and an area average luminance level which is an average luminance level of the area determined to be green by the green discriminating means, A luminance discriminating unit that is calculated from a screen average luminance level, which is an average luminance level of the entire screen, and that determines whether or not a value is smaller than a threshold value set to a predetermined value lower than the screen average luminance level; A white balance adjustment device including a green-side gain control unit that reduces a correction amount of a green color to a complementary color side in the amplification unit when it is determined that the average luminance level is lower than the threshold value.
JP06205571A 1994-08-30 1994-08-30 White balance adjustment device Expired - Fee Related JP3138152B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06205571A JP3138152B2 (en) 1994-08-30 1994-08-30 White balance adjustment device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06205571A JP3138152B2 (en) 1994-08-30 1994-08-30 White balance adjustment device

Publications (2)

Publication Number Publication Date
JPH0879786A JPH0879786A (en) 1996-03-22
JP3138152B2 true JP3138152B2 (en) 2001-02-26

Family

ID=16509102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06205571A Expired - Fee Related JP3138152B2 (en) 1994-08-30 1994-08-30 White balance adjustment device

Country Status (1)

Country Link
JP (1) JP3138152B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049949A1 (en) * 2015-09-25 2017-03-30 深圳Tcl数字技术有限公司 Analog/digital signal compensation method and apparatus

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100339408B1 (en) * 1998-05-30 2002-07-18 박종섭 color compensation circuit
JP2002095003A (en) * 2000-09-14 2002-03-29 Olympus Optical Co Ltd Electronic camera
JP2008072575A (en) 2006-09-15 2008-03-27 Canon Inc Image processor, method, and computer program
JP2011040856A (en) * 2009-08-07 2011-02-24 Sharp Corp Image processng apparatus, image processing method, and image processing program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049949A1 (en) * 2015-09-25 2017-03-30 深圳Tcl数字技术有限公司 Analog/digital signal compensation method and apparatus

Also Published As

Publication number Publication date
JPH0879786A (en) 1996-03-22

Similar Documents

Publication Publication Date Title
US8130284B2 (en) Imaging apparatus and method for controlling white balance
US5282022A (en) White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
KR100199322B1 (en) White balance adjusting apparatus automatically adjusting white balance on the basis of color information signal obttained from image sensing device
US8009201B2 (en) Sensitivity-settable image capture apparatus
US5361093A (en) Automatic white balance setting device
JP4637812B2 (en) Image signal processing apparatus, image signal processing program, and image signal processing method
JP3848274B2 (en) White balance adjustment method, imaging apparatus, program, and storage medium
JP3138152B2 (en) White balance adjustment device
US20070211165A1 (en) Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded
JP4622196B2 (en) Imaging device
JP3193456B2 (en) White balance control device
JP4793001B2 (en) Image signal processing circuit and imaging system
JP2002058039A (en) Imaging apparatus
JP2532962B2 (en) Color video camera
JP2614542B2 (en) White balance adjustment device
JPH03289793A (en) White balance adjusting device
JP2532975B2 (en) Color video camera
JP4458114B2 (en) Imaging device
JPH07322283A (en) Video camera with white balance adjustment device
JP3545249B2 (en) White balance adjustment circuit and digital camera using the same
JP2003298929A (en) Imaging unit
JP2523038B2 (en) Color video camera
JP2523034B2 (en) White balance adjustment device
JPH06169427A (en) Auto iris control system for television camera
JP2614543B2 (en) White balance adjustment device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081208

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081208

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 13

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees