JP2013110644A - Imaging apparatus and luminance control method - Google Patents
Imaging apparatus and luminance control method Download PDFInfo
- Publication number
- JP2013110644A JP2013110644A JP2011255190A JP2011255190A JP2013110644A JP 2013110644 A JP2013110644 A JP 2013110644A JP 2011255190 A JP2011255190 A JP 2011255190A JP 2011255190 A JP2011255190 A JP 2011255190A JP 2013110644 A JP2013110644 A JP 2013110644A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- control
- luminance
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims description 65
- 230000002093 peripheral effect Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 43
- 230000003111 delayed effect Effects 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000007423 decrease Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体照度に合わせて自動的に画面の明るさの調整を行う撮像装置、及び輝度制御方法に関する。 The present invention relates to an imaging apparatus that automatically adjusts screen brightness in accordance with subject illuminance, and a luminance control method.
従来、低照度の撮影環境での感度を向上させるため、スローシャッターやゲインアップ(信号増幅)といった手法が使用されてきた。ところが、スローシャッターは動きの多い被写体を撮影すると撮影画像に尾引きが発生し、ゲインアップにはノイズが増加するという問題があった。このような問題点を解決した感度向上の技術として、画素加算が知られている。画素加算は、注目画素と周辺の画素の輝度(色)レベルを加算することで、加算に使用した画素数の倍率だけ感度が向上する技術である。たとえば、注目画素があるフレームの前後のフレームにおいて、注目画素の上下に位置する画素を加算することによって、感度を5倍に向上させることができる。特許文献1は、画素加算を用いて感度を向上させる技術について開示している。
Conventionally, methods such as slow shutter and gain-up (signal amplification) have been used to improve sensitivity in a low-illumination shooting environment. However, the slow shutter has a problem in that when a subject with much movement is photographed, tailing occurs in the photographed image, and noise increases when the gain is increased. Pixel addition is known as a technique for improving sensitivity that solves such problems. Pixel addition is a technique in which the sensitivity is increased by the magnification of the number of pixels used for the addition by adding the luminance (color) levels of the target pixel and the surrounding pixels. For example, the sensitivity can be improved fivefold by adding pixels located above and below the target pixel in the frames before and after the frame where the target pixel is located.
ところで、撮像後の画像、もしくは映像を見やすいものにするためには、画面の明るさ(出力レベル)を、被写体照度によらず一定とすることが必要となる。このため、撮像装置にて調整を行い、最適な輝度レベルとなるように各種機能を制御するが、その際に輝度レベルの制御を細かく行う必要がある。しかし、特許文献1に記載の撮像装置が実施する画素加算は、周辺の画素を加算するという原理から整数倍でしか輝度レベルの調整を行うことができず、細かな照度変化に対応することができないという課題があった。
By the way, in order to make it easy to view an image or video after imaging, it is necessary to keep the screen brightness (output level) constant irrespective of subject illuminance. For this reason, adjustment is performed by the imaging apparatus and various functions are controlled so as to obtain an optimum luminance level. At that time, it is necessary to finely control the luminance level. However, the pixel addition performed by the imaging device described in
特許文献1に記載の撮像装置は、整数倍でしか輝度レベルの調整が出来ないという画素加算の問題点を補うため、細かな輝度レベルの制御が可能なゲインアップを画素加算と切り替えることにより、細かな輝度制御を実現していた。図9は、ゲインアップと画素加算を併用した輝度制御処理のイメージを示す説明図である。図9には、照度環境が明るい状態から暗い状態に遷移する過程において、最も明るい環境ではゲインアップのみによる輝度制御を実施するが、以降、暗い環境ではゲインアップと画素加算を切り替えて輝度制御を行うことが示されている。動作の詳細としては、画面の明るさが一定となるようにゲインアップを使用して輝度制御を実施し、ゲインアップの倍率が一定値以上になったときに、ゲインアップの倍率を1/2にすると同時に、2画素加算を行う制御を行っていた。また、その状態から続けて輝度制御を実施し、ゲインアップの倍率が一定値以上になった時に、ゲインアップの倍率を2/3にすると同時に、3画素加算を行う制御としていた。
In order to compensate for the pixel addition problem that the brightness level can be adjusted only by an integral multiple, the imaging device described in
このように画素加算とゲインアップを切り替えることで、被写体照度によらず、常に同じ画面の明るさの出力レベルを保つことができる。しかしながら、画素加算とゲインアップを併用する輝度制御方法は、一定の照度下において、ゲインアップと画素加算という異なる高感度化手法を切り替えながら使用、つまり、ゲインアップの倍率を下げると同時に画素加算の加算画素数を増やすタイミングが存在するため、切替タイミングの前後で、解像度の変化やノイズ量の変化等、画面の見え方が大きく変わり、映像に乱れが発生することがあった。 By switching between pixel addition and gain increase in this way, it is possible to always maintain the same screen brightness output level regardless of subject illuminance. However, the luminance control method that uses both pixel addition and gain increase is to switch between different sensitivity enhancement methods, gain increase and pixel addition, under a certain illuminance. Since there is a timing to increase the number of added pixels, before and after the switching timing, the appearance of the screen changes greatly, such as a change in resolution and a change in noise amount, and the video may be disturbed.
また、常に映像を出力し続ける動画撮影では、画素加算による輝度変化のタイミングと、ゲインアップによる輝度変化のタイミングを完全に一致させる必要がある。少しでもタイミングがずれてしまうと、一瞬画面が明るくなる、もしくは一瞬画面が暗くなるなど、なめらかな輝度変化を実現できなくなる。そのため、二つの制御のタイミングを合わせるために、制御や回路が複雑になるという問題があった。 Further, in moving image shooting in which video is constantly output, it is necessary to completely match the timing of luminance change due to pixel addition and the timing of luminance change due to gain increase. If the timing is shifted even a little, it will not be possible to realize a smooth brightness change, such as the screen brightening for a moment or darkening for a moment. Therefore, there is a problem that the control and the circuit become complicated in order to match the timings of the two controls.
本発明に係る撮像装置は、撮像手段と、この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、この信号処理手段から出力された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段の演算手段に供給する係数を制御する制御手段とを設けたものである。 An imaging apparatus according to the present invention includes an imaging unit, a signal processing unit that outputs an imaging signal of a predetermined scanning method based on a signal read from the imaging unit, and an imaging signal output from the signal processing unit. The delay means outputs the pixel values of the pixel of interest and the plurality of peripheral pixels by delaying the pixel by field, line and pixel, and is supplied from the outside to each of the pixel values output from the delay means. A pixel adding means having an calculating means for multiplying the predetermined coefficient, an adding means for adding each pixel value multiplied by the predetermined coefficient by the calculating means, and the brightness of the screen from the signal output from the pixel adding means. And a control means for controlling a coefficient supplied to the calculation means of the pixel addition means so that the brightness of the screen becomes constant.
本発明に係る輝度制御方法は、撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、この信号出力処理された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算処理が実行する演算処理で使用される係数を制御する制御処理を含むものである。 The luminance control method according to the present invention includes a signal output process for outputting an imaging signal of a predetermined scanning method based on a signal read from the imaging means, and the imaged signal subjected to the signal output process for the field unit and the line unit. And a delay process for outputting each pixel value of the target pixel and a plurality of peripheral pixels with a delay in pixel units, and an arithmetic process for multiplying each of the delayed pixel values by a predetermined coefficient supplied from the outside , A pixel addition process including an addition process for adding each pixel value multiplied by a predetermined coefficient by this calculation process, and a screen brightness from the signal added by the pixel addition process, and a screen brightness Includes a control process for controlling a coefficient used in an arithmetic process executed by the pixel addition process so that the value is constant.
本発明は、撮像手段と、この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、この信号処理手段から出力された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段の演算手段に供給する係数を制御する制御手段とを設けたので、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るという効果を奏する。 The present invention provides an image pickup means, a signal processing means for outputting an image pickup signal of a predetermined scanning method based on a signal read from the image pickup means, and an image pickup signal output from the signal processing means as a field unit, Delay means for outputting each pixel value of the target pixel and a plurality of peripheral pixels with a delay in line units and pixel units, and a predetermined coefficient supplied from the outside for each pixel value output from the delay means A pixel adding means having an adding means for adding each pixel value multiplied by a predetermined coefficient by the calculating means, and detecting the brightness of the screen from the signal output from the pixel adding means, Since the control means for controlling the coefficient supplied to the calculation means of the pixel addition means is provided so that the brightness of the screen is constant, the coefficient can be controlled to the decimal point. , As compared to the control conventional integral multiple units, there is an effect that it is possible to control the finer luminance levels.
本発明に係る輝度制御方法は、撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、この信号出力処理された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算処理が実行する演算処理で使用される係数を制御する制御処理を含むので、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るという効果を奏する。 The luminance control method according to the present invention includes a signal output process for outputting an imaging signal of a predetermined scanning method based on a signal read from the imaging means, and the imaged signal subjected to the signal output process for the field unit and the line unit. And a delay process for outputting each pixel value of the target pixel and a plurality of peripheral pixels with a delay in pixel units, and an arithmetic process for multiplying each of the delayed pixel values by a predetermined coefficient supplied from the outside , A pixel addition process including an addition process for adding each pixel value multiplied by a predetermined coefficient by this calculation process, and a screen brightness from the signal added by the pixel addition process, and a screen brightness Includes a control process that controls the coefficient used in the calculation process executed by the pixel addition process so that the coefficient is constant, so that the coefficient can be controlled to the decimal point. Compared to the control of an integral multiple units, there is an effect that it is possible to control the finer luminance levels.
実施の形態1.
図1は本発明の実施の形態1による撮像装置を示すブロック構成図である。図1において、レンズ群1の中にはフォーカス用レンズがあり、レンズ駆動回路11によって移動され、フォーカシングが行われることで、固体撮像素子2の撮像面上に合焦させる。固体撮像素子2は、タイミングジェネレータ12より指定されたタイミングで露光を行う。CDS(Correlated Double Sampling 相関二重サンプリング)3は、固体撮像素子2の出力信号に相関二重サンプリングを施すことで、ノイズ等の除去を行う。アンプ4は、CDS3の出力信号に、マイクロプロセッサ10から出力された制御信号の倍率にしたがってゲインアップ(信号増幅)を行う。A/D変換機5は、アンプ4の出力信号をデジタル信号に変換する。
FIG. 1 is a block diagram showing an imaging apparatus according to
映像信号処理部6は、A/D変換機5の出力信号に、欠陥画素補正処理や、色補間処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加え、飛び越し走査方式の映像信号を出力する。画素加算回路7は映像信号処理部6の出力信号に画素加算を行うものであり、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えている。輝度積分値計算部8は、画素加算回路7の出力信号の振幅より、画面内輝度積分値の計算を行う。映像信号出力部9は、輝度積分値計算部8の出力信号に最終処理を施し、撮像装置より外部へ出力を行う。
The video
マイクロプロセッサ10は、撮像信号の大きさに基づいて、例えば輝度積分値計算部8から供給された画面内輝度積分値に基づいて、レンズ1の絞りの制御、タイミングジェネレータ12が発生する固体撮像素子2の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御(露光時間の制御)、アンプ4のゲインアップ量の制御、並びに画素加算回路7の画素加算処理の制御を行う。具体的には、輝度積分値計算部8から得られる画面内輝度積分値が一定となるように自動露光制御を行う。明るい環境での撮像で画面内輝度積分値(信号振幅)が大きい時、マイクロプロセッサ10は、レンズ1の開口を絞るように制御(アイリス制御)して固体撮像素子2への入射光量を減らす。一方、暗い環境での撮像で画面内輝度積分値(信号振幅)が小さい時、マイクロプロセッサ10は、レンズ1の開口を開くように制御して固体撮像素子2への入射光量を増加させる。
The
マイクロプロセッサ10は、輝度を一定に保つため、アイリス制御のほか、ゲインアップ量の制御も行う。例えば、周辺照度が徐々に暗くなる環境での撮像で、画面内輝度積分値(信号振幅)が小さくなってきた時、アンプ4のゲインアップ量を増やすように制御して撮像信号を増幅する。逆に、周辺照度が徐々に明るくなる環境での撮像で、画面内輝度積分値(信号振幅)が大きくなってきた時、アンプ4のゲインアップ量を減らすように制御する。
In order to keep the luminance constant, the
マイクロプロセッサ10は、周辺照度の変化によって、アイリス制御、ゲインアップ量の制御、画素加算による輝度制御方法を実行する。以下、周辺照度が変化したときの感度調整のための手順の一例を説明する。周辺照度が徐々に暗くなり、画面内輝度積分値(信号振幅)が下がってくると、レンズ1の絞りを開放方向に制御して、画面内輝度積分値(信号振幅)を維持する。レンズ1の絞りが開放(全開)になった後は、アンプ4のゲインアップ量を増やすように制御して、画面内輝度積分値(信号振幅)を維持する。アンプ4のゲインアップ量が最大になった後は、画素加算回路7の係数を増やすように制御して、画面内輝度積分値(信号振幅)を維持する。逆に、周辺照度が徐々に明るくなり、画面内輝度積分値(信号振幅)が上がってくると、画素加算回路7が係数を減らすように制御する。周辺照度がさらに明るくなると、アンプ4のゲインアップ量を減らすように制御して、画面内輝度積分値(信号振幅)を維持する。周辺照度がさらに明るくなると、レンズ1の絞りを遮光方向に制御して、画面内輝度積分値(信号振幅)を維持する。
The
上記のように、マイクロプロセッサ10は、レンズ1の絞り、固体撮像素子2の露光時間、アンプ4のゲインアップ量、画素加算回路7における画素加算の各々の信号振幅調整機能を制御して画面内輝度積分値(信号振幅)を維持する。
As described above, the
図2は、画素加算回路の詳細な構成を示すブロック図である。以下、図2を参照して、画素加算回路7がNTSC方式(インターレース方式)の信号を処理する場合を例に説明する。画素加算処理はY信号、C信号ともに行う必要があるが、ここではY信号を代表として説明する。実際にはC信号についても同様の処理を行う必要がある。また、撮像装置によってはR、G、B信号など、異なる信号が入力される場合もあるが、処理の方法は同様である。映像信号処理部6より画素加算回路に入力された信号から、フィールド遅延部201にて、遅延なしの信号P1、262ライン(1フィールド)遅延した信号P2、525ライン(2フィールド)遅延した信号P3が生成される。フィールド遅延部201より出力された信号から、ライン遅延部202にて、P1から遅延なしの信号P11、P1から1ライン遅延の信号P12、P2から遅延なしの信号P21、P2から1ライン遅延の信号P22、P2から2ライン遅延の信号P23、P3から遅延なしの信号P31、P3から1ライン遅延の信号P32、が生成される。
FIG. 2 is a block diagram showing a detailed configuration of the pixel addition circuit. Hereinafter, a case where the pixel addition circuit 7 processes an NTSC (interlace) signal will be described as an example with reference to FIG. The pixel addition processing needs to be performed for both the Y signal and the C signal. Here, the Y signal will be described as a representative. Actually, it is necessary to perform the same processing for the C signal. Depending on the imaging device, different signals such as R, G, and B signals may be input, but the processing method is the same. From the signal input from the video
ライン遅延部202より出力された信号から、ピクセル遅延部203にて、P11から1ライン遅延の信号P112、P12から1ライン遅延の信号P122、P21から1ライン遅延の信号P212、P22から遅延なしの信号P221、P22から1ライン遅延の信号P222、P22から2ライン遅延の信号P223、P23から1ライン遅延の信号P232、P31から1ライン遅延の信号P312、P32から1ライン遅延の信号P322、が生成される。ピクセル遅延部203より出力された信号は、演算部204にて、それぞれマイクロプロセッサより指定された係数K112〜K322で乗算を行う。演算部204より出力された信号は、加算部205にて加算される。加算部205より出力された信号は、輝度積分値計算部8に入力される。なお、演算部203より出力された信号のうち、1フィールド遅延、1ライン遅延、1ピクセル遅延を行った信号P222を注目画素とし、それ以外を周辺画素とする。
From the signal output from the
図3は、画素加算回路にて加算される画素の空間的位置、時間的位置の一例を示す説明図である。以下、図3を参照して、上記遅延信号の空間的位置、時間的位置を説明する。縦に垂直軸V、横に水平軸Hをとったインタレース方式の映像信号の画素配置図である。垂直525ラインのうち、1ラインから262ラインの真ん中までが奇数フィールド、262ラインの真ん中から525ラインまでが偶数フィールドである。P221は注目画素P222と同一フィールドで、注目画素から水平に1画素前の位置であり、P223は1画素後ろの位置である。P212は注目画素と同一フィールドで、注目画素から1ライン前(2画素上)の位置であり、P232は1ライン後(2画素下)の位置である。P112は注目画素の1フィールド前で、注目画素の真上の位置であり、P122は注目画素の真下の位置である。P312は注目画素の1フィールド後で、注目画素の真上の位置であり、P322は注目画素の真下の位置である。 FIG. 3 is an explanatory diagram illustrating an example of a spatial position and a temporal position of pixels added by the pixel addition circuit. Hereinafter, the spatial position and the temporal position of the delayed signal will be described with reference to FIG. It is a pixel arrangement diagram of an interlaced video signal having a vertical axis V in the vertical direction and a horizontal axis H in the horizontal direction. Of the vertical 525 lines, the odd field is from the first line to the middle of the 262 line, and the even field is from the middle of the 262 line to the 525 line. P221 is the same field as the target pixel P222, and is a position one pixel before and horizontally from the target pixel, and P223 is a position one pixel behind. P212 is the same field as the target pixel and is a position one line before (two pixels above) from the target pixel, and P232 is a position one line after (two pixels below). P112 is a position immediately above the target pixel, one field before the target pixel, and P122 is a position immediately below the target pixel. P312 is a position immediately above the target pixel after one field of the target pixel, and P322 is a position immediately below the target pixel.
演算部の係数を、(K112、K122、K212、K221、K222、K223、K232、K312、K322)=(0、0、0、0、1、0、0、0、0)とした場合、注目画素の1倍、つまり入力画像がそのまま出力されることとなり、画素加算回路がない(画素加算機能がOFF)場合と同様となる。また、演算部の係数を(K112、K122、K212、K221、K222、K223、K232、K312、K322)=(0、0、0、1、1、1、0、0、0)とすることで水平3画素加算となり、3倍の感度向上が実現できる。また、(K112、K122、K212、K221、K222、K223、K232、K312、K322)=(1、1、0、0、1、0、0、1、1)とすることで3フィールドにわたる5画素加算となり、5倍の感度向上が実現できる。このように係数を制御することで、画素加算の動作を制御することができる。上記説明のように、本発明に係る撮像装置は、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えている。 When the coefficients of the calculation unit are (K112, K122, K212, K221, K222, K223, K232, K312, K322) = (0, 0, 0, 0, 1, 0, 0, 0, 0) One pixel, that is, the input image is output as it is, which is the same as when there is no pixel addition circuit (pixel addition function is OFF). Further, by setting the coefficients of the calculation unit to (K112, K122, K212, K221, K222, K223, K232, K312, K322) = (0, 0, 0, 1, 1, 1, 0, 0, 0) It becomes horizontal 3 pixel addition, and the sensitivity improvement of 3 times is realizable. Also, by setting (K112, K122, K212, K221, K222, K223, K232, K312, K322) = (1, 1, 0, 0, 1, 0, 0, 1, 1), 5 pixels over 3 fields As a result of addition, a fivefold improvement in sensitivity can be realized. By controlling the coefficients in this way, the pixel addition operation can be controlled. As described above, the imaging apparatus according to the present invention includes a circuit capable of multiplying each peripheral pixel to be added by a coefficient before the addition in the pixel addition.
図4は、本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。ここで、演算部204の係数を小数点以下の単位まで制御可能な構成とすると、整数倍単位の輝度制御だけでなく、細かい輝度制御が可能になる。例えば、演算部204の係数を(K112、K122、K212、K221、K222、K223、K232、K312、K322)=(0、0、0、0.125、1、0.125、0、0、0)とすることで、1.25倍の感度向上が実現できる。このように、演算部204の係数を小数点以下の単位で制御することで、ゲインアップを併用することなく、図4に示すように細かい輝度制御を行うことができる。
FIG. 4 is an explanatory diagram showing an image of luminance control processing executed by the imaging apparatus according to the present invention. Here, if the coefficient of the
図5は、本発明の実施の形態1に係る撮像装置が実行する輝度制御処理を示すフローチャートである。以下、図5を用いて、本発明に係る撮像装置が実行する輝度制御処理について説明する。マイクロプロセッサ10は、輝度積分値計算部8の入力信号から画面内輝度積分値を算出する(ステップS1)。輝度積分値計算部8の入力信号は、全ての感度アップの処理が行われた後であるため、この時点での画面内輝度積分値は、全ての画素の輝度レベルを足し合わせたものである。また、画面の明るさの目標値は、目標輝度積分値としてあらかじめ設定しておく。ハンチングを防止するため、目標輝度積分値にはある程度の幅を持たせることとし、目標輝度積分値上限と、目標輝度積分値下限を定める。
FIG. 5 is a flowchart showing the brightness control processing executed by the imaging apparatus according to
次に、マイクロプロセッサ10は、画面内輝度積分値と目標輝度積分値上限の比較を行う(ステップS2)。このステップS2の判定において、画面内輝度積分値が目標輝度積分値上限より大きい場合(ステップS2でYes)、マイクロプロセッサ10は演算部204の係数を減少させる(ステップS4)。一方、画面内輝度積分値が目標輝度積分値上限以下の場合(ステップS2でNo)、マイクロプロセッサ10は、画面内輝度積分値と目標輝度積分値下限を比較する(ステップS3)。このステップS3の判定において、目標輝度積分値が目標輝度積分値下限より小さい場合(ステップS3でYes)、マイクロプロセッサ10は、演算部204の係数を増加させる(ステップS5)。一方、画面内輝度積分値が目標輝度積分値下限以上の場合(ステップS3でNo)、マイクロプロセッサ10は演算部204の係数の調整は行わない。このような処理を繰り返し行うことで、画面内輝度積分値が目標輝度積分値に近づくこととなる。
Next, the
ゲインアップと画素加算を併用した輝度制御処理のイメージを示す図9は、照度環境が明るい状態から暗い状態に遷移する過程において、最も明るい環境ではゲインアップのみによる輝度制御を実施するが、以降、暗い環境ではゲインアップと画素加算を同時使用して輝度制御を行うことを示す。つまり、ゲインアップによる輝度制御量と画素加算による輝度制御量を切り替える照度領域が存在する。ゲインアップと画素加算という異なる高感度化手法を併用する場合、切り替えのタイミングで解像度の変化やノイズ量の変化等、画面の見え方が大きく変わり、映像に乱れが発生するという課題があった。一方、本発明は、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えることにより、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るようになった。図4は、本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。図4と図9を比較すると、本発明の撮像装置が実行する画素加算処理は「画素加算なし」から「5画素加算」のいずれの画素加算でも細かく輝度レベルを制御できることが分かる。したがって、ゲインアップと併用しなくても、細かな輝度レベルの制御を行うことが可能となり、瞬時の照度変化に対応することが出来るという効果がある。また、図9はゲインアップと画素加算を切り替える照度領域(タイミング)が存在することを示しているが、図4によると、ゲインアップと画素加算を切り替える照度領域(タイミング)は存在しないことが分かる。 FIG. 9 showing an image of luminance control processing using both gain-up and pixel addition performs luminance control only by gain-up in the brightest environment in the process of transition from a bright state to a dark state. In a dark environment, it indicates that luminance control is performed using gain increase and pixel addition simultaneously. That is, there is an illuminance region that switches between a luminance control amount by gain increase and a luminance control amount by pixel addition. When different sensitivity enhancement methods such as gain increase and pixel addition are used in combination, there is a problem that the appearance of the screen changes greatly at the timing of switching, such as a change in resolution and a change in noise amount, and the image is disturbed. On the other hand, according to the present invention, in the pixel addition, by providing a circuit capable of multiplying each peripheral pixel to be added by a coefficient before the addition, the coefficient can be controlled to the decimal point, and the conventional control of integer multiple units is possible. Compared to the above, the brightness level can be controlled more finely. FIG. 4 is an explanatory diagram showing an image of luminance control processing executed by the imaging apparatus according to the present invention. Comparing FIG. 4 and FIG. 9, it can be seen that the pixel addition process executed by the imaging apparatus of the present invention can finely control the luminance level by any pixel addition from “no pixel addition” to “5 pixel addition”. Therefore, it is possible to perform fine brightness level control without using it together with gain increase, and there is an effect that it is possible to cope with an instantaneous illuminance change. 9 shows that there is an illuminance area (timing) for switching between gain-up and pixel addition, but according to FIG. 4, it can be seen that there is no illuminance area (timing) for switching between gain-up and pixel addition. .
また、常に映像を出力し続ける動画撮影では、画素加算による輝度変化のタイミングとゲインアップによる輝度変化のタイミングを完全に一致させる必要があり、少しでもタイミングがずれてしまうと、なめらかな輝度変化を実現できないという課題があった。しかし、本発明は、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えることにより、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るので、ある照度下で、ゲインアップと併用しなくても、細かな輝度レベルの制御を行うことが可能である。したがって、画素加算とゲインアップによる輝度変化のタイミングを合わせるための特段の対策を行う必要がない。 Also, in video shooting that always outputs video, it is necessary to make the timing of luminance change due to pixel addition completely match the timing of luminance change due to gain increase, and if the timing is slightly shifted, smooth luminance changes will occur. There was a problem that could not be realized. However, according to the present invention, it is possible to control the coefficient to the decimal point by providing a circuit that can multiply the peripheral pixels to be added before the addition, compared to the conventional integer multiple unit control, Since it is possible to control the brightness level more finely, it is possible to control the brightness level finely under certain illuminance without using the gain increase. Therefore, it is not necessary to take special measures to match the timing of luminance change due to pixel addition and gain increase.
なお、上記説明では、画素加算によって輝度制御を行う実施例を説明したが、シャッター速度の調整のほか、照度の変化に伴いアイリス制御、ゲインアップ量の調整を行い、アイリス制御、ゲインアップ量の調整による感度アップが上限に達した時に画素加算を動作させるようにしても良い。従来のように、一定の照度下で、画素加算による制御を詳細化するためにゲインアップを同時使用する必要がないので、ゲインアップと画素加算の動作モードの切り替えタイミングでの映像に乱れは抑制される。 In the above description, the embodiment in which the brightness control is performed by pixel addition has been described. However, in addition to the adjustment of the shutter speed, the iris control and the gain increase amount are adjusted in accordance with the change in illuminance, and the iris control and the gain increase amount are adjusted. Pixel addition may be operated when the sensitivity increase due to the adjustment reaches the upper limit. As in the past, there is no need to use gain-up at the same time to refine control by pixel addition under a fixed illuminance, so disturbances in the video at the timing of switching between gain-up and pixel addition operation modes are suppressed. Is done.
実施の形態2.
次に、本発明の実施の形態2について説明する。本実施の形態では、演算部204の係数の増減にテーブルを使用する方法について説明する。本実施の形態に係る撮像装置の構成は図1、図2で説明したものと同様である。図6は、本発明の実施の形態2に係る撮像装置が実行する輝度制御処理を示すフローチャートである。図6において、輝度積分値計算部8は画面内輝度積分値の算出を行う(ステップ11)。次に、マイクロプロセッサ10は、輝度積分値計算部8が計算した画面内輝度積分値と目標輝度積分値の割合を算出し(ステップ12)、増減量テーブルから増減量を読み取る(ステップ13)。
Next, a second embodiment of the present invention will be described. In the present embodiment, a method of using a table for increasing / decreasing the coefficient of the
図7は、増減量テーブルの一例を示す説明図である。図8は、画素加算量テーブルの一例を示す説明図である。例えば、画面内輝度積分値と目標輝度積分値の割合が1.8のとき、図7に示すテーブルの「画素加算量テーブル加減算値」は+2を示している。この「+2」は、画面内輝度積分値と目標輝度積分値の割合が1.8のとき、現在使用している画素加算量テーブルのテーブル番号に+2のテーブル番号が付された画素加算量テーブルに変更することを示す。 FIG. 7 is an explanatory diagram showing an example of the increase / decrease amount table. FIG. 8 is an explanatory diagram illustrating an example of a pixel addition amount table. For example, when the ratio between the in-screen luminance integral value and the target luminance integral value is 1.8, the “pixel addition amount table addition / subtraction value” in the table shown in FIG. 7 indicates +2. This “+2” is a pixel addition amount table in which the table number of +2 is added to the table number of the currently used pixel addition amount table when the ratio between the in-screen luminance integration value and the target luminance integration value is 1.8. Indicates change.
マイクロプロセッサ10は、図7に示す増減量テーブルより読み取った増減量だけ、画素加算量テーブルのテーブル番号を増減し、係数を読み取る(ステップ14)。例えば、現在の画素加算量がテーブル番号5であった場合に、増減量を+2(2増加)とすると、図7より画素加算量テーブルは7となる。図8を参照してテーブル番号7を見ると、係数K223は0から0.5に変化させることが分かる。このように、演算部204の係数をテーブルで管理することによって、多数ある係数を一元管理することができ、係数を滑らかに変化させることができる。また、テーブルの増減量を輝度割合から決めることで、輝度差が大きい時ほど画素加算量も大きく変化する制御となるため、被写体照度に対する追従性が向上する。
The
なお、これまでに説明したテーブルや図は一例であり、さらに細かく画素加算量を制御するテーブルを使用することで、よりスムーズな輝度変化を実現することができる。また、ここまで説明した形態では、画素加算による輝度制御の方法についてのみ述べたが、ゲインアップ、アイリス制御、高速シャッター等、他の輝度制御が搭載されている撮像装置であれば、他の輝度制御による感度アップが上限に達した時に画素加算を動作させるなど、併用して使用しても良い。また、今回は9画素を加算する場合を例に説明したが、9画素である必要性はなく、さらに周辺の画素を加算する構成として感度を向上させたり、加算する画素数を減らして回路を簡略化しても良い。 Note that the tables and figures described so far are merely examples, and smoother changes in luminance can be realized by using a table that controls the pixel addition amount more finely. In the embodiments described so far, only the luminance control method by pixel addition has been described. However, if the imaging apparatus is equipped with other luminance controls such as gain-up, iris control, high-speed shutter, etc. It may be used in combination, for example, pixel addition is activated when the sensitivity increase by control reaches the upper limit. In addition, the case where 9 pixels are added has been described as an example this time, but there is no need for 9 pixels. Further, the configuration is such that the peripheral pixels are added, the sensitivity is improved, or the circuit is reduced by reducing the number of pixels to be added. It may be simplified.
また、今回はテーブルを使用して加算する画素の位置を決めていたが、テーブルである必要はない。例えば、注目画素との差分の少ない画素を優先的に使用する構成とすることで、解像度の低下を抑えることができる。また、今回は画面内輝度積分値の算出に全画素を加算したが、全ての画素を用いる必要はない。例えば、一定箇所の画素のみを用いて輝度積分値を算出したり、画素をいくつかのエリアにわけてそれぞれで画面内輝度積分値を算出し、個別に輝度制御を行っても良い。また、目標輝度積分値も常に一定である必要はない。例えば、照度が暗くなる(ゲイン増幅量や画素加算量が上がる)時に目標輝度積分値が低くなる設定とすることで、発生するノイズを目立たなくすることができる。 In addition, although the position of the pixel to be added is determined using a table this time, it does not have to be a table. For example, it is possible to suppress a decrease in resolution by preferentially using a pixel having a small difference from the target pixel. In addition, although all the pixels are added to the calculation of the in-screen luminance integral value this time, it is not necessary to use all the pixels. For example, the luminance integrated value may be calculated using only pixels at a fixed location, or the luminance integrated value within the screen may be calculated for each of the pixels divided into several areas, and the luminance control may be performed individually. Further, the target luminance integral value does not always have to be constant. For example, the noise generated can be made inconspicuous by setting the target luminance integrated value to be low when the illuminance becomes dark (the gain amplification amount or the pixel addition amount increases).
また、今回はNTSC方式(インターレース方式)を例に挙げたが、PAL方式やプログレッシブ方式(時間軸方向の画素加算は、フィールド遅延ではなくフレーム遅延となる)の信号であっても良い。信号の種類についても、輝度信号と色差信号の組み合わせや、RGB信号や、モノクロ映像で輝度信号のみ等、種類を問わない。また、アナログ信号だけに限らず、デジタル信号でも良い。また、固体撮像素子については、CCDやCMOS等、撮像可能なイメージセンサであればどのようなものでも良い。 In addition, the NTSC system (interlace system) is taken as an example this time, but a PAL system or progressive system signal (pixel addition in the time axis direction is not a field delay but a frame delay) may be used. The type of signal may be any type, such as a combination of a luminance signal and a color difference signal, an RGB signal, or only a luminance signal in a monochrome image. Further, not only analog signals but also digital signals may be used. The solid-state image sensor may be any image sensor that can capture an image, such as a CCD or CMOS.
上記説明のように、演算部204の係数をテーブルで管理することによって、多数ある係数を一元管理することができ、係数を滑らかに変化させることができる。また、テーブルの増減量を輝度割合から決めることで、輝度差が大きい時ほど画素加算量も大きく変化する制御となるため、被写体照度に対する追従性が向上し、照度変化に対する映像の乱れを最小限にすることができる。
As described above, by managing the coefficients of the
1 レンズ群、2 固体撮像素子、3 CDS、4 アンプ、5 A/D変換器、
6 映像信号処理部、7 画素加算回路、8 輝度積分値計算部、9 映像信号出力部、
10 マイクロプロセッサ、11 レンズ駆動回路、12 タイミングジェネレータ、
201 フィールド遅延部、202 ライン遅延部、203 ピクセル遅延部、
204 演算部、205 加算部
1 lens group, 2 solid-state imaging device, 3 CDS, 4 amplifier, 5 A / D converter,
6 video signal processing unit, 7 pixel addition circuit, 8 luminance integrated value calculation unit, 9 video signal output unit,
10 microprocessor, 11 lens drive circuit, 12 timing generator,
201 field delay unit, 202 line delay unit, 203 pixel delay unit,
204 arithmetic unit, 205 addition unit
Claims (4)
この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、
この信号処理手段から出力された前記撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、
この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、前記画素加算手段の演算手段に供給する前記係数を制御する制御手段とを設けたことを特徴とする撮像装置。 Imaging means;
A signal processing means for outputting an imaging signal of a predetermined scanning method based on the signal read from the imaging means;
Delay means for delaying the imaging signal output from the signal processing means in field units, line units, and pixel units to output pixel values of the target pixel and a plurality of peripheral pixels, and each pixel output from the delay means A pixel adding means having a calculating means for multiplying each of the values by a predetermined coefficient supplied from the outside, and an adding means for adding each pixel value multiplied by the predetermined coefficient by the calculating means;
Control means for detecting the brightness of the screen from the signal output from the pixel addition means and for controlling the coefficient supplied to the calculation means of the pixel addition means so that the brightness of the screen is constant; An imaging apparatus characterized by that.
この信号出力処理された前記撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、
この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、前記画素加算処理が実行する演算処理で使用される前記係数を制御する制御処理とを含むことを特徴とする輝度制御方法。 A signal output process for outputting an imaging signal of a predetermined scanning method based on a signal read from the imaging means;
Delay processing for outputting the pixel values of the target pixel and a plurality of peripheral pixels by delaying the imaging signal subjected to the signal output processing in a field unit, a line unit, and a pixel unit, and each of the delayed pixel values On the other hand, a pixel addition process including an arithmetic process for multiplying a predetermined coefficient supplied from the outside, an addition process for adding each pixel value multiplied by the predetermined coefficient by this arithmetic process,
A control process for detecting the brightness of the screen from the signals added in the pixel addition process and for controlling the coefficient used in the arithmetic process executed by the pixel addition process so that the brightness of the screen is constant. A brightness control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011255190A JP6112764B2 (en) | 2011-11-22 | 2011-11-22 | Imaging apparatus, brightness control method, and brightness control apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011255190A JP6112764B2 (en) | 2011-11-22 | 2011-11-22 | Imaging apparatus, brightness control method, and brightness control apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013110644A true JP2013110644A (en) | 2013-06-06 |
JP2013110644A5 JP2013110644A5 (en) | 2014-08-07 |
JP6112764B2 JP6112764B2 (en) | 2017-04-12 |
Family
ID=48706984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011255190A Active JP6112764B2 (en) | 2011-11-22 | 2011-11-22 | Imaging apparatus, brightness control method, and brightness control apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6112764B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018079071A1 (en) * | 2016-10-31 | 2018-05-03 | 株式会社日立国際電気 | Imaging device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001292375A (en) * | 2000-04-07 | 2001-10-19 | Sony Corp | Signal processing apparatus and imaging apparatus |
JP2002142151A (en) * | 2000-10-31 | 2002-05-17 | Hitachi Ltd | Image pickup unit |
JP2006352715A (en) * | 2005-06-17 | 2006-12-28 | Casio Comput Co Ltd | Digital camera and exposure control method thereof |
JP2007027901A (en) * | 2005-07-12 | 2007-02-01 | Canon Inc | Imaging recording/reproducing device and computer program |
JP2010056796A (en) * | 2008-08-27 | 2010-03-11 | Casio Comput Co Ltd | Image processing apparatus, and program |
WO2010058497A1 (en) * | 2008-11-21 | 2010-05-27 | 三菱電機株式会社 | Image processing device and image processing method |
JP2011109576A (en) * | 2009-11-20 | 2011-06-02 | Mitsubishi Electric Corp | Imaging apparatus |
JP2013066114A (en) * | 2011-09-20 | 2013-04-11 | Mitsubishi Electric Corp | Image processing device, image processing method, imaging apparatus, computer program and computer-readable recording medium |
-
2011
- 2011-11-22 JP JP2011255190A patent/JP6112764B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001292375A (en) * | 2000-04-07 | 2001-10-19 | Sony Corp | Signal processing apparatus and imaging apparatus |
JP2002142151A (en) * | 2000-10-31 | 2002-05-17 | Hitachi Ltd | Image pickup unit |
JP2006352715A (en) * | 2005-06-17 | 2006-12-28 | Casio Comput Co Ltd | Digital camera and exposure control method thereof |
JP2007027901A (en) * | 2005-07-12 | 2007-02-01 | Canon Inc | Imaging recording/reproducing device and computer program |
JP2010056796A (en) * | 2008-08-27 | 2010-03-11 | Casio Comput Co Ltd | Image processing apparatus, and program |
WO2010058497A1 (en) * | 2008-11-21 | 2010-05-27 | 三菱電機株式会社 | Image processing device and image processing method |
JP2011109576A (en) * | 2009-11-20 | 2011-06-02 | Mitsubishi Electric Corp | Imaging apparatus |
JP2013066114A (en) * | 2011-09-20 | 2013-04-11 | Mitsubishi Electric Corp | Image processing device, image processing method, imaging apparatus, computer program and computer-readable recording medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018079071A1 (en) * | 2016-10-31 | 2018-05-03 | 株式会社日立国際電気 | Imaging device |
JPWO2018079071A1 (en) * | 2016-10-31 | 2019-06-24 | 株式会社日立国際電気 | Imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP6112764B2 (en) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3730419B2 (en) | Video signal processing device | |
US9930263B2 (en) | Imaging apparatus, for determining a transmittance of light for a second image based on an analysis of a first image | |
JP5715436B2 (en) | Imaging apparatus and control method thereof | |
KR101407849B1 (en) | Image processing apparatus, image processing method and solid-state image pickup device | |
US20080259181A1 (en) | Imaging apparatus, imaging method, integrated circuit, and storage medium | |
KR100734990B1 (en) | Image pickup device and control circuit for image pickup element | |
JP5271346B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
JP5749224B2 (en) | The camera module | |
JP2014154982A (en) | Image pickup device and control method therefor | |
JP2000224468A (en) | Video signal processor | |
JPS63158982A (en) | Solid-state telecamera | |
JP4328115B2 (en) | Solid-state imaging device | |
US8355597B2 (en) | Image processing device including gradation conversion processor, noise reduction processor, and combining-raio calculator, and method and storage device storing progam for same | |
US20180288336A1 (en) | Image processing apparatus | |
JP6112764B2 (en) | Imaging apparatus, brightness control method, and brightness control apparatus | |
JP6543787B2 (en) | Image processing apparatus and image processing method | |
JP5634420B2 (en) | Image processing apparatus and solid-state imaging apparatus | |
JP5882759B2 (en) | Imaging device, control method thereof, and control program | |
JP2012134745A (en) | Image signal processing device | |
JP5978829B2 (en) | Image sensor exposure control apparatus and method, and image pickup apparatus | |
GB2442257A (en) | Spatially variable pixel gain | |
JP2010200236A (en) | Lateral noise correcting method | |
JP3693780B2 (en) | Video camera | |
JP2006332732A (en) | Apparatus for suppressing color shift noise | |
JP3937541B2 (en) | Brightness adjustment circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140204 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150903 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160425 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160509 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6112764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |