JP2016015692A - Imaging device and flicker removal program - Google Patents
Imaging device and flicker removal program Download PDFInfo
- Publication number
- JP2016015692A JP2016015692A JP2014138011A JP2014138011A JP2016015692A JP 2016015692 A JP2016015692 A JP 2016015692A JP 2014138011 A JP2014138011 A JP 2014138011A JP 2014138011 A JP2014138011 A JP 2014138011A JP 2016015692 A JP2016015692 A JP 2016015692A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- flicker
- pixels
- normal
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびフリッカー除去プログラムに関し、特に、フルスペックスーパーハイビジョン(フルスペックSHV)で120fps(frames per second)での撮影・表示を行う際に問題となる電源周波数に起因する照明光の輝度変化の影響を取り除く技術に関する。 The present invention relates to an image pickup apparatus and a flicker removal program, and more particularly to illumination light caused by a power supply frequency, which is a problem when shooting / displaying at 120 fps (frames per second) in full-spec Super Hi-Vision (full-spec SHV). The present invention relates to a technique for removing the influence of luminance change.
フレーム周波数が30Hzや60Hz(順次走査)の撮像素子(例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサー)を内蔵するカメラを用いて撮影する場合に、50Hzの電源周波数に起因する照明光の輝度変化がフリッカーとして画面を乱すことがある。この場合、1/100秒のシャッターを掛けることでフリッカーを回避することができる。 Changes in luminance of illumination light due to a power supply frequency of 50 Hz when shooting using a camera with a built-in image sensor (for example, CMOS (Complementary Metal Oxide Semiconductor) image sensor) with a frame frequency of 30 Hz or 60 Hz (sequential scanning) May disturb the screen as flicker. In this case, flicker can be avoided by applying a 1/100 second shutter.
一方、フルスペックSHV用のフレーム周波数が120Hz(順次走査)の撮像素子が開発されている(非特許文献1参照)。この場合、1フレームの露光時間が1/120秒となるので、それよりも長い1/100秒のシャッターを掛けることが物理的にできない。 On the other hand, an image sensor having a frame frequency of 120 Hz (sequential scanning) for full spec SHV has been developed (see Non-Patent Document 1). In this case, since the exposure time of one frame is 1/120 second, it is physically impossible to apply a shutter of 1/100 second longer than that.
このことについて、図10および図11を参照して説明する。図10(a)に示すように、50Hzの電源周波数に起因する照明光の輝度は、1/100秒単位で周期的に変動する(1/100秒毎に明るさが最大になる)。そして、ローリングシャッター方式のCMOSイメージセンサーを内蔵するフルスペックSHV用のカメラで撮影を行う場合、各行の露光時間(1/120秒)が照明光の輝度の周期(1/100秒)と異なると共に、各行ごとに露光開始のタイミングが変わってくるので、露光時間中の輝度の総量が各行で異なることになる。 This will be described with reference to FIGS. 10 and 11. As shown in FIG. 10A, the luminance of the illumination light caused by the power frequency of 50 Hz periodically varies in units of 1/100 seconds (the brightness becomes maximum every 1/100 seconds). When shooting with a full-spec SHV camera incorporating a rolling shutter CMOS image sensor, the exposure time (1/120 seconds) of each row is different from the luminance period (1/100 seconds) of the illumination light. Since the exposure start timing changes for each row, the total amount of luminance during the exposure time differs for each row.
例えば、図10(b)に示すように、N行目とN+6行目の露光時間中の輝度の総量を比較すると、N+6行目の輝度の総量(ドット部分)に比べてN行目の輝度の総量(斜線部分)の方が少ない。その為、このカメラで撮影した映像を表示装置(図示せず)で表示した場合に、N+6行目に比べてN行目が暗くなる。つまり、濃淡が画面上下方向に移動するように見えるフリッカーが発生する。 For example, as shown in FIG. 10B, when the total amount of luminance during the exposure time of the Nth row and the N + 6th row is compared, the luminance of the Nth row is larger than the total amount of luminance (dot portion) of the N + 6th row. The total amount (shaded area) is less. For this reason, when an image captured by this camera is displayed on a display device (not shown), the Nth row becomes darker than the N + 6th row. That is, a flicker that appears as if the shade moves in the vertical direction of the screen occurs.
蛍光灯などの照明を撮影した時に生じるフリッカーのイメージを図11(b)に示す。実際には、縞模様の間隔はもっと大きいが、映像として見ると明滅を繰り返しながら上下方向に移動しているように見える。なお、図11(a)は、肉眼で見た場合の見え方を示している。 FIG. 11B shows an image of flicker that is generated when photographing illumination such as a fluorescent lamp. Actually, the interval between the stripes is much larger, but when viewed as an image, it seems to move up and down with repeated blinking. In addition, Fig.11 (a) has shown how it looks when it sees with the naked eye.
ここで、フリッカーを除去する撮像装置として、「光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段」を具備するものが知られている(特許文献1参照)。この撮像装置は、フレーム単位でフリッカーを逆補正するものであり、フリッカーを除去することが可能である。 Here, as an image pickup apparatus for removing flicker, “the detection means for detecting the time waveform of the flicker of the light source, and the luminance of the light source at the time of image pickup of the image frame picked up by the image pickup means based on the detection result by the detection means” What is equipped with the estimation means which estimates "is known (refer patent document 1). This imaging apparatus reversely corrects flicker in units of frames and can remove flicker.
しかしながら、特許文献1に記載された技術では、画面内全体(フレーム全体)にフリッカーを逆補正するため、画面内の一部がフリッカーの影響を受ける場合にフリッカーの影響を受けない部分にも逆補正が掛かってしまう。画面内の一部にのみフリッカーの影響がある場合とは、例えば、夕方の屋外から蛍光灯を点灯した家屋を撮影するときや、夜間に照明が点灯している競技場を撮影するときである。つまり、特許文献1に記載された技術では、家屋の蛍光灯の光や競技場の照明の光が当たっておらずフリッカーを生じていない部分にまで逆補正を掛けるので、不自然な輝度変化を持つ映像となってしまう。
However, in the technique described in
本発明はかかる点に鑑みてなされたものであって、画面内(フレーム内)の部分的なフリッカーを除去することができる、撮像装置およびフリッカー除去プログラムを提供することを課題とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus and a flicker removal program capable of removing a partial flicker in a screen (in a frame).
前記課題を解決するために本発明の一態様による撮像装置は、ローリングシャッター方式で画像を撮像する撮像装置であって、行および列からなる2次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備える。 In order to solve the above problems, an imaging apparatus according to an aspect of the present invention is an imaging apparatus that captures an image using a rolling shutter system, and a pixel array in which a plurality of pixels are arranged in a two-dimensional matrix including rows and columns. And an image sensor including a peripheral circuit that sequentially scans the pixels based on row and column designations and outputs luminance values of the pixels as digital signals, and generates a video signal from the digital signals output by the image sensor A video signal generation circuit.
ここで、前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されている。 Here, the pixel includes a normal pixel for generating the video signal and a detection pixel that is a pixel for detecting flicker and is driven with an exposure time shorter than the normal pixel, and the pixel array The detection pixels are arranged at predetermined pixel intervals instead of the normal pixels.
また、前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、前記フリッカー除去回路は、フーリエ変換部と、光源輝度波形解析部と、画素輝度値算出部と、補正係数算出部とを有する。
フーリエ変換部は、前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求める。
光源輝度波形解析部は、フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める。
The video signal generation circuit includes a video processing circuit and a flicker removal circuit. The flicker removal circuit includes a Fourier transform unit, a light source luminance waveform analysis unit, a pixel luminance value calculation unit, and a correction coefficient calculation unit. Have
The Fourier transform unit obtains a period of brightness change for each of the detection pixels by performing discrete Fourier transform on past brightness values for a predetermined frame of the detection pixels.
The light source luminance waveform analysis unit obtains a waveform of past luminance change for a predetermined frame when a component causing flicker is included in the luminance change period obtained by the Fourier transform unit.
画素輝度値算出部は、前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める。
補正係数算出部は、前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する。
The pixel luminance value calculation unit integrates the waveform of the luminance change obtained by the light source luminance waveform analysis unit in units of exposure time of the normal pixels, thereby changing the pixel luminance value in units of exposure time of the normal pixels. Find the waveform.
The correction coefficient calculation unit predicts the influence of flicker on the normal pixels arranged around the detection pixel from the waveform of the pixel luminance value change obtained by the pixel luminance value calculation unit, and has an influence of flicker. A correction coefficient for canceling flicker is obtained for the normal pixel, and the digital signal is corrected using the correction coefficient.
このような構成を備える撮像装置は、通常画素に代えて予め定めた画素間隔で配置された検出用画素が、通常画素よりも短い露光時間で駆動する。そして、撮像装置は、この検出用画素の輝度値を用いて輝度変化の波形を求め、通常画素の露光時間単位で積分を行うことで、検出用画素における通常画素の露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置は、画素輝度値変化の波形から検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測することができる。 In the imaging apparatus having such a configuration, the detection pixels arranged at predetermined pixel intervals instead of the normal pixels are driven with an exposure time shorter than that of the normal pixels. Then, the imaging apparatus obtains a waveform of a luminance change using the luminance value of the detection pixel, and integrates the normal pixel in the exposure time unit, thereby performing pixel luminance in the normal pixel exposure time unit in the detection pixel. Find the waveform of the value change. Therefore, the imaging apparatus can predict the influence of flicker at normal pixels arranged around the detection pixel from the waveform of the pixel luminance value change.
本発明によれば、検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測できるので、フリッカーの影響がある通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いてデジタル信号(通常画素出力信号)を補正する。その為、画面内(フレーム内)の部分的なフリッカーを除去することができる。 According to the present invention, since it is possible to predict the effect of flicker on normal pixels arranged around the detection pixels, a correction coefficient for canceling flicker is obtained for the normal pixels that are affected by flicker, and this correction coefficient is used for digital calculation. The signal (normal pixel output signal) is corrected. Therefore, a partial flicker within the screen (in the frame) can be removed.
以下、本発明の実施形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面における寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
Each figure is only schematically shown so that the invention can be fully understood. Therefore, the present invention is not limited to the illustrated example. In addition, dimensions in the drawings to be referred to may be exaggerated for clarity. In addition, in each figure, about the same component or the same component, the same code | symbol is attached | subjected and those overlapping description is abbreviate | omitted.
≪実施形態に係る撮像装置の構成≫
図1に示す撮像装置1は、フルスペックSHVでの撮影を行うものであり、例えば、テレビ放送用のカメラである。撮像装置1は、レンズ2と、フリッカー除去用撮像素子3と、駆動回路4と、電源回路5と、映像信号生成回路6とを備えている。以下、撮像装置1の構成について説明する。
<< Configuration of Imaging Device According to Embodiment >>
An
<レンズ>
レンズ2は、光を屈折させる光学素子であり、ここでは、光を屈折させてフリッカー除去用撮像素子3に撮影対象物の光学像を結像する。レンズ2は、単レンズや複数のレンズを組み合わせて使用されてもよい。この撮影対象物の中には、フリッカーの原因となる輝度変化が含まれる可能性がある。本実施形態に係る撮像装置1は、画面内のある一部分にフリッカーの原因となる輝度変化が含まれる場合に、部分的に画素の輝度値を補正してフリッカーの影響を除去する。
<Lens>
The
<フリッカー除去用撮像素子>
フリッカー除去用撮像素子3(以下、単に「撮像素子3」と呼ぶ)は、レンズ2から入ってきた光を電気信号に変換する電子部品である。撮像素子3は、ローリングシャッター(ライン露光)方式のものであればよく、例えば、CMOSイメージセンサーを用いることができる。撮像素子3のスペックは、特に限定されず、画素数や階調などを任意に決定することができる。以下で説明する撮像素子3のスペックに関する数値についても、例示である。撮像素子3は、XYアドレス方式によるスイッチ動作で画素を選択し、電気信号(通常画素出力信号GA、検出用画素出力信号GB)を映像信号生成回路6に出力する。
<Image sensor for flicker removal>
The image pick-up
図2に示すように、撮像素子3は、画素アレイ31と、通常画素用垂直走査回路32a,32bと、検出用画素用垂直走査回路33と、通常画素用信号処理回路34a,34bと、検出用画素用信号処理回路35a,35bと、信号出力回路36a,36bと、を備えて構成されている。通常画素用垂直走査回路32a,32bと、検出用画素用垂直走査回路33と、通常画素用信号処理回路34a,34bと、検出用画素用信号処理回路35a,35bと、信号出力回路36a,36bとをまとめて周辺回路と呼ぶ場合がある。
As shown in FIG. 2, the
(画素アレイ)
画素アレイ31は、複数の画素P(図3参照)を基板上に2次元マトリクス状に配列したものである。ここでは説明を簡便にするために記載を簡略化しているが、例えば、垂直方向(列)に4320個の画素が並び、水平方向(行)に7680個の画素が並ぶことで、合計約3300万個の画素が規則正しく配置されている。画素アレイ31に配置される画素Pは、機能の違いによって通常画素PAと検出用画素PBとの2種類が存在する。
(Pixel array)
The
通常画素PAは、フルスペックSHVの映像信号を作成するためのものであり、1/120秒の露光時間で駆動する。通常画素PAは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード(受光部)と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の1行分の通常画素PAには、それぞれ1本の行選択信号線(以下、「通常用行選択信号線」)が接続されており、また、垂直方向の1列分の通常画素PAには、それぞれ1本の列選択信号線(以下、「通常用列選択信号線」)が接続されている。
Normal pixels P A is for creating a video signal of the full-spec SHV, driven by an exposure time of 1/120 second. Normal pixels P A is, for example, a photodiode for accumulating the charges incident light by photoelectric conversion (light receiving portion), converts the accumulated charge into a voltage, and is configured with an amplifier for amplifying.
The horizontal direction of the normal pixels P A for one row, each one of the row selection signal line (hereinafter, "normal row selection signal line") is connected, also, the vertical one column of normal A single column selection signal line (hereinafter, “normal column selection signal line”) is connected to each pixel PA.
検出用画素PBは、フリッカーを検出するためのものであり、通常画素PAよりも短い露光時間(例えば、1/200秒)で駆動する。検出用画素PBは、露光時間が異なる以外は、通常画素PAと同様の構成であってよい。つまり、検出用画素PBは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード(受光部)と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の1行分の検出用画素PBには、それぞれ1本の行選択信号線(以下、「検出用行選択信号線」)が接続されており、また、垂直方向の1列分の検出用画素PBには、それぞれ1本の列選択信号線(以下、「検出用列選択信号線」)が接続されている。
Detection pixel P B is for detecting the flicker, driven by the normal pixel P A short exposure time than (e.g., 1/200 seconds). Detection pixel P B, except that the exposure time is different, typically may have the same configuration as the pixel P A. That is, the detection pixel P B includes, for example, a photodiode (light receiving unit) that photoelectrically converts incident light and accumulates it as charges, and an amplifier that converts and amplifies the accumulated charges into voltage. .
One row selection signal line (hereinafter referred to as “detection row selection signal line”) is connected to each of the detection pixels P B for one row in the horizontal direction, and for one column in the vertical direction. One column selection signal line (hereinafter, “detection column selection signal line”) is connected to each of the detection pixels P B.
図3を参照して、通常画素PA、検出用画素PBの配置の仕方について説明する。検出用画素PBは、通常画素PAに代えて予め定めた画素間隔(例えば、数10〜数100画素おきの等間隔)に配置されている。検出用画素PBの周囲には、フリッカー判定領域31aが仮想的に設定されている。このフリッカー判定領域31aは、検出用画素PBがフリッカーを検出した際に補正を行う通常画素PAの範囲を示すものである。フリッカー判定領域31aは、隣り合うものと重ならないように、および隣り合うものとの間に隙間がないように、画素アレイ31の全体に事前(例えば、製造時)に設定される。
With reference to FIG. 3, how to arrange the normal pixels P A and the detection pixels P B will be described. Detection pixel P B are arranged in a predetermined pixel spacing in place of the normal pixels P A (e.g., at regular intervals of a few tens to several hundreds pixels every). Around the detection pixel P B,
フリッカー判定領域31aの形状は、画素Pの形状に合わせるのがよい。ここでは、画素Pの形状として正方形を想定しているので、フリッカー判定領域31aは正方形になっている。しかしながら、これに限定されるものではなく、画素Pの形状とは関係なく他の形状(例えば、三角形)にすることも可能である。
The shape of the
図4を参照して、通常画素PAおよび検出用画素PBの露光時間の関係について説明する。検出用画素PBは、通常画素PAよりも短い露光時間(例えば、1/200秒)で駆動する。このように、通常画素PAと検出用画素PBとでは露光時間が異なるので、検出用画素PBの輝度値を映像信号の作成に用いることは難しい。本実施形態においては、検出用画素PBの輝度値を映像信号の作成に用いずに、検出用画素PBの周囲の通常画素PAを用いて検出用画素PBの情報を補完する。この補完は、公知技術を用いることが可能であり、例えば、周囲の通常画素PAから取得した情報に重みづけを行った後に足し合わせることにより行う。この補完処理を行うタイミングは、後記するフリッカー除去回路70の処理の前後のどちらでもよく、例えば、並べ替え・デモザイキング処理部61や映像処理部63で行えばよい。
Referring to FIG. 4, typically illustrating the relationship of the exposure time of the pixels P A and the detection pixel P B. Detection pixel P B is driven in the normal pixel P A short exposure time than (e.g., 1/200 seconds). Thus, in the normal pixels P A and the detection pixel P B since different exposure times, it is difficult to use the luminance value of the detection pixel P B to create the video signal. In the present embodiment, the luminance value of the detection pixel P B without the creation of a video signal, to supplement the information of the detection pixels P B using normal pixels P A around the detection pixel P B. This complementation is possible to use known techniques, for example, by adding together after the weighting on information obtained from the surrounding normal pixels P A. The timing of performing the complementing process may be before or after the process of the
(通常画素用垂直走査回路)
図2に示す、通常画素用垂直走査回路32a,32bは、1行分の通常画素PAを選択し、通常画素PAが変換した電圧(アナログ信号)をフレーム周波数120Hzで通常画素用信号処理回路34a,34bに出力するものである。通常画素用垂直走査回路32a,32bは、いずれかの通常用行選択信号線に行選択信号を出力することによって、1行分の通常画素PAを選択する。通常画素用垂直走査回路32aは、奇数列の通常画素PAの処理を担当し、通常用列選択信号線を介して通常画素PAが変換した電圧(アナログ信号)を通常画素用信号処理回路34aに出力する。一方、通常画素用垂直走査回路32bは、偶数列の通常画素PAの処理を担当し、通常用列選択信号線を介して通常画素PAが変換した電圧(アナログ信号)を通常画素用信号処理回路34bに出力する。
(Normal pixel vertical scanning circuit)
2, normal pixels
(検出用画素用垂直走査回路)
図2に示す、検出用画素用垂直走査回路33は、1行分の検出用画素PBを選択し、検出用画素PBが変換した電圧(アナログ信号)をフレーム周波数200Hzで検出用画素用信号処理回路35a,35bに出力するものである。検出用画素用垂直走査回路33は、いずれかの検出用行選択信号線に行選択信号を出力することによって、1行分の検出用画素PBを選択する。検出用画素用垂直走査回路33は、検出用列選択信号線を介して奇数列の検出用画素PBが変換した電圧(アナログ信号)を検出用画素用信号処理回路35aに出力し、一方、検出用列選択信号線を介して偶数列の検出用画素PBが変換した電圧(アナログ信号)を検出用画素用信号処理回路35bに出力する。なお、ここでは、検出用画素PBの総数が通常画素PAの総数に比べてそれ程多くないので、一つの検出用画素用垂直走査回路33で処理を行っているが、処理のスピードが遅くなるようであれば、通常画素用垂直走査回路32a,32bのように、奇数列と偶数列とで処理を分担してもよい。
(Vertical scanning circuit for detection pixels)
The detection pixel
(通常画素用信号処理回路)
通常画素用信号処理回路34a,34bは、サンプリング回路とA/D変換回路とを含んで構成され、通常画素PAから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、A/D変換回路で12ビットのデジタル信号に変換する。通常画素用信号処理回路34aは、奇数列の通常画素PAの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路36aに出力する。一方、通常画素用信号処理回路34bは、偶数列の通常画素PAの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路36bに出力する。
(Normal pixel signal processing circuit)
Usually a pixel
(検出用画素用信号処理回路)
検出用画素用信号処理回路35a,35bは、サンプリング回路とA/D変換回路とを含んで構成され、検出用画素PBから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、A/D変換回路で12ビットのデジタル信号に変換する。検出用画素用信号処理回路35aは、奇数列の検出用画素PBの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路36aに出力する。一方、検出用画素用信号処理回路35bは、偶数列の検出用画素PBの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路36bに出力する。
(Detection pixel signal processing circuit)
The detection pixel signal processing circuits 35a and 35b include a sampling circuit and an A / D conversion circuit. After the noise of the analog signal output from the detection pixel P B is removed by the sampling circuit, the A / D The signal is converted into a 12-bit digital signal by a D conversion circuit. The detection pixel signal processing circuit 35a is in charge of processing of the odd-numbered detection pixels P B and outputs a digital signal converted through the detection column selection signal line to the
(信号出力回路)
信号出力回路36a,36bは、それぞれの通常用列選択信号線に出力されたデジタル信号を順に選択して、通常画素出力信号として映像信号生成回路6(図1参照)に出力する。また、信号出力回路36a,36bは、それぞれの検出用列選択信号線に出力されたデジタル信号を順に選択して、検出用画素出力信号として映像信号生成回路6(図1参照)に出力する。信号出力回路36aは、奇数列の通常画素PAや検出用画素PBの処理を担当し、信号出力回路36bは、偶数列の通常画素PAや検出用画素PBの処理を担当する。
(Signal output circuit)
The
このように、撮像素子3は、行・列の指定に基づいた順次走査(XYアドレス方式によるスイッチ(SW)動作)により画素P(通常画素PA,検出用画素PB)を選択し、通常画素PAから出力されるアナログ信号をデジタル信号に変換後に通常画素出力信号として映像信号生成回路6に出力し、一方、検出用画素PBから出力されるアナログ信号をデジタル信号に変換後に検出用画素出力信号として映像信号生成回路6に出力する。
Thus, the
<駆動回路>
図1に戻って、撮像装置1の構成について説明する。駆動回路4は、撮像素子3を駆動させるための駆動用のドライバである。駆動回路4は、例えば、通常画素PAの出力タイミングに合わせて通常画素用垂直走査回路32a,32bおよび通常画素用信号処理回路34a,34bを駆動させるための通常用の回路と、検出用画素PBの出力タイミングに合わせて検出用画素用垂直走査回路33および検出用画素用信号処理回路35a,35bを駆動させるための検出用の回路とを備えている。
<Drive circuit>
Returning to FIG. 1, the configuration of the
<電源回路>
電源回路5は、撮像装置1内に共通の電源電圧を供給するためのものである。電源回路5は、例えば、供給配線を介して電源電圧を供給する。
<Power supply circuit>
The
<映像信号生成回路>
映像信号生成回路6は、フルスペックSHVに対応する放送用の映像信号を生成するものである。映像信号生成回路6は、映像処理回路60と、フリッカー除去回路70とを備えて構成されている。映像信号生成回路6は、例えば、FPGA(Field Programmable Gate Array:プログラミング可能な集積回路)である。
<Video signal generation circuit>
The video
(映像処理回路)
映像処理回路60は、通常画素出力信号に対して各種の映像処理を行い、映像信号を生成するものである。映像処理回路60の概略構成図を図5に示す。
映像処理回路60は、並べ替え・デモザイキング処理部61と、切り替えSW62と、映像処理部63と、を備えて構成されている。
(Video processing circuit)
The
The
並べ替え・デモザイキング処理部61には、撮像素子3の信号出力回路36aから奇数列の通常画素PAの出力に基づく通常画素出力信号GAが入力され、また、信号出力回路36bから偶数列の通常画素PAの出力に基づく通常画素出力信号GAが入力される。
並べ替え・デモザイキング処理部61は、画面内の位置と時間(フレーム番号)とが整合するように通常画素出力信号の並べ替えを行った後に、デモザイキング処理を行う。デモザイキング処理は、各画素で撮像されない色の輝度値(画素値)を、周辺画素において撮像された当該色の輝度値に基づいて生成することにより、各画素で三色の輝度値を得るものである。この処理は、撮像素子3として、例えば、ベイヤ(Bayer)配列の色フィルタを有する場合に必要である。そして、並べ替え・デモザイキング処理部61は、切り替えSW62に、処理後の通常画素出力信号GAを出力する。
The sorting-
The rearrangement /
切り替えSW62には、並べ替え・デモザイキング処理部61からデモザイキング処理後の通常画素出力信号GAが入力される。
切り替えSW62は、フリッカー除去回路70を任意に切り離すためのものである。切り替えSW62は、例えば、撮像装置1が備える図示しない操作部に連動しており、撮影者による操作部の操作によって切り替えSW62のOFF/ONが変更する。図6に切り替えSW62のOFF/ONの状態を示す。切り替えSW62がOFFの場合には、図6(a)に示すように、フリッカー除去回路70(図5参照)を切り離し、並べ替え・デモザイキング処理部61と映像処理部63とを接続する。一方、切り替えSW62がONの場合には、図6(b)に示すように、フリッカー除去回路70(図5参照)を切り離さず、並べ替え・デモザイキング処理部61と演算回路72とを接続する。
The switching
The switching
映像処理部63には、切り替えSW62を介して、並べ替え・デモザイキング処理部61または後記するフリッカー除去回路70の演算回路72から通常画素出力信号GAが入力される。
映像処理部63は、入力された通常画素出力信号GAに対して、欠陥補正処理、ホワイト・バランス処理、補間処理、色補正処理、輪郭補正処理などの画像補正処理やガンマ補正処理を行い、映像信号Gを生成する。ここでの映像信号Gは、フルスペックSHVに対応する放送用の映像信号である。映像処理部63は、生成した映像信号Gを撮像装置1の外部に出力する。
A normal pixel output signal GA is input to the
The
(フリッカー除去回路)
フリッカー除去回路70は、画面内(フレーム内)の部分的なフリッカーを通常画素出力信号から除去するものである。フリッカー除去回路70の概略構成図を図5に示す。
フリッカー除去回路70は、メモリー71と、演算回路72とを備えて構成されている。
(Flicker removal circuit)
The
The
メモリー71には、撮像素子3の信号出力回路36a,36b(図2参照)から検出用画素出力信号GBが入力され、画面内の位置と時間(フレーム番号)とが整合するように並べ替えを行った後に格納される。
メモリー71は、例えば、ある程度のフレーム数分(例えば、数十フレーム)だけの検出用画素出力信号GBを格納することが可能である。図7に、メモリー71に格納される検出用画素出力信号GBのイメージを示す。新しいフレームが入力されると、最も古いフレームがメモリー71から削除される。
The
図5に示すように、演算回路72は、フーリエ変換部73と、光源輝度波形解析部74と、画素輝度値算出部75と、補正係数算出部76とからなる。演算回路72には、並べ替え・デモザイキング処理部61から通常画素出力信号GAが入力される。また、演算回路72には、メモリー71に格納される検出用画素出力信号GBが入力される。ここでは、処理の概要のみを説明し、その詳細は「撮像装置の動作」で説明する。
As shown in FIG. 5, the
フーリエ変換部73は、メモリー71から所定フレーム分の検出用画素出力信号GBを取得する。取得するフレーム数は、高速フーリエ変換を行うことが可能なように、2n個であることが望ましい。フーリエ変換部73は、所定フレーム分の過去の検出用画素PBの輝度値(例えば、12階調)を検出用画素PB単位で離散フーリエ変換することで、時間経過に伴う輝度変化の周期を検出用画素PB単位で求める(図7参照)。そして、フーリエ変換部73は、輝度変化の周期にフリッカーの原因となる成分(ここでは、100Hz)が含まれている場合に、当該フリッカー判定領域31aにフリッカーがあると判定する。この判定は、例えば、輝度変化の周期にフリッカーの原因となる成分が少しでも含まれている場合にフリッカーがあると判定してもよいし、閾値を設定してその値を超えた場合にフリッカーがあると判定してもよい。
光源輝度波形解析部74は、フーリエ変換部73が求めた輝度変化の周期にフリッカーの原因となる成分(ここでは、100Hz)が含まれている場合に、図7に示す所定フレーム分の過去の検出用画素PBの輝度値(12階調)から時間経過に伴う過去の輝度変化の波形を求める(図9の符号801参照)。
The light source luminance
画素輝度値算出部75は、光源輝度波形解析部74が求めた輝度変化の波形を、通常画素PAの露光時間(1/120秒)単位で積分を行うことで、検出用画素PBにおける通常画素PAの露光時間単位での画素輝度値変化の波形を求める(図9の符号802参照)。この符号802で示す画素輝度値変化の波形は、フリッカーにより画面上に現れる明暗のパターンに対応する。
Pixel luminance
補正係数算出部76は、画素輝度値算出部75が求めた画素輝度値変化の波形から、検出用画素PBの周辺に配置される通常画素PAでの影響を予測し、フリッカーが影響する通常画素PAを探索する。このフリッカーが影響する通常画素PAの探索は、例えば、求めた画素輝度値変化の波形と、各々の通常画素PAの輝度変化(輝度値の変化)とを比較し、その一致具合に基づいてフリッカー影響下にあるか否かを判定する。
また、補正係数算出部76は、フリッカーの影響がある通常画素PAについてフリッカーを打ち消す増幅率(補正係数)を求め、映像処理回路60から入力された通常画素出力信号GAの該当する通常画素PAの輝度値に求めた増幅率を乗じることによって、フリッカーの影響を除去する(補正する)。この増幅率(補正係数)は、図9の符号802に示す画素輝度値変化の最低値、最高値および平均値の何れかに近づく様に決定するのがよい。画素輝度値変化の最低値、最高値または平均値は、画素輝度値変化の波形の周期、位相から計算で求めることができる。
Correction
Further, the correction
画素輝度値変化(図9の符号802参照)の最低値に通常画素PAの輝度値を揃える場合を例に挙げて、増幅率(補正係数)を乗じる処理を説明する。m番目のフレームにおけるN行目の画素輝度値をV(N,m)とし、V(N,m)の最低値をαとした場合に、補正係数C(N,m)は、「C(N,m)=α/V(N,m)」で表すことができる。ここで、補正係数C(N,m)が行とフレームを引数にしているのは、フリッカーの輝度変化が列とは関係なく行のみに関係するためである。補正係数算出部76は、この式を用いて補正係数C(N,m)をフリッカーの影響がある通常画素PAについて算出し、算出した補正係数C(N,m)を実際の通常画素PAの輝度値に乗じる。これにより、フリッカーの影響を除去した輝度値を得ることができる。
Taking a case of aligning the luminance values of the normal pixels P A to the lowest value of the pixel luminance value changes (
例えば、あるフリッカー判定領域31aに1行1列目から9行9列目までの合計で80個の通常画素PAが配置されており(5行5列目には検出用画素PBが配置されている)、mフレームにおける2行1列目〜2行8列目、3行1列目〜3行5列目に配置された通常画素PAにフリッカーの影響がある場合を想定する。
補正係数算出部76は、前述した式を用いて補正係数C(2,m)を算出し、通常画素出力信号GAのmフレーム目の2行1列目〜2行8列目の通常画素PAに対応する輝度値にC(2,m)を乗じる。また、補正係数算出部76は、補正係数C(3,m)を算出し、通常画素出力信号GAのmフレーム目の3行1列目〜3行5列目の通常画素PAに対応する輝度値にC(3,m)を乗じる。
このように、一つのフリッカー判定領域31aでは、フリッカーの影響がある通常画素PA行分の補正係数C(N,m)の算出が必要であり、その算出量は、最大でその領域に含まれる行数分になる。なお、あるフリッカー判定領域31aで算出した補正係数C(N,m)を、他のフリッカー判定領域31aで利用することもできる。
For example, some
Correction
Thus, in one
≪実施形態に係る撮像装置の動作≫
図8(適宜、図5を参照)を参照して、フリッカー除去回路70の処理について説明する。図8は、フリッカー除去回路70のフローチャートである。図8に示す処理は、検出用画素PBの単位に、すべての検出用画素PBについて行われる。
<< Operation of Imaging Device according to Embodiment >>
The processing of the
最初に、フーリエ変換部73は、特定の検出用画素PBのある程度まとまったフレーム分(ここでは、200フレーム分)の過去の輝度値(12階調)に対して離散フーリエ変換を掛ける(図7参照)ことで輝度変化(輝度値の変化)の周期を求める(ステップS10)。
First, the
続いて、フーリエ変換部73は、ステップS10で求めた輝度変化の周期に100Hzの成分があるか否かを判定する(ステップS20)。フーリエ変換部73は、輝度変化の周期に100Hzの成分がない(ステップS20で“No”)場合に、「フリッカーなし」と判定する(ステップS30)。そして、当該検出用画素PBの処理を終了し、次の検出用画素PBの処理に移行する。一方、フーリエ変換部73は、輝度変化の周期に100Hzの成分がある(ステップS20で“Yes”)場合に、「フリッカーあり」と判定する(ステップS40)。そして、処理はステップS50に進む。
Subsequently, the
続いて、光源輝度波形解析部74は、所定フレーム分の過去の検出用画素PBの輝度値(12階調)から時間経過に伴う過去の輝度変化の波形(図9の符号801)を求める(ステップS50)。
Subsequently, the light source luminance
続いて、画素輝度値算出部75は、ステップS50で求めた過去の輝度変化の波形を通常画素PAの露光時間単位(1/120秒単位)で積分することで、検出用画素PBにおける画素輝度値変化の波形(図9の符号802)を求める(ステップS60)。
Subsequently, the pixel luminance
続いて、補正係数算出部76は、当該検出用画素PBが担当するフリッカー判定領域31a(図3参照)に配置される通常画素PA(周辺画素)での影響を予測し、フリッカーが影響する通常画素PAを探索する(ステップS70)。
Subsequently, the correction
続いて、補正係数算出部76は、フリッカーの影響を受ける通常画素PAについてフリッカーを打ち消す補正係数を求め、求めた補正係数を用いて通常画素出力信号GA(通常画素PAの輝度値)を補正する(ステップS80)。そして、当該検出用画素PBの処理を終了し、次の検出用画素PBの処理に移行する。
Subsequently, the correction
以上のように、本実施形態に係る撮像装置1は、通常画素PAに代えて予め定めた画素間隔で配置された検出用画素PBが、通常画素PAよりも短い露光時間で駆動する。そして、撮像装置1は、この検出用画素PBの輝度値を用いて輝度変化の波形を求め、通常画素PAの露光時間単位で積分を行うことで、検出用画素PBにおける通常画素PAの露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置1は、画素輝度値変化の波形から検出用画素PBの周辺に配置される通常画素PAでのフリッカーの影響を予測することができ、画面内(フレーム内)の部分的なフリッカーを除去することが可能になる。
As described above, the
[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
[Modification]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, It can implement in the range which does not change the meaning of a claim.
実施形態に係る撮像装置1では、フーリエ変換部71が輝度変化の周期に100Hzの成分があった場合に、「フリッカーあり」と判定していたが、フリッカーある・なしの判定はこれに限定されるものではない。例えば、フリッカーは、数値的にはそれ程大きな変動でなくても実際に画面で見ると影響が大きい場合もある。その為、フリッカーの検出のための閾値は、適宜選択するのがよい。
In the
また、実施形態に係る撮像装置1では、撮像素子3として通常画素PAと検出用画素PBとが同一の基板上に配置されている場合(一体方式のもの)を想定していたが、これに限定されるものではない。例えば、通常画素PAと検出用画素PBとを別々の基板に配置しておき、レンズ2から入った光を分けて、検出用画素PBが分けた光で処理を行うことも可能である。また、レンズ2から入った光を分けて、検出用画素PBを分けた光の空間にマッピングしてもよい。
In the
1 撮像装置
2 レンズ
3 フリッカー除去用撮像素子(撮像素子)
4 駆動回路
5 電源回路
6 映像信号生成回路
31 画素アレイ
31a フリッカー判定領域
32a,32b 通常画素用垂直走査回路(周辺回路)
33 検出用画素用垂直走査回路(周辺回路)
34a,34b 通常画素用信号処理回路(周辺回路)
35a,35b 検出用画素用信号処理回路(周辺回路)
36a,36b 信号出力回路(周辺回路)
60 映像処理回路
61 並べ替え・デモザイキング処理部
62 切り替えSW
63 映像処理部
70 フリッカー除去回路
71 メモリー
72 演算回路
73 フーリエ変換部
74 光源輝度波形解析部
75 画素輝度値算出部
76 補正係数算出部
P 画素
PA 通常画素
PB 検出用画素
G 映像信号
GA 通常画素出力信号
GB 検出用画素出力信号
DESCRIPTION OF
4
33. Detection pixel vertical scanning circuit (peripheral circuit)
34a, 34b Normal pixel signal processing circuit (peripheral circuit)
35a, 35b Detection pixel signal processing circuit (peripheral circuit)
36a, 36b Signal output circuit (peripheral circuit)
60
63
Claims (2)
行および列からなる2次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、
前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備え、
前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、
前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されており、
前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、
前記フリッカー除去回路は、
前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求めるフーリエ変換部と、
フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める光源輝度波形解析部と、
前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める画素輝度値算出部と、
前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する補正係数算出部と、を有する、
ことを特徴とする撮像装置。 An imaging device that captures an image using a rolling shutter method,
A pixel array in which a plurality of pixels are arranged in a two-dimensional matrix comprising rows and columns, and a peripheral circuit that sequentially scans the pixels based on row and column designations and outputs the luminance values of the pixels as digital signals An image sensor comprising:
A video signal generation circuit that generates a video signal from a digital signal output by the imaging device;
The pixel includes a normal pixel for creating the video signal and a detection pixel that is a pixel for detecting flicker and is driven with an exposure time shorter than the normal pixel.
In the pixel array, the detection pixels are arranged at predetermined pixel intervals instead of the normal pixels,
The video signal generation circuit includes a video processing circuit and a flicker removal circuit,
The flicker removal circuit is
A Fourier transform unit that obtains a period of a luminance change for each of the detection pixels by performing a discrete Fourier transform on a past luminance value for a predetermined frame of the detection pixels;
A light source luminance waveform analysis unit for obtaining a waveform of a past luminance change for a predetermined frame when a component causing flicker is included in the cycle of the luminance change obtained by the Fourier transform unit;
Pixel luminance value calculation for obtaining the waveform of the pixel luminance value change in the exposure time unit of the normal pixel by integrating the waveform of the luminance change obtained by the light source luminance waveform analysis unit in the exposure time unit of the normal pixel And
The influence of flicker on the normal pixels arranged around the detection pixel is predicted from the waveform of the pixel brightness value change obtained by the pixel brightness value calculation unit, and flicker is applied to the normal pixels that are affected by flicker. A correction coefficient calculation unit that obtains a correction coefficient to cancel and corrects the digital signal using the correction coefficient;
An imaging apparatus characterized by that.
A flicker removal program for causing a computer to function as the imaging apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014138011A JP6300364B2 (en) | 2014-07-03 | 2014-07-03 | Imaging apparatus and flicker removal program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014138011A JP6300364B2 (en) | 2014-07-03 | 2014-07-03 | Imaging apparatus and flicker removal program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016015692A true JP2016015692A (en) | 2016-01-28 |
JP6300364B2 JP6300364B2 (en) | 2018-03-28 |
Family
ID=55231559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014138011A Expired - Fee Related JP6300364B2 (en) | 2014-07-03 | 2014-07-03 | Imaging apparatus and flicker removal program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6300364B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000101909A (en) * | 1998-07-24 | 2000-04-07 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device |
JP2004135347A (en) * | 2002-10-10 | 2004-04-30 | Hynix Semiconductor Inc | Pixel array of image sensor, image sensor using the same, and method for eliminating flicker noise of image sensor |
JP2008109370A (en) * | 2006-10-25 | 2008-05-08 | Sanyo Electric Co Ltd | Image correcting device and method, and imaging apparatus |
JP2009253808A (en) * | 2008-04-09 | 2009-10-29 | Sony Corp | Image processor, imaging device, method for processing image and program |
JP2010114834A (en) * | 2008-11-10 | 2010-05-20 | Olympus Imaging Corp | Imaging apparatus |
-
2014
- 2014-07-03 JP JP2014138011A patent/JP6300364B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000101909A (en) * | 1998-07-24 | 2000-04-07 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device |
JP2004135347A (en) * | 2002-10-10 | 2004-04-30 | Hynix Semiconductor Inc | Pixel array of image sensor, image sensor using the same, and method for eliminating flicker noise of image sensor |
JP2008109370A (en) * | 2006-10-25 | 2008-05-08 | Sanyo Electric Co Ltd | Image correcting device and method, and imaging apparatus |
JP2009253808A (en) * | 2008-04-09 | 2009-10-29 | Sony Corp | Image processor, imaging device, method for processing image and program |
JP2010114834A (en) * | 2008-11-10 | 2010-05-20 | Olympus Imaging Corp | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6300364B2 (en) | 2018-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7178644B2 (en) | Imaging device and image acquisition device | |
US10244192B2 (en) | Image capturing apparatus and driving method of image sensor | |
US10771724B2 (en) | Image capturing apparatus | |
CN107547807B (en) | Apparatus and imaging system for reducing spatial flicker artifacts | |
US8947565B2 (en) | Solid-state image capture element and image capture device comprising said solid-state image capture element, and image capture control method and image capture control program | |
JP2013034179A (en) | Imaging device and imaging apparatus | |
US10911690B2 (en) | Image capturing apparatus and control method thereof and storage medium | |
US20160330359A1 (en) | Image pickup apparatus that reduces unevenness of exposure caused by artificial light source, method of detecting change in amount of light, and storage medium | |
CN108293098A (en) | Solid imaging element, imaging device and electronic equipment | |
JP2009017213A (en) | Imaging apparatus | |
US11632502B2 (en) | Optical sensor cancelling image flicker | |
JP2015103971A (en) | Solid-state imaging device and digital camera | |
JP5106055B2 (en) | Imaging apparatus and flicker detection method thereof | |
JP6300364B2 (en) | Imaging apparatus and flicker removal program | |
US12009375B2 (en) | Imaging device and imaging element | |
JP4908939B2 (en) | Imaging device | |
WO2015008635A1 (en) | Solid-state imaging element, method for driving same, and electronic apparatus | |
JP2016096551A (en) | Imaging device | |
JP5630132B2 (en) | Imaging device | |
JP2017038311A (en) | Solid-state imaging device | |
JP2013115793A (en) | Imaging device | |
JP2014027520A (en) | Imaging apparatus and image processing method | |
JP2018050346A (en) | Imaging apparatus | |
JP2009124239A (en) | Imaging apparatus, and flicker detection method therefor | |
EP2846534A1 (en) | Imaging apparatus and image correction data generating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6300364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |