JP6425833B2 - 画像処理装置及び方法並びにプログラム及び記録媒体 - Google Patents
画像処理装置及び方法並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6425833B2 JP6425833B2 JP2017555115A JP2017555115A JP6425833B2 JP 6425833 B2 JP6425833 B2 JP 6425833B2 JP 2017555115 A JP2017555115 A JP 2017555115A JP 2017555115 A JP2017555115 A JP 2017555115A JP 6425833 B2 JP6425833 B2 JP 6425833B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- luminance
- exposure image
- ratio
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 144
- 238000000034 method Methods 0.000 title claims description 104
- 230000001186 cumulative effect Effects 0.000 claims description 112
- 230000008569 process Effects 0.000 claims description 78
- 230000008859 change Effects 0.000 claims description 51
- 239000002131 composite material Substances 0.000 claims description 40
- 239000000203 mixture Substances 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 23
- 238000003672 processing method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 description 116
- 238000003786 synthesis reaction Methods 0.000 description 116
- GZPBVLUEICLBOA-UHFFFAOYSA-N 4-(dimethylamino)-3,5-dimethylphenol Chemical compound CN(C)C1=C(C)C=C(O)C=C1C GZPBVLUEICLBOA-UHFFFAOYSA-N 0.000 description 24
- 101100129496 Arabidopsis thaliana CYP711A1 gene Proteins 0.000 description 16
- 101100129499 Arabidopsis thaliana MAX2 gene Proteins 0.000 description 16
- 101100083446 Danio rerio plekhh1 gene Proteins 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 239000000872 buffer Substances 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 3
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 108090000237 interleukin-24 Proteins 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000965476 Darksidea beta Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- OOYGSFOGFJDDHP-KMCOLRRFSA-N kanamycin A sulfate Chemical group OS(O)(=O)=O.O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CN)O[C@@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](N)[C@H](O)[C@@H](CO)O2)O)[C@H](N)C[C@@H]1N OOYGSFOGFJDDHP-KMCOLRRFSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理装置であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理部と、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記短露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理部と、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理部と、
前記輝度値加算処理部で生成された前記輝度加算値と前記合成比率テーブル生成処理部で生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理部と、
前記合成比率生成処理部で求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理部とを備え、
前記合成比率テーブル生成処理部は、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第1の閾値及び第2の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第1の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第2の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする。
図1に本発明の実施の形態1の画像処理装置20をカメラ10とともに示す。
本実施の形態による画像処理装置は長露光画像と短露光画像とを合成してダイナミックレンジ拡大画像を生成する。
また、輝度成分Y、色差成分Cb、及び色差成分Crの各々は、8bitの値で表されるものとする。この8bitの値は、十進法の0から255までの値を表す。
カメラ10から出力された画像データは画像処理装置20で合成され、合成の結果得られる画像データがダイナミックレンジ拡大画像の画像データとして出力される。
ヒストグラム生成処理部22はさらに、図2(a)及び(b)に示されるヒストグラムにおいて、輝度値毎の出現度数を低輝度値から各輝度値まで累積して累積度数(積算画素数)Aを求める。そのようにして求められた累積度数Aを表す曲線を図3(a)及び(b)に示す。図3(a)及び(b)に示される曲線は累積ヒストグラムを表すものである。
なお、以下では、累積ヒストグラムが生成されるものとして説明を行うが、累積ヒストグラムは必ずしも生成しなくても良く、必要が生じる度に、図2(a)及び(b)に示されるヒストグラムから各輝度値までの累積度数を求めるようにしても良い。
フレームバッファ24は、少なくとも直近2フレームの画像データを保持し、画素値合成処理部27及び輝度値加算処理部25が長露光画像及び短露光画像の画像データを1画素ずつ処理できるよう、2フレーム分の画像データを並行して同時に1画素ずつ出力する。
直近2フレームの画像のうちの一方は、長露光画像であり、他方は短露光画像である。従って、輝度加算値ISUMは、長露光画像の輝度値と短露光画像の同じ位置の画素の輝度値の和である。
画素の位置を(x,y)で表し、長露光画像の位置(x,y)の画素の輝度値をIL(x,y)、短露光画像の位置(x,y)の画素の輝度値をIS(x,y)で表すと、同じ位置の画素についての輝度加算値ISUM(x,y)は下記の式(1)で表される。
ISUM(x,y)=IL(x,y)+IS(x,y) …式(1)
なお、各値が特定の位置の画素についての値であることを明記するために、「(x,y)」を付すが、混乱が生じない場合には「(x,y)」を省略する。以下で現れる他の符号についても同様である。
α=1−β
の演算を行って、合成比率αの値を得る。
このようにして生成される出力画素値PO(x,y)は、ダイナミックレンジ拡大画像の画素値を構成するものである。
即ち、長露光画像の画素値PL(x,y)には、輝度値IL(x,y)並びに色差値CbL(x,y)及びCrL(x,y)が含まれ、短露光画像の画素値PS(x,y)には、輝度値IS(x,y)並びに色差値CbS(x,y)及びCrS(x,y)が含まれ、出力画素値PO(x,y)には、輝度値IO(x,y)並びに色差値CbO(x,y)及びCrO(x,y)が含まれる。
画素値合成処理部27は、輝度値IL(x,y)と輝度値IS(x,y)とを合成して輝度値IO(x,y)を生成するとともに、色差値CbL(x,y)と色差値CbS(x,y)とを合成して色差値CbO(x,y)を生成し、色差値CrL(x,y)と色差値CrS(x,y)とを合成して色差値CrO(x,y)を生成する。
同じ画素についての合成には同じ合成比率が用いられる。
IO(x,y)=α×IS(x,y)+β×IL(x,y) …式(2a)
CbO(x,y)=α×CbS(x,y)+β×CbL(x,y)
…式(2b)
CrO(x,y)=α×CrS(x,y)+β×CrL(x,y)
…式(2c)
本実施の形態1では、輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲において合成比率が実線C11で例示するように直線的に変化する場合について説明する。
本実施の形態1では、合成比率βの合成比率上限値が1となり、合成比率下限値が0となるように合成比率テーブルを生成し、生成された合成比率テーブルで表される合成比率曲線の傾きが制限値SMAXよりも大きい場合には、合成比率テーブルを補正して、合成比率曲線の傾きが制限値SMAX以下となるようにする。この補正の際、合成比率上限値または合成比率下限値が補正される。
以下では、最初に第1の閾値T1及び第2の閾値T2の設定の仕方を説明し、その後で傾きSに対する制限値SMAXについて説明する。
図2(a)及び(b)の例では、図2(a)に示される曲線が長露光画像のヒストグラムHLであり、図2(b)に示される曲線が短露光画像のヒストグラムHSであると判断される。この場合、図3(a)に示される曲線が長露光画像の累積ヒストグラムDLであり、図3(b)に示される曲線が短露光画像の累積ヒストグラムDSであることになる。
ステップST22では、図3(a)に示される長露光画像の累積ヒストグラムDLにおいて、予め定められた上側設定値Qaに対応する累積度数(積算画素数)Aaを対応累積度数として求める。この対応累積度数Aaは、図2(a)に示される長露光画像のヒストグラムHLにおいて、各輝度値Ipを有する画素の数(出現度数)HL[Ip]を、輝度値の低い側から上側設定値Qaまで積算することで得られる累積度数である。この積算は下記の式(4)で表される。
ステップST25では、図3(b)に示される短露光画像の累積ヒストグラムDSにおいて、予め定められた下側設定値Qcに対応する累積度数(積算画素数)Acを対応累積度数として求める。この対応累積度数Acは、図2(b)に示される短露光画像のヒストグラムHSにおいて、各輝度値Ipを有する画素の数HS[Ip]を、輝度値の低い側から下側設定値Qcまで積算することで得られる累積度数である。この積算は下記の式(5)で表される。
下側設定値Qcは短露光画像において、注目画素が黒つぶれ画素か否かの判断をするための閾値である。画像データにおける輝度値が0〜255で表されるとすると、下側設定値Qcは画像の輝度値が取り得る値の最小値である0に近い値、例えば、5もしくは10といった値とするのが望ましい。
即ち、輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲、輝度加算値ISUMが第1の閾値T1よりも小さい範囲、及び輝度加算値ISUMが第2の閾値T2よりも大きい範囲のそれぞれにおける合成比率βの値を暫定的に決定する。
決定された暫定的な合成比率テーブルは、メモリ23aに保存される。
図4に示す合成比率曲線C11おいて、輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲での傾きの絶対値をSとする。
Sの値は下記の式(6)で表される演算を行うことで求められる。
ステップST14で傾きSが制限値SMAX以下の場合には処理を終了し、ステップST12で暫定的に決定された合成比率テーブルがそのまま最終的な、確定した合成比率テーブルとしてメモリ23a内に保持される。
この補正においては、輝度加算値ISUMが第2の閾値T2以上であるときの合成比率β(=βT2)、即ち、合成比率下限値は0のままとされ、輝度加算値ISUMが第1の閾値T1以下であるときの合成比率β、即ち、合成比率上限値が、より小さい値に補正され、輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲での合成比率曲線の傾きSが、予め定められた制限値SMAXに等しくなるようにされる。
βT1c=SMAX×(T2−T1) …式(7)
この補正においては、輝度加算値ISUMが第1の閾値T1以下であるときの合成比率β(=βT1)、即ち、合成比率上限値は1のままとされ、輝度加算値ISUMが第2の閾値T2以上であるときの合成比率β、即ち、合成比率下限値が、より大きい値に補正され、輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲での合成比率曲線の傾きSが、予め定められた制限値SMAXに等しくなるようにされる。
βT2c=1−SMAX×(T2−T1) …式(8)
以下に傾きSに対し制限を加える理由及び制限値SMAXの定め方について説明する。
同様に、長露光画像において、上記の注目位置(x,y)の画素についての輝度値ILに対する、隣接位置の画素についての輝度値IL’の差分(IL’−IL)を、注目位置における長露光画像の輝度値ILの変化量ILdと定義する。
そして、注目位置の画素についての短露光画像の輝度値ISの変化量ISdに対する、同じ位置の画素についての長露光画像の輝度値ILの変化量ILdの比(変化量比率)をKで表す。変化量比率Kは、短露光画像の露光量に対する長露光画像の露光量の比(露光量比)に略比例し、その最小値は1である。
IS’=IS+ISUMd×(1/(1+K)) …式(9a)
IL’=IL+ISUMd×(K/(1+K)) …式(9b)
α’=α+S×ISUMd …式(10a)
β’=β−S×ISUMd …式(10b)
式(10a)及び(10b)でISUMdは上記のように輝度加算値ISUMの変化量、Sは合成比率テーブルで表される合成比率曲線の傾きである。
以下では輝度値の差(IL−IS)をIDで表す。
これらの数値を式(16)に代入すると、
SMAX=1/(5×32) …式(17)
となる。
合成比率α及びβの値は、α+β=1を満たし、0から1の範囲で変化するものである。従って、式(15)の右辺の(α+β×K)/(1+K)は、α=1、β=0であり、かつKが最大のときに最小となり、また式(15)の右辺は、(IL−IS)=IDが大きいほど小さくなることが分かる。
実施の形態1では、制限値SMAXについてフレーム毎の算出を行わないこととしているが、実施の形態2では、制限値SMAXをフレーム毎の画像の特徴、例えば輝度分布に基づいて定める。
図9は、図5と概して同じであるが、ステップST16及びST17が付加されている。
ステップST16では、画像の特徴、即ち短露光画像及び長露光画像の特徴、例えば輝度分布に基づいて輝度値の差の最大値IDMAX及び変化量比率の最大値KMAXの推定を行う。
ステップST17では、ステップST16で推定された最大値IDMAX及びKMAXを用いて制限値SMAXを決定する。
ステップST32aでは、図10(b)に示すように、短露光画像の累積ヒストグラムDSにおける第1の指定累積度数A1に対応する輝度値、即ち短露光画像のA1番目の画素の輝度値、即ち、短露光画像のヒストグラムHSにおいて、各輝度値を有する画素の数HS[Ip]を、輝度値の低い側から順次積算し、累積度数が第1の指定累積度数A1に達したときの輝度値を、短露光画像における第1の対応輝度値ISA1として検出する。
なお、ステップST33の処理は、ステップST32a〜ST32dのすべてが終わらなくても、ステップST32a及びST32dの処理が終わったら、直ちに行うこととしても良い。
ILSD=(ILA2−ISA1) …式(19a)
で表される差ILSDを輝度値差分(対応輝度値間の差分)として求める。
IRATIO=(ILA2−ILA1)/(ISA2−ISA1) …式(19b)
で表される比IRATIOを差分比率として求める。
ステップST35では、予定されている第1及び第2の指定累積度数A1及びA2の組合せのすべてについてステップST31〜ST34の処理が終わったかどうかの判定、即ちほかに指定すべき指定累積度数A1及びA2の組合せがあるかどうかの判定が行われる。
ほかに指定すべき累積度数A1、A2があれば(YES)、ステップST31に戻る。その場合、ステップST31で、予定されている第1及び第2の指定累積度数A1及びA2の組合せのうちの次のものが選択され、選択された指定累積度数A1及びA2の組合せを用いて、ステップST32a〜ST34の処理が繰り返される。
ステップST16の次にステップST17の処理が行われる。
ステップST14において、実施の形態1では、予め定められた制限値SMAXを用いて傾きSとの比較を行ったが、実施の形態2ではステップST17で求められた制限値SMAXを用いて傾きSとの比較を行う。
それ以外の点で、ステップST14の処理は実施の形態1で説明したのと同じである。また、ステップST15の処理は、実施の形態1で説明したのと同様である。
しかしながら、この点は必須ではなく、ステップST12では、輝度加算値ISUMが第1の閾値T1よりも小さい範囲及び輝度加算値ISUMが第2の閾値T2よりも大きい範囲の合成比率βの値を決定せず、輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲の合成比率βの値のみを暫定的に定め、ステップST14でYESとの判定がなされたときに、輝度加算値ISUMが第1の閾値T1よりも小さい範囲及び輝度加算値ISUMが第2の閾値T2よりも大きい範囲の合成比率βの値を決定し、ステップST12で暫定的に決定された輝度加算値ISUMが第1の閾値T1から第2の閾値T2までの範囲の合成比率βの値と組み合わせることで、合成比率テーブルを完成させることとしても良い。
上記のように、実施の形態1及び2では、合成比率テーブルとして、図4に実線C11で例示するように、第1の閾値T1から第2の閾値T2までの範囲における合成比率の値が直線的に変化するものを用いている。これに対し、実施の形態3では、合成比率テーブルとして、図4に破線C12で例示するように、第1の閾値T1から第2の閾値T2までの範囲における合成比率の値が曲線に沿って、単調に変化し、合成比率の変化の傾きSも単調に変化するものが用いられる。例えば、合成比率テーブルD2として、長露光画像の合成比率β(ISUM)を輝度加算値ISUMの関数として下記の式(20)で定義されるものが用いられる。
a、c及びdは定数であり、定数a及びdは負の値である。
これらの数値を式(21a)及び(21b)に代入すると、
SMAX2=1/(5×32) …式(22b)
となる。
上記のように、合成比率α及びβの値は、α+β=1を満たし、0から1の範囲で変化するものである。従って、式(15)の右辺の(α+β×K)/(1+K)は、β=1(従って、α=0)である場合、Kが小さいほど、小さくなり、(IL−IS)=IDが大きいほど小さくなることが分かる。
上記のように、合成比率α及びβの値は、α+β=1を満たし、0から1の範囲で変化するものである。従って、式(15)の右辺の(α+β×K)/(1+K)は、β=0(従って、α=1)である場合、Kが大きいほど、小さくなり、(IL−IS)=IDが大きいほど小さくなることが分かる。
図12でステップST11における処理は、実施の形態1に関し、図5及び図6を参照して説明したのと同じである。
ステップST11の次にステップST41に進む。
即ち、ISUM=T1において、β(ISUM)=1でかつS≦SMAX1を満たし、β(ISUM)=0でかつS<SMAX2を満たすように、定数a、c及びdを暫定的に決定する。
この判定を行うことで、ISUM=T1において、β(ISUM)=1でかつS≦SMAX1を満たし、ISUM=T2においてβ(ISUM)=0でかつS<SMAX2を満たす合成比率テーブルへの補正が可能か否かを判定することができる。
以下、これらの点について説明する。
β’(ISUM)=S …式(27)
a×1−a×d≦1/(2×32) …式(30)
a×0−a×d≦1/(5×32) …式(32)
即ち、式(20)において、ISUM=T1、β(ISUM)=1と置き、
1=c+d …式(33)
を得る。この式を、定数c及びdが満たすべき、さらなる条件を表すものとして用いることができる。即ち、定数dが求まれば、式(33)により、定数cを求めることができる。
そしてこのようにして求められた定数a、c及びdの値を式(20)に代入する。
ステップST42では、ステップST41で定数a、c及びdが暫定的に定められた式(20)が、ISUM=T2においてβ(ISUM)≦0を満たすか否かの判定を行う。ISUM=T2におけるβ(ISUM)をβ(T2)と表すと、ステップST42における判定は、β(T2)≦0を満たすか否かの判定と書き換えることができる。
ステップST43では、ISUM=T2において、β(ISUM)=0かβ(ISUM)<0かの判定を行う。
d’=d−βT2 …式(35)
により補正する。
このように補正することで、βT2を1から差し引いた値(1−βT2)を、輝度加算値ISUMが第1の閾値T1に等しいときの合成比率βT1の、補正後の値βT1cとする。
c’+d’=βT1c …式(36)
を用いて、この式(36)を満たすc’を求める。
ステップST46では、ステップST41、ステップST44又はST45で定められた定数a、c及びdを式(20)に代入し、ISUMとして第1の閾値T1から第2の閾値T2までの範囲内の複数の異なる値を順次代入して、β(ISUM)の対応する値を求めることで、合成比率テーブルのうちの第1の閾値T1から第2の閾値T2までの部分を生成する。
ステップST44の処理を経てステップST46に進んだ場合には、ステップST44で補正された定数aと、ステップST41で暫定的に決定された定数c及びdとが用いられる。
ステップST45の処理を経てステップST46に進んだ場合には、ステップST45で補正された定数c及びdと、ステップST41で暫定的に決定された定数aとが用いられる。
このようにして生成された合成比率テーブルはメモリ23aに記憶される。
ステップST46の次に処理を終了する。
このようにすると、制限値SMAXに対する制約を緩やかにすることができる。即ち、制限値SMAXを固定値とする場合に比べ演算量は増加するものの、式(15)を満たす範囲で、傾きSとして、より大きな値を設定し易くなる。そのため、合成比率テーブルD2の生成に当たり、傾きSが制限値SMAXよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。
上記のように、実施の形態3では、制限値SMAXを合成比率βの値に応じて変化させる一方、制限値SMAXの算出を、フレーム毎には行わないこととしている。これに対し、実施の形態4では、実施の形態3と同様に、制限値SMAXを合成比率βの値に応じて変化させるとともに、実施の形態2と同様に、短露光画像及び長露光画像の特徴、例えば、輝度分布に基づき算出する。
図14は、図12と概して同じであるが、ステップST16及びステップST47が付加されている。
ステップST16では実施の形態2で述べたのと同様に、画像の特徴、即ち、短露光画像及び長露光画像の特徴、例えば輝度分布に基づいて最大値IDMAX及びKMAXの推定を行う。
その決定の方法は実施の形態3で説明したのと同様である。
ステップST41以降の処理は、実施の形態3と同じである。
このようにすると、制限値SMAXに対する制約を緩やかにすることができる。即ち、制限値SMAXを固定値とする場合に比べ演算量は増加するものの、式(15)を満たす範囲で傾きSとして、より大きな値を設定し易くなる。そのため、合成比率テーブルD2の生成に当たり、傾きSが制限値SMAXよりも大きくなるのを避けることが容易となり、合成画像のダイナミックレンジの拡大比率をより大きくすることが可能となる。
図15に実施の形態5における画像処理装置の構成を示す。図15の画像処理装置は図1の画像処理装置と概して同じであるが、図15では、輝度計測処理部28が追加されている。
ステップST51では、長露光画像の複数の分割領域の一つを選択するとともに、短露光画像の複数の分割領域の一つを選択する。この際、長露光画像と短露光画像とで同じ位置の分割領域の一つを選択する。
分割領域は例えば矩形の領域であって、画像を1以上の垂直方向の直線及び1以上の水平方向の直線で区切ることで生成される領域である。
ステップST51の次にステップST52に進む。
ステップST52の次にステップST53及びST54を並行して行う。
IXND=ILMX−ISMN
で与えられる差分を、当該分割領域についての輝度値差分(領域内最大輝度値と領域内最小輝度値との差分)として求める。
IRTO=(ILMX−ILMN)/(ISMX−ISMN)
で与えられる比を、当該分割領域についての差分比率として求める。
ステップST55では、すべての分割領域についてステップST51〜ST54の処理が終わったか、即ち尚も選択すべき分割領域があるか否かの判定を行う。
ステップST55でYESであれば、即ち、選択すべき分割領域が残っていれば、ステップST51に戻る。その場合、ステップST51で次の分割領域が選択され、選択した分割領域についてステップST52〜ST54の処理が繰り返される。
ステップST36及びST37が終わると、ステップST16の処理が終わる。
ステップST11〜ST13の処理、及びST17以降の処理は、実施の形態2と同様である。
実施の形態2では、長露光画像と短露光画像とで、累積ヒストグラムにおける累積度数が同じ画素(輝度値の低い側から数えたときの順序が同じ画素)は、画像中の同じ位置或いは互いに近い位置にある画素であるとの前提に立ち、累積度数に対応する輝度値ILA1、ILA2、ISA1及びISA2を求め、これらの差(ILA2−ISA1)、(ILA2−ILA1)、及び(ISA2−ISA1)を用いて、輝度値の差の最大値IDMAX及び変化量比率の最大値KMAXを推定し、これらの推定値を用いて制限値SMAXを算出している。
上記のように、実施の形態2では、累積ヒストグラムにおける累積度数が同じ画素が、画面上の同じ位置或いは互いに近い位置にあることを前提とするが、被写体に動きがあると、この前提が崩れる。その結果、制限値SMAXの算出精度が低下する。
同じ分割領域内の画素は、同一又は近くに位置する画素である。従って、動きがあっても最大値ILMX及びISMXと最小値ILMN及びISMNとの差(ILMX−ISMN)、(ILMX−ILMN)、及び(ISMX−ISMN)は、動きの影響を受けにくい。そのため、制限値SMAXの算出を高精度で行い得る。
上記の実施の形態では、累積ヒストグラムとして、低輝度側からの累積度数を表すものが生成される。しかし、本発明はこれに限定されない。累積ヒストグラムとして、高輝度側からの累積度数を表すものを生成することとしても良い。
例えば、図1又は図15の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せによって、上述の各機能を実現することができる。
図17に示されるコンピュータ50は、CPU51と、メモリ52と、入力インターフェース53と、出力インターフェース54とを備え、これらはバス55で接続されている。
入力インターフェース53には、カメラ10からの画像データP1が入力される。
CPU51による処理の内容は、実施の形態1〜5で説明したのと同様である。
Claims (16)
- 被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理装置であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理部と、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記短露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理部と、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理部と、
前記輝度値加算処理部で生成された前記輝度加算値と前記合成比率テーブル生成処理部で生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理部と、
前記合成比率生成処理部で求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理部とを備え、
前記合成比率テーブル生成処理部は、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第1の閾値及び第2の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第1の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第2の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする画像処理装置。 - 前記合成比率テーブル生成処理部は、相前後して入力される2つのフレームの画像の各々について平均輝度値を求め、前記2つのフレームの画像のうち、平均輝度値が高い方を長露光画像であり、平均輝度値が低い方を短露光画像であると判断する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記合成比率テーブル生成処理部は、
前記短露光画像のヒストグラムにおいて各輝度値を有する画素の数を下側設定値まで積算することで得られる累積度数を第1の対応累積度数として求め、
前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を順次積算し、累積度数が前記第1の対応累積度数に達したときの輝度値を第1の対応輝度値として求め、
前記下側設定値と前記第1の対応輝度値との和を、前記第1の閾値として設定し、
前記長露光画像のヒストグラムにおいて各輝度値を有する画素の数を、前記下側設定値よりも大きい上側設定値まで積算することで得られる累積度数を第2の対応累積度数として求め、
前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を順次積算し、累積度数が前記第2の対応累積度数に達したときの輝度値を第2の対応輝度値として求め、
前記上側設定値と前記第2の対応輝度値との和を、前記第2の閾値として設定する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記制限値が、
前記短露光画像と前記長露光画像における同じ位置の画素の輝度値の差の最大値と、
前記短露光画像における前記輝度値の局所的変化量に対する前記長露光画像における前記輝度値の局所的変化量の比である、前記輝度値の変化量比率の最大値と
に基づいて定められるものである
ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記局所的変化量が互いに隣接する画素間の差であることを特徴とする請求項4に記載の画像処理装置。
- 前記輝度値の差の最大値及び前記変化量比率の最大値として、前記画像処理装置を含む撮像システムの仕様又は使用環境に基づいて推定された値が用いられることを特徴とする請求項4又は5に記載の画像処理装置。
- 前記合成比率テーブル生成処理部は、
前記長露光画像及び前記短露光画像の各々の全画素数の範囲内で、複数の第1の指定累積度数及び第2の指定累積度数の組合せを定め、
前記複数の第1の指定累積度数及び第2の指定累積度数の組合せの各々について、
前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第1の指定累積度数に達したときの輝度値を、前記短露光画像における第1の対応輝度値として検出し、
前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第1の指定累積度数に達したときの輝度値を、前記長露光画像における第1の対応輝度値として検出し、
前記短露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第2の指定累積度数に達したときの輝度値を、前記短露光画像における第2の対応輝度値として検出し、
前記長露光画像のヒストグラムにおいて、各輝度値を有する画素の数を、順次積算し、累積度数が前記第2の指定累積度数に達したときの輝度値を、前記長露光画像における第2の輝度値として検出し、
前記長露光画像における前記第2の対応輝度値と、前記短露光画像における前記第1の対応輝度値との差を、前記第1の指定累積度数及び前記第2の指定累積度数の組合せについての輝度値差分として求め、
前記短露光画像における前記第2の対応輝度値と前記第1の対応輝度値との差に対する前記長露光画像における前記第2の対応輝度値と前記第1の対応輝度値との差の比を、前記第1の指定累積度数及び前記第2の指定累積度数の組合せについての差分比率として求め、
前記複数の前記第1の指定累積度数及び前記第2の指定累積度数の組合せについて求められた前記輝度値差分のうちの最大値を、前記輝度値の差の最大値として用い、
前記複数の前記第1の指定累積度数及び前記第2の指定累積度数の組合せについて求められた前記差分比率のうちの最大値を、前記変化量比率の最大値として用いる
ことを特徴とする請求項4又は5に記載の画像処理装置。 - 前記長露光画像及び前記短露光画像の各々を複数の分割領域に分割し、
前記分割領域の各々について、
前記短露光画像の輝度値の最小値を領域内最小輝度値として求め、最大値を領域内最大輝度値として求め、
前記長露光画像の輝度値の最小値を領域内最小輝度値として求め、最大値を領域内最大輝度値として求め、
同じ位置の前記分割領域についての前記長露光画像の前記領域内最大輝度値と前記短露光画像の前記領域内最小輝度値との差分を、輝度値差分として求め、
前記複数の分割領域について求められた前記輝度値差分の最大値を、前記輝度値の差の最大値として用い、
同じ位置の前記分割領域についての前記短露光画像の前記領域内最大輝度値と前記領域内最小輝度値の差に対する、前記長露光画像の前記領域内最大輝度値と前記領域内最小輝度値の差の比を、差分比率として求め、
複数の前記分割領域について求められた前記差分比率の最大値を、前記変化量比率の最大値として用いる
ことを特徴とする請求項4又は5に記載の画像処理装置。 - 前記合成比率テーブル生成処理部は、前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲において、前記合成比率の変化の傾きが前記制限値を超えないようにするために、前記長露光画像の前記合成比率上限値を補正することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記合成比率テーブル生成処理部は、前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲において、前記合成比率の変化の傾きが前記制限値を超えないようにするために、前記長露光画像の前記合成比率下限値を補正することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記制限値として、
前記輝度加算値が前記第1の閾値であるときの前記合成比率の変化の傾きを制限する第1の制限値と、
前記輝度加算値が前記第2の閾値であるときの前記合成比率の変化の傾きを制限する第2の制限値とが定められ、
前記合成比率テーブル生成処理部は、
前記合成比率の変化の傾きが、
前記輝度加算値が前記第1の閾値であるときに前記第1の制限値を超えず、
前記輝度加算値が前記第2の閾値であるときに前記第2の制限値を超えないように、
前記合成比率の値を定める
ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - 前記合成比率テーブル生成処理部は、
前記第1の閾値から前記第2の閾値までの範囲において、前記長露光画像の合成比率の変化の傾きが、前記輝度加算値の増加にともなって次第に減少するように前記合成比率テーブルを生成することを特徴とする請求項11に記載の画像処理装置。 - 前記第1の閾値から前記第2の閾値までの範囲における前記長露光画像の前記合成比率の値が、前記輝度加算値に対して、
で表される関係を有し、
前記合成比率テーブル生成処理部は、前記短露光画像と前記長露光画像における同じ位置の画素の輝度値の差の最大値と、前記短露光画像における前記輝度値の局所的変化量に対する前記長露光画像における前記輝度値の局所的変化量の比である、前記輝度値の変化量比率の最大値と、前記第1の閾値に基づいて、前記定数a、c及びdの値を定める
ことを特徴とする請求項11又は12に記載の画像処理装置。 - 被写体が同一で露光条件が異なる長露光画像と短露光画像を合成して合成画像を生成する画像処理方法であって、
前記長露光画像と前記短露光画像の、互いに同じ位置の画素の輝度値を加算して輝度加算値を生成する輝度値加算処理ステップと、
前記長露光画像の各画素の輝度値から前記長露光画像のヒストグラムを生成し、前記短露光画像の各画素の輝度値から前記短露光画像のヒストグラムを生成するヒストグラム生成処理ステップと、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づき、前記輝度加算値と合成比率の関係を規定する合成比率テーブルを生成する合成比率テーブル生成処理ステップと、
前記輝度値加算処理ステップで生成された前記輝度加算値と前記合成比率テーブル生成処理ステップで生成された前記合成比率テーブルとを参照し、前記長露光画像の合成比率と前記短露光画像の合成比率を求める合成比率生成処理ステップと、
前記合成比率生成処理ステップで求められた前記長露光画像の合成比率と前記短露光画像の合成比率に基づき、前記長露光画像と前記短露光画像の、同じ位置の画素の画素値を加重加算する画素値合成処理ステップとを備え、
前記合成比率テーブル生成処理ステップは、
前記長露光画像のヒストグラム及び前記短露光画像のヒストグラムに基づいて、前記輝度加算値が取り得る値の範囲内の第1の閾値及び第2の閾値を決定し、
前記長露光画像の合成比率が、
前記輝度加算値が前記第1の閾値以下の範囲では、合成比率上限値に固定され、
前記輝度加算値が前記第2の閾値以上の範囲では、合成比率下限値に固定され、
前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲では、前記輝度加算値の増加に伴って前記合成比率上限値から前記合成比率下限値まで徐々に減少するものとなるように、かつ、
前記輝度加算値が前記第1の閾値以上で前記第2の閾値以下の範囲において、前記合成比率の変化の傾きが制限値を超えないように、前記合成比率上限値または前記合成比率下限値を補正して前記合成比率テーブルを生成する
ことを特徴とする画像処理方法。 - 請求項14に記載の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム。
- 請求項15に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015239203 | 2015-12-08 | ||
JP2015239203 | 2015-12-08 | ||
PCT/JP2016/086442 WO2017099150A1 (ja) | 2015-12-08 | 2016-12-07 | 画像処理装置及び方法並びにプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017099150A1 JPWO2017099150A1 (ja) | 2018-03-08 |
JP6425833B2 true JP6425833B2 (ja) | 2018-11-21 |
Family
ID=59013293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017555115A Active JP6425833B2 (ja) | 2015-12-08 | 2016-12-07 | 画像処理装置及び方法並びにプログラム及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6425833B2 (ja) |
WO (1) | WO2017099150A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6982419B2 (ja) * | 2017-06-30 | 2021-12-17 | 三菱スペース・ソフトウエア株式会社 | 画像比較装置、画像比較プログラムおよび画像比較方法 |
JP7465076B2 (ja) * | 2018-12-20 | 2024-04-10 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US11062436B2 (en) * | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
CN112312001B (zh) * | 2019-07-30 | 2022-08-23 | 阿波罗智能技术(北京)有限公司 | 一种图像检测的方法、装置、设备和计算机存储介质 |
CN112653845B (zh) * | 2019-10-11 | 2022-08-26 | 杭州海康威视数字技术股份有限公司 | 曝光控制方法、装置、电子设备及可读存储介质 |
CN111654638B (zh) * | 2020-04-30 | 2021-09-07 | 深圳英飞拓智能技术有限公司 | 摄像机宽动态成像曝光调节方法及装置 |
CN113905194B (zh) * | 2021-08-31 | 2024-05-10 | 浙江大华技术股份有限公司 | 一种曝光比处理方法、终端设备及计算机存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224467A (ja) * | 1999-02-04 | 2000-08-11 | Toshiba Corp | 撮像装置 |
JP2005072965A (ja) * | 2003-08-25 | 2005-03-17 | Fuji Photo Film Co Ltd | 画像合成方法及び固体撮像装置並びにデジタルカメラ |
JP2010045510A (ja) * | 2008-08-11 | 2010-02-25 | Panasonic Corp | 画像処理装置及び画像処理方法 |
JP5975642B2 (ja) * | 2011-12-28 | 2016-08-23 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
-
2016
- 2016-12-07 JP JP2017555115A patent/JP6425833B2/ja active Active
- 2016-12-07 WO PCT/JP2016/086442 patent/WO2017099150A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2017099150A1 (ja) | 2017-06-15 |
JPWO2017099150A1 (ja) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6425833B2 (ja) | 画像処理装置及び方法並びにプログラム及び記録媒体 | |
JP3130266B2 (ja) | 平均分離ヒストグラム等化を用いる映像改善方法及びその回路 | |
JP6020199B2 (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
US10672134B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program | |
EP2267655A2 (en) | Image processing method and image processing apparatus | |
RU2496250C1 (ru) | Устройство и способ обработки изображения | |
JPH103538A (ja) | 量子化された平均分離ヒストグラム等化を用いた画像改善方法及びその回路 | |
JP5212380B2 (ja) | 画像補正装置、画像補正プログラムおよび画像補正方法 | |
JP2012217102A (ja) | 画像処理装置、及びその制御方法及びプログラム | |
JP2006197584A (ja) | 画像のrgb情報を利用したブラック/ホワイト拡張システム | |
JPH08153197A (ja) | 画像処理装置 | |
CN104954698A (zh) | 能够生成合成视频图像的图像处理设备及其控制方法 | |
JP6600216B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP6423668B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2006254415A (ja) | 輝度変換曲線作成装置および方法,ならび輝度変換曲線作成プログラム | |
JP2011199785A (ja) | 撮像装置及び方法 | |
JP2002223355A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
JP7427398B2 (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
JP4708866B2 (ja) | ルックアップテーブル作成装置および方法,ならびにルックアップテーブル作成プログラム | |
JP3981260B2 (ja) | 階調補正装置 | |
JP4049116B2 (ja) | 画像処理装置 | |
JP4265986B2 (ja) | 画像処理方法および装置並びにプログラム | |
US20210035308A1 (en) | Apparatus and method for calculating motion vector | |
JP2019016893A (ja) | 画像処理装置およびその制御方法及びプログラム | |
JP2010252002A (ja) | 階調補正装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6425833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |