JP6774788B2 - 色調整装置および色調整システム - Google Patents
色調整装置および色調整システム Download PDFInfo
- Publication number
- JP6774788B2 JP6774788B2 JP2016105300A JP2016105300A JP6774788B2 JP 6774788 B2 JP6774788 B2 JP 6774788B2 JP 2016105300 A JP2016105300 A JP 2016105300A JP 2016105300 A JP2016105300 A JP 2016105300A JP 6774788 B2 JP6774788 B2 JP 6774788B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- unit
- adjustment
- camera
- signal value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003595 spectral effect Effects 0.000 claims description 135
- 238000004364 calculation method Methods 0.000 claims description 58
- 238000005286 illumination Methods 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 description 50
- 238000000034 method Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 23
- 239000003086 colorant Substances 0.000 description 21
- 230000004044 response Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004611 spectroscopical analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000000049 pigment Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Processing Of Color Television Signals (AREA)
Description
例えば、生放送の中継(ライブ中継)では、撮影に用いる複数のカメラの全てを同一のカラーチャートに向けて設置し、照明をカラーチャートに当てて色調整を行う。色調整において、撮影時に用いる照明と、所定の基準色を表す領域が配列されたカラーチャートを用いる。その場合には、色の調整を行うビデオエンジニアの他、撮影を行うカメラマンが撮影現場に臨席する必要がある点で人的な作業が要求される。また、色の調整の際には、照明をカラーチャートに当てる必要がある。そのような照明を常時当てることができない劇場などでは、色の調整を行う時間が限られる。
[1]の構成によれば、対象撮像部が撮影した画像の色調整に用いる調整パラメータが、測定された照明光の分光特性に基づいて得られる調整信号値が参照信号値に近似するように算出される。そのため、算出した調整パラメータを用いることで複数の対象撮像部のそれぞれの撮影環境に応じて異なる照明光の分光特性に関わらず撮影した画像の色が互いに近似されるように調整することができる。
前記残差として、前記参照撮影部からの前記基準色の参照信号値から算出される色空間値と前記調整信号値から算出される色空間値との差を算出することを特徴とする。
[2]の構成によれば、複数の対象撮像部のそれぞれが撮影した画像について、人間が
知覚する色を定量的に表す色空間の領域において、画像の色が互いに近似させることがで
きる調整パラメータを算出することができる。
[3]の構成によれば、対象撮影部が交換されるとき、それぞれの対象撮影部が撮影した画像の色が、参照撮影部が撮影した画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、対象撮影部の交換の有無に関わらず、撮影した画像の色が複数の対象撮影部間で互いに近似するように色調整を行うことができる。また、対象撮影部の分光特性の設定に係るユーザの操作を回避することができる。
[4]の構成によれば、対象撮影部への付属機器の着脱もしくは交換の状態に応じて、対象撮影部が撮影した画像の色が参照撮影部で撮影される画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、対象撮影部への付属機器の着脱もしくは交換の有無の状態や、互いにこれらの状態が異なる複数の対象撮影部間で、撮影した画像の色が互いに近似するように色調整を行うことができる。また、対象撮影部に装着された付属機器の分光特性の設定に係るユーザの操作を回避することができる。
[5]の構成によれば、少なくとも2個の対象撮像部がそれぞれ撮影した画像の色調整に用いる調整パラメータが、測定された照明光の分光特性に基づいて得られる調整信号値が参照信号値に近似するように算出される。そのため、算出した調整パラメータを用いることで少なくとも2個の対象撮像部それぞれの撮影環境に応じて異なる照明光の分光特性に関わらず、撮影した画像の色が互いに近似するように色調整を行うことができる。
以下、図面を参照しながら本発明の第1実施形態の一構成例である色調整システム1について説明する。
図1は、本実施形態に係る色調整システム1の構成を示す概略図である。
色調整システム1は、コントローラ10、分光放射照度計20−A、20−B、カメラ30−A、30−Bおよびリファレンスカメラ30−rを含んで構成される。以下の説明では、分光放射照度計20−A、20−B、カメラ30−A、30−Bを、それぞれ分光放射照度計20、カメラ30と総称することがある。図1に示す例では、分光放射照度計20、カメラ30の個数は、それぞれ2個であるが、3個以上であってもよい。
図2は、本実施形態に係る色調整システム1の機能構成を示すブロック図である。
コントローラ10は、データ入力部12、信号処理部14、操作部15、記憶部16およびデータ出力部17を含んで構成される。なお、図2に示す例ではリファレンスカメラ30−rの図示が省略されている。リファレンスカメラ30−rから取得した参照画像データが予め記憶部16に記憶されていることを前提とする。
RGB値算出部142は、調整パラメータ設定部143から入力されるカメラ30−A、30−Bの調整パラメータであるゲインとリニアマトリックスを基準RGB値にそれぞれ乗算して調整信号値として調整RGB値を算出する。
RGB値算出部142は、カメラ毎に算出した基準RGB値と調整RGB値を調整パラメータ設定部143に出力する。
ゲイン設定部144は、RGB値算出部142から入力されるカメラ毎の基準RGB値に乗算されるゲインを定める。ゲインは、各色成分の要素ゲインからなるベクトル値である。要素ゲインは、基準RGB値を構成する各色成分の色信号値であるR信号値、G信号値およびB信号値にそれぞれ乗じられるパラメータである。ゲイン設定部144は、調整RGB値が表す色のホワイトバランスを合わせるように要素ゲインを定める。ゲイン設定部144は、例えば、色票Cmのうち基準色が無彩色である領域内の画素の調整RGB値が表す色が無彩色となるように要素ゲインを定める。無彩色とは、彩度を有しない色であり、白、黒ならびに各種の濃度の灰色が含まれる。その際、ゲイン設定部144は、公知のホワイトバランスゲイン算出方法を用いてゲインを算出してもよいし、操作部15からの操作信号で指定されるゲインを採用してもよい。ゲイン設定部144は、カメラ30−A、30−B毎に定めたゲインをRGB値算出部142と、データ出力部17を介してそれぞれのカメラ30−A、30−Bに出力する。
データ出力部17は、信号処理部14から入力されるデータとしてカメラ30−A、30−B毎の調整パラメータであるゲインとリニアマトリックスを、カメラ30−A、30−Bのそれぞれに出力する。データ出力部17は、データ入力部12と一体化した単一のデータ入出力インタフェースとして構成されてもよい。
次に、RGB値算出部142において算出される調整RGB値の成分について説明する。
図3は、本実施形態に係るカメラ撮像を表す模式図である。
照明Ltからの照明光が色票Cmで反射した反射光が、カメラ30に入射される。従って、反射光の分光特性は、色票分光反射率ρ(λ)に照明分光分布P(λ)を乗じて得られる分光特性となる。色票分光反射率ρ(λ)で表される色票Cmの基準色は、上述の色票画像データが示す画素毎のRGB値で表される。照明分光分布P(λ)は、上述の照明分光特性に相当する。
カメラ30に入射される反射光は、光学系31、IRカットフィルタ32およびカラーフィルタ33を透過し、イメージセンサ34において色票Cmの画像として撮影される。光学系31には、レンズが含まれる。従って、カメラの分光特性は、レンズ透過特性T(λ)、IRカットフィルタ透過特性C(λ)、カラーフィルタ透過特性F(λ)およびセンサ分光感度S(λ)を乗じて得られる分光特性に相当する。カラーフィルタ透過特性F(λ)は、赤、緑、青の各色信号値に対応するカラーフィルタ透過特性FR(λ)、FG(λ)、FB(λ)を要素とするベクトル量である。イメージセンサ34は、撮影した画像を表す画素毎のRGB値を示す画像データを生成する。
調整RGB値の算出に用いられるパラメータのうち色票画像データが示す色票分光反射率ρ(λ)は不変であってよい。照明分光分布P(λ)は、撮影現場の照明Ltの種類や配置に応じて異なる。そのため、コントローラ10の分光特性取得部141は、色調整の都度、分光放射照度計20が測定した照明分光分布P(λ)を照明分光特性として取得する。レンズ透過特性T(λ)、IRカットフィルタ透過特性C(λ)、カラーフィルタ透過特性F(λ)およびセンサ分光感度S(λ)は、カメラ30に依存するパラメータである。コントローラ10の信号処理部14は、カメラ30毎にこれらのパラメータをカメラ分光特性として予め取得し、取得した分光特性を記憶部16に記憶しておけばよい。RGB値算出部142により算出される基準RGB値[R’,G’,B’]T(Tは、ベクトルまたは行列の転置を示す記号)は、上述のパラメータと式(1)で表される関係を有する。
次に、リニアマトリックスの算出方法について、より詳細に説明する。リニアマトリックス算出部145は、リニアマトリックスを算出する際、カメラ30毎の調整RGB値と参照RGB値との残差を算出する。残差を算出する際、リニアマトリックス算出部145は、画素毎の調整RGB値[R,G,B]TをL*a*b*色空間値[L*,a*,b*]Tに変換する。L*a*b*色空間値は、国際照明委員会(CIE:Commission internationale de l’eclairage)が規定した色空間値である。L*a*b*色空間値は、人間が知覚する色を網羅的に定量化するパラメータである。L*a*b*色空間値のうち、L*は、明度を示す値である。a*、b*の組は、色度を示す値である。a*とb*は、互いに補色の関係にある次元の値である。
そして、リニアマトリックス算出部145は、式(5)に示すように、調整RGB値[R,G,B]Tに基づくL*a*b*色空間値[L*,a*,b*]Tと参照RGB値[Rr,Gr,Br]Tに基づくL*a*b*色空間値[Lr *,ar *,br *]Tの差分の二乗値の画素間での総和を二乗残差εcとしてカメラ毎に算出する。
この構成によれば、カメラ30が撮影した画像の色調整に用いる調整パラメータが、測定された照明光の分光特性に基づいて得られる調整RGB値が参照RGB値に近似するように算出される。そのため、算出した調整パラメータを用いることで複数のカメラ30のそれぞれの撮影環境に応じて異なる照明光の分光特性に関わらず撮影した画像の色が互いに近似されるように調整することができる。
この構成によれば、複数のカメラ30のそれぞれが撮影した画像について、人間が知覚する色を定量的に表す色空間の領域において、画像の色を互いに近似させることができる調整パラメータを算出することができる。
次に、本発明の第2実施形態について説明する。第1実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図5は、本実施形態に係る色調整システム1の機能構成を示すブロック図である。
本実施形態の一構成例である色調整システム1では、カメラ30−A、30−Bの記憶部(図示せず)には、それぞれを特定する識別情報として互いに異なる機器ID(Identifier)が設定させておく。
コントローラ10は、さらに機器検出部18を含んで構成される。機器検出部18は、データ入力部12とデータ出力部17に有線または無線で接続されたカメラ30−A、30−Bを検出する。機器検出部18は、例えば、データ入力部12に接続された機器としてカメラ30−A、30−Bに接続確認信号を送信する。カメラ30−A、30−Bが備える制御部(図示せず)は、コントローラ10から接続確認信号を受信するとき、その応答として自機の機器IDを含む応答信号をコントローラ10に出力する。機器検出部18は、接続確認信号の送信から所定時間(例えば、1秒)以内に受信する応答信号に含まれる機器IDが示すカメラ30を特定する。機器検出部18は、特定したカメラ30の機器IDをRGB値算出部142に出力する。
図6に示す例では、分光特性テーブルは、機器IDとカメラ分光特性データとが対応付けて記憶部16に記憶されるデータテーブルである。分光特性テーブルには、複数の機器IDのそれぞれとカメラ分光特性データが対応付けられる。図6の第2行に示す例では、機器ID「00011」とカメラ分光特性データを格納したデータファイル「Spec_Cm_A」とが対応付けられている。
次に、本実施形態に係る色調整処理について説明する。
図7は、本実施形態に係る色調整処理を示すフローチャートである。
(ステップS101)機器検出部18は、データ入力部12に接続された機器であるカメラ30から受信した応答信号に含まれる機器IDを検出する。その後、ステップS102の処理に進む。
(ステップS102)RGB値算出部142は、検出した機器IDに対応するカメラ分光特性データを記憶部16から取得する。その後、ステップS103の処理に進む。
(ステップS103)リニアマトリックス算出部145は、取得したカメラ分光特性データを用いて算出された調整RGB値と参照RGB値との残差の大きさが小さくなるようにリニアマトリックスを算出する。その後、図7に示す処理を終了する。
次に、本実施形態の変形例について説明する。
本変形例では、記憶部16において、カメラ30に装着されうる付属機器、例えば、レンズ、フィルタなどを識別する機器IDと、付属機器の分光特性を示す分光特性データをさらに対応付けて記憶させておいてもよい。その場合、カメラ分光特性データが示すカメラ分光特性として、レンズやフィルタなど着脱される付属機器の分光特性が含まれないカメラ30の基本的な分光特性を示すカメラ分光特性データを記憶部16に記憶しておく。
図8に示す例では、分光特性テーブルには、カメラ30−A、30−Bの機器IDとして「00011」、「00012」、の他、レンズの機器IDとして「00021」、「00022」、フィルタの機器IDとして「00031」、「00032」が含まれる。機器ID「00011」、「00012」、「00021」、「00022」、「00031」、「00032」には、それぞれの機器IDが示す機器の分光特性データ「Spec_Cm_A」、「Spec_Cm_B」、「Spec_Ln_A」、「Spec_Ln_B」、「Spec_Fl_A」、「Spec_Fl_B」が対応付けられている。
制御部は、コントローラ10からの接続確認信号を受信するとき、検出した付属機器の機器IDをさらに含む応答信号をコントローラ10に送信する。
機器検出部18は、接続されたカメラの機器IDの他、検出した付属機器の機器IDをRGB値算出部142に出力する。
次に、本変形例に係る色調整処理について説明する。次に説明する例では、付属機器がレンズとフィルタである場合を例にする。
図9は、本変形例に係る色調整処理を示すフローチャートである。
図9に示す色調整処理は、ステップS111〜S117の処理を有する。ステップS111、S112の処理は、図7に示すステップS101、S102の処理と同様であるため、説明を省略する。但し、ステップS112の処理の終了後、ステップS113の処理に進む。
(ステップS114)RGB値算出部142は、検出したレンズの機器IDに対応する分光特性データを記憶部16から取得する。その後、ステップS115の処理に進む。
(ステップS116)RGB値算出部142は、検出したレンズの機器IDに対応する分光特性データを記憶部16から取得する。その後、ステップS117の処理に進む。
この構成により、カメラ30が交換されるとき、それぞれのカメラ30が撮影した画像の色がリファレンスカメラ30−rが撮影した画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、カメラ30の交換の有無に関わらず、撮影した画像の色が複数のカメラ30間で互いに近似するように色調整を行うことができる。また、カメラ30の分光特性の設定に係るユーザの操作を回避することができる。
この構成により、カメラ30へのレンズやフィルタなどの付属機器の着脱もしくは交換の状態に応じて、カメラ30が撮影した画像の色がリファレンスカメラ30−rで撮影される画像の色に近似するように調整される。そのため、算出される調整パラメータを用いることで、カメラ30において付属機器の着脱もしくは交換の有無の状態や、これらの状態が互いに異なる複数のカメラ30間で、撮影した画像の色が互いに近似するように色調整を行うことができる。また、カメラ30に装着した付属機器の分光特性の設定に係るユーザの操作を回避することができる。
上述した実施形態では、調整信号値と参照信号値の差の大きさの指標値として、調整信号値を変換したL*a*b*色空間値と参照信号値を変換したL*a*b*色空間値との差の画素間の平方和である二乗残差εcを例にしたがこれには限らない。当該指標値は、調整信号値と参照信号値の差の画素間の平方和であってもよい。
また、カメラ30間で色調整に共通に用いる画像として色票Cmが表す画像を用いることを例にしたが、これには限られない。色調整に用いる画像は、複数個の基準色を表す領域を含み、人間が知覚可能な色域全体に複数個の基準色が分布する画像であればよい。
コントローラ10は、いずれかのカメラ30と一体化した単一の色調整装置として構成されてもよい。
Claims (5)
- 色調整の対象である画像の撮影場所の照明からの照明光の分光特性を取得する分光特性取得部と、
所定の基準色を表す信号値に、前記照明光の分光特性、前記色調整の対象である画像を撮影する対象撮影部の分光特性および調整パラメータを作用して調整信号値を算出する信号値算出部と、
色調整において参照する画像を撮影する参照撮影部からの前記基準色の参照信号値と前記調整信号値との残差を少なくするように前記調整パラメータを算出する調整パラメータ設定部と、
を備える色調整装置。 - 前記調整パラメータ設定部は、前記残差として、前記参照撮影部からの前記基準色の参照信号値から算出される色空間値と前記調整信号値から算出される色空間値との差を算出する
ことを特徴とする請求項1に記載の色調整装置。 - 前記対象撮影部の分光特性が記憶された記憶部と、
前記対象撮影部の接続を検出する検出部と、を備え、
前記信号値算出部は、前記対象撮影部の分光特性として前記検出部が検出した対象撮像部の分光特性を用いて前記調整信号値を算出する
ことを特徴とする請求項1または請求項2に記載の色調整装置。 - 前記記憶部には、前記対象撮影部に装着される機器の分光特性が記憶され、
前記検出部は、前記機器の装着を検出し
前記信号値算出部は、前記検出部が装着を検出した機器の分光特性をさらに作用して前記調整信号値を算出する
ことを特徴とする請求項3に記載の色調整装置。 - 請求項1から請求項4のいずれか一項に記載の色調整装置と、
少なくとも2個の前記対象撮影部と、
前記対象撮影部のそれぞれに対応した照明からの前記照明光の分光特性を測定する分光放射照度計と、
を備え、
前記調整パラメータ設定部は、前記調整パラメータを前記対象撮影部に出力する
ことを特徴とする色調整システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016105300A JP6774788B2 (ja) | 2016-05-26 | 2016-05-26 | 色調整装置および色調整システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016105300A JP6774788B2 (ja) | 2016-05-26 | 2016-05-26 | 色調整装置および色調整システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017212640A JP2017212640A (ja) | 2017-11-30 |
JP6774788B2 true JP6774788B2 (ja) | 2020-10-28 |
Family
ID=60476962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016105300A Expired - Fee Related JP6774788B2 (ja) | 2016-05-26 | 2016-05-26 | 色調整装置および色調整システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6774788B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6961506B2 (ja) * | 2018-01-31 | 2021-11-05 | セコム株式会社 | 画像処理装置 |
WO2023108443A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0783482B2 (ja) * | 1985-10-11 | 1995-09-06 | キヤノン株式会社 | ビデオカメラ |
JP2003046818A (ja) * | 2001-07-27 | 2003-02-14 | Canon Inc | レンズ装置、中間アクセサリ、カメラおよびカメラシステム |
JP2005045446A (ja) * | 2003-07-25 | 2005-02-17 | Pentax Corp | 色変換マトリクス算出方法および色補正方法 |
JP5207484B2 (ja) * | 2009-07-24 | 2013-06-12 | 日本放送協会 | 撮像装置 |
JP5530785B2 (ja) * | 2010-04-06 | 2014-06-25 | 日本放送協会 | 撮像装置 |
JP5676906B2 (ja) * | 2010-04-13 | 2015-02-25 | 日本放送協会 | 色補正装置 |
JP6455764B2 (ja) * | 2014-05-30 | 2019-01-23 | パナソニックIpマネジメント株式会社 | 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム |
-
2016
- 2016-05-26 JP JP2016105300A patent/JP6774788B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017212640A (ja) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11748912B2 (en) | Hyperspectral imaging spectrophotometer and system | |
US20110176029A1 (en) | Multispectral and Colorimetric Imaging System | |
US7756328B2 (en) | Color chart processing apparatus, color chart processing method, and color chart processing program | |
TWI279735B (en) | Method and device of color correction for projector, and projector | |
US10168215B2 (en) | Color measurement apparatus and color information processing apparatus | |
US7884980B2 (en) | System for capturing graphical images using hyperspectral illumination | |
KR102621698B1 (ko) | 주변 조명을 특징짓기 위한 시스템들 | |
JP6257551B2 (ja) | 色忠実環境補正装置および色忠実環境補正方法 | |
US8976239B2 (en) | System and apparatus for color correction in transmission-microscope slides | |
JP2019020311A (ja) | 色彩測定方法及び色彩測定装置 | |
Kim et al. | Characterization for high dynamic range imaging | |
Martínez-Verdú et al. | Calculation of the color matching functions of digital cameras from their complete spectral sensitivities | |
JP2005311581A (ja) | 画像入力システム、変換マトリックス算出方法、及びプログラム | |
JP6774788B2 (ja) | 色調整装置および色調整システム | |
JP2010139324A (ja) | 色ムラ測定方法、および色ムラ測定装置 | |
US8284260B2 (en) | Optimal raw RGB determination for color calibration | |
US11922662B2 (en) | Matching two color measurement devices using artificial neural network | |
JP4661129B2 (ja) | 撮像装置及びそのプログラム | |
US20170038196A1 (en) | System and method for acquiring color image from monochrome scan camera | |
JP6851082B2 (ja) | 多地点モニタの色共有化装置 | |
JP6601632B2 (ja) | 色彩測定方法 | |
Guarnera et al. | Absolute colorimetric characterization of a dslr camera | |
Green | Characterization of Input Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6774788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |