JP6940261B2 - 画像解析処理装置、画像解析処理方法、及びプログラム - Google Patents

画像解析処理装置、画像解析処理方法、及びプログラム Download PDF

Info

Publication number
JP6940261B2
JP6940261B2 JP2016145491A JP2016145491A JP6940261B2 JP 6940261 B2 JP6940261 B2 JP 6940261B2 JP 2016145491 A JP2016145491 A JP 2016145491A JP 2016145491 A JP2016145491 A JP 2016145491A JP 6940261 B2 JP6940261 B2 JP 6940261B2
Authority
JP
Japan
Prior art keywords
image
emphasized
point cloud
gradient
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016145491A
Other languages
English (en)
Other versions
JP2018018144A (ja
Inventor
利廣 朝比奈
利廣 朝比奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2016145491A priority Critical patent/JP6940261B2/ja
Publication of JP2018018144A publication Critical patent/JP2018018144A/ja
Application granted granted Critical
Publication of JP6940261B2 publication Critical patent/JP6940261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、航空レーザ計測により得られた情報を処理する画像解析処理装置、画像解析処理方法、及びプログラムに関する。
従来、航空レーザ計測により得られた地形の点群データに基づいて生成する地形図画像としては、段彩図(Color Map)や、陰影図(Shaded Map)等が広く知られている。また近年では、河床など水中の地形も測定できるALB(Airborne LiDAR Bathymetry)といった技術がある。
なお、原地形データを凹部、凸部及び平坦部に分離し、凹部に寒色系の色を付与し、凸部に暖色系の色を付与することで、窪地部分を明瞭に図示しようとする地形図の作成装置が特許文献1に開示されている。
特開2006−072857号公報
しかしながら、上記従来の地形図の作成装置では、高低をそのまま色の変化で図示するため、凹凸のオーダーによっては凹凸の状況を読取ることが困難である場合があった。
本発明は上記実情に鑑みて為されたもので、凹凸のオーダーに応じて凹凸の状況を強調した画像を得ることのできる画像解析処理装置、画像解析処理方法、及びプログラムを提供することを、その目的の一つとする。
上記従来例の問題点を解決する本発明は、画像解析処理装置であって、航空レーザ計測により得られた地形の点群データを受け入れる手段と、前記点群データに基づいて地形勾配を表す勾配画像を生成する勾配画像生成手段と、前記点群データに基づいて得られる標高値を強調処理し、当該強調処理された標高値を表す強調画像を生成する強調画像生成手段と、前記勾配画像と強調画像とを透過合成し、合成画像を生成する合成手段と、前記生成した合成画像を出力する出力手段と、を含むこととしたものである。
本発明によると、凹凸のオーダーに応じて凹凸の状況を強調した画像を得ることができる。
本発明の実施の形態に係る画像解析処理装置の例を表す構成ブロック図である。 本発明の実施の形態に係る画像解析処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像解析処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る画像解析処理装置が生成する勾配画像の例を表す説明図である。 本発明の実施の形態に係る画像解析処理装置が生成する強調画像の例を表す説明図である。 本発明の実施の形態に係る画像解析処理装置が生成する合成画像の例を表す説明図である。 本発明の実施の形態に係る画像解析処理装置が生成する合成画像の別の例を表す説明図である。 本発明の実施の形態に係る画像解析処理装置が生成する合成画像のもう一つの例を表す説明図である。
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像解析処理装置1は図1に例示するように、制御部11と、記憶部12と、操作部13と、表示部14とを含んで構成される。
制御部11は、CPU等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態において、この制御部11は、点群データに基づいて地形勾配を表す勾配画像を生成するとともに、点群データに基づいて得られる標高値を強調処理し、当該強調処理された標高値を表す強調画像を生成する。そしてこの制御部11は、当該勾配画像と強調画像とを透過合成し、合成画像を生成して出力する。この制御部11の詳しい動作については後に述べる。記憶部12は、ディスクデバイスやメモリデバイス等であり、制御部11によって実行されるプログラムを保持する。またこの記憶部12は制御部11のワークメモリとしても動作する。
操作部13は、マウスやキーボード等であり、ユーザの操作を受け入れて、当該操作の内容を表す情報を、制御部11に出力する。表示部14は、ディスプレイ等であり、制御部11から入力される指示に従って画像を表示出力する。
本実施の形態の画像解析処理装置1に入力されるデータは、航空レーザ計測により得られた地形の点群データを含む。ここで航空レーザ計測の方法としては、河川等水域ではALB(Airborne Laser Bathymetry)を用いてもよい。また本実施の形態では、航空レーザ計測により点群データを得ることとしているが、河川等の水域においては音響測深等により点群データ相当のデータを得てもよい。
ここで制御部11の動作について説明する。本実施の形態ではこの制御部11は記憶部12に格納されたプログラムを実行することで、機能的に図2に例示するように、点群データ受入部21と、勾配画像生成部22と、強調画像生成部23と、強調画像出力部24と、合成処理部25と、出力部26とを含んで構成される。
点群データ受入部21は、航空レーザ計測により得られた地形の点群データの入力を受け入れ、計測した地域の範囲に予め定めた格子点Pij(xi,yj)(i=1,2,…、j=1,2,…)ごとの標高値情報を生成して、勾配画像生成部22と強調画像生成部23とに出力する。このとき、点群データ受入部21は入力された点群データについて、いわゆるフィルタリング処理を行ってから、そのフィルタリング処理後のデータに基づいて、上記格子点ごとの標高値情報を生成してもよい。このフィルタリング処理を行うと、例えば地表面及び建物の点群データが得られ、標高値情報はこれらを反映したものとなる。
勾配画像生成部22は、入力された標高値情報に基づいて、地形の勾配の大きさに応じて明度を変化させた、グレイスケールの勾配画像を生成する。勾配画像生成部22は、このグレイスケールの勾配画像の彩度及び色相を適宜設定して、例えば青色の色相で明度が変化した勾配画像としてもよい。
強調画像生成部23は、点群データ受入部21から入力される点群データに基づいて得られる標高値の強調処理を実行する。具体的にこの強調処理は、点群データから得られた標高値に対し、当該標高値の凹凸のオーダー(波長)に応じた強調処理ができるもの、つまり、波長のスケールを調整可能な処理であればよい。具体的にこのような強調処理として、局所化したフーリエ変換処理や、ウェーブレット変換処理などの変換処理がある。この強調画像生成部23の動作は後に詳しく述べる。
強調画像出力部24は、強調画像生成部23が生成した強調画像を合成処理部25に出力する。この強調画像出力部24は、強調画像生成部23が生成した強調画像が一つである場合は、当該強調画像をそのまま合成処理部25に出力すればよい。またこの強調画像出力部24は、強調画像生成部23が複数の強調画像候補を出力している場合は、そのうちの一つを、予め定めた条件に従って選択し、当該選択した強調画像候補を、強調画像として合成処理部25に出力する。
ここで選択の条件は、例えば利用者により指定されたとの条件であってもよいし、各強調画像候補の内容に基づいて選択する条件であってもよい。
合成処理部25は、勾配画像生成部22が生成した勾配画像と、強調画像出力部24が出力する強調画像とを互いに半透明合成(透過合成)する。ここで半透明合成とは、互いに対応する位置(x,y)にある画素の値をそれぞれP(x,y),Q(x,y)とするとき、合成後の画像データの位置(x,y)にある画素の値V(x,y)を、
V(x,y)=α・P(x,y)+Q(x,y)
と定めることをいう。ここでαは正の値である。またV,P,Qは例えばRGB色空間のベクトル値であり、対応する成分ごとにこの演算が行われ、演算の結果V(x,y)が画素値としての最大値を超える場合は、V(x,y)の値は最大値に設定される。また別の例では、合成後の画像データの位置(x,y)にある画素の値V(x,y)を、
V(x,y)=α・P(x,y)+(1−α)・Q(x,y)
と定めてもよい。この例では値αは、合成の係数であり0≦α≦1である。
出力部26は、合成処理部25が生成した合成画像を、表示部14に表示出力する。また制御部11は、操作部13から入力される指示操作により、表示している合成画像の一部を拡大表示する等の処理を行ってもよい。
[強調画像の生成]
ここで強調画像生成部23の動作について説明する。強調画像生成部23は、例えば点群データに基づいて得られる標高値に対してウェーブレット変換処理を施す。具体的に、本実施の形態の一例では強調画像生成部23は、点群データ受入部21が出力する格子点(xi,yj)(i=1,2,…、j=1,2,…)ごとの標高値情報Z(xi,yj)に対してメキシカン・ハット型のウェーブレット変換関数を用いたウェーブレット変換処理を実行する。
すなわち、
Figure 0006940261
を演算する。ここで、Ψはウェーブレット変換関数であり、例えばメキシカン・ハット型の関数を用いる場合、
Figure 0006940261
とする。また、a,bは座標値であり、sはスケールである。このうちスケールは、経験的に適宜定める。
強調画像生成部23は、(1)式により、標高値を演算した格子点(xi,yj)ごとの座標値(xi,yj)におけるウェーブレット変換結果C(s,xi,yj)を求め、座標値(xi,yj)に対応する画素ごとに、対応するCの大きさに応じて明度を異ならせたグレイスケールの画像データを生成して、強調画像として出力する。
また、強調画像生成部23は、スケールsを予め定めた複数のスケール候補値σ1,σ2,…にそれぞれ設定して、各スケール候補値に対応する強調画像の候補(強調画像候補)を複数生成して出力してもよい。
さらに、強調画像生成部23が用いるウェーブレット変換の関数は、上述の(2)式に例示したメキシカン・ハット型関数に限られず、ハールウェーブレット関数や、モルレーウェーブレット関数、ガウス関数等を用いてもよい。
また、強調画像生成部23は、いくつかの関数を候補として、候補とした関数ごとの強調画像候補を生成して、当該生成した複数の強調画像候補を出力することとしてもよい。この例でも、強調画像生成部23は、さらにスケール候補値を変動させて、関数の候補ごとかつスケール候補値ごとの強調画像候補を生成して、当該生成した複数の強調画像候補を出力することとしてもよい。
[動作]
本実施の形態の画像解析処理装置1は、以上の構成を備えており、次のように動作する。画像解析処理装置1は、図3に例示するように、航空レーザ計測により得られた地形の点群データの入力を受け入れ(S1)、計測した地域の範囲に予め定めた格子点(xi,yj)(i=1,2,…、j=1,2,…)ごと(例えば1メートル間隔の格子点とする)の標高値情報を生成する(S2)。
以下では、一例として河川における河床の標高値情報をALB(Airborne Laser Bathymetry)の点群データに基づいて標高値情報を生成するものとして説明するが、本実施の形態は、河川のみならず、平地や山岳地帯、都市部など種々の場所の標高値情報に対して適用できるものである。
画像解析処理装置1は、生成した標高値情報に基づいて、図4に例示するような、地形の勾配の大きさに応じて明度を変化させた、グレイスケールの勾配画像を生成する(S3)。例えば処理対象が河川の場合、当該勾配画像の彩度及び色相を設定して、青色のスケールで明度が変化した勾配画像を生成してもよい。なお、図4では便宜的に白黒の濃淡で表現した図としている。
また、画像解析処理装置1は、標高値情報に対して強調処理を実行する。すなわち、(1)式により、標高値情報が演算されている格子点(xi,yj)ごとの座標値(xi,yj)におけるウェーブレット変換結果C(s,xi,yj)を求め(S4)、座標値(xi,yj)に対応する画素ごとに、対応するCの大きさに応じて明度を異ならせた青色スケールの画像データを生成して(S5)、強調画像とする。ここで生成される強調画像は、図5に例示するようなものとなる。
画像解析処理装置1は、勾配画像と強調画像とを互いに半透明合成する(S6)。この半透明合成の結果は、図6に例示するようなものとなる。図5の強調画像単体の例に比べ、図6のように勾配画像を半透明合成した画像によると、周期的な波状の地形(いわゆる河床波)が形成されている場所では、その輪郭が明瞭となるとともに、標高値を強調した像が得られる。画像解析処理装置1は、この半透明合成後の合成画像を表示出力する(S7)。その後、画像解析処理装置1は、操作部13から入力される指示操作により、表示している合成画像の一部を拡大表示する等の処理を行ってもよいし、また画像解析処理装置1は、この合成画像を画像データファイルとして保存し、ネットワークを介して送出するなどの処理を行ってもよい。
[複数の強調画像候補]
また強調画像生成部23が複数の強調画像候補を出力している場合には、強調画像出力部24は、例えば、各強調画像候補と勾配画像とを合成して合成画像候補を生成し、各合成画像候補を表示部14に表示出力してもよい。この場合、利用者が合成画像候補のうち、所望の形状が明瞭に視認できるものを選択し、当該選択の結果を、操作部13を操作して入力する。強調画像出力部24は、選択された合成画像候補に対応する強調画像候補を強調画像として出力する。この例では、利用者が選択したことを条件として強調画像を選択する。
また別の例では、強調画像出力部24は、各強調画像候補について、強調画像候補に含まれる画素のうち最低明度の値Lminと、最大明度の値Lmaxとを用いて、コントラスト値Lmax/Lminを演算し、このコントラスト値がもっとも高い値となっているとの条件により強調画像となる強調画像候補を選択するなど、強調画像候補の内容に基づいて、強調画像として選択する強調画像候補を決定してもよい。
さらに別の例では、例えば強調画像生成部23が、複数のスケール候補値σ1,σ2,…をそれぞれ用いたウェーブレット変換により生成した強調画像候補を出力している場合、勾配画像のあらわす起伏のパターンの波長に最も近いスケール候補値に対応する強調画像候補を選択してもよい。なお、起伏パターンの波長はフーリエ変換等によって求めることができる。
[移動平均との差を用いる例]
またここまでの説明では、強調画像生成部23は、格子点(xi,yj)(i=1,2,…、j=1,2,…)ごとの標高値情報Z(xi,yj)に対してウェーブレット変換処理を実行することとしていたが、本実施の形態はこれに限られない。別の例として強調画像生成部23は、格子点(xi,yj)(i=1,2,…、j=1,2,…)ごとの標高値情報Z(xi,yj)の移動平均(各格子点を注目格子点として選択し、当該注目格子点から所定距離にある格子点の標高値情報の平均を注目格子点での標高値の移動平均値とする)を演算し、当該格子点ごとの移動平均値と、対応する格子点の標高値との差Z′(xi,yj)に対してウェーブレット変換を実行してもよい。この例では、先の(1)式のZを、Z′で置き換えることとなる。
このように移動平均との差分をウェーブレット変換することとすれば、山岳地帯のように平均的な標高が連続的に変化している地形の凹凸を強調できる。
[等高線・等値線]
さらに本実施の形態では、画像解析処理装置1は、合成画像に対して勾配画像の等高線をさらに合成してもよい(図7)。また別の例では画像解析処理装置1は、合成画像に対して強調画像における等値線(ウェーブレット変換結果の値が等しい画素を結んでできる線分)を合成してもよい(図8)。また、画像解析処理装置1は、利用者の操作により、合成画像に対して等高線または等値線のいずれかを選択して合成した画像を出力するか、または等高線や等値線を合成せずに合成画像をそのまま出力するかを選択してもよい。
等高線を合成した場合には、地形の高低の状況が明示されることとなり、等値線を合成した場合は、地形の凹凸の状態が明瞭に視認可能となる。
[凹凸情報の別の例]
さらに、ここまでの説明では、画像解析処理装置1は、地表面の測定結果に基づく凹凸(標高値)を処理の対象として、この勾配を濃淡で表した勾配画像と、当該凹凸をウェーブレット変換等により強調処理した強調画像とを半透明合成するようにしていたが、本実施の形態における処理対象は、これだけに限られない。
例えば、発掘された土器表面の凹凸のように、物体表面の凹凸についても、本実施の形態の画像解析処理装置1の動作を適用できる。この場合も、物体表面の凹凸の勾配を濃淡で表した勾配画像と、当該凹凸をウェーブレット変換し、変換後の値を濃淡で表した強調画像とを半透明合成して表示出力する。これにより、対象となった物体表面の凹凸の状況がより明確に視認可能となる。
[実施の形態の効果]
本実施の形態の画像解析処理装置1によれば、スケールに応じた強調処理が行われているので、凹凸のオーダーに応じて凹凸の状況を強調した画像を得ることができる。
1 画像解析処理装置、11 制御部、12 記憶部、13 操作部、14 表示部、21 点群データ受入部、22 勾配画像生成部、23 強調画像生成部、24 強調画像出力部、25 合成処理部、26 出力部。

Claims (4)

  1. 航空レーザ計測により得られた地形の点群データを受け入れる手段と、
    前記点群データに基づいて地形勾配を表す勾配画像を生成する勾配画像生成手段と、
    前記点群データに基づいて得られる標高値の移動平均に対する差分を強調処理し、当該強調処理された標高値の移動平均に対する差分を表す強調画像を生成する強調画像生成手段と、
    前記勾配画像と強調画像とを透過合成し、合成画像を生成する合成手段と、
    前記生成した合成画像を出力する出力手段と、
    を含み、
    前記強調画像生成手段は、前記点群データに基づいて得られる標高値の移動平均に対する差分に対してウェーブレット変換処理を施して強調処理を行う画像解析処理装置。
  2. 請求項記載の画像解析処理装置であって、
    前記強調画像生成手段は、複数のスケールのウェーブレット変換関数を用いてそれぞれウェーブレット変換した複数の強調画像候補を得ており、
    前記合成手段は、当該複数の強調画像候補のうち、一つの強調処理結果を予め定めた条件に基づいて選択した強調画像を用いて、前記合成画像を生成する画像解析処理装置。
  3. 航空レーザ計測により得られた地形の点群データに基づいて地形勾配を表す勾配画像を生成する工程と、
    前記点群データに基づいて得られる標高値の移動平均に対する差分を強調処理し、当該強調処理された標高値の移動平均に対する差分を表す強調画像を生成する工程と、
    前記勾配画像と強調画像とを透過合成し、合成画像を生成する工程と、
    前記生成した合成画像を出力する工程と、
    を含み、
    前記強調画像を生成する工程では、前記点群データに基づいて得られる標高値の移動平均に対する差分に対してウェーブレット変換処理を施して強調処理を行う画像解析処理方法。
  4. コンピュータを、
    航空レーザ計測により得られた地形の点群データを受け入れる手段と、
    前記点群データに基づいて地形勾配を表す勾配画像を生成する勾配画像生成手段と、
    前記点群データに基づいて得られる標高値の移動平均に対する差分を強調処理し、当該強調処理された標高値の移動平均に対する差分を表す強調画像を生成する強調画像生成手段と、
    前記勾配画像と強調画像とを透過合成し、合成画像を生成する合成手段と、
    前記生成した合成画像を出力する出力手段と、
    として機能させ、
    前記強調画像生成手段として機能させる際には、コンピュータに、前記点群データに基づいて得られる標高値の移動平均に対する差分に対してウェーブレット変換処理を施して強調処理を行わせる画像解析処理プログラム。
JP2016145491A 2016-07-25 2016-07-25 画像解析処理装置、画像解析処理方法、及びプログラム Active JP6940261B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016145491A JP6940261B2 (ja) 2016-07-25 2016-07-25 画像解析処理装置、画像解析処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016145491A JP6940261B2 (ja) 2016-07-25 2016-07-25 画像解析処理装置、画像解析処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018018144A JP2018018144A (ja) 2018-02-01
JP6940261B2 true JP6940261B2 (ja) 2021-09-22

Family

ID=61076589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016145491A Active JP6940261B2 (ja) 2016-07-25 2016-07-25 画像解析処理装置、画像解析処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6940261B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599391B1 (ko) 2022-04-13 2023-11-08 주식회사 캐럿펀트 3d 스캔 데이터 기반 유물 도면 생성 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4771459B2 (ja) * 2005-08-12 2011-09-14 国際航業株式会社 カラー標高傾斜図作成システムおよびカラー標高傾斜図作成方法
JP5198782B2 (ja) * 2007-03-28 2013-05-15 株式会社パスコ 地形図作成装置及び地形図作成方法
JP5384316B2 (ja) * 2009-12-24 2014-01-08 株式会社パスコ 変位計測装置、変位計測方法、及び変位計測プログラム

Also Published As

Publication number Publication date
JP2018018144A (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
JP5771430B2 (ja) 霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラム
JP6935512B2 (ja) 地物地盤高別色付画像生成装置及び地物高別色付画像生成プログラム
JP4659499B2 (ja) 粒子感を有するメタリック塗色画像の生成方法、装置、及びプログラム
KR100967838B1 (ko) 항공 라이다 정보와 디지털 항공 사진 정보를 이용하여 3차원 지리 정보를 생성하는 방법 및 그 시스템
JP2007048185A (ja) カラー標高傾斜図作成システムおよびカラー標高傾斜図作成方法
WO2017154706A1 (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
WO2019111955A1 (ja) 地物高別色付画像生成装置及び地物高別色付画像生成プログラム
JP5587677B2 (ja) 地形起伏画像生成方法及び地形起伏画像生成装置
WO2021053917A1 (ja) 超解像度立体視化処理システム及びそのプログラム
JP2012014628A (ja) 画像表示装置
JP5198782B2 (ja) 地形図作成装置及び地形図作成方法
KR101021013B1 (ko) 경계강화필터링과 표고정보를 이용하여 3차원 지리정보를 생성하는 시스템
CN110675463B (zh) 一种局部彩色铅笔画生成方法及装置
CN110163970B (zh) 一种数字地形模型的生成方法、装置、设备及存储介质
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
JP6366935B2 (ja) 擬似カラー化画像処理システム
JP6940261B2 (ja) 画像解析処理装置、画像解析処理方法、及びプログラム
JP5795283B2 (ja) 数値標高モデルの可視化画像作成方法及び可視化画像作成装置
CN110610504A (zh) 基于骨架与色调的铅笔画生成方法及装置
JP6789017B2 (ja) 地形可視化装置、地形可視化方法、及びプログラム
WO2009104218A1 (ja) 地図表示装置
JP6995912B2 (ja) 地形図出力装置、地形図出力方法及びプログラム
JP6893307B1 (ja) 地形図出力装置、地形図出力方法及びプログラム
JP2007187934A (ja) 電子地図線形状データ作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210902

R150 Certificate of patent or registration of utility model

Ref document number: 6940261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150