JP6108383B2 - 配管位置計測システム及び配管位置計測方法 - Google Patents
配管位置計測システム及び配管位置計測方法 Download PDFInfo
- Publication number
- JP6108383B2 JP6108383B2 JP2012195151A JP2012195151A JP6108383B2 JP 6108383 B2 JP6108383 B2 JP 6108383B2 JP 2012195151 A JP2012195151 A JP 2012195151A JP 2012195151 A JP2012195151 A JP 2012195151A JP 6108383 B2 JP6108383 B2 JP 6108383B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- dimensional
- cloud data
- measuring instrument
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
一方、近年市販されたキネクト(登録商標)(以下、三次元計測器という)は低価格かつ手軽に三次元計測ができるため、世界的に注目集めている。この三次元計測器を化学プラントなどに設けられている配管の三次元位置の計測に利用できれば、配管の計測器として、携帯性に優れた計測システムとなる。
光切断法に係わる技術としては特許文献1が報告されている。特許文献1には、CCDカメラからの画像信号からレーザ輝線の座標をリアルタイムに演算するレーザ位置検出回路と、トンネルにレーザスリット光又はスポット光を照射するレーザ投光器と、このレーザ投光器により対象物の表面に照射された光を撮像する撮像装置と、所定のエリアに磁界ベクトルを形成するトランスミッタと、CCDカメラにより撮像された画像データをPCが処理し易いように変換するイメージプロセッサと、レーザ投光器に配置された磁気センサ、CCDカメラに配置された磁気センサの信号から三次元位置情報及び姿勢情報を検出するまたレーザ位置検出回路と、データに基づいて、トンネルの三次元画像を再生するパーソナルコンピュータ(PC)を備えて構成された技術が開示されている。
一方、上述した三次元計測器は、リアルタイムで対象の三次元形状を検出できることから、三次元計測器を手中に保持して画角を移動させた場合に、三次元計測器から見た対象物の三次元位置を追跡することが可能である。また、対象物が動いていない場合には、対象物から見た三次元計測器の移動方向および姿勢を検出できるので磁気センサに代って用いることが可能となる。
上述した三次元計測器に係る技術としては、特許文献2が報告されている。特許文献2には、コヒーレント光を放射して点群パターンを投影するプロジェクタと、基準面の上に投影される点群パターンの参照画像を取り込むイメージセンサーと、イメージセンサー取り込んだ参照画像をメモリに保存するように構成された技術が開示されている。
また、非特許文献1には、上述した三次元計測器により被写体までの距離の求め方について開示されている。
そこで、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムの提供が切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムを提供することにある。
詳しくは、三次元計測器で得られた、点群データ内のレーザ輝線の三次元点群データを、スリットレーザ光が投光されている箇所の計測結果に置き換える処理を行い、スリットレーザ光による計測結果を利用した高精度な計測を実現することができる。その際に、スリットレーザ光投光器の位置および姿勢は三次元計測器で得られた点群データより算出する。
図1は、本発明の実施形態に係る配管位置計測システム1の構成を示す図である。
図1に示すスリットレーザ光投光器10は、図2に示すように、可視光帯域の半導体レーザ素子10bと、スリット10aとを有し、半導体レーザ素子10bから出射されたコヒーレント光であるレーザ光10cがスリット10aを通過する過程で回折され、スリット10aの開口方向(長手方向)と直交方向に所定の角度αの広がりを有するビーム光、すなわち、スリットレーザ光10dがスリット10aから放射される。スリットレーザ光投光器10は、パーソナルコンピュータ22から制御信号をケーブル10zを介して受信するI/Fユニットなどを備えて構成される。
なお、スリットレーザ光投光器10は、図1に示すように、三次元計測器14の筐体に一体として固定する。
なお、高解像度カメラ12は、図1に示すように、三次元計測器14の筐体に一体として固定する。
プロジェクタ16は、図3に示すように、光源となる赤外帯域の光を発光する高輝度赤外線LED16bと、高輝度赤外線LED16bから発光された赤外線光を略並行なビーム光に変換するレンズ16cと、レンズ16cからのビーム光の照度むらを抑制し均質な光に調整する光拡散素子(ディフーザ)16dと、複数のマイクロレンズを配置し、複数のマイクロレンズにより複数のランダムな光点を形成するマイクロレンズアレー16eと、マイクロレンズアレー16eにより形成された点光を所定の角度βの広がりを有する複数の点光として前方に投光するレンズ16aとを備えて構成される。
なお、三次元計測器14は、プロジェクタ16と、RGBカラーカメラ18と、赤外線カメラ20に対して入出力する制御信号および画像データをパーソナルコンピュータ22との間でケーブル14zを介して送受信するI/Fユニットなどを備えて構成される。
パーソナルコンピュータ22は、OSおよびアプリケーションソフトウエアを記憶するハードディスクと、プログラムを実行するCPUと、画像データや処理データを記憶するRAMと、VRAM上に展開されている画像データを表示するモニタ上の表示画面22mと、外部とのデータの送受信を行うI/F部とを備えている。
図13は、高解像度カメラ12のカメラ座標系(図13(a))と、三次元計測器14のワールド座表系(図13(b))の関係を示す図である。
ここで、本実施形態に用いる座標系を以下のように分けることとする。
(1)三次元計測器は実座標系(x,y,z)で固定されている。
(2)高解像度カメラを用いた光切断法で取得される高精度実座標系(x’,y’,0)はレーザ面と一致している。本実施形態において「高精度実座標系(あるいは座標データ)」とは、光切断法により取得される座標系(あるいは座標データ)を意味し、具体的には誤差1mm以下の高精度の位置データであり、三次元計測器(誤差は約数mm)と比較して十分に高精度である。
(3)高解像度カメラは画像上の座標として(u,v)を用いる。
上記(1)(2)は実座標であり、(2)はスリット(平面)上に存在するためにz=0で無視できる。(2)の座標系をマッチング処理によって、(1)の座標系に一致させる。
一般的に、カメラ座標(u,v)とワールド座標(実座標:三次元計測器14に固定された座標系)の関係は以下の式で表される。
式(2)より、
パーソナルコンピュータ22の表示画面22m上にはキャリブレーションシート40の画像データが表示されている。この表示画面22m上の所望の位置にマウス24の操作に応じてカーソルを移動させ、当該位置に対して、マウス24でクリック操作することでカメラ座標(ui,vi)を読み取る。また、レーザシート30面上の座標(xi,yi)も読み取る。この処理を繰り返し、所望領域を示す4点の座標を読み取り、式(5)に代入する。
なお、可能な限り広い範囲で4点を指示する方が望ましい、これらのデータより、以下の行列を作成し、k11〜k32を計算する。
図4に示すフローチャートで示されるプログラムをOS上でCPUが実行することで、配管位置計測システム1が動作するように構成されている。
また、後述するステップS10〜S20は、三次元計測器14を動作するための専用のアプリケーションソフトウエアのプログラムを示している。一方、後述するステップS30〜S70は、三次元計測器14を動作するための専用のアプリケーションソフトウエアとは別のアプリケーションソフトウエアのプログラムを示しており、両方のアプリケーションソフトウエアは、CPUにより並列処理されるようにOSの管理下で実行される。
詳しくは、CPUは、投光開始信号をI/F部からケーブル14zを介して三次元計測器14に設けられたプロジェクタ16に送信する。投光開始指示を受信した三次元計測器14は、プロジェクタ16に設けられた高輝度赤外線LED16bに電源を投入する。これに応じて、高輝度赤外線LED16bが発光し、高輝度赤外線LED16bからの赤外線光をレンズ16cにより略並行なビーム光に変換し、レンズ16cからのビーム光の照度むらを光拡散素子16dにより抑制し均質な光に調整する。次いで、光拡散素子16dにより抑制された均質な光がマイクロレンズアレー16eに入射され、複数のマイクロレンズにより複数のランダムな光点が形成され、複数の点光を所定の角度βの広がりを有する複数の点光としてレンズ16aから前方に投光される。
これにより、三次元計測器14から出力される画像データをパーソナルコンピュータ22のI/F部からRAM上に取得し、RAMからVRAM上に画像データを展開することで表示画面22m上に表示することができる。三次元計測器14から取得して表示画面22m上に表示される画像データは、図5に示すような三次元点群データである。
図5は、管体から取得した三次元点群データを示す図であり、データ数は約250,000個であり、個々の三次元点群データは(x,y,z)座標と、管体表面のRGBカラーデータからなる。
図6は、図5に示す三次元点群データの内のレーザ軌跡部分(赤色)を抽出した三次元点群データであり、三次元計測器14により得られた三次元点群データには、約数mmのばらつきがあり、本来、直線や円弧になる部分のデータに乱れがあることを確認できる。
ここで、CPUは三次元計測器14により得られたRAM上の三次元点群データに対して、所定の画像数の小領域(Nx×Ny画素)を定め、水平にずれた位置についての相互相関値を算出し、最も高い相関値を示すシフト量を求め、求めたシフト量から位置を算出する。
例えば、被写体の位置がスクリーン位置に近い程、水平シフト量は小さくなり、逆に三次元計測器14に近い程、水平シフト量は大きくなる。そこで、赤外線カメラ20から得られたRAM上の三次元点群データに基づいて、小領域(Nx×Ny画素)で構成されるブロック単位で、元のランダムドットパターンが水平方向にどの程度シフトしたかを求めれば、数学的にそのブロックの深度(Z値)を取得することができる。
詳しくは、CPUは、投光開始信号をI/F部からケーブル10zを介してI/Fユニットに送信し、スリットレーザ光投光器10を起動する。
スリットレーザ光投光器10は、図2に示すように、可視光帯域の半導体レーザ素子10bを発光させ、半導体レーザ素子10bから出射されたレーザ光10cがスリット10aを通過する過程で回折され、スリット10aからスリットレーザ光10dを被写体である配管に放射する。
次いで、CPUは、撮像開始信号をI/F部からケーブル12zを介してI/Fユニットに送信し、高解像度カメラ12を起動する。
高解像度カメラ12は、被写体からの光を撮像レンズ12aで受光し、撮像レンズ12aによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりA/D変換してデジタル信号であるフレーム画像を出力し、フレーム画像をI/Fユニットからケーブル12zを介してパーソナルコンピュータ22に送信する。
これにより、高解像度カメラ12から出力されるフレーム画像を画像データとしてI/F部からRAM上に取得しVRAM上に展開することができる。高解像度カメラ12から取得した画像データは、図9に示すようなレーザ輝線を含む画像データであり、この画像データはパーソナルコンピュータ22の表示画面22mに表示される。なお、図9は、配管に投光されたスリットレーザ光の様子を示す図である。
なお、ステップS10〜S20およびステップS30〜S40は、上述したようにCPUにより並列処理されることとする。
また、図6および図10は説明のために、二次元で示しているが三次元であっても、その方法は拡張できるものである。図10の時点で、最小自乗法に従った近似により、円弧より、円全体の位置や形状を算出することも可能である。
三次元計測器14から出力されRAM上に得られた三次元点群データは、ばらつきが多く不連続である。一方、高解像度カメラ12(光切断法)により取得された画像データから光切断法の原理を利用して算出してRAM上に得られた高精度実座標データは、高精度かつ連続的である。
そこで、三次元計測器14から得られた三次元点群データのうちレーザ輝線領域のみ、光切断法により取得されたデータにRAM上で置き換えればよい。しかし、三次元計測器14により得られた三次元点群データと、光切断法により取得されたデータとでは、座標系の原点位置および傾きが必ずしも一致していないため、回転処理と平行移動処理が必要である。
そこで、ICPアルゴリズムを利用して、高解像度カメラ12(光切断法)により取得された画像データから光切断法の原理を利用して算出してRAM上に得られた高精度実座標データ(図11(a))に対して、CPUがRAM上で回転処理および平行移動処理を行い、回転処理および平行移動処理後に得られたRAM上の高精度実座標データを三次元点群データの当該レーザ輝線領域のデータ(図11(b))とマッチング処理し、マッチング結果(図11(c))を得て、RAM上で置き換え処理を行い、回転処理および平行移動処理後に得られた高精度実座標データを、管体の位置データとして扱う。これにより、数mm程度低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、高精度の位置データをRAM上に取得することができる。
図12において、高解像度カメラ12を用いて光切断法に従ってRAM上に得られた高精度実座標データ(図12(a))内に存在する輝点による軌跡上の点(1〜n)を抽出する。まず、CPUは1番目の点に最も近い点を三次元計測器14から得られたRAM上の三次元点群データ(図12(b))の中から探す。その時の距離をLlとする。同じ処理を2番目の点以降について行い、距離L2〜Lnを求め、これらの合計を評価値θとする。高解像度カメラ12を用いて光切断法に従って得られたRAM上の高精度実座標データの傾きおよび位置を変更しながら、上述の処理を繰り返し、評価値θが最も小さくなる位置と姿勢を検出することでマッチングを行う。
これにより、誤差数ミリ程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、誤差1mm以下の高精度の位置データを取得することができる。図21にステップS50での差し換え処理によって、表示画面22m上に表示された三次元点群データの例を示す。
ここで、画角の移動がまったくない場合にはステップS10およびステップ30に処理を戻す(S60でN)。一方、画角の移動があってから画角の移動が停止状態になった場合にはステップS70に進む。
図16に示すように、横方向に配置されている2本の配管位置を計測する場合について考える。この場合の計測は2回にわけ、それぞれ点線内の領域について計測する。2回の計測(撮影)では、計測器を平行に移動する必要はないが、図16に示すように、移動量を検出するために必ず重複領域を設ける必要がある。それぞれの計測において、三次元計測器14により得られた三次元点群データD1、D2を図17に示す。図17において、斜線領域は2枚の画像(点群)間での重複領域を示す。この重複領域を自動的に探す方法は数多く提案(情報処理学会報告IPSJ SIG Technical Report Vol2009 CVIM 168.No23など)されており、その方法の説明を省略する。
図18は、重複領域を用いて連結された点群データを示す図である。連結後にスリットレーザ光が照射された箇所のデータを用いることで配管の傾き、および位置、各配管の位置関係を正確に測定できる。
本実施形態では、三次元点群データD1、D2にはスリットレーザ光が投光されており、スリットレーザ光が投光されている箇所は光切断法の原理により高精度に測定される。
これにより、誤差数mm程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ(回転処理および平行移動処理後)に置き換わるので、誤差1mm以下の高精度の位置データを取得することができる。
Claims (6)
- 管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、
前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、
前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、
前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、
前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管***置計測システム。 - 前記マッチング手段は、前記撮像手段により取得された画像データから光切断法の原理を利用して算出した高精度実座標データ内に存在する複数の輝点に対して、前記三次元計測器により取得された前記三次元点群データの中の最も近い夫々の点とがなす距離を求め、高精度実座標データの傾きおよび位置を変更しながら、夫々の距離の合計を示す評価値が最も小さくなる位置と姿勢を検出するようにしてマッチング処理を行う、ことを特徴とする請求項1記載の管***置計測システム。
- 前記三次元計測器により取得される前記三次元点群データに関する画角の移動があったか否かを判断する画角移動判断手段と、
前記画角移動判断手段により画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理手段を備えることを特徴とする請求項1記載の管***置計測システム。 - 管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、
前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、を備えたシステムの管***置計測方法であって、
前記表示手段に表示された前記三次元点群データに対してレーザ輝線領域の三次元点群データを検出する検出ステップと、
前記検出ステップにより検出された三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度実座標データを取得するマッチングステップと、
前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチングステップにより取得された高精度実座標データに差し換えて表示する差し換え処理ステップと、を含むことを特徴とする管***置計測方法。 - 前記マッチングステップは、前記撮像手段により取得された画像データから光切断法の原理を利用して算出した高精度実座標データ内に存在する複数の輝点に対して、前記三次元計測器により取得された前記三次元点群データの中の最も近い夫々の点とがなす距離を求め、高精度実座標データの傾きおよび位置を変更しながら、夫々の距離の合計を示す評価値が最も小さくなる位置と姿勢を検出するようにしてマッチング処理を行う、ことを特徴とする請求項4記載の管***置計測方法。
- 前記三次元計測器により取得される前記三次元点群データに関する画角の移動があったか否かを判断する画角移動判断ステップと、
前記画角移動判断ステップにより画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理ステップを備えることを特徴とする請求項4記載の管***置計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195151A JP6108383B2 (ja) | 2012-09-05 | 2012-09-05 | 配管位置計測システム及び配管位置計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195151A JP6108383B2 (ja) | 2012-09-05 | 2012-09-05 | 配管位置計測システム及び配管位置計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014052212A JP2014052212A (ja) | 2014-03-20 |
JP6108383B2 true JP6108383B2 (ja) | 2017-04-05 |
Family
ID=50610819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012195151A Expired - Fee Related JP6108383B2 (ja) | 2012-09-05 | 2012-09-05 | 配管位置計測システム及び配管位置計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6108383B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200482574Y1 (ko) * | 2015-05-18 | 2017-02-10 | (주)리트로핏코리아 | 선박평형수 처리 시스템의 설치를 위한 3차원 계측용 타겟 구조 |
CN111739093B (zh) * | 2020-06-18 | 2024-05-10 | 中国神华能源股份有限公司国华电力分公司 | 一种蒸汽管道位移的监测方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1038531A (ja) * | 1996-07-19 | 1998-02-13 | Mitsubishi Heavy Ind Ltd | パイプ形状自動計測装置及び計測方法 |
JP5297779B2 (ja) * | 2008-12-02 | 2013-09-25 | 株式会社トプコン | 形状測定装置およびプログラム |
-
2012
- 2012-09-05 JP JP2012195151A patent/JP6108383B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014052212A (ja) | 2014-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
JP4885584B2 (ja) | レンジファインダ校正方法及び装置 | |
JP5123932B2 (ja) | 回動鏡を備えるカメラ利用6自由度標的計測装置及び標的追尾装置 | |
WO2012020696A1 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム | |
JP5051493B2 (ja) | 三次元計測用マーカとこれを用いた三次元計測方法 | |
EP2634747A1 (en) | A method and system for projecting a visible representation of infrared radiation | |
JP2012058076A (ja) | 3次元計測装置及び3次元計測方法 | |
US20110317879A1 (en) | Measurement of Positional Information for a Robot Arm | |
WO2004044522A1 (ja) | 3次元形状計測方法およびその装置 | |
JP6304244B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP2019113393A (ja) | オプティカルトラッキングシステム及びオプティカルトラッキング方法 | |
Bleier et al. | Low-cost 3d laser scanning in air orwater using self-calibrating structured light | |
JP2008241643A (ja) | 3次元形状測定装置 | |
JP2011106899A (ja) | 画像処理方法 | |
JP2007093412A (ja) | 3次元形状測定装置 | |
JP2007508557A (ja) | 三次元物体を走査するための装置 | |
JP2008014882A (ja) | 三次元計測装置 | |
JP6108383B2 (ja) | 配管位置計測システム及び配管位置計測方法 | |
US20240175677A1 (en) | Measuring system providing shape from shading | |
JP5336325B2 (ja) | 画像処理方法 | |
JP2016102755A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2015206654A (ja) | 情報処理装置、情報処理方法、プログラム | |
TWI480507B (zh) | 三維模型重建方法及其系統 | |
JP2011112379A (ja) | 画像処理装置および画像処理プログラム | |
JP2011033428A (ja) | パンタグラフ高さ測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150902 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150902 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6108383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |