JP5574726B2 - 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム - Google Patents
原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5574726B2 JP5574726B2 JP2010020632A JP2010020632A JP5574726B2 JP 5574726 B2 JP5574726 B2 JP 5574726B2 JP 2010020632 A JP2010020632 A JP 2010020632A JP 2010020632 A JP2010020632 A JP 2010020632A JP 5574726 B2 JP5574726 B2 JP 5574726B2
- Authority
- JP
- Japan
- Prior art keywords
- raw material
- information indicating
- boom
- mountain
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002994 raw material Substances 0.000 title claims description 359
- 238000000034 method Methods 0.000 title claims description 36
- 238000004590 computer program Methods 0.000 title claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 21
- 239000000463 material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 17
- 238000005096 rolling process Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 10
- 238000013480 data collection Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000007790 scraping Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005245 sintering Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、このような問題に鑑みてなされたものであり、原料ヤードにおける原料山の状態・形状を従来よりも高精度に計測できるようにすることを目的とする。
図1は、原料ヤードの原料山計測システムの構成の一例を示す斜視図である。尚、以下の説明では、原料ヤードの原料山計測システムを必要に応じて、原料山計測システムと略称する。また、各図では、各構成部を簡略化して示している。
[原料山計測システム]
図1において、原料山計測システムは、2Dレーザ距離計101a、101bと、GPS(Global Positioning System)102a、102bと、IMU(Inertial Measurement Unit:慣性計測システム)103と、GPSコンパス104と、機体制御装置105と、リクレーマ106と、走行レール107と、原料山計測装置110と、を有している。
図1に示すように、原料ヤードには、原料山100が積み付けられている。本実施形態では、原料は、鉄鉱石や石炭等、鉄鋼を製造するための原料であるが、原料は、このようなものに限定されない。尚、図1では、説明の都合上、原料山100を1つだけ示しているが、原料山は、長手方向(x方向)に複数並べられている。また、原料山は、幅方向(y方向)にも複数並べられている。尚、図1に示すx、y、z座標系を現場座標系と称する。
スタッカーは、図示しないベルトコンベアで運ばれた原料を原料ヤード上に落下させて積み付けて、原料山100を形成するためのものである。一方、リクレーマは、原料山100から原料を掻き取って原料の払い出しを行い、図示しないベルトコンベアにより後工程へ運ぶものである。
スタッカー・リクレーマは、何れも原料の積み付け・掻き取り時に原料山100の上方に位置するブーム(腕)を有する。スタッカーは、ブームの先端から原料を原料ヤード上に落下させる。リクレーマは、ブームの先端部に設けられた掻き取り装置(ホイル)で原料を掻き取る。
(リクレーマ)
図1において、リクレーマ106には、機体制御装置105が通信可能に接続されている。機体制御装置105は、パーソナルコンピュータ等を用いることにより実現され、リクレーマ106に対して動作指示信号を送信すると共に、リクレーマ106の動作状態を示す動作状態信号を受信して、原料ヤードの操業を管理する。
図2は、リクレーマ106の動きの一例を示す図である。
図2(a)は、リクレーマ106をその上方(z方向)から見た図である。図2(a)に示すように、リクレーマ106は、走行レール107に沿って、原料山100の長手方向(x方向)に移動する。
図2(b)も、リクレーマ106をその上方(z方向)から見た図である。図2(b)に示すように、リクレーマ106のブーム106aは、リクレーマ106の高さ方向(z方向)の軸21を回転軸として、xy平面内で回転(旋回)する。このようなリクレーマ106のブーム106aの動きをヨーイングと称し、所定の基準方向に対するヨーイングの角度をヨーイング角と称する。尚、本実施形態では、ブーム106aの延設方向(長手方向)がy方向と一致するときのヨーイング角をヨーイング角の基準(ヨーイング角=0°)とする(すなわち、y方向を基準方向とする)。
図2(d)は、リクレーマ106をその側方(y方向)から見た図である。図2(d)に示すように、リクレーマ106のブーム106aは、振動等によって、ブーム106aの延設方向(y方向)の軸23を回転軸として、zx平面内で回転する。このようなリクレーマ106のブーム106aの動きをピッチングと称し、所定の基準方向に対するピッチングの角度をピッチング角と称する。ピッチングは、リクレーマ106の本来の動き(原料の掻き出しに必要な動作)ではない。尚、本実施形態では、ブーム106aの厚み方向がz方向と一致するときのピッチング角をピッチング角の基準(ピッチング角=0°)とする(すなわち、z方向を基準方向とする)。
2Dレーザ距離計101は、原料山100に対してレーザ光(細いビーム状の光線)を照射し、原料山100からの反射光を受光して、距離を測定する距離計を有する。2Dレーザ距離計101は、リクレーマ106の高さ方向とブーム106aの延設方向とにより定まる仮想的な平面(yz平面)に沿ってレーザ光の照射方向を360°変えて走査することができる。2Dレーザ距離計101が受光した反射光と、そのときのレーザ光の照射方向とに基づいて、2Dレーザ距離計101を基準とした原料山100の方向それぞれにおける原料山100までの距離が求まる。
尚、本実施形態では、2つの2Dレーザ距離計101a、101bを配置する場合を例に挙げて説明したが、少なくとも、原料山100の形状を決定するのに重要な領域にレーザ光を当てることができれば、2Dレーザ距離計101の数は1つであってもよい。また、2つの2Dレーザ距離計101a、101bでは、原料山100の形状を決定するのに重要な領域にレーザ光を当てることができない場合には、2Dレーザ距離計101の数は3つ以上になるということは勿論である。
GPS102は、2Dレーザ距離計の原料ヤード内での位置を計測するためのものであり、2Dレーザ距離計のGPS座標(緯度,経度,高さ)を計測する。本実施形態では、GPS102aは、2Dレーザ距離計101aの近傍で、リクレーマ106のブーム106aに取り付けられており、自身の位置を2Dレーザ距離計101aの位置として計測する。一方、GPS102bは、2Dレーザ距離計101bの近傍で、リクレーマ106のブーム106aに取り付けられており、自身の位置を2Dレーザ距離計101bの位置として計測する。
本実施形態では、GPSとして、RTK−GPS(Real Time Kinematic GPS)を採用している。RTK−GPSでは、基地局として固定局と移動局とが必要になるが、図1では移動局のみを示し、固定局の図示を省略している。
すなわち、前記において、GPS102の位置を2Dレーザ距離計101の位置とした場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、GPS102による位置の計測値と、GPS102および各2Dレーザ距離計101a、101bの取り付け位置並びにブーム106aの形状寸法情報等とに基づいて、各2Dレーザ距離計101a、101bの位置を演算するようにしても良い。
IMU103は、リクレーマ106のブーム106aの前記ローリング角、及び前記ピッチング角(すなわちブーム106aの姿勢(の一部))を計測する。本実施形態では、IMU103は、リクレーマ106のブーム106aにおける、現場座標系の3軸(x軸、y軸、z軸)の加速度及び角速度を計測し、リクレーマ106のブーム106aの現場座標系におけるローリング角とピッチング角とを求める。本実施形態では、IMU103は、カルマンフィルターを内蔵しており、カルマンフィルターを用いて、前述したリクレーマ106のブーム106aの姿勢の計測値を求めるようにしている。
(GPSコンパス)
GPSコンパス104は、リクレーマ106のブーム106aの現場座標系におけるヨーイング角(すなわちブーム106aの姿勢(の一部))を計測する。GPSコンパス104では、GPS受信機と2つのGPSアンテナとが必要であるが、図1では、GPSアンテナのみを示し、GPS受信機の図示を省略している。
図4は、原料山計測装置110の機能的な構成の一例を示す図である。尚、前述したように本実施形態では、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104で得られたデータは、リクレーマ106のx方向の位置のデータと共に機体制御装置105から原料山計測装置110に送信されるが、図4では、説明の便宜上、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104から、原料山計測装置110にデータが入力されるようにしている。尚、後述するように、原料山計測装置110はこのようにしてデータを取得してもよい(変形例6を参照)。
データ収集部111は、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104で得られたデータを、それらが得られたときのリクレーマ106のx方向の位置のデータと共に、機体制御装置105から収集する。機体制御装置105が、データ収集部111からの問い合わせに基づいて、これらのデータを原料山計測装置110に送信しても、機体制御装置105が、自発的にこれらのデータを原料山計測装置110に送信してもよい。
データ収集部111は、例えば、原料山計測装置110が備える通信インターフェースが、前述したデータを受信し、CPUが、受信されたデータをRAM等に記憶することにより実現できる。
座標変換部112は、GPS102で得られた、GPS座標系のデータを、現場座標系のデータに変換し、変換したデータに基づいて、仮想センサ位置P3を求める。このとき、座標変換部112は、仮想センサ位置P3を、現場座標系の座標(x1,y1,z1)で表す。
図5は、仮想センサ位置P3を原点とした2次元直交座標系(局所座標)を示す図である。後述するように、2次元直交座標変換部113によって、2次元直交座標系における2Dレーザ距離計101a、101bのbc平面上の位置(b軸の座標,c軸の座標)が求められる。仮想センサ位置P3は、この位置を求めるために必要なものである。ここで、b軸は、ブーム106aの延設方向(第1の方向)の軸に対応する。また、c軸は、ブーム106aの延設方向に対して垂直な方向のうち、ブーム106aの延設方向と厚み方向(ブーム106aのピッチング角が0°のときのブーム106aの高さ方向)とを含む平面に沿う方向(第2の方向)の軸に対応する。ここで、図5に示すような、仮想センサ位置P3を原点とした2次元直交座標系は、2Dレーザ距離計101a、101bが取り付けられているリクレーマ106の走行レール107上の移動や、ブーム106aの旋回・腑仰に合わせて回転、移動する。よって、仮想センサ位置P3は、2Dレーザ距離計101a、101bが取り付けられているリクレーマ106の動作に従って動くことになる。
座標変換部112は、例えば、CPUが、RAM等に記憶されたGPS座標系のデータを読み出し、コンピュータプログラムに従う演算処理を行って仮想センサ位置P3を求め、求めた仮想センサ位置P3の座標のデータをRAM等に記憶することにより実現できる。
2次元直交座標変換部113は、2Dレーザ距離計101a、101bで得られた極座標系におけるデータ(2Dレーザ距離計101a、101bから原料山100までの距離rのデータと、2Dレーザ距離計101a、101bの位置を基準とした原料山100の方向θのデータ)に基づいて、前述した2次元直交座標系における2Dレーザ距離計101a、101bの位置(b軸の座標,c軸の座標)を求める。
図6は、2Dレーザ距離計101a、101bから原料山100までの距離rと、2Dレーザ距離計101a、101bを基準とした原料山100の方向θの一例を示す図である。
図6において、P1は、前記2次元直交座標系における2Dレーザ距離計101aの位置である。また、P2は、前記2次元直交座標系における2Dレーザ距離計101bの位置である。
Q1は、2Dレーザ距離計101aの計測結果に基づいて得られた「前記2次元直交座標系における原料山100の表面の位置」である。また、Q2は、2Dレーザ距離計101bの計測結果に基づいて得られた「前記2次元直交座標系における原料山100の表面の位置」である。
θ1は、2Dレーザ距離計101aの計測結果に基づいて得られた「2Dレーザ距離計101aの位置を基準とした原料山100の方向」である。図6に示す例では、θ1は、2Dレーザ距離計101aの位置P1を基点とした「基準の方向(図6では鉛直下方の方向)と、原料山100の表面の位置Q1の方向」のなす角度である。また、θ2は、2Dレーザ距離計101bの計測結果に基づいて得られた「2Dレーザ距離計101bの位置を基準とした原料山100の方向」である。図6に示す例では、θ2は、2Dレーザ距離計101bの位置P2を基点とした「基準の方向(図6では鉛直下方の方向)と、原料山100の表面の位置Q2の方向」のなす角度である。
Q1=(b1−r1cosθ1,c1−r1sinθ1) ・・・(1)
Q2=(b2−r2cosθ2,c2−r2sinθ2) ・・・(2)
(1)式、(2)式において、b1は、前記2次元直交座標系における2Dレーザ距離計101aのb軸の座標であり、c1は、前記2次元直交座標系における2Dレーザ距離計101aのc軸の座標である(P1=(b1,c1))。また、b2は、前記2次元直交座標系における2Dレーザ距離計101bのb軸の座標であり、c2は、前記2次元直交座標系における2Dレーザ距離計101bのc軸の座標である(P2=(b2,c2))。
2次元直交座標変換部113は、例えば、CPUが、2Dレーザ距離計101a、101bで得られたデータをRAM等から読み出し、コンピュータプログラムに従う演算処理を行って、前記2次元直交座標系における原料山100の表面の座標Q1、Q2を求め、求めた座標Q1、Q2のデータを、リクレーマ106のx方向の位置のデータと関連付けてRAM等に記憶することにより実現できる。
3次元直交座標拡張部114は、2次元直交座標変換部113で得られたデータ(前記2次元直交座標系における原料山100の表面の座標Q1、Q2のデータ)を読み出す。そして、3次元直交座標拡張部114は、読み出したデータを、3次元直交座標(局所座標)のデータに変換する。
図7に示すように、図5に示した、b軸及びc軸からなる2次元直交座標系を、a軸、b軸、及びc軸からなる3次元直交座標系であるabc空間に拡張すると、bc平面上での点Q3、点Q4(のbc平面上の座標(d1,e1)、(d2,e2))は、それぞれ以下の(3)式、(4)式で表される。ここで、a軸は、b軸及びc軸に垂直な方向(第3の方向)の軸に対応する。
e1=c1−r1sinθ1 ・・・(6)
d2=b2−r2cosθ2 ・・・(7)
e2=c2−r2sinθ2 ・・・(8)
3次元直交座標拡張部114は、このように、図5に示した2次元直交座標系を3次元直交座標系に拡張し、前記2次元直交座標系における原料山100の表面の座標Q1、Q2のデータを、(3)式、(4)式のように、3次元直交座標系における座標のデータに変換する。そして、3次元直交座標拡張部114は、求めた原料山100の表面の座標Q3、Q4のデータを、当該座標Q3、Q4の算出元である「2Dレーザ距離計101a、101bのデータ」に対応する「リクレーマ106のx方向の位置のデータ」と関連付けてRAM等に記憶する。
3次元直交座標拡張部114は、例えば、CPUが、2次元直交座標変換部113で得られたデータをRAM等から読み出し、コンピュータプログラムに従う演算処理を行って、前記3次元直交座標系における原料山100の表面の座標Q3、Q4を求め、求めた座標Q3、Q4のデータを、リクレーマ106のx方向の位置のデータと関連付けてRAM等に記憶することにより実現できる。
3次元直交座標変換部115は、3次元直交座標拡張部114で得られたデータ(前記3次元直交座標系における原料山100の表面の座標Q3、Q4のデータ)と、座標変換部112で得られたデータ(現場座標系における仮想センサ位置P3の座標のデータ)と、IMU103で得られたデータ(ブーム106aの現場座標系における前記ローリング角と前記ピッチング角のデータ)と、GPSコンパス104で得られたデータ(ブーム106aの現場座標系における前記ヨーイング角のデータ)のうち、リクレーマ106のx方向の位置が同一であるデータを読み出す。そして、3次元直交座標変換部115は、読み出したデータを用いて、現場座標系における原料山100の表面の座標を求める。
また、(10)式において、ρ、φ、σは、それぞれ図8のa軸回り、b軸回り、c軸回りの回転角度であり、仮想センサ位置P3から各座標軸の正の方向を見て時計回りに回転する方向を正の方向としている。
3次元直交座標変換部115は、以上のようにして(10)式の右辺に値を代入することにより、現場座標系における原料山100の表面の座標(x,y,z)を求めることができる。3次元直交座標変換部115は、以上の処理を、データ収集部111で得られた全てのデータについて行う。
また、(10)式の右辺第2項の1番目〜3番目の行列は、3次元直交座標拡張部114で得られた点Q3、Q4の座標((10)式の右辺第2項の4番目の行列)を、ブーム106aと共に回転・並進する3次元直交座標系から現場座標系に変換するための回転処理を行うものである。
また、(10)式の右辺第2項の4番目の行列は、GPS座標系のデータに基づいて求められた仮想センサ位置P3を原点とした、3次元直交座標系における原料山100の表面の座標Q3、Q4のデータである。すなわち、2Dレーザ距離計101a、101bで得られたデータから定まる「原料山100の表面の位置」を、ブーム106aと共に回転・並進する3次元直交座標系に変換したものである。
3次元直交座標変換部115は、以上のような処理を、リクレーマ106のx方向の位置が同一のデータのそれぞれについて実行する。
3次元直交座標変換部115は、例えば、CPUが、3次元直交座標拡張部114、座標変換部112、IMU103、GPSコンパス104で得られたデータのうち、リクレーマ106のx方向の位置が同一であるデータをRAM等から読み出し、コンピュータプログラムに従う演算処理を行って、現座座標系における原料山100の表面の座標を求め、求めた座標のデータをRAM等に記憶することにより実現できる。
データサンプル部116は、3次元直交座標変換部115で得られた「現場座標系における原料山100の表面の座標のデータ」から、現場座標系の所定の仮想空間に配置した3次元格子の各格子点に最も近いデータを抽出(選択)し、その他のデータを排除する。このようにするのは、3次元直交座標変換部115で得られた「現場座標系における原料山100の表面の座標のデータ」が多すぎるために、処理負荷が大きくなり過ぎるからである。ここで、3次元格子は、原料山が形成されると想定される仮想空間全体に配置される。また、本実施形態では、3次元格子の一辺の長さを10cmとする。尚、3次元直交座標変換部115で得られた「現場座標系における原料山100の表面の座標のデータ」の一部を抽出する方法は、「現場座標系における原料山100の表面の座標のデータ」を代表するものを抽出するようにしていれば、このような方法に限定されない。
データサンプル部116は、例えば、3次元直交座標変換部115で得られたデータをRAM等がから読み出し、コンピュータプログラムに従う演算処理を行って、読み出したデータから、原料山100の形状を評価するために使用するデータを抽出し、抽出したデータをRAM等に記憶することにより実現できる。
データ補間部117は、データサンプル部116で抽出されたデータに対応する「3次元格子の格子点」を参照し、データが欠落している格子点があるか否かを判定する。例えば、対応するデータがない1つ又は相互に隣り合う複数の格子点であって、当該格子点の周囲の格子点の全てに対応するデータがある場合、当該格子点についてはデータが欠落していると判定する。この判定の結果、データが欠落している格子点がある場合、データ補間部117は、当該格子点の周囲の格子点に対応するデータを用いて線形補間を行い、当該格子点に対応するデータを求める。尚、データの補間方法は、線形補間に限定されるものではない。
データ補間部117は、データサンプル部116で抽出されたデータをRAM等がから読み出し、コンピュータプログラムに従う演算処理を行って、欠落しているデータを求め、求めたデータをRAM等に記憶することにより実現できる。
原料山形状切出部118は、データサンプル部116及びデータ補間部117で得られた「現場座標系における原料山100の表面の座標のデータ」に基づいて、原料山の形状を個別に切り出し、切り出した原料山を識別するためのデータを、切り出した原料山のそれぞれに対して与える。図9は、原料山の形状を切り出す方法の一例を説明する図である。原料山形状切出部118は、例えば、現場座標系のz軸の値である閾値Th1をユーザからの指示に従って予め記憶しておき、この閾値Th1以下になるところで、データを切り分けることにより、原料山100a、100bの形状を個別に切り出して抽出し、原料山100a、100bの3次元形状を個別に計測することができる(図9では、斜線で示す領域が切り出される)。
原料山形状切出部118は、例えば、CPUが、データサンプル部116及びデータ補間部117で得られたデータをRAM等から読み出し、コンピュータプログラムに従う演算処理を行って、データを原料山100a、100b毎に分け、分けたデータを、当該データが属する原料山100a、100bを識別するためのデータと関連付けてRAM等に記憶することにより実現できる。
原料山体積計算部119は、データサンプル部116及びデータ補間部117で得られた「現場座標系における原料山100a、100bの表面の座標のデータ」に基づいて、各原料山100a、100bの体積を個別に計算する。このとき、原料山体積計算部119は、現場座標系のz軸の値である閾値Th2をユーザからの指示に従って予め記憶しておき、その閾値Th2を基準として(地面と見なして)各原料山100a、100bの体積を計算する。このときに使用する閾値Th2は、原料山形状切出部118で使用する閾値Th1よりも小さな値になるようにするのが好ましい。また、このとき、原料山体積計算部119は、原料山形状切出部118で得られた「原料山100a、100bを識別するためのデータ」に基づいて、体積を計算した各原料山100a、100bを識別する。尚、原料山100a、100bの体積を計算する方法は、公知の技術で実現できるので、ここでは、その詳細な説明を省略する。
原料山体積計算部119は、例えば、CPUが、データサンプル部116及びデータ補間部117で得られた「現場座標系における原料山100a、100bの表面の座標のデータ」と、原料山形状切出部118で得られた「原料山100a、100bを識別するためのデータ」をRAM等から読み出し、コンピュータプログラムに従う演算処理を行って、各原料山100a、100bの体積を計算し、計算した原料山100a、100bの体積のデータを、当該データが属する原料山100a、100bを識別するためのデータと関連付けてRAM等に記憶することにより実現できる。
表示部120は、データサンプル部116及びデータ補間部117で得られた「現場座標系における原料山100a、100bの表面の座標のデータ」を読み出す。そして、表示部120は、読み出したデータと、原料山体積計算部119で計算された各原料山100a、100bの体積のデータとに基づいて、各原料山100a、100bの3次元形状と、当該原料山100a、100bのそれぞれの体積とを示す画像を生成し、コンピュータディスプレイに表示する。このとき、表示部120は、3次元形状で表されているどの原料山100a、100bがどのくらいの体積であるのかをユーザが認識できるように画像を表示する。例えば、3次元形状で表されているどの原料山100a、100bと、当該原料山100a、100bの体積とに同じ番号を付すようにすることができる。また、表示部120は、3次元形状の画像と体積を示す画像とを原料山100a、100b毎に個別に表示するようにしてもよい。尚、本実施形態では、2Dレーザ距離計101を用いているので、2次元形状をx方向に合成することにより3次元形状が得られる。
表示部120は、例えば、CPUが、データサンプル部116及びデータ補間部117で得られたデータと、原料山体積計算部119で得られたデータとをRAM等から読み出し、コンピュータプログラムに従う演算処理を行って、原料山の3次元形状と、当該原料山の体積とをコンピュータディスプレイに表示するための処理を行うことにより実現できる。
次に、図10のフローチャートを参照しながら、原料山計測装置110の動作の一例を説明する。
まず、ステップS1において、データ収集部111は、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104で得られたデータを、それらが得られたときのリクレーマ106のx方向の位置のデータと共に、機体制御装置105から収集するまで待機する。データ収集部111がデータを収集すると、ステップS2に進む。
次に、ステップS3において、2次元直交座標変換部113は、2Dレーザ距離計101a、101bで得られた極座標のデータ((r1,θ1)、(r2,θ2))を、仮想センサ位置P3を原点とした2次元直交座標のデータに変換し、2次元直交座標系における原料山100の表面の座標Q1、Q2を求める((1)式、(2)式を参照)。そして、2次元直交座標変換部113は、当該2次元直交座標系における原料山100の表面の座標Q1、Q2のデータ、当該座標Q1、Q2の算出元である「2Dレーザ距離計101a、101bのデータ」に対応する「リクレーマ106のx方向の位置のデータ」と関連付ける。
次に、ステップS5において、3次元直交座標変換部115は、ステップS1、S2、S4で得られたデータを、(10)式に代入して、現場座標系における原料山100の表面の座標(x,y,z)を計算する。
次に、ステップS6において、データサンプル部116は、ステップS5で得られた、現場座標系における原料山100の表面の座標(x,y,z)のデータから、現場座標系の所定の仮想空間に配置した3次元格子の各格子点に最も近いデータを抽出する。
次に、ステップS7において、データ補間部117は、ステップS6で抽出されたデータに対応する「3次元格子の格子点」を参照し、データが欠落している格子点があるか否かを判定する。この判定の結果、データが欠落している格子点がない場合には、ステップS8を省略して後述するステップS9に進む。一方、データが欠落している格子点がある場合には、ステップS8に進む。
そして、ステップS9に進むと、原料山形状切出部118は、ステップS6、S8で得られた「現場座標系における原料山100の表面の座標のデータ」を原料山100毎に分け、それらのデータを、当該データが属する原料山100を識別するためのデータと関連付ける。
次に、ステップS10において、原料山体積計算部119は、ステップS6、S8で得られた「現場座標系における原料山100の表面の座標のデータ」と、ステップS9で得られた「原料山100を識別するためのデータ」とに基づいて、各原料山の体積を計算する。
最後に、ステップS11において、表示部120は、ステップS6、S8で得られた「現場座標系における原料山100の表面の座標のデータ」と、ステップS10で得られた「各原料山100の体積」とに基づいて、原料山100の3次元形状と、当該原料山100の体積とを示す画像をコンピュータディスプレイに表示する。
本実施形態では、ブーム106aの振動を考慮して、ブーム106aのローリング角、ヨーイング角、及びピッチング角により、ブーム106aの姿勢を定義した。しかしながら、必ずしも、これらの全てを用いてブーム106aの姿勢を定義する必要はない。例えば、ブーム106aの振動が小さく、ピッチング角が変化しないと仮定すれば、必ずしもブーム106aの姿勢にピッチング角を含めなくてもよい。
また、本実施形態では、GPS102、IMU103、及びGPSコンパス104を用いて、2Dレーザ距離計101a、101bの位置と、ブーム106aの前記ローリング角、前記ピッチング角、及び前記ヨーイング角とを測定するようにした。しかしながら、必ずしもこのようにする必要はない。例えば、機体制御装置105からリクレーマ106に対して行う指示の内容(ブーム106aの姿勢(ブーム106aの腑仰の角度・旋回の角度)と、リクレーマ106の走行位置)と、予め記憶しておいた2Dレーザ距離計101a、101bの位置とに基づいて、GPS102、IMU103、及びGPSコンパス104で得られるデータを代用するデータを生成することができる。すなわち、2Dレーザ距離計101a、101bの位置と、ブーム106aの前記ローリング角、前記ピッチング角、及び前記ヨーイング角との少なくとも何れか1つは、専用の測定器で測定せずに、リクレーマ106を動作させるための情報で代用することができる。
また、IMU103の代わりに慣性航法装置を用いるようにしてもよい。慣性航法装置は、ジャイロスコープで方角を、加速度計で加速度をそれぞれ求め、外部からの電波による支援を得ることなく、自らの位置や速度を計測するものである。慣性航法装置は、IMU103に比べ、ローリング角、ピッチング角を高精度に計測することが可能である。また、慣性航法装置は、IMU103が搭載している磁気コンパスより高精度なコンパスを搭載しているので、ヨーイング角についてもIMU103より高精度に計測することが可能である。
また、本実施形態では、GPS102、IMU103、及びGPSコンパス104からのデータを、リクレーマ106が走行レール107上を走行している間収集するようにしたが、必ずしもこのようにする必要はない。これらのデータを初期位置(現場座標系のx座標が0の位置)だけで収集し、以降、これらのデータは変化しないものとしてもよい。また、例えば、原料山100の高さ等により、リクレーマ106のブーム106aを腑仰させながらリクレーマ106を走行させる場合、GPS102、IMU103、及びGPSコンパス104からのデータのうち、ローリング角のデータについては、リクレーマ106が走行レール107上を走行している間収集するようにしてもよい。このことは、ヨーイング角についても同じである。
また、本実施形態では、2Dレーザ距離計101を用い、2次元形状のデータを合成して3次元形状を得るようにしたが、2Dレーザ距離計の代わりに、3次元形状の情報が直接的に得られる3Dレーザを用いてもよい。このようにした場合、3Dレーザ距離計で3次元形状の情報を得るのに時間を要するため、測定地点でリクレーマ106の走行を一時的に停止させる必要がある。尚、本実施形態においても、測定地点でリクレーマ106の走行を一時的に停止させ、停止させた位置でのデータが2Dレーザ距離計101等で得られたら、次の測定地点にリクレーマ106を移動させる構成にしてもよい。ただし、2Dレーザ距離計101によるスキャンのピッチが数十cmであるため、このようにすると、測定時間が長くなる。よって、本実施形態のように、測定地点でリクレーマ106の走行を停止させずに測定を行うのが好ましい。
また、本実施形態のように、GPSコンパス104によりヨーイング角のデータを得るようにすれば、ヨーイング角を高精度に測定することができるので好ましいが、GPSコンパス104の代わりにIMU103を用いて、ヨーイング角のデータを得るようにしてもよい。
[変形例7]
また、機体制御装置105の機能の一部又は全部を原料山計測装置110に含めてもよい。例えば、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104に対する動作指示を原料山計測装置110が行うことができる。また、原料山計測装置110は、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104から直接データを収集することができる。このようにした場合、原料山計測装置110は、例えば、リクレーマ106の走行速度と走行開始時刻の情報を機体制御装置105から受け取ることで、2Dレーザ距離計101a、101b、GPS102a、102b、IMU103、及びGPSコンパス104からデータを収集したときのリクレーマ106のx方向の位置のデータを得ることができる。また、このようにする代わりに、原料山計測装置110は、リクレーマ106のx方向の位置のデータそのものを機体制御装置105から得るようにしてもよい。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
101 2Dレーザ距離計
102 GPS
103 IMU
104 GPSコンパス
105 機体制御装置
106 リクレーマ
106a ブーム
107 走行レール
110 原料山計測装置
111 データ収集部
112 座標変換部
113 2次元直交座標変換部
114 3次元直交座標拡張部
115 3次元直交座標変換部
116 データサンプル部
117 データ補間部
118 原料山形状切出部
119 原料山体積計算部
120 表示部
Claims (10)
- 原料ヤードに積み付けられている原料山の上方にブームを位置させることが可能な重機であって、当該原料山の長手方向に移動することが可能な重機と、
前記ブームの所定の位置から前記原料山に対して光を照射して、前記原料山からの反射光を受光し、当該反射光と、そのときの光の照射方向とに基づいて、前記原料山の表面の位置を示す情報を取得する第1の取得手段と、
前記所定の位置を示す情報を取得する第2の取得手段と、
前記ブームの姿勢を示す情報を取得する第3の取得手段と、
前記第1の取得手段により取得された、前記原料山の表面の位置を示す情報を、前記第2の取得手段により取得された、前記所定の位置を示す情報と、前記第3の取得手段により取得された、前記ブームの姿勢を示す情報とを用いて変更する変更手段と、
前記変更手段により変更された、前記原料山の表面の位置を示す情報から当該情報を代表する情報を抽出するデータサンプル手段と、
前記データサンプル手段により抽出された、前記原料山の表面の位置を示す情報から、前記原料山の形状を抽出して、前記原料山の形状を計測する計測手段と、を有し、
前記原料山の表面の位置を示す情報は、3次元座標により表現され、
前記データサンプル手段は、前記表面の位置を示す情報が変更された前記原料山が形成されると想定される仮想空間に3次元格子を配置し、前記変更手段により変更された、前記原料山の表面の位置を示す情報から、前記3次元格子の各格子点に対応する情報を抽出することにより、前記原料山の表面の位置を示す情報から当該情報を代表する情報を抽出することを特徴とする原料ヤードの原料山計測システム。 - 前記データサンプル手段により抽出された情報に基づいて、前記3次元格子の各格子点に対応する情報があるか否かを判定することによって当該各格子点に欠落している情報があるか否かを判定し、欠落している情報がある場合には、当該欠落している情報を、当該情報が欠落している格子点の周囲の格子点に対応する情報を用いて補間するデータ補間手段を有し、
前記計測手段は、前記データサンプル手段により抽出された、前記原料山の表面の位置を示す情報と、前記データ補間手段により補間された、前記原料山の表面の位置を示す情報とから前記原料山の形状を抽出して、前記原料山の形状を計測することを特徴とする請求項1に記載の原料ヤードの原料山計測システム。 - 前記計測手段は、前記変更手段により変更された、前記原料山の表面の位置を示す情報を、原料山毎に分け、当該分けたそれぞれの前記原料山の表面の位置を示す情報から、前記原料山の形状を個別に抽出して、前記原料山の体積を個別に計算すると共に、前記原料山の3次元形状を個別に求めることを特徴とする請求項1又は2に記載の原料ヤードの原料山計測システム。
- 前記変更手段は、前記第1の取得手段により極座標系の情報として取得された、前記原料山の表面の位置を示す情報を、前記所定の位置を示す情報に基づいて得られる仮想センサ位置を原点とし、前記ブームの延設方向である第1の方向と、前記ブームの延設方向に対して垂直な方向のうち、前記ブームの延設方向及び厚み方向を含む平面に沿う方向である第2の方向とを軸とする2次元直交座標系の情報に変換する2次元直交座標変換手段と、
前記2次元直交座標系の情報に変換された、前記原料山の表面の位置を示す情報を、前記仮想センサ位置を原点とし、前記第1の方向と、前記第2の方向と、前記第1の方向及び前記第2の方向に垂直な方向である第3の方向とを軸とする3次元直交座標系の情報に拡張する3次元直交座標拡張手段と、
前記3次元直交座標系の情報に拡張された、前記原料山の表面の位置を示す情報と、現場座標系の情報として表現された、前記仮想センサ位置の情報と、現場座標系の情報として取得された、前記ブームの姿勢を示す情報とに基づいて、前記原料山の表面の位置を示す情報を、前記現場座標系の情報として求める3次元直交座標変換手段と、を更に有することを特徴とする請求項1〜3の何れか1項に記載の原料ヤードの原料山計測システム。 - 前記第1の取得手段は、前記ブームの延設方向において間隔を有して前記ブームに取り付けられた複数の2Dレーザ距離計であり、
前記2Dレーザ距離計は、前記原料山に対してレーザ光を照射し、
前記所定の位置は、前記2Dレーザ距離計が取り付けられている位置であることを特徴とする請求項1〜4の何れか1項に記載の原料ヤードの原料山計測システム。 - 前記第2の取得手段は、前記ブームに取り付けられた計測装置であって、自身の位置に基づいて前記所定の位置を計測する計測装置であり、
前記第3の取得手段は、前記ブームに取り付けられた計測装置であって、前記ブームの姿勢を計測する計測装置であることを特徴とする請求項1〜5の何れか1項に記載の原料ヤードの原料山計測システム。 - 前記ブームの姿勢は、前記ブームの旋回の角度であるヨーイング角と、前記ブームの腑仰の角度であるローリング角とを含むことを特徴とする請求項1〜6の何れか1項に記載の原料ヤードの原料山計測システム。
- 前記ブームの姿勢は、前記ブームの当該ブームの延設方向の軸を回転軸とする回転の角度であるピッチング角を更に含むことを特徴とする請求項7に記載の原料ヤードの原料山計測システム。
- 原料ヤードに積み付けられている原料山の上方にブームを位置させることが可能な重機であって、当該原料ヤードの長手方向に移動することが可能な重機を用いて、原料山の形状を計測する原料ヤードの原料山計測方法であって、
前記ブームの所定の位置から前記原料山に対して光を照射して、前記原料山からの反射光を受光し、当該反射光と、そのときの光の照射方向とに基づいて、前記原料山の表面の位置を示す情報を取得する第1の取得工程と、
前記ブームの所定の位置を示す情報を取得する第2の取得工程と、
前記ブームの姿勢を示す情報を取得する第3の取得工程と、
前記第1の取得工程により取得された、前記原料山の表面の位置を示す情報を、前記第2の取得工程により取得された、前記所定の位置を示す情報と、前記第3の取得工程により取得された、前記ブームの姿勢を示す情報とを用いて変更する変更工程と、
前記変更工程により変更された、前記原料山の表面の位置を示す情報から当該情報を代表する情報を抽出するデータサンプル工程と、
前記データサンプル工程により抽出された、前記原料山の表面の位置を示す情報から、前記原料山の形状を抽出して、前記原料山の形状を計測する計測工程と、を有し、
前記原料山の表面の位置を示す情報は、3次元座標により表現され、
前記データサンプル工程は、前記表面の位置を示す情報が変更された前記原料山が形成されると想定される仮想空間に3次元格子を配置し、前記変更工程により変更された、前記原料山の表面の位置を示す情報から、前記3次元格子の各格子点に対応する情報を抽出することにより、前記原料山の表面の位置を示す情報から当該情報を代表する情報を抽出することを特徴とする原料ヤードの原料山計測方法。 - 原料ヤードに積み付けられている原料山の上方にブームを位置させることが可能な重機であって、当該原料ヤードの長手方向に移動することが可能な重機を用いて、原料山の形状を計測することをコンピュータに実行させるためのコンピュータプログラムであって、
前記ブームの所定の位置から前記原料山に対して光が照射されて、前記原料山からの反射光が受光されると、当該反射光と、そのときの光の照射方向とに基づいて、前記原料山の表面の位置を示す情報を取得する第1の取得工程と、
前記ブームの所定の位置を示す情報を取得する第2の取得工程と、
前記ブームの姿勢を示す情報を取得する第3の取得工程と、
前記第1の取得工程により取得された、前記原料山の表面の位置を示す情報を、前記第2の取得工程により取得された、前記所定の位置を示す情報と、前記第3の取得工程により取得された、前記ブームの姿勢を示す情報とを用いて変更する変更工程と、
前記変更工程により変更された、前記原料山の表面の位置を示す情報から当該情報を代表する情報を抽出するデータサンプル工程と、
前記データサンプル工程により抽出された、前記原料山の表面の位置を示す情報から、前記原料山の形状を抽出して、前記原料山の表面の形状を計測する計測工程と、をコンピュータに実行させ、
前記原料山の表面の位置を示す情報は、3次元座標により表現され、
前記データサンプル工程は、前記表面の位置を示す情報が変更された前記原料山が形成されると想定される仮想空間に3次元格子を配置し、前記変更工程により変更された、前記原料山の表面の位置を示す情報から、前記3次元格子の各格子点に対応する情報を抽出することにより、前記原料山の表面の位置を示す情報から当該情報を代表する情報を抽出することを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010020632A JP5574726B2 (ja) | 2010-02-01 | 2010-02-01 | 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010020632A JP5574726B2 (ja) | 2010-02-01 | 2010-02-01 | 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011157187A JP2011157187A (ja) | 2011-08-18 |
JP5574726B2 true JP5574726B2 (ja) | 2014-08-20 |
Family
ID=44589502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010020632A Active JP5574726B2 (ja) | 2010-02-01 | 2010-02-01 | 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5574726B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102425991B (zh) * | 2011-09-15 | 2014-07-23 | 武汉武大卓越科技有限责任公司 | 一种自动化堆场激光测量装置及其使用方法 |
JP6003211B2 (ja) * | 2012-05-17 | 2016-10-05 | Jfeスチール株式会社 | 円断面長尺物品の六角結束内本数計測装置 |
KR101386963B1 (ko) * | 2013-01-15 | 2014-04-30 | 주식회사 글로시스 | 저탄장 체적 계측구조 |
JP6293593B2 (ja) * | 2014-07-03 | 2018-03-14 | 株式会社日立ソリューションズ | 体積算出装置、体積算出方法、および体積算出プログラム |
CN104279955B (zh) * | 2014-09-26 | 2017-02-15 | 华北电力大学(保定) | 一种基于四轴飞行器的火电厂盘煤测算方法 |
KR101576583B1 (ko) * | 2014-11-28 | 2015-12-11 | 에너시스(주) | 스태커의 위치변화에 따른 야적파일 측위방법 및 장치 |
JP6791041B2 (ja) * | 2017-07-11 | 2020-11-25 | Jfeスチール株式会社 | 原料山計測方法および原料山計測システム |
CN113167569B (zh) * | 2018-11-21 | 2022-10-11 | 日本电气通信***株式会社 | 体积测量装置、***、方法和程序 |
CN109903383B (zh) * | 2019-04-11 | 2020-11-10 | 中国矿业大学 | 一种采煤机在工作面煤层三维模型中精确定位方法 |
TWI717815B (zh) * | 2019-08-26 | 2021-02-01 | 中國鋼鐵股份有限公司 | 自走式料堆外形掃描的儲量計算方法 |
CN111811403B (zh) * | 2020-07-21 | 2022-03-18 | 江苏建筑职业技术学院 | 一种用于盘煤轨道机器人的高效轨道结构 |
CN113942844A (zh) * | 2021-11-10 | 2022-01-18 | 新疆天池能源有限责任公司 | 一种堆取料机远程控制*** |
CN114313890A (zh) * | 2022-01-06 | 2022-04-12 | 中冶北方(大连)工程技术有限公司 | C型料场堆料料层动态模拟控制***及方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6058134B2 (ja) * | 1981-08-07 | 1985-12-18 | 川崎製鉄株式会社 | 原料ヤ−ドの管理方法 |
JPH0540409Y2 (ja) * | 1988-05-24 | 1993-10-14 | ||
JPH04126110U (ja) * | 1991-05-07 | 1992-11-17 | 三菱重工業株式会社 | 貯炭ヤードにおける積山量自動計測装置 |
JPH0753056A (ja) * | 1993-08-11 | 1995-02-28 | Mitsubishi Heavy Ind Ltd | 撒物パイル形状検出装置 |
JPH0868847A (ja) * | 1994-08-30 | 1996-03-12 | Kumagai Gumi Co Ltd | 路盤レベル測定装置 |
JPH08175672A (ja) * | 1994-12-27 | 1996-07-09 | Mitsubishi Heavy Ind Ltd | リクレーマーブームの自動リターン制御方法 |
JP3014336B2 (ja) * | 1997-04-16 | 2000-02-28 | 鹿島建設株式会社 | 遠隔施工支援画像システム |
JP2001119567A (ja) * | 1999-10-15 | 2001-04-27 | Seiko Epson Corp | 画像処理装置及び画像処理方法 |
JP2002354461A (ja) * | 2001-05-23 | 2002-12-06 | Matsushita Electric Ind Co Ltd | 画像サーバとこれを用いた画像サーバシステム、及び画像データ転送方法 |
JP2007120993A (ja) * | 2005-10-25 | 2007-05-17 | Tokyo Institute Of Technology | 物体形状測定装置 |
JP4512046B2 (ja) * | 2006-02-10 | 2010-07-28 | 新日本製鐵株式会社 | 原料ヤードの原料山の三次元管理装置 |
JP4622987B2 (ja) * | 2006-10-31 | 2011-02-02 | トヨタ自動車株式会社 | 工具参照面データの作成装置と作成方法 |
-
2010
- 2010-02-01 JP JP2010020632A patent/JP5574726B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011157187A (ja) | 2011-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574726B2 (ja) | 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム | |
US9562971B2 (en) | Point-cloud fusion | |
CN105928498B (zh) | 提供关于对象的信息的方法、大地测绘***、存储介质 | |
JP5748566B2 (ja) | 三次元形状情報取得装置 | |
CN105352476B (zh) | 船载水岸线水上水下一体化测量***集成方法 | |
US20140336928A1 (en) | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling | |
CN103925872A (zh) | 一种用于获取目标物空间分布的激光扫描测量装置和方法 | |
CN113820735B (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
CN100386647C (zh) | 基于pos的机载干涉sar***及方法 | |
JP5610870B2 (ja) | 無人走行車両の誘導装置及び無人走行車両の誘導方法 | |
JP2011196916A (ja) | 計測車両、道路地物計測システム | |
JP2020165717A (ja) | 点群データ処理方法および点群データ処理装置 | |
JP5847409B2 (ja) | 原料ヤード管理システム、原料ヤード管理方法、及びコンピュータプログラム | |
CN116605772B (zh) | 一种基于多集成***的塔吊碰撞预警方法 | |
CN102155913A (zh) | 基于图像和激光的煤堆体积自动测量方法及装置 | |
JP2019020131A (ja) | 原料山計測方法および原料山計測システム | |
CN107923744A (zh) | 基于点云的表面施工 | |
KR101576583B1 (ko) | 스태커의 위치변화에 따른 야적파일 측위방법 및 장치 | |
US20220284671A1 (en) | System and method for collecting and georeferencing 3d geometric data associated with a gps-denied environment | |
CN108249307B (zh) | 一种大型起重机的移动测量与反馈控制***及方法 | |
JP7137509B2 (ja) | 船舶の積載物の数量検収システム | |
KR102564594B1 (ko) | 삼차원 재구성 장치, 삼차원 재구성 시스템, 삼차원 재구성 방법, 및 삼차원 재구성 프로그램 | |
CN211137141U (zh) | 隧道机器人 | |
JP6857161B2 (ja) | 有効距離取得方法、及び、レーザ計測方法 | |
CN205229460U (zh) | 一种基于无人机的电力线三维重建*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20111128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20111128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5574726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |