JP7135056B2 - 作業機械の表示システム及び作業機械 - Google Patents

作業機械の表示システム及び作業機械 Download PDF

Info

Publication number
JP7135056B2
JP7135056B2 JP2020184311A JP2020184311A JP7135056B2 JP 7135056 B2 JP7135056 B2 JP 7135056B2 JP 2020184311 A JP2020184311 A JP 2020184311A JP 2020184311 A JP2020184311 A JP 2020184311A JP 7135056 B2 JP7135056 B2 JP 7135056B2
Authority
JP
Japan
Prior art keywords
display
work machine
processing unit
tilt
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020184311A
Other languages
English (en)
Other versions
JP2021014783A (ja
Inventor
了 新谷
祥人 熊倉
大毅 有松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2020184311A priority Critical patent/JP7135056B2/ja
Publication of JP2021014783A publication Critical patent/JP2021014783A/ja
Application granted granted Critical
Publication of JP7135056B2 publication Critical patent/JP7135056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Jib Cranes (AREA)

Description

本発明は、作業機械のオペレータが作業機械の傾きや方向を必要に応じて精度高く認識することができるモニタ表示水準器を表示する作業機械の表示システム及び作業機械に関する。
従来、油圧ショベルやブルドーザ等の作業機械では運転席に気泡管水準器を設置していた。そして、作業機械で足場の整地作業を行う場合、気泡管水準器を参照して作業機械の傾き状態を認識していた。しかし、運転席には、各種の表示装置などが配置されるため、気泡管水準器が表示装置に隠れてしまう場合がある。この場合、オペレータは気泡管水準器による作業機械の傾き状態を認識するために、オペレータ自身の姿勢を変える必要があり、作業性が悪化することになる。
特許文献1には、旋回体にクレーン本体が設けられ、クレーン本体の傾斜状態を検出し、旋回体の運転席の表示装置に、この傾斜状態を表示装置の表示画面上に表示するクレーンの表示装置が記載されている。また、特許文献2には、重機の水平状態に対する前後、左右の傾きを検出するセンサを取り付け、このセンサからの信号に基づいて重機の姿勢情報表示画像を表示する姿勢認識装置が記載されている。
特開2001-39680号公報 特開2001-348914号公報
ところで、作業機械による作業内容によっては、オペレータは作業機械の傾き及び方向を精度の高く認識する必要がある。しかし、運転席に設けられて作業機械の傾斜表示を行う従来の表示装置では、作業機械の傾き及び方向を示す表示内容が固定されており、作業機械の傾き及び方向を精度高く認識できず、オペレータに対する傾斜認識支援が不十分な場合があった。
本発明は、上記に鑑みてなされたものであって、作業機械のオペレータが作業機械の傾きや方向を必要に応じて精度高く認識することができるモニタ表示水準器を表示する作業機械の表示システム及び作業機械を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる作業機械の表示システムは、作業機械のピッチ角とロール角とを検出する傾斜センサと、検出したピッチ角とロール角をもとに、前記作業機械の傾きの大きさと傾きの方向とを示す極座標上の傾斜位置を演算する演算部と、各種情報を表示する表示部と、前記傾斜位置と予め設定した傾きの大きさを示す標線とを極座標表示したモニタ表示水準器を、前記表示部の表示画面上の所定領域に表示する表示処理部と、前記モニタ表示水準器の表示内容を変更設定する設定処理部と、を備えたことを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記設定処理部は、前記標線が示す傾きの大きさを変更設定する標線設定処理部を備えたことを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記設定処理部は、前記極座標表示の画面に表示する前記傾きの大きさの表示倍率を変更設定する倍率設定処理部を備えたことを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記表示処理部は、前記傾斜位置の傾きの大きさが前記標線を超えた場合に、前記極座標表示の画面の色を変更することを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記設定処理部は、前記極座標表示の画面の色の変更設定を行う色変更設定処理部を備えたことを特徴とする。
また、本発明にかかる作業機械の表示システムは、上記の発明において、前記傾斜位置は、前記極座標表示の画面上で該傾斜位置を中心とした円である泡として表示することを特徴とする。
また、本発明にかかる作業機械の表示システムは、前記傾斜センサを前記作業機械内に設け、前記演算部、前記表示部、前記表示処理部、前記設定処理部の少なくとも1つは、前記作業機械外に設けたことを特徴とする。
また、本発明にかかる作業機械は、上記の発明のいずれか一つに記載の作業機械の表示システムを備えたことを特徴とする。
本発明によれば、標線が示す傾きの大きさを変更設定する標線設定処理部あるいは極座標表示の画面に表示する傾きの大きさの表示倍率を変更設定する倍率設定処理部などの設定処理部を備えているので、作業機械のオペレータが作業機械の傾きや方向を必要に応じて精度高く認識することができる。
図1は、本実施の形態に係るモニタ表示水準器を表示する表示システムを備えた作業機械の斜視図である。 図2は、油圧ショベルの制御系を示すブロック図である。 図3は、ガイダンス画像の一例を示す図である。 図4は、演算部の処理を説明する説明図である。 図5は、標線を超えた場合に色変更表示を行う一例を示す図である。 図6は、段階的な色変化を示す図である。 図7は、連続的な色変化を示す図である。 図8は、標線の傾きの大きさを大きくする変更を行った場合のモニタ表示水準器の表示状態を示す図である。 図9は、表示倍率を大きくした場合のモニタ表示水準器の表示状態を示す図である。 図10は、設定メニュー画面の一例を示す図である。 図11は、設定メニュー画面の他の一例を示す図である。 図12は、標線設定画面の一例を示す図である。 図13は、倍率設定画面の一例を示す図である。 図14は、色変更設定画面の一例を示す図である。 図15は、泡変更設定画面の一例を示す図である。 図16は、泡の半径を考慮して表示領域の周縁部を拡大した一例を示す図である。 図17は、油圧ショベルを遠隔操作する場合の表示装置を説明する図である。 図18は、油圧ショベルの外部で、携帯端末装置の表示部にモニタ表示水準器を表示する一例を示す図である。
以下、添付図面を参照して本発明を実施するための形態について説明する。
<作業機械の全体構成>
図1は、本実施の形態に係るモニタ表示水準器を表示する表示システムを備えた作業機械の斜視図である。作業機械の一例である油圧ショベル100は、本体部としての車両本体1と作業機2とを有する。車両本体1は、旋回体である上部旋回体3と走行体としての走行装置5とを有する。上部旋回体3は、機械室3EGの内部に、エンジン及び油圧ポンプ等の装置を収容している。
上部旋回体3は、運転室4を有する。運転室4は、上部旋回体3の他端側に設置されている。すなわち、運転室4は、機械室3EGが配置されている側とは反対側に設置されている。運転室4内には、図2に示される、表示部29及び操作装置25が配置される。上部旋回体3の上方には、手すり9が取り付けられている。
走行装置5の上には、上部旋回体3が搭載されている。走行装置5は、履帯5a,5bを有している。走行装置5は、左右に設けられた油圧モータ5cの一方又は両方によって駆動される。走行装置5の履帯5a,5bが回転することにより、油圧ショベル100を走行させる。作業機2は、上部旋回体3の運転室4の側方側に取り付けられている。
作業機2は、ブーム6とアーム7と作業具の一例であるバケット8とブームシリンダ10とアームシリンダ11とバケットシリンダ12とを有する。ブーム6の基端部は、ブームピン13を介して車両本体1の前部に回動可能に取り付けられている。アーム7の基端部は、アームピン14を介してブーム6の先端部に回動可能に取り付けられている。アーム7の先端部には、バケットピン15を介してバケット8が取り付けられている。バケット8は、リンクピン16及びリンク17を介してバケットシリンダ12と連結されている。バケット8は、バケットピン15を中心として回動する。バケット8は、バケットピン15とは反対側に複数の刃8Bが取り付けられている。刃先8Tは、刃8Bの先端である。
バケット8は、複数の刃8Bを有していなくてもよい。つまり、図1に示すような複数の刃8Bを有しておらず、刃先が鋼板によってストレート形状に形成されたようなバケットであってもよい。作業機2は、例えば、チルトバケットを備えていてもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベル100が傾斜地にあっても、斜面、平地を自由な形に成形したり、整地したりすることができる。バケット8は、底板プレートによる転圧作業もできるバケットであってもよい。
図1に示されるブームシリンダ10、アームシリンダ11及びバケットシリンダ12は、それぞれ作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ10はブーム6を駆動して、昇降させる。アームシリンダ11は、アーム7を駆動して、アームピン14の周りを回動させる。バケットシリンダ12は、バケット8を駆動して、バケットピン15の周りを回動させる。
上部旋回体3の上部には、アンテナ21,22が取り付けられている。アンテナ21,22は、油圧ショベル100の現在位置を検出するために用いられる。アンテナ21,22は、図2に示されるグローバル座標演算部23と電気的に接続されている。
図2は、油圧ショベル100の制御系を示すブロック図である。油圧ショベル100は、グローバル座標演算部23と、操作装置25と、作業機コントローラ26と、センサコントローラ27と、表示コントローラ28と、表示部29とを有する。操作装置25は、コントロールバルブ57を制御することにより、エンジン55によって駆動される油圧ポンプ56からブームシリンダ10、アームシリンダ11、バケットシリンダ12、油圧モータ5c及び上部旋回体3を旋回させる旋回モータ58に供給される作動油の流量を制御する。
グローバル座標演算部23は、油圧ショベル100の位置を検出する。グローバル座標演算部23は、RTK-GNSS(Real Time Kinematic - Global Navigation Satellite Systems、GNSSは全地球航法衛星システムをいう)を利用して油圧ショベル100の現在位置を検出する。アンテナ(GNSSアンテナ)21,22が受信したGNSS電波に応じた信号は、グローバル座標演算部23に入力される。グローバル座標演算部23は、グローバル座標系におけるGNSSアンテナ21,22の設置位置を求める。
グローバル座標演算部23は、グローバル座標系で表される2つの基準位置データP11,P12を取得する。グローバル座標演算部23は、2つの基準位置データP11,P12に基づいて、上部旋回体3の配置を示す旋回体配置データを生成する。旋回体配置データには、2つの基準位置データP11,P12の少なくとも一方と、2つの基準位置データP11,P12に基づいて生成された上部旋回体3の方位の情報とが含まれる。これら2個のGNSSアンテナ21,22によりGPSコンパスを構成し、上部旋回体3の方位の情報を得るようにしてもよい。つまり、グローバル座標演算部23は、両方のGNSSアンテナ21,22の基準位置データP11、P12は出力せず、2つのGNSSアンテナ21,22の相対位置から方位角を算出し、その方位角を旋回体の方位としてもよい。
操作装置25は、左操作レバー25L、右操作レバー25R、左走行用レバー25FL及び右走行用レバー25FRを有している。油圧ショベル100のオペレータは、左操作レバー25L及び右操作レバー25Rを操作することにより、作業機2及び上部旋回体3の動作を制御し、作業対象となる地面等に対して、例えば掘削等の施工を行う。オペレータは、左走行用レバー25FL及び右走行用レバー25FRを操作することにより、油圧モータ5cを駆動させて油圧ショベル100を走行させる。本実施の形態では、左操作レバー25L、右操作レバー25R、左走行用レバー25FL及び右走行用レバー25FRはパイロット圧方式のレバーであるが、これに限定されない。左操作レバー25L、右操作レバー25R、左走行用レバー25FL及び右走行用レバー25FRは、例えば、電気方式のレバーであってもよい。
作業機コントローラ26は、処理部26P及び記憶部26Mを有する。作業機コントローラ26は、作業機2の動作を制御する装置である。処理部26Pは作業機2の動作を制御し、記憶部26Mは作業機2の動作を制御するために必要なコンピュータプログラム及び制御用のデータを記憶する。油圧ショベル100の施工時において、作業機2の位置、本実施の形態ではバケット8の刃先8Tの位置が、施工対象の目標形状を示す目標施工面を侵食しないように作業機2を制御する。なお、本実施の形態では、刃先8Tの位置は表示コントローラ28によって求められるが、表示コントローラ28以外の装置によって求められてもよい。
センサコントローラ27は、処理部27P及び記憶部27Mを有する。センサコントローラ27は、油圧ショベル100の状態を検出する各種のセンサ類が接続される。センサコントローラ27は、各種のセンサ類から取得した情報を、油圧ショベル100が有する他の装置が取り扱うことのできる形式に変換して出力する。油圧ショベル100の状態の情報は、例えば、油圧ショベル100の姿勢の情報及び作業機2の姿勢の情報等である。図2に示される例では、油圧ショベル100の状態の情報を検出するセンサ類として、IMU(Inertial Measurement Unit:慣性計測装置)24、第1作業機姿勢検出部18A、第2作業機姿勢検出部18B及び第3作業機姿勢検出部18Cがセンサコントローラ27に接続されているが、接続されるセンサ類はこれらに限定されない。
IMU24は、油圧ショベル100の角速度及び加速度を検出する傾斜センサである。油圧ショベル100の角速度及び加速度から、油圧ショベル100の姿勢角が得られる。第1作業機姿勢検出部18Aはブームシリンダ10の動作量を検出し、第2作業機姿勢検出部18Bはアームシリンダ11の動作量を検出し、第3作業機姿勢検出部18Cはバケットシリンダ12の動作量を検出する。ブームシリンダ10の動作量、アームシリンダ11の動作量及びバケットシリンダ12の動作量から、作業機2の姿勢を表す情報が得られる。作業機2の姿勢を表す情報は、例えば、ブーム6と上部旋回体3とのなす角度θ1、ブーム6とアーム7とのなす角度θ2、及びアーム7とバケット8とのなす角度θ3によって規定される。第1作業機姿勢検出部18A、第2作業機姿勢検出部18B、及び第3作業機姿勢検出部18Cは、角度θ1,角度θ2,及び角度θ3を検出するポテンショメータであってもよい。
センサコントローラ27は、グローバル座標演算部23によって求められた油圧ショベル100のグローバル座標における位置及び上部旋回体3の方位の情報と、IMU24によって得られた油圧ショベル100の角速度及び加速度の情報と、作業機2の姿勢を表す情報とを取得する。センサコントローラ27は、取得した油圧ショベル100のグローバル座標における位置及び上部旋回体3の方位の情報と、作業機2の姿勢を表す情報とを、表示コントローラ28に出力する。センサコントローラ27の処理部27Pは、センサコントローラ27の機能を実現する。記憶部27Mは、センサコントローラ27の機能を実現するために必要なコンピュータプログラム及びデータを記憶する。
表示コントローラ28は、処理部28P及び記憶部28Mを有する。表示コントローラ28には、表示部29が接続される。表示部29は、画像等の各種情報を表示する装置であり、例えば操作機能と表示機能とを備えたタッチパネルを用いることができる。表示部29は、例えば液晶表示パネル又は有機EL(Electro Luminescence)パネル等が用いられる。表示コントローラ28は、表示部29に表示される画像の描画情報を生成する。図2に示される例では、表示部29に、油圧ショベル100が施工対象を施工する際のガイダンス画像IGの一例が表示されている。ガイダンス画像IGは、油圧ショベル100及びバケット8を側面から見た状態、すなわちバケット8を側面視したときの画像である。
また、ガイダンス画像IGには、例えば施工対象の目標形状を示す目標施工面70の断面を示す線(後述する目標施工面線79)、施工対象ではないが油圧ショベル100の接地面、及び周囲の地面の断面を示す線が表示される。つまり、表示コントローラ28は、ガイダンス画像IGに地形の断面を示す画像を表示する。ガイダンス画像IGには、バケット8を含む油圧ショベル100の全体を表示させてもよいし、作業機2を含むバケット8を抽出して表示させてもよい。あるいは、ガイダンス画像IGには、バケット8を抽出して表示させてもよい。また、ガイダンス画像IGには、モニタ表示水準器40と正対コンパス73とが表示される。なお、油圧ショベル100は、作業機械の一例であり、作業機械は、傾斜状態検知が必要なブルドーザなどの他の作業機械を含む。
表示コントローラ28は、センサコントローラ27から取得した油圧ショベル100のグローバル座標における位置及び上部旋回体3の方位と、作業機2の姿勢を表す情報と、作業機2の寸法を示す情報とを用いて、作業機2の位置を求める。作業機2の寸法を示す情報は、例えば表示コントローラ28の記憶部28Mに予め記憶される。表示コントローラ28によって求められる作業機2の位置は、例えばバケット8の刃先8Tの位置である。表示コントローラ28によって求められたバケット8の刃先8Tの位置は、グローバル座標系における位置である。表示コントローラ28は、ガイダンス画像IGを表示部29に表示させる場合、求めた刃先8Tの位置と、目標施工面70とを同時に表示部29に表示させる。油圧ショベル100のオペレータは、表示部29に表示されたガイダンス画像IGから、刃先8Tの位置と目標施工面70との位置関係を容易に把握できるので、作業効率が向上する。本実施の形態において、刃先8Tの位置は表示コントローラ28によって求められるが、表示コントローラ28以外の装置によって求められてもよい。
表示コントローラ28は、例えば、ガイダンス画像IGを表示部29に表示させる場合、バケット8の形状及び寸法の情報を用いて、バケット8の側面を描画するための描画情報を生成する。表示部29は、表示コントローラ28によって生成された描画情報に基づいて、バケット8の側面の画像を表示する。
表示コントローラ28の処理部28Pは、表示コントローラ28の機能、例えばバケット8を側面視した画像を描画するための描画情報を生成したり、ガイダンス画像IGに含まれる目標施工面70の描画情報を生成したりする。記憶部28Mは、表示コントローラ28の機能を実現するために必要なコンピュータプログラム及びデータを記憶する。このデータには、例えば、目標施工面70を生成するための設計地形の情報及び作業機2の寸法の情報等が含まれる。
表示コントローラ28には、入力装置28Iが接続されている。入力装置28Iは、バケット8の形状及び寸法の情報を表示コントローラ28に入力したり、表示部29の表示を切り替えたりする指令を表示コントローラ28に出力したり、後述する設定処理部33への指令を表示コントローラ28に出力する。本実施の形態において、入力装置28Iは、タッチパネル式、又はハードキー若しくはスイッチ等の操作部材によって構成されたものである。入力装置28Iがタッチパネル式である場合は、前述のように表示部29がタッチパネルであって、入力装置28I及び表示部29は一体となったものである。
作業機コントローラ26の処理部26P、センサコントローラ27の処理部27P及び表示コントローラ28の処理部28Pは、例えば、CPU(Central Processing Unit)のようなプロセッサ及びメモリによって実現される。作業機コントローラ26の記憶部26M、センサコントローラ27の記憶部27M及び表示コントローラ28の記憶部28Mは、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも1つが用いられる。
<ガイダンス画像IG>
図3は、ガイダンス画像IGの一例を示す図である。ガイダンス画像IGは、目標施工面70とバケット8の刃先8Tとの位置関係を示す。ガイダンス画像IGは、施工対象の一例である地面が目標施工面70で示されたものと同じ形状になるように、油圧ショベル100のオペレータに対して作業機2の操作を案内させるための画像である。
ガイダンス画像IGは、例えば、表示部29の表示画面29Pに表示される。ガイダンス画像IGは、施工エリアの設計地形、すなわち目標施工面70を含む設計面45及び油圧ショベル100の現在位置を示す正面図53aと、目標施工面70及び油圧ショベル100の位置関係を示す側面図53bとを含む。ガイダンス画像IGの正面図53aは、複数の三角形ポリゴンによって正面視による設計地形を表現している。正面図53aに示されるように、表示コントローラ28は、複数の三角形ポリゴンをまとめて設計面59又は目標施工面70として表示部29に表示させる。図3は、設計地形が法面である場合に、油圧ショベル100が法面に向かい合った状態を示している。正面図53aは、設計地形、すなわち目標施工面70を含む設計面59と油圧ショベル100の現在位置とを鳥瞰図のような3次元形態で表示するものであってもよい。
また、複数の設計面59から目標作業対象として選択された目標施工面70は、他の設計面59と異なる色で表示される。例えば、表示部29にタッチパネルが用いられる場合、油圧ショベル100のオペレータが表示画面29Pに表示された複数の設計面59の中から目標施工面70に相当する場所を指で触れることで、目標施工面70を選択することができる。図3の正面図53aでは、油圧ショベル100の現在位置が、油圧ショベル100を背面から見たアイコン61で示されているが、他のシンボルによって示されてもよい。正面図53aは、油圧ショベル100を目標施工面70に対して正対させるための情報を含んでいる。油圧ショベル100を目標施工面70に対して正対させるための情報は、油圧ショベル100(バケット8の刃先8T)と目標施工面70との位置関係を演算した結果に基づいて、正対コンパス73として表示される。正対コンパス73は、例えば、矢印形状の指針73Iが矢印Rで示すように回転して、目標施工面70に対する正対方向と油圧ショベル100を旋回させるべき方向を案内するための絵柄又はアイコンといった姿勢情報である。また、上述したように、モニタ表示水準器40が表示される。
ガイダンス画像IGは、目標施工面70とバケット8の刃先8Tとの位置関係を示す画像と、目標施工面70とバケット8の刃先8Tとの間の距離を示す距離情報とを含む。本実施の形態において、側面図53bは、目標施工面線79と、側面視による油圧ショベル100のアイコン75と、側面視によるバケット8のアイコン90と、油圧ショベル100が接地する地面LNDとを含む。目標施工面線79は目標施工面70の断面を示す。目標施工面線79は、バケット8の刃先8Tの現在位置を通る作業機中心と平行な平面と設計面59との交線を算出することにより求められる。交線は、表示コントローラ28の処理部28Pが求める。作業機中心と平行な平面は、例えば、図1に示されるバケットピン15の幅方向中心を通り、かつバケットピン15が延びる方向と直交する平面である。
側面図53bにおいて、目標施工面70とバケット8の刃先8Tとの間の距離を示す距離情報は、グラフィック情報84を含む。目標施工面70とバケット8の刃先8Tとの間の距離は、例えば刃先8Tから鉛直方向(重力方向)に目標施工面70に向かって下ろした線が目標施工面70と交わる点と、刃先8Tとの距離である。また、目標施工面70とバケット8の刃先8Tとの間の距離は、刃先8Tから目標施工面70に垂線を下ろしたときの交点と、刃先8Tとの距離であってもよい。
グラフィック情報84は、バケット8の刃先8Tと目標施工面70との距離をグラフィックで示した情報である。グラフィック情報84は、バケット8の刃先8Tの位置を示すための案内用の指標である。ガイダンス画像IGに、目標施工面線79と油圧ショベル100との位置関係を示すために、両者の距離を図示しない数値で表示してもよい。油圧ショベル100のオペレータは、目標施工面線79に沿ってバケット8の刃先8Tを移動させることによって、現在の地形が設計地形(目標施工面70)になるように、容易に掘削することができる。
図2に示される表示コントローラ28は、前述したように、バケット8の形状及び寸法の情報を用いてバケット8の側面を描画するための描画情報を生成する。この描画情報に基づいて表示部29に表示されたバケット8は、側面視の画像が表示される。バケット8の側面視とは、バケットピン15が延びる方向からバケット8を見ることである。バケット8の側面視には、バケット8の底面8BTを示す画像が含まれる。
<モニタ表示水準器の表示制御系>
表示部29の表示画面、例えばガイダンス画像IGの表示領域には、モニタ表示水準器40が表示される。モニタ表示水準器40は、気泡管水準器を上面からみた表示態様となっている。モニタ表示水準器40は、極座標系で示され、泡41の中心位置が傾斜位置として油圧ショベル100の傾きの大きさと傾きの方向とを示している。泡41は、極座標系上の傾斜位置を示す。モニタ表示水準器40には、標線Lが表示される。標線Lは、予め設定した傾きの大きさを示す指標であり、極座標系の原点を中心にした円で示される。
IMU24は、上述したように、油圧ショベル100の角速度及び加速度を検出する。油圧ショベル100の動作にともない、油圧ショベル100には、走行時に発生する加速度、旋回時に発生する角加速度及び重力加速度といった様々な加速度が生じるが、IMU24は少なくとも重力加速度を含む加速度を検出し、各加速度の種類を区別することなく検出した加速度を出力する。重力加速度は、重力に対応した加速度である。IMU24は、図1に示される車体座標系(x、y、z)において、x軸方向、y軸方向及びz軸方向の加速度と、x軸、y軸及びz軸周りの角速度ωとを検出する。
IMU24は、上部旋回体3に取り付けられている。IMU24は、より高い精度で加速度等を検出するために、例えば、油圧ショベル100の上部旋回体3の旋回中心軸上に設けられることが望ましいが、IMU24は運転室4の下部に設置されてもよい。
IMU24は、少なくとも図1に示したx軸周りの角速度を時間積分したピッチ角θp、y軸周りの角速度を時間積分したロール角θr、y軸周りの角速度を時間積分したヨー角θyをセンサコントローラ27を介して表示コントローラ28に出力する。なお、IMU24は、センサコントローラ27を介さず、直接表示コントローラ28に接続してもよい。IMU24を直接、表示コントローラ28に接続した場合、センサコントローラ27で行っていた処理は、表示コントローラ28で実施する。また、IMU24は、所定の周期で油圧ショベル100の加速度及び角速度を更新する。
図2に示すように、処理部28Pは、演算部31、表示処理部32、設定処理部33を有する。また、設定処理部33は、標線設定処理部34、倍率設定処理部35、色変更設定処理部36、泡変更設定処理部37のいずれか1つを有する。演算部31は、IMU24が検出した油圧ショベル100のピッチ角θp及びロール角θrとをもとに、油圧ショベル100の傾きの大きさと傾きの方向とを示す極座標上の傾斜位置を演算する。すなわち、水平面(xy平面)に対する油圧ショベル100の傾きの大きさと傾きの方向とを演算する。表示処理部32は、演算部31が求めた傾斜位置と予め設定した傾きの大きさを示す標線Lとを極座標表示した水準器表示を、表示部29のモニタ画面上の所定領域、例えばガイダンス画像IG上に表示する。なお、IMU24は、傾斜センサの一例であり、傾斜センサは、油圧ショベル100のピッチ角θp及びロール角θrを検出できるものであればよい。ここで、表示システムは、IMU24などの傾斜センサ、演算部31、表示処理部32、設定処理部33、表示部29を備える。
標線設定処理部34は、モニタ表示水準器40内の標線Lが示す傾きの大きさを変更設定する。倍率設定処理部35は、モニタ表示水準器40における傾きの大きさの表示倍率を変更設定する。色変更設定処理部36は、モニタ表示水準器40の画面の色の変更設定を行う。泡変更設定処理部37は、モニタ表示水準器40内で傾きの大きさと傾きの方向とを示す泡41の大きさや色の変更設定を行う。泡変更設定処理部37は、標識画像の一例である泡41の大きさや色の変更設定を行う標識画像変更設定処理部として機能する。なお、記憶部28Mには、モニタ表示水準器40の設定情報が水準器情報Dとして記憶されている。
<演算部の演算処理>
図4に示すように、演算部31は、IMU24によって取得されたピッチ角θpとロール角θrとを用い(図4(a)参照)、次式(1),(2)を適用して極座標上の傾斜位置P1(x1,y1)(図4(b)参照)を求める。
x1=-A・sinθr・cosθp …(1)
x2=-A・sinθp …(2)
なお、Aは定数である。
図4(b),(c)に示すように、モニタ表示水準器40の極座標表示では、中心Oからの半径方向の大きさで傾きの大きさを表現する円の表示領域E内に、傾斜位置P1を中心とする円で描かれた泡41を表示する。中心Oから傾斜位置P1までの距離が傾きの大きさを示し、x軸からの角度θが傾きの方向を示す。なお、標線Lは、中心Oから、予め設定した傾きの大きさrLを示す円として表示される。
<モニタ表示水準器の色表示>
図5に示すように、表示処理部32は、泡41の傾きの大きさが標線Lを超える場合、モニタ表示水準器40の色を変えて、オペレータに傾きが標線Lを超えたことを知らしめる。なお、泡41が標線Lを超えるか否かは、泡41の円中心(傾斜位置P1)が標線を超えたか否かで判断する。この色変更は、明度、輝度、彩度などの各種色要素を変更するものであってもよい。また、色変更は、各色要素の値を大きくしてもよいし、小さくしてもよい。いずれにしても、泡41の傾きの大きさが標線Lを超えたことを示せばよい。
また、図6に示すように、泡41が標線を超えたときのみでなく、泡41の傾きの大きさrが大きくなるに従って色を段階的に変化させてもよい。さらに、図7に示すように、泡41の傾きの大きさrが大きくなるにしたがって色を連続的に変化させてよい。すなわち、色のグラデーションをかけてもよい。図6及び図7の場合のいずれにも、明度、輝度、彩度などの各種色要素を段階的あるいは連続的に変化させてもよい。
<モニタ表示水準器の標線設定>
図8に示すように、傾きの大きさr1をもつ標線L1(図8(a)参照)を、傾きの大きさr1よりも大きい傾きの大きさr2(>r1)をもつ標線L2(図8(b)参照)に変更してもよい。この変更は、標線設定処理部34によって設定される。油圧ショベル100による作業内容が、高い水平維持を必要な場合には傾きの小さいr1をもつ標線L1に設定し、それほど高い水平維持が必要のない作業内容である場合には傾きの大きいr2をもつ標線L2に設定することが好ましい。
<モニタ表示水準器の倍率設定>
図9に示すように、モニタ表示水準器40の表示倍率を変更してもよい。表示倍率を大きくすることは、極座標の中心Oから半径方向の座標目盛幅を大きくして拡大表示することである。この場合、泡41の傾きの大きさr1の変化を精度高く観測することができる。この表示倍率を大きくすることは、表示感度を大きくすることでもある。表示感度を大きくすることは、式(1),(2)の定数Aを大きくすることである。なお、図9(b)に示すように表示倍率に応じて泡41の大きさも対応して変化させるようにしてもよい。図9(b)では、表示倍率が大きくなったので、この表示倍率に応じて泡41の円を大きな泡41´としている。
<設定画面>
標線設定、倍率設定、色変更設定、泡変更設定などの各種設定を行う場合、表示画面29P上のモニタ表示水準器40のアイコンをタッチすることによって選択する。この選択によって、図10に示す設定メニュー画面PUが表示画面29P上にポップアップ表示される。設定メニュー画面PUには、標線設定m1、倍率設定m2、色変更設定m3、泡変更設定m4の各メニュー項目が表示される。各メニュー項目のいずれかを選択すると、選択した項目の設定画面が表示される。また、戻りアイコンI2を選択すると設定メニュー画面PUが表示画面29P上から消える。
<標線設定画面>
図10の標線設定m1が選択されると、図11に示した標線設定画面PU1が表示される。標線設定画面PU1には、画面左側に調整バーB1が表示され、この調整バーB1上のスライダSL1をドラッグすることによって、標線Lの傾きの大きさrを設定することができる。画面右側には、調整中のモニタ表示水準器40の表示状態が表示される。画面下側の設定アイコンI1を選択すると、現在調整した内容が設定される。一方、戻りアイコンI2を選択すると、現在調整中の内容がキャンセルされて、設定メニュー画面PUに戻る。
なお、標線設定画面PU1は、調整バーB1をスライドさせて標線Lの傾きの大きさrを設定していたが、これに限らず、図12に示すように、標線Lの傾きの大きさrを傾き角度として数値入力欄BX内に数値入力できる標線設定画面PU1´としてもよい。この場合、数値入力欄BXを選択すると図示しない数値入力キーなどがポップアップ表示される。なお、図12に示した標線設定画面PU1´では、モニタ表示水準器40の上部に、油圧ショベル100の左右の傾きを示す液状気泡管ゲージGRを設けるとともに、モニタ表示水準器40の左部に、油圧ショベル100の前後の傾きを示す液状気泡管ゲージGPを設けている。液状気泡管ゲージGRは、ロール角θrに対応した気泡を表示する。液状気泡管ゲージGPはピッチ角θpに対応した気泡を表示する。これによって、モニタ表示水準器40による油圧ショベル100の傾き状態を認識しやすくなる。なお、液状気泡管ゲージGR,GPは、標線設定画面PU1´に限らず、図3に示した表示画面29Pのモニタ表示水準器40に表示してもよい。
<倍率設定画面>
図10の倍率設定m2が選択されると、図13に示した倍率設定画面PU2が表示される。倍率設定画面PU2には、画面左側に調整バーB2が表示され、この調整バーB2上のスライダSL2をドラッグすることによって、表示倍率を設定することができる。画面左側には、さらに、表示倍率の変更に伴って泡41の大きさを同期させるか否かのチェックボックスCB1が表示される。チェックボックスCB1をチェックすると、泡41の大きさが表示倍率に応じて同期する設定がなされる。この同期の設定がなされると、泡41の大きさが表示倍率に応じで拡縮する。画面右側には、調整中のモニタ表示水準器40の表示状態が表示される。画面下側の設定アイコンI1を選択すると、現在調整した内容が設定される。一方、戻りアイコンI2を選択すると、現在調整中の内容がキャンセルされて、設定メニュー画面PUに戻る。なお、この倍率設定画面PU2は、標線設定画面PU1´と同様に、調整バーB2及びスライダSL2に替えて表示倍率を数値入力できるものであってもよい。
<色変更設定画面>
図10の色変更設定m3が選択されると、図14に示した色変更設定画面PU3が表示される。色変更設定画面PU3には、画面左上側に色サンプル50が表示される。また、画面左下側には、各種の色変更設定が表示されている。具体的には、モニタ表示水準器40全体の色を設定するチェックボックスCB11、泡41が標線L未満の時の色と標線L以上の時の色を設定するチェックボックスCB12,CB13、泡41の傾きの大きさの変化に伴って色を連続的に変化させる全体グラデーションのチェックボックスCB14,CB15、泡41の傾きの大きさの変化に伴って色を段階的に変化させる全体グラデーションのチェックボックスCB16,CB17、標線L自体の色を設定する標線のチェックボックスCB18が設けられている。チェックボックスCB11、CB12,CB13、CB14,CB15、CB16,CB17の4つのカテゴリは択一的に選択されるものである。各チェックボックスCB11~CB18に対する色設定は、対応する色設定チェックボックスCBGを選択し、選択された項目に対する色を色サンプル50から選択し、選択された色が色ボックスBGに表示される。なお、泡41が標線Lを超えた場合にモニタ表示水準器40の画面を点滅させるチェックボックスを設けてもよい。画面右側には、色設定中のモニタ表示水準器40の表示状態が表示される。この場合、泡41を移動させて色の変化を繰り返し表示する。画面下側の設定アイコンI1を選択すると、現在調整した内容が設定される。一方、戻りアイコンI2を選択すると、現在調整中の内容がキャンセルされて、設定メニュー画面PUに戻る。
<泡変更設定画面>
図10の泡変更設定m4が選択されると、図15に示した泡変更設定画面PU4が表示される。泡変更設定画面PU4には、画面左上には、調整バーB3が表示され、この調整バーB3上のスライダSL3をドラッグすることによって、泡の大きさを設定することができる。画面左中央には、色サンプル51が表示される。また、画面左下側には、泡の色を設定するチェックボックスCB20と、泡41が標線Lを超えた場合に泡を点滅させるチェックボックスCB21とが設けられる。ボックスB11には、色サンプル51で選択した色が表示される。画面右側には、泡設定中のモニタ表示水準器40の表示状態が表示される。画面下側の設定アイコンI1を選択すると、現在調整した内容が設定される。一方、戻りアイコンI2を選択すると、現在調整中の内容がキャンセルされて、設定メニュー画面PUに戻る。
なお、図16に示すように、泡41の傾きの大きさrが最大値rmaxとなった時、最大値rmaxは、極座標の中心Oから泡41の中心である傾斜位置P1までの距離であるため、モニタ表示水準器40の表示領域Eは、泡41の半径分、大きくすることが好ましい。
なお、本実施の形態では、表示部29を油圧ショベル100に搭載していたが、これに限らず、遠隔操作室から、油圧ショベル100などの作業機械を遠隔操作する場合、表示部29に対応する表示装置が遠隔操作室に設けられる。図17は、油圧ショベル100を遠隔操作する場合の表示装置280を説明する図である。油圧ショベル100と遠隔操作室300とは、図示しない通信装置を介して相互に無線通信可能である。図17に示すように、遠隔操作室300には、運転席140が備えてあり、運転席140の近傍に作業機操作部材120L、120Rが設置されている。また、運転席140の前方には走行操作部材130L、130Rが設置されている。作業機操作部材120L、120Rを操作することで、操作量や操作内容を示す信号が油圧ショベル100に送信され、遠隔で作業機2や上部旋回体3を動作させることができる。また、走行操作部材130L、130Rを操作することで、操作量や操作内容を示す信号が油圧ショベル100に送信され、遠隔で走行装置5を動作させることができる。
遠隔操作室300には、モニタ装置110が運転席140から見て斜め前方に設置されている。油圧ショベル100に設けられた各種センサによって検出されたデータが、通信装置を介して遠隔操作室300に無線送信され、そのデータに基づいた各種情報がモニタ装置110に表示される。さらに、運転席140の前方には表示部29に対応する表示装置280を含む表示装置が設置されている。なお、表示コントローラ28は、遠隔操作室300に設けても良いし、油圧ショベル100に設けても良い。さらに、表示コントローラ28を遠隔操作室300に設ける場合、演算部31のみを油圧ショベル100側に設けても良い。すなわち、上述した表示部29、演算部31、表示処理部32、設定処理部33の少なくとも1つは油圧ショベル100外に設けても良い。
従って、上述した実施の形態に示した表示部29の表示画面29P上に表示されたモニタ表示水準器40と同様なモニタ表示水準器を、表示装置280で表示することができる。なお、図18に示すように、遠隔操作室300に設置される表示装置280に代えて、少なくとも表示部を備えた携帯端末装置380を表示装置として用いてもよい。この場合、表示コントローラ28は油圧ショベル100側に設けることが好ましい。
また、上述した実施の形態では、設定処理部33に対する設定操作は、表示部29の表示画面上で行うようにしていたが、これに限らず、例えば油圧ショベル100のコンソールや遠隔操作室300のコンソールなどに設けたスイッチを用いて設定処理部33に対する設定操作を行うようにしてもよい。
さらに、上述した実施の形態では、ICT(Information and Communication Technology)技術を用いた建設機械に搭載されるモニタ上にモニタ表示水準器を表示する一例を説明したが、モニタ表示水準器は、一般の建設機械に搭載されるモニタ上に表示してもよい。
1 車両本体、2 作業機、3EG 機械室、3 上部旋回体、4 運転室、5 走行装置、5c 油圧モータ、5a,5b 履帯、6 ブーム、7 アーム、8 バケット、8B 刃、8T 刃先、8BT 底面、9 手すり、10 ブームシリンダ、11 アームシリンダ、12 バケットシリンダ、13 ブームピン、14 アームピン、15 バケットピン、16 リンクピン、17 リンク、18A 第1作業機姿勢検出部、18B 第2作業機姿勢検出部、18C 第3作業機姿勢検出部、21,22 アンテナ、23 グローバル座標演算部、24 IMU(傾斜センサ)、25 操作装置、25R 右操作レバー、25FR 右走行用レバー、25L 左操作レバー、25FL 左走行用レバー、26 作業機コントローラ、26M,27M,28M 記憶部、26P,27P,28P 処理部、27 センサコントローラ、28 表示コントローラ、28I 入力装置、29 表示部、29P 表示画面、31 演算部、32 表示処理部、33 設定処理部、34 標線設定処理部、35 倍率設定処理部、36 色変更設定処理部、37 泡変更設定処理部、40 モニタ表示水準器、41 泡、45 設計面、50,51 色サンプル、53a 正面図、53b 側面図、55 エンジン、56 油圧ポンプ、57 コントロールバルブ、58 旋回モータ、59 設計面、61,75,90 アイコン、70 目標施工面、73I 指針、73 正対コンパス、79 目標施工面線、84 グラフィック情報、100 油圧ショベル、110 モニタ装置、120L 作業機操作部材、130L,130R 走行操作部材、140 運転席、280 表示装置、300 遠隔操作室、380 携帯端末装置、B1、B2,B3 調整バー、B11 ボックス、BX 数値入力欄、BG 色ボックス、CB1,CB11~CB18,CB20,CB21 チェックボックス、CBG 色設定チェックボックス、D 水準器情報、E 表示領域、I1 設定アイコン、I2 戻りアイコン、IG ガイダンス画像、L,L1,L2 標線、O 中心、P1 傾斜位置、PU 設定メニュー画面、PU1,PU1´ 標線設定画面、PU2 倍率設定画面、PU3 色変更設定画面、PU4 泡変更設定画面、r 傾きの大きさ、SL1,SL2,SL3 スライダ、θ 角度、θp ピッチ角、θr ロール角

Claims (8)

  1. 作業機械の各種情報を表示する表示部と、
    走行体を有する作業機械の傾斜角を検出する傾斜センサが検出したピッチ角とロール角をもとに、前記作業機械の傾きの大きさと傾きの方向とを示す極座標上の傾斜位置を演算する演算部と、
    前記傾斜位置と予め設定した傾きの大きさを示す標線とを極座標表示したモニタ表示水準器を、前記表示部の表示画面上の所定領域に表示する表示処理部と、
    前記モニタ表示水準器の前記極座標表示の画面に表示する前記傾きの大きさの表示倍率を変更設定する設定処理部と、
    を備え、
    前記表示処理部は、前記設定処理部によって前記表示倍率が変更された場合、前記モニタ表示水準器における前記傾斜位置の表示位置と前記標線が示す傾きの大きさの表示とを変更し、前記傾斜位置を、前記極座標表示の画面上で前記傾斜位置を中心とした図形として表示し、前記表示倍率の変更に応じて前記図形の大きさを変化させる、
    作業機械の表示システム。
  2. 作業機械を操作する操作部材が設けられる遠隔操作室をさらに備え、
    前記表示部は前記遠隔操作室に設置される、
    請求項1に記載の作業機械の表示システム。
  3. 前記表示処理部は、前記傾斜位置の傾きの大きさが前記標線を超えた場合に、前記極座標表示の画面の色を変更する、
    請求項1又は請求項2に記載の作業機械の表示システム。
  4. 前記設定処理部は、前記標線が示す傾きの大きさを変更設定する標線設定処理部を有する、
    請求項1から請求項3のいずれか一項に記載の作業機械の表示システム。
  5. 前記設定処理部は、前記極座標表示の画面の色の変更設定を行う色変更設定処理部を有する、
    請求項1から請求項4のいずれか一項に記載の作業機械の表示システム。
  6. 前記傾斜位置は、前記極座標表示の画面上で該傾斜位置を中心とした円である泡として表示される、
    請求項1から請求項5のいずれか一項に記載の作業機械の表示システム。
  7. 前記傾斜センサは、前記作業機械内に設けられ、
    前記演算部、前記表示処理部、前記設定処理部の少なくとも1つは、前記作業機械外に設けられる、
    請求項1から請求項6のいずれか一項に記載の作業機械の表示システム。
  8. 請求項1から請求項7のいずれか一項に記載の作業機械の表示システムを備える、
    作業機械。
JP2020184311A 2020-11-04 2020-11-04 作業機械の表示システム及び作業機械 Active JP7135056B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020184311A JP7135056B2 (ja) 2020-11-04 2020-11-04 作業機械の表示システム及び作業機械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020184311A JP7135056B2 (ja) 2020-11-04 2020-11-04 作業機械の表示システム及び作業機械

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019053884A Division JP2019105160A (ja) 2019-03-20 2019-03-20 作業機械の表示システム及び作業機械

Publications (2)

Publication Number Publication Date
JP2021014783A JP2021014783A (ja) 2021-02-12
JP7135056B2 true JP7135056B2 (ja) 2022-09-12

Family

ID=74531349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020184311A Active JP7135056B2 (ja) 2020-11-04 2020-11-04 作業機械の表示システム及び作業機械

Country Status (1)

Country Link
JP (1) JP7135056B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228303B1 (ja) 2022-08-12 2023-02-24 Totalmasters株式会社 操作支援装置、遠隔操作システムおよび自動運転システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001348914A (ja) 2000-06-06 2001-12-21 Kumagai Gumi Co Ltd 重機の姿勢認識装置
JP2004309447A (ja) 2003-04-07 2004-11-04 Sakamoto Electric Mfg Co Ltd 水準器
WO2011090847A1 (en) 2010-01-20 2011-07-28 Caterpillar Trimble Control Technologies, Llc Machine control and guidance system incorporating a portable digital media device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526668B1 (en) * 1999-03-11 2003-03-04 Microtool, Inc. Electronic level

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001348914A (ja) 2000-06-06 2001-12-21 Kumagai Gumi Co Ltd 重機の姿勢認識装置
JP2004309447A (ja) 2003-04-07 2004-11-04 Sakamoto Electric Mfg Co Ltd 水準器
WO2011090847A1 (en) 2010-01-20 2011-07-28 Caterpillar Trimble Control Technologies, Llc Machine control and guidance system incorporating a portable digital media device

Also Published As

Publication number Publication date
JP2021014783A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
JP6502476B2 (ja) 作業機械の表示システム及び作業機械
JP6987186B2 (ja) 表示システム、建設機械、及び表示方法
JP6058217B2 (ja) 作業車両、バケット装置及びチルト角度の取得方法
US8942895B2 (en) Display system of hydraulic shovel, and control method therefor
JP5624101B2 (ja) 掘削機械の表示システム、掘削機械及び掘削機械の表示用コンピュータプログラム
US8903604B2 (en) Display system in hydraulic shovel and control method therefor
JP5781668B2 (ja) 油圧ショベルの表示システム
US9435106B2 (en) Display system in an excavator and method for controlling same
KR101513382B1 (ko) 굴삭 기계의 표시 시스템 및 굴삭 기계
JP5555190B2 (ja) 油圧ショベルの表示システム及びその制御方法
WO2014077221A1 (ja) 掘削機械の表示システム及び掘削機械
WO2012114871A1 (ja) 油圧ショベルの位置誘導システム及びその制御方法
US20150218781A1 (en) Display system of excavating machine and excavating machine
WO2016056674A1 (ja) 作業機械の表示システム、作業機械及び表示方法
KR20150008147A (ko) 굴삭 기계의 표시 시스템 및 굴삭 기계
JP6058218B2 (ja) 作業車両及びチルト角度の取得方法
JP2019105160A (ja) 作業機械の表示システム及び作業機械
JP7135056B2 (ja) 作業機械の表示システム及び作業機械
JP5364742B2 (ja) 油圧ショベルの位置誘導システム及び位置誘導システムの制御方法
WO2024070453A1 (ja) 作業機械の測定システム、作業機械、及び作業機械の測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7135056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150