JP2015226094A - 作業機械用遠隔操作システム - Google Patents

作業機械用遠隔操作システム Download PDF

Info

Publication number
JP2015226094A
JP2015226094A JP2014108274A JP2014108274A JP2015226094A JP 2015226094 A JP2015226094 A JP 2015226094A JP 2014108274 A JP2014108274 A JP 2014108274A JP 2014108274 A JP2014108274 A JP 2014108274A JP 2015226094 A JP2015226094 A JP 2015226094A
Authority
JP
Japan
Prior art keywords
head
operator
wearable sensor
remote control
work machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014108274A
Other languages
English (en)
Inventor
坂井 紀幸
Noriyuki Sakai
紀幸 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2014108274A priority Critical patent/JP2015226094A/ja
Publication of JP2015226094A publication Critical patent/JP2015226094A/ja
Pending legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】遠隔操作対象のショベルに取り付けられた撮像装置を通じて操作者が見たいところをより直感的な方法で見られるようにする遠隔操作システムを提供すること。【解決手段】遠隔操作システム100は、ショベルの遠隔操作に用いる遠隔操作装置50と、ショベルに取り付けられた撮像装置41と、撮像装置41が撮像する画像を表示可能なヘッドマウントディスプレイ51と、ショベルの操作者の頭部の動きを検出するウェアラブルセンサ52と、ショベルに搭載され、遠隔操作装置50、ヘッドマウントディスプレイ51、及びウェアラブルセンサ52と通信可能なコントローラ30とを備える。コントローラ30は、ウェアラブルセンサ52が操作者の頭部の所定の動きを検出した場合に、その所定動きに応じてヘッドマウントディスプレイ51に表示される画像の内容を変更する。【選択図】図1

Description

本発明は、作業機械用遠隔操作システムに関する。
遠隔操作装置を用いて油圧ショベルを遠隔操作するシステムが知られている(特許文献1参照。)。このシステムでは、操作者は、油圧ショベルに搭載されたテレビカメラの映像を見ながら油圧ショベルを遠隔操作する。テレビカメラは、雲台を介して油圧ショベルに取り付けられる。そのため、操作者は、遠隔操作装置にある雲台操作装置を用いて雲台を遠隔操作することでテレビカメラのパンニング角を調整できる。また、このシステムは、遠隔操作装置にある旋回操作手段が操作された場合、旋回操作手段の操作方向及び操作量に応じてテレビカメラのパンニング角を自動的に調整し、且つ、その操作方向及び操作量に応じて上部旋回体を旋回させる。この構成により、操作者が雲台と旋回操作手段を同時に操作しなくても、上部旋回体の旋回時に旋回方向前方を視認できるようにしている。
特開平8−20975号公報
しかしながら、上述のシステムでは、雲台操作装置を介した雲台の遠隔操作、又は旋回操作手段の操作に応じたパンニング角の自動調整を利用しない限り、操作者は、テレビカメラのパンニング角を変更できない。そのため、煩雑な操作なしには見たいところを見ることができない。
本発明の実施例に係る作業機械用遠隔操作システムは、作業機械の遠隔操作に用いる遠隔操作装置と、前記作業機械に取り付けられた撮像装置と、前記撮像装置が撮像する画像を表示可能なヘッドマウントディスプレイと、前記作業機械の操作者の体の一部の動きを検出するウェアラブルセンサと、前記作業機械に搭載され、前記遠隔操作装置、前記ヘッドマウントディスプレイ、及び前記ウェアラブルセンサと通信可能な制御装置と、を備え、前記制御装置は、前記ウェアラブルセンサが前記操作者の体の一部の所定の動きを検出した場合に、該所定の動きに応じて前記ヘッドマウントディスプレイに表示される画像の内容を変更する。
上述の手段により、遠隔操作対象の作業機械に取り付けられた撮像装置を通じて操作者が見たいところをより直感的な方法で見られるようにする作業機械用遠隔操作システムが提供される。
本発明の実施例に係る遠隔操作システムが搭載されるショベルの側面図である。 遠隔操作システムの構成例を示すブロック図である。 可動雲台の構成例を示す図である。 遠隔操作装置の構成例を示す図である。 送信画像制御処理の流れの一例を示すフローチャートである。 ヘッドマウントディスプレイが表示する画像の例を示す図である。 遠隔操作システムの別の構成例を示すブロック図である。
図1は、本発明の実施例に係る遠隔操作システム100が搭載される作業機械としてのショベルの側面図である。なお、図1のショベルは、持ち運び可能な遠隔操作装置50を用いて遠隔操作される無人操作機として機能する。しかしながら、図1のショベルは、作業者が乗り込んで操作する有人操作機としても機能し得る。また、ショベルの下部走行体1には、旋回機構2を介して上部旋回体3が搭載される。上部旋回体3には、ブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはバケット6が取り付けられる。ブーム4、アーム5、及びバケット6は、掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。また、上部旋回体3には、キャビン10が設けられ、且つエンジン等の動力源が搭載される。また、キャビン10内にはコントローラ30が設置され、且つ、可動雲台42を介して撮像装置41が取り付けられる。また、上部旋回体3の上部には無線通信装置40が取り付けられる。そして、操作者は、頭部にヘッドマウントディスプレイ51及びウェアラブルセンサ52を着用して撮像装置41が撮像した画像等を視認しながら、遠隔操作装置50を用いてショベルを遠隔操作する。
図2は、遠隔操作システム100の構成例を示すブロック図である。遠隔操作システム100は、主に、コントローラ30、作業機械制御機器35、無線通信装置40、撮像装置41、可動雲台42、遠隔操作装置50、ヘッドマウントディスプレイ51、及びウェアラブルセンサ52を含む。
コントローラ30は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ30は、CPU及び内部メモリを含む演算処理装置で構成される。そして、コントローラ30は、作業機械制御部31、送信画像制御部32等の各種機能要素に対応するプログラムをCPUに実行させて各種機能を実現する。
作業機械制御機器35は、作業機械の制御に利用される機器である。本実施例では、作業機械制御機器35は、コントローラ30からの制御指令に応じて動作する機器であり、電磁弁、インバータ等を含む。電磁弁は、油圧アクチュエータ、油圧ポンプ、及びポンプレギュレータ等を含む油圧回路における作動油の流れを制御するために用いられる。なお、油圧アクチュエータは、ブームシリンダ7、アームシリンダ8、バケットシリンダ9等を含む。具体的には、電磁弁は、例えば、ブームシリンダ7に供給される作動油の流量を制御する制御弁のパイロット圧を調整するために用いられる。また、インバータは、エンジンアシスト用の電動発電機、旋回用電動機等を流れる電流を制御するために用いられる。
無線通信装置40は、作業機械と外部機器との間の無線通信を制御する装置である。本実施例では、無線通信装置40は、429MHz帯の特定小電力無線を用いて、ショベルと遠隔操作装置50、ヘッドマウントディスプレイ51、及びウェアラブルセンサ52のそれぞれとの間の無線通信を制御する。なお、無線通信装置40は、Wi-Fi(登録商標)等の無線通信規格、Bluetooth(登録商標)等の近距離無線通信規格等を利用してもよい。
撮像装置41は、作業機械に取り付けられ、作業機械の周辺の画像を撮像する装置である。本実施例では、撮像装置41は、CMOS、CCD等の撮像素子を利用したカメラであり、撮像した画像をコントローラ30に対して出力する。
可動雲台42は、撮像装置41の撮像方向を変更するための装置である。本実施例では、可動雲台42は、コントローラ30からの制御指令に応じて撮像装置41の撮像方向を変更する電動式雲台である。
図3は、可動雲台42の構成例を示す。可動雲台42は、主に、チルトモータ42a、ブラケット42b、及びパンモータ42cを含む。チルトモータ42aは、コントローラ30からの制御指令に応じて撮像装置41を水平軸周りに回転させる電動モータである。本実施例では、チルトモータ42aは、水平方向に伸びるチルト軸42aXに連結される回転軸を有する。チルト軸42aXは、撮像装置41と一体的に回転するように撮像装置41に固定される。ブラケット42bは、撮像装置41、チルトモータ42a、及びチルト軸42aXを支持する部材である。パンモータ42cは、コントローラ30からの制御指令に応じて撮像装置41を鉛直軸周りに回転させる電動モータである。本実施例では、パンモータ42cは、鉛直方向に伸びるパン軸42cXに連結される回転軸を有する。パン軸42cXは、ブラケット42bと一体的に回転するようにブラケット42bに固定される。この構成により、可動雲台42は、撮像装置41の撮像方向を任意の方向に向けることができる。
遠隔操作装置50は、作業機械の遠隔操作に利用される装置である。本実施例では、遠隔操作装置50は送信機能を備えた装置であり、コントローラ30が作業機械制御機器35を制御するために必要な遠隔操作情報を無線通信装置40に向けて送信する。
図4は、遠隔操作装置50の構成例を示す。遠隔操作装置50は、主に、左操作レバー50a、中央操作レバー50b、右操作レバー50c、停止ボタン50d、及び肩掛けベルト50eを含む。操作レバー50a、50b、50cは何れも、操作者が操作レバーを離すと中立位置に復帰する4方向ジョイスティックである。
また、操作レバー50a、50b、50cはそれぞれ、先端にボタン50a1、50b1、50c1を有する。遠隔操作装置50は、ボタン50a1、50b1、50c1が押下されずに操作レバー50a、50b、50cが操作された場合、その操作に応じた情報を出力しない。操作者が誤って操作レバー50a、50b、50cに触れてしまった場合にショベルが動作してしまうのを防止するためである。
具体的には、操作者は、ボタン50a1を押しながら左操作レバー50aを前後に傾倒させることでアーム5を開閉し、ボタン50a1を押しながら左操作レバー50aを左右に傾倒させることで上部旋回体3を左右に旋回させる。また、操作者は、ボタン50b1を押しながら中央操作レバー50bを前後左右に傾倒させることでショベルを前後左右に走行させる。また、操作者は、ボタン50c1を押しながら右操作レバー50cを前後に傾倒させることでブーム4を上下させ、ボタン50c1を押しながら右操作レバー50cを左右に傾倒させることでバケット6を開閉させる。また、操作者は、停止ボタン50dを押下することでショベルを停止させる。
ヘッドマウントディスプレイ51は、頭部に装着するディスプレイ装置である。本実施例では、ヘッドマウントディスプレイ51は、操作者の右目に位置付けられる単眼式の非透過型ディスプレイを採用する。また、ヘッドマウントディスプレイ51は受信機能を備え、ショベルから無線通信装置40を通じて送信される画像情報を受信して表示する。この構成により、操作者は、例えば、左目でショベル全体の動きをショベルの周辺から視認しながら、右目でショベル前方の掘削領域を視認できる。但し、ヘッドマウントディスプレイ51は、両眼式の透過型ディスプレイを採用してもよい。
また、ヘッドマウントディスプレイ51は、操作者の右目の前に位置付けられる非透過型ディスプレイを、操作者の右目の視界の邪魔にならない退避位置に移動させることができる。そのため、操作者は、ショベルの周辺を移動する場合には非透過型ディスプレイを退避位置に移動させて右目の視界を確保してもよい。両眼式の透過型ディスプレイについても同様である。
ウェアラブルセンサ52は、操作者が身につけることができ、且つ、操作者の体の一部の動きを検出できるセンサである。本実施例では、ウェアラブルセンサ52は、ヘッドマウントディスプレイ51に一体的に取り付けられる加速度センサであり、操作者の頭部の所定の動きを検出する。また、ウェアラブルセンサ52は送信機能を有し、検出結果を無線通信装置40に向けて送信する。なお、ウェアラブルセンサ52は、操作者の頭部の所定の動きとして操作者の頭部の所定の基準姿勢に対する傾斜角度を無線通信装置40に向けて送信してもよい。
また、ウェアラブルセンサ52は、操作者の目の動きを検出するセンサであってもよい。具体的には、ウェアラブルセンサ52は、ヘッドマウントディスプレイ51に取り付けられる、操作者の瞳孔を撮像する画像センサであってもよい。
次に、コントローラ30が有する機能要素である作業機械制御部31及び送信画像制御部32について説明する。
作業機械制御部31は、作業機械にある操作レバー等の操作装置からの操作情報、又は遠隔操作装置からの遠隔操作情報にしたがって作業機械制御機器35を制御して作業機械を動作させる機能要素である。なお、作業機械制御部31は、専ら遠隔操作装置からの遠隔操作情報にしたがって作業機械制御機器35を制御して作業機械を動作させてもよい。本実施例では、作業機械制御部31は、遠隔操作装置50からの遠隔操作情報にしたがって作業機械制御機器35を制御してショベルを動作させる。例えば、操作者が遠隔操作装置50でボタン50a1を押しながら左操作レバー50aを前方に傾倒させてアーム5を開く操作を行った場合、遠隔操作装置50は、アーム開操作指令に関する情報を無線通信装置40に向けて送信する。コントローラ30の作業機械制御部31は、無線通信装置40を介してアーム開操作指令に関する情報を受信すると、アームシリンダ8に関連する制御弁のパイロット圧を調整可能な電磁弁に制御指令を出力する。電磁弁は、制御指令に応じたパイロット圧を生成してその制御弁を動作させ、油圧ポンプが吐出する作動油がアームシリンダ8のロッド側油室に供給されるようにする。
送信画像制御部32は、無線通信装置40を通じてヘッドマウントディスプレイ51に向けて送信する画像の内容を制御する機能要素である。本実施例では、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の所定の動きを検出したと判定できた場合に、その所定の動きに応じた制御指令を可動雲台42に対して出力する。頭部の所定の動きは、頭部の左右軸回りの上下回転(ピッチダウン、ピッチアップ)、頭部の上下軸回りの左右回転(右ヨー、左ヨー)、頭部の前後軸回りの左右回転(右ロール、左ロール)等を含む。可動雲台42は、その制御指令に応じて撮像装置41の撮像方向を変更する。撮像装置41は、撮像方向の変更の有無にかかわらず、撮像画像をコントローラ30に対して継続的に出力する。その結果、送信画像制御部32は、操作者の頭部の所定の動きの前後で撮像方向が異なる撮像装置41の撮像画像をヘッドマウントディスプレイ51に向けて継続的に送信することができる。
具体的には、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の右ヨーを検出したと判定できた場合にその右ヨーに応じた右ヨー指令を可動雲台42に送信する。可動雲台42は、その右ヨー指令に応じて撮像装置41の撮像方向を所定角度だけ右にパンさせる(右にずらす)。撮像装置41は、所定角度だけ右にパンされた撮像方向で撮像した画像をコントローラ30に対して出力する。その結果、送信画像制御部32は、撮像方向が所定角度だけ右にパンされた撮像装置41の撮像画像をヘッドマウントディスプレイ51に向けて送信する。
また、送信画像制御部32は、操作者の頭部の向きと撮像装置41の向きを同期させるように、ウェアラブルセンサ52の出力に応じて可動雲台42を制御してもよい。
或いは、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部のピッチダウンを検出したと判定できた場合に、撮像装置41の撮像画像ではない別の画像をヘッドマウントディスプレイ51に向けて送信してもよい。この場合、送信画像制御部32は、例えば、燃料残量、作動油温、冷却水温、累積稼働時間等の状態を表す計器画面の画像をヘッドマウントディスプレイ51に向けて送信してもよい。なお、計器画面は、ショベルのキャビン10内に設置された車載ディスプレイ等に表示される計器画面と同じ画面であってもよく、異なる画面であってもよい。その後、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部のピッチアップを検出したと判定できた場合に計器画面画像の送信を中止し、撮像装置41の撮像画像の送信を再開させてもよい。
或いは、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の右ロール・左ロールを検出したと判定できた場合に撮像装置41のズーム倍率を増減させてもよい。
また、送信画像制御部32は、所定の条件が満たされた場合に限り、ウェアラブルセンサ52の検出結果を受け入れて撮像装置41の撮像方向を変更させるようにしてもよい。例えば、送信画像制御部32は、遠隔操作装置50における動作検知スイッチ(図示せず。)がオンに切り替えられた場合に限りウェアラブルセンサ52の検出結果を受け入れるようにしてもよい。操作者の意に反して撮像装置41の撮像方向が変更されてしまうのを防止するためである。なお、送信画像制御部32は、ウェアラブルセンサ52で操作者の体の一部の特定の動きが検出された場合にその後のウェアラブルセンサ52の検出結果を受け入れるようにしてもよい。
次に、図5を参照し、コントローラ30がヘッドマウントディスプレイ51に向けて送信する画像の内容を制御する処理(以下、「送信画像制御処理」とする。)について説明する。なお、図5は、送信画像制御処理の流れの一例を示すフローチャートである。コントローラ30は、所定の制御周期で繰り返しこの送信画像制御処理を実行する。
最初に、コントローラ30の送信画像制御部32は、動作検知機能が有効であるかを判定する(ステップS1)。本実施例では、送信画像制御部32は、無線通信装置40を通じて受信する遠隔操作装置50からの遠隔操作情報に基づいて遠隔操作装置50の動作検知スイッチがオンに切り替えられたかを判定する。
動作検知機能が有効でないと判定した場合(ステップS1のNO)、送信画像制御部32は、今回の送信画像制御処理を終了させる。本実施例では、動作検知スイッチがオフであることを検知した場合、送信画像制御部32は、今回の送信画像制御処理を終了させる。
一方、動作検知機能が有効であると判定した場合(ステップS1のYES)、送信画像制御部32は、操作者の体の一部の所定の動きが検出されたかを判定する(ステップS2)。本実施例では、送信画像制御部32は、無線通信装置40を通じて受信するウェアラブルセンサ52の検出結果に基づいて操作者の頭部の所定の動きが検出されたかを判定する。
そして、操作者の体の一部の所定の動きが検出されていないと判定した場合(ステップS2のNO)、送信画像制御部32は、今回の送信画像制御処理を終了させる。
一方、操作者の体の一部の所定の動きが検出されたと判定した場合(ステップS2のYES)、送信画像制御部32は、その所定の動きに対応する画像をヘッドマウントディスプレイ51に向けて送信する(ステップS3)。本実施例では、送信画像制御部32は、ウェアラブルセンサ52によって操作者の頭部の所定の動きが検出されたと判定した場合、基準姿勢にある撮像装置41の撮像方向をその所定の動きに応じて変化させる。なお、撮像装置41の基準姿勢は、例えば、水平姿勢でショベルの前方を向いた状態である。
具体的には、送信画像制御部32は、ウェアラブルセンサ52によって操作者の頭部の右ヨーが検出されたと判定した場合、可動雲台42を制御して基準姿勢にある撮像装置41の撮像方向を右斜め下方に変更してもよい。この場合、送信画像制御部32は、ウェアラブルセンサ52によって操作者の頭部の左ヨーが検出されたと判定した場合、可動雲台42を制御して右斜め下方を向く撮像装置41を基準姿勢に復帰させてもよい。また、送信画像制御部32は、ウェアラブルセンサ52によって操作者の頭部のピッチダウンが検出されたと判定した場合、撮像装置41の撮像画像の代わりに計器画面画像をヘッドマウントディスプレイ51に送信してもよい。この場合、送信画像制御部32は、ウェアラブルセンサ52によって操作者の頭部のピッチアップが検出されたと判定した場合、計器画面画像の送信を中止して撮像装置41の撮像画像の送信を再開させてもよい。
図6は、ヘッドマウントディスプレイ51が表示する画像の例を示す図である。具体的には、図6(A)は、基準姿勢にある撮像装置41が撮像する画像の一例である。また、図6(B)は、基準姿勢にある撮像装置41の撮像方向が右斜め下方に変更されたときに撮像装置41が撮像する画像の一例であり、図6(C)は計器画面の一例である。
上述の例では、図6(A)の画像を表示していたヘッドマウントディスプレイ51は、操作者の頭部の右ヨーが検出されると、図6(B)の画像を表示する。そして、操作者の頭部の左ヨーがその後に検出されると、図6(A)の画像を再び表示する。また、図6(A)の画像を表示していたヘッドマウントディスプレイ51は、操作者の頭部のピッチダウンが検出されると、図6(C)の画像を表示する。そして、操作者の頭部のピッチアップがその後に検出されると、図6(A)の画像を再び表示する。
以上の構成を有する遠隔操作システム100により、操作者は手を使わずに撮像装置41の撮像方向を所望の方向に変更できる。また、操作者は手を使わずに撮像装置41の撮像画像を計器画面画像等の所定の画像に切り替えることができる。そのため、操作者は、両手で遠隔操作装置50を操作しながら、ヘッドマウントディスプレイ51に所望の画像を表示させることができる。
次に、図7を参照し、遠隔操作システムの別の構成例である遠隔操作システム100Aについて説明する。なお、図7は、遠隔操作システム100Aの構成例を示すブロック図であり、図2に対応する。また、図7の遠隔操作システム100Aは、3台の撮像装置41A〜41Cを備え、可動雲台42が省略された点で図2の遠隔操作システム100と相違するが、その他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。
撮像装置41A〜41Cは、撮像方向が固定された状態でショベルに取り付けられる撮像装置である。具体的には、第1撮像装置41Aは、ショベルの前方を斜め上から撮像するようにキャビン10の上面の前方中央部に取り付けられる。また、第2撮像装置41Bは、ショベルの右斜め前方を斜め上から撮像するようにキャビン10の上面の前方右隅部に取り付けられる。また、第3撮像装置41Cは、ショベルの左斜め前方を斜め上から撮像するようにキャビン10の上面の前方左隅部に取り付けられる。
送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の所定の動きを検出したと判定できた場合に、その所定の動きに応じて3台の撮像装置41A〜41Cの何れの撮像画像をヘッドマウントディスプレイ51に送信するかを決定する。
具体的には、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の右ヨーを検出したと判定できた場合、これまで送信していた第1撮像装置41Aの撮像画像を第2撮像装置41Bの撮像画像に切り替える。その後、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の左ヨーを検出したと判定できた場合、第2撮像装置41Bの撮像画像の送信を中止して第1撮像装置41Aの撮像画像の送信を再開させる。
同様に、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の左ヨーを検出したと判定できた場合、これまで送信していた第1撮像装置41Aの撮像画像を第3撮像装置41Cの撮像画像に切り替える。その後、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部の右ヨーを検出したと判定できた場合、第3撮像装置41Cの撮像画像の送信を中止して第1撮像装置41Aの撮像画像の送信を再開させる。
なお、送信画像制御部32は、遠隔操作システム100の場合と同様、ウェアラブルセンサ52が操作者の頭部のピッチダウンを検出したと判定できた場合に計器画面画像をヘッドマウントディスプレイ51に向けて送信してもよい。この場合、送信画像制御部32は、ウェアラブルセンサ52が操作者の頭部のピッチアップを検出したと判定できた場合に計器画面画像の送信を中止し、撮像装置41の撮像画像の送信を再開させてもよい。
また、送信画像制御部32は、遠隔操作システム100の場合と同様、ウェアラブルセンサ52が操作者の頭部の右ロール・左ロールを検出したと判定できた場合に撮像画像の表示倍率を増減させてもよい。
以上の構成を有する遠隔操作システム100Aにより、操作者は、遠隔操作システム100の場合と同様に、両手で遠隔操作装置50を操作しながら、ヘッドマウントディスプレイ51に所望の画像を表示させることができる。
なお、遠隔操作システム100Aは、ウェアラブルセンサ52の検出結果に応じて4台以上の撮像装置の撮像画像を切り替えてヘッドマウントディスプレイ51に送信する構成であってもよく、2台の撮像装置の撮像画像を切り替えてヘッドマウントディスプレイ51に送信する構成であってもよい。
また、遠隔操作システム100Aは、可動雲台42を省略するため、遠隔操作システム100に比べ、耐故障性を向上させることができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、遠隔操作装置50、ヘッドマウントディスプレイ51、及びウェアラブルセンサ52は、それぞれ独立して無線通信装置40との間で無線通信を行う。しかしながら、本発明はこの構成に限定されるものではない。例えば、ヘッドマウントディスプレイ51及びウェアラブルセンサ52は、ヘッドマウントディスプレイ51に取り付けられた共通の送受信機を通じて無線通信装置40と無線通信を行うようにしてもよい。また、ヘッドマウントディスプレイ51及びウェアラブルセンサ52は、遠隔操作装置50との間で有線通信又は無線通信を行い、遠隔操作装置50に取り付けられた共通の送受信機を通じて無線通信装置40と無線通信を行うようにしてもよい。
また、上述の実施例では、遠隔操作システム100、100Aはショベルに適用されるが、アスファルトフィニッシャ、クレーン等の他の作業機械に適用されてもよい。
1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 30・・・コントローラ 31・・・作業機械制御部 32・・・送信画像制御部 35・・・作業機械制御機器 40・・・無線通信装置 41、41A、41B、41C・・・撮像装置 42・・・可動雲台 42a・・・チルトモータ 42aX・・・チルト軸 42b・・・ブラケット 42c・・・パンモータ 42cX・・・パン軸 50・・・遠隔操作装置 50a、50b、50c・・・操作レバー 50d・・・停止ボタン 50e・・・肩掛けベルト 51・・・ヘッドマウントディスプレイ 52・・・ウェアラブルセンサ 100、100A・・・遠隔操作システム

Claims (3)

  1. 作業機械の遠隔操作に用いる遠隔操作装置と、
    前記作業機械に取り付けられた撮像装置と、
    前記撮像装置が撮像する画像を表示可能なヘッドマウントディスプレイと、
    前記作業機械の操作者の体の一部の動きを検出するウェアラブルセンサと、
    前記作業機械に搭載され、前記遠隔操作装置、前記ヘッドマウントディスプレイ、及び前記ウェアラブルセンサと通信可能な制御装置と、を備え、
    前記制御装置は、前記ウェアラブルセンサが前記操作者の体の一部の所定の動きを検出した場合に、該所定の動きに応じて前記ヘッドマウントディスプレイに表示される画像の内容を変更する、
    作業機械用遠隔操作システム。
  2. 前記遠隔操作装置は、持ち運び可能である、
    請求項1に記載の作業機械用遠隔操作システム。
  3. 前記ウェアラブルセンサは、前記操作者の頭部又は目の動きを検出する、
    請求項1又は2に記載の作業機械用遠隔操作システム。
JP2014108274A 2014-05-26 2014-05-26 作業機械用遠隔操作システム Pending JP2015226094A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014108274A JP2015226094A (ja) 2014-05-26 2014-05-26 作業機械用遠隔操作システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014108274A JP2015226094A (ja) 2014-05-26 2014-05-26 作業機械用遠隔操作システム

Publications (1)

Publication Number Publication Date
JP2015226094A true JP2015226094A (ja) 2015-12-14

Family

ID=54842608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014108274A Pending JP2015226094A (ja) 2014-05-26 2014-05-26 作業機械用遠隔操作システム

Country Status (1)

Country Link
JP (1) JP2015226094A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107034942A (zh) * 2017-05-24 2017-08-11 成都跟驰科技有限公司 用于挖掘机远程控制的虚拟现实***
KR20170136057A (ko) * 2016-05-30 2017-12-11 울산대학교 산학협력단 원격조종 굴삭기 모니터링 시스템 및 그 시스템을 이용한 모니터링 방법
WO2018047671A1 (ja) * 2016-09-06 2018-03-15 株式会社 豊田自動織機 産業車両用遠隔操作システム、通信装置、産業車両及び産業車両用遠隔操作プログラムを格納するコンピュータ読取可能媒体
US10053064B2 (en) 2016-08-15 2018-08-21 Caterpillar Inc. System and method for controlling braking of autonomous machine
JP2018164223A (ja) * 2017-03-27 2018-10-18 東芝情報システム株式会社 表示システム
WO2019187660A1 (ja) * 2018-03-29 2019-10-03 コベルコ建機株式会社 作業機械の遠隔操作システム
JP2021001472A (ja) * 2019-06-21 2021-01-07 ナブテスコ株式会社 建設機械用操縦支援システム、建設機械用操縦支援方法、建設機械
WO2021117285A1 (ja) * 2019-12-10 2021-06-17 コベルコ建機株式会社 作業機械の遠隔操作支援システム
KR20210138185A (ko) * 2020-05-11 2021-11-19 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
US11498815B2 (en) * 2018-07-13 2022-11-15 Epsilon Kran Gmbh Crane control
EP4286317A1 (en) 2022-06-03 2023-12-06 Mitsubishi Logisnext Co., Ltd. Remote operation system for a forklift

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633428B1 (ko) * 2016-05-30 2024-02-06 울산대학교 산학협력단 원격조종 굴삭기 모니터링 시스템
KR20170136057A (ko) * 2016-05-30 2017-12-11 울산대학교 산학협력단 원격조종 굴삭기 모니터링 시스템 및 그 시스템을 이용한 모니터링 방법
US10053064B2 (en) 2016-08-15 2018-08-21 Caterpillar Inc. System and method for controlling braking of autonomous machine
WO2018047671A1 (ja) * 2016-09-06 2018-03-15 株式会社 豊田自動織機 産業車両用遠隔操作システム、通信装置、産業車両及び産業車両用遠隔操作プログラムを格納するコンピュータ読取可能媒体
JP2018039602A (ja) * 2016-09-06 2018-03-15 株式会社豊田自動織機 産業車両用遠隔操作システム、通信装置、及び産業車両用遠隔操作プログラム
EP3512209A4 (en) * 2016-09-06 2019-09-11 Kabushiki Kaisha Toyota Jidoshokki INDUSTRIAL VEHICLE REMOTE CONTROL SYSTEM, COMMUNICATION DEVICE, INDUSTRIAL VEHICLE, AND COMPUTER-READABLE MEDIUM FOR STORING AN INDUSTRIAL VEHICLE REMOTE OPERATION PROGRAM
US11307572B2 (en) 2016-09-06 2022-04-19 Kabushiki Kaisha Toyota Jidoshokki Industrial vehicle remote operation system, communication device, industrial vehicle, and computer readable storage medium for storing industrial vehicle remote operation program
JP2018164223A (ja) * 2017-03-27 2018-10-18 東芝情報システム株式会社 表示システム
CN107034942A (zh) * 2017-05-24 2017-08-11 成都跟驰科技有限公司 用于挖掘机远程控制的虚拟现实***
CN111837382A (zh) * 2018-03-29 2020-10-27 神钢建机株式会社 工程机械的远程操作***
EP3745716A4 (en) * 2018-03-29 2020-12-02 Kobelco Construction Machinery Co., Ltd. REMOTE CONTROL SYSTEM FOR A WORK MACHINE
JP2019176401A (ja) * 2018-03-29 2019-10-10 コベルコ建機株式会社 作業機械の遠隔操作システム
US11821170B2 (en) 2018-03-29 2023-11-21 Kobelco Construction Machinery Co., Ltd. Remote operation system for working machine
JP7014007B2 (ja) 2018-03-29 2022-02-01 コベルコ建機株式会社 作業機械の遠隔操作システム
WO2019187660A1 (ja) * 2018-03-29 2019-10-03 コベルコ建機株式会社 作業機械の遠隔操作システム
CN111837382B (zh) * 2018-03-29 2022-06-10 神钢建机株式会社 工程机械的远程操作***
US11498815B2 (en) * 2018-07-13 2022-11-15 Epsilon Kran Gmbh Crane control
JP2021001472A (ja) * 2019-06-21 2021-01-07 ナブテスコ株式会社 建設機械用操縦支援システム、建設機械用操縦支援方法、建設機械
WO2021117285A1 (ja) * 2019-12-10 2021-06-17 コベルコ建機株式会社 作業機械の遠隔操作支援システム
JP7400425B2 (ja) 2019-12-10 2023-12-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
JP2021092071A (ja) * 2019-12-10 2021-06-17 コベルコ建機株式会社 作業機械の遠隔操作支援システム
KR102417984B1 (ko) 2020-05-11 2022-07-08 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
KR20210138185A (ko) * 2020-05-11 2021-11-19 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
EP4286317A1 (en) 2022-06-03 2023-12-06 Mitsubishi Logisnext Co., Ltd. Remote operation system for a forklift

Similar Documents

Publication Publication Date Title
JP2015226094A (ja) 作業機械用遠隔操作システム
CN105934945B (zh) 作业机械的显示***、显示装置和显示方法
JP6947101B2 (ja) 遠隔操作システム及び主操作装置
JP7151392B2 (ja) 建設機械の遠隔操作装置
WO2019189430A1 (ja) 建設機械
JP6568228B2 (ja) 作業機械の表示装置及び表示システム
US11970837B2 (en) Working machine control device
US20220010523A1 (en) Excavator and work system
US20180305893A1 (en) Shovel
WO2020194882A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
CN111386369A (zh) 工程机械
US20200399861A1 (en) Construction machine
JP7021502B2 (ja) 建設機械の視覚拡張システム
US11939744B2 (en) Display system, remote operation system, and display method
JP7474024B2 (ja) ショベル
JP2022124643A (ja) 作業機械の表示システム
JP2023151586A (ja) 建設機械の作業支援システム