JP7341396B2 - 遠隔操作支援サーバおよび遠隔操作支援システム - Google Patents

遠隔操作支援サーバおよび遠隔操作支援システム Download PDF

Info

Publication number
JP7341396B2
JP7341396B2 JP2019218674A JP2019218674A JP7341396B2 JP 7341396 B2 JP7341396 B2 JP 7341396B2 JP 2019218674 A JP2019218674 A JP 2019218674A JP 2019218674 A JP2019218674 A JP 2019218674A JP 7341396 B2 JP7341396 B2 JP 7341396B2
Authority
JP
Japan
Prior art keywords
remote
determination result
remote control
work machine
remote operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019218674A
Other languages
English (en)
Other versions
JP2021088835A (ja
Inventor
涼太 羽馬
均 佐々木
誠司 佐伯
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2019218674A priority Critical patent/JP7341396B2/ja
Priority to US17/780,761 priority patent/US20220412047A1/en
Priority to CN202080082987.XA priority patent/CN115003888B/zh
Priority to PCT/JP2020/030677 priority patent/WO2021111677A1/ja
Priority to EP20895146.7A priority patent/EP4043646A4/en
Publication of JP2021088835A publication Critical patent/JP2021088835A/ja
Application granted granted Critical
Publication of JP7341396B2 publication Critical patent/JP7341396B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Selective Calling Equipment (AREA)
  • Operation Control Of Excavators (AREA)
  • Telephonic Communication Services (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明は、遠隔操作装置を通じた作業機械の遠隔操作を支援するためのサーバおよびシステムに関する。
作業機械を遠隔操作する技術が提案されている(例えば、特許文献1参照)。
特開2016-076801号公報
しかし、作業機械(実機)が遠隔オペレータにより遠隔操作されるほか、当該作業機械に搭乗した実機オペレータによっても操作されうる場合、実機オペレータが作業機械に搭乗しようとしている状況で、遠隔オペレータにより作業機械が遠隔操作されることにより、当該作業機械と実機オペレータとが接触するなど不測の事態を招く可能性がある。
そこで、本発明は、作業機械と実機オペレータとの接触等の事態を回避しうるように、遠隔オペレータによる当該作業機械の遠隔操作を支援しうるシステム等を提供することを目的とする。
本発明の遠隔操作支援サーバは、実機操作機構と、前記実機操作機構の操作態様に応じて操作される実機操作モードおよび遠隔操作装置を構成する遠隔操作機構の操作態様に応じて操作される遠隔操作モードを切り替えるためのモード切替機構と、を備えている作業機械との通信に基づき、前記モード切替機構により前記遠隔操作モードに切り替えられているか否かの判定結果を第1判定結果として認識し、かつ、前記作業機械と携帯端末との近距離無線通信が確立されているか否かの判定結果を第2判定結果として認識する判定結果認識要素と、前記判定結果認識要素により認識された前記第1判定結果が肯定的であり、かつ、前記第2判定結果が否定的である場合、前記遠隔操作装置および前記作業機械のそれぞれとの通信に基づき、前記遠隔操作装置を用いた前記作業機械の遠隔操作を許容する第1支援処理を実行する第1支援処理要素と、前記判定結果認識要素により認識された前記第1判定結果および前記第2判定結果の両方が肯定的である場合、前記遠隔操作装置を用いた前記作業機械の遠隔操作を禁止する第2支援処理を実行する第2支援処理要素と、を備えていることを特徴とする。
本発明の遠隔操作支援システムは、本発明の遠隔操作支援サーバと、前記作業機械と、前記携帯端末と、により構成されていることを特徴とする。
当該構成の遠隔操作支援サーバおよび遠隔操作支援システム(以下「遠隔操作支援サーバ等」という。)によれば、第1判定結果および第2判定結果が認識される。「判定結果を認識する」とは、判定処理要素として判定処理を実行して当該判定結果を取得することのほか、判定処理要素による判定結果を当該判定処理要素から直接的にまたはデータベース等の記憶装置を介して間接的に取得することを包含する概念である。
第1判定結果が肯定的であって、遠隔操作装置を通じた作業機械の遠隔操作が可能な状況であり、かつ、第2判定結果が否定的であって、作業機械および携帯端末の近距離無線通信が確立されないほどに、当該携帯端末を携帯している実機オペレータ等の作業員が作業機械から離間している蓋然性が高い状況では、作業機械の遠隔操作が許容される。その一方、第1判定結果が肯定的であって、遠隔操作装置を通じた作業機械の遠隔操作が可能な状況であっても、第2判定結果が肯定的であって、作業機械および携帯端末の近距離無線通信が確立されるほどに、当該携帯端末を携帯している実機オペレータ等の作業員が作業機械に近接しているまたは作業機械に搭乗している蓋然性が高い状況では、作業機械の遠隔操作が禁止される。このため、作業機械と実機オペレータとの接触等の事態を回避しながら、遠隔オペレータによる当該作業機械の遠隔操作が支援されうる。
本発明の遠隔操作支援サーバ等において、前記第1支援処理要素が、前記遠隔操作装置から前記作業機械の遠隔操作に対する要求を受信し、かつ、前記判定結果認識要素により認識された前記第1判定結果および前記第2判定結果が肯定的である場合、前記携帯端末との通信に基づき、当該携帯端末を構成する出力インターフェースに前記作業機械からの離間を要求する通知を視覚的または聴覚的に認識可能な形態で出力させる予備支援処理を実行することが好ましい。
当該構成の遠隔操作支援サーバ等によれば、遠隔オペレータに作業機械の遠隔操作の意思があるものの、作業員が当該作業機械のそばにいるためにその遠隔操作が禁止されている状況において、携帯端末を構成する出力インターフェースを通じて作業機械からの離間を要求する通知が出力される。これにより、作業機械との近距離無線通信が可能な程度に当該作業機械のそばにいる携帯端末を携帯している実機オペレータ等の作業員に作業機械から離れることを要求するまたは促すことができる。そして、作業員が作業機械から離間することにより、遠隔オペレータが遠隔操作モードにある当該作業機械の遠隔操作を実行することができる状態が実現される。
本発明の遠隔操作支援サーバ等において、前記第1支援処理要素が、前記遠隔操作装置から前記作業機械の遠隔操作に対する要求を受信し、かつ、前記判定結果認識要素により認識された前記第1判定結果が否定的であり、かつ、前記第2判定結果が肯定的である場合、前記携帯端末との通信に基づき、当該携帯端末を構成する出力インターフェースにモード切替操作を要求する通知を視覚的または聴覚的に認識可能な形態で出力させる予備支援処理を実行することが好ましい。
当該構成の遠隔操作支援サーバ等によれば、遠隔オペレータに作業機械の遠隔操作の意思があるものの、当該作業機械が実機操作モードであるためにその遠隔操作が禁止されている状況において、携帯端末の出力インターフェースを通じて遠隔操作モードへの切り替えを要求する通知が出力される。これにより、作業機械との近距離無線通信が可能な程度に当該作業機械のそばにいる携帯端末を携帯している実機オペレータ等の作業員に遠隔操作モードへの切り替えを要求するまたは促すことができる。そして、当該作業員により作業機械を構成するモード切替機構を通じて実機操作モードから遠隔操作モードに切り替えられることにより、遠隔オペレータが当該作業機械の遠隔操作を実行することができる状態が実現される。
本発明の遠隔操作支援サーバ等において、前記第1支援処理要素が、前記遠隔操作装置から前記作業機械の遠隔操作に対する要求を受信し、かつ、前記判定結果認識要素により認識された前記第1判定結果が否定的であり、かつ、前記第2判定結果が肯定的である場合、前記作業機械との通信に基づき、当該作業機械を構成する出力インターフェースにモード切替操作を要求する旨の通知を視覚的または聴覚的に認識可能な形態で出力させる予備支援処理を実行することが好ましい。
当該構成の遠隔操作支援サーバ等によれば、遠隔オペレータに作業機械の遠隔操作の意思があるものの、当該作業機械が実機操作モードであるためにその遠隔操作が禁止されている状況において、作業機械の出力インターフェースを通じて遠隔操作モードへの切り替えを要求する通知が出力される。これにより、作業機械との近距離無線通信が可能な程度に当該作業機械のそばにいる携帯端末を携帯している実機オペレータ等の作業員に遠隔操作モードへの切り替えを要求するまたは促すことができる。当該作業員の携帯端末の形態の有無は問わない。そして、当該作業員により作業機械を構成するモード切替機構を通じて実機操作モードから遠隔操作モードに切り替えられることにより、遠隔オペレータが当該作業機械の遠隔操作を実行することができる状態が実現される。
本発明の遠隔操作支援サーバ等において、前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記遠隔操作機構の操作を通じた前記作業機械の遠隔操作が禁止されていることを当該遠隔操作装置の出力インターフェースに出力させることが好ましい。
当該構成の遠隔操作支援サーバ等によれば、遠隔操作装置の出力インターフェースを通じて、当該遠隔操作装置による作業機械の遠隔操作が禁止されていることを遠隔オペレータに認識させることができる。
本発明の遠隔操作支援サーバ等において、前記第1支援処理要素が、前記遠隔操作装置との通信に基づき、前記遠隔操作機構の操作を通じた前記作業機械の遠隔操作が許容されていることを当該遠隔操作装置の出力インターフェースに出力させ、当該遠隔操作装置の入力インターフェースを通じた指定操作があったことを要件として前記第1支援処理を実行することが好ましい。
当該構成の遠隔操作支援サーバ等によれば、遠隔操作装置の出力インターフェースを通じて、当該遠隔操作装置による作業機械の遠隔操作が許容されていることを遠隔オペレータに認識させることができる。さらに、遠隔操作装置の入力インターフェースを通じた指定操作の有無により、遠隔オペレータの作業機械を遠隔操作する意思の有無が確認されたうえで当該作業機械の遠隔操作が許容される。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの一部の機能に関する説明図。 遠隔操作支援システムの残りの機能に関する説明図。 作業機械および携帯端末の近距離無線通信の確立状態に関する説明図。 作業機械および携帯端末の近距離無線通信の不確立状態に関する説明図。
(遠隔操作支援システムの構成)
図1に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20と、携帯端末60と、により構成されている。
(遠隔操作支援サーバの構成)
遠隔操作支援サーバ10は、判定結果認識要素110と、第1支援処理要素121と、第2支援処理要素122と、を備えている。各要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータOP2が着座できる任意の形態でもよい。
シートSの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図に示されているシートStの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置221は、例えば図2に示されているように、シートStの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置2211、前方画像出力装置2212および左斜め前方画像出力装置2213により構成されている。当該画像出力装置2211~2213は、スピーカ(音声出力装置)をさらに備えていてもよい。
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作動機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図2に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体42と、を備えている。上部旋回体42の前方左側部にはキャブ(運転室)424が設けられている。上部旋回体42の前方中央部には作業アタッチメント440が設けられている。
実機入力インターフェース410は、実機操作機構411と、モード切替機構412と、撮像装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。モード切替機構412は、ボタンまたはレバーにより構成され、当該ボタン等の操作に応じて遠隔操作モードおよび実機操作モードが切り替えられる。撮像装置414は、例えばキャブ424の内部に設置され、キャブ424のフロントウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。
実機出力インターフェース420は、通知出力装置421と、実機無線通信機器422と、を備えている。通知出力装置421は、発光装置、画像出力装置および音声出力装置のうち少なくとも1つにより構成され、モード切替操作を要求する旨の第2通知を作業機械40の外部またはキャブ424の内部に対して視覚的にかつ/または聴覚的に認識可能な形態で出力する。実機無線通信機器422は、遠隔操作支援サーバ10との通信のための遠隔基地局との遠距離無線通信機能のほか、携帯端末60との近距離無線通信機能を有している。「近距離無線通信」とは、交信距離が比較的短い(例えば10m~20m以下の)無線通信を意味し、RFIDに用いられているNFCのほか、Bluetooth(「Bluetooth」は登録商標)などが該当する。「遠距離無線通信」とは、交信距離が比較的長い無線通信を意味し、Wi-Fi(「Wi-Fi」は登録商標) および携帯電話通信回線などが該当する。
作動機構としての作業アタッチメント440は、上部旋回体42に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業アタッチメント440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体42との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(携帯端末の構成)
携帯端末60は、作業員が携帯可能なスマートホンまたはタブレット端末などの端末装置であり、制御装置600と、携帯入力インターフェース610と、携帯出力インターフェース620と、を備えている。制御装置600は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
携帯入力インターフェース610は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。携帯出力インターフェース620は、画像出力装置621と、無線通信機器622と、を備えている。画像出力装置21は、必要に応じて音声出力装置を備え、モード切替操作を要求する旨の第1通知および作業機械40からの離間を要求する第3通知を視覚的にかつ/または聴覚的に認識可能な形態で出力する。無線通信機器622は、遠隔操作支援サーバ10との通信のための遠隔基地局との遠距離無線通信機能のほか、作業機械40との近距離無線通信機能を有している。
(機能)
前記構成の遠隔操作支援システムの機能について図4および図5のそれぞれに示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
まず、遠隔操作装置20において、遠隔オペレータOP1により遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4/STEP202)。「第1指定操作」は、例えば、遠隔入力インターフェース210または遠隔操作機構211を構成するボタンまたは操作レバーの操作である。当該判定結果が否定的である場合(図4/STEP202‥NO)、第1指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合(図4/STEP202‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して状況確認要求が送信される(図4/STEP204)。
これに応じて、遠隔操作支援サーバ10において、当該状況確認要求が受信された場合、作業機械40に対して当該状況確認要求(または第1判定結果要求)が送信される(図4/C01)。
作業機械40において、実機無線通信機器422を通じて当該状況確認要求が受信された場合(図4/C411)、実機制御装置400により第1判定処理が実行される(図4/STEP412)。第1判定処理は、モード切替機構412を通じて遠隔操作モードに切り替えられているか否かを判定する処理である。実機無線通信機器422を通じて第1判定結果が遠隔操作支援サーバ10に対して送信される(図4/STEP414)。
遠隔操作支援サーバ10において、第1判定結果が受信された場合(図4/C11)、第1判定結果が遠隔操作装置20に対して送信される(図4/STEP102)。判定結果認識要素110により、第1判定結果が肯定的であるか(遠隔操作モードであるか)、または、第1判定結果が否定的であるか(実機操作モードであるか)が判定される(図4/STEP110)。
そして、第1判定結果が肯定的である場合(図4/STEP110‥YES)、第1フラグf1が「1」に設定される(図4/STEP111)。その一方、第1判定結果が否定的である場合(図4/STEP110‥NO)、第1フラグf1が「2」に設定される(図4/STEP112)。
遠隔操作装置20において、遠隔無線通信機器222を通じて第1判定結果が受信された場合(図4/C21)、遠隔出力インターフェース220を構成する画像出力装置221に第1判定結果が出力される(図4/STEP210)。これにより、遠隔操作装置20の遠隔操作オペレータOP1に、作業機械40が遠隔操作モードおよび実機操作モードのいずれに設定されているかを認識させることができる。
遠隔操作装置20において、遠隔オペレータOP1により遠隔入力インターフェース210を通じた第2指定操作の有無が判定される(図4/STEP212)。「第2指定操作」は、例えば、遠隔入力インターフェース210または遠隔操作機構211を構成するボタンまたは操作レバーの操作であり、第1指定操作と同じ形態の操作であってもよく、異なる形態の操作であってもよい。当該判定結果が否定的である場合(図4/STEP212‥NO)、第1指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合(図4/STEP212‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して遠隔操作要求が送信される(図4/STEP214)。
これに応じて、遠隔操作支援サーバ10において、当該遠隔操作要求が受信された場合、作業機械40に対して当該遠隔操作要求(または第2判定結果要求)が送信される(図4/C02)。
作業機械40において、実機無線通信機器422を通じて当該遠隔操作要求が受信された場合(図4/C412)、実機制御装置400により第2判定処理が実行される(図4/STEP416)。第2判定処理は、作業機械40と携帯端末60との近距離無線通信が確立されているか否かを判定する処理である。実機無線通信機器422を通じて第2判定結果が遠隔操作支援サーバ10に対して送信される(図4/STEP418)。
遠隔操作支援サーバ10において、第2判定結果が受信された場合(図4/C12)、第2判定結果が遠隔操作装置20に対して送信される(図4/STEP104)。判定結果認識要素110により、第2判定結果が肯定的であるか(作業機械40と携帯端末60との近距離無線通信が確立されているか)、または、第1判定結果が否定的であるか(作業機械40と携帯端末60との近距離無線通信が確立されていないか)が判定される(図4/STEP120)。
作業機械40と携帯端末60との近距離無線通信が確立されていることは、図6Aに示されているように、電源ON状態で無線通信可能な状態の携帯端末60を携帯している実機オペレータOP2(作業員)が、作業機械40を基準とした近距離無線通信可能なエリアSに存在している蓋然性が高いことを表している。作業機械40と携帯端末60との近距離無線通信が確立されていないことは、図6Bに示されているように、電源ON状態で無線通信可能な状態の携帯端末60を携帯している実機オペレータOP2(作業員)が、作業機械40を基準とした近距離無線通信可能なエリアSから外れて存在している蓋然性が高いことを表している。
そして、第2判定結果が肯定的である場合(図4/STEP120‥YES)、第2フラグf2が「1」に設定される(図4/STEP121)。その一方、第2判定結果が否定的である場合(図4/STEP120‥NO)、第2フラグf2が「2」に設定される(図4/STEP122)。
遠隔操作装置20において、遠隔無線通信機器222を通じて第2判定結果が受信された場合(図4/C22)、遠隔出力インターフェース220を構成する画像出力装置221に第2判定結果が出力される(図4/STEP210)。これにより、遠隔操作装置20の遠隔操作オペレータOP1に、作業機械40と携帯端末60との近距離無線通信が確立されているか否か、ひいては、当該近距離無線通信が確立される程度に携帯端末60を携帯している実機オペレータOP2などの作業員が作業機械40のそばにいるか否かを認識させることができる。
作業機械40において、実機制御装置400が撮像装置414を通じて撮像画像を取得する(図5/STEP440)。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置10に対して送信される(図5/STEP44)。
遠隔操作支援サーバ10において、撮像画像データが受信された場合(図5/C13)、撮像画像データに応じた環境画像データ(撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ)が遠隔操作装置20に対して送信される(図5/STEP130)。
遠隔操作装置20において、遠隔無線通信機器222を通じて環境画像データが受信された場合(図5/C23)、環境画像データに応じた環境画像が画像出力装置221に出力される(図5/STEP240)。これにより、例えば、作動機構としての作業アタッチメント440の一部であるブーム441、アーム443、バケット445およびアームシリンダ444が含まれている環境画像が画像出力装置221および第2画像出力装置221のそれぞれに表示される。
遠隔操作支援サーバ10において、判定結果認識要素110による第1判定結果および第2判定結果の認識に応じた、第1フラグf1および第2フラグf2の組み合わせ(f1,f2)の別が判定される(図5/STEP140)。
(f1,f2)=(1,2)である場合(図5/STEP140‥Q4)、第1支援処理要素121により「第1支援処理」が実行される(図5/C14)。この場合は、判定結果認識要素110により認識された第1判定結果が肯定的であり、かつ、第2判定結果が否定的である場合に相当する。「第1支援処理」は、遠隔操作装置20および作業機械40のそれぞれとの通信に基づき、遠隔操作装置20を用いた作業機械40の遠隔操作を許容する制御処理である。
具体的には、遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(図5/STEP242)、かつ、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ10に対して送信される(図5/STEP244)。
遠隔操作支援サーバ10において、当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(図5/C14)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図5/C44)、作業アタッチメント440等の動作が制御される(図5/STEP444)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体42を旋回させたうえでバケット445から土を落とす作業が実行される。
(f1,f2)=(1,1)である場合(図5/STEP140‥Q3)、第2支援処理要素122により「第2支援処理」が実行される(図5/STEP143)。この場合は、第1判定結果および第2判定結果の両方が肯定的な場合である。「第2支援処理」は、遠隔操作装置20を用いた作業機械40の遠隔操作を禁止する制御処理である。例えば、遠隔操作装置20との通信に基づき、遠隔操作機構211の操作態様の認識(図5/STEP242参照)または操作指令の送信(図5/STEP244参照)を禁止させる。あるいは、遠隔操作支援サーバ10により操作指令の受信、または、作業機械40に対する当該操作指令の送信を禁止する(図5/C14参照)。
また、この場合、第1支援処理要素121により、作業機械40との近距離無線通信が確立されている携帯端末60に対して第3通知指令が送信される(図5/STEP144)。第3通知指令の送信は「予備支援処理」の実行に該当する。携帯端末60において、無線通信機器622を通じて第3通知指令が受信された場合(図5/C62)、携帯出力インターフェース620を構成する画像出力装置621および/または音声出力装置から、作業機械40からの離間を要求する第3通知が視覚的にかつ/または聴覚的に認識可能な形態で出力される。
(f1,f2)=(2,1)である場合(図5/STEP140‥Q1)、第1支援処理要素121により、作業機械40との近距離無線通信が確立されている携帯端末60に対して第1通知指令が送信される(図5/STEP141)。携帯端末60において、無線通信機器622を通じて第1通知指令が受信された場合(図5/C61)、携帯出力インターフェース620を構成する画像出力装置621および/または音声出力装置から、遠隔操作モードへの切り替えを要求する第1通知が、当該携帯端末60のそばにいる実機オペレータOP2にとって視覚的にかつ/または聴覚的に認識可能な形態で出力される(図5/STEP641)。
(f1,f2)=(2,2)である場合(図5/STEP140‥Q2)、第1支援処理要素121により、作業機械40に対して第2通知指令が送信される(図5/STEP142)。作業機械40において、実機無線通信機器422を通じて第2通知指令が受信された場合(図5/C422)、実機出力インターフェース420を構成する通知出力装置421から、遠隔操作モードへの切り替えを要求する第2通知が、当該作業機械40の外部またはキャブ244の中にいる実機オペレータOP2にとって視覚的にかつ/または聴覚的に認識可能な形態で出力される(図5/STEP442)。
(効果)
当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ10によれば、第1判定結果が肯定的であって、遠隔操作装置20を通じた作業機械40の遠隔操作が可能な状況であり、かつ、第2判定結果が否定的であって、作業機械40および携帯端末60の近距離無線通信が確立されないほどに、当該携帯端末60を携帯している実機オペレータOP2等の作業員が作業機械40から離間している蓋然性が高い状況(図6B参照)では、作業機械の遠隔操作が許容される(図5/STEP140‥Q4→C14参照)。
その一方、第1判定結果が肯定的であって、遠隔操作装置20を通じた作業機械40の遠隔操作が可能な状況であっても、第2判定結果が肯定的であって、作業機械40および携帯端末60の近距離無線通信が確立されるほどに、当該携帯端末60を携帯している実機オペレータOP2等の作業員が作業機械40に近接しているまたは作業機械40に搭乗している蓋然性が高い状況では、作業機械40の遠隔操作が禁止される(図5/STEP140‥Q3→C143および図6A参照)。
このため、作業機械40とその外部にいる作業員との接触等の不測の事態を回避しながら、遠隔オペレータOP1による当該作業機械40の遠隔操作が支援されうる。
遠隔オペレータOP1に作業機械40の遠隔操作の意思があるものの、実機オペレータOP2等の作業員が当該作業機械40のそばにいるためにその遠隔操作が禁止されている状況において、当該作業機械40の遠隔操作が許容されうる。具体的には、当該状況に応じて携帯端末60の携帯出力インターフェース620を通じて「第3通知」が出力される(図5/STEP140‥Q3→STEP144→C62→STEP643参照)。
これにより、作業機械40から離れることを、近距離無線通信が可能な程度に当該作業機械40のそばにいる携帯端末60を携帯している実機オペレータOP2等の作業員に要求することができる(図6A参照)。そして、当該作業員が作業機械40から離間することにより、遠隔オペレータOP1が遠隔操作モードにある当該作業機械40の遠隔操作を実行することができる状態が実現される(図6B参照)。
遠隔オペレータOP1に作業機械40の遠隔操作の意思があるものの、当該作業機械40が実機操作モードであるためにその遠隔操作が禁止されている状況において、当該作業機械40の遠隔操作が許容されうる。具体的には、当該状況に応じて、制御装置600の携帯出力インターフェース620を通じて「第1通知」が出力される(図5/STEP140‥Q1→STEP141→C61→STEP641)。
これにより、遠隔操作モードへの切り替えが、近距離無線通信が可能な程度に当該作業機械40のそばにいる携帯端末60を携帯している実機オペレータOP2等の作業員に要求することができる(図6A参照)。そして、当該作業員により作業機械40を構成するモード切替機構412を通じて実機操作モードから遠隔操作モードに切り替えられることにより、遠隔オペレータOP1が当該作業機械40の遠隔操作を実行することができる状態が実現される。
遠隔オペレータOP1に作業機械40の遠隔操作の意思があるものの、当該作業機械40が実機操作モードであるためにその遠隔操作が禁止されている状況において、当該作業機械40の遠隔操作が許容されうる。具体的には、当該状況に応じて、実機出力インターフェース420を通じて「第2通知」が出力される(図5/STEP140‥Q2→STEP142→C422→STEP442)。
これにより、遠隔操作モードへの切り替えが、実機出力インターフェース420の出力通知を視覚的または聴覚的に認識可能な程度に当該作業機械40のそばにいる実機オペレータOP2等の作業員に要求することができる(図6B参照)。当該作業員の携帯端末60の携帯の有無は問わない。そして、作業員により作業機械40を構成するモード切替機構412を通じて実機操作モードから遠隔操作モードに切り替えられることにより、遠隔オペレータOP1が当該作業機械40の遠隔操作を実行することができる状態が実現される。
(本発明の他の実施形態)
前記実施形態では、遠隔操作支援サーバ10が、遠隔操作装置20、作業機械40および携帯端末60のそれぞれとは別個の一または複数のサーバにより構成されていたが(図1参照)、他の実施形態として、遠隔操作支援サーバ10が、遠隔操作装置20、作業機械40または携帯端末60の構成要素であってもよい。遠隔操作支援サーバ10の各構成要素110、121および122のそれぞれが、遠隔操作装置20、作業機械40および携帯端末60のうちの相互通信可能な2つ以上のそれぞれの構成要素であってもよい。
10‥遠隔操作支援サーバ、20‥遠隔操作装置、40‥作業機械、60‥携帯端末、110‥判定結果認識要素、121‥第1支援処理要素、122‥第2支援処理要素、210‥遠隔入力インターフェース、220‥遠隔出力インターフェース、410‥実機入力インターフェース、420‥実機出力インターフェース、440‥作業アタッチメント(作動機構)、610‥携帯入力インターフェース、620‥携帯出力インターフェース。

Claims (7)

  1. 実機操作機構と、前記実機操作機構の操作態様に応じて操作される実機操作モードおよび遠隔操作装置を構成する遠隔操作機構の操作態様に応じて操作される遠隔操作モードを切り替えるためのモード切替機構と、を備えている作業機械との通信に基づき、前記モード切替機構により前記遠隔操作モードに切り替えられているか否かの判定結果を第1判定結果として認識し、かつ、前記作業機械と携帯端末との近距離無線通信が確立されているか否かの判定結果を第2判定結果として認識する判定結果認識要素と、
    前記判定結果認識要素により認識された前記第1判定結果が肯定的であり、かつ、前記第2判定結果が否定的である場合、前記遠隔操作装置および前記作業機械のそれぞれとの通信に基づき、前記遠隔操作装置を用いた前記作業機械の遠隔操作を許容する第1支援処理を実行する第1支援処理要素と、
    前記判定結果認識要素により認識された前記第1判定結果および前記第2判定結果が肯定的である場合、前記遠隔操作装置を用いた前記作業機械の遠隔操作を禁止する第2支援処理を実行する第2支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
  2. 請求項1記載の遠隔操作支援サーバにおいて、
    前記第1支援処理要素が、前記遠隔操作装置から前記作業機械の遠隔操作に対する要求を受信し、かつ、前記判定結果認識要素により認識された前記第1判定結果および前記第2判定結果が肯定的である場合、前記携帯端末との通信に基づき、当該携帯端末を構成する出力インターフェースに前記作業機械からの離間を要求する通知を視覚的または聴覚的に認識可能な形態で出力させる予備支援処理を実行することを特徴とする遠隔操作支援サーバ。
  3. 請求項1または2記載の遠隔操作支援サーバにおいて、
    前記第1支援処理要素が、前記遠隔操作装置から前記作業機械の遠隔操作に対する要求を受信し、かつ、前記判定結果認識要素により認識された前記第1判定結果が否定的であり、かつ、前記第2判定結果が肯定的である場合、前記携帯端末との通信に基づき、当該携帯端末を構成する出力インターフェースにモード切替操作を要求する通知を視覚的または聴覚的に認識可能な形態で出力させる予備支援処理を実行することを特徴とする遠隔操作支援サーバ。
  4. 請求項1~3のうちいずれか1項に記載の遠隔操作支援サーバにおいて、
    前記第1支援処理要素が、前記遠隔操作装置から前記作業機械の遠隔操作に対する要求を受信し、かつ、前記判定結果認識要素により認識された前記第1判定結果が否定的であり、かつ、前記第2判定結果が肯定的である場合、前記作業機械との通信に基づき、当該作業機械を構成する出力インターフェースにモード切替操作を要求する通知を視覚的または聴覚的に認識可能な形態で出力させる予備支援処理を実行することを特徴とする遠隔操作支援サーバ。
  5. 請求項1~4のうちいずれか1項に記載の遠隔操作支援サーバにおいて、
    前記第2支援処理要素が、前記遠隔操作装置との通信に基づき、前記遠隔操作機構の操作を通じた前記作業機械の遠隔操作が禁止されていることを当該遠隔操作装置の出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
  6. 請求項1~5のうちいずれか1項に記載の遠隔操作支援サーバにおいて、
    前記第1支援処理要素が、前記遠隔操作装置との通信に基づき、前記遠隔操作機構の操作を通じた前記作業機械の遠隔操作が許容されていることを当該遠隔操作装置の出力インターフェースに出力させ、当該遠隔操作装置の入力インターフェースを通じた指定操作があったことを要件として前記第1支援処理を実行することを特徴とする遠隔操作支援サーバ。
  7. 請求項1~6のうちいずれか1項に記載の遠隔操作支援サーバと、前記作業機械と、前記携帯端末と、により構成されていることを特徴とする遠隔操作支援システム。
JP2019218674A 2019-12-03 2019-12-03 遠隔操作支援サーバおよび遠隔操作支援システム Active JP7341396B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019218674A JP7341396B2 (ja) 2019-12-03 2019-12-03 遠隔操作支援サーバおよび遠隔操作支援システム
US17/780,761 US20220412047A1 (en) 2019-12-03 2020-08-12 Remote operation assistance server, remote operation assistance method, and remote operation assistance system
CN202080082987.XA CN115003888B (zh) 2019-12-03 2020-08-12 远程操作辅助的服务器、方法以及***
PCT/JP2020/030677 WO2021111677A1 (ja) 2019-12-03 2020-08-12 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
EP20895146.7A EP4043646A4 (en) 2019-12-03 2020-08-12 REMOTE ASSISTANCE SERVER, REMOTE ASSISTANCE METHOD AND REMOTE ASSISTANCE SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019218674A JP7341396B2 (ja) 2019-12-03 2019-12-03 遠隔操作支援サーバおよび遠隔操作支援システム

Publications (2)

Publication Number Publication Date
JP2021088835A JP2021088835A (ja) 2021-06-10
JP7341396B2 true JP7341396B2 (ja) 2023-09-11

Family

ID=76219517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019218674A Active JP7341396B2 (ja) 2019-12-03 2019-12-03 遠隔操作支援サーバおよび遠隔操作支援システム

Country Status (5)

Country Link
US (1) US20220412047A1 (ja)
EP (1) EP4043646A4 (ja)
JP (1) JP7341396B2 (ja)
CN (1) CN115003888B (ja)
WO (1) WO2021111677A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004406A (ja) * 2021-06-25 2023-01-17 株式会社小松製作所 作業機械を制御するためのシステムおよび方法
WO2023127390A1 (ja) * 2021-12-28 2023-07-06 株式会社クボタ 遠隔操作走行が可能な農業機械の走行制御システム
WO2023127391A1 (ja) * 2021-12-28 2023-07-06 株式会社クボタ 遠隔操作走行が可能な農業機械の走行制御システム
JP2024064635A (ja) * 2022-10-28 2024-05-14 コベルコ建機株式会社 操作状態切替装置、作業機械および操作状態切替システム
JP2024065876A (ja) * 2022-10-31 2024-05-15 住友重機械工業株式会社 ショベル、及びショベル制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329007A (ja) 2002-05-10 2003-11-19 Komatsu Ltd 油圧制御装置
JP2015209718A (ja) 2014-04-28 2015-11-24 住友建機株式会社 建設機械用安全作業支援システム
US20160348504A1 (en) 2014-02-14 2016-12-01 Sandvik Mining And Construction Oy Arrangment for initiating a removte operation mode
JP2018012951A (ja) 2016-07-20 2018-01-25 国土交通省九州地方整備局長 遠隔制御システム
JP2020105879A (ja) 2018-12-28 2020-07-09 日立建機株式会社 無線操作式油圧ショベル

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06228988A (ja) * 1993-01-29 1994-08-16 Hitachi Constr Mach Co Ltd 油圧機械のロック機構
US9605409B2 (en) * 2009-03-31 2017-03-28 Caterpillar Inc. System and method for operating a machine
EP2631374B1 (en) * 2010-10-22 2020-09-30 Hitachi Construction Machinery Co., Ltd. Work machine peripheral monitoring device
JP2016076801A (ja) 2014-10-03 2016-05-12 ヤンマー株式会社 遠隔監視システム
JP6569563B2 (ja) * 2016-03-04 2019-09-04 コベルコ建機株式会社 建設機械、建設機械から稼働データを取得するための携帯情報端末、建設機械の情報通信システム、及び携帯情報端末に実装されるプログラム
US10690747B2 (en) * 2016-06-14 2020-06-23 Vermeer Manufacturing Company Systems and methods for determining operator location to ensure approved operation of work machines
JP6765063B2 (ja) * 2016-10-27 2020-10-07 パナソニックIpマネジメント株式会社 遠隔型自動走行システム、無線通信方法、移動体装置及びプログラム
US10114370B2 (en) * 2016-11-21 2018-10-30 Caterpillar Inc. Machine automation system with autonomy electronic control module
CN106592677B (zh) * 2016-12-15 2019-02-19 电子科技大学 一种地下铲运机遥控与机控的切换方法
JP6763913B2 (ja) * 2018-06-07 2020-09-30 住友重機械工業株式会社 作業機械用周辺監視装置及びショベル

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329007A (ja) 2002-05-10 2003-11-19 Komatsu Ltd 油圧制御装置
US20160348504A1 (en) 2014-02-14 2016-12-01 Sandvik Mining And Construction Oy Arrangment for initiating a removte operation mode
JP2015209718A (ja) 2014-04-28 2015-11-24 住友建機株式会社 建設機械用安全作業支援システム
JP2018012951A (ja) 2016-07-20 2018-01-25 国土交通省九州地方整備局長 遠隔制御システム
JP2020105879A (ja) 2018-12-28 2020-07-09 日立建機株式会社 無線操作式油圧ショベル

Also Published As

Publication number Publication date
CN115003888A (zh) 2022-09-02
JP2021088835A (ja) 2021-06-10
WO2021111677A1 (ja) 2021-06-10
CN115003888B (zh) 2023-04-25
US20220412047A1 (en) 2022-12-29
EP4043646A1 (en) 2022-08-17
EP4043646A4 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
JP7341396B2 (ja) 遠隔操作支援サーバおよび遠隔操作支援システム
US20230073325A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
JP7287262B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP2019156299A (ja) 車両遠隔操作装置及び車両遠隔操作方法
US11993922B2 (en) Remote operation system
WO2021230092A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
JP7376440B2 (ja) 遠隔操作装置および遠隔操作システム
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
JP7021502B2 (ja) 建設機械の視覚拡張システム
EP3922775B1 (en) Remote operation system and remote operation server
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
JP7367486B2 (ja) 作業支援サーバおよび作業支援システム
WO2021106279A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
JP7363627B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7283283B2 (ja) 作業機械
CN114787453B (zh) 远程操作装置及远程操作***
JP7508815B2 (ja) 作業支援サーバ、作業支援方法
WO2021131228A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US20220307224A1 (en) Work support system and work support composite system
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
JP2023032998A (ja) 作業支援システムおよび作業支援複合システム
JP2022144491A (ja) 撮像機能制御システムおよび撮像機能制御方法
JP2021086226A (ja) 作業支援サーバおよび作業支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230813

R150 Certificate of patent or registration of utility model

Ref document number: 7341396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150