JP7376440B2 - 遠隔操作装置および遠隔操作システム - Google Patents
遠隔操作装置および遠隔操作システム Download PDFInfo
- Publication number
- JP7376440B2 JP7376440B2 JP2020142502A JP2020142502A JP7376440B2 JP 7376440 B2 JP7376440 B2 JP 7376440B2 JP 2020142502 A JP2020142502 A JP 2020142502A JP 2020142502 A JP2020142502 A JP 2020142502A JP 7376440 B2 JP7376440 B2 JP 7376440B2
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- remote
- image
- time point
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims description 72
- 230000007246 mechanism Effects 0.000 claims description 69
- 230000004044 response Effects 0.000 claims description 27
- 239000003550 marker Substances 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 8
- 101100426900 Caenorhabditis elegans trd-1 gene Proteins 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000002689 soil Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Closed-Circuit Television Systems (AREA)
- Selective Calling Equipment (AREA)
Description
作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
遠隔画像出力装置と、
遠隔操作機構と、
オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第1出力制御要素と、
前記遠隔制御要素により認識された第1時点における前記遠隔操作機構の操作態様に基づいて当該第1時点よりも後の第2時点における前記作業部の空間占有態様を推定し、当該推定された前記第2時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第1時点から前記第2時点までの期間に含まれる第3時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第2出力制御要素と、を備えている。
図1に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置20と、遠隔操作装置20による遠隔操作対象である作業機械40と、により構成されている。遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作装置20および作業機械40の相互通信にサーバ10が介在していてもよく、当該サーバ10が遠隔操作システムの一部を構成していてもよい。
遠隔操作装置20は、遠隔入力インターフェース210と、遠隔出力インターフェース220と、遠隔制御装置24と、を備えている。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。遠隔制御装置24は、遠隔制御要素240と、第1出力制御要素241と、第2出力制御要素242と、を備えている。各要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体41を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構43を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。遠隔操作機構211は、作業機械40に搭載されている実機操作機構411と同様の構成であるが、操作指令が入力されるタッチパネル方式またはボタン方式の操作機構など、実機操作機構411とは異なる構成の操作機構であってもよい。
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作業アタッチメント44と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図3に示されているように、クローラ式の下部走行体41と、下部走行体41に旋回機構43を介して旋回可能に搭載されている上部旋回体42と、を備えている。旋回機構43は作業機構の1つに該当する。上部旋回体42の前方左側部にはキャブ(運転室)424が設けられている。上部旋回体220の前方中央部には作業アタッチメント44が設けられている。
実機出力インターフェース420は、実機無線通信機器422を備えている。
前記構成の遠隔操作システムの機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
当該構成の遠隔操作システムによれば、遠隔操作装置20において標識画像Img2が生成されたうえで、作業環境画像Img1に重畳されて画像出力装置221に出力される(図4/STEP210→STEP212、図8および図9参照)。このため、線画等の標識画像Img2の伝送に障害が生じる場合がない。
遠隔制御要素240が、作業機械40に搭載されている状態センサ414を通じて検知され、実機無線通信機器422から送信され、遠隔無線通信機器222により受信された作業機構(旋回機構43および作業アタッチメント44)の動作態様を認識し、第2出力制御要素242が、遠隔制御要素240により認識された第1時点における遠隔操作機構211の操作態様と、作業機構の動作態様との偏差に基づいて第2時点における作業部(バケット445)の空間占有態様を予測してもよい。
Claims (10)
- 作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
遠隔画像出力装置と、
遠隔操作機構と、
オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第1出力制御要素と、
前記遠隔制御要素により認識された第1時点における前記遠隔操作機構の操作態様に基づいて当該第1時点よりも後の第2時点における前記作業部の空間占有態様を推定し、当該推定された前記第2時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第1時点から前記第2時点までの期間に含まれる第3時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第2出力制御要素と、を備えている
ことを特徴とする遠隔操作装置。 - 請求項1記載の遠隔操作装置において、
前記第2出力制御要素が、前記第1時点と前記第2時点との中間時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項2記載の遠隔操作装置において、
前記第2出力制御要素が、
前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第1通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第1応答遅れ時間のうち少なくとも一方である第1遅れ時間と、
前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第2通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第2応答遅れ時間のうち少なくとも一方である第2遅れ時間と、
の合計である合計遅れ時間だけ前記第1時点よりも後の時点を前記第2時点として前記作業部の空間占有態様を推定し、
前記第1時点よりも前記第1遅れ時間だけ後の時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項3記載の遠隔操作装置において、
前記第2出力制御要素が、前記第1遅れ時間としての前記第1応答遅れ時間だけ前記第1時点よりも後の時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項1記載の遠隔操作装置において、
前記第2出力制御要素が、前記第2時点と同一の時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項5記載の遠隔操作装置において、
前記第2出力制御要素が、
前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第1通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第1応答遅れ時間のうち少なくとも一方である第1遅れ時間と、
前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第2通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第2応答遅れ時間のうち少なくとも一方である第2遅れ時間と、
の合計である合計遅れ時間だけ前記第1時点よりも後の時点を前記第2時点として前記作業部の空間占有態様を推定する
ことを特徴とする遠隔操作装置。 - 請求項1~6のうちいずれか1項に記載の遠隔操作装置において、
前記遠隔制御要素が、前記作業機械に搭載されている状態センサを通じて検知され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の動作態様を認識し、
前記第2出力制御要素が、前記遠隔制御要素により認識された前記第1時点における前記遠隔操作機構の操作態様と前記作業機構の動作態様との偏差に基づいて前記第2時点における前記作業部の空間占有態様を推定することを特徴とする遠隔操作装置。 - 請求項1~7のうちいずれか1項に記載の遠隔操作装置において、
前記第2出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第1指定操作の停止が認識された場合、前記遠隔画像出力装置における前記標識画像の出力を停止することを特徴とする遠隔操作装置。 - 請求項1~8のうちいずれか1項に記載の遠隔操作装置において、
前記第2出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第2指定操作の開始が認識された場合、前記遠隔画像出力装置に前記標識画像を時限的に出力させることを特徴とする遠隔操作装置。 - 請求項1~9のうちいずれか1項に記載の遠隔操作装置と、前記作業機械と、により構成されていることを特徴とする遠隔操作システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/044543 WO2021124858A1 (ja) | 2019-12-19 | 2020-11-30 | 遠隔操作装置および遠隔操作システム |
US17/782,756 US20230003002A1 (en) | 2019-12-19 | 2020-11-30 | Remote operation device and remote operation system |
EP20901434.9A EP4053346A4 (en) | 2019-12-19 | 2020-11-30 | REMOTE CONTROL DEVICE AND REMOTE CONTROL SYSTEM |
CN202080084213.0A CN114787453B (zh) | 2019-12-19 | 2020-11-30 | 远程操作装置及远程操作*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229564 | 2019-12-19 | ||
JP2019229564 | 2019-12-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099017A JP2021099017A (ja) | 2021-07-01 |
JP7376440B2 true JP7376440B2 (ja) | 2023-11-08 |
Family
ID=76541141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020142502A Active JP7376440B2 (ja) | 2019-12-19 | 2020-08-26 | 遠隔操作装置および遠隔操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7376440B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023172301A (ja) * | 2022-05-23 | 2023-12-06 | 日立建機株式会社 | 遠隔制御システム、遠隔操作型作業機械システム、および作業情報表示制御方法 |
JP2024080009A (ja) * | 2022-12-01 | 2024-06-13 | 株式会社小松製作所 | 操作システムおよび操作支援方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100249957A1 (en) | 2009-03-31 | 2010-09-30 | Caterpillar Inc. | System and method for controlling machines remotely |
JP2013168778A (ja) | 2012-02-15 | 2013-08-29 | Fujita Corp | 遠隔操作システム |
JP2017022433A (ja) | 2015-07-07 | 2017-01-26 | 日立建機株式会社 | 遠隔操縦システム |
JP2019068254A (ja) | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | 表示制御装置および表示制御方法 |
JP2019190163A (ja) | 2018-04-26 | 2019-10-31 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
-
2020
- 2020-08-26 JP JP2020142502A patent/JP7376440B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100249957A1 (en) | 2009-03-31 | 2010-09-30 | Caterpillar Inc. | System and method for controlling machines remotely |
JP2013168778A (ja) | 2012-02-15 | 2013-08-29 | Fujita Corp | 遠隔操作システム |
JP2017022433A (ja) | 2015-07-07 | 2017-01-26 | 日立建機株式会社 | 遠隔操縦システム |
JP2019068254A (ja) | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | 表示制御装置および表示制御方法 |
JP2019190163A (ja) | 2018-04-26 | 2019-10-31 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021099017A (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7376440B2 (ja) | 遠隔操作装置および遠隔操作システム | |
EP3754120B1 (en) | Remote control system and main control device | |
WO2021192491A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
KR20210011389A (ko) | 원격 조작 시스템 | |
WO2020170526A1 (ja) | 作業機械用表示システム | |
WO2020194883A1 (ja) | 遠隔操作システム | |
JP7287262B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
JP7318258B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
EP4130400A1 (en) | Remote operation assistance device and remote operation assistance method | |
WO2021230093A1 (ja) | 画像処理装置および画像処理方法 | |
WO2021131228A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2020250557A1 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
WO2021124858A1 (ja) | 遠隔操作装置および遠隔操作システム | |
AU2020322381B2 (en) | Display system, remote operation system, and display method | |
JP7392422B2 (ja) | 作業支援サーバおよび作業支援システム | |
JP2023040971A (ja) | 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
WO2023026568A1 (ja) | 遠隔操作システムおよび遠隔操作複合システム | |
JP7363560B2 (ja) | 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2023136070A1 (ja) | 遠隔操作支援システムおよび遠隔操作支援方法 | |
EP4063571A2 (en) | Image capturing function control system and image capturing function control method | |
JP2023032997A (ja) | 遠隔操作システム | |
WO2021106280A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2023032998A (ja) | 作業支援システムおよび作業支援複合システム | |
JP2024057361A (ja) | 作業支援装置および作業支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |