JP7508815B2 - 作業支援サーバ、作業支援方法 - Google Patents
作業支援サーバ、作業支援方法 Download PDFInfo
- Publication number
- JP7508815B2 JP7508815B2 JP2020043744A JP2020043744A JP7508815B2 JP 7508815 B2 JP7508815 B2 JP 7508815B2 JP 2020043744 A JP2020043744 A JP 2020043744A JP 2020043744 A JP2020043744 A JP 2020043744A JP 7508815 B2 JP7508815 B2 JP 7508815B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- work machine
- machine
- processing element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 claims description 56
- 230000009471 action Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 description 51
- 230000007246 mechanism Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000010720 hydraulic oil Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
- Selective Calling Equipment (AREA)
Description
まず、遠隔操作装置20にて、オペレータOPにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4A/STEP210)。ここで、「第1指定操作」とは、遠隔操作装置20と連携する作業機械40を選択する操作である。
例えば、作業機械40が、図3A、図3Bに示される周囲撮像装置413を備えている場合には、周囲撮像装置413を構成するカメラ413A~413Dでそれぞれ撮像した画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。
作業機械40は、実機撮像装置412が撮像した撮像画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。さらに、測位装置460で検出された作業機械40の位置が、実機無線通信機器422を介して作業支援サーバ10に送信され、データベース102に保存される。
また、図8に示されるように、作業機械40が配置される作業現場の上空を飛行することができる無人飛行機80が存在する場合には、作業支援サーバ10は、通信機器823を介して送信される無人飛行機80に搭載された撮像装置813の撮像画像を受信することができる。
次に、図4Bのフローチャートを参照して、作業支援システム1のさらなる機能について説明する。
Claims (8)
- 表示装置を有する遠隔操作装置に対して行われる操作に応じて実行する操作対象の作業機械による作業を支援する作業支援システムであって、
入力インターフェースであって、前記入力インターフェースを通じて前記遠隔操作装置と連携可能な複数の作業機械のうちから前記作業を実行する一の前記作業機械を指定するための指定操作が行われたか否かが判定される入力インターフェースと、
前記指定操作が行われたか否かの判定の結果が肯定的であり前記入力インターフェースを通じて指定された前記一の作業機械による前記作業の開始が要求される場合に、前記指定操作において指定された前記一の作業機械の周辺領域を捉えた周囲画像を作成する第1支援処理要素と、
前記周囲画像を前記表示装置に表示させることを条件に、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可する第2支援処理要素と、
を備えていることを特徴とする作業支援システム。 - 請求項1に記載の作業支援システムにおいて、
前記第2支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。 - 請求項2に記載の作業支援システムにおいて、
前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、
前記第2支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。 - 請求項2に記載の作業支援システムにおいて、
前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、
前記第2支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。 - 請求項1~4の何れか1項に記載の作業支援システムにおいて、
前記第1支援処理要素は、前記指定操作において指定された前記一の作業機械に設けられた、前記一の作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。 - 請求項1~4の何れか1項に記載の作業支援システムにおいて、
前記第1支援処理要素は、前記遠隔操作装置と連携可能な前記複数の作業機械が配置される作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記指定操作において指定された前記一の作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。 - 請求項1~4の何れか1項に記載の作業支援システムにおいて、
前記第1支援処理要素は、前記指定操作において指定された前記一の作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。 - 表示装置を有する遠隔操作装置に対して行われる操作に応じて実行する操作対象の作業機械による作業を支援する作業支援方法であって、
入力インターフェースを通じて前記遠隔操作装置と連携可能な複数の作業機械のうちから前記作業を実行する一の前記作業機械を指定するための指定操作が行われたか否かを判定するステップと、
前記指定操作が行われたか否かの判定の結果が肯定的であり前記入力インターフェースにおいて指定された前記一の作業機械による前記作業の開始が要求される場合に、前記指定操作において指定された前記一の作業機械の周辺領域を捉えた周囲画像を作成するステップと、
前記周囲画像を前記表示装置に表示させることを条件に、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可するステップと、
を備えていることを特徴とする作業支援方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043744A JP7508815B2 (ja) | 2020-03-13 | 2020-03-13 | 作業支援サーバ、作業支援方法 |
US17/794,655 US20230092296A1 (en) | 2020-03-13 | 2021-01-25 | Work assistance server and work assistance method |
CN202180020031.1A CN115244254A (zh) | 2020-03-13 | 2021-01-25 | 作业辅助服务器、作业辅助方法 |
EP21767335.9A EP4079978A4 (en) | 2020-03-13 | 2021-01-25 | WORK SUPPORT SERVER AND WORK SUPPORT METHOD |
PCT/JP2021/002418 WO2021181916A1 (ja) | 2020-03-13 | 2021-01-25 | 作業支援サーバ、作業支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043744A JP7508815B2 (ja) | 2020-03-13 | 2020-03-13 | 作業支援サーバ、作業支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021143541A JP2021143541A (ja) | 2021-09-24 |
JP7508815B2 true JP7508815B2 (ja) | 2024-07-02 |
Family
ID=77671352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043744A Active JP7508815B2 (ja) | 2020-03-13 | 2020-03-13 | 作業支援サーバ、作業支援方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230092296A1 (ja) |
EP (1) | EP4079978A4 (ja) |
JP (1) | JP7508815B2 (ja) |
CN (1) | CN115244254A (ja) |
WO (1) | WO2021181916A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016121010A1 (ja) | 2015-01-28 | 2016-08-04 | 株式会社日立製作所 | 作業機械の操作システム |
JP2017102604A (ja) | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
WO2017131194A1 (ja) | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
JP2018105064A (ja) | 2016-12-28 | 2018-07-05 | 株式会社小松製作所 | 作業車両および作業車両の制御システム |
JP2019060228A (ja) | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
WO2019111859A1 (ja) | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム |
WO2020032267A1 (ja) | 2018-08-10 | 2020-02-13 | 住友建機株式会社 | ショベル |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1028265A (ja) * | 1996-07-11 | 1998-01-27 | Hitachi Constr Mach Co Ltd | 遠隔操縦作業機械の作業現場モニタ装置 |
US9598836B2 (en) * | 2012-03-29 | 2017-03-21 | Harnischfeger Technologies, Inc. | Overhead view system for a shovel |
JP5961472B2 (ja) * | 2012-07-27 | 2016-08-02 | 日立建機株式会社 | 作業機械の周囲監視装置 |
JP6456584B2 (ja) * | 2013-03-19 | 2019-01-23 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
CN111754750B (zh) * | 2014-11-17 | 2022-03-01 | 洋马动力科技有限公司 | 远程控制作业机用显示设备、显示***以及作业机 |
WO2015125979A1 (ja) * | 2015-04-28 | 2015-08-27 | 株式会社小松製作所 | 作業機械の周辺監視装置及び作業機械の周辺監視方法 |
US20180295357A1 (en) * | 2015-07-31 | 2018-10-11 | Komatsu Ltd. | Display system of working machine and display method of working machine |
JP7023714B2 (ja) | 2015-12-28 | 2022-02-22 | 住友建機株式会社 | ショベル |
CN205894129U (zh) * | 2016-07-25 | 2017-01-18 | 山推工程机械股份有限公司 | 一种遥控推土机无线视频监控*** |
JP7092688B2 (ja) * | 2017-02-17 | 2022-06-28 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
JP7087545B2 (ja) * | 2018-03-28 | 2022-06-21 | コベルコ建機株式会社 | 建設機械 |
JP7070047B2 (ja) * | 2018-04-26 | 2022-05-18 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
WO2020090985A1 (ja) * | 2018-10-31 | 2020-05-07 | 株式会社小松製作所 | 表示制御システムおよび表示制御方法 |
KR20210139297A (ko) * | 2019-03-27 | 2021-11-22 | 스미토모 겐키 가부시키가이샤 | 건설기계, 지원시스템 |
JP7338514B2 (ja) * | 2020-03-04 | 2023-09-05 | コベルコ建機株式会社 | 作業支援サーバ、作業支援方法 |
-
2020
- 2020-03-13 JP JP2020043744A patent/JP7508815B2/ja active Active
-
2021
- 2021-01-25 US US17/794,655 patent/US20230092296A1/en active Pending
- 2021-01-25 CN CN202180020031.1A patent/CN115244254A/zh active Pending
- 2021-01-25 EP EP21767335.9A patent/EP4079978A4/en active Pending
- 2021-01-25 WO PCT/JP2021/002418 patent/WO2021181916A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016121010A1 (ja) | 2015-01-28 | 2016-08-04 | 株式会社日立製作所 | 作業機械の操作システム |
JP2017102604A (ja) | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
WO2017131194A1 (ja) | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
JP2018105064A (ja) | 2016-12-28 | 2018-07-05 | 株式会社小松製作所 | 作業車両および作業車両の制御システム |
WO2019111859A1 (ja) | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム |
WO2020032267A1 (ja) | 2018-08-10 | 2020-02-13 | 住友建機株式会社 | ショベル |
JP2019060228A (ja) | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021181916A1 (ja) | 2021-09-16 |
EP4079978A1 (en) | 2022-10-26 |
CN115244254A (zh) | 2022-10-25 |
EP4079978A4 (en) | 2023-06-14 |
JP2021143541A (ja) | 2021-09-24 |
US20230092296A1 (en) | 2023-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP7338514B2 (ja) | 作業支援サーバ、作業支援方法 | |
WO2022168443A1 (ja) | 作業支援システムおよび作業支援複合システム | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021131161A1 (ja) | 作業支援サーバ、撮像装置の選択方法 | |
JP7508815B2 (ja) | 作業支援サーバ、作業支援方法 | |
WO2021106278A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2022070567A1 (ja) | 遠隔操作支援装置及び遠隔操作支援システム | |
JP7283283B2 (ja) | 作業機械 | |
JP7363560B2 (ja) | 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021106280A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021240957A1 (ja) | 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
JP2022152338A (ja) | 作業支援システムおよび作業支援複合システム | |
JP2021017696A (ja) | 作業機械および作業機械支援サーバ | |
JP2021017695A (ja) | 作業機械および作業機械支援サーバ | |
CN117043732A (zh) | 远程操作支援服务器及远程操作支援*** | |
JP2021021253A (ja) | 作業機械および作業機械支援サーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |