JP7508815B2 - Work support server and work support method - Google Patents

Work support server and work support method Download PDF

Info

Publication number
JP7508815B2
JP7508815B2 JP2020043744A JP2020043744A JP7508815B2 JP 7508815 B2 JP7508815 B2 JP 7508815B2 JP 2020043744 A JP2020043744 A JP 2020043744A JP 2020043744 A JP2020043744 A JP 2020043744A JP 7508815 B2 JP7508815 B2 JP 7508815B2
Authority
JP
Japan
Prior art keywords
work
image
work machine
machine
processing element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020043744A
Other languages
Japanese (ja)
Other versions
JP2021143541A (en
Inventor
均 佐々木
誠司 佐伯
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020043744A priority Critical patent/JP7508815B2/en
Priority to PCT/JP2021/002418 priority patent/WO2021181916A1/en
Priority to CN202180020031.1A priority patent/CN115244254A/en
Priority to US17/794,655 priority patent/US20230092296A1/en
Priority to EP21767335.9A priority patent/EP4079978A4/en
Publication of JP2021143541A publication Critical patent/JP2021143541A/en
Application granted granted Critical
Publication of JP7508815B2 publication Critical patent/JP7508815B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、作業機械の遠隔操作を支援する作業支援サーバ、および作業機械による作業を支援する作業支援方法に関する。 The present invention relates to a work support server that supports remote operation of a work machine, and a work support method that supports work performed by a work machine.

従来、遠隔ショベル等の作業機械が作業する作業現場には定点カメラが複数設置され、現場全体を俯瞰して見たり、特定のショベルの動き、作業等を監視したりすることが可能となっている。 Conventionally, multiple fixed cameras are installed at work sites where remote excavators and other work machines are operating, making it possible to get an overview of the entire site and monitor the movements and work of specific excavators.

また、作業機械の周辺の状況を確認するため、作業機械に複数のカメラを搭載して画像を撮像する手法が知られている。 In addition, a method is known in which multiple cameras are mounted on a work machine to capture images in order to check the situation around the work machine.

例えば、下記の特許文献１のショベルは、キャビンの左前側のステーに左カメラが取り付けられ、カウンタウェイトの上部にバックカメラが取り付けられている。そして、上部旋回体の右前側のハンドレールに右カメラが取り付けられている。 For example, the excavator in Patent Document 1 below has a left camera attached to the stay on the left front side of the cabin, a rear camera attached to the top of the counterweight, and a right camera attached to the handrail on the right front side of the upper rotating body.

左カメラおよび右カメラは、その撮像範囲に上部旋回体の側面が含まれるように取り付けられている。また、バックカメラはその撮像範囲にカウンタウェイトの上面後端が含まれるように取り付けられている。これらのカメラにより、ショベルの操作者は、周辺に存在する物体との位置関係を容易に認識することができる（段落００１５～００１９、図２）。 The left and right cameras are mounted so that their imaging range includes the side of the upper rotating body. The rear camera is mounted so that its imaging range includes the rear end of the top surface of the counterweight. These cameras allow the excavator operator to easily recognize the positional relationship with surrounding objects (paragraphs 0015-0019, Figure 2).

国際公開第２０１７／１１５８０８号International Publication No. 2017/115808

しかしながら、遠隔作業機械が遠隔操作される場合においては、操作者（作業者）は遠隔作業機械から離れた位置にいる。このため、その作業に際して遠隔操作対象である作業機械の周囲を撮像するカメラの映像を効率的に確認できるようにしたいという要望がある。 However, when a remote work machine is remotely operated, the operator (worker) is located away from the remote work machine. For this reason, there is a demand to be able to efficiently check images from a camera capturing images of the surroundings of the remotely operated work machine while working.

本発明は、上述の点に鑑みてなされたものであり、作業者に作業機械の周辺の状況を効率的に報知することができる作業支援サーバを提供することを目的とする。 The present invention has been made in consideration of the above points, and aims to provide a work support server that can efficiently notify workers of the situation around the work machine.

第１発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援サーバであって、前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第１支援処理要素と、前記周囲画像を前記表示装置に表示させることを条件に、当該作業機械による作業を許可する第２支援処理要素と、を備えていることを特徴とする。 The first invention is a work support server that supports work by a work machine to be operated so that the work machine can be remotely operated in response to operations performed on a remote control device having a display device, and is characterized in having a first support processing element that creates an ambient image capturing the surrounding area of the work machine when a request is made for the work machine to start working, and a second support processing element that allows the work machine to work on the condition that the ambient image is displayed on the display device.

本発明の作業支援サーバでは、表示装置に作業機械の周辺領域を撮像した撮像画像（静止画または動画）が送られ、作業者がその様子を確認することができる。これにより、作業者の作業機械による作業を支援するものである。 In the work support server of the present invention, captured images (still images or video) of the area around the work machine are sent to the display device, allowing the worker to check the situation. This supports the worker in working with the work machine.

第１支援処理要素は、作業機械による作業の開始が要求される場合に、作業機械の周辺領域を捉えた周囲画像を作成し、遠隔操作装置の表示装置に当該周囲画像を表示させる。また、第２支援処理要素は、周囲画像を前記表示装置に表示させることを条件に、作業機械による作業を許可する。これにより、オペレータは、作業機械による作業を開始する前に、作業機械の周辺領域を見渡せるようになる。作業支援サーバは、オペレータに確認されるべき周囲画像が遠隔操作装置の表示装置に確実に表示された後に、遠隔操作装置による作業機械の操作を許可することができる。 When a request is made for the work machine to start working, the first support processing element creates an ambient image capturing the area surrounding the work machine and causes the display device of the remote control device to display the ambient image. The second support processing element permits the work machine to work on the condition that the ambient image is displayed on the display device. This allows the operator to have a view of the area surrounding the work machine before starting work with the work machine. The work support server can permit the operation of the work machine by the remote control device after the ambient image that should be confirmed by the operator is reliably displayed on the display device of the remote control device.

第１発明の作業支援サーバにおいて、前記第２支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、当該作業機械による作業を許可することが好ましい。 In the work support server of the first invention, it is preferable that the second support processing element permits the work machine to perform work based on information regarding an operator operating the remote control device checking the surrounding image displayed on the display device.

第２支援処理要素は、オペレータが前記表示装置に表示された周囲画像を確認することに関する情報に基づいて、遠隔操作装置による作業機械の操作を許可する。これにより、作業支援サーバは、オペレータによって当該周囲画像が確認された可能性が高い状況のとき、当該作業機械の操作を許可することができる。 The second support processing element allows the remote control device to operate the work machine based on information about the operator checking the surrounding image displayed on the display device. This allows the work support server to allow the operation of the work machine when there is a high probability that the operator has checked the surrounding image.

また、第１発明の作業支援サーバにおいて、前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、前記第２支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該作業機械による作業を許可することが好ましい。 In addition, in the work support server of the first invention, it is preferable that the information is information relating to the time when the surrounding image is displayed on the display device, and the second support processing element allows the work machine to perform work based on the surrounding image being displayed on the display device for a predetermined period of time.

第２支援処理要素は、周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該周囲画像がオペレータによって確認された可能性が高いと推定し、当該作業機械の作業を許可することができる。 The second support processing element can infer that there is a high probability that the surrounding image has been viewed by the operator based on the surrounding image being displayed on the display device for a predetermined period of time, and can then permit the work machine to operate.

また、第１発明の作業支援サーバにおいて、前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、前記第２支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、当該作業機械による作業を許可することが好ましい。 In addition, in the work support server of the first invention, it is preferable that the information is information regarding the detection result of the operator's confirmation action, and the second support processing element allows the work machine to perform work based on the detection of the confirmation action on the surrounding image displayed on the display device.

この場合、第２支援処理要素は、前記表示装置に表示された周囲画像に対して前記確認動作が検出されたという、当該周囲画像がオペレータによって確実に確認された可能性が高い状況のとき、当該作業機械の作業を許可することができる。 In this case, the second support processing element can allow the work machine to operate when the confirmation action is detected for the surrounding image displayed on the display device, indicating that the surrounding image has likely been reliably confirmed by the operator.

また、第１発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械に設けられた、当該作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。 In the work support server of the first invention, it is preferable that the first support processing element creates the surrounding image based on an image captured by a surrounding imaging device provided on the work machine that captures an image of the surroundings of the work machine.

第１支援処理要素は、作業機械に設けられた周囲撮像装置により撮像された撮像画像に基づいて、周囲画像を作成することができる。その後、当該周囲画像が表示装置に表示されるので、オペレータによる作業の許可に用いることができる。 The first support processing element can create a surrounding image based on an image captured by a surrounding imaging device installed on the work machine. The surrounding image is then displayed on the display device, and can be used to give permission for the operator to perform work.

また、第１発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械の位置する作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。 Furthermore, in the work support server of the first invention, it is preferable that the first support processing element is aware of the positions and imaging directions of multiple equipment cameras arranged at the work site where the work machine is located, selects the equipment camera that captures the work machine based on the positions and imaging directions of the equipment cameras and the position of the work machine, and creates the surrounding image based on the captured image captured by the selected equipment camera.

この場合、第１支援処理要素は、作業現場に配置された設備カメラにより撮像された撮像画像に基づいて周囲画像を作成することができる。これにより、作業機械が周囲撮像装置を備えていない場合でも、周囲画像を作成することができる。 In this case, the first support processing element can create a surrounding image based on an image captured by an equipment camera installed at the work site. This makes it possible to create a surrounding image even if the work machine is not equipped with a surrounding imaging device.

また、第１発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。 In addition, in the work support server of the first invention, it is preferable that the first support processing element creates the surrounding image based on an image captured by an imaging device mounted on an airplane capable of flying above the work machine.

この場合、第１支援処理要素は、作業機械の上空を飛行する飛行機に設けられた撮像装置により撮像された撮像画像に基づいて周囲画像を作成することができる。これにより、作業機械が周囲撮像装置を備えていない場合、また、適切な設備カメラがない場合でも、周囲画像を作成することができる。 In this case, the first support processing element can create a surrounding image based on an image captured by an imaging device mounted on an airplane flying above the work machine. This makes it possible to create a surrounding image even if the work machine is not equipped with a surrounding imaging device or if there is no appropriate equipment camera.

第２発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援方法であって、前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第１のステップと、前記周囲画像を前記表示装置に表示させることを条件に当該作業機械による作業を許可する第２のステップと、を備えていることを特徴とする。 The second invention is a work support method for supporting work by a work machine to be operated so that the work machine can be remotely operated in response to operations performed on a remote control device having a display device, and is characterized in that it includes a first step of creating an ambient image capturing the surrounding area of the work machine when a request is made for the work machine to start working, and a second step of allowing the work machine to work on the condition that the ambient image is displayed on the display device.

本発明の作業支援方法では、第１のステップにより、作業機械による作業の開始が要求される場合に、作業機械の周辺領域を捉えた周囲画像を作成し、遠隔操作装置の表示装置に当該周囲画像を表示させる。また、第２ステップにより、周囲画像を前記表示装置に表示させることを条件に、作業機械による作業を許可する。これにより、オペレータは、作業機械による作業を開始する前に、作業機械の周辺領域を見渡せるようになる。 In the work support method of the present invention, in a first step, when a request is made for the work machine to start working, an ambient image capturing the area surrounding the work machine is created and the ambient image is displayed on the display device of the remote control device. In addition, in a second step, the work machine is permitted to work on the condition that the ambient image is displayed on the display device. This allows the operator to have a view of the area surrounding the work machine before starting work with the work machine.

作業支援方法では、オペレータに確認されるべき周囲画像が遠隔操作装置の表示装置に確実に表示された後に、遠隔操作装置による作業機械の操作を許可することができる。 In the work assistance method, operation of the work machine by the remote control device can be permitted after the surrounding image that should be confirmed by the operator is reliably displayed on the display device of the remote control device.

本発明の実施形態に係る作業支援システムの概要を説明する図。1 is a diagram illustrating an overview of a work support system according to an embodiment of the present invention. 作業機械の操作機構の構成を説明する図。FIG. 2 is a diagram illustrating the configuration of an operation mechanism of the work machine. 作業機械の詳細を説明する図（１）。FIG. 1 is a diagram illustrating the details of a work machine. 作業機械の詳細を説明する図（２）。FIG. 2 is a diagram illustrating the details of the work machine. 作業支援サーバ、遠隔操作装置および作業機械が行う各処理のフローチャート（１）。1 is a flowchart (1) of each process performed by a work support server, a remote control device, and a work machine. 作業支援サーバ、遠隔操作装置および作業機械が行う各処理のフローチャート（２）。11 is a flowchart (2) showing the processes performed by the work support server, the remote control device, and the work machine. 画像出力装置に表示される画像の例（周囲画像１）。An example of an image displayed on an image output device (ambient image 1). 作業機械の周囲画像の取得手段を説明する図（１）。FIG. 1 is a diagram for explaining a means for acquiring an image of the surroundings of a work machine (1). 画像出力装置に表示される画像の例（周囲画像２）。13 is an example of an image displayed on an image output device (ambient image 2). 作業機械の周囲画像の取得手段を説明する図（２）。FIG. 2 is a diagram for explaining a means for acquiring an image of the surroundings of a work machine; 画像出力装置に表示される画像の例（周囲画像３）。An example of an image displayed on an image output device (ambient image 3). 画像出力装置に表示される作業環境画像の説明図。FIG. 4 is an explanatory diagram of a work environment image displayed on an image output device.

以下では、図面を参照しながら、本発明の作業支援サーバの詳細を説明する。 The following describes the details of the work support server of the present invention with reference to the drawings.

まず、図１を参照して、本発明の実施形態に係る作業支援サーバ１０と、これを含む作業支援システム１を説明する。 First, referring to FIG. 1, we will explain a work support server 10 according to an embodiment of the present invention and a work support system 1 including the work support server 10.

本実施形態の建設機械の作業支援システム１は、オペレータＯＰが遠隔操作装置２０を操作することで、オペレータＯＰまたは遠隔操作装置２０に対して操作対象として割り当てられた複数の作業機械４０のそれぞれを選択的に遠隔操作し得るように構成されたシステムである。なお、遠隔操作装置２０による操作対象の複数の作業機械４０が配置される作業現場は、１つの作業現場、或いは複数の作業現場の何れであってもよい。 The construction machine work support system 1 of this embodiment is a system configured so that an operator OP can operate a remote control device 20 to selectively remotely control each of a plurality of work machines 40 assigned as operation targets to the operator OP or the remote control device 20. Note that the work site where the plurality of work machines 40 to be operated by the remote control device 20 are located may be either a single work site or multiple work sites.

この作業支援システム１は、作業機械４０に加えて、少なくとも作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０とにより構成されている。作業支援サーバ１０、遠隔操作装置２０および作業機械４０は、無線通信網を含むネットワークＮＷにより相互に通信可能に構成されている。作業支援サーバ１０は、作業機械４０の切替え、移動、作業内容等に応じて、自動で適切な撮像装置、撮像画像を選択する。そして、作業支援サーバ１０は、遠隔操作装置２０のオペレータＯＰの操作を支援するため、後述する画像出力装置２２１（本発明の「表示装置」）に撮像画像を出力する。 In addition to the work machine 40, this work support system 1 is composed of at least a work support server 10 and a remote control device 20 for remotely operating the work machine 40. The work support server 10, the remote control device 20, and the work machine 40 are configured to be able to communicate with each other via a network NW including a wireless communication network. The work support server 10 automatically selects an appropriate imaging device and captured images depending on the switching, movement, work content, etc. of the work machine 40. Then, the work support server 10 outputs the captured images to an image output device 221 (the "display device" of the present invention) described later in order to support the operation of the operator OP of the remote control device 20.

作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、サーバ無線通信機器１２５とを備えている。データベース１０２は、後述する実機撮像装置４１２、周囲撮像装置４１３等で撮像された撮像画像等を記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。 The work support server 10 includes a database 102, a first support processing element 121, a second support processing element 122, and a server wireless communication device 125. The database 102 stores images captured by a real machine imaging device 412, a surrounding imaging device 413, etc., which will be described later. The database 102 may be configured as a database server separate from the work support server 10.

支援処理要素１２１，１２２は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。また、サーバ無線通信機器１２５は、ネットワークＮＷを経由して画像出力装置２２１に表示を指示したり、撮像装置から撮像画像を受信したりする。 The support processing elements 121, 122 are composed of an arithmetic processing device (a single-core processor or a multi-core processor, or the processor cores that make up the same), and read the necessary data and software from a storage device such as a memory, and execute arithmetic processing according to the software on the data. In addition, the server wireless communication device 125 instructs the image output device 221 to display via the network NW, and receives captured images from the imaging device.

次に、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０とを備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。 Next, the remote operation device 20 includes a remote control device 200, a remote input interface 210, and a remote output interface 220. The remote control device 200 is configured with a calculation processing device (a single-core processor or a multi-core processor, or a processor core that constitutes the same), reads necessary data and software from a storage device such as a memory, and executes calculation processing according to the software on the data.

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。また、遠隔出力インターフェース２２０は、画像出力装置２２１と、作業者撮像装置２２２と、遠隔無線通信機器２２３とを備えている。 The remote input interface 210 includes a remote operation mechanism 211. The remote output interface 220 includes an image output device 221, a worker imaging device 222, and a remote wireless communication device 223.

作業者撮像装置２２２は、遠隔操作装置２０に取り付けられたカメラであり、少なくとも操作席（シートＳｔ）を撮像する。 The worker imaging device 222 is a camera attached to the remote control device 20 and captures images of at least the operator's seat (seat St).

遠隔無線通信機器２２３は、ネットワークＮＷを経由して作業機械４０に操作信号を送信したり、実機撮像装置４１２、周囲撮像装置４１３等からの撮像画像を受信したりする。 The remote wireless communication device 223 transmits operation signals to the work machine 40 via the network NW and receives captured images from the actual machine imaging device 412, the surrounding imaging device 413, etc.

遠隔操作機構２１１は、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置とを備えている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４２７を動作させるために操作される（図３Ａ、図３Ｂ参照）。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定された走行ペダルが設けられていてもよい。 The remote control mechanism 211 includes a travel operating device, a swing operating device, a boom operating device, an arm operating device, and a bucket operating device. Each operating device has an operating lever that is rotated. The operating lever (travel lever) of the travel operating device is operated to operate the lower travel body 427 of the work machine 40 (see Figures 3A and 3B). The travel lever may also serve as a travel pedal. For example, a travel pedal fixed to the base or lower end of the travel lever may be provided.

旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動作させるために用いる。また、ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動作させるために用いる（図３Ａ、図３Ｂ参照）。 The operating lever (swing lever) of the slewing operation device is used to operate the hydraulic slewing motor that constitutes the slewing mechanism 430 of the work machine 40. The operating lever (boom lever) of the boom operation device is used to operate the boom cylinder 442 of the work machine 40 (see Figures 3A and 3B).

アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動作させるために用い、バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４４６を動作させるために用いる（図３Ａ、図３Ｂ参照）。 The operating lever (arm lever) of the arm operating device is used to operate the arm cylinder 444 of the work machine 40, and the operating lever (bucket lever) of the bucket operating device is used to operate the bucket cylinder 446 of the work machine 40 (see Figures 3A and 3B).

ここで、図２に、遠隔操作機構２１１を構成する各操作レバー、オペレータＯＰが着座するためのシートＳｔの一例を示す。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態または背もたれがないチェアのような形態等、オペレータが着座できる任意の形態であってもよい。 FIG. 2 shows an example of each operating lever constituting the remote control mechanism 211 and a seat St for the operator OP to sit on. The seat St is in the form of a high-back chair with armrests, but it may be in any form in which the operator can sit, such as a low-back chair without a headrest or a chair without a backrest.

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。１つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、シートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。 A pair of left and right travel levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St. One operating lever may serve as multiple operating levers. For example, the right operating lever 2111 provided in front of the right frame of the seat St may function as a boom lever when operated in the forward/backward direction, and as a bucket lever when operated in the left/right direction.

同様に、シートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。また、レバーパターンは、オペレータＯＰの操作指示によって任意に変更されてもよい。 Similarly, the left operating lever 2112 provided in front of the left frame of the seat St may function as an arm lever when operated in the forward/backward direction, and as a swivel lever when operated in the left/right direction. In addition, the lever pattern may be changed as desired by the operation command of the operator OP.

画像出力装置２２１は、図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２は、それぞれの画面（画像表示領域）の形状およびサイズが同じであってもよいし、相違していてもよい。 As shown in FIG. 2, the image output device 221 is composed of a central image output device 2210, a left image output device 2211, and a right image output device 2212, each having a roughly rectangular screen arranged in front of the seat St, diagonally forward to the left, and diagonally forward to the right. The central image output device 2210, the left image output device 2211, and the right image output device 2212 may have the same or different shapes and sizes of their screens (image display areas).

また、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が中央画像出力装置２２１０の左縁に隣接している。同様に、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は、同じであってもよいし、相違していてもよい。 The right edge of the left image output device 2211 is adjacent to the left edge of the central image output device 2210 so that the screens of the central image output device 2210 and the left image output device 2211 form an inclination angle θ1 (e.g., 120°≦θ1≦150°). Similarly, the left edge of the right image output device 2212 is adjacent to the right edge of the central image output device 2210 so that the screens of the central image output device 2210 and the right image output device 2212 form an inclination angle θ2 (e.g., 120°≦θ2≦150°). The inclination angles θ1 and θ2 may be the same or different.

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２は、それぞれの画面が鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。また、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０は、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。なお、画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。 The screens of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be parallel to the vertical direction, or may be inclined relative to the vertical direction. Furthermore, at least one of the central image output device 2210, the left image output device 2211, and the right image output device 2212 may be composed of multiple image output devices divided into multiple parts. For example, the central image output device 2210 may be composed of a pair of image output devices adjacent to each other above and below, each having a roughly rectangular screen. Furthermore, the image output devices 2210 to 2212 may further include a speaker (audio output device).

次に、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構（作業アタッチメント）４４０とを備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。 Next, the work machine 40 is equipped with a machine control device 400, a machine input interface 410, a machine output interface 420, and an operating mechanism (work attachment) 440. The machine control device 400 is composed of a calculation processing device (a single-core processor or a multi-core processor, or a processor core that constitutes the same), reads the necessary data and software from a storage device such as a memory, and executes calculation processing according to the software on the data.

ここで、図３Ａ、図３Ｂに、本実施形態の作業機械４０の一例を示す。作業機械４０は、例えばクローラショベル（建設機械）であり、クローラ式の下部走行体４２７と、下部走行体４２７に旋回機構４３０を介して旋回可能に搭載された上部旋回体４３５と、作動機構４４０とから構成される機体４５０を備えている。上部旋回体４３５の前方左側部にはキャブ（運転室）４２５が設けられ、上部旋回体４３５の前方中央部には作動機構４４０が設けられている。キャブ（運転室）４２５の後方には、エンジン等の機械を収容する機械収容部４３６と、機械収容部４３６の後方に配置されるカウンタウェイト４３７とが配置されている。 3A and 3B show an example of a work machine 40 according to this embodiment. The work machine 40 is, for example, a crawler excavator (construction machine), and is equipped with a machine body 450 consisting of a crawler-type lower running body 427, an upper rotating body 435 rotatably mounted on the lower running body 427 via a rotating mechanism 430, and an operating mechanism 440. A cab (operating room) 425 is provided on the front left side of the upper rotating body 435, and the operating mechanism 440 is provided in the front center of the upper rotating body 435. A machine housing section 436 that houses machines such as an engine, and a counterweight 437 arranged behind the machine housing section 436 are arranged behind the machine housing section 436.

図１に戻り、実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、周囲撮像装置４１３とを備えている。実機操作機構４１１は、キャブ４２５の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２５に設けられている。 Returning to FIG. 1, the real machine input interface 410 includes a real machine operation mechanism 411, a real machine imaging device 412, and a surrounding imaging device 413. The real machine operation mechanism 411 includes a number of operation levers arranged around a seat arranged inside the cab 425 in the same manner as the remote control mechanism 211. A drive mechanism or robot is provided in the cab 425 that receives a signal corresponding to the operation mode of the remote control lever and moves the real machine operation lever based on the received signal.

図３Ａ、図３Ｂに示すように、実機撮像装置４１２は、例えばキャブ４２５の内部に設置され、作業機械４０の前方方位をキャブ４２５のフロントウィンドウ越しに撮像する。 As shown in Figures 3A and 3B, the actual machine imaging device 412 is installed, for example, inside the cab 425, and captures an image of the forward direction of the work machine 40 through the front window of the cab 425.

また、図３Ａ、図３Ｂに示すように、周囲撮像装置４１３は、例えばキャブ４２５の前方下部に設置され、作業機械４０の前方を撮像する前方カメラ４１３Ａ、機体４５０上に設置され、作業機械４０の右方を撮像する右方カメラ４１３Ｂ、機体４５０上に設置され、作業機械４０の左方を撮像する左方カメラ４１３Ｄ、および機体４５０上に設置され、作業機械４０の後方を撮像する後方カメラ４１３Ｃで構成される。カメラ４１３Ａ～４１３Ｄのそれぞれの撮像範囲は互いに重なり合うように設定されており、作業機械４０の周辺領域の全方位（３６０°）を撮像可能となっている。 As shown in Figures 3A and 3B, the surrounding image capturing device 413 is composed of a front camera 413A, for example, installed at the front lower part of the cab 425 and capturing images in front of the work machine 40, a right camera 413B, installed on the machine body 450 and capturing images to the right of the work machine 40, a left camera 413D, installed on the machine body 450 and capturing images to the left of the work machine 40, and a rear camera 413C, installed on the machine body 450 and capturing images to the rear of the work machine 40. The imaging ranges of the cameras 413A to 413D are set so as to overlap with each other, making it possible to capture images in all directions (360°) of the surrounding area of the work machine 40.

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。実機無線通信機器４２２は、ネットワークＮＷを経由して遠隔操作装置２０の遠隔無線通信機器２２３から遠隔操作レバーの操作態様に応じた信号を受信する。当該信号は、さらに実機制御装置４００に送信され、作業機械４０が当該信号に応じて動作する。なお、当該信号に基づいて実機操作レバーを作動させる駆動機構またはロボットは、キャブ４２５に設けられている。 The actual machine output interface 420 is equipped with an actual machine wireless communication device 422. The actual machine wireless communication device 422 receives a signal corresponding to the operation mode of the remote control lever from the remote wireless communication device 223 of the remote control device 20 via the network NW. The signal is further transmitted to the actual machine control device 400, and the work machine 40 operates according to the signal. The drive mechanism or robot that operates the actual machine operation lever based on the signal is provided in the cab 425.

作動機構４４０は、上部旋回体４３５に装着されたブーム４４１と、ブーム４４１の先端部に回動可能に連結されたアーム４４３と、アーム４４３の先端部に回動可能に連結されたバケット４４５とを備えている。作動機構４４０には、伸縮可能な油圧シリンダにより構成されたブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。 The operating mechanism 440 includes a boom 441 attached to the upper rotating body 435, an arm 443 rotatably connected to the tip of the boom 441, and a bucket 445 rotatably connected to the tip of the arm 443. The operating mechanism 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are configured as extendable and retractable hydraulic cylinders.

また、測位装置４６０は、作業機械４０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機（ＧＮＳＳ：Global Navigation Satellite System）により構成される。測位装置４６０で検出された作業機械４０の位置は、実機無線通信機器４２２を介して作業支援サーバ１０に送信され、データベース１０２に記憶される。 Furthermore, the positioning device 460 is a device that detects the position of the work machine 40, and is configured, for example, by a GNSS receiver ( GNSS : Global Navigation Satellite System). The position of the work machine 40 detected by the positioning device 460 is transmitted to the work support server 10 via the actual machine wireless communication device 422 and stored in the database 102.

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４３５との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。 The boom cylinder 442 is interposed between the boom 441 and the upper rotating body 435 so as to extend and retract when supplied with hydraulic oil, thereby rotating the boom 441 in the hoisting direction. The arm cylinder 444 is interposed between the arm 443 and the boom 441 so as to extend and retract when supplied with hydraulic oil, thereby rotating the arm 443 around a horizontal axis relative to the boom 441.

バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。 The bucket cylinder 446 is interposed between the bucket 445 and the arm 443 so that it expands and contracts when supplied with hydraulic oil, causing the bucket 445 to rotate around a horizontal axis relative to the arm 443.

作業支援システム１は、さらに、各作業機械４０が配置される作業現場に設置された設備カメラ７０と、各作業機械４０が配置される作業現場の上空を飛行する無人飛行機８０と、によっても構成され得る。 The work assistance system 1 may further include an equipment camera 70 installed at the work site where each work machine 40 is located, and an unmanned aerial vehicle 80 that flies above the work site where each work machine 40 is located.

作業支援サーバ１０および遠隔操作装置２０は、適宜、ネットワークＮＷを介して設備カメラ７０の撮像装置７１３の撮像映像および無人飛行機８０の撮像装置８１３の撮像映像を取得し、画像出力装置２２１に出力可能となっている。 The work support server 10 and the remote control device 20 can acquire images captured by the imaging device 713 of the facility camera 70 and the imaging device 813 of the unmanned aerial vehicle 80 via the network NW as appropriate, and output the images to the image output device 221.

次に、図４Ａ、図４Ｂを参照して、本実施形態の作業支援システム１の機能に関するフローチャートを説明する。また、適宜図５～図１０を参照して、撮像装置の選択、撮像画像の表示等について説明する。 Next, a flowchart regarding the functions of the work assistance system 1 of this embodiment will be described with reference to Figures 4A and 4B. In addition, selection of an imaging device, display of captured images, etc. will be described with reference to Figures 5 to 10 as appropriate.

なお、フローチャート中の「Ｃ１０」～「Ｃ４４」のブロックは、記載を簡略化するために用いたが、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として、分岐方向の処理が実行されることを意味する。 The blocks "C10" to "C44" in the flowchart are used to simplify the description, but they represent the transmission and/or reception of data, and mean that processing in the branching direction is executed on the condition that the data is transmitted and/or received.

（第１機能）
まず、遠隔操作装置２０にて、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４Ａ／ＳＴＥＰ２１０）。ここで、「第１指定操作」とは、遠隔操作装置２０と連携する作業機械４０を選択する操作である。 (First function)
First, the remote operation device 20 determines whether or not a first designation operation has been performed by the operator OP via the remote input interface 210 (FIG. 4A/STEP 210). Here, the "first designation operation" is an operation for selecting a work machine 40 that is to cooperate with the remote operation device 20.

第１指定操作の有無は、例えば、次のように判定される。まず、遠隔操作装置２０と連携可能な作業機械４０のそれぞれの存在位置を示すマップや一覧表等が遠隔出力インターフェース２２０に出力される。次いで、オペレータＯＰにより遠隔操作装置２０と連携させる一の作業機械４０を指定するためのタップ等の操作が行われたか否かを判定する。 The presence or absence of a first designation operation is determined, for example, as follows. First, a map, list, or the like showing the respective locations of the work machines 40 that can be linked with the remote control device 20 is output to the remote output interface 220. Next, it is determined whether or not the operator OP has performed an operation such as a tap to designate one of the work machines 40 to be linked with the remote control device 20.

当該判定結果が否定的である場合（図４Ａ／ＳＴＥＰ２１０‥ＮＯ）、第１機能の処理を終了する。一方、当該判定結果が肯定的である場合（図４Ａ／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２３を介して作業支援サーバ１０に対して接続要求信号を送信する（図４Ａ／ＳＴＥＰ２１１）。「接続要求信号」には、遠隔操作装置２０との通信が確立している作業機械４０、または遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれる。 If the determination result is negative (FIG. 4A/STEP 210...NO), the processing of the first function is terminated. On the other hand, if the determination result is positive (FIG. 4A/STEP 210...YES), a connection request signal is transmitted to the work support server 10 via the remote wireless communication device 223 (FIG. 4A/STEP 211). The "connection request signal" includes a work machine identifier for identifying the work machine 40 with which communication has been established with the remote operation device 20, or the work machine 40 specified via the remote input interface 210.

作業支援サーバ１０において、当該接続要求信号を受信した場合（図４Ａ／Ｃ１０）、第１支援処理要素１２１によって、当該作業機械識別子により識別される作業機械４０に対して撮像画像の送信開始指示を行う（図４Ａ／ＳＴＥＰ１１１）。ここでは、少なくとも作業機械４０の実機撮像装置４１２の撮像装置が選択される。 When the work support server 10 receives the connection request signal (FIG. 4A/C10), the first support processing element 121 issues an instruction to start transmitting captured images to the work machine 40 identified by the work machine identifier (FIG. 4A/STEP 111). Here, at least the imaging device of the actual machine imaging device 412 of the work machine 40 is selected.

作業機械４０は、当該送信開始指示を受けた場合（図４Ａ／Ｃ４０）、作業支援サーバ１０に撮像画像を送信する（図４Ａ／ＳＴＥＰ４１１）。作業支援サーバ１０において、サーバ無線通信機器１２５を介して撮像画像を受信した場合（図４Ａ／Ｃ１１）、周囲画像を作成し（図４Ａ／ＳＴＥＰ１１２）、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。この周囲画像の例としては、以降で挙げる周囲画像１～３がある。 When the work machine 40 receives the transmission start instruction (Fig. 4A/C40), it transmits the captured image to the work support server 10 (Fig. 4A/STEP 411). When the work support server 10 receives the captured image via the server wireless communication device 125 (Fig. 4A/C11), it creates a surrounding image (Fig. 4A/STEP 112) and transmits the surrounding image to the remote control device 20 via the server wireless communication device 125 (Fig. 4A/STEP 113). Examples of this surrounding image include surrounding images 1 to 3, which are listed below.

（周囲画像１）
例えば、作業機械４０が、図３Ａ、図３Ｂに示される周囲撮像装置４１３を備えている場合には、周囲撮像装置４１３を構成するカメラ４１３Ａ～４１３Ｄでそれぞれ撮像した画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。 (Ambient image 1)
For example, if the work machine 40 is equipped with the surrounding imaging device 413 shown in Figures 3A and 3B, images captured by each of the cameras 413A to 413D that constitute the surrounding imaging device 413 are transmitted to the work support server 10 via the actual machine wireless communication device 422 (Figure 4A/STEP 411).

作業支援サーバ１０において、サーバ無線通信機器１２５を介してカメラ４１３Ａ～４１３Ｄの撮像画像が受信された場合（図４Ａ／Ｃ１１）、第１支援処理要素１２１によってカメラ４１３Ａ～４１３Ｄの撮像画像を合成する。そして、図５に示されるような、作業機械４０の上方から俯瞰した周囲画像を作成し（図４Ａ／ＳＴＥＰ１１２）、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。 When the work support server 10 receives images captured by the cameras 413A-413D via the server wireless communication device 125 (FIG. 4A/C11), the first support processing element 121 synthesizes the images captured by the cameras 413A-413D. Then, an overhead image of the surroundings of the work machine 40, as shown in FIG. 5, is created (FIG. 4A/STEP 112), and the surroundings image is transmitted to the remote control device 20 via the server wireless communication device 125 (FIG. 4A/STEP 113).

遠隔操作装置２０は、遠隔無線通信機器２２３を介して周囲画像を受信した場合（図４Ａ／Ｃ２０）、当該周囲画像を画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。 When the remote control device 20 receives a surrounding image via the remote wireless communication device 223 (FIG. 4A/C20), it outputs the surrounding image to the image output device 221 (FIG. 4A/STEP 212).

図５に示される周囲画像において、中央に示される作業機械４０の画像は、予め図形情報としてデータベース１０２に記憶されていたものでもよい。この周囲画像において、破線はカメラ４１３Ａ～４１３Ｄの撮像画像の繋ぎ目を示している。なお、当該破線は、画像出力装置２２１に出力しなくてもよい。 In the surrounding image shown in FIG. 5, the image of the work machine 40 shown in the center may be stored in advance in the database 102 as graphical information. In this surrounding image, dashed lines indicate the seams between the images captured by the cameras 413A to 413D. Note that the dashed lines do not need to be output to the image output device 221.

また、作業機械４０の周囲撮像装置４１３が、カメラ４１３Ａ～４１３Ｄの撮像画像の合成を行うことで周囲画像を作成するようにしてもよい。この場合、周囲撮像装置４１３により作成された周囲画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。 The surrounding image capturing device 413 of the work machine 40 may also create a surrounding image by combining the images captured by the cameras 413A to 413D. In this case, the surrounding image created by the surrounding image capturing device 413 is transmitted to the work support server 10 via the actual machine wireless communication device 422 (FIG. 4A/STEP 411).

そして、作業支援サーバ１０において、サーバ無線通信機器１２５を介して周囲画像が受信された場合（図４Ａ／Ｃ１１）、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）、というように構成することができる。 Then, when the work support server 10 receives a surrounding image via the server wireless communication device 125 (Fig. 4A/C11), the surrounding image is transmitted to the remote control device 20 via the server wireless communication device 125 (Fig. 4A/STEP 113).

また、遠隔操作装置２０の遠隔出力インターフェース２２０が、カメラ４１３Ａ～４１３Ｄの撮像画像の合成を行うことで周囲画像を作成するようにしてもよい。作業支援サーバ１０において、サーバ無線通信機器１２５を介してカメラ４１３Ａ～４１３Ｄの撮像画像が受信された場合（図４Ａ／Ｃ１１）、当該撮像画像を、サーバ無線通信機器１２５を介して遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。 The remote output interface 220 of the remote control device 20 may also create an ambient image by combining the images captured by the cameras 413A-413D. When the work support server 10 receives images captured by the cameras 413A-413D via the server wireless communication device 125 (FIG. 4A/C11), it transmits the images to the remote control device 20 via the server wireless communication device 125 (FIG. 4A/STEP 113).

そして、遠隔操作装置２０において、遠隔無線通信機器２２３を介して当該撮像画を受信した場合に、カメラ４１３Ａ～４１３Ｄの撮像画像の合成を行う。その後、作成された周囲画像を画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。 Then, when the remote control device 20 receives the captured images via the remote wireless communication device 223, it composites the captured images of the cameras 413A to 413D. After that, it outputs the created surrounding image to the image output device 221 (FIG. 4A/STEP 212).

（周囲画像２）
作業機械４０は、実機撮像装置４１２が撮像した撮像画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。さらに、測位装置４６０で検出された作業機械４０の位置が、実機無線通信機器４２２を介して作業支援サーバ１０に送信され、データベース１０２に保存される。 (Ambient image 2)
The work machine 40 transmits the image captured by the actual machine imaging device 412 to the work support server 10 via the actual machine wireless communication device 422 ( FIG. 4A /STEP 411). Furthermore, the position of the work machine 40 detected by the positioning device 460 is transmitted to the work support server 10 via the actual machine wireless communication device 422 and stored in the database 102.

作業支援サーバ１０において、サーバ無線通信機器１２５を介して実機撮像装置４１２が撮像した撮像画像が受信された場合（図４Ａ／Ｃ１１）、第１支援処理要素１２１にて、図７に示されるような、実機撮像装置４１２が撮像した撮像画像上に設備カメラ７０Ａ、７０Ｂが撮像した撮像画像を重ねた周囲画像が作成される（図４Ａ／ＳＴＥＰ１１２）。 When the work support server 10 receives an image captured by the actual machine imaging device 412 via the server wireless communication device 125 (FIG. 4A/C11), the first support processing element 121 creates an ambient image in which the images captured by the facility cameras 70A and 70B are superimposed on the image captured by the actual machine imaging device 412, as shown in FIG. 7 (FIG. 4A/STEP 112).

具体的には、作業支援サーバ１０は、サーバ無線通信機器１２５を介して実機撮像装置４１２が撮像した撮像画像に加えて、設備カメラ７０の通信機器７２３を介して送付される、撮像装置７１３が撮像した撮像画像を受信することができる。 Specifically, the work support server 10 can receive images captured by the actual machine imaging device 412 via the server wireless communication device 125, as well as images captured by the imaging device 713 sent via the communication device 723 of the facility camera 70.

第１支援処理要素１２１は、設備カメラ７０の作業現場における位置および撮影可能範囲を把握している。そして、データベース１０２に保存された作業機械４０の位置をもとに、作業機械４０の位置が撮影可能範囲に含まれる設備カメラ７０を特定する。さらに、当該特定した設備カメラ７０により作業機械４０を捉えている設備カメラ７０が撮像した撮像画像を、実機撮像装置４１２が撮像した撮像画像上に重ね、画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。 The first support processing element 121 is aware of the position of the equipment camera 70 at the work site and its image capturing range. Then, based on the position of the work machine 40 stored in the database 102, it identifies the equipment camera 70 whose image capturing range includes the position of the work machine 40. Furthermore, it overlays the image captured by the identified equipment camera 70 capturing the work machine 40 on the image captured by the actual machine image capturing device 412, and outputs the image to the image output device 221 (FIG. 4A/STEP 212).

図６に示されるように、作業機械４０の位置が撮影可能範囲に含まれる設備カメラ７０が複数存在する場合には、設備カメラ７０の撮像画像を全て表示してもよいし、一部のみ表示してもよい。 As shown in FIG. 6, if there are multiple equipment cameras 70 whose image capturing range includes the position of the work machine 40, all images captured by the equipment cameras 70 may be displayed, or only some of them may be displayed.

また、図７においては、作業機械４０を左側から撮影する設備カメラ７０Ｂの撮像画像を画像出力装置２２１の左側に出力し、作業機械４０を右側から撮影する設備カメラ７０Ａの撮像画像を画像出力装置２２１の右側に出力している。このように、作業機械４０を異なる方向から撮像した撮像画像が選択されることにより、作業機械４０の周囲の状況を周囲画像に反映することができる。 In addition, in FIG. 7, the image captured by facility camera 70B capturing the work machine 40 from the left side is output to the left side of the image output device 221, and the image captured by facility camera 70A capturing the work machine 40 from the right side is output to the right side of the image output device 221. In this way, by selecting captured images of the work machine 40 captured from different directions, the situation around the work machine 40 can be reflected in the surrounding image.

（周囲画像３）
また、図８に示されるように、作業機械４０が配置される作業現場の上空を飛行することができる無人飛行機８０が存在する場合には、作業支援サーバ１０は、通信機器８２３を介して送信される無人飛行機８０に搭載された撮像装置８１３の撮像画像を受信することができる。 (Ambient image 3)
Also, as shown in Figure 8, when there is an unmanned airplane 80 that can fly above the work site where the work machine 40 is located, the work support server 10 can receive images captured by an imaging device 813 mounted on the unmanned airplane 80 and transmitted via communication equipment 823.

無人飛行機８０は、充電式で無線により飛行できるものでもよいし、有線により給電されるものでもよい。無人飛行機８０は、作業現場または作業機械４０上に設けられた発着所に待機する。撮像装置８１３は、少なくとも無人飛行機８０の下方を撮像することができる。 The unmanned airplane 80 may be rechargeable and capable of flying wirelessly, or may be powered by a wire. The unmanned airplane 80 waits at a landing point provided at the work site or on the work machine 40. The imaging device 813 is capable of capturing images of at least the area below the unmanned airplane 80.

そして、作業機械４０が送信開始指示を受けた場合（図４Ａ／Ｃ４０）、無人飛行機８０は、作業機械４０の上空に移動し、撮像装置８１３により撮像を開始する。 Then, when the work machine 40 receives a command to start transmission (Figure 4A/C40), the unmanned airplane 80 moves into the air above the work machine 40 and starts capturing images using the imaging device 813.

作業機械４０は、実機撮像装置４１２が撮像した撮像画像を、実機無線通信機器４２２を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ４１１）。これと同時に、撮像装置８１３により撮像された撮像画像が、通信機器８２３を介して作業支援サーバ１０に送信される。ここで、撮像装置８１３により撮像された撮像画像は、作業機械４０の実機無線通信機器４２２を介して作業支援サーバ１０に送信されてもよい。 The work machine 40 transmits the image captured by the actual machine imaging device 412 to the work support server 10 via the actual machine wireless communication device 422 (FIG. 4A/STEP 411). At the same time, the image captured by the imaging device 813 is transmitted to the work support server 10 via the communication device 823. Here, the image captured by the imaging device 813 may be transmitted to the work support server 10 via the actual machine wireless communication device 422 of the work machine 40.

作業支援サーバ１０において、サーバ無線通信機器１２５を介して撮像装置８１３により撮像された撮像画像が受信された場合（図４Ａ／Ｃ１１）、第１支援処理要素１２１は、当該撮像画像を周囲画像とし、サーバ無線通信機器１２５を介して当該周囲画像を遠隔操作装置２０に送信する（図４Ａ／ＳＴＥＰ１１３）。 When the work support server 10 receives an image captured by the imaging device 813 via the server wireless communication device 125 (FIG. 4A/C11), the first support processing element 121 treats the captured image as an ambient image and transmits the ambient image to the remote control device 20 via the server wireless communication device 125 (FIG. 4A/STEP 113).

遠隔操作装置２０は、遠隔無線通信機器２２３を介して周囲画像を受信した場合（図４Ａ／Ｃ２０）に、図９に示されるような周囲画像を画像出力装置２２１に出力する（図４Ａ／ＳＴＥＰ２１２）。当該周囲画像において、中央に示される作業機械４０の画像とその周囲の作業現場の画像は、撮像装置８１３により撮像された撮像画像である。 When the remote control device 20 receives a surrounding image via the remote wireless communication device 223 (FIG. 4A/C20), it outputs the surrounding image as shown in FIG. 9 to the image output device 221 (FIG. 4A/STEP 212). In the surrounding image, the image of the work machine 40 shown in the center and the image of the surrounding work site are captured by the imaging device 813.

無人飛行機８０は、作業機械４０を上空から撮影する際の高さおよび向きが設定されていてもよい。例えば、撮像画像における作業機械４０の画像の向きおよび大きさが適当な画像を規定画像として記憶させておき、当該規定画像を撮影することのできる高さおよび向きになるように、無人飛行機８０の高さと向きが制御され得る。 The unmanned aerial vehicle 80 may be set to a height and orientation when photographing the work machine 40 from the sky. For example, an image of the work machine 40 in a captured image with an appropriate orientation and size may be stored as a reference image, and the height and orientation of the unmanned aerial vehicle 80 may be controlled so that the unmanned aerial vehicle 80 is at a height and orientation that allows the reference image to be photographed.

上述の周囲画像１～３は、適宜選択され得る。例えば、作業機械４０が周囲撮像装置４１３を搭載している場合には、周囲画像１を採用することができる。 The above-mentioned surrounding images 1 to 3 can be selected as appropriate. For example, if the work machine 40 is equipped with a surrounding image capture device 413, surrounding image 1 can be used.

また、作業支援サーバ１０および遠隔操作装置２０が、作業機械４０が配置される作業現場に設置された設備カメラ７０の撮像画像を、ネットワークＮＷを介して取得可能である場合には、周囲画像２を採用することができる。 In addition, if the work support server 10 and the remote control device 20 are capable of acquiring images captured by an equipment camera 70 installed at the work site where the work machine 40 is located via the network NW, the surrounding image 2 can be adopted.

また、作業機械４０の上空に無人飛行機８０があり、撮像装置８１３により撮像された撮像画像を、ネットワークＮＷを介して取得可能である場合には、周囲画像３を採用することができる。 In addition, if there is an unmanned airplane 80 above the work machine 40 and the image captured by the imaging device 813 can be obtained via the network NW, the surrounding image 3 can be used.

以上のようにして、周囲画像が画像出力装置２２１に出力された場合（図４Ａ／ＳＴＥＰ２１２）に、オペレータＯＰは、車両や現場作業者が存在していないか等、安全を確認することができる。 When the surrounding image is output to the image output device 221 in this manner (FIG. 4A/STEP 212), the operator OP can check safety, such as whether there are any vehicles or on-site workers present.

次に、遠隔無線通信機器２２３を介してオペレータ情報が作業支援サーバ１０に送信される（図４Ａ／ＳＴＥＰ２１３）。「オペレータの情報」は、オペレータОＰが画像出力装置２２１に出力された周囲画像を確認したか否かを判断することができる情報である。 Next, the operator information is transmitted to the work support server 10 via the remote wireless communication device 223 (FIG. 4A/STEP 213). The "operator information" is information that allows the operator OP to determine whether or not he or she has checked the surrounding image output to the image output device 221.

例えば、オペレータ情報は、周囲画像が画像出力装置２２１に所定時間（例えば、１０秒）以上に亘って表示されたという情報である。当該情報が送信され、作業支援サーバ１０において、サーバ無線通信機器１２５を介して当該情報が受信された場合（図４Ａ／Ｃ１２）、第２支援処理要素１２２によって、作業許可条件を満たすか否かが判定される（図４Ａ／ＳＴＥＰ１１４）。 For example, the operator information is information that the surrounding image has been displayed on the image output device 221 for a predetermined time (e.g., 10 seconds) or more. When the information is transmitted and is received by the work support server 10 via the server wireless communication device 125 (FIG. 4A/C12), the second support processing element 122 determines whether the work permission conditions are met (FIG. 4A/STEP 114).

周囲画像が画像出力装置２２１に表示された時間が所定時間未満である場合には、オペレータが周囲画像を確認していない可能性が高い。そのため、第２支援処理要素１２２は、作業許可条件を満たさない（図４Ａ／ＳＴＥＰ１１４‥ＮＯ）と判定し、再度、周囲画像を作成し（図４Ａ／ＳＴＥＰ１１２）、周囲画像を更新する。 If the time that the surrounding image is displayed on the image output device 221 is less than the specified time, it is highly likely that the operator has not checked the surrounding image. Therefore, the second support processing element 122 determines that the work permission condition is not met (FIG. 4A/STEP 114...NO), creates a surrounding image again (FIG. 4A/STEP 112), and updates the surrounding image.

一方、周囲画像が画像出力装置２２１に表示された時間が所定時間以上である場合には、オペレータＯＰが周囲画像を確認している可能性が高い。そのため、第２支援処理要素１２２は、作業許可条件を満たす（図４Ａ／ＳＴＥＰ１１４‥ＹＥＳ）と判定し、サーバ無線通信機器１２５を介して作業機械４０に対して操作受付許可信号を送信する（図４Ａ／ＳＴＥＰ１１５）。 On the other hand, if the time that the surrounding image is displayed on the image output device 221 is equal to or longer than the predetermined time, it is highly likely that the operator OP is checking the surrounding image. Therefore, the second support processing element 122 determines that the work permission condition is met (FIG. 4A/STEP 114...YES), and transmits an operation acceptance permission signal to the work machine 40 via the server wireless communication device 125 (FIG. 4A/STEP 115).

また、オペレータ情報は、オペレータＯＰが画像出力装置２２１に出力された周囲画像を確認する動作を捉えることのできる画像であってもよい。この場合、遠隔操作装置２０は、作業者撮像装置２２２によりシートＳｔに着座するオペレータＯＰを撮像し、オペレータ画像として遠隔無線通信機器２２３を介して作業支援サーバ１０に送信する（図４Ａ／ＳＴＥＰ２１３）。 The operator information may also be an image that captures the operator OP checking the surrounding image output to the image output device 221. In this case, the remote control device 20 captures an image of the operator OP seated in the seat St using the worker image capture device 222, and transmits the image as an operator image to the work support server 10 via the remote wireless communication device 223 (FIG. 4A/STEP 213).

作業支援サーバ１０において、サーバ無線通信機器１２５を介して当該オペレータ画像が受信された場合（図４Ａ／Ｃ１２）、第２支援処理要素１２２によって、作業許可条件を満たすか否かが判定される（図４Ａ／ＳＴＥＰ１１４）。 When the operator image is received by the work support server 10 via the server wireless communication device 125 (FIG. 4A/C12), the second support processing element 122 determines whether the work permission conditions are met (FIG. 4A/STEP 114).

第２支援処理要素１２２は、オペレータ画像に対して画像解析を行いオペレータの動作を特定し、例えば、オペレータＯＰの目線や顔が画像出力装置２２１の方向に向けられていることや、オペレータＯＰが画像出力装置２２１を指さし確認していることを検出した場合には、作業許可条件を満たす（図４Ａ／ＳＴＥＰ１１４‥ＹＥＳ）と判定する。そして、第２支援処理要素１２２は、サーバ無線通信機器１２５を介して作業機械４０に対して操作受付許可信号を送信する（図４Ａ／ＳＴＥＰ１１５）。 The second support processing element 122 performs image analysis on the operator image to identify the operator's actions, and when it detects, for example, that the operator OP's line of sight or face is directed toward the image output device 221, or that the operator OP is pointing at the image output device 221 to confirm, it determines that the work permission conditions are met (FIG. 4A/STEP 114...YES). The second support processing element 122 then transmits an operation acceptance permission signal to the work machine 40 via the server wireless communication device 125 (FIG. 4A/STEP 115).

一方、第２支援処理要素１２２は、作業許可条件を満たさない（図４Ａ／ＳＴＥＰ１１４‥ＮＯ）と判定すると、再度、周囲画像を作成する（図４Ａ／ＳＴＥＰ１１２）。これにより、オペレータＯＰに画像出力装置２２１に出力された周囲画像を確認させる。 On the other hand, if the second support processing element 122 determines that the work permission conditions are not met (FIG. 4A/STEP 114...NO), it creates the surrounding image again (FIG. 4A/STEP 112). This allows the operator OP to check the surrounding image output to the image output device 221.

また、第２支援処理要素１２２は、オペレータ画像の解析結果において、作業許可条件を満たさない（図４Ａ／ＳＴＥＰ１１４‥ＮＯ）状態が所定時間以上継続した場合に、遠隔操作装置２０のスピーカから警告音等を出力するように制御してもよい。 The second support processing element 122 may also control the speaker of the remote control device 20 to output a warning sound or the like when the analysis result of the operator image indicates that the work permission conditions are not satisfied (FIG. 4A/STEP 114...NO) for a predetermined period of time or more.

作業機械４０は、実機無線通信機器４２２を介して当該操作受付許可信号を受信した場合（図４Ａ／Ｃ４１）、遠隔操作装置２０による遠隔操作の受付を開始する（図４Ａ／ＳＴＥＰ４１２）。 When the work machine 40 receives the operation acceptance permission signal via the actual machine wireless communication device 422 (FIG. 4A/C41), it starts accepting remote operation by the remote operation device 20 (FIG. 4A/STEP 412).

（第２機能）
次に、図４Ｂのフローチャートを参照して、作業支援システム１のさらなる機能について説明する。 (Second function)
Next, further functions of the work support system 1 will be described with reference to the flowchart of FIG. 4B.

作業支援サーバ１０は、サーバ無線通信機器１２５を介して作業機械４０に撮像画像切替え指示を送信する（図４Ｂ／ＳＴＥＰ１２０）。「撮像画像切替え指示」は、遠隔操作装置２０によって、作業機械４０の遠隔操作を行う際に用いる画像を画像出力装置２２１に表示させるための指示である。 The work support server 10 transmits a captured image switching instruction to the work machine 40 via the server wireless communication device 125 (FIG. 4B/STEP 120). The "captured image switching instruction" is an instruction for causing the remote control device 20 to display on the image output device 221 an image to be used when remotely controlling the work machine 40.

作業機械４０は、実機無線通信機器４２２を介して当該撮像画像切替え指示が受信された場合（図４Ｂ／Ｃ４２）、実機制御装置４００が実機撮像装置４１２から実機撮像画像を取得する（図４Ｂ／ＳＴＥＰ４２１）。すなわち、実機制御装置４００によって、当該実機撮像画像を表わす実機撮像画像データが作業支援サーバ１０に対して送信される（図４Ｂ／ＳＴＥＰ４２２）。 When the work machine 40 receives the image switching instruction via the actual machine wireless communication device 422 (FIG. 4B/C42), the actual machine control device 400 acquires the actual machine captured image from the actual machine imaging device 412 (FIG. 4B/STEP 421). That is, the actual machine control device 400 transmits actual machine captured image data representing the actual machine captured image to the work support server 10 (FIG. 4B/STEP 422).

作業支援サーバ１０において、第１支援処理要素１２１によってサーバ無線通信機器１２５を介して実機撮像画像データが受信された場合（図４Ｂ／Ｃ１４）、第２支援処理要素１２２によって当該実機撮像画像データが遠隔操作装置２０に対して送信される（図４Ｂ／ＳＴＥＰ１２１）。 In the work support server 10, when the first support processing element 121 receives image data captured by the actual machine via the server wireless communication device 125 (Fig. 4B/C14), the second support processing element 122 transmits the image data captured by the actual machine to the remote control device 20 (Fig. 4B/STEP 121).

遠隔操作装置２０において、遠隔無線通信機器２２３を介して実機撮像画像データが受信された場合（図４Ｂ／Ｃ２１）、遠隔制御装置２００によって当該実機撮像画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４Ｂ／ＳＴＥＰ２２０）。 When the remote control device 20 receives image data captured by the actual machine via the remote wireless communication device 223 (Fig. 4B/C21), the remote control device 200 outputs a work environment image corresponding to the image data captured by the actual machine to the image output device 221 (Fig. 4B/STEP 220).

これにより、例えば、図１０に示されるように、作動機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる作業環境画像が画像出力装置２２１に出力される。 As a result, for example, as shown in FIG. 10, a work environment image that includes the boom 441, arm 443, and bucket 445, which are part of the operating mechanism 440, is output to the image output device 221.

遠隔操作装置２０において、遠隔制御装置２００によって遠隔操作機構２１１の操作態様が認識され（図４Ｂ／ＳＴＥＰ２２１）、さらに、遠隔無線通信機器２２３を介して当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図４Ｂ／ＳＴＥＰ２２２）。 In the remote operation device 20, the operation mode of the remote operation mechanism 211 is recognized by the remote control device 200 (FIG. 4B/STEP 221), and a remote operation command corresponding to the operation mode is transmitted to the work support server 10 via the remote wireless communication device 223 (FIG. 4B/STEP 222).

作業支援サーバ１０において、第２支援処理要素１２２によって当該遠隔操作指令が受信された場合（図４Ｂ／Ｃ１５）、第１支援処理要素１２１は、当該遠隔操作指令を作業機械４０に対して送信する（図４Ｂ／ＳＴＥＰ１２２）。 When the remote operation command is received by the second support processing element 122 in the work support server 10 (Fig. 4B/C15), the first support processing element 121 transmits the remote operation command to the work machine 40 (Fig. 4B/STEP 122).

作業機械４０において、実機制御装置４００によって実機無線通信機器４２２を介して遠隔操作指令が受信された場合（図４Ｂ／Ｃ４３）、作動機構４４０等の動作が制御される（図４Ｂ／ＳＴＥＰ４２３）。これにより、作業機械４０の遠隔操作が開始される。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４３５を旋回させたうえでバケット４４５から土を落とす作業が実行される。 When the actual machine control device 400 receives a remote operation command via the actual machine wireless communication device 422 (FIG. 4B/C43) in the work machine 40, the operation of the operating mechanism 440 and the like is controlled (FIG. 4B/STEP 423). This starts remote operation of the work machine 40. For example, the bucket 445 is used to scoop up soil in front of the work machine 40, the upper rotating body 435 is rotated, and then the soil is dropped from the bucket 445.

その後、遠隔操作装置２０において、オペレータＯＰが作業機械４０による作業を終了する。このとき、遠隔操作装置２０は、作業支援サーバ１０に向けて作業終了信号を送信する（図４Ｂ／ＳＴＥＰ２２３）。 Then, the operator OP ends the work performed by the work machine 40 on the remote control device 20. At this time, the remote control device 20 transmits a work end signal to the work support server 10 (FIG. 4B/STEP 223).

作業支援サーバ１０は、実機無線通信機器４２２を介して当該作業終了信号を受信した場合（図４Ｂ／Ｃ１６）、作業機械４０に向けて作業終了信号を送信する（図４Ｂ／ＳＴＥＰ１２３）。このとき、作業支援サーバ１０は、現在、撮像画像を送信している撮像装置に限らず、全ての撮像装置に対して作業終了の指示を行ってもよい。 When the work support server 10 receives the work end signal via the actual machine wireless communication device 422 (Fig. 4B/C16), it transmits a work end signal to the work machine 40 (Fig. 4B/STEP 123). At this time, the work support server 10 may instruct all imaging devices to end work, not just the imaging device that is currently transmitting captured images.

作業機械４０は、当該作業終了信号を受信した場合（図４Ｂ／Ｃ４４）、撮像装置による撮像と作業機械４０の駆動を停止する（図４Ｂ／ＳＴＥＰ４２４）。 When the work machine 40 receives the work end signal (FIG. 4B/C44), it stops capturing images using the imaging device and stops driving the work machine 40 (FIG. 4B/STEP 424).

最後に、遠隔操作装置２０は、撮像画像の出力を中止する（図４Ｂ／ＳＴＥＰ２２４）。これにより、画像出力装置２２１での撮像画像の表示が終了する。 Finally, the remote control device 20 stops outputting the captured image (FIG. 4B/STEP 224). This ends the display of the captured image on the image output device 221.

また、オペレータＯＰは、遠隔操作装置２０から複数の作業機械４０を操作することが可能であり、作業機械４０を切替えることがある。新たな作業機械４０に切替えたとき、作業支援システム１は、上述の図４Ａ、図４Ｂの処理を実行するようにしてもよい。以上で、作業支援サーバ１０の一連の処理（第１機能、第２機能）を終了する。 The operator OP can operate multiple work machines 40 from the remote control device 20, and may switch between work machines 40. When switching to a new work machine 40, the work support system 1 may execute the processes shown in Figures 4A and 4B described above. This completes the series of processes (first function, second function) of the work support server 10.

このように、作業支援サーバ１０は、作業機械４０の実機撮像装置４１２、周囲撮像装置４１３、設備カメラ７０等の撮像画像を用いて、作業機械４０の周辺の撮像画像を画像出力装置２２１に表示させる。オペレータＯＰは、作業機械４０の周囲の状況のみならず、障害物との相対位置関係等を把握し、確実に作業を行うことができる。また、オペレータＯＰが自ら撮像装置の切替えを行う手間もなくなる。 In this way, the work support server 10 uses images captured by the actual machine imaging device 412, the surrounding imaging device 413, the facility camera 70, etc. of the work machine 40 to display captured images of the surroundings of the work machine 40 on the image output device 221. The operator OP can grasp not only the situation around the work machine 40 but also the relative positional relationship with obstacles, etc., and perform work reliably. In addition, the operator OP is no longer required to take the trouble of switching the imaging device himself.

１…作業支援システム、１０…作業支援サーバ、２０…遠隔操作装置、４０…作業機械、７０，７０Ａ，７０Ｂ…設備カメラ、８０…無人飛行機、１２１…第１支援処理要素、１２２…第２支援処理要素、２００…遠隔制御装置、２２１…画像出力装置、２２２…作業者撮像装置、４１２…実機撮像装置、４１３…周囲撮像装置、４２５…キャブ、４２７…下部走行体、４３０…旋回機構、４３５…上部旋回体、４４０…作動機構（作業アタッチメント）、４４５…バケット、４６０…測位装置、７１３…撮像装置、７２３…通信機器、８１３…撮像装置、８２３…通信機器、２１１０…走行レバー、２１１１…右側操作レバー、２１１２…左側操作レバー。 1...work support system, 10...work support server, 20...remote control device, 40...work machine, 70, 70A, 70B...facility camera, 80...unmanned aerial vehicle, 121...first support processing element, 122...second support processing element, 200...remote control device, 221...image output device, 222...worker image capture device, 412...actual machine image capture device, 413...surroundings image capture device, 425...cab, 427...lower traveling body, 430...rotating mechanism, 435...upper rotating body, 440...operating mechanism (work attachment), 445...bucket, 460...positioning device, 713...imaging device, 723...communication device, 813...imaging device, 823...communication device, 2110...travel lever, 2111...right side operation lever, 2112...left side operation lever.

Claims (8)

表示装置を有する遠隔操作装置に対して行われる操作に応じて実行する操作対象の作業機械による作業を支援する作業支援システムであって、
入力インターフェースであって、前記入力インターフェースを通じて前記遠隔操作装置と連携可能な複数の作業機械のうちから前記作業を実行する一の前記作業機械を指定するための指定操作が行われたか否かが判定される入力インターフェースと、
前記指定操作が行われたか否かの判定の結果が肯定的であり前記入力インターフェースを通じて指定された前記一の作業機械による前記作業の開始が要求される場合に、前記指定操作において指定された前記一の作業機械の周辺領域を捉えた周囲画像を作成する第１支援処理要素と、
前記周囲画像を前記表示装置に表示させることを条件に、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可する第２支援処理要素と、
を備えていることを特徴とする作業支援システム。 A work assistance system that assists a work performed by a work machine to be operated in response to an operation performed on a remote operation device having a display device,
an input interface for determining whether or not a designation operation has been performed to designate one of a plurality of work machines that are capable of cooperating with the remote operation device through the input interface to perform the work;
a first support processing element that creates a surrounding image capturing a peripheral area of the one work machine designated in the designation operation when a result of the determination as to whether or not the designation operation has been performed is positive and the start of the work by the one work machine designated through the input interface is requested; and
a second support processing element that permits execution of the work by the one work machine designated in the designation operation on condition that the surrounding image is displayed on the display device;
A work support system comprising: 請求項１に記載の作業支援システムにおいて、
前記第２支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。 The work support system according to claim 1 ,
The second support processing element is configured to permit the one of the work machines specified in the designation operation to perform the work, based on information regarding an operator operating the remote control device checking the surrounding image displayed on the display device. 請求項２に記載の作業支援システムにおいて、
前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、
前記第２支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。 The work support system according to claim 2 ,
the information is information regarding a time when the surrounding image was displayed on the display device,
a second support processing element that, based on the surrounding image being displayed on the display device for a predetermined period of time, permits the one of the work machines specified in the designation operation to perform the work. 請求項２に記載の作業支援システムにおいて、
前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、
前記第２支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可することを特徴とする作業支援システム。 The work support system according to claim 2 ,
the information is information regarding a detection result of a confirmation action of the operator,
a second support processing element that, based on the detection of the confirmation action on the surrounding image displayed on the display device, permits the one of the work machines specified in the designation operation to perform the work. 請求項１～４の何れか１項に記載の作業支援システムにおいて、
前記第１支援処理要素は、前記指定操作において指定された前記一の作業機械に設けられた、前記一の作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。 The work support system according to any one of claims 1 to 4 ,
The first support processing element creates the surrounding image based on an image captured by an surrounding imaging device that is provided on the one work machine specified in the designation operation and that captures images of the surroundings of the one work machine. 請求項１～４の何れか１項に記載の作業支援システムにおいて、
前記第１支援処理要素は、前記遠隔操作装置と連携可能な前記複数の作業機械が配置される作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記指定操作において指定された前記一の作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。 The work support system according to any one of claims 1 to 4 ,
The first support processing element is aware of the positions and imaging directions of multiple equipment cameras arranged at a work site where the multiple work machines capable of linking with the remote control device are arranged , and selects the equipment camera that captures the one work machine specified in the designation operation based on the positions and imaging directions of the equipment cameras and the position of the work machines, and creates the surrounding image based on the image captured by the selected equipment camera. 請求項１～４の何れか１項に記載の作業支援システムにおいて、
前記第１支援処理要素は、前記指定操作において指定された前記一の作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援システム。 The work support system according to any one of claims 1 to 4 ,
The first support processing element creates the surrounding image based on an image captured by an imaging device mounted on an airplane capable of flying above the one work machine specified in the designation operation . 表示装置を有する遠隔操作装置に対して行われる操作に応じて実行する操作対象の作業機械による作業を支援する作業支援方法であって、
入力インターフェースを通じて前記遠隔操作装置と連携可能な複数の作業機械のうちから前記作業を実行する一の前記作業機械を指定するための指定操作が行われたか否かを判定するステップと、
前記指定操作が行われたか否かの判定の結果が肯定的であり前記入力インターフェースにおいて指定された前記一の作業機械による前記作業の開始が要求される場合に、前記指定操作において指定された前記一の作業機械の周辺領域を捉えた周囲画像を作成するステップと、
前記周囲画像を前記表示装置に表示させることを条件に、前記指定操作において指定された前記一の作業機械による前記作業の実行を許可するステップと、
を備えていることを特徴とする作業支援方法。
 A work assistance method for assisting a work performed by a work machine to be operated, the method being executed in response to an operation performed on a remote operation device having a display device, the method comprising:
a step of determining whether or not a designation operation has been performed via an input interface to designate one of a plurality of work machines that is to perform the work from among the work machines that are capable of cooperating with the remote operation device ;
creating a surrounding image capturing a peripheral area of the one work machine designated in the designation operation when a result of the determination as to whether or not the designation operation has been performed is positive and start of the work by the one work machine designated in the input interface is requested;
permitting execution of the work by the one of the work machines designated in the designation operation on condition that the surrounding image is displayed on the display device;
A work support method comprising:
JP2020043744A 2020-03-13 2020-03-13 Work support server and work support method Active JP7508815B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020043744A JP7508815B2 (en) 2020-03-13 2020-03-13 Work support server and work support method
PCT/JP2021/002418 WO2021181916A1 (en) 2020-03-13 2021-01-25 Work assistance server and work assistance method
CN202180020031.1A CN115244254A (en) 2020-03-13 2021-01-25 Work support server and work support method
US17/794,655 US20230092296A1 (en) 2020-03-13 2021-01-25 Work assistance server and work assistance method
EP21767335.9A EP4079978A4 (en) 2020-03-13 2021-01-25 Work assistance server and work assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020043744A JP7508815B2 (en) 2020-03-13 2020-03-13 Work support server and work support method

Publications (2)

Publication Number Publication Date
JP2021143541A JP2021143541A (en) 2021-09-24
JP7508815B2 true JP7508815B2 (en) 2024-07-02

Family

ID=77671352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020043744A Active JP7508815B2 (en) 2020-03-13 2020-03-13 Work support server and work support method

Country Status (5)

Country Link
US (1) US20230092296A1 (en)
EP (1) EP4079978A4 (en)
JP (1) JP7508815B2 (en)
CN (1) CN115244254A (en)
WO (1) WO2021181916A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121010A1 (en) 2015-01-28 2016-08-04 株式会社日立製作所 System for operating work machines
JP2017102604A (en) 2015-11-30 2017-06-08 住友重機械工業株式会社 Periphery monitoring system for work machine
WO2017131194A1 (en) 2016-01-29 2017-08-03 住友建機株式会社 Excavator and autonomous flying body to fly around excavator
JP2018105064A (en) 2016-12-28 2018-07-05 株式会社小松製作所 Work vehicle, and control system for work vehicle
JP2019060228A (en) 2018-11-01 2019-04-18 住友重機械工業株式会社 Periphery monitoring device for work machine
WO2019111859A1 (en) 2017-12-04 2019-06-13 住友重機械工業株式会社 Surrounding-area monitoring device, information processing terminal, information processing device, and information processing program
WO2020032267A1 (en) 2018-08-10 2020-02-13 住友建機株式会社 Shovel

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028265A (en) * 1996-07-11 1998-01-27 Hitachi Constr Mach Co Ltd Working-site monitor device for remote control working machine
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP5961472B2 (en) * 2012-07-27 2016-08-02 日立建機株式会社 Work machine ambient monitoring device
JP6456584B2 (en) * 2013-03-19 2019-01-23 住友重機械工業株式会社 Perimeter monitoring equipment for work machines
US10474228B2 (en) * 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine
WO2015125979A1 (en) * 2015-04-28 2015-08-27 株式会社小松製作所 Work machine perimeter monitoring device, and work machine perimeter monitoring method
KR102027395B1 (en) * 2015-07-31 2019-10-01 가부시키가이샤 고마쓰 세이사쿠쇼 Display system of work machine, and display method of work machine
EP3399744B1 (en) 2015-12-28 2021-09-22 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
CN205894129U (en) * 2016-07-25 2017-01-18 山推工程机械股份有限公司 Wireless video monitor system of remote control bull -dozer
JP7092688B2 (en) * 2017-02-17 2022-06-28 住友重機械工業株式会社 Peripheral monitoring system for work machines
JP7087545B2 (en) * 2018-03-28 2022-06-21 コベルコ建機株式会社 Construction machinery
JP7070047B2 (en) * 2018-04-26 2022-05-18 コベルコ建機株式会社 Swing control device for swivel work machines
AU2019371691A1 (en) * 2018-10-31 2021-02-25 Komatsu Ltd. Display control system and display control method
CN113661296A (en) * 2019-03-27 2021-11-16 住友建机株式会社 Construction machine and support system
JP7338514B2 (en) * 2020-03-04 2023-09-05 コベルコ建機株式会社 Work support server, work support method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016121010A1 (en) 2015-01-28 2016-08-04 株式会社日立製作所 System for operating work machines
JP2017102604A (en) 2015-11-30 2017-06-08 住友重機械工業株式会社 Periphery monitoring system for work machine
WO2017131194A1 (en) 2016-01-29 2017-08-03 住友建機株式会社 Excavator and autonomous flying body to fly around excavator
JP2018105064A (en) 2016-12-28 2018-07-05 株式会社小松製作所 Work vehicle, and control system for work vehicle
WO2019111859A1 (en) 2017-12-04 2019-06-13 住友重機械工業株式会社 Surrounding-area monitoring device, information processing terminal, information processing device, and information processing program
WO2020032267A1 (en) 2018-08-10 2020-02-13 住友建機株式会社 Shovel
JP2019060228A (en) 2018-11-01 2019-04-18 住友重機械工業株式会社 Periphery monitoring device for work machine

Also Published As

Publication number Publication date
EP4079978A4 (en) 2023-06-14
CN115244254A (en) 2022-10-25
US20230092296A1 (en) 2023-03-23
JP2021143541A (en) 2021-09-24
EP4079978A1 (en) 2022-10-26
WO2021181916A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
WO2021124654A1 (en) Work assist server, work assist method, and work assist system
JP7338514B2 (en) Work support server, work support method
WO2022168443A1 (en) Work assistance system and work assistance composite system
WO2021153187A1 (en) Work assisting server and work assisting system
WO2021131161A1 (en) Work assisting server and method for selecting imaging device
JP7508815B2 (en) Work support server and work support method
WO2021106278A1 (en) Work assistance server, work assistance method, and work assistance system
WO2022070567A1 (en) Remote operation assistance device and remote operation assistance system
JP7283283B2 (en) working machine
JP7363560B2 (en) Remote control device, remote control support server, remote control support system, and remote control support method
WO2021106280A1 (en) Work assist server, work assist method, and work assist system
WO2021240957A1 (en) Remote operation assisting device, remote operation assisting system, and remote operation assisting method
WO2023100533A1 (en) Image display system, remote operation assistance system, and image display method
JP2022152338A (en) Work support system and work support complex system
JP2021017696A (en) Work machine and work machine supporting server
JP2021017695A (en) Work machine and work machine supporting server
CN117043732A (en) Remote operation support server and remote operation support system
JP2021021253A (en) Work machine and work machine assistance server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240603