WO2021124858A1 - 遠隔操作装置および遠隔操作システム - Google Patents

遠隔操作装置および遠隔操作システム Download PDF

Info

Publication number
WO2021124858A1
WO2021124858A1 PCT/JP2020/044543 JP2020044543W WO2021124858A1 WO 2021124858 A1 WO2021124858 A1 WO 2021124858A1 JP 2020044543 W JP2020044543 W JP 2020044543W WO 2021124858 A1 WO2021124858 A1 WO 2021124858A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
remote
image
time point
wireless communication
Prior art date
Application number
PCT/JP2020/044543
Other languages
English (en)
French (fr)
Inventor
伊藤　卓
雄一 栗田
Original Assignee
コベルコ建機株式会社
国立大学法人広島大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020142502A external-priority patent/JP7376440B2/ja
Application filed by コベルコ建機株式会社, 国立大学法人広島大学 filed Critical コベルコ建機株式会社
Priority to CN202080084213.0A priority Critical patent/CN114787453B/zh
Priority to US17/782,756 priority patent/US20230003002A1/en
Priority to EP20901434.9A priority patent/EP4053346A4/en
Publication of WO2021124858A1 publication Critical patent/WO2021124858A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • the present invention relates to a device for remotely controlling a work machine.
  • an object of the present invention is to provide a remote control device and a remote control system capable of reducing or eliminating the deviation of the position of the marker image of the work part such as a line drawing in the image with respect to the position of the work part in the real space. And.
  • the remote control device of the present invention A remote control device for remotely controlling a work machine having a work mechanism.
  • a remote wireless communication device having a communication function with an actual wireless communication device mounted on the work machine, and Remote image output device and Remote control mechanism and A remote control element that recognizes the operation mode of the remote control mechanism by the operator and causes the remote radio communication device to transmit a command signal corresponding to the operation mode to the actual wireless communication device.
  • a work environment image including a working unit of the work mechanism acquired through an imaging device mounted on the work machine, transmitted from the actual wireless communication device, and received by the remote wireless communication device is transmitted to the remote image output device.
  • the first output control element to be output and Based on the operation mode of the remote control mechanism at the first time point recognized by the remote control element, the space occupancy mode of the working unit at the second time point after the first time point is estimated, and the estimated space occupancy mode is estimated.
  • a marker image showing the space occupancy mode of the working unit at the second time point without impairing the visibility of the working part is displayed at the third time point included in the period from the first time point to the second time point.
  • a second output control element which is superimposed on the image and is output to the remote image output device, is provided.
  • the remote control system of the present invention is composed of the remote control device of the present invention and the work machine.
  • Explanatory drawing about the structure of the remote control system as one Embodiment of this invention.
  • Explanatory drawing about the structure of the remote control device Explanatory drawing about the structure of the work machine.
  • Explanatory drawing about the function of a remote control system The explanatory view about the 1st Example of the method of estimating the position and posture of a working part.
  • Explanatory drawing about work environment image Explanatory drawing about the 1st output form of a sign image.
  • Explanatory drawing about the 2nd output form of a sign image Explanatory drawing about the 2nd output form of a sign image.
  • the remote control system as an embodiment of the present invention shown in FIG. 1 is composed of a remote control device 20 and a work machine 40 which is a remote control target by the remote control device 20.
  • the remote control device 20 and the work machine 40 are configured to be capable of network communication with each other.
  • the server 10 may intervene in the mutual communication between the remote control device 20 and the work machine 40, and the server 10 may form a part of the remote control system.
  • the remote control device 20 includes a remote input interface 210, a remote output interface 220, and a remote control device 24.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the remote control device 24 includes a remote control element 240, a first output control element 241 and a second output control element 242.
  • Each element is composed of an arithmetic processing unit (single-core processor or multi-core processor or the processor core that composes it), reads necessary data and software from a storage device such as memory, and follows the software for the data. Execute arithmetic processing.
  • the remote control element 240 recognizes the operation mode of the remote control mechanism 211 by the operator, and causes the remote radio communication device 222 to transmit a command signal corresponding to the operation mode to the actual wireless communication device 422.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 41 of the work machine 40.
  • the traveling lever may also serve as a traveling pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 43 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446 of the work machine 40.
  • the remote control mechanism 211 has the same configuration as the actual machine operation mechanism 411 mounted on the work machine 40, but has a different configuration from the actual machine operation mechanism 411, such as a touch panel type or button type operation mechanism for inputting operation commands. It may be the operation mechanism of.
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but may be in any form that can be seated by a remote operator, such as a low back chair without headrests or a chair without backrests. ..
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operating lever 2111 provided in front of the right frame of the seat St shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 2112 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the image output device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left diagonally forward image output device 2211 arranged diagonally forward to the right, forward, and diagonally forward left of the seat St. It is composed of an oblique forward image output device 2213.
  • the image output devices 2211 to 2213 may further include a speaker (audio output device).
  • the work machine 40 includes an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, and a work attachment 44.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 3, the work machine 40 is rotatably mounted on the crawler type lower traveling body 41 and the lower traveling body 41 via the turning mechanism 43.
  • the upper swivel body 42 is provided.
  • the swivel mechanism 43 corresponds to one of the working mechanisms.
  • a cab (driver's cab) 424 is provided on the front left side of the upper swing body 42.
  • a work attachment 44 is provided at the front center portion of the upper swing body 220.
  • the actual machine input interface 410 includes an actual machine operation mechanism 411, an actual machine image pickup device 412, and a state sensor group 414.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the operation mode of the work machine 40 may be controlled by controlling the opening degree and the like of the valves constituting the hydraulic circuit instead of moving the actual machine operation lever.
  • the actual image pickup device 412 is installed inside the cab 424, for example, and images an environment including at least a part of the work attachment 44 through the front window of the cab 424.
  • the state sensor group 414 includes the relative posture angle of the upper swing body 42 with respect to the lower traveling body 41, the relative posture angle of the boom 441 with respect to the upper swing body 42, the relative posture angle of the arm 443 with respect to the boom 441, and the bucket 445 with respect to the arm 443. It is composed of various sensors that output signals indicating the operating mode or operating state of the working mechanism, such as the relative posture angle.
  • the actual device output interface 420 includes an actual device wireless communication device 422.
  • the work attachment 44 as one of the work mechanisms is attached to the boom 441 rotatably attached to the upper swing body 42, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It includes a bucket 445 as a work unit that is rotatably connected.
  • the work attachment 44 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 42 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the operator determines whether or not there is a designated operation through the remote input interface 210 (FIG. 4 / STEP200).
  • the “designated operation” is, for example, a touch operation such as tapping, swiping, flicking, or pinching out / in on the touch panel constituting the remote input interface 210. If the determination result is negative (FIG. 4 / STEP200 ... NO), a series of processes is completed. On the other hand, if the determination result is affirmative (FIG. 4 / STEP200 ... YES), the first output control element 241 transmits a work environment image request through the remote wireless communication device 222 (FIG. 4 / STEP202).
  • the working environment image request includes at least one of the identifier of the remote control device 20 and the identifier of the operator.
  • the actual machine control device 400 acquires the captured image through the actual machine image pickup device 412 (FIG. 4 / STEP402).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 10 through the actual device wireless communication device 422 (FIG. 4 / STEP404).
  • the captured image may be acquired through an imaging device installed at the work site or outside the work machine 40.
  • the remote control device 20 When the remote control device 20 receives the captured image data through the remote wireless communication device 222 (FIG. 4 / C20), the work environment image corresponding to the captured image data is output to the image output device 221 (FIG. 4 / C20).
  • the working environment image is a simulated working environment image generated based on all or a part of the captured image itself or based on the captured image.
  • the work environment image Img1 in which the boom 441, the arm 443, and the bucket 445, which are a part of the work attachment 44 as a work mechanism, are reflected in the image output device 221 is displayed. Displayed in series.
  • the remote control element 240 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP206), and the remote control command signal corresponding to the operation mode is remotely controlled through the remote wireless communication device 222. It is transmitted to the server 10 (Fig. 4 / STEP208).
  • the operation of the work attachment 44 or the like is controlled (FIG. 4 / STEP406).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the second output control element 242 causes the work unit (bucket 445) of the work attachment 44 to have the first time point.
  • the relative posture angle of the upper swivel body 42 with respect to the lower traveling body 41 based on the position or inclination angle of the operating lever constituting the operating mechanism 211, the relative posture angle of the upper swivel body 42 with respect to the lower traveling body 41, the relative posture angle of the boom 441 with respect to the upper swivel body 42, and the boom 441.
  • Each of the relative posture angle of the arm 443 and the relative posture angle of the bucket 445 with respect to the arm 443 is estimated as the actual machine operation mode, and based on the estimation result, the actual machine coordinate system of the bucket 445 (working unit) (relative to the working machine 40).
  • the space occupancy mode in the coordinate system in which the position and orientation are fixed) is estimated.
  • the coordinate values representing the space occupancy mode of the working unit in the actual machine coordinate system are set.
  • the coordinate is converted into a coordinate value representing the estimated space occupancy mode of the working unit in the work environment image coordinate system or the estimated extension mode of the image area in which the bucket 445 exists.
  • a space occupancy mode such as at least one of the arm 443 and the boom 441 may be recognized as the space occupancy mode of the working unit.
  • the "first communication delay time TTD1" is the communication delay time from when the command signal corresponding to the operation mode of the remote control mechanism 211 is transmitted from the remote wireless communication device 222 to when it is received by the actual wireless communication device 422. .. In the "first response delay time TRD1", after the command signal is received by the actual wireless communication device 422, the operation of the work machine 40 is controlled by the actual machine control device 400 in response to the command signal (the command signal is the work machine).
  • the “second communication delay time TTD2" is a communication delay time from when the captured image data (environmental image data) is transmitted from the actual wireless communication device 422 to when it is received by the remote wireless communication device 222.
  • the “second response delay time TRD2” is the response delay time from the reception of the environmental image data by the remote wireless communication device 222 to the output of the environmental image to the image output device 221 according to the environmental image data. ..
  • the space occupancy mode of the working part may be estimated or predicted.
  • the labeled image Img2 is, for example, a translucent image.
  • An edge point cloud is detected in the work environment image Img1 (t), and an image area corresponding to the working portion (bucket 445) is recognized by shape pattern matching of the image area surrounded by the edge point cloud, and the size and size of the image area are determined. The shapes are matched to generate the labeled image Img2.
  • the labeled image Img2 provides visibility of the bucket 445 in the working environment image Img1, such as a line drawing showing the outline of the image area or an arrow-shaped image having a point on the outline of the image area as the tip.
  • the image may have various shapes, sizes and color combinations representing the space occupancy mode or position orientation of the bucket 445 without loss.
  • ⁇ 2 ⁇ 1.
  • FIG. 5 in the coordinate system of the work environment image Img1 output by the image output device 221, the change mode of the coordinate value of the position / orientation (one or both of the position and the orientation) of the work unit (bucket 445) is conceptual. It is shown in.
  • the broken line in FIG. 5 represents the change mode of the coordinate value of the position and orientation of the working unit, which is determined according to the received captured image data (see FIG. 4 / C20).
  • the solid line in FIG. 5 represents the change mode of the coordinate value of the position and orientation of the working unit predicted according to the operation mode of the remote control mechanism 211.
  • the position of the working part in the working environment image system (u, v) is represented by a two-dimensional vector, and the posture of the working part is represented by a two-dimensional vector from the rear end (attachment to the arm 443) to the tip. ..
  • the position / posture coordinate value of the working unit at an arbitrary second time point is a solid line according to the operation mode of the remote control mechanism 211 at the first time point prior to the second time point. It is predicted as shown by.
  • the position / orientation coordinate value of the working unit determined according to the captured image data and the remote control mechanism.
  • the position and orientation coordinate values of the working unit predicted according to the operation mode of 211 are substantially the same.
  • the translucent labeled image Img2 ( ⁇ 1) imitating the bucket 445 is the working environment image Img ( ⁇ 1) so as to substantially overlap the image area representing the bucket 445. Is superimposed on the image output device 221 and output to the image output device 221.
  • the work corresponding to the captured image data in the work environment image is performed.
  • the position / orientation coordinate value of the unit changes discontinuously, and deviates from the position / orientation coordinate value of the working unit predicted according to the operation mode of the remote control mechanism 211.
  • a translucent labeled image Img2 imitating the bucket 445 is located at a position that is originally expected to exist, although it is deviated from the image region representing the bucket 445.
  • the marker image Img2 is generated in the remote control device 20, and then superimposed on the work environment image Img1 and output to the image output device 221 (FIG. 4 / STEP210 ⁇ STEP212, FIG. 8 and FIG. 9). Therefore, there is no possibility that the transmission of the labeled image Img2 such as a line drawing is disturbed.
  • the position / orientation coordinate value of the work unit according to the captured image data in the work environment image changes discontinuously due to a communication failure between the remote control device 20 and the work machine 40. Therefore, it may deviate from the position / orientation coordinate value of the working unit predicted according to the operation mode of the remote operation mechanism 211.
  • a translucent marker image Img2 ( ⁇ 2) imitating the bucket 445 is superimposed on the work environment image Img ( ⁇ 2) at a position deviated from the image area representing the bucket 445 and at a position that is expected to exist originally. Is output to the image output device 221 (see FIG. 9).
  • the work mechanism in which the remote control element 240 is detected through the state sensor 414 mounted on the work machine 40, transmitted from the actual wireless communication device 422, and received by the remote wireless communication device 222.
  • the second output control element 242 recognizes the operation mode of the remote control element 240, and the second output control element 242 is based on the deviation between the operation mode of the remote control mechanism 211 at the first time point recognized by the remote control element 240 and the operation mode of the work mechanism.
  • the space occupancy mode of the working unit (bucket 445) in the above may be predicted.
  • FIG. 6 conceptually shows how the coordinate values of the position and orientation of the work unit (bucket 445) are changed in the coordinate system of the work environment image Img1 output by the image output device 221 as in FIG. There is.
  • the broken line in FIG. 6 represents the change mode of the coordinate value of the position and orientation of the working unit, which is determined according to the received captured image data (see FIG. 4 / C20).
  • the remote control mechanism 211 (for example, the turning lever) is operated, and a response delay may occur before the working mechanism (for example, the turning mechanism 43) operates in response to the operation.
  • the coordinate values of the position and orientation of the working unit predicted according to the operation mode of the remote control mechanism 211 shown by the alternate long and short dash line in FIG. 6 are the operations shown by the alternate long and short dash line in FIG.
  • the change occurs before the coordinate values of the position and orientation of the working portion estimated according to the operation mode of the mechanism 40.
  • the change mode of the coordinate value of the position and orientation of the working unit determined according to the captured image data shown by the broken line in FIG. 6 is almost the same except for the period in which the coordinate value changes discontinuously.
  • the change mode of the coordinate value of the position and orientation of the working portion is predicted.
  • the second output control element 242 recognizes the stop of the first designated operation (for example, the turning operation through the turning lever) as the operation mode of the remote control mechanism 211 by the remote control element 240, at the same time as the stop occurs.
  • the output of the labeled image Img2 in the image output device 221 may be stopped after a certain period of time (for example, a response delay time).
  • the image output device 221 may output the labeled image Img2 in a timely manner. ..
  • the index image Img2 displaced according to the second designated operation is superimposed on the working environment image Img1 and output to the image output device 221 for a certain period of time after the second designated operation is started.
  • the second designated operation may be the same type of operation as the first designated operation, or may be a different type of operation.
  • the information required for the operator is to know whether or not the work machine 40 is reacting to the operation input of the remote control mechanism 211.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)

Abstract

実空間における作業部の位置に対する、画像における線画等の当該作業部の標識画像の位置の乖離の低減または解消を図りうる遠隔操作装置および遠隔操作システムを提供する。遠隔操作装置２０において標識画像Ｉｍｇ２が生成されたうえで、作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される。撮像画像データの伝送遅れにより、遠隔操作装置２０と作業機械４０との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構２１１の操作態様に応じて推定された作業部の位置姿勢座標値から乖離する場合がある。この場合、バケット４４５を表わす画像領域からずれた位置に、本来的に存在すると推定される位置に当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ２）が作業環境画像Ｉｍｇ（τ２）に重畳されて画像出力装置２２１に出力される。

Description

遠隔操作装置および遠隔操作システム
　本発明は、作業機械を遠隔操作するための装置に関する。
　作業部を備えた作業機械を操作席に設けたコントローラにより無線で遠隔操作する遠隔操作システムにおいて、モニタの表示に画像遅れが生じたことによる作業効率の低下を回避するための技術が提案されている（例えば、特許文献１参照）。具体的には、作業機械に設けられたカメラの撮影映像の作業部に対応した位置に当該作業部の線画が作成され、当該線画が無線で伝送されてカメラの撮影映像に重ねられてモニタに表示される。このため、伝送によるタイムラグが小さい線画が用いられて、実際の位置に近い位置に作業部が表示される。これにより、操作者は、モニタの表示に画像遅れが生じても、モニタに表示された線画に基づいてモニタの画像遅れを補完しながら作業部の操作を行うことができる。
特許第５９１９０２２号公報
　しかし、線画を作成するための手段が作業機械に搭載されているため、線画の伝送に障害が生じた場合、カメラの撮影映像に重ねられる線画が一時的に消失し、あるいは、作業部の実際の位置に対する線画の位置の乖離が大きくなる可能性がある。
　そこで、本発明は、実空間における作業部の位置に対する、画像における線画等の当該作業部の標識画像の位置の乖離の低減または解消を図りうる遠隔操作装置および遠隔操作システムを提供することを目的とする。
　本発明の遠隔操作装置は、
　作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
　前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
　遠隔画像出力装置と、
　遠隔操作機構と、
　オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
　前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第１出力制御要素と、
　前記遠隔制御要素により認識された第１時点における前記遠隔操作機構の操作態様に基づいて当該第１時点よりも後の第２時点における前記作業部の空間占有態様を推定し、当該推定された前記第２時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第１時点から前記第２時点までの期間に含まれる第３時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第２出力制御要素と、を備えている。
　本発明の遠隔操作システムは、本発明の遠隔操作装置と、前記作業機械と、により構成されている。
本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作システムの機能に関する説明図。 作業部の位置姿勢の推定方法の第１実施例に関する説明図。 作業部の位置姿勢の推定方法の第２実施例に関する説明図。 作業環境画像に関する説明図。 標識画像の第１出力形態に関する説明図。 標識画像の第２出力形態に関する説明図。
　（遠隔操作システムの構成）
　図１に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置２０と、遠隔操作装置２０による遠隔操作対象である作業機械４０と、により構成されている。遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作装置２０および作業機械４０の相互通信にサーバ１０が介在していてもよく、当該サーバ１０が遠隔操作システムの一部を構成していてもよい。
　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、遠隔制御装置２４と、を備えている。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。遠隔制御装置２４は、遠隔制御要素２４０と、第１出力制御要素２４１と、第２出力制御要素２４２と、を備えている。各要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　遠隔制御要素２４０は、オペレータによる遠隔操作機構２１１の操作態様を認識し、当該操作態様に応じた指令信号を遠隔無線通信機器２２２に実機無線通信機器４２２に対して送信させる。第１出力制御要素２４１は、作業機械４０に搭載されている実機撮像装置４１２を通じて取得され、実機無線通信機器４２２から送信され、遠隔無線通信機器２２２により受信された作業アタッチメント４４（＝作業機構）のバケット４４５（＝作業部）を含む作業環境画像Ｉｍｇ１を画像出力装置２２１に出力させる。第２出力制御要素２４２は、遠隔制御要素２４０により認識された第１時点ｔ＝ｔ１における遠隔操作機構２１１の操作態様に基づいて第１時点よりも後の第２時点ｔ＝ｔ２におけるバケット４４５の空間占有態様を推定する。第２出力制御要素２４２は、バケット４４５の推定空間占有態様を作業部（バケット４４５）の視認性を損なわずに表わす標識画像Ｉｍｇ２（ｔ２）を、第３時点ｔ＝ｔ３において作業環境画像Ｉｍｇ１（ｔ３）に重畳して画像出力装置２２１に出力させる。
　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。遠隔操作機構２１１は、作業機械４０に搭載されている実機操作機構４１１と同様の構成であるが、操作指令が入力されるタッチパネル方式またはボタン方式の操作機構など、実機操作機構４１１とは異なる構成の操作機構であってもよい。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータが着座できる任意の形態でもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作業アタッチメント４４と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。旋回機構４３は作業機構の１つに該当する。上部旋回体４２の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４が設けられている。
　実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、状態センサ群４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。なお、実機操作レバーが動かされるのではなく、油圧回路を構成するバルブの開度等が制御されることにより、作業機械４０の動作態様が制御されてもよい。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作業アタッチメント４４の少なくとも一部を含む環境を撮像する。状態センサ群４１４は、下部走行体４１に対する上部旋回体４２の相対姿勢角度、上部旋回体４２に対するブーム４４１の相対姿勢角度、ブーム４４１に対するアーム４４３の相対姿勢角度、および、アーム４４３に対するバケット４４５の相対姿勢角度など、作業機構の動作態様または動作状態を表わす信号を出力する各種センサにより構成されている。
　実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。
　作業機構の１つとしての作業アタッチメント４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されている作業部としてのバケット４４５と、を備えている。作業アタッチメント４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　（機能）
　前記構成の遠隔操作システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「指定操作」は、例えば、遠隔入力インターフェース２１０を構成するタッチパネルにおけるタップ、スワイプ、フリックまたはピンチアウト／インなどのタッチ操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、第１出力制御要素２４１により、遠隔無線通信機器２２２を通じて作業環境画像要求が送信される（図４／ＳＴＥＰ２０２）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。
　作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０４）。撮像画像は、作業現場または作業機械４０の外部に設置されている撮像装置を通じて取得されてもよい。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて撮像画像データが受信された場合（図４／Ｃ２０）、当該撮像画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。作業環境画像は、撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な作業環境画像である。これにより、例えば図７に示されているように、作業機構としての作業アタッチメント４４の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる作業環境画像Ｉｍｇ１が画像出力装置２２１に時系列的に表示される。
　遠隔操作装置２０において、遠隔制御要素２４０により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令信号が遠隔操作サーバ１０に対して送信される（図４／ＳＴＥＰ２０８）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　遠隔操作装置２０において、遠隔制御要素２４０により認識された第１時点における遠隔操作機構２１１の操作態様に基づき、第２出力制御要素２４２により、作業アタッチメント４４の作業部（バケット４４５）の第１時点ｔ＝ｔ１またはこれよりも後の第２時点ｔ＝ｔ２における空間占有態様が推定（または予測）され、作業部の空間占有態様を表わす標識画像Ｉｍｇ２が生成される（図４／ＳＴＥＰ２１０）。具体的には、操作機構２１１を構成する操作レバーの位置または傾斜角度に基づき、下部走行体４１に対する上部旋回体４２の相対姿勢角度、上部旋回体４２に対するブーム４４１の相対姿勢角度、ブーム４４１に対するアーム４４３の相対姿勢角度、および、アーム４４３に対するバケット４４５の相対姿勢角度のそれぞれが実機動作態様として推定され、当該推定結果に基づいてバケット４４５（作業部）の実機座標系（作業機械４０に対して位置および姿勢が固定されている座標系）における空間占有態様が推定される。そして、実機座標系における実機撮像装置４１２の位置および姿勢に応じた座標変換行列（回転行列または回転行列および並進行列の組み合わせ）にしたがって、実機座標系における作業部の空間占有態様を表わす座標値が、作業環境画像座標系における作業部の推定空間占有態様またはバケット４４５が存在する画像領域の推定延在態様を表わす座標値に座標変換される。
　バケット４４５に加えてまたは代えて、アーム４４３およびブーム４４１のうち少なくとも一方などの空間占有態様が作業部の空間占有態様として認識されてもよい。
　第２時点ｔ＝ｔ２における作業部の空間占有態様の推定に際して、第１通信遅れ時間ＴＴＤ１、第１応答遅れ時間ＴＲＤ１、第２通信遅れ時間ＴＴＤ２および第２応答遅れ時間ＴＲＤ２のうち一部または全部が勘案される。「第１通信遅れ時間ＴＴＤ１」は、遠隔操作機構２１１の操作態様に応じた指令信号が、遠隔無線通信機器２２２から送信されてから実機無線通信機器４２２により受信されるまでの通信遅れ時間である。「第１応答遅れ時間ＴＲＤ１」は、実機無線通信機器４２２により指令信号が受信されてから、当該指令信号に応じて実機制御装置４００により作業機械４０の動作が制御される（指令信号が作業機械４０の動作に反映される）までの応答遅れ時間である。「第２通信遅れ時間ＴＴＤ２」は、撮像画像データ（環境画像データ）が、実機無線通信機器４２２から送信されてから、遠隔無線通信機器２２２により受信されるまでの通信遅れ時間である。「第２応答遅れ時間ＴＲＤ２」は、遠隔無線通信機器２２２により環境画像データが受信されてから、当該環境画像データに応じて画像出力装置２２１に環境画像が出力されるまでの応答遅れ時間である。
　オペレータが遠隔操作機構２１１を操作している状況で、ある時点ｔ＝ｔにおいて画像出力装置２２１に映し出されている作業部の位置姿勢は、第２遅れ時間（第２通信遅れ時間ＴＴＤ２および第２応答遅れ時間ＴＲＤ２の合計時間）だけ前の時点ｔ＝ｔ－（ＴＴＤ２＋ＴＲＤ２）における作業部の実空間位置姿勢を表わしている。当該前の時点ｔ＝ｔ－（ＴＴＤ２＋ＴＲＤ２）における作業部の実空間位置姿勢は、第１遅れ時間（第１通信遅れ時間ＴＴＤ１および第１応答遅れ時間ＴＲＤ１の合計時間）だけさらに前の時点ｔ＝ｔ－（ＴＴＤ２＋ＴＲＤ２）－（ＴＴＤ１＋ＴＲＤ１）における遠隔操作機構２１１の操作態様に対応している。このため、第１時点ｔ＝ｔ１における遠隔操作機構２１１の操作態様に基づき、当該第１時点よりもＴＴＤ１＋ＴＲＤ１＋ＴＴＤ２＋ＴＲＤ２だけ後の時点である第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測される。
　ただし、遅れ時間が無視できるほどに小さい場合、当該遅れ時間は勘案されずに第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測されてもよい。例えば、通信速度のさらなる高速化によって第１通信遅れ時間ＴＴＤ１および第２通信遅れ時間ＴＴＤ２が無視できるほどに小さい場合、第１時点ｔ＝ｔ１よりもＴＲＤ１またはＴＲＤ１＋ＴＲＤ２だけ後の時点である第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測されてもよい。また、第１応答遅れ時間ＴＲＤ１および第２応答遅れ時間ＴＲＤ２が無視できるほどに小さい場合、第１時点ｔ＝ｔ１と同一またはこれよりも後のほぼ同一の時点である第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測されてもよい。
　標識画像Ｉｍｇ２は、例えば半透明の画像である。作業環境画像Ｉｍｇ１（ｔ）においてエッジ点群が検出され、エッジ点群により囲まれる画像領域の形状パターンマッチングによって、作業部（バケット４４５）に相当する画像領域が認識され、当該画像領域にサイズおよび形状が合わせられて標識画像Ｉｍｇ２が生成される。標識画像Ｉｍｇ２は、半透明の画像のほか、当該画像領域の輪郭を表わす線画または当該画像領域の輪郭線上の一点を先端とする矢印状の画像など、作業環境画像Ｉｍｇ１におけるバケット４４５の視認性を損なうことなく、当該バケット４４５の空間占有態様または位置姿勢を表わすさまざまな形状、サイズおよび色彩の組み合わせを有する画像であってもよい。
　そして、第２出力制御要素２４２により、第２時点ｔ＝ｔ２における標識画像Ｉｍｇ２が、第３時点ｔ＝ｔ３において作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。
　第３時点ｔ＝ｔ３は、第２時点ｔ＝ｔ２と同一の時点であってもよい。第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１および第２時点ｔ＝ｔ２の中間時点ｔ＝ｔ１＋（１－α）ｔ２（０＜α＜１）であってもよい。第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１よりも第１通信遅れ時間ＴＴＤ１、第１応答遅れ時間ＴＲＤ１、第２通信遅れ時間ＴＴＤ２および第２応答遅れ時間ＴＲＤ２のうち一部の合計時間だけ後の時点であってもよい。例えば、第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１よりも、第１通信遅れ時間ＴＴＤ１および第１応答遅れ時間ＴＲＤ１の重み付き和β１・ＴＴＤ１＋β２・ＴＲＤ１（０≦β１≦１、０≦β２≦１。ただし、β１＝β２＝０である場合は除く。）だけ後の時点ｔ＝ｔ１＋β１・ＴＴＤ１＋β２・ＴＲＤ１であってもよい。β１＝０、β２＝１である場合、第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１よりも第１応答遅れ時間ＴＲＤ１だけ後の時点ｔ＝ｔ１＋ＴＲＤ１である。
　図５には、画像出力装置２２１により出力される作業環境画像Ｉｍｇ１の座標系における、作業部（バケット４４５）の位置姿勢（位置および姿勢のうち一方または両方）の座標値の変化態様が概念的に示されている。図５における破線は、受信された撮像画像データ（図４／Ｃ２０参照）に応じて定まる作業部の位置姿勢の座標値の変化態様を表わしている。図５における実線は、遠隔操作機構２１１の操作態様に応じて予測される作業部の位置姿勢の座標値の変化態様を表わしている。
　ここでは、時点ｔ＝ｔ０において遠隔操作機構２１１の操作が開始され、時点ｔ＝ｔｎにおいて遠隔操作機構２１１の操作が停止されるまでの期間について考察される。作業環境画像系（ｕ，ｖ）における作業部の位置は２次元ベクトルにより表わされ、作業部の姿勢は後端部（アーム４４３への取り付け箇所）から先端部に向かう２次元ベクトルにより表わされる。
　図５に実線で示されているように、任意の第２時点における作業部の位置姿勢座標値が、当該第２時点よりも前の第１時点における遠隔操作機構２１１の操作態様に応じて実線で示されているように予測されている。
　図５に破線で示されているように、期間ｔ＝ｔ１１～ｔ１２および期間ｔ＝ｔ２１～ｔ２２以外の期間においては、撮像画像データに応じて定まる作業部の位置姿勢座標値と、遠隔操作機構２１１の操作態様に応じて予測された作業部の位置姿勢座標値と、がほぼ一致している。この場合、例えば、図８に示されているように、バケット４４５を表わす画像領域にほぼ重なるように、当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ１）が作業環境画像Ｉｍｇ（τ１）に重畳されて画像出力装置２２１に出力される。
　その一方、期間ｔ＝ｔ１１～ｔ１２および期間ｔ＝ｔ２１～ｔ２２のそれぞれの前後において、遠隔操作装置２０と作業機械４０との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構２１１の操作態様に応じて予測された作業部の位置姿勢座標値から乖離している。この場合、例えば、図９に示されているように、バケット４４５を表わす画像領域からずれているものの、本来的に存在すると予測される位置に、当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ２）が作業環境画像Ｉｍｇ（τ２）に重畳されて画像出力装置２２１に出力される。期間ｔ＝ｔ１１～ｔ１２および期間ｔ＝ｔ２１～ｔ２２のそれぞれの初期において、第１時点が当該期間から外れているが、その後、第１時点が当該期間に含まれるように第１時点および第２時点の時間間隔が設定されてもよい。
　（効果）
　当該構成の遠隔操作システムによれば、遠隔操作装置２０において標識画像Ｉｍｇ２が生成されたうえで、作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される（図４／ＳＴＥＰ２１０→ＳＴＥＰ２１２、図８および図９参照）。このため、線画等の標識画像Ｉｍｇ２の伝送に障害が生じる場合がない。
　撮像画像データの伝送遅れにより、遠隔操作装置２０と作業機械４０との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構２１１の操作態様に応じて予測された作業部の位置姿勢座標値から乖離する場合がある。この場合、バケット４４５を表わす画像領域からずれた位置に、本来的に存在すると予測される位置に当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ２）が作業環境画像Ｉｍｇ（τ２）に重畳されて画像出力装置２２１に出力される（図９参照）。
　よって、実空間におけるバケット４４５（作業部）の位置に対する、作業環境画像Ｉｍｇ１における当該バケット４４５の標識画像Ｉｍｇ２の位置の乖離の低減または解消が図られる。
　（本発明の他の実施形態）
　遠隔制御要素２４０が、作業機械４０に搭載されている状態センサ４１４を通じて検知され、実機無線通信機器４２２から送信され、遠隔無線通信機器２２２により受信された作業機構（旋回機構４３および作業アタッチメント４４）の動作態様を認識し、第２出力制御要素２４２が、遠隔制御要素２４０により認識された第１時点における遠隔操作機構２１１の操作態様と、作業機構の動作態様との偏差に基づいて第２時点における作業部（バケット４４５）の空間占有態様を予測してもよい。
　図６には、図５と同様に、画像出力装置２２１により出力される作業環境画像Ｉｍｇ１の座標系における、作業部（バケット４４５）の位置姿勢の座標値の変化態様が概念的に示されている。図６における破線は、受信された撮像画像データ（図４／Ｃ２０参照）に応じて定まる作業部の位置姿勢の座標値の変化態様を表わしている。
　遠隔操作機構２１１（例えば旋回用レバー）が操作され、当該操作に応じて作業機構（例えば旋回機構４３）が動作するまでに応答遅れが生じる場合がある。この場合、例えば、図６に一点鎖線で示されている遠隔操作機構２１１の操作態様に応じて予測される作業部の位置姿勢の座標値が、図６に二点鎖線で示されている作業機構４０の動作態様に応じて推定される作業部の位置姿勢の座標値よりも先に変化が生じる。
　そこで、例えば、この応答遅れ（遠隔操作機構２１１の操作態様および作業機構４０の動作態様の偏差）に応じて、第１時点ｔ＝ｔ１と第２時点ｔ＝ｔ２との時間間隔Δｔ＝ｔ２－ｔ１が設定される。これにより、図６において破線で示されている撮像画像データに応じて定まる作業部の位置姿勢の座標値の変化態様に対して、座標値が不連続に変化する期間を除いて、ほぼ一致している図６に実線で示されているような作業部の位置姿勢の座標値の変化態様が予測される。よって、当該応答遅れによる影響を低減して、実空間におけるバケット４４５（作業部）の位置に対する、作業環境画像Ｉｍｇ１における当該バケット４４５の標識画像Ｉｍｇ２の位置の乖離のさらなる低減または解消が図られる。
　第２出力制御要素２４２が、遠隔制御要素２４０により遠隔操作機構２１１の操作態様として第１指定操作（例えば旋回用レバーを通じた旋回操作）の停止が認識された場合、停止があったのと同時にまたは一定時間（例えば応答遅れ時間）後に画像出力装置２２１における標識画像Ｉｍｇ２の出力を停止してもよい。これにより、第１指定操作が停止されたにもかかわらず、当該第１指定操作に応じて変位する指標画像Ｉｍｇ２の残存によって画像出力装置２２１に出力されている作業環境画像Ｉｍｇ１における作業部の視認性の低下が回避される。
　第２出力制御要素２４２が、遠隔制御要素２４０により遠隔操作機構２１１の操作態様として第２指定操作の開始が認識された場合、画像出力装置２２１に標識画像Ｉｍｇ２を時限的に出力させてもよい。これにより、第２指定操作が開始されてから一定期間にわたり、当該第２指定操作に応じて変位する指標画像Ｉｍｇ２が作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される。第２指定操作は、第１指定操作と同じ種類の操作であってもよく、異なる種類の操作であってもよい。オペレータにとって必要な情報は遠隔操作機構２１１の操作入力に対して作業機械４０が反応しているかどうかがわかることである。そのため、操作開始から一定期間だけ標識画像Ｉｍｇ２が画像出力装置２２１に出力されることにより、当該一定期間の周期である第２時点ｔ＝ｔ２よりも前の第１時点ｔ＝ｔ１以降において、バケット４４５の空間占有態様の予測演算負荷を省略しながらオペレータによる遠隔操作効率の向上を図ることができる。
１０‥遠隔操作サーバ、２０‥遠隔操作装置、２４‥遠隔制御装置、４０‥作業機械、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥遠隔無線通信機器、２４０・遠隔制御要素、２４１‥第１出力制御要素、２４２‥第２出力制御要素、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４１４‥状態センサ群、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作業機構）、４４５‥バケット（作業部）、Ｉｍｇ１‥作業環境画像、Ｉｍｇ２‥標識画像。
 

Claims (10)

  1. 　作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
    　前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
    　遠隔画像出力装置と、
    　遠隔操作機構と、
    　オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
    　前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第１出力制御要素と、
    　前記遠隔制御要素により認識された第１時点における前記遠隔操作機構の操作態様に基づいて当該第１時点よりも後の第２時点における前記作業部の空間占有態様を推定し、当該推定された前記第２時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第１時点から前記第２時点までの期間に含まれる第３時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第２出力制御要素と、を備えている
    ことを特徴とする遠隔操作装置。
  2. 　請求項１記載の遠隔操作装置において、
    　前記第２出力制御要素が、前記第１時点と前記第２時点との中間時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
    ことを特徴とする遠隔操作装置。
  3. 　請求項２記載の遠隔操作装置において、
    　前記第２出力制御要素が、
    　前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第１通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第１応答遅れ時間のうち少なくとも一方である第１遅れ時間と、
    　前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第２通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第２応答遅れ時間のうち少なくとも一方である第２遅れ時間と、
    の合計である合計遅れ時間だけ前記第１時点よりも後の時点を前記第２時点として前記作業部の空間占有態様を推定し、
    　前記第１時点よりも前記第１遅れ時間だけ後の時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
    ことを特徴とする遠隔操作装置。
  4. 　請求項３記載の遠隔操作装置において、
    　前記第２出力制御要素が、前記第１遅れ時間としての前記第１応答遅れ時間だけ前記第１時点よりも後の時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
    ことを特徴とする遠隔操作装置。
  5. 　請求項１記載の遠隔操作装置において、
    　前記第２出力制御要素が、前記第２時点と同一の時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
    ことを特徴とする遠隔操作装置。
  6. 　請求項５記載の遠隔操作装置において、
    　前記第２出力制御要素が、
    　前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第１通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第１応答遅れ時間のうち少なくとも一方である第１遅れ時間と、
    　前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第２通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第２応答遅れ時間のうち少なくとも一方である第２遅れ時間と、
    の合計である合計遅れ時間だけ前記第１時点よりも後の時点を前記第２時点として前記作業部の空間占有態様を推定する
    ことを特徴とする遠隔操作装置。
  7. 　請求項１～６のうちいずれか１項に記載の遠隔操作装置において、
    　前記遠隔制御要素が、前記作業機械に搭載されている状態センサを通じて検知され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の動作態様を認識し、
    　前記第２出力制御要素が、前記遠隔制御要素により認識された前記第１時点における前記遠隔操作機構の操作態様と前記作業機構の動作態様との偏差に基づいて前記第２時点における前記作業部の空間占有態様を推定することを特徴とする遠隔操作装置。
  8. 　請求項１～７のうちいずれか１項に記載の遠隔操作装置において、
    　前記第２出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第１指定操作の停止が認識された場合、前記遠隔画像出力装置における前記標識画像の出力を停止することを特徴とする遠隔操作装置。
  9. 　請求項１～８のうちいずれか１項に記載の遠隔操作装置において、
    　前記第２出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第２指定操作の開始が認識された場合、前記遠隔画像出力装置に前記標識画像を時限的に出力させることを特徴とする遠隔操作装置。
  10. 　請求項１～９のうちいずれか１項に記載の遠隔操作装置と、前記作業機械と、により構成されていることを特徴とする遠隔操作システム。
PCT/JP2020/044543 2019-12-19 2020-11-30 遠隔操作装置および遠隔操作システム WO2021124858A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080084213.0A CN114787453B (zh) 2019-12-19 2020-11-30 远程操作装置及远程操作***
US17/782,756 US20230003002A1 (en) 2019-12-19 2020-11-30 Remote operation device and remote operation system
EP20901434.9A EP4053346A4 (en) 2019-12-19 2020-11-30 REMOTE CONTROL DEVICE AND REMOTE CONTROL SYSTEM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-229564 2019-12-19
JP2019229564 2019-12-19
JP2020-142502 2020-08-26
JP2020142502A JP7376440B2 (ja) 2019-12-19 2020-08-26 遠隔操作装置および遠隔操作システム

Publications (1)

Publication Number Publication Date
WO2021124858A1 true WO2021124858A1 (ja) 2021-06-24

Family

ID=76478672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044543 WO2021124858A1 (ja) 2019-12-19 2020-11-30 遠隔操作装置および遠隔操作システム

Country Status (4)

Country Link
US (1) US20230003002A1 (ja)
EP (1) EP4053346A4 (ja)
CN (1) CN114787453B (ja)
WO (1) WO2021124858A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5919022B2 (ja) 1978-06-06 1984-05-02 クルツジヤパン株式会社 立体装飾用金属熱転写材
US20100249957A1 (en) * 2009-03-31 2010-09-30 Caterpillar Inc. System and method for controlling machines remotely
JP2013168778A (ja) * 2012-02-15 2013-08-29 Fujita Corp 遠隔操作システム
JP2017022433A (ja) * 2015-07-07 2017-01-26 日立建機株式会社 遠隔操縦システム
JP2019068254A (ja) * 2017-09-29 2019-04-25 株式会社小松製作所 表示制御装置および表示制御方法
JP2019190163A (ja) * 2018-04-26 2019-10-31 コベルコ建機株式会社 旋回式作業機械の旋回制御装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010248703A (ja) * 2009-04-10 2010-11-04 Ntt Docomo Inc 制御システム、制御方法、操作制御装置及び作業装置
KR20130052822A (ko) * 2011-11-14 2013-05-23 전자부품연구원 중장비 원격 제어 시스템 및 제어 방법
JP6134301B2 (ja) * 2014-09-29 2017-05-24 日立建機株式会社 建設機械の遠隔操縦用映像伝送システム
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP6572156B2 (ja) * 2016-03-02 2019-09-04 株式会社神戸製鋼所 建設機械の干渉防止装置
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置
JP7063036B2 (ja) * 2018-03-23 2022-05-09 コベルコ建機株式会社 建設機械
JP7087545B2 (ja) * 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械
JP6947101B2 (ja) * 2018-03-28 2021-10-13 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP7060093B2 (ja) * 2018-05-22 2022-04-26 日本電気株式会社 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム
JP7099358B2 (ja) * 2019-02-20 2022-07-12 コベルコ建機株式会社 作業機械用表示システム
JP7310595B2 (ja) * 2019-12-24 2023-07-19 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JP7452038B2 (ja) * 2020-01-30 2024-03-19 コベルコ建機株式会社 作業支援システム
JP7472578B2 (ja) * 2020-03-23 2024-04-23 コベルコ建機株式会社 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7367606B2 (ja) * 2020-05-14 2023-10-24 コベルコ建機株式会社 遠隔操作支援装置および遠隔操作支援方法
JP7441733B2 (ja) * 2020-06-04 2024-03-01 コベルコ建機株式会社 実機状態監視システムおよび実機状態監視方法
JP7452473B2 (ja) * 2021-03-08 2024-03-19 コベルコ建機株式会社 容器計測システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5919022B2 (ja) 1978-06-06 1984-05-02 クルツジヤパン株式会社 立体装飾用金属熱転写材
US20100249957A1 (en) * 2009-03-31 2010-09-30 Caterpillar Inc. System and method for controlling machines remotely
JP2013168778A (ja) * 2012-02-15 2013-08-29 Fujita Corp 遠隔操作システム
JP2017022433A (ja) * 2015-07-07 2017-01-26 日立建機株式会社 遠隔操縦システム
JP2019068254A (ja) * 2017-09-29 2019-04-25 株式会社小松製作所 表示制御装置および表示制御方法
JP2019190163A (ja) * 2018-04-26 2019-10-31 コベルコ建機株式会社 旋回式作業機械の旋回制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4053346A4

Also Published As

Publication number Publication date
CN114787453A (zh) 2022-07-22
EP4053346A1 (en) 2022-09-07
CN114787453B (zh) 2023-07-25
EP4053346A4 (en) 2023-01-11
US20230003002A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
EP3754120B1 (en) Remote control system and main control device
WO2021192491A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2021099017A (ja) 遠隔操作装置および遠隔操作システム
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US11993922B2 (en) Remote operation system
WO2020194882A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
EP4130400A1 (en) Remote operation assistance device and remote operation assistance method
JP7099358B2 (ja) 作業機械用表示システム
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
WO2021131228A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021124858A1 (ja) 遠隔操作装置および遠隔操作システム
US11939744B2 (en) Display system, remote operation system, and display method
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
EP4063571A2 (en) Image capturing function control system and image capturing function control method
US20240141616A1 (en) Remote operation assistance server and remote operation asistance system
JP2023032997A (ja) 遠隔操作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20901434

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020901434

Country of ref document: EP

Effective date: 20220602

NENP Non-entry into the national phase

Ref country code: DE