WO2021124858A1 - 遠隔操作装置および遠隔操作システム - Google Patents
遠隔操作装置および遠隔操作システム Download PDFInfo
- Publication number
- WO2021124858A1 WO2021124858A1 PCT/JP2020/044543 JP2020044543W WO2021124858A1 WO 2021124858 A1 WO2021124858 A1 WO 2021124858A1 JP 2020044543 W JP2020044543 W JP 2020044543W WO 2021124858 A1 WO2021124858 A1 WO 2021124858A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- remote control
- remote
- image
- time point
- wireless communication
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
Definitions
- the present invention relates to a device for remotely controlling a work machine.
- an object of the present invention is to provide a remote control device and a remote control system capable of reducing or eliminating the deviation of the position of the marker image of the work part such as a line drawing in the image with respect to the position of the work part in the real space. And.
- the remote control device of the present invention A remote control device for remotely controlling a work machine having a work mechanism.
- a remote wireless communication device having a communication function with an actual wireless communication device mounted on the work machine, and Remote image output device and Remote control mechanism and A remote control element that recognizes the operation mode of the remote control mechanism by the operator and causes the remote radio communication device to transmit a command signal corresponding to the operation mode to the actual wireless communication device.
- a work environment image including a working unit of the work mechanism acquired through an imaging device mounted on the work machine, transmitted from the actual wireless communication device, and received by the remote wireless communication device is transmitted to the remote image output device.
- the first output control element to be output and Based on the operation mode of the remote control mechanism at the first time point recognized by the remote control element, the space occupancy mode of the working unit at the second time point after the first time point is estimated, and the estimated space occupancy mode is estimated.
- a marker image showing the space occupancy mode of the working unit at the second time point without impairing the visibility of the working part is displayed at the third time point included in the period from the first time point to the second time point.
- a second output control element which is superimposed on the image and is output to the remote image output device, is provided.
- the remote control system of the present invention is composed of the remote control device of the present invention and the work machine.
- Explanatory drawing about the structure of the remote control system as one Embodiment of this invention.
- Explanatory drawing about the structure of the remote control device Explanatory drawing about the structure of the work machine.
- Explanatory drawing about the function of a remote control system The explanatory view about the 1st Example of the method of estimating the position and posture of a working part.
- Explanatory drawing about work environment image Explanatory drawing about the 1st output form of a sign image.
- Explanatory drawing about the 2nd output form of a sign image Explanatory drawing about the 2nd output form of a sign image.
- the remote control system as an embodiment of the present invention shown in FIG. 1 is composed of a remote control device 20 and a work machine 40 which is a remote control target by the remote control device 20.
- the remote control device 20 and the work machine 40 are configured to be capable of network communication with each other.
- the server 10 may intervene in the mutual communication between the remote control device 20 and the work machine 40, and the server 10 may form a part of the remote control system.
- the remote control device 20 includes a remote input interface 210, a remote output interface 220, and a remote control device 24.
- the remote input interface 210 includes a remote control mechanism 211.
- the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
- the remote control device 24 includes a remote control element 240, a first output control element 241 and a second output control element 242.
- Each element is composed of an arithmetic processing unit (single-core processor or multi-core processor or the processor core that composes it), reads necessary data and software from a storage device such as memory, and follows the software for the data. Execute arithmetic processing.
- the remote control element 240 recognizes the operation mode of the remote control mechanism 211 by the operator, and causes the remote radio communication device 222 to transmit a command signal corresponding to the operation mode to the actual wireless communication device 422.
- the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
- Each operating device has an operating lever that receives a rotation operation.
- the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 41 of the work machine 40.
- the traveling lever may also serve as a traveling pedal.
- a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
- the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 43 of the work machine 40.
- the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
- the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
- the operating lever (bucket lever) of the bucket operating device is operated to move the bucket cylinder 446 of the work machine 40.
- the remote control mechanism 211 has the same configuration as the actual machine operation mechanism 411 mounted on the work machine 40, but has a different configuration from the actual machine operation mechanism 411, such as a touch panel type or button type operation mechanism for inputting operation commands. It may be the operation mechanism of.
- Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
- the seat St is in the form of a high back chair with armrests, but may be in any form that can be seated by a remote operator, such as a low back chair without headrests or a chair without backrests. ..
- a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
- One operating lever may also serve as a plurality of operating levers.
- the right operating lever 2111 provided in front of the right frame of the seat St shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
- the left side operating lever 2112 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
- the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
- the image output device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left diagonally forward image output device 2211 arranged diagonally forward to the right, forward, and diagonally forward left of the seat St. It is composed of an oblique forward image output device 2213.
- the image output devices 2211 to 2213 may further include a speaker (audio output device).
- the work machine 40 includes an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, and a work attachment 44.
- the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
- the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 3, the work machine 40 is rotatably mounted on the crawler type lower traveling body 41 and the lower traveling body 41 via the turning mechanism 43.
- the upper swivel body 42 is provided.
- the swivel mechanism 43 corresponds to one of the working mechanisms.
- a cab (driver's cab) 424 is provided on the front left side of the upper swing body 42.
- a work attachment 44 is provided at the front center portion of the upper swing body 220.
- the actual machine input interface 410 includes an actual machine operation mechanism 411, an actual machine image pickup device 412, and a state sensor group 414.
- the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
- the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
- the operation mode of the work machine 40 may be controlled by controlling the opening degree and the like of the valves constituting the hydraulic circuit instead of moving the actual machine operation lever.
- the actual image pickup device 412 is installed inside the cab 424, for example, and images an environment including at least a part of the work attachment 44 through the front window of the cab 424.
- the state sensor group 414 includes the relative posture angle of the upper swing body 42 with respect to the lower traveling body 41, the relative posture angle of the boom 441 with respect to the upper swing body 42, the relative posture angle of the arm 443 with respect to the boom 441, and the bucket 445 with respect to the arm 443. It is composed of various sensors that output signals indicating the operating mode or operating state of the working mechanism, such as the relative posture angle.
- the actual device output interface 420 includes an actual device wireless communication device 422.
- the work attachment 44 as one of the work mechanisms is attached to the boom 441 rotatably attached to the upper swing body 42, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It includes a bucket 445 as a work unit that is rotatably connected.
- the work attachment 44 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
- the boom cylinder 442 is interposed between the boom 441 and the upper swing body 42 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
- the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
- the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
- the operator determines whether or not there is a designated operation through the remote input interface 210 (FIG. 4 / STEP200).
- the “designated operation” is, for example, a touch operation such as tapping, swiping, flicking, or pinching out / in on the touch panel constituting the remote input interface 210. If the determination result is negative (FIG. 4 / STEP200 ... NO), a series of processes is completed. On the other hand, if the determination result is affirmative (FIG. 4 / STEP200 ... YES), the first output control element 241 transmits a work environment image request through the remote wireless communication device 222 (FIG. 4 / STEP202).
- the working environment image request includes at least one of the identifier of the remote control device 20 and the identifier of the operator.
- the actual machine control device 400 acquires the captured image through the actual machine image pickup device 412 (FIG. 4 / STEP402).
- the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 10 through the actual device wireless communication device 422 (FIG. 4 / STEP404).
- the captured image may be acquired through an imaging device installed at the work site or outside the work machine 40.
- the remote control device 20 When the remote control device 20 receives the captured image data through the remote wireless communication device 222 (FIG. 4 / C20), the work environment image corresponding to the captured image data is output to the image output device 221 (FIG. 4 / C20).
- the working environment image is a simulated working environment image generated based on all or a part of the captured image itself or based on the captured image.
- the work environment image Img1 in which the boom 441, the arm 443, and the bucket 445, which are a part of the work attachment 44 as a work mechanism, are reflected in the image output device 221 is displayed. Displayed in series.
- the remote control element 240 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP206), and the remote control command signal corresponding to the operation mode is remotely controlled through the remote wireless communication device 222. It is transmitted to the server 10 (Fig. 4 / STEP208).
- the operation of the work attachment 44 or the like is controlled (FIG. 4 / STEP406).
- the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
- the second output control element 242 causes the work unit (bucket 445) of the work attachment 44 to have the first time point.
- the relative posture angle of the upper swivel body 42 with respect to the lower traveling body 41 based on the position or inclination angle of the operating lever constituting the operating mechanism 211, the relative posture angle of the upper swivel body 42 with respect to the lower traveling body 41, the relative posture angle of the boom 441 with respect to the upper swivel body 42, and the boom 441.
- Each of the relative posture angle of the arm 443 and the relative posture angle of the bucket 445 with respect to the arm 443 is estimated as the actual machine operation mode, and based on the estimation result, the actual machine coordinate system of the bucket 445 (working unit) (relative to the working machine 40).
- the space occupancy mode in the coordinate system in which the position and orientation are fixed) is estimated.
- the coordinate values representing the space occupancy mode of the working unit in the actual machine coordinate system are set.
- the coordinate is converted into a coordinate value representing the estimated space occupancy mode of the working unit in the work environment image coordinate system or the estimated extension mode of the image area in which the bucket 445 exists.
- a space occupancy mode such as at least one of the arm 443 and the boom 441 may be recognized as the space occupancy mode of the working unit.
- the "first communication delay time TTD1" is the communication delay time from when the command signal corresponding to the operation mode of the remote control mechanism 211 is transmitted from the remote wireless communication device 222 to when it is received by the actual wireless communication device 422. .. In the "first response delay time TRD1", after the command signal is received by the actual wireless communication device 422, the operation of the work machine 40 is controlled by the actual machine control device 400 in response to the command signal (the command signal is the work machine).
- the “second communication delay time TTD2" is a communication delay time from when the captured image data (environmental image data) is transmitted from the actual wireless communication device 422 to when it is received by the remote wireless communication device 222.
- the “second response delay time TRD2” is the response delay time from the reception of the environmental image data by the remote wireless communication device 222 to the output of the environmental image to the image output device 221 according to the environmental image data. ..
- the space occupancy mode of the working part may be estimated or predicted.
- the labeled image Img2 is, for example, a translucent image.
- An edge point cloud is detected in the work environment image Img1 (t), and an image area corresponding to the working portion (bucket 445) is recognized by shape pattern matching of the image area surrounded by the edge point cloud, and the size and size of the image area are determined. The shapes are matched to generate the labeled image Img2.
- the labeled image Img2 provides visibility of the bucket 445 in the working environment image Img1, such as a line drawing showing the outline of the image area or an arrow-shaped image having a point on the outline of the image area as the tip.
- the image may have various shapes, sizes and color combinations representing the space occupancy mode or position orientation of the bucket 445 without loss.
- ⁇ 2 ⁇ 1.
- FIG. 5 in the coordinate system of the work environment image Img1 output by the image output device 221, the change mode of the coordinate value of the position / orientation (one or both of the position and the orientation) of the work unit (bucket 445) is conceptual. It is shown in.
- the broken line in FIG. 5 represents the change mode of the coordinate value of the position and orientation of the working unit, which is determined according to the received captured image data (see FIG. 4 / C20).
- the solid line in FIG. 5 represents the change mode of the coordinate value of the position and orientation of the working unit predicted according to the operation mode of the remote control mechanism 211.
- the position of the working part in the working environment image system (u, v) is represented by a two-dimensional vector, and the posture of the working part is represented by a two-dimensional vector from the rear end (attachment to the arm 443) to the tip. ..
- the position / posture coordinate value of the working unit at an arbitrary second time point is a solid line according to the operation mode of the remote control mechanism 211 at the first time point prior to the second time point. It is predicted as shown by.
- the position / orientation coordinate value of the working unit determined according to the captured image data and the remote control mechanism.
- the position and orientation coordinate values of the working unit predicted according to the operation mode of 211 are substantially the same.
- the translucent labeled image Img2 ( ⁇ 1) imitating the bucket 445 is the working environment image Img ( ⁇ 1) so as to substantially overlap the image area representing the bucket 445. Is superimposed on the image output device 221 and output to the image output device 221.
- the work corresponding to the captured image data in the work environment image is performed.
- the position / orientation coordinate value of the unit changes discontinuously, and deviates from the position / orientation coordinate value of the working unit predicted according to the operation mode of the remote control mechanism 211.
- a translucent labeled image Img2 imitating the bucket 445 is located at a position that is originally expected to exist, although it is deviated from the image region representing the bucket 445.
- the marker image Img2 is generated in the remote control device 20, and then superimposed on the work environment image Img1 and output to the image output device 221 (FIG. 4 / STEP210 ⁇ STEP212, FIG. 8 and FIG. 9). Therefore, there is no possibility that the transmission of the labeled image Img2 such as a line drawing is disturbed.
- the position / orientation coordinate value of the work unit according to the captured image data in the work environment image changes discontinuously due to a communication failure between the remote control device 20 and the work machine 40. Therefore, it may deviate from the position / orientation coordinate value of the working unit predicted according to the operation mode of the remote operation mechanism 211.
- a translucent marker image Img2 ( ⁇ 2) imitating the bucket 445 is superimposed on the work environment image Img ( ⁇ 2) at a position deviated from the image area representing the bucket 445 and at a position that is expected to exist originally. Is output to the image output device 221 (see FIG. 9).
- the work mechanism in which the remote control element 240 is detected through the state sensor 414 mounted on the work machine 40, transmitted from the actual wireless communication device 422, and received by the remote wireless communication device 222.
- the second output control element 242 recognizes the operation mode of the remote control element 240, and the second output control element 242 is based on the deviation between the operation mode of the remote control mechanism 211 at the first time point recognized by the remote control element 240 and the operation mode of the work mechanism.
- the space occupancy mode of the working unit (bucket 445) in the above may be predicted.
- FIG. 6 conceptually shows how the coordinate values of the position and orientation of the work unit (bucket 445) are changed in the coordinate system of the work environment image Img1 output by the image output device 221 as in FIG. There is.
- the broken line in FIG. 6 represents the change mode of the coordinate value of the position and orientation of the working unit, which is determined according to the received captured image data (see FIG. 4 / C20).
- the remote control mechanism 211 (for example, the turning lever) is operated, and a response delay may occur before the working mechanism (for example, the turning mechanism 43) operates in response to the operation.
- the coordinate values of the position and orientation of the working unit predicted according to the operation mode of the remote control mechanism 211 shown by the alternate long and short dash line in FIG. 6 are the operations shown by the alternate long and short dash line in FIG.
- the change occurs before the coordinate values of the position and orientation of the working portion estimated according to the operation mode of the mechanism 40.
- the change mode of the coordinate value of the position and orientation of the working unit determined according to the captured image data shown by the broken line in FIG. 6 is almost the same except for the period in which the coordinate value changes discontinuously.
- the change mode of the coordinate value of the position and orientation of the working portion is predicted.
- the second output control element 242 recognizes the stop of the first designated operation (for example, the turning operation through the turning lever) as the operation mode of the remote control mechanism 211 by the remote control element 240, at the same time as the stop occurs.
- the output of the labeled image Img2 in the image output device 221 may be stopped after a certain period of time (for example, a response delay time).
- the image output device 221 may output the labeled image Img2 in a timely manner. ..
- the index image Img2 displaced according to the second designated operation is superimposed on the working environment image Img1 and output to the image output device 221 for a certain period of time after the second designated operation is started.
- the second designated operation may be the same type of operation as the first designated operation, or may be a different type of operation.
- the information required for the operator is to know whether or not the work machine 40 is reacting to the operation input of the remote control mechanism 211.
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Operation Control Of Excavators (AREA)
- Selective Calling Equipment (AREA)
Abstract
実空間における作業部の位置に対する、画像における線画等の当該作業部の標識画像の位置の乖離の低減または解消を図りうる遠隔操作装置および遠隔操作システムを提供する。遠隔操作装置20において標識画像Img2が生成されたうえで、作業環境画像Img1に重畳されて画像出力装置221に出力される。撮像画像データの伝送遅れにより、遠隔操作装置20と作業機械40との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構211の操作態様に応じて推定された作業部の位置姿勢座標値から乖離する場合がある。この場合、バケット445を表わす画像領域からずれた位置に、本来的に存在すると推定される位置に当該バケット445を模した半透明の標識画像Img2(τ2)が作業環境画像Img(τ2)に重畳されて画像出力装置221に出力される。
Description
本発明は、作業機械を遠隔操作するための装置に関する。
作業部を備えた作業機械を操作席に設けたコントローラにより無線で遠隔操作する遠隔操作システムにおいて、モニタの表示に画像遅れが生じたことによる作業効率の低下を回避するための技術が提案されている(例えば、特許文献1参照)。具体的には、作業機械に設けられたカメラの撮影映像の作業部に対応した位置に当該作業部の線画が作成され、当該線画が無線で伝送されてカメラの撮影映像に重ねられてモニタに表示される。このため、伝送によるタイムラグが小さい線画が用いられて、実際の位置に近い位置に作業部が表示される。これにより、操作者は、モニタの表示に画像遅れが生じても、モニタに表示された線画に基づいてモニタの画像遅れを補完しながら作業部の操作を行うことができる。
しかし、線画を作成するための手段が作業機械に搭載されているため、線画の伝送に障害が生じた場合、カメラの撮影映像に重ねられる線画が一時的に消失し、あるいは、作業部の実際の位置に対する線画の位置の乖離が大きくなる可能性がある。
そこで、本発明は、実空間における作業部の位置に対する、画像における線画等の当該作業部の標識画像の位置の乖離の低減または解消を図りうる遠隔操作装置および遠隔操作システムを提供することを目的とする。
本発明の遠隔操作装置は、
作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
遠隔画像出力装置と、
遠隔操作機構と、
オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第1出力制御要素と、
前記遠隔制御要素により認識された第1時点における前記遠隔操作機構の操作態様に基づいて当該第1時点よりも後の第2時点における前記作業部の空間占有態様を推定し、当該推定された前記第2時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第1時点から前記第2時点までの期間に含まれる第3時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第2出力制御要素と、を備えている。
作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
遠隔画像出力装置と、
遠隔操作機構と、
オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第1出力制御要素と、
前記遠隔制御要素により認識された第1時点における前記遠隔操作機構の操作態様に基づいて当該第1時点よりも後の第2時点における前記作業部の空間占有態様を推定し、当該推定された前記第2時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第1時点から前記第2時点までの期間に含まれる第3時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第2出力制御要素と、を備えている。
本発明の遠隔操作システムは、本発明の遠隔操作装置と、前記作業機械と、により構成されている。
(遠隔操作システムの構成)
図1に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置20と、遠隔操作装置20による遠隔操作対象である作業機械40と、により構成されている。遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作装置20および作業機械40の相互通信にサーバ10が介在していてもよく、当該サーバ10が遠隔操作システムの一部を構成していてもよい。
図1に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置20と、遠隔操作装置20による遠隔操作対象である作業機械40と、により構成されている。遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作装置20および作業機械40の相互通信にサーバ10が介在していてもよく、当該サーバ10が遠隔操作システムの一部を構成していてもよい。
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔入力インターフェース210と、遠隔出力インターフェース220と、遠隔制御装置24と、を備えている。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。遠隔制御装置24は、遠隔制御要素240と、第1出力制御要素241と、第2出力制御要素242と、を備えている。各要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔操作装置20は、遠隔入力インターフェース210と、遠隔出力インターフェース220と、遠隔制御装置24と、を備えている。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。遠隔制御装置24は、遠隔制御要素240と、第1出力制御要素241と、第2出力制御要素242と、を備えている。各要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔制御要素240は、オペレータによる遠隔操作機構211の操作態様を認識し、当該操作態様に応じた指令信号を遠隔無線通信機器222に実機無線通信機器422に対して送信させる。第1出力制御要素241は、作業機械40に搭載されている実機撮像装置412を通じて取得され、実機無線通信機器422から送信され、遠隔無線通信機器222により受信された作業アタッチメント44(=作業機構)のバケット445(=作業部)を含む作業環境画像Img1を画像出力装置221に出力させる。第2出力制御要素242は、遠隔制御要素240により認識された第1時点t=t1における遠隔操作機構211の操作態様に基づいて第1時点よりも後の第2時点t=t2におけるバケット445の空間占有態様を推定する。第2出力制御要素242は、バケット445の推定空間占有態様を作業部(バケット445)の視認性を損なわずに表わす標識画像Img2(t2)を、第3時点t=t3において作業環境画像Img1(t3)に重畳して画像出力装置221に出力させる。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体41を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構43を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。遠隔操作機構211は、作業機械40に搭載されている実機操作機構411と同様の構成であるが、操作指令が入力されるタッチパネル方式またはボタン方式の操作機構など、実機操作機構411とは異なる構成の操作機構であってもよい。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータが着座できる任意の形態でもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図3に示されているシートStの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置221は、例えば図2に示されているように、シートStの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置2211、前方画像出力装置2212および左斜め前方画像出力装置2213により構成されている。当該画像出力装置2211~2213は、スピーカ(音声出力装置)をさらに備えていてもよい。
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作業アタッチメント44と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作業アタッチメント44と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図3に示されているように、クローラ式の下部走行体41と、下部走行体41に旋回機構43を介して旋回可能に搭載されている上部旋回体42と、を備えている。旋回機構43は作業機構の1つに該当する。上部旋回体42の前方左側部にはキャブ(運転室)424が設けられている。上部旋回体220の前方中央部には作業アタッチメント44が設けられている。
実機入力インターフェース410は、実機操作機構411と、実機撮像装置412と、状態センサ群414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。なお、実機操作レバーが動かされるのではなく、油圧回路を構成するバルブの開度等が制御されることにより、作業機械40の動作態様が制御されてもよい。実機撮像装置412は、例えばキャブ424の内部に設置され、キャブ424のフロントウィンドウ越しに作業アタッチメント44の少なくとも一部を含む環境を撮像する。状態センサ群414は、下部走行体41に対する上部旋回体42の相対姿勢角度、上部旋回体42に対するブーム441の相対姿勢角度、ブーム441に対するアーム443の相対姿勢角度、および、アーム443に対するバケット445の相対姿勢角度など、作業機構の動作態様または動作状態を表わす信号を出力する各種センサにより構成されている。
実機出力インターフェース420は、実機無線通信機器422を備えている。
作業機構の1つとしての作業アタッチメント44は、上部旋回体42に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されている作業部としてのバケット445と、を備えている。作業アタッチメント44には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体42との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(機能)
前記構成の遠隔操作システムの機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
前記構成の遠隔操作システムの機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた指定操作の有無が判定される(図4/STEP200)。「指定操作」は、例えば、遠隔入力インターフェース210を構成するタッチパネルにおけるタップ、スワイプ、フリックまたはピンチアウト/インなどのタッチ操作である。当該判定結果が否定的である場合(図4/STEP200‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(図4/STEP200‥YES)、第1出力制御要素241により、遠隔無線通信機器222を通じて作業環境画像要求が送信される(図4/STEP202)。作業環境画像要求には、遠隔操作装置20の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。
作業機械40において、実機無線通信機器422を通じて作業環境画像要求が受信された場合(図4/C41)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(図4/STEP402)。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置10に対して送信される(図4/STEP404)。撮像画像は、作業現場または作業機械40の外部に設置されている撮像装置を通じて取得されてもよい。
遠隔操作装置20において、遠隔無線通信機器222を通じて撮像画像データが受信された場合(図4/C20)、当該撮像画像データに応じた作業環境画像が画像出力装置221に出力される(図4/STEP204)。作業環境画像は、撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な作業環境画像である。これにより、例えば図7に示されているように、作業機構としての作業アタッチメント44の一部であるブーム441、アーム443およびバケット445が映り込んでいる作業環境画像Img1が画像出力装置221に時系列的に表示される。
遠隔操作装置20において、遠隔制御要素240により遠隔操作機構211の操作態様が認識され(図4/STEP206)、かつ、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令信号が遠隔操作サーバ10に対して送信される(図4/STEP208)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図4/C42)、作業アタッチメント44等の動作が制御される(図4/STEP406)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
遠隔操作装置20において、遠隔制御要素240により認識された第1時点における遠隔操作機構211の操作態様に基づき、第2出力制御要素242により、作業アタッチメント44の作業部(バケット445)の第1時点t=t1またはこれよりも後の第2時点t=t2における空間占有態様が推定(または予測)され、作業部の空間占有態様を表わす標識画像Img2が生成される(図4/STEP210)。具体的には、操作機構211を構成する操作レバーの位置または傾斜角度に基づき、下部走行体41に対する上部旋回体42の相対姿勢角度、上部旋回体42に対するブーム441の相対姿勢角度、ブーム441に対するアーム443の相対姿勢角度、および、アーム443に対するバケット445の相対姿勢角度のそれぞれが実機動作態様として推定され、当該推定結果に基づいてバケット445(作業部)の実機座標系(作業機械40に対して位置および姿勢が固定されている座標系)における空間占有態様が推定される。そして、実機座標系における実機撮像装置412の位置および姿勢に応じた座標変換行列(回転行列または回転行列および並進行列の組み合わせ)にしたがって、実機座標系における作業部の空間占有態様を表わす座標値が、作業環境画像座標系における作業部の推定空間占有態様またはバケット445が存在する画像領域の推定延在態様を表わす座標値に座標変換される。
バケット445に加えてまたは代えて、アーム443およびブーム441のうち少なくとも一方などの空間占有態様が作業部の空間占有態様として認識されてもよい。
第2時点t=t2における作業部の空間占有態様の推定に際して、第1通信遅れ時間TTD1、第1応答遅れ時間TRD1、第2通信遅れ時間TTD2および第2応答遅れ時間TRD2のうち一部または全部が勘案される。「第1通信遅れ時間TTD1」は、遠隔操作機構211の操作態様に応じた指令信号が、遠隔無線通信機器222から送信されてから実機無線通信機器422により受信されるまでの通信遅れ時間である。「第1応答遅れ時間TRD1」は、実機無線通信機器422により指令信号が受信されてから、当該指令信号に応じて実機制御装置400により作業機械40の動作が制御される(指令信号が作業機械40の動作に反映される)までの応答遅れ時間である。「第2通信遅れ時間TTD2」は、撮像画像データ(環境画像データ)が、実機無線通信機器422から送信されてから、遠隔無線通信機器222により受信されるまでの通信遅れ時間である。「第2応答遅れ時間TRD2」は、遠隔無線通信機器222により環境画像データが受信されてから、当該環境画像データに応じて画像出力装置221に環境画像が出力されるまでの応答遅れ時間である。
オペレータが遠隔操作機構211を操作している状況で、ある時点t=tにおいて画像出力装置221に映し出されている作業部の位置姿勢は、第2遅れ時間(第2通信遅れ時間TTD2および第2応答遅れ時間TRD2の合計時間)だけ前の時点t=t-(TTD2+TRD2)における作業部の実空間位置姿勢を表わしている。当該前の時点t=t-(TTD2+TRD2)における作業部の実空間位置姿勢は、第1遅れ時間(第1通信遅れ時間TTD1および第1応答遅れ時間TRD1の合計時間)だけさらに前の時点t=t-(TTD2+TRD2)-(TTD1+TRD1)における遠隔操作機構211の操作態様に対応している。このため、第1時点t=t1における遠隔操作機構211の操作態様に基づき、当該第1時点よりもTTD1+TRD1+TTD2+TRD2だけ後の時点である第2時点t=t2における作業部の空間占有態様が推定または予測される。
ただし、遅れ時間が無視できるほどに小さい場合、当該遅れ時間は勘案されずに第2時点t=t2における作業部の空間占有態様が推定または予測されてもよい。例えば、通信速度のさらなる高速化によって第1通信遅れ時間TTD1および第2通信遅れ時間TTD2が無視できるほどに小さい場合、第1時点t=t1よりもTRD1またはTRD1+TRD2だけ後の時点である第2時点t=t2における作業部の空間占有態様が推定または予測されてもよい。また、第1応答遅れ時間TRD1および第2応答遅れ時間TRD2が無視できるほどに小さい場合、第1時点t=t1と同一またはこれよりも後のほぼ同一の時点である第2時点t=t2における作業部の空間占有態様が推定または予測されてもよい。
標識画像Img2は、例えば半透明の画像である。作業環境画像Img1(t)においてエッジ点群が検出され、エッジ点群により囲まれる画像領域の形状パターンマッチングによって、作業部(バケット445)に相当する画像領域が認識され、当該画像領域にサイズおよび形状が合わせられて標識画像Img2が生成される。標識画像Img2は、半透明の画像のほか、当該画像領域の輪郭を表わす線画または当該画像領域の輪郭線上の一点を先端とする矢印状の画像など、作業環境画像Img1におけるバケット445の視認性を損なうことなく、当該バケット445の空間占有態様または位置姿勢を表わすさまざまな形状、サイズおよび色彩の組み合わせを有する画像であってもよい。
そして、第2出力制御要素242により、第2時点t=t2における標識画像Img2が、第3時点t=t3において作業環境画像Img1に重畳されて画像出力装置221に出力される(図4/STEP212)。
第3時点t=t3は、第2時点t=t2と同一の時点であってもよい。第3時点t=t3は、第1時点t=t1および第2時点t=t2の中間時点t=t1+(1-α)t2(0<α<1)であってもよい。第3時点t=t3は、第1時点t=t1よりも第1通信遅れ時間TTD1、第1応答遅れ時間TRD1、第2通信遅れ時間TTD2および第2応答遅れ時間TRD2のうち一部の合計時間だけ後の時点であってもよい。例えば、第3時点t=t3は、第1時点t=t1よりも、第1通信遅れ時間TTD1および第1応答遅れ時間TRD1の重み付き和β1・TTD1+β2・TRD1(0≦β1≦1、0≦β2≦1。ただし、β1=β2=0である場合は除く。)だけ後の時点t=t1+β1・TTD1+β2・TRD1であってもよい。β1=0、β2=1である場合、第3時点t=t3は、第1時点t=t1よりも第1応答遅れ時間TRD1だけ後の時点t=t1+TRD1である。
図5には、画像出力装置221により出力される作業環境画像Img1の座標系における、作業部(バケット445)の位置姿勢(位置および姿勢のうち一方または両方)の座標値の変化態様が概念的に示されている。図5における破線は、受信された撮像画像データ(図4/C20参照)に応じて定まる作業部の位置姿勢の座標値の変化態様を表わしている。図5における実線は、遠隔操作機構211の操作態様に応じて予測される作業部の位置姿勢の座標値の変化態様を表わしている。
ここでは、時点t=t0において遠隔操作機構211の操作が開始され、時点t=tnにおいて遠隔操作機構211の操作が停止されるまでの期間について考察される。作業環境画像系(u,v)における作業部の位置は2次元ベクトルにより表わされ、作業部の姿勢は後端部(アーム443への取り付け箇所)から先端部に向かう2次元ベクトルにより表わされる。
図5に実線で示されているように、任意の第2時点における作業部の位置姿勢座標値が、当該第2時点よりも前の第1時点における遠隔操作機構211の操作態様に応じて実線で示されているように予測されている。
図5に破線で示されているように、期間t=t11~t12および期間t=t21~t22以外の期間においては、撮像画像データに応じて定まる作業部の位置姿勢座標値と、遠隔操作機構211の操作態様に応じて予測された作業部の位置姿勢座標値と、がほぼ一致している。この場合、例えば、図8に示されているように、バケット445を表わす画像領域にほぼ重なるように、当該バケット445を模した半透明の標識画像Img2(τ1)が作業環境画像Img(τ1)に重畳されて画像出力装置221に出力される。
その一方、期間t=t11~t12および期間t=t21~t22のそれぞれの前後において、遠隔操作装置20と作業機械40との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構211の操作態様に応じて予測された作業部の位置姿勢座標値から乖離している。この場合、例えば、図9に示されているように、バケット445を表わす画像領域からずれているものの、本来的に存在すると予測される位置に、当該バケット445を模した半透明の標識画像Img2(τ2)が作業環境画像Img(τ2)に重畳されて画像出力装置221に出力される。期間t=t11~t12および期間t=t21~t22のそれぞれの初期において、第1時点が当該期間から外れているが、その後、第1時点が当該期間に含まれるように第1時点および第2時点の時間間隔が設定されてもよい。
(効果)
当該構成の遠隔操作システムによれば、遠隔操作装置20において標識画像Img2が生成されたうえで、作業環境画像Img1に重畳されて画像出力装置221に出力される(図4/STEP210→STEP212、図8および図9参照)。このため、線画等の標識画像Img2の伝送に障害が生じる場合がない。
当該構成の遠隔操作システムによれば、遠隔操作装置20において標識画像Img2が生成されたうえで、作業環境画像Img1に重畳されて画像出力装置221に出力される(図4/STEP210→STEP212、図8および図9参照)。このため、線画等の標識画像Img2の伝送に障害が生じる場合がない。
撮像画像データの伝送遅れにより、遠隔操作装置20と作業機械40との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構211の操作態様に応じて予測された作業部の位置姿勢座標値から乖離する場合がある。この場合、バケット445を表わす画像領域からずれた位置に、本来的に存在すると予測される位置に当該バケット445を模した半透明の標識画像Img2(τ2)が作業環境画像Img(τ2)に重畳されて画像出力装置221に出力される(図9参照)。
よって、実空間におけるバケット445(作業部)の位置に対する、作業環境画像Img1における当該バケット445の標識画像Img2の位置の乖離の低減または解消が図られる。
(本発明の他の実施形態)
遠隔制御要素240が、作業機械40に搭載されている状態センサ414を通じて検知され、実機無線通信機器422から送信され、遠隔無線通信機器222により受信された作業機構(旋回機構43および作業アタッチメント44)の動作態様を認識し、第2出力制御要素242が、遠隔制御要素240により認識された第1時点における遠隔操作機構211の操作態様と、作業機構の動作態様との偏差に基づいて第2時点における作業部(バケット445)の空間占有態様を予測してもよい。
遠隔制御要素240が、作業機械40に搭載されている状態センサ414を通じて検知され、実機無線通信機器422から送信され、遠隔無線通信機器222により受信された作業機構(旋回機構43および作業アタッチメント44)の動作態様を認識し、第2出力制御要素242が、遠隔制御要素240により認識された第1時点における遠隔操作機構211の操作態様と、作業機構の動作態様との偏差に基づいて第2時点における作業部(バケット445)の空間占有態様を予測してもよい。
図6には、図5と同様に、画像出力装置221により出力される作業環境画像Img1の座標系における、作業部(バケット445)の位置姿勢の座標値の変化態様が概念的に示されている。図6における破線は、受信された撮像画像データ(図4/C20参照)に応じて定まる作業部の位置姿勢の座標値の変化態様を表わしている。
遠隔操作機構211(例えば旋回用レバー)が操作され、当該操作に応じて作業機構(例えば旋回機構43)が動作するまでに応答遅れが生じる場合がある。この場合、例えば、図6に一点鎖線で示されている遠隔操作機構211の操作態様に応じて予測される作業部の位置姿勢の座標値が、図6に二点鎖線で示されている作業機構40の動作態様に応じて推定される作業部の位置姿勢の座標値よりも先に変化が生じる。
そこで、例えば、この応答遅れ(遠隔操作機構211の操作態様および作業機構40の動作態様の偏差)に応じて、第1時点t=t1と第2時点t=t2との時間間隔Δt=t2-t1が設定される。これにより、図6において破線で示されている撮像画像データに応じて定まる作業部の位置姿勢の座標値の変化態様に対して、座標値が不連続に変化する期間を除いて、ほぼ一致している図6に実線で示されているような作業部の位置姿勢の座標値の変化態様が予測される。よって、当該応答遅れによる影響を低減して、実空間におけるバケット445(作業部)の位置に対する、作業環境画像Img1における当該バケット445の標識画像Img2の位置の乖離のさらなる低減または解消が図られる。
第2出力制御要素242が、遠隔制御要素240により遠隔操作機構211の操作態様として第1指定操作(例えば旋回用レバーを通じた旋回操作)の停止が認識された場合、停止があったのと同時にまたは一定時間(例えば応答遅れ時間)後に画像出力装置221における標識画像Img2の出力を停止してもよい。これにより、第1指定操作が停止されたにもかかわらず、当該第1指定操作に応じて変位する指標画像Img2の残存によって画像出力装置221に出力されている作業環境画像Img1における作業部の視認性の低下が回避される。
第2出力制御要素242が、遠隔制御要素240により遠隔操作機構211の操作態様として第2指定操作の開始が認識された場合、画像出力装置221に標識画像Img2を時限的に出力させてもよい。これにより、第2指定操作が開始されてから一定期間にわたり、当該第2指定操作に応じて変位する指標画像Img2が作業環境画像Img1に重畳されて画像出力装置221に出力される。第2指定操作は、第1指定操作と同じ種類の操作であってもよく、異なる種類の操作であってもよい。オペレータにとって必要な情報は遠隔操作機構211の操作入力に対して作業機械40が反応しているかどうかがわかることである。そのため、操作開始から一定期間だけ標識画像Img2が画像出力装置221に出力されることにより、当該一定期間の周期である第2時点t=t2よりも前の第1時点t=t1以降において、バケット445の空間占有態様の予測演算負荷を省略しながらオペレータによる遠隔操作効率の向上を図ることができる。
10‥遠隔操作サーバ、20‥遠隔操作装置、24‥遠隔制御装置、40‥作業機械、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥画像出力装置、222‥遠隔無線通信機器、240・遠隔制御要素、241‥第1出力制御要素、242‥第2出力制御要素、410‥実機入力インターフェース、412‥実機撮像装置、414‥状態センサ群、420‥実機出力インターフェース、440‥作業アタッチメント(作業機構)、445‥バケット(作業部)、Img1‥作業環境画像、Img2‥標識画像。
Claims (10)
- 作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
遠隔画像出力装置と、
遠隔操作機構と、
オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第1出力制御要素と、
前記遠隔制御要素により認識された第1時点における前記遠隔操作機構の操作態様に基づいて当該第1時点よりも後の第2時点における前記作業部の空間占有態様を推定し、当該推定された前記第2時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第1時点から前記第2時点までの期間に含まれる第3時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第2出力制御要素と、を備えている
ことを特徴とする遠隔操作装置。 - 請求項1記載の遠隔操作装置において、
前記第2出力制御要素が、前記第1時点と前記第2時点との中間時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項2記載の遠隔操作装置において、
前記第2出力制御要素が、
前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第1通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第1応答遅れ時間のうち少なくとも一方である第1遅れ時間と、
前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第2通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第2応答遅れ時間のうち少なくとも一方である第2遅れ時間と、
の合計である合計遅れ時間だけ前記第1時点よりも後の時点を前記第2時点として前記作業部の空間占有態様を推定し、
前記第1時点よりも前記第1遅れ時間だけ後の時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項3記載の遠隔操作装置において、
前記第2出力制御要素が、前記第1遅れ時間としての前記第1応答遅れ時間だけ前記第1時点よりも後の時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項1記載の遠隔操作装置において、
前記第2出力制御要素が、前記第2時点と同一の時点である前記第3時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
ことを特徴とする遠隔操作装置。 - 請求項5記載の遠隔操作装置において、
前記第2出力制御要素が、
前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第1通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第1応答遅れ時間のうち少なくとも一方である第1遅れ時間と、
前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第2通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第2応答遅れ時間のうち少なくとも一方である第2遅れ時間と、
の合計である合計遅れ時間だけ前記第1時点よりも後の時点を前記第2時点として前記作業部の空間占有態様を推定する
ことを特徴とする遠隔操作装置。 - 請求項1~6のうちいずれか1項に記載の遠隔操作装置において、
前記遠隔制御要素が、前記作業機械に搭載されている状態センサを通じて検知され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の動作態様を認識し、
前記第2出力制御要素が、前記遠隔制御要素により認識された前記第1時点における前記遠隔操作機構の操作態様と前記作業機構の動作態様との偏差に基づいて前記第2時点における前記作業部の空間占有態様を推定することを特徴とする遠隔操作装置。 - 請求項1~7のうちいずれか1項に記載の遠隔操作装置において、
前記第2出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第1指定操作の停止が認識された場合、前記遠隔画像出力装置における前記標識画像の出力を停止することを特徴とする遠隔操作装置。 - 請求項1~8のうちいずれか1項に記載の遠隔操作装置において、
前記第2出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第2指定操作の開始が認識された場合、前記遠隔画像出力装置に前記標識画像を時限的に出力させることを特徴とする遠隔操作装置。 - 請求項1~9のうちいずれか1項に記載の遠隔操作装置と、前記作業機械と、により構成されていることを特徴とする遠隔操作システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080084213.0A CN114787453B (zh) | 2019-12-19 | 2020-11-30 | 远程操作装置及远程操作*** |
US17/782,756 US20230003002A1 (en) | 2019-12-19 | 2020-11-30 | Remote operation device and remote operation system |
EP20901434.9A EP4053346A4 (en) | 2019-12-19 | 2020-11-30 | REMOTE CONTROL DEVICE AND REMOTE CONTROL SYSTEM |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-229564 | 2019-12-19 | ||
JP2019229564 | 2019-12-19 | ||
JP2020-142502 | 2020-08-26 | ||
JP2020142502A JP7376440B2 (ja) | 2019-12-19 | 2020-08-26 | 遠隔操作装置および遠隔操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021124858A1 true WO2021124858A1 (ja) | 2021-06-24 |
Family
ID=76478672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/044543 WO2021124858A1 (ja) | 2019-12-19 | 2020-11-30 | 遠隔操作装置および遠隔操作システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230003002A1 (ja) |
EP (1) | EP4053346A4 (ja) |
CN (1) | CN114787453B (ja) |
WO (1) | WO2021124858A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5919022B2 (ja) | 1978-06-06 | 1984-05-02 | クルツジヤパン株式会社 | 立体装飾用金属熱転写材 |
US20100249957A1 (en) * | 2009-03-31 | 2010-09-30 | Caterpillar Inc. | System and method for controlling machines remotely |
JP2013168778A (ja) * | 2012-02-15 | 2013-08-29 | Fujita Corp | 遠隔操作システム |
JP2017022433A (ja) * | 2015-07-07 | 2017-01-26 | 日立建機株式会社 | 遠隔操縦システム |
JP2019068254A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | 表示制御装置および表示制御方法 |
JP2019190163A (ja) * | 2018-04-26 | 2019-10-31 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010248703A (ja) * | 2009-04-10 | 2010-11-04 | Ntt Docomo Inc | 制御システム、制御方法、操作制御装置及び作業装置 |
KR20130052822A (ko) * | 2011-11-14 | 2013-05-23 | 전자부품연구원 | 중장비 원격 제어 시스템 및 제어 방법 |
JP6134301B2 (ja) * | 2014-09-29 | 2017-05-24 | 日立建機株式会社 | 建設機械の遠隔操縦用映像伝送システム |
JP6777375B2 (ja) * | 2015-03-05 | 2020-10-28 | 株式会社小松製作所 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
JP6572156B2 (ja) * | 2016-03-02 | 2019-09-04 | 株式会社神戸製鋼所 | 建設機械の干渉防止装置 |
JP6927821B2 (ja) * | 2017-09-15 | 2021-09-01 | 株式会社小松製作所 | 表示システム、及び表示装置 |
JP7063036B2 (ja) * | 2018-03-23 | 2022-05-09 | コベルコ建機株式会社 | 建設機械 |
JP7087545B2 (ja) * | 2018-03-28 | 2022-06-21 | コベルコ建機株式会社 | 建設機械 |
JP6947101B2 (ja) * | 2018-03-28 | 2021-10-13 | コベルコ建機株式会社 | 遠隔操作システム及び主操作装置 |
JP7060093B2 (ja) * | 2018-05-22 | 2022-04-26 | 日本電気株式会社 | 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム |
JP7099358B2 (ja) * | 2019-02-20 | 2022-07-12 | コベルコ建機株式会社 | 作業機械用表示システム |
JP7310595B2 (ja) * | 2019-12-24 | 2023-07-19 | コベルコ建機株式会社 | 作業支援サーバおよび作業支援システム |
JP7452038B2 (ja) * | 2020-01-30 | 2024-03-19 | コベルコ建機株式会社 | 作業支援システム |
JP7472578B2 (ja) * | 2020-03-23 | 2024-04-23 | コベルコ建機株式会社 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
JP7367606B2 (ja) * | 2020-05-14 | 2023-10-24 | コベルコ建機株式会社 | 遠隔操作支援装置および遠隔操作支援方法 |
JP7441733B2 (ja) * | 2020-06-04 | 2024-03-01 | コベルコ建機株式会社 | 実機状態監視システムおよび実機状態監視方法 |
JP7452473B2 (ja) * | 2021-03-08 | 2024-03-19 | コベルコ建機株式会社 | 容器計測システム |
-
2020
- 2020-11-30 EP EP20901434.9A patent/EP4053346A4/en active Pending
- 2020-11-30 US US17/782,756 patent/US20230003002A1/en active Pending
- 2020-11-30 CN CN202080084213.0A patent/CN114787453B/zh active Active
- 2020-11-30 WO PCT/JP2020/044543 patent/WO2021124858A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5919022B2 (ja) | 1978-06-06 | 1984-05-02 | クルツジヤパン株式会社 | 立体装飾用金属熱転写材 |
US20100249957A1 (en) * | 2009-03-31 | 2010-09-30 | Caterpillar Inc. | System and method for controlling machines remotely |
JP2013168778A (ja) * | 2012-02-15 | 2013-08-29 | Fujita Corp | 遠隔操作システム |
JP2017022433A (ja) * | 2015-07-07 | 2017-01-26 | 日立建機株式会社 | 遠隔操縦システム |
JP2019068254A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | 表示制御装置および表示制御方法 |
JP2019190163A (ja) * | 2018-04-26 | 2019-10-31 | コベルコ建機株式会社 | 旋回式作業機械の旋回制御装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4053346A4 |
Also Published As
Publication number | Publication date |
---|---|
CN114787453A (zh) | 2022-07-22 |
EP4053346A1 (en) | 2022-09-07 |
CN114787453B (zh) | 2023-07-25 |
EP4053346A4 (en) | 2023-01-11 |
US20230003002A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3754120B1 (en) | Remote control system and main control device | |
WO2021192491A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
JP2021099017A (ja) | 遠隔操作装置および遠隔操作システム | |
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
US11993922B2 (en) | Remote operation system | |
WO2020194882A1 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
EP4130400A1 (en) | Remote operation assistance device and remote operation assistance method | |
JP7099358B2 (ja) | 作業機械用表示システム | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021131228A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021124858A1 (ja) | 遠隔操作装置および遠隔操作システム | |
US11939744B2 (en) | Display system, remote operation system, and display method | |
JP2023040971A (ja) | 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021106278A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
WO2023026568A1 (ja) | 遠隔操作システムおよび遠隔操作複合システム | |
WO2023136070A1 (ja) | 遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021106280A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
EP4063571A2 (en) | Image capturing function control system and image capturing function control method | |
US20240141616A1 (en) | Remote operation assistance server and remote operation asistance system | |
JP2023032997A (ja) | 遠隔操作システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20901434 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020901434 Country of ref document: EP Effective date: 20220602 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |