JP6406859B2 - Remote operation support device, remote operation support method, and measuring instrument - Google Patents
Remote operation support device, remote operation support method, and measuring instrument Download PDFInfo
- Publication number
- JP6406859B2 JP6406859B2 JP2014084326A JP2014084326A JP6406859B2 JP 6406859 B2 JP6406859 B2 JP 6406859B2 JP 2014084326 A JP2014084326 A JP 2014084326A JP 2014084326 A JP2014084326 A JP 2014084326A JP 6406859 B2 JP6406859 B2 JP 6406859B2
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- posture
- data
- work
- numerical data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000005259 measurement Methods 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 79
- 238000004891 communication Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 35
- 230000036544 posture Effects 0.000 description 183
- 230000005540 biological transmission Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 239000003550 marker Substances 0.000 description 15
- 239000000446 fuel Substances 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 239000000945 filler Substances 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、遠隔操作システムに設けられる遠隔操作支援装置と、遠隔操作支援方法に関する。遠隔操作システムは、対象装置に対して作業を行う作業装置と、対象装置を遠隔操作する遠隔操作装置とを備える。作業装置は、例えば、給油、給電などの作業を対象装置に行う。 The present invention relates to a remote operation support device and a remote operation support method provided in a remote operation system. The remote operation system includes a work device that performs work on a target device and a remote control device that remotely operates the target device. For example, the work device performs operations such as refueling and power supply on the target device.
このような作業装置と対象装置は、例えば、無人化施工などに使用される遠隔操作型や自律制御型の建設機械(建機)や事故対応などに利用される移動ロボットなどである。対象装置が、無人化施工などに使用される遠隔操作型や自律制御型の建設機械(建機)の場合、対象装置は、主に二次災害などが懸念される危険な災害復旧工事現場などに投入され、瓦礫や岩石などの障害物撤去作業、砂防、築堤、構造物設置などの復旧作業、土砂や岩石などの積載や運搬や運送作業などの作業を行う。また、対象装置が事故対応ロボットの場合、対象装置は、人が赴くには危険な現場に投入され、情報収集や調査や復旧作業などを行う。このような対象装置は、例えば、下記の特許文献1、2に記載されている。
Such work devices and target devices are, for example, remote operation type or autonomous control type construction machines (construction machines) used for unmanned construction, mobile robots used for accident response, and the like. When the target device is a remote control type or autonomous control type construction machine (construction machine) used for unmanned construction, etc., the target device is mainly a dangerous disaster recovery construction site where secondary disasters are a concern To remove obstacles such as rubble and rocks, restoration work such as sabo, embankment and structure installation, loading and transporting and transporting earth and sand and rocks. Further, when the target device is an accident response robot, the target device is thrown into a dangerous site for humans to perform information collection, investigation, recovery work, and the like. Such a target device is described in
対象装置は長時間の作業を行うと給油や給電が必要となるが、対象装置は危険な現場(作業エリア)で作業しているため、作業エリアに人が進入して給油や給電を行うことは困難である。このため、対象装置は、人が進入可能な安全エリアへ移動し、安全エリア内で、人の作業により、対象装置へ給油や給電を行う必要があり、作業エリアと安全エリアが離れるほど、作業効率が低下してしまう。 The target device requires refueling or power supply when working for a long time, but since the target device is working at a dangerous site (working area), a person should enter the work area to supply or refuel. It is difficult. For this reason, the target device must move to a safe area where people can enter, and it is necessary to refuel and supply power to the target device by human work within the safe area. Efficiency will decrease.
そこで、遠隔操作によって、対象装置が作業エリア内にいる状態で、対象装置に対して給油、給電などを行えるようにすることが望まれる。このような遠隔操作を、例えば、以下のような遠隔操作システムにおいて行うことが考えられる。 Therefore, it is desired that the target device can be refueled and powered by remote operation while the target device is in the work area. It is conceivable that such remote operation is performed, for example, in the following remote operation system.
遠隔操作システムは、上述の作業装置と、上述の対象装置と、遠隔操作装置とを備える。遠隔操作装置は、操作部と、データ処理部と、通信部と、カメラなどのデータ取得センサと、表示部とを備える。操作部は、人に操作され、この操作に応じた操作信号を生成する。データ処理部は、この操作信号に従って動作指令を生成する。通信部は、生成された動作指令を無線または有線で作業装置へ送信する。作業装置は、通信部からの動作指令に従って動作することにより、対象装置に対して作業を行う。データ取得センサは、作業装置から見た状況を表わす画像データやその他の各種データを取得する。これらのデータは、表示部に対して無線または有線で送信される。表示部は、送信された画像データやその他の各種データを表示する。人が、表示部に表示された画像データなどを見ながら、操作部を操作する。 The remote operation system includes the above-described work device, the above-described target device, and a remote operation device. The remote operation device includes an operation unit, a data processing unit, a communication unit, a data acquisition sensor such as a camera, and a display unit. The operation unit is operated by a person and generates an operation signal corresponding to the operation. The data processing unit generates an operation command according to the operation signal. The communication unit transmits the generated operation command to the work apparatus wirelessly or by wire. The work device performs work on the target device by operating according to an operation command from the communication unit. The data acquisition sensor acquires image data representing the situation viewed from the working device and other various data. These data are transmitted to the display unit wirelessly or by wire. The display unit displays the transmitted image data and other various data. A person operates the operation unit while looking at image data displayed on the display unit.
このような構成により、人は、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせる。この時、作業装置(例えば、作業装置が備える作業用マニピュレータ)と対象装置の作業対象部との相対姿勢および相対位置を、表示部に表示された画像データなどから、当該作業が可能となる相対姿勢および相対位置に調整する必要がある。 With such a configuration, a person remotely operates the work device by operating the operation unit to cause the work device to perform work on the target device. At this time, the relative posture and the relative position between the work device (for example, the work manipulator included in the work device) and the work target portion of the target device can be compared based on the image data displayed on the display unit. It is necessary to adjust the posture and relative position.
しかし、上述の相対姿勢および相対位置の調整が困難となることがある。その理由は、次の(1)(2)通りである。
(1)配置できるカメラの数や位置には限界があるので、上述の相対姿勢および相対位置を把握しやすい画像データが得られない場合がある。
(2)通信性能(通信速度の制約)のため、上述の相対姿勢および相対位置を把握しやすい多数視点の画像データや高解像度画像が得られない場合がある。
However, it may be difficult to adjust the relative posture and the relative position. The reason is as follows (1) and (2).
(1) Since there is a limit to the number and positions of cameras that can be arranged, there is a case where image data that makes it easy to grasp the above-described relative posture and relative position may not be obtained.
(2) Due to communication performance (communication speed limitation), there are cases where image data of multiple viewpoints and high-resolution images that make it easy to grasp the above-described relative posture and relative position cannot be obtained.
なお、遠隔操作では、画像データや動作指令が、無線ネットワークや有線ネットワークなどを経由して送受信されるので、人が操作部を操作してから作業装置が実際に動くまでの遅延時間が発生する。同様に、作業装置のカメラにより撮影してから、その画像データが表示部に表示されるまでの遅延時間が発生する。遅延時間は、一般的に通信距離や通信する情報量などから決定されるが、遅延時間を減らすために、画像の解像度を減らすと、上記(2)の不都合が生じる。特に無線を使用する場合、制約が高いため、この問題が顕著になる。 In remote operation, image data and operation commands are transmitted / received via a wireless network, a wired network, etc., so there is a delay time from when a person operates the operation unit until the work device actually moves. . Similarly, there is a delay time from when the image is taken by the camera of the working device until the image data is displayed on the display unit. The delay time is generally determined from the communication distance, the amount of information to be communicated, and the like. However, if the image resolution is reduced in order to reduce the delay time, the inconvenience (2) occurs. In particular, when radio is used, this problem becomes significant due to high restrictions.
このように、上記の相対姿勢および相対位置の調整が困難となることにより、作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせることが困難となる。特に、給油口などの穴に対して、給油ノズルなどの棒状体の位置や姿勢を精密に合わせて挿入または抜去する場合や、給電などの、位置や姿勢を精密に合わせた接触を行う場合などでは、接触による過負荷などにより、作業装置や対象装置が破損することも考えられ、作業はより一層困難となる。 As described above, since the adjustment of the relative posture and the relative position becomes difficult, it is difficult to remotely operate the work device and cause the work device to perform work on the target device. In particular, when inserting or removing a rod-like body such as a fuel nozzle precisely with respect to a hole such as a fuel filler port, or when making contact with a precise position or posture such as power feeding, etc. Then, the working device and the target device may be damaged due to an overload caused by contact, and the work becomes even more difficult.
そこで、本発明の目的は、人が、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置のマニピュレータに行わせることを容易にすることにある。 Accordingly, an object of the present invention is to make it easy for a person to remotely operate a work device by operating an operation unit to cause a manipulator of the work device to perform work on a target device.
上述の目的を達成するため、本発明によると、遠隔操作システムに設けられる遠隔操作支援装置であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
前記遠隔操作支援装置は、
前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する相対データ計測装置と、
前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、前記計測データから生成する数値データ生成部と、を備え、
前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
生成された前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成され、もしくは、生成された前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成されている場合には、前記表示部は、送信されてきた前記第1および第2の数値データの一方または両方を表示し、
前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されている場合には、前記マニピュレータ制御部は、送信されてきた前記第1または第2の数値データに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援装置が提供される。
In order to achieve the above object, according to the present invention, there is provided a remote control support device provided in a remote control system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device includes a manipulator measuring device that measures one or both of a posture and a position of a manipulator in a manipulator coordinate system fixed to the main body as manipulator data, and the manipulator according to the operation command from the first communication unit. A manipulator control unit for controlling the operation;
The remote operation support device is
Relative data measurement that measures, as measurement data, data related to one or both of a relative posture and a relative position between the main body of the working device and the target device in a state where the work target portion is located within an operation range of the manipulator. Equipment,
In order to perform the work, one or both of first and second numerical data used for adjusting one or both of a relative posture and a relative position between the manipulator and the target device are generated from the measurement data. A numerical data generation unit
The first numerical data is numerical data indicating one or both of the posture and position of the work target unit in the manipulator coordinate system, and the second numerical data is a numerical value from the manipulator data and the measurement data. Numerical data generated by a data generation unit and indicating an amount for adjusting one or both of a relative posture and a relative position between the manipulator and the target device in order to perform the work,
One or both of the generated first and second numerical data are transmitted to the display unit, or the generated first or second numerical data is sent to the manipulator control unit. Configured to transmit to
In a case where one or both of the first and second numerical data are transmitted to the display unit, the display unit transmits the first and second numerical data transmitted thereto. Display one or both of
In the case where the first or second numerical data is configured to be transmitted to the manipulator control unit, the manipulator control unit is based on the transmitted first or second numerical data. Thus, a remote operation support device is provided, which adjusts one or both of the posture and position of the manipulator.
また、本発明によると、遠隔操作システムに設けられる遠隔操作支援方法であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
(A)前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、相対データ計測装置により、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測し、
(B)前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、数値データ生成部により前記計測データから生成し、前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
(C)生成された第1および第2の数値データの一方または両方を前記表示部に対して送信し、もしくは、第1または第2の数値データを前記マニピュレータ制御部に対して送信し、
第1および第2の数値データの一方または両方が前記表示部に対して送信される場合には、前記表示部は、送信されてきた第1および第2の数値データの一方または両方を表示し、
前記第1または第2の数値データが前記マニピュレータ制御部に対して送信される場合には、前記マニピュレータ制御部は、送信されてきた前記第1または第2の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援方法が提供される。
Further, according to the present invention, there is provided a remote operation support method provided in the remote operation system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device includes a manipulator measuring device that measures one or both of a posture and a position of a manipulator in a manipulator coordinate system fixed to the main body as manipulator data, and the manipulator according to the operation command from the first communication unit. A manipulator control unit for controlling the operation;
(A) In a state where the work target portion is positioned within the operation range of the manipulator, the relative data measuring device acquires data on one or both of the relative posture and the relative position between the main body of the work device and the target device. , Measured as measurement data,
(B) In order to perform the operation, one or both of the first and second numerical data used to adjust one or both of the relative posture and the relative position between the manipulator and the target device are numerical data. Generated from the measurement data by the generation unit, the first numerical data is numerical data indicating one or both of the posture and the position of the work target unit in the manipulator coordinate system, the second numerical data, Numerical data generated by a numerical data generation unit from the manipulator data and the measurement data, and numerical data indicating an amount to adjust one or both of the relative posture and the relative position between the manipulator and the target device in order to perform the operation Yes,
(C) One or both of the generated first and second numerical data are transmitted to the display unit, or the first or second numerical data is transmitted to the manipulator control unit,
When one or both of the first and second numerical data are transmitted to the display unit, the display unit displays one or both of the transmitted first and second numerical data. ,
When the first or second numerical data is transmitted to the manipulator control unit, the manipulator control unit determines the manipulator posture based on the transmitted first or second numerical data. A remote operation support method is provided that adjusts one or both of the position and the position.
遠隔操作支援装置の例を述べる。 An example of the remote operation support device will be described.
生成された前記第1の数値データを前記表示部に対して送信するように構成されており、かつ、前記マニピュレータ計測装置が計測した数値の前記マニピュレータデータを、前記表示部に対して送信するように構成されており、
前記表示部は、送信されてきた前記第1の数値データと、送信されてきた前記マニピュレータデータとを表示する。
The generated first numerical data is configured to be transmitted to the display unit, and the manipulator data of the numerical value measured by the manipulator measurement device is transmitted to the display unit. Is composed of
The display unit displays the transmitted first numerical data and the transmitted manipulator data.
したがって、人は、表示部に表示された第1の数値データと数値のマニピュレータデータとを比べて、操作部を操作できる。これにより、前記作業装置と前記対象装置との姿勢合わせおよび位置合わせの一方または両方がなされる。 Therefore, the person can operate the operation unit by comparing the first numerical data displayed on the display unit with the numerical manipulator data. Thereby, one or both of posture alignment and alignment between the work device and the target device is performed.
生成された前記第1の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記マニピュレータ制御部は、前記第1の数値データと前記マニピュレータデータとに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する。
It is configured to transmit the generated first numerical data to the manipulator control unit,
The manipulator control unit adjusts one or both of a posture and a position of the manipulator based on the first numerical data and the manipulator data.
したがって、マニピュレータ制御部により、前記作業装置と前記対象装置との姿勢合わせおよび位置合わせの一方または両方が自動的になされる。その後、人は、このような位置合わせをすることなく、操作部を操作して、作業対象部に対する作業を作業実行部に行わせることができる。 Therefore, one or both of posture alignment and alignment between the working device and the target device is automatically performed by the manipulator control unit. Thereafter, the person can operate the operation unit to cause the work execution unit to perform work on the work target unit without performing such alignment.
前記計測データは、前記作業装置の前記本体と前記対象装置との相対姿勢に関する姿勢計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる姿勢数値データΔθAとして、ΔθA=Δθ1−0−(Δθm+Δθt)を算出し、または、前記第2の数値データに含まれる姿勢数値データΔθBとして、ΔθB=Δθ1−0−(Δθm+Δθt)−θeを算出し、
Δθ1−0は、前記作業装置の前記本体に固定された本体座標系に対する、前記対象装置に固定された対象装置座標系の姿勢を示すベクトルであり、前記姿勢計測データにより表され、
Δθmは、前記本体座標系に対する、前記マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されており、
Δθtは、前記対象装置における作業対象部の向きに対する、前記対象装置座標系の姿勢を示す既知のベクトルであり、予め設定されており、
θeは、マニピュレータ座標系に対するマニピュレータの姿勢を示すベクトルであり、前記マニピュレータ計測装置により計測される。
The measurement data includes posture measurement data related to a relative posture between the main body of the working device and the target device,
The numerical data generation unit calculates Δθ A = Δθ 1-0 − (Δθ m + Δθ t ) as posture numerical data Δθ A included in the first numerical data, or adds the second numerical data to the second numerical data Δθ B = Δθ 1-0 − (Δθ m + Δθ t ) −θ e is calculated as the included posture numerical data Δθ B ,
Δθ 1-0 is a vector indicating the posture of the target device coordinate system fixed to the target device with respect to the main body coordinate system fixed to the main body of the working device, and is represented by the posture measurement data,
Δθ m is a known fixed vector indicating the attitude of the manipulator coordinate system with respect to the main body coordinate system, and is set in advance.
Δθ t is a known vector indicating the orientation of the target device coordinate system with respect to the orientation of the work target portion in the target device, and is set in advance.
θ e is a vector indicating the attitude of the manipulator with respect to the manipulator coordinate system, and is measured by the manipulator measurement device.
このように、前記作業を行うために前記相対姿勢を調整する量を示す姿勢数値データを得る。したがって、数値を示す姿勢数値データに基づいて、前記作業装置と前記対象装置との相対姿勢を調整すれば、前記作業装置と前記対象装置との姿勢合わせがなされる。
特に、人は、表示部の表示を見て、姿勢合わせが適切になされたかどうかを判断しにくい。そこで、姿勢数値データを生成するので、作業を行うための姿勢合わせが、容易になり、または自動で行われる。
In this manner, posture numerical data indicating the amount by which the relative posture is adjusted to perform the work is obtained. Therefore, if the relative posture between the working device and the target device is adjusted based on the numerical posture data indicating the numerical values, the working device and the target device are aligned.
In particular, it is difficult for a person to see whether the posture is properly adjusted by looking at the display on the display unit. Therefore, since the posture numerical data is generated, posture alignment for performing work is facilitated or automatically performed.
前記計測データは、前記作業装置の前記本体と前記対象装置との相対位置に関する位置計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる位置数値データΔPAとして、ΔPA=ΔP1−0−(ΔPm+ΔPt+ΔPOFF)を算出し、または、前記第2の数値データに含まれる位置数値データΔPBとして、ΔPB=ΔP1−0−(ΔPm+ΔPt+ΔPOFF)−Peを算出し、
ΔP1−0は、前記作業装置の前記本体に固定された本体座標系の原点に対する、前記対象装置に固定された対象装置座標系の原点の相対位置を示すベクトルであり、前記位置計測データにより表され、
ΔPmは、前記本体座標系の原点に対する、前記マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されており、
ΔPOFFは、予め設定されたオフセット量とオフセット方向を示すベクトルであり、
Peは、マニピュレータ座標系の座標で表される、マニピュレータの位置を示すベクトルであり、前記マニピュレータ計測装置により計測される。
The measurement data includes position measurement data related to a relative position between the main body of the working device and the target device,
The numerical data generating unit, the as positional numerical data [Delta] P A included in the first numerical data, ΔP A = ΔP 1-0 - calculates (ΔP m + ΔP t + ΔP OFF), or the second numerical As position numerical data ΔP B included in the data, ΔP B = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) −P e is calculated,
ΔP 1-0 is a vector indicating a relative position of the origin of the target apparatus coordinate system fixed to the target apparatus with respect to the origin of the main body coordinate system fixed to the main body of the working apparatus, and is based on the position measurement data. Represented,
ΔP m is a known fixed vector indicating a relative position of the origin of the manipulator coordinate system with respect to the origin of the main body coordinate system, and is set in advance.
ΔP OFF is a vector indicating a preset offset amount and offset direction,
Pe is a vector indicating the position of the manipulator represented by the coordinates of the manipulator coordinate system, and is measured by the manipulator measuring device.
このように、前記作業を行うために前記相対位置を調整する量を示す位置数値データを得る。したがって、数値を示す位置数値データに基づいて、前記作業装置と前記対象装置との相対姿勢を調整することにより、前記作業装置と前記対象装置との位置合わせがなされる。よって、作業を行うための位置合わせが、容易になり、または自動で行われる。 In this way, position numerical data indicating the amount by which the relative position is adjusted in order to perform the work is obtained. Therefore, the working device and the target device are aligned by adjusting the relative posture between the working device and the target device based on the position numerical data indicating the numerical values. Therefore, alignment for performing work is facilitated or automatically performed.
前記相対データ計測装置は、
前記作業装置に設けられ、前記作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得する第1計測器と、
前記対象装置に設けられ、前記対象装置の姿勢および位置の一方または両方を示すデータを前記計測データの一部として取得する第2計測器と、を備え、
前記数値データ生成部は、
前記第1計測器と前記第2計測器が取得した前記データに基づいて、前記第1および第2の数値データの一方または両方を算出する。
The relative data measuring device is:
A first measuring instrument that is provided in the working device and acquires data indicating one or both of the position and orientation of the main body of the working device as part of the measurement data;
A second measuring device that is provided in the target device and acquires data indicating one or both of the posture and position of the target device as a part of the measurement data;
The numerical data generator is
One or both of the first and second numerical data are calculated based on the data acquired by the first measuring instrument and the second measuring instrument.
このように、作業装置に設けた第1計測器により、作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得し、対象装置に設けた第2計測器により、作業装置の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得するので、これらのデータから、作業装置との本体と対象装置との相対姿勢と相対位置を得ることができる。したがって、このような計測データを用いて、上述の第1または第2の数値データを生成できる。 As described above, the first measuring instrument provided in the working device acquires data indicating one or both of the position and orientation of the main body of the working device as a part of the measurement data, and the second measurement provided in the target device. The data indicating one or both of the position and orientation of the work device is acquired as a part of the measurement data by the device, and the relative posture and relative position between the main body of the work device and the target device are obtained from these data. be able to. Therefore, the first or second numerical data described above can be generated using such measurement data.
前記第1計測器は、
前記作業装置における本体のロール方向の姿勢を計測する第1のジャイロセンサと、
前記作業装置における本体のピッチ方向の姿勢を計測する第2のジャイロセンサと、
前記作業装置の本体に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第1および第2のGPS受信機と、
第1のGPS受信機が受信したGPS信号に基づいて第1のGPS受信機の位置を示す位置情報Pg1を求め、第2のGPS受信機が受信したGPS信号に基づいて第2のGPS受信機の位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第1算出部と、を備え、
前記第2計測器は、
前記対象装置のロール方向の姿勢を計測する第3のジャイロセンサと、
前記対象装置のピッチ方向の姿勢を計測する第4のジャイロセンサと、
前記対象装置に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第3および第4のGPS受信機と、
第3のGPS受信機が受信したGPS信号に基づいて第3のGPS受信機の位置を示す位置情報Pg3を求め、第4のGPS受信機が受信したGPS信号に基づいて第4のGPS受信機の位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて前記対象装置のヨー方向の姿勢を算出する第2算出部と、を備え、
前記計測データは、前記第1計測器が取得した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、前記第2計測器が取得した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、を含む。
The first measuring instrument is
A first gyro sensor for measuring a posture of the main body in the roll direction in the working device;
A second gyro sensor for measuring the posture of the main body in the pitch direction in the working device;
A first GPS receiver and a second GPS receiver which are provided in the main body of the work device at intervals in the horizontal direction and receive GPS signals from GPS satellites;
Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS reception is performed based on the GPS signal received by the second GPS receiver. A first calculation unit that obtains position information P g2 indicating the position of the machine, and calculates a posture of the main body in the yaw direction of the working device based on the position information P g1 and P g2 ,
The second measuring instrument is
A third gyro sensor for measuring the posture of the target device in the roll direction;
A fourth gyro sensor for measuring the posture of the target device in the pitch direction;
A third and a fourth GPS receiver provided in the target device at intervals in the horizontal direction and receiving GPS signals from GPS satellites;
The position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS reception is performed based on the GPS signal received by the fourth GPS receiver. A second calculation unit that obtains position information P g4 indicating the position of the machine, and calculates an attitude of the target device in the yaw direction based on the position information P g3 and P g4 ,
The measurement data includes the roll-direction posture, the pitch-direction posture, and the yaw-direction posture of the working device acquired by the first measuring device, and the roll-direction posture of the target device acquired by the second measuring device. , A posture in the pitch direction, and a posture in the yaw direction.
ヨー方向の姿勢は、ジャイロセンサでは高精度に計測しにくく、また、高精度なヨー方向の姿勢をジャイロセンサで得るためには非常に高価なセンサが必要となる。そこで、ヨー方向の姿勢を、2つのGPS受信機で取得した位置情報から算出するので、安価な構成で、高精度なヨー方向の姿勢を得ることができる。 The posture in the yaw direction is difficult to measure with high accuracy by the gyro sensor, and a very expensive sensor is required to obtain the posture in the yaw direction with high accuracy. Therefore, since the attitude in the yaw direction is calculated from position information acquired by the two GPS receivers, a highly accurate attitude in the yaw direction can be obtained with an inexpensive configuration.
上述した本発明によると、上述の数値データ生成部により、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、前記計測データから生成し、第1および第2の数値データの一方または両方を送信する。 According to the present invention described above, one or both of the first and second numerical data used for adjusting one or both of the relative posture and the relative position between the manipulator and the target device by the numerical data generation unit described above. Both are generated from the measurement data, and one or both of the first and second numerical data are transmitted.
第1および第2の数値データの一方または両方が表示部に対して送信される場合には、表示部は、送信されてきた第1および第2の数値データの一方または両方を表示するので、人は、表示された第1および第2の数値データの一方または両方に基づいて、操作部を操作することにより、マニピュレータの姿勢と位置の一方または両方を調整できる。したがって、マニピュレータが対象装置に対して作業を行うための両者の姿勢合わせおよび位置合わせの一方または両方が容易になる。 When one or both of the first and second numerical data are transmitted to the display unit, the display unit displays one or both of the transmitted first and second numerical data. A person can adjust one or both of the posture and position of the manipulator by operating the operation unit based on one or both of the displayed first and second numerical data. Therefore, one or both of the posture alignment and alignment for the manipulator to perform work on the target device is facilitated.
第1または第2の数値データがマニピュレータ制御部に対して送信される場合には、作業装置の制御部は、第1または第2の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する。したがって、マニピュレータが対象装置に対して作業を行うための両者の姿勢合わせおよび位置合わせの一方または両方が自動で行われる。 When the first or second numerical data is transmitted to the manipulator control unit, the control unit of the work device determines one or both of the posture and the position of the manipulator based on the first or second numerical data. Adjust. Therefore, one or both of the posture alignment and alignment for the manipulator to perform work on the target device is automatically performed.
このように、姿勢合わせおよび位置合わせの一方または両方が、容易になり、または、自動で行われるので、操作部の操作により、対象装置に対して作業をマニピュレータに行わせることが容易になる。 As described above, one or both of the posture alignment and the alignment is facilitated or automatically performed. Therefore, it is easy to cause the manipulator to perform the work on the target device by operating the operation unit.
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 A preferred embodiment of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図1は、本発明の遠隔操作支援装置が適用可能な遠隔操作システム20の一例を示すブロック図である。遠隔操作システム20は、遠隔操作装置3と、この遠隔操作装置3に制御されて対象装置5に対して作業を行う作業装置7とを備える。本実施形態では、遠隔操作システム20は、対象装置5をさらに含む。
FIG. 1 is a block diagram showing an example of a
遠隔操作装置3は、表示部9と操作部11と第1データ処理部12と第1通信部13とを備える。表示部9は、作業装置7から見た状況を表わす観察データ(後述する)が作業装置7から無線または有線で送信されてきた場合に、この観察データを表示する。表示部9は、例えば、液晶ディスプレイである。操作部11は、人に操作され、この操作に応じた操作信号を生成する。操作部11は、例えば、操作レバー、ジョイスティック、ボタン、およびタッチパネルの少なくともいずれかを含む。第1データ処理部12は、操作部11により生成された操作信号に従って動作指令を生成する。第1通信部13は、第1データ処理部12により生成された動作指令を作業装置7へ無線または有線で送信する。
The
また、第1データ処理部12は、上述の動作指令の調整(例えば、ゲイン調整やオフセット調整)を行ってもよい。この場合、調整された動作指令が、第1通信部13により送信される。また、第1データ処理部12は、第1通信部13が作業装置7から受けたデータ(例えば、後述の観察データ)から、表示用の画像データを生成して表示部9へ送る。
The first
作業装置7は、対象装置5に対して作業を行う。作業装置7と対象装置5の一例を図2に示す。作業装置7は、図2のように、地上を移動する移動手段(クローラや、回転駆動される車輪や、歩行脚など)を有する本体7aと、本体7aに設置されたマニピュレータ7bと、マニピュレータ7bと一体で動作するようにマニピュレータ7bに支持され上述の作業を行う作業実行部7cと、を備える。作業実行部7cは、マニピュレータ7bの先端部に取り付けられるハンドもしくはツール、または、マニピュレータ7bの先端部のハンドに把持されるツールである。本体7aは、操作部11の操作に応じた操作信号に従って生成された動作指令に従って地上を移動する。マニピュレータ7bは、上述の動作指令に従って、本体7a上で、本体7aに対して相対的に動作する。作業実行部7cは、上述の動作指令に従って作業を行う。
The work device 7 performs work on the
図2では、作業装置7は、対象装置5に対する作業として対象装置5に設けた給油口内へ給油を行う。この場合、作業実行部7cは、給油ノズルであり、作業対象部5aは、給油口である。給油ノズル7cが、対象装置5の上述の給油タンクの給油口5aに挿入された状態で、給油ノズル7cから、給油口5a内へ給油が行われる。対象装置5は、制御部5b(図1を参照)を有する。対象装置5は、遠隔操作、自律制御、または両者の組み合わせにより、地上を移動し、所定の任務を行う車両や建機やロボットである。所定の任務は、例えば、作業エリア内の情報収集(例えば、状況を表わす画像の取得)や計測作業(例えば、放射線量計測)、瓦礫や岩石などの障害物撤去作業、砂防、築堤、構造物設置などの復旧作業、土砂や岩石などの積載や運搬や運送作業などである。
In FIG. 2, the working device 7 supplies oil into a fuel filler opening provided in the
作業装置7は、第2通信部15と第2データ処理部16とマニピュレータ制御部17と観察データ取得センサ21とを備える。
The work device 7 includes a
第2通信部15は、遠隔操作装置3の第1通信部13から無線または有線で送信された動作指令を受信する。
The
第2データ処理部16は、第2通信部15により受信した動作指令に従って制御信号を生成する。
The second
マニピュレータ制御部17は、第2データ処理部16が生成した制御信号(すなわち、上述の動作指令)に従って作業装置7を動作させる。図2のような構成の場合には、マニピュレータ制御部17は、動作指令に従って、本体7aに対するマニピュレータ7bの相対的な動作(移動や姿勢変化)、および、作業実行部7cによる作業を制御する。なお、好ましくは、マニピュレータ制御部17は、マニピュレータ7bまたは作業実行部7cからフィードバック信号(例えば、後述のマニピュレータデータ)を受け、このフィードバック信号にも基づいて、マニピュレータ7bまたは作業実行部7cを制御する。
The
観察データ取得センサ21は、作業装置7に設けられ、作業装置7から見た状況を表わす観察データを取得する。この観察データは、作業装置7の第2通信部15により表示部9に対して無線または有線で送信される。すなわち、作業装置7の第2通信部15は、観察データを、遠隔操作装置3の第1通信部13に無線または有線で送信する。これにより、遠隔操作装置3の第1通信部13が受信した観察データが、遠隔操作装置3の表示部9に表示される。
好ましくは、観察データ取得センサ21が取得した観察データは、第2データ処理部16に入力される。第2データ処理部16は、入力された観察データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。この場合、このようにデータ処理された観察データが、第2通信部15から第1通信部13へ送信される。
The observation
Preferably, the observation data acquired by the observation
観察データ取得センサ21は、作業装置7から見た状況を撮像するカメラであってよい。この場合には、このカメラが撮像した画像データが観察データとなる。
代わりに、観察データ取得センサ21は、作業装置7から見た状況を、3次元的に計測する3次元形状計測センサであってもよい。この場合には、この3次元形状計測センサが計測した3次元形状データが観察データとなる。なお、3次元形状計測センサは、LRF(laser range finder)、距離画像センサ、または、ステレオカメラを有するものであってよい。また、上述の3次元形状計測センサは、さらに、画像データや形状データを取得する以外の各種環境(例えば、放射線量、温度、湿度など)を計測するセンサを含んでもよい。
The observation
Instead, the observation
図2の例では、観察データ取得センサ21として、センサ21a(例えば、カメラ)およびセンサ21b(例えば、カメラ)が配置される。センサ21aは、マニピュレータ7bの先端部に取り付けられ、センサ21bは、本体7aに取り付けられる。センサ21aは、作業対象部5aを含む領域の状況を表わす観察データを取得する。センサ21bは、本体7aの一方側(例えば、進行方向側)の状況を表わす観察データを取得する。
In the example of FIG. 2, a
なお、対象装置5は、操作部11と同様の操作部に操作されてもよい。この場合、このような操作部を人が操作することにより操作信号が生成され、この操作信号に基づいて動作指令が生成され、この動作指令が、対象装置5の第3通信部5cに受信される。第3通信部5cに受信された動作指令は、対象装置5の第3データ処理部34により処理されることにより、この動作指令に従った制御信号が生成される。対象装置5の制御部5bは、この制御信号に従って、対象装置5の動作(例えば、対象装置5を移動させる駆動装置の動作)を制御する。
The
本発明の実施形態による遠隔操作支援装置10は、上述した遠隔操作装置3と作業装置7とを備える遠隔操作システム20に設けられる。図3は、遠隔操作支援装置10の構成を示すブロック図である。
The remote
遠隔操作支援装置10は、図3に示すように、相対データ計測装置23と数値データ生成部25を備える。
As shown in FIG. 3, the remote
相対データ計測装置23は、作業装置7の本体7aと対象装置5との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する。計測データは、本実施形態では、数値を示すデータである。
The relative
作業装置7には、マニピュレータ計測装置24が設けられる。マニピュレータ計測装置24は、作業装置7の本体7aに固定されたマニピュレータ座標系におけるマニピュレータ7b(より具体的には、作業実行部7c)の姿勢と位置の一方または両方をマニピュレータデータとして計測する。マニピュレータデータは、数値を示すデータである。マニピュレータ7bが、複数のアームを互いに回転可能に連結されることにより構成されており、各アームが、サーボモータにより他のアームに対して回転させられる場合には、マニピュレータ計測装置24は、これらのサーボモータの回転角を検出するセンサ24aと、検出されたこれらの回転角と各アームの長さなどに基づいて、マニピュレータデータを算出する演算部24bとを有する。図3の例では、演算部24bは、マニピュレータ制御部17に組み込まれている。
The work device 7 is provided with a
数値データ生成部25は、上述の作業を行うために、マニピュレータ7bと対象装置5との相対姿勢と相対位置の一方または両方を調整することに用いられる第1または第2の数値データを、計測データから生成する。第1の数値データは、マニピュレータ座標系における作業対象部5aの姿勢と位置の一方または両方(本実施形態では、両方)を示す数値データであり、第2の数値データは、マニピュレータデータと上述の計測データとから数値データ生成部25により生成され、上述の作業を行うために、マニピュレータ7bと対象装置5との相対姿勢と相対位置の一方または両方を調整する量を示す数値データである。なお、一例では、数値データ生成部25は、遠隔操作装置3または作業装置7に設けられる。なお、相対データ計測装置23が取得した計測データは、無線または有線により数値データ生成部25へ送信される。
The numerical
第1または第2の数値データが生成されると、数値データ伝達部(図3を参照)は、第1または第2の数値データを表示部9に対して伝える処理A、または、第1または第2の数値データを作業装置7のマニピュレータ制御部17に対して伝える処理Bを行う。
When the first or second numerical data is generated, the numerical data transmission unit (see FIG. 3) performs the process A for transmitting the first or second numerical data to the
処理Aが行われるように数値データ伝達部が構成されている場合には、表示部9は、送信されてきた第1または第2の数値データを表示する。人は、この表示を見て、上述の作業を行うために、操作部11を操作する。
When the numerical data transmission unit is configured to perform the process A, the
処理Bが行われるように数値データ伝達部が構成されている場合には、マニピュレータ制御部17は、送信されてきた第1または第2の数値データに基づいて、マニピュレータ7bの姿勢と位置の一方または両方(本実施形態では、両方)を調整する。
When the numerical data transmission unit is configured to perform the process B, the
好ましくは、計測データは、上述の相対姿勢に関する姿勢計測データを含み、第1または第2の数値データは、上述の作業を行うために上述の相対姿勢を調整することに用いられる姿勢数値データを含む。 Preferably, the measurement data includes posture measurement data regarding the above-described relative posture, and the first or second numerical data includes posture numerical data used for adjusting the above-described relative posture in order to perform the above-described operation. Including.
さらに好ましくは、計測データは、姿勢計測データに加えて、上述の相対位置に関する位置計測データを含み、第1または第2の数値データは、姿勢数値データに加えて、上述の作業を行うために上述の相対位置を調整することに用いられる位置数値データを含む。 More preferably, the measurement data includes position measurement data related to the relative position in addition to the posture measurement data, and the first or second numerical data is for performing the above-described operation in addition to the posture numerical data. It includes position numerical data used to adjust the relative position described above.
相対データ計測装置23は、第1計測器23aと第2計測器23bを備える。第1計測器23aは、作業装置7に設けられ、静止座標系における作業装置7の位置および姿勢の一方または両方(本実施形態では、両方)を計測データの一部として取得するものであればよく、後述の構成例に限定されない。第2計測器23bは、対象装置5に設けられ、静止座標系における対象装置5の位置および姿勢の一方または両方(本実施形態では、両方)を計測データの一部として取得するものであればよく、後述の構成例に限定されない。数値データ生成部25は、相対データ計測装置23(第1計測器23aと第2計測器23b)が取得した計測データに基づいて、第1または第2の数値データを生成する。
The relative
数値データ生成部25が、遠隔操作装置3に設けられる場合には、数値データ生成部25は、遠隔操作装置3の第1データ処理部12に組み込まれるのがよい。この場合、第1計測器23aが取得した計測データは、第2データ処理部16と第2通信部15と第1通信部13を通して数値データ生成部25(すなわち、第1データ処理部12)へ送信され、第2計測器23bが取得した計測データは、第3データ処理部34と第3通信部5cと第1通信部13を通して数値データ生成部25(すなわち、第1データ処理部12)へ送信される。
この場合、第2データ処理部16は、第1計測器23aが取得した計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。このようにデータ処理された計測データが、第2通信部15から、第1通信部13へ送信されて数値データ生成部25に入力される。この場合、同様に、第3データ処理部34は、第2計測器23bが取得した計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。このようにデータ処理された計測データが、第3通信部5cから、第1通信部13へ送信されて数値データ生成部25に入力される。
When the numerical
In this case, the second
数値データ生成部25が、遠隔操作装置3に設けられる場合に、上述の処理Aが行われるときには、処理Aは、好ましくは、数値データ生成部25(この例では、第1データ処理部12)に設けられた数値データ伝達部により行われる。数値データ生成部25が、遠隔操作装置3に設けられる場合に、上述の処理Bが行われるときには、処理Bは、好ましくは、第1通信部13により行われる。すなわち、第1通信部13は、数値データ伝達部として機能して、第2通信部15へ第1または第2の数値データを送信し、これにより、第1または第2の数値データがマニピュレータ制御部17へ伝えられる。この場合、第1または第2の数値データは、第2データ処理部16により適宜のデータ処理(例えば、補正処理や変換処理など)がなされて、マニピュレータ制御部17へ伝えられてもよい。
When the numerical
数値データ生成部25が、作業装置7に設けられる場合には、数値データ生成部25は、作業装置7の第2データ処理部16に組み込まれるのがよい。この場合、第1計測器23aが取得した計測データは、数値データ生成部25(すなわち、第2データ処理部16)に入力され、第2計測器23bが取得した計測データは、第3データ処理部34と第3通信部5cと第2通信部15を通して数値データ生成部25(すなわち、第2データ処理部16)へ送信される。
この場合、第3データ処理部34は、第2計測器23bが取得した計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。このようにデータ処理された計測データが、第3通信部5cから、第2通信部15へ送信されて数値データ生成部25(第2データ処理部16)に入力される。
When the numerical
In this case, the third
数値データ生成部25が、作業装置7に設けられる場合に、上述の処理Aが行われるときには、処理Aは、好ましくは、第2通信部15により行われる。この場合、第2通信部15は、数値データ伝達部として機能して、第1通信部13へ第1または第2の数値データを送信し、これにより、第1または第2の数値データが表示部9へ伝えられる。また、この場合、第1または第2の数値データは、第1データ処理部12により表示用の第1または第2の数値データにされて、表示部9へ伝えられてもよい。数値データ生成部25が、作業装置7に設けられる場合に、上述の処理Bが行われるときには、処理Bは、好ましくは、数値データ生成部25に設けられた数値データ伝達部により行われる。すなわち、この数値データ伝達部が、第1または第2の数値データをマニピュレータ制御部17へ送信する。この場合、数値データ生成部25は、生成した第1または第2の数値データに対して適宜のデータ処理(例えば、補正処理や変換処理など)を行い、このようにデータ処理された第1または第2の数値データを上述の数値データ伝達部がマニピュレータ制御部17へ伝えてもよい。
When the numerical
なお、上述のように、処理Aまたは処理Bを行う数値データ伝達部は、遠隔操作支援装置10の構成要素となる。図3の例では、数値データ生成部25に数値データ伝達部が設けられている。
As described above, the numerical data transmission unit that performs the process A or the process B is a component of the remote
第1計測器23aによる作業装置7の本体7aの姿勢の計測を述べる。第1計測器23aは、作業装置7の本体7aの姿勢として、ロール方向の姿勢と、ピッチ方向の姿勢とを計測し、ヨー方向の姿勢を取得するためのデータを計測する。ロール方向の姿勢は、作業装置7の本体7aに固定されたロール軸(本体7aの前後に延びる軸)回りに、本体7aが基準姿勢から回転した角度θr0で表される。ピッチ方向の姿勢は、本体7aに固定されたピッチ軸(この例では、作業装置7の左右に延びる軸)回りに、本体7aが基準姿勢から回転した角度θp0で表される。ヨー方向の姿勢は、本体7aに固定されたヨー軸(この例では、ロール軸とピッチ軸の両方に直交する軸)回りに、本体7aが基準姿勢から回転した角度θy0で表される。本体7aが基準姿勢にある状態では、ヨー軸は、鉛直方向を向いている。
The measurement of the posture of the
第1計測器23aは、第1および第2のジャイロセンサ29a,29bと第1および第2のGPS受信機31a,31bと第1算出部32を備える。第1のジャイロセンサ29aは、ロール方向の本体7aの姿勢を計測する。第2のジャイロセンサ29bは、ピッチ方向の本体7aの姿勢を計測する。第1および第2のGPS受信機31a,31bは、作業装置7の本体7aに水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する。第1算出部32は、第1のGPS受信機31aが受信したGPS信号に基づいて静止座標系における第1のGPS受信機31aの位置を示す位置情報Pg1を求め、第2のGPS受信機31bが受信したGPS信号に基づいて静止座標系における第2のGPS受信機31bの位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて本体7aのヨー方向の姿勢を算出する。このような第1および第2のGPS受信機31a,31bと第1算出部32は、GPSコンパスを構成する。
The
なお、本明細書において、静止座標系は、地上に固定された座標系である。以下において、X軸とY軸とZ軸は、静止座標系における、互いに直交する座標軸を意味し、Z軸は鉛直方向を向く。 In this specification, the stationary coordinate system is a coordinate system fixed on the ground. In the following, the X axis, the Y axis, and the Z axis mean coordinate axes that are orthogonal to each other in the stationary coordinate system, and the Z axis faces the vertical direction.
図1の例では、第1計測器23aが取得したロール方向の姿勢とピッチ方向の姿勢とヨー方向の姿勢とは、姿勢計測データとして、第2データ処理部16に入力される。第2データ処理部16は、入力された姿勢計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。この場合、このようにデータ処理された姿勢計測データが、数値データ生成部25に送信される。
In the example of FIG. 1, the posture in the roll direction, the posture in the pitch direction, and the posture in the yaw direction acquired by the
図3の例では、第1算出部32は、作業装置7の第2データ処理部16に組み込まれているが、第1算出部32を、他の場所に設けてもよい。例えば、数値データ生成部25が、遠隔操作装置3に設けられる場合には、第1算出部32も遠隔操作装置3に設けられてもよい。
In the example of FIG. 3, the
第2計測器23bによる対象装置5の姿勢の計測を述べる。第2計測器23bは、対象装置5の姿勢として、ロール方向の姿勢と、ピッチ方向の姿勢とを計測し、ヨー方向の姿勢を取得するためのデータを計測する。ロール方向の姿勢は、対象装置5に固定されたロール軸(対象装置5の前後に延びる軸)回りに、対象装置5が基準姿勢から回転した角度θr1で表される。ピッチ方向の姿勢は、対象装置5に固定されたピッチ軸(この例では、対象装置5の左右に延びる軸)回りに、対象装置5が基準姿勢から回転した角度θp1で表される。ヨー方向の姿勢は、対象装置5に固定されたヨー軸(この例では、ロール軸とピッチ軸の両方に直交する軸)回りに、対象装置5が基準姿勢から回転した角度θy1で表される。対象装置5が基準姿勢にある状態では、ヨー軸は、鉛直方向を向いている。
The measurement of the posture of the
第2計測器23bは、第3および第4のジャイロセンサ33a,33bと第3および第4のGPS受信機35a,35bと第2算出部36とを備える。
第3のジャイロセンサ33aは、ロール方向の対象装置5の姿勢を計測する。第4のジャイロセンサ33bは、ピッチ方向の対象装置5の姿勢とを計測する。第3および第4のGPS受信機35a,35bは、対象装置5に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する。第2算出部36は、第3のGPS受信機35aが受信したGPS信号に基づいて静止座標系における第3のGPS受信機35aの位置を示す位置情報Pg3を求め、第4のGPS受信機35bが受信したGPS信号に基づいて静止座標系における第4のGPS受信機35bの位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて対象装置5のヨー方向の姿勢を算出する。このような第3および第4のGPS受信機35a,35bと第2算出部36は、GPSコンパスを構成する。
The
The
図1の例では、第2計測器23bが取得したロール方向の姿勢とピッチ方向の姿勢とヨー方向の姿勢とは、姿勢計測データとして、第3データ処理部34に入力される。第3データ処理部34は、入力された姿勢計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。この場合、このようにデータ処理された姿勢計測データが、数値データ生成部25に送信される。
In the example of FIG. 1, the posture in the roll direction, the posture in the pitch direction, and the posture in the yaw direction acquired by the
図3の例では、第2算出部36は、対象装置5の第3データ処理部34に組み込まれているが、第2算出部36を、他の場所に設けてもよい。例えば、数値データ生成部25が、遠隔操作装置3に設けられる場合には、第2算出部36も遠隔操作装置3に設けられてもよい。
In the example of FIG. 3, the
数値データ生成部25は、上述のように取得した本体7aのロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、上述のように取得した対象装置5のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とに基づいて、上述の作業を行うために、前記本体7aと前記マニピュレータ7bとの相対姿勢と相対位置を調整することに用いられる第1または第2の数値データを算出する。
The numerical
第1計測器23aの第1算出部32は、上述の位置情報Pg1と位置情報Pg2の一方または両方に基づいて、作業装置7の本体7aの位置を示す位置情報P0を生成する。位置情報P0は、作業装置7の本体7aに固定された本体座標系の原点の位置を示す。本体座標系は、本体7aに固定され互いに直交する上述のロール軸とピッチ軸とヨー軸を座標軸として有する。本体座標系の原点は、これらのロール軸とピッチ軸とヨー軸との交点である。また、この例では、位置情報P0は、静止座標系で表わされる。なお、本体座標系の原点と、第1および第2のGPS受信機31a,31bの一方または両方との相対位置は、既知であり、第1算出部32に記憶されている。
The
第2計測器23bの第2算出部36は、上述の位置情報Pg3と位置情報Pg4の一方または両方に基づいて、対象装置5の位置を示す位置情報P1を生成する。位置情報P1は、対象装置5に固定された対象装置座標系の原点の位置を示す。対象装置座標系は、対象装置5に固定され互いに直交する上述のロール軸とピッチ軸とヨー軸を座標軸として有する。対象装置座標系の原点は、これらのロール軸とピッチ軸とヨー軸との交点である。また、この例では、位置情報P1は、静止座標系で表わされる。なお、対象装置座標系の原点と、第3および第4のGPS受信機35a,35bの一方または両方との相対位置は、既知であり、第2算出部36に記憶されている。
The
上述した本発明の実施形態による遠隔操作支援装置10を用いた遠隔操作支援方法を述べる。図4は、この遠隔操作支援方法を示すフローチャートである。
A remote operation support method using the remote
ステップS1において、作業装置7と対象装置5とを互いに近接させる。本実施形態では、上述した作業エリア内において対象装置5を停止させ、作業装置7を対象装置5の近くへ移動させる。
In step S1, the work device 7 and the
ステップS1における対象装置5の停止は、例えば、対象装置5が停止指令を受信することによって対象装置5の制御部5bに行われる。この停止指令は、例えば操作部11と同様の操作部を人が操作することにより、停止指令が無線または有線で対象装置5へ送信され、対象装置5の第3通信部5cに受信される。なお、図2の例では、対象装置5の作業対象部5aの位置が、作業装置7のマニピュレータ7b(より厳密には、作業実行部7c)の動作範囲内にあると作業を効率的に行うことができるため、このような位置関係が得られるように作業装置7を移動をさせる。マニピュレータ7bの動作範囲とは、本体7aが停止した状態で、作業実行部7cが到達できる範囲を意味する。
The stop of the
ステップS1における作業装置7の本体7aの移動は、操作部11、または、操作部11と同様の操作部を人が操作することにより制御されてもよい。この場合、このような操作部を人が操作することにより操作信号が生成され、この操作信号に基づいて動作指令が生成され、この動作指令が、作業装置7の第2通信部15に受信される。第2通信部15に受信された動作指令は、第2データ処理部16により処理されることにより、この動作指令に従った制御信号が生成される。作業装置7の本体制御部(図示せず)は、この制御信号に従って、作業装置7の本体7aに設けられた上述の移動手段を制御することにより、本体7aの位置や向きを変化させる。この時、作業装置7の本体7aの位置情報P0と対象装置5の位置情報P1が、表示部9に伝えられて表示部9に表示される。人は、表示部9に表示された位置情報P0,P1を見て、操作部11を操作して、上述したように、作業対象部5aの位置が作業装置7のマニピュレータ7bの動作範囲内になるように、作業装置7を対象装置5の近くへ移動させる。
The movement of the
なお、この時、位置情報P1の代わりに、静止座標系で表わされた作業対象部5aの位置を示す位置情報Ptが表示部9に表示されてもよい。ここで、位置情報Ptは、位置情報P1と、予め分かっている後述の相対位置ΔPtとにより求められる。この場合、第1データ処理部12は、相対位置ΔPtを記憶しており、このΔPtと、第2算出部36から送られた位置情報P1とに基づいて位置情報Ptを生成して表示部9に出力する。
At this time, instead of the position information P 1 , position information P t indicating the position of the
ステップS1が行われたら、ステップS2〜S6が行われる。すなわち、作業対象部5aが、マニピュレータ7bの動作範囲内に位置する状態で、ステップS2〜S6が行われる。ステップS2〜S6の開始は、例えば、操作部11の操作により、計測指令が、生成されて、第1計測器23aと第2計測器23bに対して無線または有線で送信されることによりなされる。
When step S1 is performed, steps S2 to S6 are performed. That is, steps S2 to S6 are performed in a state where the
ステップS2において、第1計測器23aは、作業装置7の本体7aの姿勢として、ロール方向の姿勢θr0と、ピッチ方向の姿勢θp0と、ヨー方向の姿勢θy0を計測する。計測されたこれらの姿勢θr0,θp0,θy0は、姿勢計測データとして数値データ生成部25に送信される。
In step S2, the
ステップS3において、第1計測器23aは、作業装置7の本体7aの位置を示す位置情報P0を取得し、この位置情報P0が、位置計測データとして数値データ生成部25に送信される。
In step S <b> 3, the first measuring
ステップS4において、第2計測器23bは、対象装置5の姿勢として、ロール方向の姿勢θr1と、ピッチ方向の姿勢θp1と、ヨー方向の姿勢θy1を計測する。計測されたこれらの姿勢θr1,θp1,θy1は、姿勢計測データとして数値データ生成部25に送信される。
In step S4, the
ステップS5において、第2計測器23bは、対象装置5の位置を示す位置情報P1を取得し、この位置情報P1が、位置計測データとして数値データ生成部25に送信される。
In step S5, the
ステップS6において、マニピュレータ計測装置24は、マニピュレータ座標系におけるマニピュレータ7b(作業実行部7c)の姿勢と位置を、それぞれマニピュレータデータθe,Peとして計測する。
In step S6, the
ステップS2〜S6が行われたら、ステップS7とステップS8が行われる。本実施形態では、ステップS7とステップS8において、第1の数値データの姿勢数値データと位置数値データを算出する場合と、ステップS7とステップS8において、第2の数値データの姿勢数値データと位置数値データを算出する場合とがある。 When steps S2 to S6 are performed, steps S7 and S8 are performed. In the present embodiment, the posture numerical data and position numerical data of the first numerical data are calculated in steps S7 and S8, and the posture numerical data and position numerical values of the second numerical data are calculated in steps S7 and S8. Sometimes data is calculated.
ステップS7において、数値データ生成部25は、第1または第2の数値データに含まれる姿勢数値データを算出する。
In step S <b> 7, the numerical
ステップS7において、第1の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(1)で表されるΔθAを算出する。
この算出は、ステップS2で計測された作業装置7のロール方向の姿勢θr0、ピッチ方向の姿勢θp0、およびヨー方向の姿勢θy0と、ステップS4で計測された対象装置5のロール方向の姿勢θr1、ピッチ方向の姿勢θp1、およびヨー方向の姿勢θy1と、後述のΔθmに基づいて行われる。
ΔθA=Δθ1−0−(Δθm+Δθt) ・・・(1)
In step S7, when calculating the attitude numerical data included in the first numerical data, the numerical
This calculation is based on the orientation θ r0 in the roll direction, the orientation θ p0 in the pitch direction, and the orientation θ y0 in the yaw direction measured in step S2 and the roll direction of the
Δθ A = Δθ 1-0 − (Δθ m + Δθ t ) (1)
ステップS7において、第2の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(2)で表されるΔθBを算出する。
この算出は、ステップS2で計測された作業装置7のロール方向の姿勢θr0、ピッチ方向の姿勢θp0、およびヨー方向の姿勢θy0と、ステップS4で計測された対象装置5のロール方向の姿勢θr1、ピッチ方向の姿勢θp1、およびヨー方向の姿勢θy1と、後述のΔθmと、ステップS6で計測されたマニピュレータデータθeに基づいて行われる。
ΔθB=Δθ1−0−(Δθm+Δθt)−θe ・・・(2)
In step S7, when calculating the attitude numerical data included in the second numerical data, the numerical
This calculation is based on the orientation θ r0 in the roll direction, the orientation θ p0 in the pitch direction, and the orientation θ y0 in the yaw direction measured in step S2 and the roll direction of the
Δθ B = Δθ 1-0 − (Δθ m + Δθ t ) −θ e (2)
式(1)と式(2)における各記号について、詳しく説明する。 Each symbol in Formula (1) and Formula (2) will be described in detail.
Δθ1−0は、作業装置7の本体7aに固定された本体座標系(例えば、この座標系の座標軸)に対する対象装置座標系(例えば、この座標系の座標軸)の相対姿勢を示すベクトルであり、前記姿勢計測データにより表される。詳しくは、次の通りである。Δθ1−0は、ロール方向に関する角度成分Δθrとピッチ方向に関する角度成分Δθpとヨー方向に関する角度成分Δθyからなる。したがって、Δθ1−0は、Δθ1−0=(Δθr,Δθp,Δθy)で表される。Δθr=θr1−θr0であり、Δθp=θp1−θp0であり、Δθy=θy1−θy0で表される。なお、本明細書において、Δθ1−0,Δθm,Δθtの各々は、ロール方向に関する角度成分とピッチ方向に関する角度成分とヨー方向に関する角度成分を有するベクトルである。式(1)(2)において、Δθ1−0,Δθm,Δθt,θe間での記号「−」による減算や記号「+」による加算は、上述の角度成分毎に、独立して行われる。本明細書では、このような意味で、ΔθA,ΔθB,Δθ1−0,Δθm,Δθt,およびθeをベクトルとして扱う。ただし、この減算や加算は、好ましくは、Δθ1−0,Δθm,Δθt、およびθeの各角度成分をマニピュレータ座標系での角度成分(例えば、マニピュレータ座標系の各座標軸回りの方向に関する角度成分)で行う。すなわち、Δθ1−0,Δθm,Δθt、およびθeの各角度成分がマニピュレータ座標系での角度成分に換算されていない場合には、この換算を行った上で、式(1)(2)における上述の減算と加算を行う。
Δθ 1-0 is a vector indicating the relative posture of the target apparatus coordinate system (for example, the coordinate axis of this coordinate system) with respect to the main body coordinate system (for example, the coordinate axis of this coordinate system) fixed to the
Δθmは、本体座標系に対する、マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。Δθmは、本実施形態では、作業装置7の本体7aに固定されたロール軸、ピッチ軸、およびヨー軸に対応するロール方向、ピッチ方向、およびヨー方向に関する角度成分を有する。
Δθ m is a known fixed vector indicating the attitude of the manipulator coordinate system with respect to the main body coordinate system, and is set in advance. Each component of this vector is a fixed value. In the present embodiment, Δθ m has an angular component related to the roll direction, pitch direction, and yaw direction corresponding to the roll axis, pitch axis, and yaw axis fixed to the
Δθtは、対象装置5における作業対象部5aの向き(基準線)に対する、対象装置座標系(例えば、この座標系の座標軸)の姿勢を示すベクトルであり、予め設定されている。作業対象部5aの向きは、対象装置5に固定されている。例えば、作業対象部5aが後述の給油口である場合には、Δθtは、給油口の向きに対する対象装置座標系の姿勢を示す。
Δθ t is a vector indicating the orientation of the target device coordinate system (for example, the coordinate axis of this coordinate system) with respect to the direction (reference line) of the
ΔθmとΔθtは、数値データ生成部25の記憶部に予め記憶されている。
Δθ m and Δθ t are stored in advance in the storage unit of the numerical
θeは、マニピュレータ座標系の座標軸に対するマニピュレータ(すなわち、作業実行部7c)の姿勢を示すベクトルであり、マニピュレータ計測装置24により計測される。例えば、マニピュレータ座標系が、互いに直交する3つの座標軸を有する場合に、これらの座標軸毎に、θeは角度成分を有する。すなわち、θeの各角度成分は、対応する座標軸回りに、作業実行部7cが基準姿勢から回転した角度である。
θ e is a vector indicating the attitude of the manipulator (that is, the
上式(1)で表されるΔθAは、マニピュレータ座標系に対する作業対象部5aの向き(姿勢)を示し、上式(2)で表されるΔθBは、マニピュレータ7b(より正確には、作業実行部7c)の向き(姿勢)に対する作業対象部5aの向き(姿勢)を示す。作業実行部7cの向きは、作業実行部7cに固定された基準線の向きであってよい。
Δθ A expressed by the above equation (1) indicates the orientation (posture) of the
ステップS8において、数値データ生成部25は、第1または第2の数値データに含まれる位置数値データを算出する。
In step S8, the numerical
ステップS8において、第1の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(3)で表されるΔPAを算出する。
この算出は、ステップS3で取得された作業装置7の位置情報P0と、ステップS5で取得された対象装置5の位置情報P1と、後述のΔPmと、後述のΔPOFFに基づいて行われる。
ΔPA=ΔP1−0−(ΔPm+ΔPt+ΔPOFF) ・・・(3)
In step S8, when calculating the position numeric data included in the first numerical data,
This calculation is performed based on the position information P 0 of the working device 7 acquired in step S3, the position information P 1 of the
ΔP A = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) (3)
ステップS8において、第2の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(4)で表されるΔPBを算出する。
この算出は、ステップS3で取得された作業装置7の位置情報P0と、ステップS5で取得された対象装置5の位置情報P1と、後述のΔPmと、後述のΔPOFFと、ステップS6で計測されたマニピュレータデータPeに基づいて行われる。
ΔPB=ΔP1−0−(ΔPm+ΔPt+ΔPOFF)−Pe ・・・(4)
In step S8, when calculating the position numerical data included in the second numerical data, the numerical
This calculation is based on the position information P 0 of the working device 7 acquired in step S3, the position information P 1 of the
ΔP B = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) −P e (4)
式(3)と式(4)における各記号について、詳しく説明する。 Each symbol in Formula (3) and Formula (4) will be described in detail.
ΔP1−0は、作業装置7の本体7aに固定された本体座標系(この座標系の原点)に対する対象装置座標系(この座標系の原点)の相対位置を示すベクトルであり、位置計測データにより表される。ΔP1−0は、ΔP1−0=P1−P0で表される。P0,P1,ΔP1−0,ΔPA,ΔPB,ΔPm,ΔPt,ΔPOFFの各々は、例えば、静止座標系のX軸座標成分とY軸座標成分とZ軸座標成分を有する。各式において、ΔP1−0,ΔPm,ΔPt,ΔPOFF,Pe間での記号「−」による減算や記号「+」による加算は、上述の座標成分毎に、独立して行われる。ただし、この減算や加算は、好ましくは、P0,P1,ΔP1−0,ΔPm,ΔPt,ΔPOFF,およびPeの間での減算や加算は、マニピュレータ座標系での座標成分で行う。すなわち、P0,P1,ΔP1−0,ΔPm,ΔPt,ΔPOFF,およびPeの各座標成分がマニピュレータ座標系での座標成分に換算されていない場合には、この換算を行った上で、式(3)(4)における上述の減算と加算を行う。
ΔP 1-0 is a vector indicating the relative position of the target apparatus coordinate system (origin of this coordinate system) with respect to the main body coordinate system (origin of this coordinate system) fixed to the
ΔPmは、本体座標系の原点に対する、マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されている。ΔPmは、数値データ生成部25の記憶部に予め記憶されている。
ΔP m is a known fixed vector indicating the relative position of the origin of the manipulator coordinate system with respect to the origin of the main body coordinate system, and is set in advance. ΔP m is stored in advance in the storage unit of the numerical
ΔPtは、作業対象部5aに対する、対象装置5に固定された対象装置座標系の原点の相対位置を示す。ΔPtは、既知の値であり、数値データ生成部25の記憶部に予め記憶されている。
ΔP t indicates the relative position of the origin of the target device coordinate system fixed to the
ΔPOFFは、作業実行時における作業実行部7cの位置(すなわち、作業対象部5aの位置)からのオフセットを示す。ΔPOFFは、作業対象部5aから見た位置を示し、オフセット量とオフセット方向を示すベクトルである。ΔPOFFは、X軸成分とY軸成分とZ軸成分を有する。ΔPOFFは、後述するように、作業実行時の直前に作業実行部7cが作業対象部5aまで移動する距離と方向を示す。
ΔP OFF indicates an offset from the position of the
Peは、マニピュレータ座標系の座標軸の座標で表される、マニピュレータ7b(すなわち、作業実行部7c)の位置を示すベクトルであり、マニピュレータ計測装置24により計測される。例えば、マニピュレータ座標系が、互いに直交する3つの座標軸を有する場合に、Peは、これらの座標軸毎に、この座標軸の座標値を有する。
Pe is a vector indicating the position of the
上式(3)で表されるΔPAは、マニピュレータ座標系の原点に対する作業対象部5aの相対位置を示し、上式(4)で表されるΔPBは、マニピュレータ7b(より正確には、作業実行部7c)の位置に対する作業対象部5aの相対位置を示す。
ΔP A expressed by the above equation (3) indicates the relative position of the
ステップS9において、上述の数値データ伝達部は、上述の処理Aまたは処理Bを行う。なお、ステップS9では、本体7aは停止している。
In step S9, the numerical data transmission unit described above performs the processing A or the processing B described above. In step S9, the
最初に、ステップS9で処理Aが行われる場合について述べる。 First, the case where process A is performed in step S9 will be described.
ステップS9において、上述の数値データ伝達部は、ステップS7で算出された姿勢数値データΔθAとステップS8で算出された位置数値データΔPA、または、ステップS7で算出された姿勢数値データΔθBとステップS8で算出された位置数値データΔPBを、遠隔操作装置3の表示部9に対して送信する。これにより、姿勢数値データΔθAと位置数値データΔPA、または、姿勢数値データΔθBと位置数値データΔPBが、表示部9に表示される。
In step S9, the numerical data transmission unit described above includes the attitude numerical data Δθ A calculated in step S7 and the position numerical data ΔP A calculated in step S8, or the attitude numerical data Δθ B calculated in step S7. The numerical position data ΔP B calculated in step S8 is transmitted to the
ここで、姿勢数値データΔθAと位置数値データΔPAが、表示部9に送信される場合には、表示部9は、ΔθAとΔPAの他に、マニピュレータデータ送信部からのマニピュレータデータθe,Peも表示する。この場合、ΔθAとθeは、同じ座標系(好ましくは、マニピュレータ座標系)における各軸(座標軸)回りの角度成分で表現され、ΔPAとPeは、同じ座標系(好ましくは、マニピュレータ座標系)の各座標軸における座標成分で表現される。マニピュレータデータθe,Peは、例えば、マニピュレータ計測装置24から、第2通信部15と第1通信部13を介して、表示部9へ送られる。したがって、第2通信部15は、θe,Peを、第1通信部13を介して、表示部9へ送信するマニピュレータデータ送信部として機能する。この場合、第2通信部15は、遠隔操作支援装置10の構成要素となる。なお、表示部9は、例えば、ΔθAとθeとを並列して表示するとともに、PAとPeとを並列して表示する。
Here, when the posture numerical data Δθ A and the position numerical data ΔP A are transmitted to the
次に、第1の数値データΔθA,PAが表示部9に表示される場合と、第2の数値データΔθB,PBが表示部9に表示される場合とをより詳しく説明する。
Next, the case where the first numerical data Δθ A and P A are displayed on the
(第1の数値データが表示される場合)
表示部9が、ΔθAとθeおよびΔPAとPeを表示する場合には、次の操作を人が行う。人は、表示されたΔθAとθeを見て、ΔθAとθeとの差が、対応する角度成分毎に、ゼロとなるように、操作部11を操作することにより、マニピュレータ7b(すなわち、作業実行部7c)の姿勢を変化させる。この時、時々刻々と、マニピュレータ計測装置24は、現在のθeを計測し、このθeが、表示部9へ送られ表示部9に表示される。このようにして、表示部9に表示されるθeは、時々刻々とリアルタイムに更新される。同様に、人は、表示されたΔPAとPeを見て、ΔPAとPeとの差が、対応する座標成分毎に、ゼロとなるように、操作部11を操作することにより、マニピュレータ7b(すなわち、作業実行部7c)の位置を変化させる。この時、時々刻々と、マニピュレータ計測装置24は、現在のPeを計測し、このPeが、表示部9へ送られ表示部9に表示される。このようにして、表示部9に表示されるPeは、時々刻々とリアルタイムに更新される。このようにして、表示部9に表示されるΔθAとθeとの差を、各角度成分についてゼロにし、表示部9に表示されるΔPAとPeを、各座標成分についてゼロにする。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、マニピュレータ7b(作業実行部7c)を作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。
(When the first numerical data is displayed)
(第2の数値データが表示される場合)
表示部9が、ΔθBとΔPBを表示する場合には、次の操作を人が行う。人は、表示された姿勢数値データΔθBと位置数値データΔPBを見て、操作部11を操作することにより、作業装置7を動作させて、姿勢数値データΔθBと位置数値データΔPBに基づいて、ΔθBが示す量だけ、ΔθBが示す方向にマニピュレータ7bの姿勢を変化させ、ΔPBが示す量だけ、ΔPBが示す方向にマニピュレータ7bを移動させる。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、マニピュレータ7b(作業実行部7c)を作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。
(When the second numerical data is displayed)
When the
第1の数値データが表示される場合と、第2の数値データが表示される場合において、ΔPOFFに基づく操作部11の操作は、次のようにしてよい。マニピュレータ7bまたは作業装置7の本体7aに取り付けた観察データ取得センサ21(例えば、カメラ21a)により、作業実行部7cと作業対象部5aを含む領域の観察データ(例えば、画像データ)を取得し、この観察データを表示部9に表示させる。人は、このように表示された観察データを見て、相対データ計測装置23の計測誤差、作業実行部7cの位置精度による誤差などにより、作業実行部7cの位置が作業対象部5aに対してずれていると認識した場合には、このずれを修正するように、操作部11を操作して作業実行部7cの姿勢または位置を調整できる。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
When the first numerical data is displayed and when the second numerical data is displayed, the operation of the operation unit 11 based on ΔP OFF may be performed as follows. Observation data (for example, image data) of a region including the
次に、ステップS9で処理Bが行われる場合について述べる。 Next, the case where the process B is performed in step S9 will be described.
ステップS9において、数値データ伝達部は、ステップS7で算出された姿勢数値データΔθAとステップS8で算出された位置数値データΔPA、または、ステップS7で算出された姿勢数値データΔθBとステップS8で算出された位置数値データΔPBを、作業装置7のマニピュレータ制御部17に対して送信する。
In step S9, the numerical data transmission unit performs the posture numerical data Δθ A calculated in step S7 and the positional numerical data ΔP A calculated in step S8, or the posture numerical data Δθ B calculated in step S7 and step S8. in the calculated position measure [Delta] P B, transmits to the
ステップS9において、ΔθAとΔPAが、マニピュレータ制御部17に対して送信される場合には、マニピュレータ制御部17は、このΔθAとΔPAに基づいて、マニピュレータ7bを制御して、マニピュレータ7b(すなわち、作業実行部7c)の姿勢と位置を調整する。この制御は、例えば、下記の方法1または方法2により行われる。
In step S9, when Δθ A and ΔP A are transmitted to the
(方法1)
マニピュレータ制御部17は、ΔθAを目標姿勢として、マニピュレータ7b(作業実行部7c)の姿勢θeが、ΔθAに一致するように、マニピュレータ7b(作業実行部7c)の姿勢を調整する。また、マニピュレータ制御部17は、ΔPAを目標位置として、マニピュレータ7b(作業実行部7c)の位置Peが、ΔPAに一致するように、マニピュレータ7b(作業実行部7c)の位置を調整する。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、作業実行部7cを作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。ここで、ΔPOFFに基づく操作部11の操作は、上述と同じである。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
(Method 1)
(方法2)
マニピュレータ制御部17は、ΔθAからマニピュレータ7b(作業実行部7c)の姿勢θeを減算したデータ(上述のΔθBに相当するデータ)を求め、マニピュレータ7b(作業実行部7c)の姿勢に対する速度指令の時間積分値が、このデータに一致するように、マニピュレータ7b(作業実行部7c)の姿勢を調整する。また、マニピュレータ制御部17は、ΔPAからマニピュレータ7b(作業実行部7c)の位置Peを減算したデータ(上述のΔPBに相当するデータ)を求め、マニピュレータ7b(作業実行部7c)の位置に対する速度指令の時間積分値が、このデータに一致するように、マニピュレータ7b(作業実行部7c)の位置を調整する。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、作業実行部7cを作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。ここで、ΔPOFFに基づく操作部11の操作は、上述と同じである。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
(Method 2)
なお、方法1と方法2において、θeは、マニピュレータ計測装置24により計測されて、マニピュレータ制御部17に入力され、Peは、マニピュレータ計測装置24により計測されて、マニピュレータ制御部17に入力される。また、方法1と方法2において、ΔθAとθeは、同じ座標系(好ましくは、マニピュレータ座標系)における各軸(座標軸)回りの角度成分で表現され、ΔPAとPeは、同じ座標系(好ましくは、マニピュレータ座標系)の各座標軸における座標成分で表現される。
Incidentally, in the
ステップS9において、ΔθBとΔPBが、マニピュレータ制御部17に対して送信される場合には、マニピュレータ制御部17は、このΔθBとΔPBに基づいて、マニピュレータ7bを制御して、マニピュレータ7b(すなわち、作業実行部7c)の姿勢と位置を調整する。この制御は、例えば、次のように行われる。マニピュレータ制御部17は、姿勢数値データΔθBと位置数値データΔPBに基づいて、ΔθBが示す量だけ、ΔθBが示す方向にマニピュレータ7b(作業実行部7c)の姿勢を変化させ、ΔPBが示す量だけ、ΔPBが示す方向にマニピュレータ7b(作業実行部7c)を移動させる。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、作業実行部7cを作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。ここで、ΔPOFFに基づく操作部11の操作は、上述と同じである。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
When Δθ B and ΔP B are transmitted to the
ステップS9で処理Aまたは処理Bを行う時には、作業対象部5aは、既に行ったステップS1によりマニピュレータ7bの動作範囲に入っている。
When the process A or the process B is performed in step S9, the
上述の処理Bが行われている間、人は、表示部9の観察データを見て、作業装置7のマニピュレータ7bが対象装置5に干渉(接触)しないかの監視に集中できる。このような干渉が起こりそうになったら、人は操作部11を操作して作業装置7のマニピュレータ7bの動作を停止させることができる。
While the process B described above is being performed, a person can concentrate on monitoring whether the
上述した作業の複数の例を説明する。 A plurality of examples of the above-described work will be described.
(上述の作業が給油である場合)
作業対象部5aは、上方に開口した給油口であり、作業実行部7cは給油ノズルである。ΔPOFFのX軸成分とY軸成分はゼロであり、ΔPOFFのZ軸成分は、予め定めたオフセット距離ΔZOFFである。すなわち、ΔPOFF=(0,0,ΔZOFF)である。
(When the above work is refueling)
The
したがって、操作部11の操作またはマニピュレータ制御部17により、ΔθA−θeとΔPA−Peの各成分、または、ΔθBとΔPBの各成分をゼロにした状態では、給油ノズル7cは、給油口5aから鉛直上方にオフセット距離ΔZOFFだけずれた位置にある。この状態から、人が、操作部11を操作することにより、給油ノズル7cを、ΔZOFFだけ移動(すなわち、オフセット距離ΔZOFFだけ鉛直下方に下降)させることにより、給油ノズル7cを給油口5aに挿入させる。この状態で、人は、操作部11を操作することにより、給油ノズル7cから給油口5aを有する給油タンクへ給油を開始させる。
Therefore, in a state where each component of Δθ A −θ e and ΔP A −P e or each component of Δθ B and ΔP B is set to zero by the operation of the operation unit 11 or the
(上述の作業が接触式給電である場合)
作業対象部5aは、電力を受けるための受電接点であり、作業実行部7cは給電接点である。操作部11の操作またはマニピュレータ制御部17により、ΔθA−θeとΔPA−Peの各成分、または、ΔθBとΔPBの各成分をゼロにした状態から、人は、操作部11を操作することにより、ΔPOFFだけ給電接点を移動させることにより、給電接点を受電接点に接触させ、この状態で、作業装置7に設けられた給電装置から給電接点と受電接点を介して対象装置5のバッテリーへ給電を行わせる。
(When the above work is contact-type power supply)
The
(上述の作業が非接触式給電である場合)
作業対象部5aが、電力を受けるための受電コイルであり、作業実行部7cは給電コイルである。操作部11の操作またはマニピュレータ制御部17により、ΔθA−θeとΔPA−Peの各成分、または、ΔθBとΔPBの各成分をゼロにした状態から、操作部11を操作することにより、ΔPOFFだけ給電コイルを移動させることにより、給電コイルを受電コイルに近づけ、この状態で、作業装置7に設けられた給電装置から給電コイルと受電コイルを介して対象装置5のバッテリーへ給電を行わせる。
(When the above work is contactless power supply)
The
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の変更例1〜8のいずれかを単独で採用してもよいし、変更例1〜8を任意に組み合わせて採用してもよい。この場合、以下で述べない点は、上述と同じであってもよいし、適宜変更してもよい。 The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the scope of the present invention. For example, any one of the following modification examples 1 to 8 may be employed alone, or modification examples 1 to 8 may be arbitrarily combined and employed. In this case, the points not described below may be the same as described above, or may be changed as appropriate.
(変更例1)
本体7aに固定されたロール軸とピッチ軸とヨー軸は、本発明における、本体7aに固定された第1軸と第2軸と第3軸として機能し、対象装置5に固定されたロール軸とピッチ軸とヨー軸は、本発明における、対象装置5に固定された第1軸と第2軸と第3軸として機能する。
(Modification 1)
The roll axis, pitch axis, and yaw axis fixed to the
すなわち、本発明によると、本体7aに固定されたロール軸とピッチ軸とヨー軸の代わりに、互いに交差する(好ましくは、直交する)第1軸と第2軸と第3軸を用いてもよい。これらの第1軸と第2軸と第3軸は、本体7aのロール軸とピッチ軸とヨー軸に一致していなくてよいが、本体7aに固定されている。
That is, according to the present invention, instead of the roll axis, the pitch axis, and the yaw axis fixed to the
同様に、対象装置5に固定されたロール軸とピッチ軸とヨー軸の代わりに、互いに交差する(好ましくは、直交する)第1軸と第2軸と第3軸を用いてもよい。これらの第1軸と第2軸と第3軸は、対象装置5のロール軸とピッチ軸とヨー軸に一致していなくてよいが、対象装置5に固定されている。
Similarly, instead of the roll axis, the pitch axis, and the yaw axis fixed to the
この場合、他の点は、上述と同じである。ただし、上述において、上述のロール軸とピッチ軸とヨー軸は、それぞれ、第1軸と第2軸と第3軸に読み替えられ、上述のロール方向とピッチ方向とヨー方向は、それぞれ、第1軸回りの方向と第2軸回りの方向と第3軸回りの方向に読み替えられる。 In this case, the other points are the same as described above. However, in the above description, the roll axis, the pitch axis, and the yaw axis are read as the first axis, the second axis, and the third axis, respectively, and the roll direction, the pitch direction, and the yaw direction are the first, respectively. It can be read as a direction around the axis, a direction around the second axis, and a direction around the third axis.
(変更例2)
相対データ計測装置23は、上述の第1計測器23aと第2計測器23bを備える代わりに、作業装置7の本体7aに設けられた3次元形状計測器を備えていてもよい。この場合、対象装置5には、1つまたは複数のマーカが設けられる。マーカは、特定の形状を有し、複数のマーカが設けられる場合には、これらのマーカは、好ましくは対象装置5に特定のパターンで配列される。
(Modification 2)
The relative
図5の例では、3つの球状マーカ38が、対象装置5に特定のパターンで配列されている。この配列パターンの形状は、3つのマーカ38同士を結ぶ仮想線分により形成される三角形である。なお、図5(B)は、図5(A)の5B−5B線矢視図である。
In the example of FIG. 5, three
相対データ計測装置23が、上記3次元形状計測器を備える場合には、上述の遠隔操作支援方法は、以下のようになる。なお、以下において、単にマーカという場合には、1つのマーカ、または、複数のマーカを意味する。
When the relative
図6は、マーカを用いた場合における遠隔操作支援方法を示すフローチャートである。 FIG. 6 is a flowchart showing a remote operation support method when a marker is used.
ステップS11では、上述のステップS1のように、作業装置7と対象装置5とを互いに近接させる。例えば、このステップS11では、適宜の手段により、静止座標系における作業装置7の位置を示す位置情報と、静止座標系における対象装置5の位置を示す位置情報とが、表示部9に表示され、人は、表示部9に表示されたこれらの位置情報を見て、操作部11を操作してよい。ステップS11により、作業対象部5aの位置が作業装置7のマニピュレータ7bの動作範囲内になるようする。この状態で、後述のステップS12〜S18が行われる。
In step S11, the work device 7 and the
ステップS12において、上述の3次元形状計測器は、作業装置7の本体7aと対象装置5との相対姿勢と相対位置に関するデータを、計測データとして計測する。この計測データは、対象装置5を含む領域の画像データまたは距離データである。なお、距離データは、この領域内の物体上の各点までの距離のデータである。
In step S <b> 12, the above-described three-dimensional shape measuring instrument measures data related to the relative posture and relative position between the
ステップS13において、数値データ生成部25は、マーカの基準データに基づいて、ステップS12で得た計測データからマーカを抽出する。基準データは、マーカを特定の方向から、かつ、特定の距離だけマーカから離れた位置から見た場合におけるマーカの形状と寸法を示す基準データであり、数値データ生成部25に記憶されている。ここで、複数のマーカが対象装置5に設けられている場合には、マーカの形状とは、複数のマーカの配列パターンの形状(図5(A)の場合には、三角形)を意味し、マーカの寸法とは、これらの複数のマーカを合わせた寸法を意味してもよいし、各マーカの寸法を意味してもよい。
In step S13, the numerical
ステップS14において、数値データ生成部25は、ステップS13で抽出したマーカと、上述の基準データに基づいて、センサ座標系における作業対象部5aの姿勢と位置を求める。ここで、数値データ生成部25は、作業対象部5aとマーカとの相対姿勢および相対位置を記憶しており、これらの相対姿勢および相対位置にも基づいて、センサ座標系における作業対象部5aの姿勢θ1−sと位置P1−sを求める。なお、センサ座標系は、例えば、上述の3次元形状計測器に固定された座標系であるとともに、作業装置7の本体7aに固定されている。センサ座標系における作業対象部5aの姿勢とは、センサ座標系の座標軸に対する姿勢であってよい。
In step S14, the numerical
一方、ステップS15において、マニピュレータ計測装置24は、マニピュレータ座標系におけるマニピュレータ7b(作業実行部7c)の姿勢と位置を、それぞれマニピュレータデータθe,Peとして計測する。
On the other hand, in step S15, the
ステップS16において、数値データ生成部25は、ステップS14で求めたセンサ座標系における作業対象部5aの姿勢θ1−sと、マニピュレータ7bに固定されたマニピュレータ座標系とセンサ座標系との関係とに基づいて、第1または第2の数値データに含まれる姿勢数値データを算出する。
In step S16, the numerical
ステップS16において、第1の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(5)で表されるΔθCを算出する。
ΔθC=θ1−s−Δθm−s ・・・(5)
In step S16, when calculating the attitude numerical data included in the first numerical data, the numerical
Δθ C = θ 1−s −Δθ m−s (5)
ステップS16において、第2の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(6)で表されるΔθDを算出する。
ΔθD=θ1−s−Δθm−s−θe ・・・(6)
In step S16, when calculating the attitude numerical data included in the second numerical data, the numerical
Δθ D = θ 1−s −Δθ m−s −θ e (6)
式(5)と式(6)における各記号について、詳しく説明する。 Each symbol in Formula (5) and Formula (6) will be described in detail.
θ1−sは、センサ座標系の座標軸に対する作業対象部5aの姿勢(向き)を示すベクトルであり、上述の3次元形状計測器により計測される。例えば、センサ座標系が、互いに直交する3つの座標軸を有する場合に、これらの座標軸毎に、θ1−sは角度成分を有する。すなわち、θ1−sの各角度成分は、対応する座標軸回りの回転角度である。
θ 1-s is a vector indicating the posture (orientation) of the
Δθm−sは、センサ座標系に対する、本体7aに固定された上述のマニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。例えば、センサ座標系が、互いに直交する3つの座標軸を有する場合に、これらの座標軸毎に、Δθm−sは角度成分を有する。すなわち、Δθm−sの各角度成分は、対応する座標軸回りに、マニピュレータ座標系が基準姿勢から回転した角度である。ここで、基準姿勢とは、マニピュレータ座標系の3つの座標軸の向きが、それぞれ、センサ座標系の3つの座標軸の向きと一致している姿勢を意味する。Δθm−sは、数値データ生成部25の記憶部に予め記憶されている。
Δθ m−s is a known fixed vector indicating the attitude of the above-described manipulator coordinate system fixed to the
θeは、上述と同様に、マニピュレータ座標系の座標軸に対するマニピュレータ(すなわち、作業実行部7c)の姿勢を示すベクトルであり、ステップS15においてマニピュレータ計測装置24により計測される。
θ e is a vector indicating the attitude of the manipulator (that is, the
式(5)(6)において、θ1−s,Δθm−s,θeの間での記号「−」による減算は、各角度成分毎に、独立して行われる。なお、好ましくは、θ1−s,Δθm−s,θeの各角度成分がマニピュレータ座標系の座標軸回りの角度成分に換算されていない場合には、この換算を行った上で、式(5)(6)における上述の減算を行う。 In the equations (5) and (6), the subtraction by the symbol “−” among θ 1-s, Δθ m−s and θ e is performed independently for each angle component. Preferably, when each angle component of θ 1-s, Δθ m-s, θ e is not converted into an angle component around the coordinate axis of the manipulator coordinate system, 5) Perform the above-described subtraction in (6).
上式(5)で表されるΔθCは、マニピュレータ座標系に対する作業対象部5aの向き(姿勢)を示し、上式(6)で表されるΔθDは、マニピュレータ7b(より正確には、作業実行部7c)の向き(姿勢)に対する作業対象部5aの向き(姿勢)を示す。
Δθ C expressed by the above equation (5) indicates the direction (posture) of the
ステップS17において、数値データ生成部25は、ステップS14で求めたセンサ座標系における作業対象部5aの位置と、マニピュレータ7bに固定されたマニピュレータ座標系とセンサ座標系との関係とに基づいて、第1または第2の数値データに含まれる位置数値データを算出する。
In step S17, the numerical
ステップS17において、第1の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(7)で表されるΔPCを算出する。
ΔPC=P1−s−(ΔPm−s+ΔPOFF) ・・・(7)
In step S17, when calculating the position numeric data included in the first numerical data,
ΔP C = P 1−s − (ΔP m−s + ΔP OFF ) (7)
ステップS17において、第2の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(8)で表されるΔPDを算出する。
ΔPD=P1−s−(ΔPm−s+ΔPOFF)−Pe ・・・(8)
In step S17, when calculating the position numeric data included in the second numerical data,
ΔP D = P 1−s − (ΔP m−s + ΔP OFF ) −P e (8)
式(7)と式(8)における各記号について、詳しく説明する。 Each symbol in Expression (7) and Expression (8) will be described in detail.
P1−sは、センサ座標系の原点に対する作業対象部5aの相対位置を示すベクトルであり、上述の3次元形状計測器により計測される。例えば、センサ座標系が、互いに直交する3つの座標軸を有する場合に、P1−sは、これらの座標軸毎に、この座標軸の座標値を有する。
P 1-s is a vector indicating the relative position of the
ΔPm−sは、センサ座標系の原点に対する、本体7aに固定された上述のマニピュレータ座標系の原点の位置を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。ΔPm−sは、数値データ生成部25の記憶部に予め記憶されている。
ΔP m−s is a known fixed vector indicating the position of the origin of the above-described manipulator coordinate system fixed to the
Peは、上述と同様に、マニピュレータ座標系の原点に対するマニピュレータ(すなわち、作業実行部7c)の位置を示すベクトルであり、ステップS15においてマニピュレータ計測装置24により計測される。
ΔPOFFは、上述したΔPOFFと同じである。
Pe is a vector indicating the position of the manipulator (that is, the
ΔP OFF is the same as ΔP OFF described above.
式(7)(8)において、P1−s,ΔPm−s,Peの間での記号「−」による減算は、各成分毎に、独立して行われる。なお、好ましくは、P1−s,ΔPm−s,Peの各成分がマニピュレータ座標系における座標値に換算されていない場合には、この換算を行った上で、式(7)(8)における上述の減算を行う。 In the formula (7) (8), the symbols between the P 1-s, ΔP m- s, P e "-" subtraction by, for each component, are performed independently. Incidentally, preferably, in the case where P 1-s, ΔP m- s, the respective components of P e is not converted into coordinate values in the manipulator coordinate system, after performing this conversion, the equation (7) (8 The above-mentioned subtraction is performed in ().
上式(7)で表されるΔPCは、マニピュレータ座標系の原点に対する作業対象部5aの位置を示し、上式(8)で表されるΔPDは、マニピュレータ7b(より正確には、作業実行部7c)の位置に対する作業対象部5aの位置を示す。
[Delta] P C represented by the above formula (7) indicates the position of the
ステップS18において、数値データ伝達部は、上述の処理Aまたは処理Bを行う。ここで、第1の数値データに含まれる姿勢数値データが、上述のΔθAからΔθCに置き換えられ、第1の数値データに含まれる位置数値データが、ΔPAからΔPCに置き換えられ、第2の数値データに含まれる姿勢数値データが、ΔθBからΔθDに置き換えられ、第2の数値データに含まれる位置数値データが、ΔPBからΔPDに置き換えられる点以外は、ステップS18の内容は、上述のステップS9と同じである。
In step S18, the numerical data transmission unit performs the process A or the process B described above. Here, the attitude numerical data included in the first numerical data is replaced from [Delta] [theta] A described above in [Delta] [theta] C, position numerical data included in the first numerical data is replaced from [Delta] P A in [Delta] P C, the The contents of step S18 except that the attitude numerical data included in the
(変更例3)
第1の数値データは、姿勢数値データと位置数値データの一方からなっていてもよく、第2の数値データは、姿勢数値データと位置数値データの一方からなっていてもよい。
(Modification 3)
The first numerical data may consist of one of posture numerical data and position numerical data, and the second numerical data may consist of one of posture numerical data and position numerical data.
例えば、図4または図6に示すフローチャートの例では、第1または第2の数値データとして、姿勢数値データと位置数値データとの両方を求めたが、第1または第2の数値データとして、姿勢数値データと位置数値データの一方のみを求めてもよい。この場合、姿勢数値データと位置数値データのうち、この一方に関する上述の内容が、この変更例3で採用される。 For example, in the example of the flowchart shown in FIG. 4 or 6, both the attitude numerical data and the position numerical data are obtained as the first or second numerical data, but the attitude is calculated as the first or second numerical data. Only one of the numerical data and the position numerical data may be obtained. In this case, the above-described contents regarding one of the posture numerical value data and the position numerical value data are employed in the third modification.
好ましくは、第1または第2の数値データは、姿勢数値データと位置数値データのうち、姿勢数値データのみからなる。この場合、計測データは、姿勢計測データからなる。 Preferably, the first or second numerical data includes only posture numerical data among posture numerical data and position numerical data. In this case, the measurement data is posture measurement data.
(変更例4)
作業装置7の本体7aは、地上を移動する手段を有さず、地上に対し静止していてもよい。図7は、このような作業装置7と、対象装置5を示す。作業装置7の本体7aが、図7のように地上を移動しない場合、本体7aに設けられたマニピュレータ7bの動作と、作業実行部7cの動作(作業)が、操作部11の操作により制御される。この場合、上述のステップS1では、対象装置5が作業装置7の近くまで移動することにより、対象装置5の作業対象部5aが、作業装置7のマニピュレータ7bの動作範囲内に位置するようにする。また、例えば、地上に静止する作業装置7の本体7aの姿勢計測データと位置計測データの取得には、常時、第1計測器23aを配置せず、作業装置7の設置後に、一度、第1計測器23aを作業装置7の本体7aに配置し、本体7aの姿勢計測データと位置計測データを取得し、このデータを固定値として利用し、第1計測器23aを本体7aから外すなどしてもよい。なお、図7において、符号21aと21bは、上述のセンサ21a,21bを示す。
(Modification 4)
The
(変更例5)
対象装置5は、地上を移動する手段を有さず、地上に対し静止していてもよい。この場合、上述のステップS1では、作業装置7が、対象装置5の近くまで移動することにより、対象装置5の作業対象部5aが、作業装置7のマニピュレータ7bの動作範囲内に位置するようにする。また、例えば、地上に静止する対象装置5の姿勢計測データと位置計測データの取得には、常時、第2計測器23bを配置せず、対象装置5の設置後に、一度、第2計測器23bを対象装置5に配置し、対象装置5の姿勢計測データと位置計測データを取得し、このデータを固定値として利用し、第2計測器23bを対象装置5から外すなどしてもよい。
(Modification 5)
The
(変更例6)
上述した給油や給電以外の他の作業を行う場合に、上述のように、対象装置5の作業対象部5aに対して作業装置7のマニピュレータ7b(作業実行部7c)の相対姿勢および相対位置を調整してもよい。
(Modification 6)
When performing work other than refueling or power feeding as described above, the relative posture and relative position of the
(変更例7)
Δθtは、上述の場合と違って、すべての成分がゼロであってもよい。
(Modification 7)
Unlike the case described above, Δθ t may be zero for all components.
(変更例8)
数値データ生成部25は、上述した第1の数値データと第2の数値データの両方を生成してもよい。この場合、遠隔操作支援装置10、すなわち、上述の数値データ伝達部
は、数値データ生成部25により生成された第1および第2の数値データの両方を表示部9に対して送信するように構成される。表示部9は、送信されてきた第1および第2の数値データの両方を表示する。
(Modification 8)
The numerical
ここで、第1の数値データとして、姿勢数値データΔθAと位置数値データΔPAが、表示部9に送信される場合には、表示部9は、ΔθAとΔPAの他に、マニピュレータデータ送信部からのマニピュレータデータθe,Peも表示する。
Here, when posture numerical data Δθ A and position numerical data ΔP A are transmitted to the
したがって、人は、表示部9に表示された第1の数値データΔθA、ΔPAとマニピュレータデータθe,Pe、および、表示部9に表示された第2の数値データΔθBとΔPBを見て、操作部11を操作できる。または、人は、表示部9に表示された第1の数値データΔθA、ΔPAとマニピュレータデータθe,Pe、もしくは、表示部9に表示された第2の数値データΔθBとΔPBを見て、操作部11を操作できる。
Therefore, the person can display the first numerical data Δθ A and ΔP A and the manipulator data θ e and P e displayed on the
3 遠隔操作装置、5 対象装置、5a 作業対象部、5b 制御部、5c 第3通信部、7 作業装置、7a 本体、7b マニピュレータ、7c 作業実行部、9 表示部、10 遠隔操作支援装置、11 操作部、12 第1データ処理部、13 第1通信部、15 第2通信部、16 第2データ処理部、17 マニピュレータ制御部、20 遠隔操作システム、21 観察データ取得センサ、21a センサ、21b センサ、23 相対データ計測装置、23a 第1計測器、23b 第2計測器、24 マニピュレータ計測装置、24a センサ、24b 演算部、25 数値データ生成部、29a 第1のジャイロセンサ、29b 第2のジャイロセンサ、31a 第1のGPS受信機、31b 第2のGPS受信機、32 第1算出部、33a 第3のジャイロセンサ、33b 第4のジャイロセンサ、34 第3データ処理部、35a 第3のGPS受信機、35b 第4のGPS受信機、36 第2算出部、38 マーカ
3 remote operation device, 5 target device, 5a work target unit, 5b control unit, 5c third communication unit, 7 work device, 7a main body, 7b manipulator, 7c work execution unit, 9 display unit, 10 remote operation support device, 11 Operation unit, 12 First data processing unit, 13 First communication unit, 15 Second communication unit, 16 Second data processing unit, 17 Manipulator control unit, 20 Remote operation system, 21 Observation data acquisition sensor, 21a sensor, 21b sensor , 23 Relative data measuring device, 23a 1st measuring device, 23b 2nd measuring device, 24 manipulator measuring device, 24a sensor, 24b calculating part, 25 Numerical data generation part, 29a 1st gyro sensor, 29b 2nd gyro sensor , 31a First GPS receiver, 31b Second GPS receiver, 32 First calculator,
Claims (9)
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
前記遠隔操作支援装置は、
前記作業装置の前記本体と前記対象装置との相対姿勢に関するデータを、計測データとして計測する相対データ計測装置と、
前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整することに用いられる第1および第2の数値データの一方または両方を、前記計測データから生成する数値データ生成部と、を備え、
前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整する量を示す数値データであり、
生成された前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成され、もしくは、生成された前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記相対データ計測装置は、前記作業装置に設けられた第1計測器と、前記対象装置に設けられた第2計測器を備え、
前記第1計測器は、
前記作業装置における本体のロール方向の姿勢を計測する第1のジャイロセンサと、
前記作業装置における本体のピッチ方向の姿勢を計測する第2のジャイロセンサと、
前記作業装置の本体に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第1および第2のGPS受信機と、
第1のGPS受信機が受信したGPS信号に基づいて第1のGPS受信機の位置を示す位置情報Pg1を求め、第2のGPS受信機が受信したGPS信号に基づいて第2のGPS受信機の位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第1算出部と、を備え、
前記第2計測器は、
前記対象装置のロール方向の姿勢を計測する第3のジャイロセンサと、
前記対象装置のピッチ方向の姿勢を計測する第4のジャイロセンサと、
前記対象装置に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第3および第4のGPS受信機と、
第3のGPS受信機が受信したGPS信号に基づいて第3のGPS受信機の位置を示す位置情報Pg3を求め、第4のGPS受信機が受信したGPS信号に基づいて第4のGPS受信機の位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて前記対象装置のヨー方向の姿勢を算出する第2算出部と、を備え、
前記計測データは、計測した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、計測した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とを、姿勢計測データとして含む、遠隔操作支援装置。 A remote operation support device provided in a remote operation system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device is a manipulator to control the manipulator measuring device for measuring the attitude of the manipulator in the manipulator coordinate system fixed to the said body as the manipulator data, the operation of the manipulator according to the operation command from the first communication unit A control unit;
The remote operation support device is
And relative data measurement apparatus data about the relative posture of the body and the target device of the working device, to measure as the measurement data,
To do the work, one or both of the first and second numerical data used to adjust the relative posture of the target device and the manipulator, and numerical data generating unit that generates from said measurement data With
Said first numerical data, said a numerical data indicating the posture of the operation target portion of the manipulator coordinate system, the second numerical data, generated by the numerical data generator from said manipulator data and the measurement data is, in order to perform the work, a numerical data indicating the amount to adjust the relative posture of the target device and the manipulator,
One or both of the generated first and second numerical data are transmitted to the display unit, or the generated first or second numerical data is sent to the manipulator control unit. Configured to transmit to
The relative data measuring device includes a first measuring instrument provided in the working device and a second measuring instrument provided in the target device,
The first measuring instrument is
A first gyro sensor for measuring a posture of the main body in the roll direction in the working device;
A second gyro sensor for measuring the posture of the main body in the pitch direction in the working device;
A first GPS receiver and a second GPS receiver which are provided in the main body of the work device at intervals in the horizontal direction and receive GPS signals from GPS satellites;
Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS receiver is obtained based on the GPS signal received by the second GPS receiver. A first calculation unit that calculates position information Pg2 indicating the position of the main body and calculates a posture of the main body in the yaw direction of the work device based on the position information Pg1 and Pg2.
The second measuring instrument is
A third gyro sensor for measuring the posture of the target device in the roll direction;
A fourth gyro sensor for measuring the posture of the target device in the pitch direction;
A third and a fourth GPS receiver provided in the target device at intervals in the horizontal direction and receiving GPS signals from GPS satellites;
Position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS receiver is obtained based on the GPS signal received by the fourth GPS receiver. A second calculation unit that calculates position information Pg4 indicating the position of the target device and calculates an attitude of the target device in the yaw direction based on the position information Pg3 and Pg4.
The measurement data includes the measured posture of the working device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction, and the measured posture of the target device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction. Remote operation support device that includes as attitude measurement data .
前記表示部は、送信されてきた前記第1の数値データと、送信されてきた前記マニピュレータデータとを表示する、ことを特徴とする請求項1に記載の遠隔操作支援装置。 The generated first numerical data is configured to be transmitted to the display unit, and the manipulator data of the numerical value measured by the manipulator measurement device is transmitted to the display unit. Is composed of
The remote operation support apparatus according to claim 1, wherein the display unit displays the transmitted first numerical data and the transmitted manipulator data.
前記マニピュレータ制御部は、前記第1の数値データと前記マニピュレータデータとに基づいて、前記マニピュレータの姿勢を調整する、ことを特徴とする請求項1に記載の遠隔操作支援装置。 It is configured to transmit the generated first numerical data to the manipulator control unit,
The manipulator controller, said first numerical data and based on said manipulator data, adjusting the attitude of the manipulator, that the remote operation support apparatus according to claim 1, wherein the.
前記数値データ生成部は、前記第1の数値データに含まれる姿勢数値データΔθAとして、ΔθA=Δθ1−0−(Δθm+Δθt)を算出し、または、前記第2の数値データに含まれる姿勢数値データΔθBとして、ΔθB=Δθ1−0−(Δθm+Δθt)−θeを算出し、
Δθ1−0は、前記作業装置の前記本体に固定された本体座標系に対する、前記対象装置に固定された対象装置座標系の姿勢を示すベクトルであり、前記姿勢計測データにより表され、
Δθmは、前記本体座標系に対する、前記マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されており、
Δθtは、前記対象装置における作業対象部の向きに対する、前記対象装置座標系の姿勢を示す既知のベクトルであり、予め設定されており、
θeは、マニピュレータ座標系に対するマニピュレータの姿勢を示すベクトルであり、前記マニピュレータ計測装置により計測される、ことを特徴とする請求項1に記載の遠隔操作支援装置。 The measurement data includes the orientation measurement data regarding the relative orientation between the body of the working device and the target device,
The numerical data generation unit calculates Δθ A = Δθ 1-0 − (Δθ m + Δθ t ) as posture numerical data Δθ A included in the first numerical data, or adds the second numerical data to the second numerical data Δθ B = Δθ 1-0 − (Δθ m + Δθ t ) −θ e is calculated as the included posture numerical data Δθ B ,
Δθ 1-0 is a vector indicating the posture of the target device coordinate system fixed to the target device with respect to the main body coordinate system fixed to the main body of the working device, and is represented by the posture measurement data,
Δθ m is a known fixed vector indicating the attitude of the manipulator coordinate system with respect to the main body coordinate system, and is set in advance.
Δθ t is a known vector indicating the orientation of the target device coordinate system with respect to the orientation of the work target portion in the target device, and is set in advance.
2. The remote operation support device according to claim 1, wherein θ e is a vector indicating a posture of the manipulator with respect to the manipulator coordinate system, and is measured by the manipulator measurement device.
前記計測データは、前記作業装置の前記本体と前記対象装置との相対位置に関する位置計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる位置数値データΔPAとして、ΔPA=ΔP1−0−(ΔPm+ΔPt+ΔPOFF)を算出し、または、前記第2の数値データに含まれる位置数値データΔPBとして、ΔPB=ΔP1−0−(ΔPm+ΔPt+ΔPOFF)−Peを算出し、
ΔP1−0は、前記作業装置の前記本体に固定された本体座標系の原点に対する、前記対象装置に固定された対象装置座標系の原点の相対位置を示すベクトルであり、前記位置計測データにより表され、
ΔPmは、前記本体座標系の原点に対する、前記マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されており、
ΔPtは、作業対象部に対する、前記対象装置座標系の原点の相対位置を示し、
ΔPOFFは、予め設定されたオフセット量とオフセット方向を示すベクトルであり、
Peは、マニピュレータ座標系の座標で表される、マニピュレータの位置を示すベクトルであり、前記マニピュレータ計測装置により計測される、ことを特徴とする請求項1または4に記載の遠隔操作支援装置。 The relative data measuring device measures data relating to both a relative posture and a relative position between the main body of the working device and the target device as the measurement data,
The measurement data includes position measurement data related to a relative position between the main body of the working device and the target device,
The numerical data generating unit, the as positional numerical data [Delta] P A included in the first numerical data, ΔP A = ΔP 1-0 - calculates (ΔP m + ΔP t + ΔP OFF), or the second numerical As position numerical data ΔP B included in the data, ΔP B = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) −P e is calculated,
ΔP 1-0 is a vector indicating a relative position of the origin of the target apparatus coordinate system fixed to the target apparatus with respect to the origin of the main body coordinate system fixed to the main body of the working apparatus, and is based on the position measurement data. Represented,
ΔP m is a known fixed vector indicating a relative position of the origin of the manipulator coordinate system with respect to the origin of the main body coordinate system, and is set in advance.
ΔP t indicates the relative position of the origin of the target device coordinate system with respect to the work target portion;
ΔP OFF is a vector indicating a preset offset amount and offset direction,
P e can be expressed by the coordinates of the manipulator coordinate system, a vector indicating the position of the manipulator, said measured by the manipulator measuring device, a remote operation support apparatus according to claim 1 or 4, characterized in that.
前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから前記数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の両方を調整する量を示す数値データであり、
前記第1計測器は、前記作業装置の前記本体の位置および姿勢の両方を示すデータを前記計測データの一部として取得し、
前記第2計測器は、前記対象装置の姿勢および位置の両方を示すデータを前記計測データの一部として取得し、
前記数値データ生成部は、前記第1計測器と前記第2計測器が取得した前記データに基づいて、前記第1および第2の数値データの一方または両方を算出する、ことを特徴とする請求項1〜5のいずれか一項に記載の遠隔操作支援装置。 The manipulator measuring device measures both the posture and position of the manipulator in the manipulator coordinate system as the manipulator data,
The first numerical data is numerical data indicating both the posture and position of the work target unit in the manipulator coordinate system, and the second numerical data is calculated from the manipulator data and the measurement data. Numerical data generated by a generation unit and indicating an amount of adjusting both the relative posture and the relative position of the manipulator and the target device in order to perform the work,
Wherein the first measuring instrument acquires data indicating both the position and orientation of the body of the working device as part of the measurement data,
The second measurement device obtains data indicating both the attitude and position of the target device as part of the measurement data,
The numerical data generation unit calculates one or both of the first and second numerical data based on the data acquired by the first measuring instrument and the second measuring instrument. Item 6. The remote operation support device according to any one of Items 1 to 5.
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
(A)前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、相対データ計測装置により、前記作業装置の前記本体と前記対象装置との相対姿勢に関するデータを、計測データとして計測し、
(B)前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整することに用いられる第1および第2の数値データの一方または両方を、数値データ生成部により前記計測データから生成し、前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整する量を示す数値データであり、
(C)生成された第1および第2の数値データの一方または両方を前記表示部に対して送信し、もしくは、第1または第2の数値データを前記マニピュレータ制御部に対して送信し、
第1および第2のジャイロセンサが、前記作業装置に設けられており、第1および第2のGPS受信機が、前記作業装置の本体に水平方向に間隔をおいて設けられており、第3および第4のジャイロセンサが、前記対象装置に設けられており、第3および第4のGPS受信機が、前記対象装置に水平方向に間隔をおいて設けられており、
前記(A)では、
前記作業装置における本体のロール方向の姿勢を、第1のジャイロセンサにより計測し、
前記作業装置における本体のピッチ方向の姿勢を、第2のジャイロセンサにより計測し、
第1のGPS受信機が受信したGPS信号に基づいて第1のGPS受信機の位置を示す位置情報Pg1を求め、第2のGPS受信機が受信したGPS信号に基づいて第2のGPS受信機の位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて前記作業装置における本体のヨー方向の姿勢を算出し、
前記対象装置のロール方向の姿勢を、第3のジャイロセンサにより計測し、
前記対象装置のピッチ方向の姿勢を、第4のジャイロセンサにより計測し、
第3のGPS受信機が受信したGPS信号に基づいて第3のGPS受信機の位置を示す位置情報Pg3を求め、第4のGPS受信機が受信したGPS信号に基づいて第4のGPS受信機の位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて前記対象装置のヨー方向の姿勢を算出し、
前記計測データは、計測した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、計測した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とを含む、ことを特徴とする遠隔操作支援方法。 A remote operation support method provided in a remote operation system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device is a manipulator to control the manipulator measuring device for measuring the attitude of the manipulator in the manipulator coordinate system fixed to the said body as the manipulator data, the operation of the manipulator according to the operation command from the first communication unit A control unit;
(A) in a state in which the work object portion within the operating range of the manipulator is positioned, the relative data measurement apparatus, the data about the relative orientation between the body and the target device of the working device, measured as the measurement data And
(B) in order to perform the task, one or both of the first and second numerical data used to adjust the relative posture of the target device and the manipulator, the measurement data by the numerical data generator generated from the first numerical data, said a numerical data indicating the posture of the operation target portion of the manipulator coordinate system, the second numerical data, numerical data from said manipulator data and the measurement data generated by the generating unit, in order to perform the work, a numerical data indicating the amount to adjust the relative posture of the target device and the manipulator,
(C) One or both of the generated first and second numerical data are transmitted to the display unit, or the first or second numerical data is transmitted to the manipulator control unit,
First and second gyro sensors are provided in the working device, and first and second GPS receivers are provided in the main body of the working device at intervals in the horizontal direction. And a fourth gyro sensor is provided in the target device, and third and fourth GPS receivers are provided in the target device at a horizontal interval,
In (A) above,
The posture of the main body in the work device in the roll direction is measured by the first gyro sensor,
Measuring the posture of the main body in the pitch direction in the working device by a second gyro sensor;
Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS receiver is obtained based on the GPS signal received by the second GPS receiver. The position information Pg2 indicating the position of the work apparatus is obtained, and the posture of the main body in the yaw direction of the working device is calculated based on the position information Pg1 and Pg2.
The posture of the target device in the roll direction is measured by a third gyro sensor,
The posture of the target device in the pitch direction is measured by a fourth gyro sensor,
Position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS receiver is obtained based on the GPS signal received by the fourth GPS receiver. Position information Pg4 indicating the position of the target device is calculated, and the posture of the target device in the yaw direction is calculated based on the position information Pg3 and Pg4.
The measurement data includes the measured posture of the working device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction, and the measured posture of the target device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction. including, remote operation support method characterized by.
前記作業装置における本体のロール方向の姿勢を計測する第1のジャイロセンサと、A first gyro sensor for measuring a posture of the main body in the roll direction in the working device;
前記作業装置における本体のピッチ方向の姿勢を計測する第2のジャイロセンサと、A second gyro sensor for measuring the posture of the main body in the pitch direction in the working device;
前記作業装置の本体に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第1および第2のGPS受信機と、A first GPS receiver and a second GPS receiver which are provided in the main body of the work device at intervals in the horizontal direction and receive GPS signals from GPS satellites;
第1のGPS受信機が受信したGPS信号に基づいて第1のGPS受信機の位置を示す位置情報Pg1を求め、第2のGPS受信機が受信したGPS信号に基づいて第2のGPS受信機の位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第1算出部と、を備える計測器。Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS receiver is obtained based on the GPS signal received by the second GPS receiver. And a first calculator that calculates position information Pg2 indicating the position of the main body and calculates the posture of the main body in the yaw direction of the working device based on the position information Pg1 and Pg2.
前記対象装置のロール方向の姿勢を計測する第3のジャイロセンサと、A third gyro sensor for measuring the posture of the target device in the roll direction;
前記対象装置のピッチ方向の姿勢を計測する第4のジャイロセンサと、A fourth gyro sensor for measuring the posture of the target device in the pitch direction;
前記対象装置に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第3および第4のGPS受信機と、A third and a fourth GPS receiver provided in the target device at intervals in the horizontal direction and receiving GPS signals from GPS satellites;
第3のGPS受信機が受信したGPS信号に基づいて第3のGPS受信機の位置を示す位置情報Pg3を求め、第4のGPS受信機が受信したGPS信号に基づいて第4のGPS受信機の位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて前記対象装置のヨー方向の姿勢を算出する第2算出部と、を備える計測器。Position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS receiver is obtained based on the GPS signal received by the fourth GPS receiver. And a second calculation unit that calculates position information Pg4 indicating the position of the target device and calculates an attitude of the target device in the yaw direction based on the position information Pg3 and Pg4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014084326A JP6406859B2 (en) | 2014-04-16 | 2014-04-16 | Remote operation support device, remote operation support method, and measuring instrument |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014084326A JP6406859B2 (en) | 2014-04-16 | 2014-04-16 | Remote operation support device, remote operation support method, and measuring instrument |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015202548A JP2015202548A (en) | 2015-11-16 |
JP6406859B2 true JP6406859B2 (en) | 2018-10-17 |
Family
ID=54596334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014084326A Active JP6406859B2 (en) | 2014-04-16 | 2014-04-16 | Remote operation support device, remote operation support method, and measuring instrument |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6406859B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210123782A (en) * | 2020-04-06 | 2021-10-14 | (주)이롭 | Distributed control method and system for auxiliary cooperative robot with multi-joint |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06179187A (en) * | 1992-12-15 | 1994-06-28 | Mitsubishi Heavy Ind Ltd | Direction detection type teaching mechanism |
JPH07244150A (en) * | 1994-02-28 | 1995-09-19 | Fujita Corp | Attitude measuring apparatus of heavy machine |
JPH08300278A (en) * | 1995-04-28 | 1996-11-19 | Tokyo Electric Power Co Inc:The | Manipulator guide |
JPH1088624A (en) * | 1996-09-13 | 1998-04-07 | Taisei Corp | Gps unmanned execution control system |
JP2001088074A (en) * | 1999-09-24 | 2001-04-03 | Yaskawa Electric Corp | Control device of robot |
JP4362804B2 (en) * | 2000-04-20 | 2009-11-11 | 清水建設株式会社 | Fill compaction management system |
JP5201341B2 (en) * | 2008-09-09 | 2013-06-05 | 富士電機株式会社 | Remote operation support device |
-
2014
- 2014-04-16 JP JP2014084326A patent/JP6406859B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210123782A (en) * | 2020-04-06 | 2021-10-14 | (주)이롭 | Distributed control method and system for auxiliary cooperative robot with multi-joint |
KR102359822B1 (en) * | 2020-04-06 | 2022-02-09 | (주)이롭 | Distributed control method and system for auxiliary cooperative robot with multi-joint |
Also Published As
Publication number | Publication date |
---|---|
JP2015202548A (en) | 2015-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6794193B2 (en) | Image display system for work machines | |
EP3168705B1 (en) | Domestic robotic system | |
JP6108818B2 (en) | Moving device and position recognition method of moving device | |
JP6083520B2 (en) | Robot guidance method and apparatus | |
JP6407663B2 (en) | Work support image generation apparatus and work machine control system including the same | |
US20220245856A1 (en) | Position identification system for construction machinery | |
JP5947644B2 (en) | Unmanned mobile system | |
KR101132713B1 (en) | Device for control of moving robot, moving robot system having the same and method for control of moving robot | |
JPWO2021090352A1 (en) | Control device and control method for controlling the flight of an aircraft | |
JP2005262378A (en) | Autonomous robot and its control method | |
JP6406859B2 (en) | Remote operation support device, remote operation support method, and measuring instrument | |
JP2016016475A (en) | System and method for controlling multiple robots | |
JP2018163507A (en) | Autonomous running system | |
JP6648714B2 (en) | Indoor crane automatic driving device and automatic driving method | |
JP6994427B2 (en) | Posture recognition system for construction machinery | |
Sugasawa et al. | Visualization of Dump Truck and Excavator in Bird’s-eye View by Fisheye Cameras and 3D Range Sensor | |
JP7128497B2 (en) | Image display system for working machines | |
JP6196563B2 (en) | Robot remote control system and method | |
JP7207915B2 (en) | Projection system, projection method and program | |
Lin et al. | Virtual reality head-tracking observation system for mobile robot | |
US9465113B2 (en) | Machine positioning system utilizing relative pose information | |
JP2019195145A (en) | Radio communication system and communication state display method | |
JP6923144B2 (en) | Image display system for work machines | |
JP7333551B2 (en) | Image display system for working machines | |
Tareen | Design & development of The ROBUST–an autonomous mobile robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6406859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |