JP6406859B2 - Remote operation support device, remote operation support method, and measuring instrument - Google Patents
Remote operation support device, remote operation support method, and measuring instrument Download PDFInfo
- Publication number
- JP6406859B2 JP6406859B2 JP2014084326A JP2014084326A JP6406859B2 JP 6406859 B2 JP6406859 B2 JP 6406859B2 JP 2014084326 A JP2014084326 A JP 2014084326A JP 2014084326 A JP2014084326 A JP 2014084326A JP 6406859 B2 JP6406859 B2 JP 6406859B2
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- posture
- data
- work
- numerical data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000005259 measurement Methods 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 79
- 238000004891 communication Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 35
- 230000036544 posture Effects 0.000 description 183
- 230000005540 biological transmission Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 239000003550 marker Substances 0.000 description 15
- 239000000446 fuel Substances 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 239000000945 filler Substances 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、遠隔操作システムに設けられる遠隔操作支援装置と、遠隔操作支援方法に関する。遠隔操作システムは、対象装置に対して作業を行う作業装置と、対象装置を遠隔操作する遠隔操作装置とを備える。作業装置は、例えば、給油、給電などの作業を対象装置に行う。 The present invention relates to a remote operation support device and a remote operation support method provided in a remote operation system. The remote operation system includes a work device that performs work on a target device and a remote control device that remotely operates the target device. For example, the work device performs operations such as refueling and power supply on the target device.
このような作業装置と対象装置は、例えば、無人化施工などに使用される遠隔操作型や自律制御型の建設機械（建機）や事故対応などに利用される移動ロボットなどである。対象装置が、無人化施工などに使用される遠隔操作型や自律制御型の建設機械（建機）の場合、対象装置は、主に二次災害などが懸念される危険な災害復旧工事現場などに投入され、瓦礫や岩石などの障害物撤去作業、砂防、築堤、構造物設置などの復旧作業、土砂や岩石などの積載や運搬や運送作業などの作業を行う。また、対象装置が事故対応ロボットの場合、対象装置は、人が赴くには危険な現場に投入され、情報収集や調査や復旧作業などを行う。このような対象装置は、例えば、下記の特許文献１、２に記載されている。
Such work devices and target devices are, for example, remote operation type or autonomous control type construction machines (construction machines) used for unmanned construction, mobile robots used for accident response, and the like. When the target device is a remote control type or autonomous control type construction machine (construction machine) used for unmanned construction, etc., the target device is mainly a dangerous disaster recovery construction site where secondary disasters are a concern To remove obstacles such as rubble and rocks, restoration work such as sabo, embankment and structure installation, loading and transporting and transporting earth and sand and rocks. Further, when the target device is an accident response robot, the target device is thrown into a dangerous site for humans to perform information collection, investigation, recovery work, and the like. Such a target device is described in
対象装置は長時間の作業を行うと給油や給電が必要となるが、対象装置は危険な現場（作業エリア）で作業しているため、作業エリアに人が進入して給油や給電を行うことは困難である。このため、対象装置は、人が進入可能な安全エリアへ移動し、安全エリア内で、人の作業により、対象装置へ給油や給電を行う必要があり、作業エリアと安全エリアが離れるほど、作業効率が低下してしまう。 The target device requires refueling or power supply when working for a long time, but since the target device is working at a dangerous site (working area), a person should enter the work area to supply or refuel. It is difficult. For this reason, the target device must move to a safe area where people can enter, and it is necessary to refuel and supply power to the target device by human work within the safe area. Efficiency will decrease.
そこで、遠隔操作によって、対象装置が作業エリア内にいる状態で、対象装置に対して給油、給電などを行えるようにすることが望まれる。このような遠隔操作を、例えば、以下のような遠隔操作システムにおいて行うことが考えられる。 Therefore, it is desired that the target device can be refueled and powered by remote operation while the target device is in the work area. It is conceivable that such remote operation is performed, for example, in the following remote operation system.
遠隔操作システムは、上述の作業装置と、上述の対象装置と、遠隔操作装置とを備える。遠隔操作装置は、操作部と、データ処理部と、通信部と、カメラなどのデータ取得センサと、表示部とを備える。操作部は、人に操作され、この操作に応じた操作信号を生成する。データ処理部は、この操作信号に従って動作指令を生成する。通信部は、生成された動作指令を無線または有線で作業装置へ送信する。作業装置は、通信部からの動作指令に従って動作することにより、対象装置に対して作業を行う。データ取得センサは、作業装置から見た状況を表わす画像データやその他の各種データを取得する。これらのデータは、表示部に対して無線または有線で送信される。表示部は、送信された画像データやその他の各種データを表示する。人が、表示部に表示された画像データなどを見ながら、操作部を操作する。 The remote operation system includes the above-described work device, the above-described target device, and a remote operation device. The remote operation device includes an operation unit, a data processing unit, a communication unit, a data acquisition sensor such as a camera, and a display unit. The operation unit is operated by a person and generates an operation signal corresponding to the operation. The data processing unit generates an operation command according to the operation signal. The communication unit transmits the generated operation command to the work apparatus wirelessly or by wire. The work device performs work on the target device by operating according to an operation command from the communication unit. The data acquisition sensor acquires image data representing the situation viewed from the working device and other various data. These data are transmitted to the display unit wirelessly or by wire. The display unit displays the transmitted image data and other various data. A person operates the operation unit while looking at image data displayed on the display unit.
このような構成により、人は、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせる。この時、作業装置（例えば、作業装置が備える作業用マニピュレータ）と対象装置の作業対象部との相対姿勢および相対位置を、表示部に表示された画像データなどから、当該作業が可能となる相対姿勢および相対位置に調整する必要がある。 With such a configuration, a person remotely operates the work device by operating the operation unit to cause the work device to perform work on the target device. At this time, the relative posture and the relative position between the work device (for example, the work manipulator included in the work device) and the work target portion of the target device can be compared based on the image data displayed on the display unit. It is necessary to adjust the posture and relative position.
しかし、上述の相対姿勢および相対位置の調整が困難となることがある。その理由は、次の（１）（２）通りである。
（１）配置できるカメラの数や位置には限界があるので、上述の相対姿勢および相対位置を把握しやすい画像データが得られない場合がある。
（２）通信性能（通信速度の制約）のため、上述の相対姿勢および相対位置を把握しやすい多数視点の画像データや高解像度画像が得られない場合がある。
However, it may be difficult to adjust the relative posture and the relative position. The reason is as follows (1) and (2).
(1) Since there is a limit to the number and positions of cameras that can be arranged, there is a case where image data that makes it easy to grasp the above-described relative posture and relative position may not be obtained.
(2) Due to communication performance (communication speed limitation), there are cases where image data of multiple viewpoints and high-resolution images that make it easy to grasp the above-described relative posture and relative position cannot be obtained.
なお、遠隔操作では、画像データや動作指令が、無線ネットワークや有線ネットワークなどを経由して送受信されるので、人が操作部を操作してから作業装置が実際に動くまでの遅延時間が発生する。同様に、作業装置のカメラにより撮影してから、その画像データが表示部に表示されるまでの遅延時間が発生する。遅延時間は、一般的に通信距離や通信する情報量などから決定されるが、遅延時間を減らすために、画像の解像度を減らすと、上記（２）の不都合が生じる。特に無線を使用する場合、制約が高いため、この問題が顕著になる。 In remote operation, image data and operation commands are transmitted / received via a wireless network, a wired network, etc., so there is a delay time from when a person operates the operation unit until the work device actually moves. . Similarly, there is a delay time from when the image is taken by the camera of the working device until the image data is displayed on the display unit. The delay time is generally determined from the communication distance, the amount of information to be communicated, and the like. However, if the image resolution is reduced in order to reduce the delay time, the inconvenience (2) occurs. In particular, when radio is used, this problem becomes significant due to high restrictions.
このように、上記の相対姿勢および相対位置の調整が困難となることにより、作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせることが困難となる。特に、給油口などの穴に対して、給油ノズルなどの棒状体の位置や姿勢を精密に合わせて挿入または抜去する場合や、給電などの、位置や姿勢を精密に合わせた接触を行う場合などでは、接触による過負荷などにより、作業装置や対象装置が破損することも考えられ、作業はより一層困難となる。 As described above, since the adjustment of the relative posture and the relative position becomes difficult, it is difficult to remotely operate the work device and cause the work device to perform work on the target device. In particular, when inserting or removing a rod-like body such as a fuel nozzle precisely with respect to a hole such as a fuel filler port, or when making contact with a precise position or posture such as power feeding, etc. Then, the working device and the target device may be damaged due to an overload caused by contact, and the work becomes even more difficult.
そこで、本発明の目的は、人が、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置のマニピュレータに行わせることを容易にすることにある。 Accordingly, an object of the present invention is to make it easy for a person to remotely operate a work device by operating an operation unit to cause a manipulator of the work device to perform work on a target device.
上述の目的を達成するため、本発明によると、遠隔操作システムに設けられる遠隔操作支援装置であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第１通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第１通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
前記遠隔操作支援装置は、
前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する相対データ計測装置と、
前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第１および第２の数値データの一方または両方を、前記計測データから生成する数値データ生成部と、を備え、
前記第１の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第２の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
生成された前記第１および第２の数値データの一方または両方を前記表示部に対して送信するように構成され、もしくは、生成された前記第１または第２の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記第１および第２の数値データの一方または両方を前記表示部に対して送信するように構成されている場合には、前記表示部は、送信されてきた前記第１および第２の数値データの一方または両方を表示し、
前記第１または第２の数値データを前記マニピュレータ制御部に対して送信するように構成されている場合には、前記マニピュレータ制御部は、送信されてきた前記第１または第２の数値データに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援装置が提供される。
In order to achieve the above object, according to the present invention, there is provided a remote control support device provided in a remote control system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device includes a manipulator measuring device that measures one or both of a posture and a position of a manipulator in a manipulator coordinate system fixed to the main body as manipulator data, and the manipulator according to the operation command from the first communication unit. A manipulator control unit for controlling the operation;
The remote operation support device is
Relative data measurement that measures, as measurement data, data related to one or both of a relative posture and a relative position between the main body of the working device and the target device in a state where the work target portion is located within an operation range of the manipulator. Equipment,
In order to perform the work, one or both of first and second numerical data used for adjusting one or both of a relative posture and a relative position between the manipulator and the target device are generated from the measurement data. A numerical data generation unit
The first numerical data is numerical data indicating one or both of the posture and position of the work target unit in the manipulator coordinate system, and the second numerical data is a numerical value from the manipulator data and the measurement data. Numerical data generated by a data generation unit and indicating an amount for adjusting one or both of a relative posture and a relative position between the manipulator and the target device in order to perform the work,
One or both of the generated first and second numerical data are transmitted to the display unit, or the generated first or second numerical data is sent to the manipulator control unit. Configured to transmit to
In a case where one or both of the first and second numerical data are transmitted to the display unit, the display unit transmits the first and second numerical data transmitted thereto. Display one or both of
In the case where the first or second numerical data is configured to be transmitted to the manipulator control unit, the manipulator control unit is based on the transmitted first or second numerical data. Thus, a remote operation support device is provided, which adjusts one or both of the posture and position of the manipulator.
また、本発明によると、遠隔操作システムに設けられる遠隔操作支援方法であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第１通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第１通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
（Ａ）前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、相対データ計測装置により、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測し、
（Ｂ）前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第１および第２の数値データの一方または両方を、数値データ生成部により前記計測データから生成し、前記第１の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第２の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
（Ｃ）生成された第１および第２の数値データの一方または両方を前記表示部に対して送信し、もしくは、第１または第２の数値データを前記マニピュレータ制御部に対して送信し、
第１および第２の数値データの一方または両方が前記表示部に対して送信される場合には、前記表示部は、送信されてきた第１および第２の数値データの一方または両方を表示し、
前記第１または第２の数値データが前記マニピュレータ制御部に対して送信される場合には、前記マニピュレータ制御部は、送信されてきた前記第１または第２の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援方法が提供される。
Further, according to the present invention, there is provided a remote operation support method provided in the remote operation system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device includes a manipulator measuring device that measures one or both of a posture and a position of a manipulator in a manipulator coordinate system fixed to the main body as manipulator data, and the manipulator according to the operation command from the first communication unit. A manipulator control unit for controlling the operation;
(A) In a state where the work target portion is positioned within the operation range of the manipulator, the relative data measuring device acquires data on one or both of the relative posture and the relative position between the main body of the work device and the target device. , Measured as measurement data,
(B) In order to perform the operation, one or both of the first and second numerical data used to adjust one or both of the relative posture and the relative position between the manipulator and the target device are numerical data. Generated from the measurement data by the generation unit, the first numerical data is numerical data indicating one or both of the posture and the position of the work target unit in the manipulator coordinate system, the second numerical data, Numerical data generated by a numerical data generation unit from the manipulator data and the measurement data, and numerical data indicating an amount to adjust one or both of the relative posture and the relative position between the manipulator and the target device in order to perform the operation Yes,
(C) One or both of the generated first and second numerical data are transmitted to the display unit, or the first or second numerical data is transmitted to the manipulator control unit,
When one or both of the first and second numerical data are transmitted to the display unit, the display unit displays one or both of the transmitted first and second numerical data. ,
When the first or second numerical data is transmitted to the manipulator control unit, the manipulator control unit determines the manipulator posture based on the transmitted first or second numerical data. A remote operation support method is provided that adjusts one or both of the position and the position.
遠隔操作支援装置の例を述べる。 An example of the remote operation support device will be described.
生成された前記第１の数値データを前記表示部に対して送信するように構成されており、かつ、前記マニピュレータ計測装置が計測した数値の前記マニピュレータデータを、前記表示部に対して送信するように構成されており、
前記表示部は、送信されてきた前記第１の数値データと、送信されてきた前記マニピュレータデータとを表示する。
The generated first numerical data is configured to be transmitted to the display unit, and the manipulator data of the numerical value measured by the manipulator measurement device is transmitted to the display unit. Is composed of
The display unit displays the transmitted first numerical data and the transmitted manipulator data.
したがって、人は、表示部に表示された第１の数値データと数値のマニピュレータデータとを比べて、操作部を操作できる。これにより、前記作業装置と前記対象装置との姿勢合わせおよび位置合わせの一方または両方がなされる。 Therefore, the person can operate the operation unit by comparing the first numerical data displayed on the display unit with the numerical manipulator data. Thereby, one or both of posture alignment and alignment between the work device and the target device is performed.
生成された前記第１の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記マニピュレータ制御部は、前記第１の数値データと前記マニピュレータデータとに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する。
It is configured to transmit the generated first numerical data to the manipulator control unit,
The manipulator control unit adjusts one or both of a posture and a position of the manipulator based on the first numerical data and the manipulator data.
したがって、マニピュレータ制御部により、前記作業装置と前記対象装置との姿勢合わせおよび位置合わせの一方または両方が自動的になされる。その後、人は、このような位置合わせをすることなく、操作部を操作して、作業対象部に対する作業を作業実行部に行わせることができる。 Therefore, one or both of posture alignment and alignment between the working device and the target device is automatically performed by the manipulator control unit. Thereafter, the person can operate the operation unit to cause the work execution unit to perform work on the work target unit without performing such alignment.
前記計測データは、前記作業装置の前記本体と前記対象装置との相対姿勢に関する姿勢計測データを含み、
前記数値データ生成部は、前記第１の数値データに含まれる姿勢数値データΔθＡとして、ΔθＡ＝Δθ１−０−（Δθｍ＋Δθｔ）を算出し、または、前記第２の数値データに含まれる姿勢数値データΔθＢとして、ΔθＢ＝Δθ１−０−（Δθｍ＋Δθｔ）−θｅを算出し、
Δθ１−０は、前記作業装置の前記本体に固定された本体座標系に対する、前記対象装置に固定された対象装置座標系の姿勢を示すベクトルであり、前記姿勢計測データにより表され、
Δθｍは、前記本体座標系に対する、前記マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されており、
Δθｔは、前記対象装置における作業対象部の向きに対する、前記対象装置座標系の姿勢を示す既知のベクトルであり、予め設定されており、
θｅは、マニピュレータ座標系に対するマニピュレータの姿勢を示すベクトルであり、前記マニピュレータ計測装置により計測される。
The measurement data includes posture measurement data related to a relative posture between the main body of the working device and the target device,
The numerical data generation unit calculates Δθ A = Δθ 1-0 − (Δθ m + Δθ t ) as posture numerical data Δθ A included in the first numerical data, or adds the second numerical data to the second numerical data Δθ B = Δθ 1-0 − (Δθ m + Δθ t ) −θ e is calculated as the included posture numerical data Δθ B ,
Δθ 1-0 is a vector indicating the posture of the target device coordinate system fixed to the target device with respect to the main body coordinate system fixed to the main body of the working device, and is represented by the posture measurement data,
Δθ m is a known fixed vector indicating the attitude of the manipulator coordinate system with respect to the main body coordinate system, and is set in advance.
Δθ t is a known vector indicating the orientation of the target device coordinate system with respect to the orientation of the work target portion in the target device, and is set in advance.
θ e is a vector indicating the attitude of the manipulator with respect to the manipulator coordinate system, and is measured by the manipulator measurement device.
このように、前記作業を行うために前記相対姿勢を調整する量を示す姿勢数値データを得る。したがって、数値を示す姿勢数値データに基づいて、前記作業装置と前記対象装置との相対姿勢を調整すれば、前記作業装置と前記対象装置との姿勢合わせがなされる。
特に、人は、表示部の表示を見て、姿勢合わせが適切になされたかどうかを判断しにくい。そこで、姿勢数値データを生成するので、作業を行うための姿勢合わせが、容易になり、または自動で行われる。
In this manner, posture numerical data indicating the amount by which the relative posture is adjusted to perform the work is obtained. Therefore, if the relative posture between the working device and the target device is adjusted based on the numerical posture data indicating the numerical values, the working device and the target device are aligned.
In particular, it is difficult for a person to see whether the posture is properly adjusted by looking at the display on the display unit. Therefore, since the posture numerical data is generated, posture alignment for performing work is facilitated or automatically performed.
前記計測データは、前記作業装置の前記本体と前記対象装置との相対位置に関する位置計測データを含み、
前記数値データ生成部は、前記第１の数値データに含まれる位置数値データΔＰＡとして、ΔＰＡ＝ΔＰ１−０−（ΔＰｍ＋ΔＰｔ＋ΔＰＯＦＦ）を算出し、または、前記第２の数値データに含まれる位置数値データΔＰＢとして、ΔＰＢ＝ΔＰ１−０−（ΔＰｍ＋ΔＰｔ＋ΔＰＯＦＦ）−Ｐｅを算出し、
ΔＰ１−０は、前記作業装置の前記本体に固定された本体座標系の原点に対する、前記対象装置に固定された対象装置座標系の原点の相対位置を示すベクトルであり、前記位置計測データにより表され、
ΔＰｍは、前記本体座標系の原点に対する、前記マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されており、
ΔＰＯＦＦは、予め設定されたオフセット量とオフセット方向を示すベクトルであり、
Ｐｅは、マニピュレータ座標系の座標で表される、マニピュレータの位置を示すベクトルであり、前記マニピュレータ計測装置により計測される。
The measurement data includes position measurement data related to a relative position between the main body of the working device and the target device,
The numerical data generating unit, the as positional numerical data [Delta] P A included in the first numerical data, ΔP A = ΔP 1-0 - calculates (ΔP m + ΔP t + ΔP OFF), or the second numerical As position numerical data ΔP B included in the data, ΔP B = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) −P e is calculated,
ΔP 1-0 is a vector indicating a relative position of the origin of the target apparatus coordinate system fixed to the target apparatus with respect to the origin of the main body coordinate system fixed to the main body of the working apparatus, and is based on the position measurement data. Represented,
ΔP m is a known fixed vector indicating a relative position of the origin of the manipulator coordinate system with respect to the origin of the main body coordinate system, and is set in advance.
ΔP OFF is a vector indicating a preset offset amount and offset direction,
Pe is a vector indicating the position of the manipulator represented by the coordinates of the manipulator coordinate system, and is measured by the manipulator measuring device.
このように、前記作業を行うために前記相対位置を調整する量を示す位置数値データを得る。したがって、数値を示す位置数値データに基づいて、前記作業装置と前記対象装置との相対姿勢を調整することにより、前記作業装置と前記対象装置との位置合わせがなされる。よって、作業を行うための位置合わせが、容易になり、または自動で行われる。 In this way, position numerical data indicating the amount by which the relative position is adjusted in order to perform the work is obtained. Therefore, the working device and the target device are aligned by adjusting the relative posture between the working device and the target device based on the position numerical data indicating the numerical values. Therefore, alignment for performing work is facilitated or automatically performed.
前記相対データ計測装置は、
前記作業装置に設けられ、前記作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得する第１計測器と、
前記対象装置に設けられ、前記対象装置の姿勢および位置の一方または両方を示すデータを前記計測データの一部として取得する第２計測器と、を備え、
前記数値データ生成部は、
前記第１計測器と前記第２計測器が取得した前記データに基づいて、前記第１および第２の数値データの一方または両方を算出する。
The relative data measuring device is:
A first measuring instrument that is provided in the working device and acquires data indicating one or both of the position and orientation of the main body of the working device as part of the measurement data;
A second measuring device that is provided in the target device and acquires data indicating one or both of the posture and position of the target device as a part of the measurement data;
The numerical data generator is
One or both of the first and second numerical data are calculated based on the data acquired by the first measuring instrument and the second measuring instrument.
このように、作業装置に設けた第１計測器により、作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得し、対象装置に設けた第２計測器により、作業装置の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得するので、これらのデータから、作業装置との本体と対象装置との相対姿勢と相対位置を得ることができる。したがって、このような計測データを用いて、上述の第１または第２の数値データを生成できる。 As described above, the first measuring instrument provided in the working device acquires data indicating one or both of the position and orientation of the main body of the working device as a part of the measurement data, and the second measurement provided in the target device. The data indicating one or both of the position and orientation of the work device is acquired as a part of the measurement data by the device, and the relative posture and relative position between the main body of the work device and the target device are obtained from these data. be able to. Therefore, the first or second numerical data described above can be generated using such measurement data.
前記第１計測器は、
前記作業装置における本体のロール方向の姿勢を計測する第１のジャイロセンサと、
前記作業装置における本体のピッチ方向の姿勢を計測する第２のジャイロセンサと、
前記作業装置の本体に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する第１および第２のＧＰＳ受信機と、
第１のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第１のＧＰＳ受信機の位置を示す位置情報Ｐｇ１を求め、第２のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第２のＧＰＳ受信機の位置を示す位置情報Ｐｇ２を求め、これらの位置情報Ｐｇ１，Ｐｇ２に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第１算出部と、を備え、
前記第２計測器は、
前記対象装置のロール方向の姿勢を計測する第３のジャイロセンサと、
前記対象装置のピッチ方向の姿勢を計測する第４のジャイロセンサと、
前記対象装置に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する第３および第４のＧＰＳ受信機と、
第３のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第３のＧＰＳ受信機の位置を示す位置情報Ｐｇ３を求め、第４のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第４のＧＰＳ受信機の位置を示す位置情報Ｐｇ４を求め、これらの位置情報Ｐｇ３，Ｐｇ４に基づいて前記対象装置のヨー方向の姿勢を算出する第２算出部と、を備え、
前記計測データは、前記第１計測器が取得した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、前記第２計測器が取得した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、を含む。
The first measuring instrument is
A first gyro sensor for measuring a posture of the main body in the roll direction in the working device;
A second gyro sensor for measuring the posture of the main body in the pitch direction in the working device;
A first GPS receiver and a second GPS receiver which are provided in the main body of the work device at intervals in the horizontal direction and receive GPS signals from GPS satellites;
Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS reception is performed based on the GPS signal received by the second GPS receiver. A first calculation unit that obtains position information P g2 indicating the position of the machine, and calculates a posture of the main body in the yaw direction of the working device based on the position information P g1 and P g2 ,
The second measuring instrument is
A third gyro sensor for measuring the posture of the target device in the roll direction;
A fourth gyro sensor for measuring the posture of the target device in the pitch direction;
A third and a fourth GPS receiver provided in the target device at intervals in the horizontal direction and receiving GPS signals from GPS satellites;
The position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS reception is performed based on the GPS signal received by the fourth GPS receiver. A second calculation unit that obtains position information P g4 indicating the position of the machine, and calculates an attitude of the target device in the yaw direction based on the position information P g3 and P g4 ,
The measurement data includes the roll-direction posture, the pitch-direction posture, and the yaw-direction posture of the working device acquired by the first measuring device, and the roll-direction posture of the target device acquired by the second measuring device. , A posture in the pitch direction, and a posture in the yaw direction.
ヨー方向の姿勢は、ジャイロセンサでは高精度に計測しにくく、また、高精度なヨー方向の姿勢をジャイロセンサで得るためには非常に高価なセンサが必要となる。そこで、ヨー方向の姿勢を、２つのＧＰＳ受信機で取得した位置情報から算出するので、安価な構成で、高精度なヨー方向の姿勢を得ることができる。 The posture in the yaw direction is difficult to measure with high accuracy by the gyro sensor, and a very expensive sensor is required to obtain the posture in the yaw direction with high accuracy. Therefore, since the attitude in the yaw direction is calculated from position information acquired by the two GPS receivers, a highly accurate attitude in the yaw direction can be obtained with an inexpensive configuration.
上述した本発明によると、上述の数値データ生成部により、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第１および第２の数値データの一方または両方を、前記計測データから生成し、第１および第２の数値データの一方または両方を送信する。 According to the present invention described above, one or both of the first and second numerical data used for adjusting one or both of the relative posture and the relative position between the manipulator and the target device by the numerical data generation unit described above. Both are generated from the measurement data, and one or both of the first and second numerical data are transmitted.
第１および第２の数値データの一方または両方が表示部に対して送信される場合には、表示部は、送信されてきた第１および第２の数値データの一方または両方を表示するので、人は、表示された第１および第２の数値データの一方または両方に基づいて、操作部を操作することにより、マニピュレータの姿勢と位置の一方または両方を調整できる。したがって、マニピュレータが対象装置に対して作業を行うための両者の姿勢合わせおよび位置合わせの一方または両方が容易になる。 When one or both of the first and second numerical data are transmitted to the display unit, the display unit displays one or both of the transmitted first and second numerical data. A person can adjust one or both of the posture and position of the manipulator by operating the operation unit based on one or both of the displayed first and second numerical data. Therefore, one or both of the posture alignment and alignment for the manipulator to perform work on the target device is facilitated.
第１または第２の数値データがマニピュレータ制御部に対して送信される場合には、作業装置の制御部は、第１または第２の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する。したがって、マニピュレータが対象装置に対して作業を行うための両者の姿勢合わせおよび位置合わせの一方または両方が自動で行われる。 When the first or second numerical data is transmitted to the manipulator control unit, the control unit of the work device determines one or both of the posture and the position of the manipulator based on the first or second numerical data. Adjust. Therefore, one or both of the posture alignment and alignment for the manipulator to perform work on the target device is automatically performed.
このように、姿勢合わせおよび位置合わせの一方または両方が、容易になり、または、自動で行われるので、操作部の操作により、対象装置に対して作業をマニピュレータに行わせることが容易になる。 As described above, one or both of the posture alignment and the alignment is facilitated or automatically performed. Therefore, it is easy to cause the manipulator to perform the work on the target device by operating the operation unit.
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 A preferred embodiment of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図１は、本発明の遠隔操作支援装置が適用可能な遠隔操作システム２０の一例を示すブロック図である。遠隔操作システム２０は、遠隔操作装置３と、この遠隔操作装置３に制御されて対象装置５に対して作業を行う作業装置７とを備える。本実施形態では、遠隔操作システム２０は、対象装置５をさらに含む。
FIG. 1 is a block diagram showing an example of a
遠隔操作装置３は、表示部９と操作部１１と第１データ処理部１２と第１通信部１３とを備える。表示部９は、作業装置７から見た状況を表わす観察データ（後述する）が作業装置７から無線または有線で送信されてきた場合に、この観察データを表示する。表示部９は、例えば、液晶ディスプレイである。操作部１１は、人に操作され、この操作に応じた操作信号を生成する。操作部１１は、例えば、操作レバー、ジョイスティック、ボタン、およびタッチパネルの少なくともいずれかを含む。第１データ処理部１２は、操作部１１により生成された操作信号に従って動作指令を生成する。第１通信部１３は、第１データ処理部１２により生成された動作指令を作業装置７へ無線または有線で送信する。
The
また、第１データ処理部１２は、上述の動作指令の調整（例えば、ゲイン調整やオフセット調整）を行ってもよい。この場合、調整された動作指令が、第１通信部１３により送信される。また、第１データ処理部１２は、第１通信部１３が作業装置７から受けたデータ（例えば、後述の観察データ）から、表示用の画像データを生成して表示部９へ送る。
The first
作業装置７は、対象装置５に対して作業を行う。作業装置７と対象装置５の一例を図２に示す。作業装置７は、図２のように、地上を移動する移動手段（クローラや、回転駆動される車輪や、歩行脚など）を有する本体７ａと、本体７ａに設置されたマニピュレータ７ｂと、マニピュレータ７ｂと一体で動作するようにマニピュレータ７ｂに支持され上述の作業を行う作業実行部７ｃと、を備える。作業実行部７ｃは、マニピュレータ７ｂの先端部に取り付けられるハンドもしくはツール、または、マニピュレータ７ｂの先端部のハンドに把持されるツールである。本体７ａは、操作部１１の操作に応じた操作信号に従って生成された動作指令に従って地上を移動する。マニピュレータ７ｂは、上述の動作指令に従って、本体７ａ上で、本体７ａに対して相対的に動作する。作業実行部７ｃは、上述の動作指令に従って作業を行う。
The work device 7 performs work on the
図２では、作業装置７は、対象装置５に対する作業として対象装置５に設けた給油口内へ給油を行う。この場合、作業実行部７ｃは、給油ノズルであり、作業対象部５ａは、給油口である。給油ノズル７ｃが、対象装置５の上述の給油タンクの給油口５ａに挿入された状態で、給油ノズル７ｃから、給油口５ａ内へ給油が行われる。対象装置５は、制御部５ｂ（図１を参照）を有する。対象装置５は、遠隔操作、自律制御、または両者の組み合わせにより、地上を移動し、所定の任務を行う車両や建機やロボットである。所定の任務は、例えば、作業エリア内の情報収集（例えば、状況を表わす画像の取得）や計測作業（例えば、放射線量計測）、瓦礫や岩石などの障害物撤去作業、砂防、築堤、構造物設置などの復旧作業、土砂や岩石などの積載や運搬や運送作業などである。
In FIG. 2, the working device 7 supplies oil into a fuel filler opening provided in the
作業装置７は、第２通信部１５と第２データ処理部１６とマニピュレータ制御部１７と観察データ取得センサ２１とを備える。
The work device 7 includes a
第２通信部１５は、遠隔操作装置３の第１通信部１３から無線または有線で送信された動作指令を受信する。
The
第２データ処理部１６は、第２通信部１５により受信した動作指令に従って制御信号を生成する。
The second
マニピュレータ制御部１７は、第２データ処理部１６が生成した制御信号（すなわち、上述の動作指令）に従って作業装置７を動作させる。図２のような構成の場合には、マニピュレータ制御部１７は、動作指令に従って、本体７ａに対するマニピュレータ７ｂの相対的な動作（移動や姿勢変化）、および、作業実行部７ｃによる作業を制御する。なお、好ましくは、マニピュレータ制御部１７は、マニピュレータ７ｂまたは作業実行部７ｃからフィードバック信号（例えば、後述のマニピュレータデータ）を受け、このフィードバック信号にも基づいて、マニピュレータ７ｂまたは作業実行部７ｃを制御する。
The
観察データ取得センサ２１は、作業装置７に設けられ、作業装置７から見た状況を表わす観察データを取得する。この観察データは、作業装置７の第２通信部１５により表示部９に対して無線または有線で送信される。すなわち、作業装置７の第２通信部１５は、観察データを、遠隔操作装置３の第１通信部１３に無線または有線で送信する。これにより、遠隔操作装置３の第１通信部１３が受信した観察データが、遠隔操作装置３の表示部９に表示される。
好ましくは、観察データ取得センサ２１が取得した観察データは、第２データ処理部１６に入力される。第２データ処理部１６は、入力された観察データに対して、適宜のデータ処理（例えば、補正処理や変換処理）を行う。この場合、このようにデータ処理された観察データが、第２通信部１５から第１通信部１３へ送信される。
The observation
Preferably, the observation data acquired by the observation
観察データ取得センサ２１は、作業装置７から見た状況を撮像するカメラであってよい。この場合には、このカメラが撮像した画像データが観察データとなる。
代わりに、観察データ取得センサ２１は、作業装置７から見た状況を、３次元的に計測する３次元形状計測センサであってもよい。この場合には、この３次元形状計測センサが計測した３次元形状データが観察データとなる。なお、３次元形状計測センサは、ＬＲＦ（ｌａｓｅｒ ｒａｎｇｅ ｆｉｎｄｅｒ）、距離画像センサ、または、ステレオカメラを有するものであってよい。また、上述の３次元形状計測センサは、さらに、画像データや形状データを取得する以外の各種環境（例えば、放射線量、温度、湿度など）を計測するセンサを含んでもよい。
The observation
Instead, the observation
図２の例では、観察データ取得センサ２１として、センサ２１ａ（例えば、カメラ）およびセンサ２１ｂ（例えば、カメラ）が配置される。センサ２１ａは、マニピュレータ７ｂの先端部に取り付けられ、センサ２１ｂは、本体７ａに取り付けられる。センサ２１ａは、作業対象部５ａを含む領域の状況を表わす観察データを取得する。センサ２１ｂは、本体７ａの一方側（例えば、進行方向側）の状況を表わす観察データを取得する。
In the example of FIG. 2, a
なお、対象装置５は、操作部１１と同様の操作部に操作されてもよい。この場合、このような操作部を人が操作することにより操作信号が生成され、この操作信号に基づいて動作指令が生成され、この動作指令が、対象装置５の第３通信部５ｃに受信される。第３通信部５ｃに受信された動作指令は、対象装置５の第３データ処理部３４により処理されることにより、この動作指令に従った制御信号が生成される。対象装置５の制御部５ｂは、この制御信号に従って、対象装置５の動作（例えば、対象装置５を移動させる駆動装置の動作）を制御する。
The
本発明の実施形態による遠隔操作支援装置１０は、上述した遠隔操作装置３と作業装置７とを備える遠隔操作システム２０に設けられる。図３は、遠隔操作支援装置１０の構成を示すブロック図である。
The remote
遠隔操作支援装置１０は、図３に示すように、相対データ計測装置２３と数値データ生成部２５を備える。
As shown in FIG. 3, the remote
相対データ計測装置２３は、作業装置７の本体７ａと対象装置５との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する。計測データは、本実施形態では、数値を示すデータである。
The relative
作業装置７には、マニピュレータ計測装置２４が設けられる。マニピュレータ計測装置２４は、作業装置７の本体７ａに固定されたマニピュレータ座標系におけるマニピュレータ７ｂ（より具体的には、作業実行部７ｃ）の姿勢と位置の一方または両方をマニピュレータデータとして計測する。マニピュレータデータは、数値を示すデータである。マニピュレータ７ｂが、複数のアームを互いに回転可能に連結されることにより構成されており、各アームが、サーボモータにより他のアームに対して回転させられる場合には、マニピュレータ計測装置２４は、これらのサーボモータの回転角を検出するセンサ２４ａと、検出されたこれらの回転角と各アームの長さなどに基づいて、マニピュレータデータを算出する演算部２４ｂとを有する。図３の例では、演算部２４ｂは、マニピュレータ制御部１７に組み込まれている。
The work device 7 is provided with a
数値データ生成部２５は、上述の作業を行うために、マニピュレータ７ｂと対象装置５との相対姿勢と相対位置の一方または両方を調整することに用いられる第１または第２の数値データを、計測データから生成する。第１の数値データは、マニピュレータ座標系における作業対象部５ａの姿勢と位置の一方または両方（本実施形態では、両方）を示す数値データであり、第２の数値データは、マニピュレータデータと上述の計測データとから数値データ生成部２５により生成され、上述の作業を行うために、マニピュレータ７ｂと対象装置５との相対姿勢と相対位置の一方または両方を調整する量を示す数値データである。なお、一例では、数値データ生成部２５は、遠隔操作装置３または作業装置７に設けられる。なお、相対データ計測装置２３が取得した計測データは、無線または有線により数値データ生成部２５へ送信される。
The numerical
第１または第２の数値データが生成されると、数値データ伝達部（図３を参照）は、第１または第２の数値データを表示部９に対して伝える処理Ａ、または、第１または第２の数値データを作業装置７のマニピュレータ制御部１７に対して伝える処理Ｂを行う。
When the first or second numerical data is generated, the numerical data transmission unit (see FIG. 3) performs the process A for transmitting the first or second numerical data to the
処理Ａが行われるように数値データ伝達部が構成されている場合には、表示部９は、送信されてきた第１または第２の数値データを表示する。人は、この表示を見て、上述の作業を行うために、操作部１１を操作する。
When the numerical data transmission unit is configured to perform the process A, the
処理Ｂが行われるように数値データ伝達部が構成されている場合には、マニピュレータ制御部１７は、送信されてきた第１または第２の数値データに基づいて、マニピュレータ７ｂの姿勢と位置の一方または両方（本実施形態では、両方）を調整する。
When the numerical data transmission unit is configured to perform the process B, the
好ましくは、計測データは、上述の相対姿勢に関する姿勢計測データを含み、第１または第２の数値データは、上述の作業を行うために上述の相対姿勢を調整することに用いられる姿勢数値データを含む。 Preferably, the measurement data includes posture measurement data regarding the above-described relative posture, and the first or second numerical data includes posture numerical data used for adjusting the above-described relative posture in order to perform the above-described operation. Including.
さらに好ましくは、計測データは、姿勢計測データに加えて、上述の相対位置に関する位置計測データを含み、第１または第２の数値データは、姿勢数値データに加えて、上述の作業を行うために上述の相対位置を調整することに用いられる位置数値データを含む。 More preferably, the measurement data includes position measurement data related to the relative position in addition to the posture measurement data, and the first or second numerical data is for performing the above-described operation in addition to the posture numerical data. It includes position numerical data used to adjust the relative position described above.
相対データ計測装置２３は、第１計測器２３ａと第２計測器２３ｂを備える。第１計測器２３ａは、作業装置７に設けられ、静止座標系における作業装置７の位置および姿勢の一方または両方（本実施形態では、両方）を計測データの一部として取得するものであればよく、後述の構成例に限定されない。第２計測器２３ｂは、対象装置５に設けられ、静止座標系における対象装置５の位置および姿勢の一方または両方（本実施形態では、両方）を計測データの一部として取得するものであればよく、後述の構成例に限定されない。数値データ生成部２５は、相対データ計測装置２３（第１計測器２３ａと第２計測器２３ｂ）が取得した計測データに基づいて、第１または第２の数値データを生成する。
The relative
数値データ生成部２５が、遠隔操作装置３に設けられる場合には、数値データ生成部２５は、遠隔操作装置３の第１データ処理部１２に組み込まれるのがよい。この場合、第１計測器２３ａが取得した計測データは、第２データ処理部１６と第２通信部１５と第１通信部１３を通して数値データ生成部２５（すなわち、第１データ処理部１２）へ送信され、第２計測器２３ｂが取得した計測データは、第３データ処理部３４と第３通信部５ｃと第１通信部１３を通して数値データ生成部２５（すなわち、第１データ処理部１２）へ送信される。
この場合、第２データ処理部１６は、第１計測器２３ａが取得した計測データに対して、適宜のデータ処理（例えば、補正処理や変換処理）を行う。このようにデータ処理された計測データが、第２通信部１５から、第１通信部１３へ送信されて数値データ生成部２５に入力される。この場合、同様に、第３データ処理部３４は、第２計測器２３ｂが取得した計測データに対して、適宜のデータ処理（例えば、補正処理や変換処理）を行う。このようにデータ処理された計測データが、第３通信部５ｃから、第１通信部１３へ送信されて数値データ生成部２５に入力される。
When the numerical
In this case, the second
数値データ生成部２５が、遠隔操作装置３に設けられる場合に、上述の処理Ａが行われるときには、処理Ａは、好ましくは、数値データ生成部２５（この例では、第１データ処理部１２）に設けられた数値データ伝達部により行われる。数値データ生成部２５が、遠隔操作装置３に設けられる場合に、上述の処理Ｂが行われるときには、処理Ｂは、好ましくは、第１通信部１３により行われる。すなわち、第１通信部１３は、数値データ伝達部として機能して、第２通信部１５へ第１または第２の数値データを送信し、これにより、第１または第２の数値データがマニピュレータ制御部１７へ伝えられる。この場合、第１または第２の数値データは、第２データ処理部１６により適宜のデータ処理（例えば、補正処理や変換処理など）がなされて、マニピュレータ制御部１７へ伝えられてもよい。
When the numerical
数値データ生成部２５が、作業装置７に設けられる場合には、数値データ生成部２５は、作業装置７の第２データ処理部１６に組み込まれるのがよい。この場合、第１計測器２３ａが取得した計測データは、数値データ生成部２５（すなわち、第２データ処理部１６）に入力され、第２計測器２３ｂが取得した計測データは、第３データ処理部３４と第３通信部５ｃと第２通信部１５を通して数値データ生成部２５（すなわち、第２データ処理部１６）へ送信される。
この場合、第３データ処理部３４は、第２計測器２３ｂが取得した計測データに対して、適宜のデータ処理（例えば、補正処理や変換処理）を行う。このようにデータ処理された計測データが、第３通信部５ｃから、第２通信部１５へ送信されて数値データ生成部２５（第２データ処理部１６）に入力される。
When the numerical
In this case, the third
数値データ生成部２５が、作業装置７に設けられる場合に、上述の処理Ａが行われるときには、処理Ａは、好ましくは、第２通信部１５により行われる。この場合、第２通信部１５は、数値データ伝達部として機能して、第１通信部１３へ第１または第２の数値データを送信し、これにより、第１または第２の数値データが表示部９へ伝えられる。また、この場合、第１または第２の数値データは、第１データ処理部１２により表示用の第１または第２の数値データにされて、表示部９へ伝えられてもよい。数値データ生成部２５が、作業装置７に設けられる場合に、上述の処理Ｂが行われるときには、処理Ｂは、好ましくは、数値データ生成部２５に設けられた数値データ伝達部により行われる。すなわち、この数値データ伝達部が、第１または第２の数値データをマニピュレータ制御部１７へ送信する。この場合、数値データ生成部２５は、生成した第１または第２の数値データに対して適宜のデータ処理（例えば、補正処理や変換処理など）を行い、このようにデータ処理された第１または第２の数値データを上述の数値データ伝達部がマニピュレータ制御部１７へ伝えてもよい。
When the numerical
なお、上述のように、処理Ａまたは処理Ｂを行う数値データ伝達部は、遠隔操作支援装置１０の構成要素となる。図３の例では、数値データ生成部２５に数値データ伝達部が設けられている。
As described above, the numerical data transmission unit that performs the process A or the process B is a component of the remote
第１計測器２３ａによる作業装置７の本体７ａの姿勢の計測を述べる。第１計測器２３ａは、作業装置７の本体７ａの姿勢として、ロール方向の姿勢と、ピッチ方向の姿勢とを計測し、ヨー方向の姿勢を取得するためのデータを計測する。ロール方向の姿勢は、作業装置７の本体７ａに固定されたロール軸（本体７ａの前後に延びる軸）回りに、本体７ａが基準姿勢から回転した角度θｒ０で表される。ピッチ方向の姿勢は、本体７ａに固定されたピッチ軸（この例では、作業装置７の左右に延びる軸）回りに、本体７ａが基準姿勢から回転した角度θｐ０で表される。ヨー方向の姿勢は、本体７ａに固定されたヨー軸（この例では、ロール軸とピッチ軸の両方に直交する軸）回りに、本体７ａが基準姿勢から回転した角度θｙ０で表される。本体７ａが基準姿勢にある状態では、ヨー軸は、鉛直方向を向いている。
The measurement of the posture of the
第１計測器２３ａは、第１および第２のジャイロセンサ２９ａ，２９ｂと第１および第２のＧＰＳ受信機３１ａ，３１ｂと第１算出部３２を備える。第１のジャイロセンサ２９ａは、ロール方向の本体７ａの姿勢を計測する。第２のジャイロセンサ２９ｂは、ピッチ方向の本体７ａの姿勢を計測する。第１および第２のＧＰＳ受信機３１ａ，３１ｂは、作業装置７の本体７ａに水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する。第１算出部３２は、第１のＧＰＳ受信機３１ａが受信したＧＰＳ信号に基づいて静止座標系における第１のＧＰＳ受信機３１ａの位置を示す位置情報Ｐｇ１を求め、第２のＧＰＳ受信機３１ｂが受信したＧＰＳ信号に基づいて静止座標系における第２のＧＰＳ受信機３１ｂの位置を示す位置情報Ｐｇ２を求め、これらの位置情報Ｐｇ１，Ｐｇ２に基づいて本体７ａのヨー方向の姿勢を算出する。このような第１および第２のＧＰＳ受信機３１ａ，３１ｂと第１算出部３２は、ＧＰＳコンパスを構成する。
The
なお、本明細書において、静止座標系は、地上に固定された座標系である。以下において、Ｘ軸とＹ軸とＺ軸は、静止座標系における、互いに直交する座標軸を意味し、Ｚ軸は鉛直方向を向く。 In this specification, the stationary coordinate system is a coordinate system fixed on the ground. In the following, the X axis, the Y axis, and the Z axis mean coordinate axes that are orthogonal to each other in the stationary coordinate system, and the Z axis faces the vertical direction.
図１の例では、第１計測器２３ａが取得したロール方向の姿勢とピッチ方向の姿勢とヨー方向の姿勢とは、姿勢計測データとして、第２データ処理部１６に入力される。第２データ処理部１６は、入力された姿勢計測データに対して、適宜のデータ処理（例えば、補正処理や変換処理）を行う。この場合、このようにデータ処理された姿勢計測データが、数値データ生成部２５に送信される。
In the example of FIG. 1, the posture in the roll direction, the posture in the pitch direction, and the posture in the yaw direction acquired by the
図３の例では、第１算出部３２は、作業装置７の第２データ処理部１６に組み込まれているが、第１算出部３２を、他の場所に設けてもよい。例えば、数値データ生成部２５が、遠隔操作装置３に設けられる場合には、第１算出部３２も遠隔操作装置３に設けられてもよい。
In the example of FIG. 3, the
第２計測器２３ｂによる対象装置５の姿勢の計測を述べる。第２計測器２３ｂは、対象装置５の姿勢として、ロール方向の姿勢と、ピッチ方向の姿勢とを計測し、ヨー方向の姿勢を取得するためのデータを計測する。ロール方向の姿勢は、対象装置５に固定されたロール軸（対象装置５の前後に延びる軸）回りに、対象装置５が基準姿勢から回転した角度θｒ１で表される。ピッチ方向の姿勢は、対象装置５に固定されたピッチ軸（この例では、対象装置５の左右に延びる軸）回りに、対象装置５が基準姿勢から回転した角度θｐ１で表される。ヨー方向の姿勢は、対象装置５に固定されたヨー軸（この例では、ロール軸とピッチ軸の両方に直交する軸）回りに、対象装置５が基準姿勢から回転した角度θｙ１で表される。対象装置５が基準姿勢にある状態では、ヨー軸は、鉛直方向を向いている。
The measurement of the posture of the
第２計測器２３ｂは、第３および第４のジャイロセンサ３３ａ，３３ｂと第３および第４のＧＰＳ受信機３５ａ，３５ｂと第２算出部３６とを備える。
第３のジャイロセンサ３３ａは、ロール方向の対象装置５の姿勢を計測する。第４のジャイロセンサ３３ｂは、ピッチ方向の対象装置５の姿勢とを計測する。第３および第４のＧＰＳ受信機３５ａ，３５ｂは、対象装置５に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する。第２算出部３６は、第３のＧＰＳ受信機３５ａが受信したＧＰＳ信号に基づいて静止座標系における第３のＧＰＳ受信機３５ａの位置を示す位置情報Ｐｇ３を求め、第４のＧＰＳ受信機３５ｂが受信したＧＰＳ信号に基づいて静止座標系における第４のＧＰＳ受信機３５ｂの位置を示す位置情報Ｐｇ４を求め、これらの位置情報Ｐｇ３，Ｐｇ４に基づいて対象装置５のヨー方向の姿勢を算出する。このような第３および第４のＧＰＳ受信機３５ａ，３５ｂと第２算出部３６は、ＧＰＳコンパスを構成する。
The
The
図１の例では、第２計測器２３ｂが取得したロール方向の姿勢とピッチ方向の姿勢とヨー方向の姿勢とは、姿勢計測データとして、第３データ処理部３４に入力される。第３データ処理部３４は、入力された姿勢計測データに対して、適宜のデータ処理（例えば、補正処理や変換処理）を行う。この場合、このようにデータ処理された姿勢計測データが、数値データ生成部２５に送信される。
In the example of FIG. 1, the posture in the roll direction, the posture in the pitch direction, and the posture in the yaw direction acquired by the
図３の例では、第２算出部３６は、対象装置５の第３データ処理部３４に組み込まれているが、第２算出部３６を、他の場所に設けてもよい。例えば、数値データ生成部２５が、遠隔操作装置３に設けられる場合には、第２算出部３６も遠隔操作装置３に設けられてもよい。
In the example of FIG. 3, the
数値データ生成部２５は、上述のように取得した本体７ａのロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、上述のように取得した対象装置５のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とに基づいて、上述の作業を行うために、前記本体７ａと前記マニピュレータ７ｂとの相対姿勢と相対位置を調整することに用いられる第１または第２の数値データを算出する。
The numerical
第１計測器２３ａの第１算出部３２は、上述の位置情報Ｐｇ１と位置情報Ｐｇ２の一方または両方に基づいて、作業装置７の本体７ａの位置を示す位置情報Ｐ０を生成する。位置情報Ｐ０は、作業装置７の本体７ａに固定された本体座標系の原点の位置を示す。本体座標系は、本体７ａに固定され互いに直交する上述のロール軸とピッチ軸とヨー軸を座標軸として有する。本体座標系の原点は、これらのロール軸とピッチ軸とヨー軸との交点である。また、この例では、位置情報Ｐ０は、静止座標系で表わされる。なお、本体座標系の原点と、第１および第２のＧＰＳ受信機３１ａ，３１ｂの一方または両方との相対位置は、既知であり、第１算出部３２に記憶されている。
The
第２計測器２３ｂの第２算出部３６は、上述の位置情報Ｐｇ３と位置情報Ｐｇ４の一方または両方に基づいて、対象装置５の位置を示す位置情報Ｐ１を生成する。位置情報Ｐ１は、対象装置５に固定された対象装置座標系の原点の位置を示す。対象装置座標系は、対象装置５に固定され互いに直交する上述のロール軸とピッチ軸とヨー軸を座標軸として有する。対象装置座標系の原点は、これらのロール軸とピッチ軸とヨー軸との交点である。また、この例では、位置情報Ｐ１は、静止座標系で表わされる。なお、対象装置座標系の原点と、第３および第４のＧＰＳ受信機３５ａ，３５ｂの一方または両方との相対位置は、既知であり、第２算出部３６に記憶されている。
The
上述した本発明の実施形態による遠隔操作支援装置１０を用いた遠隔操作支援方法を述べる。図４は、この遠隔操作支援方法を示すフローチャートである。
A remote operation support method using the remote
ステップＳ１において、作業装置７と対象装置５とを互いに近接させる。本実施形態では、上述した作業エリア内において対象装置５を停止させ、作業装置７を対象装置５の近くへ移動させる。
In step S1, the work device 7 and the
ステップＳ１における対象装置５の停止は、例えば、対象装置５が停止指令を受信することによって対象装置５の制御部５ｂに行われる。この停止指令は、例えば操作部１１と同様の操作部を人が操作することにより、停止指令が無線または有線で対象装置５へ送信され、対象装置５の第３通信部５ｃに受信される。なお、図２の例では、対象装置５の作業対象部５ａの位置が、作業装置７のマニピュレータ７ｂ（より厳密には、作業実行部７ｃ）の動作範囲内にあると作業を効率的に行うことができるため、このような位置関係が得られるように作業装置７を移動をさせる。マニピュレータ７ｂの動作範囲とは、本体７ａが停止した状態で、作業実行部７ｃが到達できる範囲を意味する。
The stop of the
ステップＳ１における作業装置７の本体７ａの移動は、操作部１１、または、操作部１１と同様の操作部を人が操作することにより制御されてもよい。この場合、このような操作部を人が操作することにより操作信号が生成され、この操作信号に基づいて動作指令が生成され、この動作指令が、作業装置７の第２通信部１５に受信される。第２通信部１５に受信された動作指令は、第２データ処理部１６により処理されることにより、この動作指令に従った制御信号が生成される。作業装置７の本体制御部（図示せず）は、この制御信号に従って、作業装置７の本体７ａに設けられた上述の移動手段を制御することにより、本体７ａの位置や向きを変化させる。この時、作業装置７の本体７ａの位置情報Ｐ０と対象装置５の位置情報Ｐ１が、表示部９に伝えられて表示部９に表示される。人は、表示部９に表示された位置情報Ｐ０，Ｐ１を見て、操作部１１を操作して、上述したように、作業対象部５ａの位置が作業装置７のマニピュレータ７ｂの動作範囲内になるように、作業装置７を対象装置５の近くへ移動させる。
The movement of the
なお、この時、位置情報Ｐ１の代わりに、静止座標系で表わされた作業対象部５ａの位置を示す位置情報Ｐｔが表示部９に表示されてもよい。ここで、位置情報Ｐｔは、位置情報Ｐ１と、予め分かっている後述の相対位置ΔＰｔとにより求められる。この場合、第１データ処理部１２は、相対位置ΔＰｔを記憶しており、このΔＰｔと、第２算出部３６から送られた位置情報Ｐ１とに基づいて位置情報Ｐｔを生成して表示部９に出力する。
At this time, instead of the position information P 1 , position information P t indicating the position of the
ステップＳ１が行われたら、ステップＳ２〜Ｓ６が行われる。すなわち、作業対象部５ａが、マニピュレータ７ｂの動作範囲内に位置する状態で、ステップＳ２〜Ｓ６が行われる。ステップＳ２〜Ｓ６の開始は、例えば、操作部１１の操作により、計測指令が、生成されて、第１計測器２３ａと第２計測器２３ｂに対して無線または有線で送信されることによりなされる。
When step S1 is performed, steps S2 to S6 are performed. That is, steps S2 to S6 are performed in a state where the
ステップＳ２において、第１計測器２３ａは、作業装置７の本体７ａの姿勢として、ロール方向の姿勢θｒ０と、ピッチ方向の姿勢θｐ０と、ヨー方向の姿勢θｙ０を計測する。計測されたこれらの姿勢θｒ０，θｐ０，θｙ０は、姿勢計測データとして数値データ生成部２５に送信される。
In step S2, the
ステップＳ３において、第１計測器２３ａは、作業装置７の本体７ａの位置を示す位置情報Ｐ０を取得し、この位置情報Ｐ０が、位置計測データとして数値データ生成部２５に送信される。
In step S <b> 3, the first measuring
ステップＳ４において、第２計測器２３ｂは、対象装置５の姿勢として、ロール方向の姿勢θｒ１と、ピッチ方向の姿勢θｐ１と、ヨー方向の姿勢θｙ１を計測する。計測されたこれらの姿勢θｒ１，θｐ１，θｙ１は、姿勢計測データとして数値データ生成部２５に送信される。
In step S4, the
ステップＳ５において、第２計測器２３ｂは、対象装置５の位置を示す位置情報Ｐ１を取得し、この位置情報Ｐ１が、位置計測データとして数値データ生成部２５に送信される。
In step S5, the
ステップＳ６において、マニピュレータ計測装置２４は、マニピュレータ座標系におけるマニピュレータ７ｂ（作業実行部７ｃ）の姿勢と位置を、それぞれマニピュレータデータθｅ，Ｐｅとして計測する。
In step S6, the
ステップＳ２〜Ｓ６が行われたら、ステップＳ７とステップＳ８が行われる。本実施形態では、ステップＳ７とステップＳ８において、第１の数値データの姿勢数値データと位置数値データを算出する場合と、ステップＳ７とステップＳ８において、第２の数値データの姿勢数値データと位置数値データを算出する場合とがある。 When steps S2 to S6 are performed, steps S7 and S8 are performed. In the present embodiment, the posture numerical data and position numerical data of the first numerical data are calculated in steps S7 and S8, and the posture numerical data and position numerical values of the second numerical data are calculated in steps S7 and S8. Sometimes data is calculated.
ステップＳ７において、数値データ生成部２５は、第１または第２の数値データに含まれる姿勢数値データを算出する。
In step S <b> 7, the numerical
ステップＳ７において、第１の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部２５は、この姿勢数値データとして、下記の式（１）で表されるΔθＡを算出する。
この算出は、ステップＳ２で計測された作業装置７のロール方向の姿勢θｒ０、ピッチ方向の姿勢θｐ０、およびヨー方向の姿勢θｙ０と、ステップＳ４で計測された対象装置５のロール方向の姿勢θｒ１、ピッチ方向の姿勢θｐ１、およびヨー方向の姿勢θｙ１と、後述のΔθｍに基づいて行われる。
ΔθＡ＝Δθ１−０−（Δθｍ＋Δθｔ） ・・・（１）
In step S7, when calculating the attitude numerical data included in the first numerical data, the numerical
This calculation is based on the orientation θ r0 in the roll direction, the orientation θ p0 in the pitch direction, and the orientation θ y0 in the yaw direction measured in step S2 and the roll direction of the
Δθ A = Δθ 1-0 − (Δθ m + Δθ t ) (1)
ステップＳ７において、第２の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部２５は、この姿勢数値データとして、下記の式（２）で表されるΔθＢを算出する。
この算出は、ステップＳ２で計測された作業装置７のロール方向の姿勢θｒ０、ピッチ方向の姿勢θｐ０、およびヨー方向の姿勢θｙ０と、ステップＳ４で計測された対象装置５のロール方向の姿勢θｒ１、ピッチ方向の姿勢θｐ１、およびヨー方向の姿勢θｙ１と、後述のΔθｍと、ステップＳ６で計測されたマニピュレータデータθｅに基づいて行われる。
ΔθＢ＝Δθ１−０−（Δθｍ＋Δθｔ）−θｅ ・・・（２）
In step S7, when calculating the attitude numerical data included in the second numerical data, the numerical
This calculation is based on the orientation θ r0 in the roll direction, the orientation θ p0 in the pitch direction, and the orientation θ y0 in the yaw direction measured in step S2 and the roll direction of the
Δθ B = Δθ 1-0 − (Δθ m + Δθ t ) −θ e (2)
式（１）と式（２）における各記号について、詳しく説明する。 Each symbol in Formula (1) and Formula (2) will be described in detail.
Δθ１−０は、作業装置７の本体７ａに固定された本体座標系（例えば、この座標系の座標軸）に対する対象装置座標系（例えば、この座標系の座標軸）の相対姿勢を示すベクトルであり、前記姿勢計測データにより表される。詳しくは、次の通りである。Δθ１−０は、ロール方向に関する角度成分Δθｒとピッチ方向に関する角度成分Δθｐとヨー方向に関する角度成分Δθｙからなる。したがって、Δθ１−０は、Δθ１−０＝（Δθｒ，Δθｐ，Δθｙ）で表される。Δθｒ＝θｒ１−θｒ０であり、Δθｐ＝θｐ１−θｐ０であり、Δθｙ＝θｙ１−θｙ０で表される。なお、本明細書において、Δθ１−０，Δθｍ，Δθｔの各々は、ロール方向に関する角度成分とピッチ方向に関する角度成分とヨー方向に関する角度成分を有するベクトルである。式（１）（２）において、Δθ１−０，Δθｍ，Δθｔ，θｅ間での記号「−」による減算や記号「＋」による加算は、上述の角度成分毎に、独立して行われる。本明細書では、このような意味で、ΔθＡ，ΔθＢ，Δθ１−０，Δθｍ，Δθｔ，およびθｅをベクトルとして扱う。ただし、この減算や加算は、好ましくは、Δθ１−０，Δθｍ，Δθｔ、およびθｅの各角度成分をマニピュレータ座標系での角度成分（例えば、マニピュレータ座標系の各座標軸回りの方向に関する角度成分）で行う。すなわち、Δθ１−０，Δθｍ，Δθｔ、およびθｅの各角度成分がマニピュレータ座標系での角度成分に換算されていない場合には、この換算を行った上で、式（１）（２）における上述の減算と加算を行う。
Δθ 1-0 is a vector indicating the relative posture of the target apparatus coordinate system (for example, the coordinate axis of this coordinate system) with respect to the main body coordinate system (for example, the coordinate axis of this coordinate system) fixed to the
Δθｍは、本体座標系に対する、マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。Δθｍは、本実施形態では、作業装置７の本体７ａに固定されたロール軸、ピッチ軸、およびヨー軸に対応するロール方向、ピッチ方向、およびヨー方向に関する角度成分を有する。
Δθ m is a known fixed vector indicating the attitude of the manipulator coordinate system with respect to the main body coordinate system, and is set in advance. Each component of this vector is a fixed value. In the present embodiment, Δθ m has an angular component related to the roll direction, pitch direction, and yaw direction corresponding to the roll axis, pitch axis, and yaw axis fixed to the
Δθｔは、対象装置５における作業対象部５ａの向き（基準線）に対する、対象装置座標系（例えば、この座標系の座標軸）の姿勢を示すベクトルであり、予め設定されている。作業対象部５ａの向きは、対象装置５に固定されている。例えば、作業対象部５ａが後述の給油口である場合には、Δθｔは、給油口の向きに対する対象装置座標系の姿勢を示す。
Δθ t is a vector indicating the orientation of the target device coordinate system (for example, the coordinate axis of this coordinate system) with respect to the direction (reference line) of the
ΔθｍとΔθｔは、数値データ生成部２５の記憶部に予め記憶されている。
Δθ m and Δθ t are stored in advance in the storage unit of the numerical
θｅは、マニピュレータ座標系の座標軸に対するマニピュレータ（すなわち、作業実行部７ｃ）の姿勢を示すベクトルであり、マニピュレータ計測装置２４により計測される。例えば、マニピュレータ座標系が、互いに直交する３つの座標軸を有する場合に、これらの座標軸毎に、θｅは角度成分を有する。すなわち、θｅの各角度成分は、対応する座標軸回りに、作業実行部７ｃが基準姿勢から回転した角度である。
θ e is a vector indicating the attitude of the manipulator (that is, the
上式（１）で表されるΔθＡは、マニピュレータ座標系に対する作業対象部５ａの向き（姿勢）を示し、上式（２）で表されるΔθＢは、マニピュレータ７ｂ（より正確には、作業実行部７ｃ）の向き（姿勢）に対する作業対象部５ａの向き（姿勢）を示す。作業実行部７ｃの向きは、作業実行部７ｃに固定された基準線の向きであってよい。
Δθ A expressed by the above equation (1) indicates the orientation (posture) of the
ステップＳ８において、数値データ生成部２５は、第１または第２の数値データに含まれる位置数値データを算出する。
In step S8, the numerical
ステップＳ８において、第１の数値データに含まれる位置数値データを算出する場合には、数値データ生成部２５は、この位置数値データとして、下記の式（３）で表されるΔＰＡを算出する。
この算出は、ステップＳ３で取得された作業装置７の位置情報Ｐ０と、ステップＳ５で取得された対象装置５の位置情報Ｐ１と、後述のΔＰｍと、後述のΔＰＯＦＦに基づいて行われる。
ΔＰＡ＝ΔＰ１−０−（ΔＰｍ＋ΔＰｔ＋ΔＰＯＦＦ） ・・・（３）
In step S8, when calculating the position numeric data included in the first numerical data,
This calculation is performed based on the position information P 0 of the working device 7 acquired in step S3, the position information P 1 of the
ΔP A = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) (3)
ステップＳ８において、第２の数値データに含まれる位置数値データを算出する場合には、数値データ生成部２５は、この位置数値データとして、下記の式（４）で表されるΔＰＢを算出する。
この算出は、ステップＳ３で取得された作業装置７の位置情報Ｐ０と、ステップＳ５で取得された対象装置５の位置情報Ｐ１と、後述のΔＰｍと、後述のΔＰＯＦＦと、ステップＳ６で計測されたマニピュレータデータＰｅに基づいて行われる。
ΔＰＢ＝ΔＰ１−０−（ΔＰｍ＋ΔＰｔ＋ΔＰＯＦＦ）−Ｐｅ ・・・（４）
In step S8, when calculating the position numerical data included in the second numerical data, the numerical
This calculation is based on the position information P 0 of the working device 7 acquired in step S3, the position information P 1 of the
ΔP B = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) −P e (4)
式（３）と式（４）における各記号について、詳しく説明する。 Each symbol in Formula (3) and Formula (4) will be described in detail.
ΔＰ１−０は、作業装置７の本体７ａに固定された本体座標系（この座標系の原点）に対する対象装置座標系（この座標系の原点）の相対位置を示すベクトルであり、位置計測データにより表される。ΔＰ１−０は、ΔＰ１−０＝Ｐ１−Ｐ０で表される。Ｐ０，Ｐ１，ΔＰ１−０，ΔＰＡ，ΔＰＢ，ΔＰｍ，ΔＰｔ，ΔＰＯＦＦの各々は、例えば、静止座標系のＸ軸座標成分とＹ軸座標成分とＺ軸座標成分を有する。各式において、ΔＰ１−０，ΔＰｍ，ΔＰｔ，ΔＰＯＦＦ，Ｐｅ間での記号「−」による減算や記号「＋」による加算は、上述の座標成分毎に、独立して行われる。ただし、この減算や加算は、好ましくは、Ｐ０，Ｐ１，ΔＰ１−０，ΔＰｍ，ΔＰｔ，ΔＰＯＦＦ，およびＰｅの間での減算や加算は、マニピュレータ座標系での座標成分で行う。すなわち、Ｐ０，Ｐ１，ΔＰ１−０，ΔＰｍ，ΔＰｔ，ΔＰＯＦＦ，およびＰｅの各座標成分がマニピュレータ座標系での座標成分に換算されていない場合には、この換算を行った上で、式（３）（４）における上述の減算と加算を行う。
ΔP 1-0 is a vector indicating the relative position of the target apparatus coordinate system (origin of this coordinate system) with respect to the main body coordinate system (origin of this coordinate system) fixed to the
ΔＰｍは、本体座標系の原点に対する、マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されている。ΔＰｍは、数値データ生成部２５の記憶部に予め記憶されている。
ΔP m is a known fixed vector indicating the relative position of the origin of the manipulator coordinate system with respect to the origin of the main body coordinate system, and is set in advance. ΔP m is stored in advance in the storage unit of the numerical
ΔＰｔは、作業対象部５ａに対する、対象装置５に固定された対象装置座標系の原点の相対位置を示す。ΔＰｔは、既知の値であり、数値データ生成部２５の記憶部に予め記憶されている。
ΔP t indicates the relative position of the origin of the target device coordinate system fixed to the
ΔＰＯＦＦは、作業実行時における作業実行部７ｃの位置（すなわち、作業対象部５ａの位置）からのオフセットを示す。ΔＰＯＦＦは、作業対象部５ａから見た位置を示し、オフセット量とオフセット方向を示すベクトルである。ΔＰＯＦＦは、Ｘ軸成分とＹ軸成分とＺ軸成分を有する。ΔＰＯＦＦは、後述するように、作業実行時の直前に作業実行部７ｃが作業対象部５ａまで移動する距離と方向を示す。
ΔP OFF indicates an offset from the position of the
Ｐｅは、マニピュレータ座標系の座標軸の座標で表される、マニピュレータ７ｂ（すなわち、作業実行部７ｃ）の位置を示すベクトルであり、マニピュレータ計測装置２４により計測される。例えば、マニピュレータ座標系が、互いに直交する３つの座標軸を有する場合に、Ｐｅは、これらの座標軸毎に、この座標軸の座標値を有する。
Pe is a vector indicating the position of the
上式（３）で表されるΔＰＡは、マニピュレータ座標系の原点に対する作業対象部５ａの相対位置を示し、上式（４）で表されるΔＰＢは、マニピュレータ７ｂ（より正確には、作業実行部７ｃ）の位置に対する作業対象部５ａの相対位置を示す。
ΔP A expressed by the above equation (3) indicates the relative position of the
ステップＳ９において、上述の数値データ伝達部は、上述の処理Ａまたは処理Ｂを行う。なお、ステップＳ９では、本体７ａは停止している。
In step S9, the numerical data transmission unit described above performs the processing A or the processing B described above. In step S9, the
最初に、ステップＳ９で処理Ａが行われる場合について述べる。 First, the case where process A is performed in step S9 will be described.
ステップＳ９において、上述の数値データ伝達部は、ステップＳ７で算出された姿勢数値データΔθＡとステップＳ８で算出された位置数値データΔＰＡ、または、ステップＳ７で算出された姿勢数値データΔθＢとステップＳ８で算出された位置数値データΔＰＢを、遠隔操作装置３の表示部９に対して送信する。これにより、姿勢数値データΔθＡと位置数値データΔＰＡ、または、姿勢数値データΔθＢと位置数値データΔＰＢが、表示部９に表示される。
In step S9, the numerical data transmission unit described above includes the attitude numerical data Δθ A calculated in step S7 and the position numerical data ΔP A calculated in step S8, or the attitude numerical data Δθ B calculated in step S7. The numerical position data ΔP B calculated in step S8 is transmitted to the
ここで、姿勢数値データΔθＡと位置数値データΔＰＡが、表示部９に送信される場合には、表示部９は、ΔθＡとΔＰＡの他に、マニピュレータデータ送信部からのマニピュレータデータθｅ，Ｐｅも表示する。この場合、ΔθＡとθｅは、同じ座標系（好ましくは、マニピュレータ座標系）における各軸（座標軸）回りの角度成分で表現され、ΔＰＡとＰｅは、同じ座標系（好ましくは、マニピュレータ座標系）の各座標軸における座標成分で表現される。マニピュレータデータθｅ，Ｐｅは、例えば、マニピュレータ計測装置２４から、第２通信部１５と第１通信部１３を介して、表示部９へ送られる。したがって、第２通信部１５は、θｅ，Ｐｅを、第１通信部１３を介して、表示部９へ送信するマニピュレータデータ送信部として機能する。この場合、第２通信部１５は、遠隔操作支援装置１０の構成要素となる。なお、表示部９は、例えば、ΔθＡとθｅとを並列して表示するとともに、ＰＡとＰｅとを並列して表示する。
Here, when the posture numerical data Δθ A and the position numerical data ΔP A are transmitted to the
次に、第１の数値データΔθＡ，ＰＡが表示部９に表示される場合と、第２の数値データΔθＢ，ＰＢが表示部９に表示される場合とをより詳しく説明する。
Next, the case where the first numerical data Δθ A and P A are displayed on the
（第１の数値データが表示される場合）
表示部９が、ΔθＡとθｅおよびΔＰＡとＰｅを表示する場合には、次の操作を人が行う。人は、表示されたΔθＡとθｅを見て、ΔθＡとθｅとの差が、対応する角度成分毎に、ゼロとなるように、操作部１１を操作することにより、マニピュレータ７ｂ（すなわち、作業実行部７ｃ）の姿勢を変化させる。この時、時々刻々と、マニピュレータ計測装置２４は、現在のθｅを計測し、このθｅが、表示部９へ送られ表示部９に表示される。このようにして、表示部９に表示されるθｅは、時々刻々とリアルタイムに更新される。同様に、人は、表示されたΔＰＡとＰｅを見て、ΔＰＡとＰｅとの差が、対応する座標成分毎に、ゼロとなるように、操作部１１を操作することにより、マニピュレータ７ｂ（すなわち、作業実行部７ｃ）の位置を変化させる。この時、時々刻々と、マニピュレータ計測装置２４は、現在のＰｅを計測し、このＰｅが、表示部９へ送られ表示部９に表示される。このようにして、表示部９に表示されるＰｅは、時々刻々とリアルタイムに更新される。このようにして、表示部９に表示されるΔθＡとθｅとの差を、各角度成分についてゼロにし、表示部９に表示されるΔＰＡとＰｅを、各座標成分についてゼロにする。その後、人は、ΔＰＯＦＦに基づいて操作部１１を操作する。これにより、ΔＰＯＦＦが示す距離だけ、ΔＰＯＦＦが示す方向に、マニピュレータ７ｂ（作業実行部７ｃ）を作業対象部５ａに対して移動させ、この状態で、作業対象部５ａに対する作業を作業実行部７ｃに行わせる。
(When the first numerical data is displayed)
（第２の数値データが表示される場合）
表示部９が、ΔθＢとΔＰＢを表示する場合には、次の操作を人が行う。人は、表示された姿勢数値データΔθＢと位置数値データΔＰＢを見て、操作部１１を操作することにより、作業装置７を動作させて、姿勢数値データΔθＢと位置数値データΔＰＢに基づいて、ΔθＢが示す量だけ、ΔθＢが示す方向にマニピュレータ７ｂの姿勢を変化させ、ΔＰＢが示す量だけ、ΔＰＢが示す方向にマニピュレータ７ｂを移動させる。その後、人は、ΔＰＯＦＦに基づいて操作部１１を操作する。これにより、ΔＰＯＦＦが示す距離だけ、ΔＰＯＦＦが示す方向に、マニピュレータ７ｂ（作業実行部７ｃ）を作業対象部５ａに対して移動させ、この状態で、作業対象部５ａに対する作業を作業実行部７ｃに行わせる。
(When the second numerical data is displayed)
When the
第１の数値データが表示される場合と、第２の数値データが表示される場合において、ΔＰＯＦＦに基づく操作部１１の操作は、次のようにしてよい。マニピュレータ７ｂまたは作業装置７の本体７ａに取り付けた観察データ取得センサ２１（例えば、カメラ２１ａ）により、作業実行部７ｃと作業対象部５ａを含む領域の観察データ（例えば、画像データ）を取得し、この観察データを表示部９に表示させる。人は、このように表示された観察データを見て、相対データ計測装置２３の計測誤差、作業実行部７ｃの位置精度による誤差などにより、作業実行部７ｃの位置が作業対象部５ａに対してずれていると認識した場合には、このずれを修正するように、操作部１１を操作して作業実行部７ｃの姿勢または位置を調整できる。なお、ΔＰＯＦＦは、数値データとして表示部９に表示されるのがよい。
When the first numerical data is displayed and when the second numerical data is displayed, the operation of the operation unit 11 based on ΔP OFF may be performed as follows. Observation data (for example, image data) of a region including the
次に、ステップＳ９で処理Ｂが行われる場合について述べる。 Next, the case where the process B is performed in step S9 will be described.
ステップＳ９において、数値データ伝達部は、ステップＳ７で算出された姿勢数値データΔθＡとステップＳ８で算出された位置数値データΔＰＡ、または、ステップＳ７で算出された姿勢数値データΔθＢとステップＳ８で算出された位置数値データΔＰＢを、作業装置７のマニピュレータ制御部１７に対して送信する。
In step S9, the numerical data transmission unit performs the posture numerical data Δθ A calculated in step S7 and the positional numerical data ΔP A calculated in step S8, or the posture numerical data Δθ B calculated in step S7 and step S8. in the calculated position measure [Delta] P B, transmits to the
ステップＳ９において、ΔθＡとΔＰＡが、マニピュレータ制御部１７に対して送信される場合には、マニピュレータ制御部１７は、このΔθＡとΔＰＡに基づいて、マニピュレータ７ｂを制御して、マニピュレータ７ｂ（すなわち、作業実行部７ｃ）の姿勢と位置を調整する。この制御は、例えば、下記の方法１または方法２により行われる。
In step S9, when Δθ A and ΔP A are transmitted to the
（方法１）
マニピュレータ制御部１７は、ΔθＡを目標姿勢として、マニピュレータ７ｂ（作業実行部７ｃ）の姿勢θｅが、ΔθＡに一致するように、マニピュレータ７ｂ（作業実行部７ｃ）の姿勢を調整する。また、マニピュレータ制御部１７は、ΔＰＡを目標位置として、マニピュレータ７ｂ（作業実行部７ｃ）の位置Ｐｅが、ΔＰＡに一致するように、マニピュレータ７ｂ（作業実行部７ｃ）の位置を調整する。その後、人は、ΔＰＯＦＦに基づいて操作部１１を操作する。これにより、ΔＰＯＦＦが示す距離だけ、ΔＰＯＦＦが示す方向に、作業実行部７ｃを作業対象部５ａに対して移動させ、この状態で、作業対象部５ａに対する作業を作業実行部７ｃに行わせる。ここで、ΔＰＯＦＦに基づく操作部１１の操作は、上述と同じである。なお、ΔＰＯＦＦは、数値データとして表示部９に表示されるのがよい。
(Method 1)
（方法２）
マニピュレータ制御部１７は、ΔθＡからマニピュレータ７ｂ（作業実行部７ｃ）の姿勢θｅを減算したデータ（上述のΔθＢに相当するデータ）を求め、マニピュレータ７ｂ（作業実行部７ｃ）の姿勢に対する速度指令の時間積分値が、このデータに一致するように、マニピュレータ７ｂ（作業実行部７ｃ）の姿勢を調整する。また、マニピュレータ制御部１７は、ΔＰＡからマニピュレータ７ｂ（作業実行部７ｃ）の位置Ｐｅを減算したデータ（上述のΔＰＢに相当するデータ）を求め、マニピュレータ７ｂ（作業実行部７ｃ）の位置に対する速度指令の時間積分値が、このデータに一致するように、マニピュレータ７ｂ（作業実行部７ｃ）の位置を調整する。その後、人は、ΔＰＯＦＦに基づいて操作部１１を操作する。これにより、ΔＰＯＦＦが示す距離だけ、ΔＰＯＦＦが示す方向に、作業実行部７ｃを作業対象部５ａに対して移動させ、この状態で、作業対象部５ａに対する作業を作業実行部７ｃに行わせる。ここで、ΔＰＯＦＦに基づく操作部１１の操作は、上述と同じである。なお、ΔＰＯＦＦは、数値データとして表示部９に表示されるのがよい。
(Method 2)
なお、方法１と方法２において、θｅは、マニピュレータ計測装置２４により計測されて、マニピュレータ制御部１７に入力され、Ｐｅは、マニピュレータ計測装置２４により計測されて、マニピュレータ制御部１７に入力される。また、方法１と方法２において、ΔθＡとθｅは、同じ座標系（好ましくは、マニピュレータ座標系）における各軸（座標軸）回りの角度成分で表現され、ΔＰＡとＰｅは、同じ座標系（好ましくは、マニピュレータ座標系）の各座標軸における座標成分で表現される。
Incidentally, in the
ステップＳ９において、ΔθＢとΔＰＢが、マニピュレータ制御部１７に対して送信される場合には、マニピュレータ制御部１７は、このΔθＢとΔＰＢに基づいて、マニピュレータ７ｂを制御して、マニピュレータ７ｂ（すなわち、作業実行部７ｃ）の姿勢と位置を調整する。この制御は、例えば、次のように行われる。マニピュレータ制御部１７は、姿勢数値データΔθＢと位置数値データΔＰＢに基づいて、ΔθＢが示す量だけ、ΔθＢが示す方向にマニピュレータ７ｂ（作業実行部７ｃ）の姿勢を変化させ、ΔＰＢが示す量だけ、ΔＰＢが示す方向にマニピュレータ７ｂ（作業実行部７ｃ）を移動させる。その後、人は、ΔＰＯＦＦに基づいて操作部１１を操作する。これにより、ΔＰＯＦＦが示す距離だけ、ΔＰＯＦＦが示す方向に、作業実行部７ｃを作業対象部５ａに対して移動させ、この状態で、作業対象部５ａに対する作業を作業実行部７ｃに行わせる。ここで、ΔＰＯＦＦに基づく操作部１１の操作は、上述と同じである。なお、ΔＰＯＦＦは、数値データとして表示部９に表示されるのがよい。
When Δθ B and ΔP B are transmitted to the
ステップＳ９で処理Ａまたは処理Ｂを行う時には、作業対象部５ａは、既に行ったステップＳ１によりマニピュレータ７ｂの動作範囲に入っている。
When the process A or the process B is performed in step S9, the
上述の処理Ｂが行われている間、人は、表示部９の観察データを見て、作業装置７のマニピュレータ７ｂが対象装置５に干渉（接触）しないかの監視に集中できる。このような干渉が起こりそうになったら、人は操作部１１を操作して作業装置７のマニピュレータ７ｂの動作を停止させることができる。
While the process B described above is being performed, a person can concentrate on monitoring whether the
上述した作業の複数の例を説明する。 A plurality of examples of the above-described work will be described.
（上述の作業が給油である場合）
作業対象部５ａは、上方に開口した給油口であり、作業実行部７ｃは給油ノズルである。ΔＰＯＦＦのＸ軸成分とＹ軸成分はゼロであり、ΔＰＯＦＦのＺ軸成分は、予め定めたオフセット距離ΔＺＯＦＦである。すなわち、ΔＰＯＦＦ＝（０，０，ΔＺＯＦＦ）である。
(When the above work is refueling)
The
したがって、操作部１１の操作またはマニピュレータ制御部１７により、ΔθＡ−θｅとΔＰＡ−Ｐｅの各成分、または、ΔθＢとΔＰＢの各成分をゼロにした状態では、給油ノズル７ｃは、給油口５ａから鉛直上方にオフセット距離ΔＺＯＦＦだけずれた位置にある。この状態から、人が、操作部１１を操作することにより、給油ノズル７ｃを、ΔＺＯＦＦだけ移動（すなわち、オフセット距離ΔＺＯＦＦだけ鉛直下方に下降）させることにより、給油ノズル７ｃを給油口５ａに挿入させる。この状態で、人は、操作部１１を操作することにより、給油ノズル７ｃから給油口５ａを有する給油タンクへ給油を開始させる。
Therefore, in a state where each component of Δθ A −θ e and ΔP A −P e or each component of Δθ B and ΔP B is set to zero by the operation of the operation unit 11 or the
（上述の作業が接触式給電である場合）
作業対象部５ａは、電力を受けるための受電接点であり、作業実行部７ｃは給電接点である。操作部１１の操作またはマニピュレータ制御部１７により、ΔθＡ−θｅとΔＰＡ−Ｐｅの各成分、または、ΔθＢとΔＰＢの各成分をゼロにした状態から、人は、操作部１１を操作することにより、ΔＰＯＦＦだけ給電接点を移動させることにより、給電接点を受電接点に接触させ、この状態で、作業装置７に設けられた給電装置から給電接点と受電接点を介して対象装置５のバッテリーへ給電を行わせる。
(When the above work is contact-type power supply)
The
（上述の作業が非接触式給電である場合）
作業対象部５ａが、電力を受けるための受電コイルであり、作業実行部７ｃは給電コイルである。操作部１１の操作またはマニピュレータ制御部１７により、ΔθＡ−θｅとΔＰＡ−Ｐｅの各成分、または、ΔθＢとΔＰＢの各成分をゼロにした状態から、操作部１１を操作することにより、ΔＰＯＦＦだけ給電コイルを移動させることにより、給電コイルを受電コイルに近づけ、この状態で、作業装置７に設けられた給電装置から給電コイルと受電コイルを介して対象装置５のバッテリーへ給電を行わせる。
(When the above work is contactless power supply)
The
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の変更例１〜８のいずれかを単独で採用してもよいし、変更例１〜８を任意に組み合わせて採用してもよい。この場合、以下で述べない点は、上述と同じであってもよいし、適宜変更してもよい。 The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the scope of the present invention. For example, any one of the following modification examples 1 to 8 may be employed alone, or modification examples 1 to 8 may be arbitrarily combined and employed. In this case, the points not described below may be the same as described above, or may be changed as appropriate.
（変更例１）
本体７ａに固定されたロール軸とピッチ軸とヨー軸は、本発明における、本体７ａに固定された第１軸と第２軸と第３軸として機能し、対象装置５に固定されたロール軸とピッチ軸とヨー軸は、本発明における、対象装置５に固定された第１軸と第２軸と第３軸として機能する。
(Modification 1)
The roll axis, pitch axis, and yaw axis fixed to the
すなわち、本発明によると、本体７ａに固定されたロール軸とピッチ軸とヨー軸の代わりに、互いに交差する（好ましくは、直交する）第１軸と第２軸と第３軸を用いてもよい。これらの第１軸と第２軸と第３軸は、本体７ａのロール軸とピッチ軸とヨー軸に一致していなくてよいが、本体７ａに固定されている。
That is, according to the present invention, instead of the roll axis, the pitch axis, and the yaw axis fixed to the
同様に、対象装置５に固定されたロール軸とピッチ軸とヨー軸の代わりに、互いに交差する（好ましくは、直交する）第１軸と第２軸と第３軸を用いてもよい。これらの第１軸と第２軸と第３軸は、対象装置５のロール軸とピッチ軸とヨー軸に一致していなくてよいが、対象装置５に固定されている。
Similarly, instead of the roll axis, the pitch axis, and the yaw axis fixed to the
この場合、他の点は、上述と同じである。ただし、上述において、上述のロール軸とピッチ軸とヨー軸は、それぞれ、第１軸と第２軸と第３軸に読み替えられ、上述のロール方向とピッチ方向とヨー方向は、それぞれ、第１軸回りの方向と第２軸回りの方向と第３軸回りの方向に読み替えられる。 In this case, the other points are the same as described above. However, in the above description, the roll axis, the pitch axis, and the yaw axis are read as the first axis, the second axis, and the third axis, respectively, and the roll direction, the pitch direction, and the yaw direction are the first, respectively. It can be read as a direction around the axis, a direction around the second axis, and a direction around the third axis.
（変更例２）
相対データ計測装置２３は、上述の第１計測器２３ａと第２計測器２３ｂを備える代わりに、作業装置７の本体７ａに設けられた３次元形状計測器を備えていてもよい。この場合、対象装置５には、１つまたは複数のマーカが設けられる。マーカは、特定の形状を有し、複数のマーカが設けられる場合には、これらのマーカは、好ましくは対象装置５に特定のパターンで配列される。
(Modification 2)
The relative
図５の例では、３つの球状マーカ３８が、対象装置５に特定のパターンで配列されている。この配列パターンの形状は、３つのマーカ３８同士を結ぶ仮想線分により形成される三角形である。なお、図５（Ｂ）は、図５（Ａ）の５Ｂ−５Ｂ線矢視図である。
In the example of FIG. 5, three
相対データ計測装置２３が、上記３次元形状計測器を備える場合には、上述の遠隔操作支援方法は、以下のようになる。なお、以下において、単にマーカという場合には、１つのマーカ、または、複数のマーカを意味する。
When the relative
図６は、マーカを用いた場合における遠隔操作支援方法を示すフローチャートである。 FIG. 6 is a flowchart showing a remote operation support method when a marker is used.
ステップＳ１１では、上述のステップＳ１のように、作業装置７と対象装置５とを互いに近接させる。例えば、このステップＳ１１では、適宜の手段により、静止座標系における作業装置７の位置を示す位置情報と、静止座標系における対象装置５の位置を示す位置情報とが、表示部９に表示され、人は、表示部９に表示されたこれらの位置情報を見て、操作部１１を操作してよい。ステップＳ１１により、作業対象部５ａの位置が作業装置７のマニピュレータ７ｂの動作範囲内になるようする。この状態で、後述のステップＳ１２〜Ｓ１８が行われる。
In step S11, the work device 7 and the
ステップＳ１２において、上述の３次元形状計測器は、作業装置７の本体７ａと対象装置５との相対姿勢と相対位置に関するデータを、計測データとして計測する。この計測データは、対象装置５を含む領域の画像データまたは距離データである。なお、距離データは、この領域内の物体上の各点までの距離のデータである。
In step S <b> 12, the above-described three-dimensional shape measuring instrument measures data related to the relative posture and relative position between the
ステップＳ１３において、数値データ生成部２５は、マーカの基準データに基づいて、ステップＳ１２で得た計測データからマーカを抽出する。基準データは、マーカを特定の方向から、かつ、特定の距離だけマーカから離れた位置から見た場合におけるマーカの形状と寸法を示す基準データであり、数値データ生成部２５に記憶されている。ここで、複数のマーカが対象装置５に設けられている場合には、マーカの形状とは、複数のマーカの配列パターンの形状（図５（Ａ）の場合には、三角形）を意味し、マーカの寸法とは、これらの複数のマーカを合わせた寸法を意味してもよいし、各マーカの寸法を意味してもよい。
In step S13, the numerical
ステップＳ１４において、数値データ生成部２５は、ステップＳ１３で抽出したマーカと、上述の基準データに基づいて、センサ座標系における作業対象部５ａの姿勢と位置を求める。ここで、数値データ生成部２５は、作業対象部５ａとマーカとの相対姿勢および相対位置を記憶しており、これらの相対姿勢および相対位置にも基づいて、センサ座標系における作業対象部５ａの姿勢θ１−ｓと位置Ｐ１−ｓを求める。なお、センサ座標系は、例えば、上述の３次元形状計測器に固定された座標系であるとともに、作業装置７の本体７ａに固定されている。センサ座標系における作業対象部５ａの姿勢とは、センサ座標系の座標軸に対する姿勢であってよい。
In step S14, the numerical
一方、ステップＳ１５において、マニピュレータ計測装置２４は、マニピュレータ座標系におけるマニピュレータ７ｂ（作業実行部７ｃ）の姿勢と位置を、それぞれマニピュレータデータθｅ，Ｐｅとして計測する。
On the other hand, in step S15, the
ステップＳ１６において、数値データ生成部２５は、ステップＳ１４で求めたセンサ座標系における作業対象部５ａの姿勢θ１−ｓと、マニピュレータ７ｂに固定されたマニピュレータ座標系とセンサ座標系との関係とに基づいて、第１または第２の数値データに含まれる姿勢数値データを算出する。
In step S16, the numerical
ステップＳ１６において、第１の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部２５は、この姿勢数値データとして、下記の式（５）で表されるΔθＣを算出する。
ΔθＣ＝θ１−ｓ−Δθｍ−ｓ ・・・（５）
In step S16, when calculating the attitude numerical data included in the first numerical data, the numerical
Δθ C = θ 1−s −Δθ m−s (5)
ステップＳ１６において、第２の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部２５は、この姿勢数値データとして、下記の式（６）で表されるΔθＤを算出する。
ΔθＤ＝θ１−ｓ−Δθｍ−ｓ−θｅ ・・・（６）
In step S16, when calculating the attitude numerical data included in the second numerical data, the numerical
Δθ D = θ 1−s −Δθ m−s −θ e (6)
式（５）と式（６）における各記号について、詳しく説明する。 Each symbol in Formula (5) and Formula (6) will be described in detail.
θ１−ｓは、センサ座標系の座標軸に対する作業対象部５ａの姿勢（向き）を示すベクトルであり、上述の３次元形状計測器により計測される。例えば、センサ座標系が、互いに直交する３つの座標軸を有する場合に、これらの座標軸毎に、θ１−ｓは角度成分を有する。すなわち、θ１−ｓの各角度成分は、対応する座標軸回りの回転角度である。
θ 1-s is a vector indicating the posture (orientation) of the
Δθｍ−ｓは、センサ座標系に対する、本体７ａに固定された上述のマニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。例えば、センサ座標系が、互いに直交する３つの座標軸を有する場合に、これらの座標軸毎に、Δθｍ−ｓは角度成分を有する。すなわち、Δθｍ−ｓの各角度成分は、対応する座標軸回りに、マニピュレータ座標系が基準姿勢から回転した角度である。ここで、基準姿勢とは、マニピュレータ座標系の３つの座標軸の向きが、それぞれ、センサ座標系の３つの座標軸の向きと一致している姿勢を意味する。Δθｍ−ｓは、数値データ生成部２５の記憶部に予め記憶されている。
Δθ m−s is a known fixed vector indicating the attitude of the above-described manipulator coordinate system fixed to the
θｅは、上述と同様に、マニピュレータ座標系の座標軸に対するマニピュレータ（すなわち、作業実行部７ｃ）の姿勢を示すベクトルであり、ステップＳ１５においてマニピュレータ計測装置２４により計測される。
θ e is a vector indicating the attitude of the manipulator (that is, the
式（５）（６）において、θ１−ｓ，Δθｍ−ｓ，θｅの間での記号「−」による減算は、各角度成分毎に、独立して行われる。なお、好ましくは、θ１−ｓ，Δθｍ−ｓ，θｅの各角度成分がマニピュレータ座標系の座標軸回りの角度成分に換算されていない場合には、この換算を行った上で、式（５）（６）における上述の減算を行う。 In the equations (5) and (6), the subtraction by the symbol “−” among θ 1-s, Δθ m−s and θ e is performed independently for each angle component. Preferably, when each angle component of θ 1-s, Δθ m-s, θ e is not converted into an angle component around the coordinate axis of the manipulator coordinate system, 5) Perform the above-described subtraction in (6).
上式（５）で表されるΔθＣは、マニピュレータ座標系に対する作業対象部５ａの向き（姿勢）を示し、上式（６）で表されるΔθＤは、マニピュレータ７ｂ（より正確には、作業実行部７ｃ）の向き（姿勢）に対する作業対象部５ａの向き（姿勢）を示す。
Δθ C expressed by the above equation (5) indicates the direction (posture) of the
ステップＳ１７において、数値データ生成部２５は、ステップＳ１４で求めたセンサ座標系における作業対象部５ａの位置と、マニピュレータ７ｂに固定されたマニピュレータ座標系とセンサ座標系との関係とに基づいて、第１または第２の数値データに含まれる位置数値データを算出する。
In step S17, the numerical
ステップＳ１７において、第１の数値データに含まれる位置数値データを算出する場合には、数値データ生成部２５は、この位置数値データとして、下記の式（７）で表されるΔＰＣを算出する。
ΔＰＣ＝Ｐ１−ｓ−（ΔＰｍ−ｓ＋ΔＰＯＦＦ） ・・・（７）
In step S17, when calculating the position numeric data included in the first numerical data,
ΔP C = P 1−s − (ΔP m−s + ΔP OFF ) (7)
ステップＳ１７において、第２の数値データに含まれる位置数値データを算出する場合には、数値データ生成部２５は、この位置数値データとして、下記の式（８）で表されるΔＰＤを算出する。
ΔＰＤ＝Ｐ１−ｓ−（ΔＰｍ−ｓ＋ΔＰＯＦＦ）−Ｐｅ ・・・（８）
In step S17, when calculating the position numeric data included in the second numerical data,
ΔP D = P 1−s − (ΔP m−s + ΔP OFF ) −P e (8)
式（７）と式（８）における各記号について、詳しく説明する。 Each symbol in Expression (7) and Expression (8) will be described in detail.
Ｐ１−ｓは、センサ座標系の原点に対する作業対象部５ａの相対位置を示すベクトルであり、上述の３次元形状計測器により計測される。例えば、センサ座標系が、互いに直交する３つの座標軸を有する場合に、Ｐ１−ｓは、これらの座標軸毎に、この座標軸の座標値を有する。
P 1-s is a vector indicating the relative position of the
ΔＰｍ−ｓは、センサ座標系の原点に対する、本体７ａに固定された上述のマニピュレータ座標系の原点の位置を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。ΔＰｍ−ｓは、数値データ生成部２５の記憶部に予め記憶されている。
ΔP m−s is a known fixed vector indicating the position of the origin of the above-described manipulator coordinate system fixed to the
Ｐｅは、上述と同様に、マニピュレータ座標系の原点に対するマニピュレータ（すなわち、作業実行部７ｃ）の位置を示すベクトルであり、ステップＳ１５においてマニピュレータ計測装置２４により計測される。
ΔＰＯＦＦは、上述したΔＰＯＦＦと同じである。
Pe is a vector indicating the position of the manipulator (that is, the
ΔP OFF is the same as ΔP OFF described above.
式（７）（８）において、Ｐ１−ｓ，ΔＰｍ−ｓ，Ｐｅの間での記号「−」による減算は、各成分毎に、独立して行われる。なお、好ましくは、Ｐ１−ｓ，ΔＰｍ−ｓ，Ｐｅの各成分がマニピュレータ座標系における座標値に換算されていない場合には、この換算を行った上で、式（７）（８）における上述の減算を行う。 In the formula (7) (8), the symbols between the P 1-s, ΔP m- s, P e "-" subtraction by, for each component, are performed independently. Incidentally, preferably, in the case where P 1-s, ΔP m- s, the respective components of P e is not converted into coordinate values in the manipulator coordinate system, after performing this conversion, the equation (7) (8 The above-mentioned subtraction is performed in ().
上式（７）で表されるΔＰＣは、マニピュレータ座標系の原点に対する作業対象部５ａの位置を示し、上式（８）で表されるΔＰＤは、マニピュレータ７ｂ（より正確には、作業実行部７ｃ）の位置に対する作業対象部５ａの位置を示す。
[Delta] P C represented by the above formula (7) indicates the position of the
ステップＳ１８において、数値データ伝達部は、上述の処理Ａまたは処理Ｂを行う。ここで、第１の数値データに含まれる姿勢数値データが、上述のΔθＡからΔθＣに置き換えられ、第１の数値データに含まれる位置数値データが、ΔＰＡからΔＰＣに置き換えられ、第２の数値データに含まれる姿勢数値データが、ΔθＢからΔθＤに置き換えられ、第２の数値データに含まれる位置数値データが、ΔＰＢからΔＰＤに置き換えられる点以外は、ステップＳ１８の内容は、上述のステップＳ９と同じである。
In step S18, the numerical data transmission unit performs the process A or the process B described above. Here, the attitude numerical data included in the first numerical data is replaced from [Delta] [theta] A described above in [Delta] [theta] C, position numerical data included in the first numerical data is replaced from [Delta] P A in [Delta] P C, the The contents of step S18 except that the attitude numerical data included in the
（変更例３）
第１の数値データは、姿勢数値データと位置数値データの一方からなっていてもよく、第２の数値データは、姿勢数値データと位置数値データの一方からなっていてもよい。
(Modification 3)
The first numerical data may consist of one of posture numerical data and position numerical data, and the second numerical data may consist of one of posture numerical data and position numerical data.
例えば、図４または図６に示すフローチャートの例では、第１または第２の数値データとして、姿勢数値データと位置数値データとの両方を求めたが、第１または第２の数値データとして、姿勢数値データと位置数値データの一方のみを求めてもよい。この場合、姿勢数値データと位置数値データのうち、この一方に関する上述の内容が、この変更例３で採用される。 For example, in the example of the flowchart shown in FIG. 4 or 6, both the attitude numerical data and the position numerical data are obtained as the first or second numerical data, but the attitude is calculated as the first or second numerical data. Only one of the numerical data and the position numerical data may be obtained. In this case, the above-described contents regarding one of the posture numerical value data and the position numerical value data are employed in the third modification.
好ましくは、第１または第２の数値データは、姿勢数値データと位置数値データのうち、姿勢数値データのみからなる。この場合、計測データは、姿勢計測データからなる。 Preferably, the first or second numerical data includes only posture numerical data among posture numerical data and position numerical data. In this case, the measurement data is posture measurement data.
（変更例４）
作業装置７の本体７ａは、地上を移動する手段を有さず、地上に対し静止していてもよい。図７は、このような作業装置７と、対象装置５を示す。作業装置７の本体７ａが、図７のように地上を移動しない場合、本体７ａに設けられたマニピュレータ７ｂの動作と、作業実行部７ｃの動作（作業）が、操作部１１の操作により制御される。この場合、上述のステップＳ１では、対象装置５が作業装置７の近くまで移動することにより、対象装置５の作業対象部５ａが、作業装置７のマニピュレータ７ｂの動作範囲内に位置するようにする。また、例えば、地上に静止する作業装置７の本体７ａの姿勢計測データと位置計測データの取得には、常時、第１計測器２３ａを配置せず、作業装置７の設置後に、一度、第１計測器２３ａを作業装置７の本体７ａに配置し、本体７ａの姿勢計測データと位置計測データを取得し、このデータを固定値として利用し、第１計測器２３ａを本体７ａから外すなどしてもよい。なお、図７において、符号２１ａと２１ｂは、上述のセンサ２１ａ，２１ｂを示す。
(Modification 4)
The
（変更例５）
対象装置５は、地上を移動する手段を有さず、地上に対し静止していてもよい。この場合、上述のステップＳ１では、作業装置７が、対象装置５の近くまで移動することにより、対象装置５の作業対象部５ａが、作業装置７のマニピュレータ７ｂの動作範囲内に位置するようにする。また、例えば、地上に静止する対象装置５の姿勢計測データと位置計測データの取得には、常時、第２計測器２３ｂを配置せず、対象装置５の設置後に、一度、第２計測器２３ｂを対象装置５に配置し、対象装置５の姿勢計測データと位置計測データを取得し、このデータを固定値として利用し、第２計測器２３ｂを対象装置５から外すなどしてもよい。
(Modification 5)
The
（変更例６）
上述した給油や給電以外の他の作業を行う場合に、上述のように、対象装置５の作業対象部５ａに対して作業装置７のマニピュレータ７ｂ（作業実行部７ｃ）の相対姿勢および相対位置を調整してもよい。
(Modification 6)
When performing work other than refueling or power feeding as described above, the relative posture and relative position of the
（変更例７）
Δθｔは、上述の場合と違って、すべての成分がゼロであってもよい。
(Modification 7)
Unlike the case described above, Δθ t may be zero for all components.
（変更例８）
数値データ生成部２５は、上述した第１の数値データと第２の数値データの両方を生成してもよい。この場合、遠隔操作支援装置１０、すなわち、上述の数値データ伝達部
は、数値データ生成部２５により生成された第１および第２の数値データの両方を表示部９に対して送信するように構成される。表示部９は、送信されてきた第１および第２の数値データの両方を表示する。
(Modification 8)
The numerical
ここで、第１の数値データとして、姿勢数値データΔθＡと位置数値データΔＰＡが、表示部９に送信される場合には、表示部９は、ΔθＡとΔＰＡの他に、マニピュレータデータ送信部からのマニピュレータデータθｅ，Ｐｅも表示する。
Here, when posture numerical data Δθ A and position numerical data ΔP A are transmitted to the
したがって、人は、表示部９に表示された第１の数値データΔθＡ、ΔＰＡとマニピュレータデータθｅ，Ｐｅ、および、表示部９に表示された第２の数値データΔθＢとΔＰＢを見て、操作部１１を操作できる。または、人は、表示部９に表示された第１の数値データΔθＡ、ΔＰＡとマニピュレータデータθｅ，Ｐｅ、もしくは、表示部９に表示された第２の数値データΔθＢとΔＰＢを見て、操作部１１を操作できる。
Therefore, the person can display the first numerical data Δθ A and ΔP A and the manipulator data θ e and P e displayed on the
３ 遠隔操作装置、５ 対象装置、５ａ 作業対象部、５ｂ 制御部、５ｃ 第３通信部、７ 作業装置、７ａ 本体、７ｂ マニピュレータ、７ｃ 作業実行部、９ 表示部、１０ 遠隔操作支援装置、１１ 操作部、１２ 第１データ処理部、１３ 第１通信部、１５ 第２通信部、１６ 第２データ処理部、１７ マニピュレータ制御部、２０ 遠隔操作システム、２１ 観察データ取得センサ、２１ａ センサ、２１ｂ センサ、２３ 相対データ計測装置、２３ａ 第１計測器、２３ｂ 第２計測器、２４ マニピュレータ計測装置、２４ａ センサ、２４ｂ 演算部、２５ 数値データ生成部、２９ａ 第１のジャイロセンサ、２９ｂ 第２のジャイロセンサ、３１ａ 第１のＧＰＳ受信機、３１ｂ 第２のＧＰＳ受信機、３２ 第１算出部、３３ａ 第３のジャイロセンサ、３３ｂ 第４のジャイロセンサ、３４ 第３データ処理部、３５ａ 第３のＧＰＳ受信機、３５ｂ 第４のＧＰＳ受信機、３６ 第２算出部、３８ マーカ
3 remote operation device, 5 target device, 5a work target unit, 5b control unit, 5c third communication unit, 7 work device, 7a main body, 7b manipulator, 7c work execution unit, 9 display unit, 10 remote operation support device, 11 Operation unit, 12 First data processing unit, 13 First communication unit, 15 Second communication unit, 16 Second data processing unit, 17 Manipulator control unit, 20 Remote operation system, 21 Observation data acquisition sensor, 21a sensor, 21b sensor , 23 Relative data measuring device, 23a 1st measuring device, 23b 2nd measuring device, 24 manipulator measuring device, 24a sensor, 24b calculating part, 25 Numerical data generation part, 29a 1st gyro sensor, 29b 2nd gyro sensor , 31a First GPS receiver, 31b Second GPS receiver, 32 First calculator,
Claims (9)
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第１通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第１通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
前記遠隔操作支援装置は、
前記作業装置の前記本体と前記対象装置との相対姿勢に関するデータを、計測データとして計測する相対データ計測装置と、
前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整することに用いられる第１および第２の数値データの一方または両方を、前記計測データから生成する数値データ生成部と、を備え、
前記第１の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢を示す数値データであり、前記第２の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整する量を示す数値データであり、
生成された前記第１および第２の数値データの一方または両方を前記表示部に対して送信するように構成され、もしくは、生成された前記第１または第２の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記相対データ計測装置は、前記作業装置に設けられた第１計測器と、前記対象装置に設けられた第２計測器を備え、
前記第１計測器は、
前記作業装置における本体のロール方向の姿勢を計測する第１のジャイロセンサと、
前記作業装置における本体のピッチ方向の姿勢を計測する第２のジャイロセンサと、
前記作業装置の本体に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する第１および第２のＧＰＳ受信機と、
第１のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第１のＧＰＳ受信機の位置を示す位置情報Ｐｇ１を求め、第２のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第２のＧＰＳ受信機の位置を示す位置情報Ｐｇ２を求め、これらの位置情報Ｐｇ１，Ｐｇ２に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第１算出部と、を備え、
前記第２計測器は、
前記対象装置のロール方向の姿勢を計測する第３のジャイロセンサと、
前記対象装置のピッチ方向の姿勢を計測する第４のジャイロセンサと、
前記対象装置に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する第３および第４のＧＰＳ受信機と、
第３のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第３のＧＰＳ受信機の位置を示す位置情報Ｐｇ３を求め、第４のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第４のＧＰＳ受信機の位置を示す位置情報Ｐｇ４を求め、これらの位置情報Ｐｇ３，Ｐｇ４に基づいて前記対象装置のヨー方向の姿勢を算出する第２算出部と、を備え、
前記計測データは、計測した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、計測した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とを、姿勢計測データとして含む、遠隔操作支援装置。 A remote operation support device provided in a remote operation system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device is a manipulator to control the manipulator measuring device for measuring the attitude of the manipulator in the manipulator coordinate system fixed to the said body as the manipulator data, the operation of the manipulator according to the operation command from the first communication unit A control unit;
The remote operation support device is
And relative data measurement apparatus data about the relative posture of the body and the target device of the working device, to measure as the measurement data,
To do the work, one or both of the first and second numerical data used to adjust the relative posture of the target device and the manipulator, and numerical data generating unit that generates from said measurement data With
Said first numerical data, said a numerical data indicating the posture of the operation target portion of the manipulator coordinate system, the second numerical data, generated by the numerical data generator from said manipulator data and the measurement data is, in order to perform the work, a numerical data indicating the amount to adjust the relative posture of the target device and the manipulator,
One or both of the generated first and second numerical data are transmitted to the display unit, or the generated first or second numerical data is sent to the manipulator control unit. Configured to transmit to
The relative data measuring device includes a first measuring instrument provided in the working device and a second measuring instrument provided in the target device,
The first measuring instrument is
A first gyro sensor for measuring a posture of the main body in the roll direction in the working device;
A second gyro sensor for measuring the posture of the main body in the pitch direction in the working device;
A first GPS receiver and a second GPS receiver which are provided in the main body of the work device at intervals in the horizontal direction and receive GPS signals from GPS satellites;
Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS receiver is obtained based on the GPS signal received by the second GPS receiver. A first calculation unit that calculates position information Pg2 indicating the position of the main body and calculates a posture of the main body in the yaw direction of the work device based on the position information Pg1 and Pg2.
The second measuring instrument is
A third gyro sensor for measuring the posture of the target device in the roll direction;
A fourth gyro sensor for measuring the posture of the target device in the pitch direction;
A third and a fourth GPS receiver provided in the target device at intervals in the horizontal direction and receiving GPS signals from GPS satellites;
Position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS receiver is obtained based on the GPS signal received by the fourth GPS receiver. A second calculation unit that calculates position information Pg4 indicating the position of the target device and calculates an attitude of the target device in the yaw direction based on the position information Pg3 and Pg4.
The measurement data includes the measured posture of the working device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction, and the measured posture of the target device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction. Remote operation support device that includes as attitude measurement data .
前記表示部は、送信されてきた前記第１の数値データと、送信されてきた前記マニピュレータデータとを表示する、ことを特徴とする請求項１に記載の遠隔操作支援装置。 The generated first numerical data is configured to be transmitted to the display unit, and the manipulator data of the numerical value measured by the manipulator measurement device is transmitted to the display unit. Is composed of
The remote operation support apparatus according to claim 1, wherein the display unit displays the transmitted first numerical data and the transmitted manipulator data.
前記マニピュレータ制御部は、前記第１の数値データと前記マニピュレータデータとに基づいて、前記マニピュレータの姿勢を調整する、ことを特徴とする請求項１に記載の遠隔操作支援装置。 It is configured to transmit the generated first numerical data to the manipulator control unit,
The manipulator controller, said first numerical data and based on said manipulator data, adjusting the attitude of the manipulator, that the remote operation support apparatus according to claim 1, wherein the.
前記数値データ生成部は、前記第１の数値データに含まれる姿勢数値データΔθＡとして、ΔθＡ＝Δθ１−０−（Δθｍ＋Δθｔ）を算出し、または、前記第２の数値データに含まれる姿勢数値データΔθＢとして、ΔθＢ＝Δθ１−０−（Δθｍ＋Δθｔ）−θｅを算出し、
Δθ１−０は、前記作業装置の前記本体に固定された本体座標系に対する、前記対象装置に固定された対象装置座標系の姿勢を示すベクトルであり、前記姿勢計測データにより表され、
Δθｍは、前記本体座標系に対する、前記マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されており、
Δθｔは、前記対象装置における作業対象部の向きに対する、前記対象装置座標系の姿勢を示す既知のベクトルであり、予め設定されており、
θｅは、マニピュレータ座標系に対するマニピュレータの姿勢を示すベクトルであり、前記マニピュレータ計測装置により計測される、ことを特徴とする請求項１に記載の遠隔操作支援装置。 The measurement data includes the orientation measurement data regarding the relative orientation between the body of the working device and the target device,
The numerical data generation unit calculates Δθ A = Δθ 1-0 − (Δθ m + Δθ t ) as posture numerical data Δθ A included in the first numerical data, or adds the second numerical data to the second numerical data Δθ B = Δθ 1-0 − (Δθ m + Δθ t ) −θ e is calculated as the included posture numerical data Δθ B ,
Δθ 1-0 is a vector indicating the posture of the target device coordinate system fixed to the target device with respect to the main body coordinate system fixed to the main body of the working device, and is represented by the posture measurement data,
Δθ m is a known fixed vector indicating the attitude of the manipulator coordinate system with respect to the main body coordinate system, and is set in advance.
Δθ t is a known vector indicating the orientation of the target device coordinate system with respect to the orientation of the work target portion in the target device, and is set in advance.
2. The remote operation support device according to claim 1, wherein θ e is a vector indicating a posture of the manipulator with respect to the manipulator coordinate system, and is measured by the manipulator measurement device.
前記計測データは、前記作業装置の前記本体と前記対象装置との相対位置に関する位置計測データを含み、
前記数値データ生成部は、前記第１の数値データに含まれる位置数値データΔＰＡとして、ΔＰＡ＝ΔＰ１−０−（ΔＰｍ＋ΔＰｔ＋ΔＰＯＦＦ）を算出し、または、前記第２の数値データに含まれる位置数値データΔＰＢとして、ΔＰＢ＝ΔＰ１−０−（ΔＰｍ＋ΔＰｔ＋ΔＰＯＦＦ）−Ｐｅを算出し、
ΔＰ１−０は、前記作業装置の前記本体に固定された本体座標系の原点に対する、前記対象装置に固定された対象装置座標系の原点の相対位置を示すベクトルであり、前記位置計測データにより表され、
ΔＰｍは、前記本体座標系の原点に対する、前記マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されており、
ΔＰｔは、作業対象部に対する、前記対象装置座標系の原点の相対位置を示し、
ΔＰＯＦＦは、予め設定されたオフセット量とオフセット方向を示すベクトルであり、
Ｐｅは、マニピュレータ座標系の座標で表される、マニピュレータの位置を示すベクトルであり、前記マニピュレータ計測装置により計測される、ことを特徴とする請求項１または４に記載の遠隔操作支援装置。 The relative data measuring device measures data relating to both a relative posture and a relative position between the main body of the working device and the target device as the measurement data,
The measurement data includes position measurement data related to a relative position between the main body of the working device and the target device,
The numerical data generating unit, the as positional numerical data [Delta] P A included in the first numerical data, ΔP A = ΔP 1-0 - calculates (ΔP m + ΔP t + ΔP OFF), or the second numerical As position numerical data ΔP B included in the data, ΔP B = ΔP 1-0 − (ΔP m + ΔP t + ΔP OFF ) −P e is calculated,
ΔP 1-0 is a vector indicating a relative position of the origin of the target apparatus coordinate system fixed to the target apparatus with respect to the origin of the main body coordinate system fixed to the main body of the working apparatus, and is based on the position measurement data. Represented,
ΔP m is a known fixed vector indicating a relative position of the origin of the manipulator coordinate system with respect to the origin of the main body coordinate system, and is set in advance.
ΔP t indicates the relative position of the origin of the target device coordinate system with respect to the work target portion;
ΔP OFF is a vector indicating a preset offset amount and offset direction,
P e can be expressed by the coordinates of the manipulator coordinate system, a vector indicating the position of the manipulator, said measured by the manipulator measuring device, a remote operation support apparatus according to claim 1 or 4, characterized in that.
前記第１の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の両方を示す数値データであり、前記第２の数値データは、前記マニピュレータデータと前記計測データとから前記数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の両方を調整する量を示す数値データであり、
前記第１計測器は、前記作業装置の前記本体の位置および姿勢の両方を示すデータを前記計測データの一部として取得し、
前記第２計測器は、前記対象装置の姿勢および位置の両方を示すデータを前記計測データの一部として取得し、
前記数値データ生成部は、前記第１計測器と前記第２計測器が取得した前記データに基づいて、前記第１および第２の数値データの一方または両方を算出する、ことを特徴とする請求項１〜５のいずれか一項に記載の遠隔操作支援装置。 The manipulator measuring device measures both the posture and position of the manipulator in the manipulator coordinate system as the manipulator data,
The first numerical data is numerical data indicating both the posture and position of the work target unit in the manipulator coordinate system, and the second numerical data is calculated from the manipulator data and the measurement data. Numerical data generated by a generation unit and indicating an amount of adjusting both the relative posture and the relative position of the manipulator and the target device in order to perform the work,
Wherein the first measuring instrument acquires data indicating both the position and orientation of the body of the working device as part of the measurement data,
The second measurement device obtains data indicating both the attitude and position of the target device as part of the measurement data,
The numerical data generation unit calculates one or both of the first and second numerical data based on the data acquired by the first measuring instrument and the second measuring instrument. Item 6. The remote operation support device according to any one of Items 1 to 5.
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第１通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第１通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
（Ａ）前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、相対データ計測装置により、前記作業装置の前記本体と前記対象装置との相対姿勢に関するデータを、計測データとして計測し、
（Ｂ）前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整することに用いられる第１および第２の数値データの一方または両方を、数値データ生成部により前記計測データから生成し、前記第１の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢を示す数値データであり、前記第２の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢を調整する量を示す数値データであり、
（Ｃ）生成された第１および第２の数値データの一方または両方を前記表示部に対して送信し、もしくは、第１または第２の数値データを前記マニピュレータ制御部に対して送信し、
第１および第２のジャイロセンサが、前記作業装置に設けられており、第１および第２のＧＰＳ受信機が、前記作業装置の本体に水平方向に間隔をおいて設けられており、第３および第４のジャイロセンサが、前記対象装置に設けられており、第３および第４のＧＰＳ受信機が、前記対象装置に水平方向に間隔をおいて設けられており、
前記（Ａ）では、
前記作業装置における本体のロール方向の姿勢を、第１のジャイロセンサにより計測し、
前記作業装置における本体のピッチ方向の姿勢を、第２のジャイロセンサにより計測し、
第１のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第１のＧＰＳ受信機の位置を示す位置情報Ｐｇ１を求め、第２のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第２のＧＰＳ受信機の位置を示す位置情報Ｐｇ２を求め、これらの位置情報Ｐｇ１，Ｐｇ２に基づいて前記作業装置における本体のヨー方向の姿勢を算出し、
前記対象装置のロール方向の姿勢を、第３のジャイロセンサにより計測し、
前記対象装置のピッチ方向の姿勢を、第４のジャイロセンサにより計測し、
第３のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第３のＧＰＳ受信機の位置を示す位置情報Ｐｇ３を求め、第４のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第４のＧＰＳ受信機の位置を示す位置情報Ｐｇ４を求め、これらの位置情報Ｐｇ３，Ｐｇ４に基づいて前記対象装置のヨー方向の姿勢を算出し、
前記計測データは、計測した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、計測した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とを含む、ことを特徴とする遠隔操作支援方法。 A remote operation support method provided in a remote operation system,
The remote operation system includes a remote operation device and a work device,
The work device includes a manipulator installed in a main body of the work device, and a work execution unit that is supported by the manipulator and performs work on a work target portion of the target device,
The remote operation device includes a display unit that displays data for remotely operating the manipulator, an operation unit that is operated by a person and generates an operation signal corresponding to the operation, and an operation command to the manipulator according to the operation signal. A data processing unit to generate, and a first communication unit that transmits the operation command to the work device,
The working device is a manipulator to control the manipulator measuring device for measuring the attitude of the manipulator in the manipulator coordinate system fixed to the said body as the manipulator data, the operation of the manipulator according to the operation command from the first communication unit A control unit;
(A) in a state in which the work object portion within the operating range of the manipulator is positioned, the relative data measurement apparatus, the data about the relative orientation between the body and the target device of the working device, measured as the measurement data And
(B) in order to perform the task, one or both of the first and second numerical data used to adjust the relative posture of the target device and the manipulator, the measurement data by the numerical data generator generated from the first numerical data, said a numerical data indicating the posture of the operation target portion of the manipulator coordinate system, the second numerical data, numerical data from said manipulator data and the measurement data generated by the generating unit, in order to perform the work, a numerical data indicating the amount to adjust the relative posture of the target device and the manipulator,
(C) One or both of the generated first and second numerical data are transmitted to the display unit, or the first or second numerical data is transmitted to the manipulator control unit,
First and second gyro sensors are provided in the working device, and first and second GPS receivers are provided in the main body of the working device at intervals in the horizontal direction. And a fourth gyro sensor is provided in the target device, and third and fourth GPS receivers are provided in the target device at a horizontal interval,
In (A) above,
The posture of the main body in the work device in the roll direction is measured by the first gyro sensor,
Measuring the posture of the main body in the pitch direction in the working device by a second gyro sensor;
Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS receiver is obtained based on the GPS signal received by the second GPS receiver. The position information Pg2 indicating the position of the work apparatus is obtained, and the posture of the main body in the yaw direction of the working device is calculated based on the position information Pg1 and Pg2.
The posture of the target device in the roll direction is measured by a third gyro sensor,
The posture of the target device in the pitch direction is measured by a fourth gyro sensor,
Position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS receiver is obtained based on the GPS signal received by the fourth GPS receiver. Position information Pg4 indicating the position of the target device is calculated, and the posture of the target device in the yaw direction is calculated based on the position information Pg3 and Pg4.
The measurement data includes the measured posture of the working device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction, and the measured posture of the target device in the roll direction, the posture of the pitch direction, and the posture of the yaw direction. including, remote operation support method characterized by.
前記作業装置における本体のロール方向の姿勢を計測する第１のジャイロセンサと、A first gyro sensor for measuring a posture of the main body in the roll direction in the working device;
前記作業装置における本体のピッチ方向の姿勢を計測する第２のジャイロセンサと、A second gyro sensor for measuring the posture of the main body in the pitch direction in the working device;
前記作業装置の本体に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する第１および第２のＧＰＳ受信機と、A first GPS receiver and a second GPS receiver which are provided in the main body of the work device at intervals in the horizontal direction and receive GPS signals from GPS satellites;
第１のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第１のＧＰＳ受信機の位置を示す位置情報Ｐｇ１を求め、第２のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第２のＧＰＳ受信機の位置を示す位置情報Ｐｇ２を求め、これらの位置情報Ｐｇ１，Ｐｇ２に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第１算出部と、を備える計測器。Position information Pg1 indicating the position of the first GPS receiver is obtained based on the GPS signal received by the first GPS receiver, and the second GPS receiver is obtained based on the GPS signal received by the second GPS receiver. And a first calculator that calculates position information Pg2 indicating the position of the main body and calculates the posture of the main body in the yaw direction of the working device based on the position information Pg1 and Pg2.
前記対象装置のロール方向の姿勢を計測する第３のジャイロセンサと、A third gyro sensor for measuring the posture of the target device in the roll direction;
前記対象装置のピッチ方向の姿勢を計測する第４のジャイロセンサと、A fourth gyro sensor for measuring the posture of the target device in the pitch direction;
前記対象装置に水平方向に間隔をおいて設けられ、ＧＰＳ衛星からＧＰＳ信号を受信する第３および第４のＧＰＳ受信機と、A third and a fourth GPS receiver provided in the target device at intervals in the horizontal direction and receiving GPS signals from GPS satellites;
第３のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第３のＧＰＳ受信機の位置を示す位置情報Ｐｇ３を求め、第４のＧＰＳ受信機が受信したＧＰＳ信号に基づいて第４のＧＰＳ受信機の位置を示す位置情報Ｐｇ４を求め、これらの位置情報Ｐｇ３，Ｐｇ４に基づいて前記対象装置のヨー方向の姿勢を算出する第２算出部と、を備える計測器。Position information Pg3 indicating the position of the third GPS receiver is obtained based on the GPS signal received by the third GPS receiver, and the fourth GPS receiver is obtained based on the GPS signal received by the fourth GPS receiver. And a second calculation unit that calculates position information Pg4 indicating the position of the target device and calculates an attitude of the target device in the yaw direction based on the position information Pg3 and Pg4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014084326A JP6406859B2 (en) | 2014-04-16 | 2014-04-16 | Remote operation support device, remote operation support method, and measuring instrument |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014084326A JP6406859B2 (en) | 2014-04-16 | 2014-04-16 | Remote operation support device, remote operation support method, and measuring instrument |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015202548A JP2015202548A (en) | 2015-11-16 |
| JP6406859B2 true JP6406859B2 (en) | 2018-10-17 |
Family
ID=54596334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014084326A Active JP6406859B2 (en) | 2014-04-16 | 2014-04-16 | Remote operation support device, remote operation support method, and measuring instrument |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6406859B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210123782A (en) * | 2020-04-06 | 2021-10-14 | (주)이롭 | Distributed control method and system for auxiliary cooperative robot with multi-joint |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06179187A (en) * | 1992-12-15 | 1994-06-28 | Mitsubishi Heavy Ind Ltd | Direction detection type teaching mechanism |
| JPH07244150A (en) * | 1994-02-28 | 1995-09-19 | Fujita Corp | Attitude measuring apparatus of heavy machine |
| JPH08300278A (en) * | 1995-04-28 | 1996-11-19 | Tokyo Electric Power Co Inc:The | Manipulator guide |
| JPH1088624A (en) * | 1996-09-13 | 1998-04-07 | Taisei Corp | Gps unmanned execution control system |
| JP2001088074A (en) * | 1999-09-24 | 2001-04-03 | Yaskawa Electric Corp | Control device of robot |
| JP4362804B2 (en) * | 2000-04-20 | 2009-11-11 | 清水建設株式会社 | Fill compaction management system |
| JP5201341B2 (en) * | 2008-09-09 | 2013-06-05 | 富士電機株式会社 | Remote operation support device |
-
2014
- 2014-04-16 JP JP2014084326A patent/JP6406859B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210123782A (en) * | 2020-04-06 | 2021-10-14 | (주)이롭 | Distributed control method and system for auxiliary cooperative robot with multi-joint |
| KR102359822B1 (en) * | 2020-04-06 | 2022-02-09 | (주)이롭 | Distributed control method and system for auxiliary cooperative robot with multi-joint |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015202548A (en) | 2015-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6794193B2 (en) | Image display system for work machines | |
| EP3168705B1 (en) | Domestic robotic system | |
| JP6108818B2 (en) | Moving device and position recognition method of moving device | |
| JP6083520B2 (en) | Robot guidance method and apparatus | |
| JP6407663B2 (en) | Work support image generation apparatus and work machine control system including the same | |
| US20220245856A1 (en) | Position identification system for construction machinery | |
| JP5947644B2 (en) | Unmanned mobile system | |
| KR101132713B1 (en) | Device for control of moving robot, moving robot system having the same and method for control of moving robot | |
| JPWO2021090352A1 (en) | Control device and control method for controlling the flight of an aircraft | |
| JP2005262378A (en) | Autonomous robot and its control method | |
| JP6406859B2 (en) | Remote operation support device, remote operation support method, and measuring instrument | |
| JP2016016475A (en) | System and method for controlling multiple robots | |
| JP2018163507A (en) | Autonomous running system | |
| JP6648714B2 (en) | Indoor crane automatic driving device and automatic driving method | |
| JP6994427B2 (en) | Posture recognition system for construction machinery | |
| Sugasawa et al. | Visualization of Dump Truck and Excavator in Bird’s-eye View by Fisheye Cameras and 3D Range Sensor | |
| JP7128497B2 (en) | Image display system for working machines | |
| JP6196563B2 (en) | Robot remote control system and method | |
| JP7207915B2 (en) | Projection system, projection method and program | |
| Lin et al. | Virtual reality head-tracking observation system for mobile robot | |
| US9465113B2 (en) | Machine positioning system utilizing relative pose information | |
| JP2019195145A (en) | Radio communication system and communication state display method | |
| JP6923144B2 (en) | Image display system for work machines | |
| JP7333551B2 (en) | Image display system for working machines | |
| Tareen | Design & development of The ROBUST–an autonomous mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180918 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6406859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |