JP6758915B2 - Autonomous work control system and autonomous work control method - Google Patents
Autonomous work control system and autonomous work control method Download PDFInfo
- Publication number
- JP6758915B2 JP6758915B2 JP2016103270A JP2016103270A JP6758915B2 JP 6758915 B2 JP6758915 B2 JP 6758915B2 JP 2016103270 A JP2016103270 A JP 2016103270A JP 2016103270 A JP2016103270 A JP 2016103270A JP 6758915 B2 JP6758915 B2 JP 6758915B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- target
- working
- robot
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000008859 change Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000003993 interaction Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 98
- 230000007246 mechanism Effects 0.000 description 33
- 238000007726 management method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Description
本発明は、複数の作業装置により自律的に作業を実施するための自律作業制御システムおよび自律作業制御方法に関する。 The present invention relates to an autonomous work control system and an autonomous work control method for autonomously performing work by a plurality of work devices.
複数の作業装置による自律作業に関する技術として、例えば、特許文献１には、任意の数のロボットマシングループと、任意の数のロボットマシングループのミッションを設定することができるミッションプランナーと、任意の数のロボットマシングループを使用してミッションを実行することができるミッション制御部とを備えた装置に関する技術が開示されている。
As a technique related to autonomous work by a plurality of working devices, for example,
しかしながら、特許文献１においては、予め計画されたミッションを複数の作業装置で実行する場合の自律作業を制御対象としており、作業中に環境や作業状況が変化する場合については考慮されていない。つまり、作業環境や作業対象に関する情報が事前に明らかになっていない場合、作業中に発生した計画外の事象に対して対応ができないため、作業効率が大きく低下してしまう恐れがあった。
However, in
本発明は上記に鑑みてなされたものであり、作業中に生じる作業環境や作業状況の変化に柔軟に対応することができる複数の作業装置による自律作業を制御する自律作業制御システムおよび自律作業制御方法を提供することを目的とする。 The present invention has been made in view of the above, and is an autonomous work control system and an autonomous work control that controls autonomous work by a plurality of work devices capable of flexibly responding to changes in the work environment and work conditions that occur during work. The purpose is to provide a method.
上記目的を達成するために、本発明は、複数の作業装置による自律作業を制御する自律作業制御システムであって、オペレータが作業指示を入力する作業指示入力部と、作業指示入力部で入力された作業指示を作業装置に対する目標動作指示に変換する動作指示部と、作業装置に搭載したセンサの情報から当該作業装置の動作状態を推定する装置状態推定部と、センサの情報から作業装置の作業状態を推定する作業状態推定部と、動作指示部からの動作指示と装置状態推定部及び作業状態推定部の推定結果から各作業装置の目標動作を生成する装置動作生成部と、装置動作生成部が生成した目標動作を変更して変更目標動作を生成する装置動作変更部と、装置動作生成部または装置動作変更部からの目標動作に従い各作業装置の駆動部を制御するための制御目標値を出力する制御装置とを備え、装置動作生成部は、動作指示部から出力される作業装置の目標動作指示と作業装置に搭載したセンサ情報を基に推定した装置状態及び作業状態とを比較して第１の作業装置における第１の目標動作の作業遂行が不可であることを判断し、装置動作変更部は、第１の作業装置における第１の目標動作の作業遂行が不可であることを検知する時に、第２の作業装置が実行している第２の目標動作を中断し、第１の作業装置における第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を生成し、第２の作業装置に与えることを特徴とする。 In order to achieve the above object, the present invention is an autonomous work control system that controls autonomous work by a plurality of work devices, and is input by a work instruction input unit in which an operator inputs a work instruction and a work instruction input unit. An operation instruction unit that converts the work instruction into a target operation instruction for the work device, a device state estimation unit that estimates the operation state of the work device from the information of the sensor mounted on the work device, and a work of the work device from the sensor information. A work state estimation unit that estimates the state, an operation instruction from the operation instruction unit, a device operation generation unit that generates a target operation of each work device from the estimation results of the device state estimation unit and the work state estimation unit, and a device operation generation unit. The device operation change unit that changes the target operation generated by the device to generate the change target operation, and the control target value for controlling the drive unit of each work device according to the target operation from the device operation generator or the device operation change unit. It is equipped with a control device that outputs, and the device operation generation unit compares the target operation instruction of the work device output from the operation instruction unit with the device state and work state estimated based on the sensor information mounted on the work device. It is determined that the work execution of the first target operation in the first work device is impossible, and the device operation change unit detects that the work execution of the first target operation in the first work device is impossible. At that time, a new target for a third target operation that interrupts the second target operation being executed by the second work device and supports the continuation of execution of the first target operation in the first work device. It is characterized in that an operation instruction is generated and given to a second working device.
また本発明は、現場においてセンサを備えた複数の作業装置が自律的に動作して初期の動作を遂行するための自律作業制御方法であって、複数の作業装置における動作内容を示すセンサの情報を用いて、夫々の作業装置に対する目標動作指示を与える第１の手段と、第１の作業装置における第１の目標動作の作業遂行が不可であることを判断する第２の手段と、第１の作業装置の動作支援が可能な作業装置として第２の作業装置を選択する第３の手段と、第１の作業装置における第１の目標動作の作業遂行が不可である時に、第２の作業装置が実行している第２の目標動作を中断し、第１の作業装置における第１の目標動作の実行継続を支援する第３の目標動作のための新たな目標動作指示を第２の作業装置に与える第４の手段と、第２の作業装置による第３の目標動作による支援により、第１の作業装置における第１の目標動作が完了したことをもって、第２の作業装置を中断していた第２の目標動作に復帰させる第５の手段とを備えることを特徴とする。 Further, the present invention is an autonomous work control method for autonomously operating a plurality of work devices equipped with sensors in the field to perform an initial operation, and information on the sensor indicating the operation contents of the plurality of work devices. A first means for giving a target operation instruction to each work device, a second means for determining that the work of the first target action in the first work device cannot be performed, and a first method. When the third means for selecting the second work device as the work device capable of supporting the operation of the work device and the work of the first target operation in the first work device cannot be performed, the second work The second operation interrupts the second target operation being executed by the device, and gives a new target operation instruction for the third target operation to support the continuation of the execution of the first target operation in the first work device. The second work device is interrupted when the first target operation in the first work device is completed by the fourth means given to the device and the support by the third target operation by the second work device. It is characterized by including a fifth means for returning to the second target operation.
本発明によれば、作業中に生じる作業環境や作業状況の変化に柔軟に対応することができる。 According to the present invention, it is possible to flexibly respond to changes in the working environment and working conditions that occur during work.
以下、本発明の一実施例について図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
本発明の実施例における以下の説明では、複数の作業装置が同一空間内に存在する環境において、ある作業装置が運搬作業を実施する場合を想定例としている。図１は、本発明の実施例に係る作業環境における機器構成を示す図である。 In the following description in the embodiment of the present invention, it is assumed that a certain working device carries out the transportation work in an environment in which a plurality of working devices exist in the same space. FIG. 1 is a diagram showing a device configuration in a working environment according to an embodiment of the present invention.
図１において、作業環境９には、作業装置である２台の作業ロボットＲＡ、ＲＢが存在しており、作業ロボットＲＡは対象物８を、作業ロボットＲＢは対象物１０をそれぞれ運搬する作業を実施する。本実施例では、２台の作業ロボットＲＡ、ＲＢは移動機構としてクローラ型、作業機構としてマニピュレータ型を有する構成としているが、それらに限定されるものではない。
In FIG. 1, two work robots RA and RB, which are work devices, exist in the
作業ロボットＲＡ、ＲＢはそれぞれ制御装置ＣＡ、ＣＢにより制御されており、制御装置ＣＡ、ＣＢは、動作管理装置３に接続されて、現場である作業環境９の全体作業を制御している。作業を管理・監視するオペレータ１は、表示装置２へ作業指示を入力し、作業中は作業の進行状況や装置の状態等を監視する。なお、表示装置２、動作管理装置３、各作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢは、統合・分割が可能であり、本実施例の構成のみに限定されない。例えば、表示装置２と動作管理装置３を統合して一つの装置にしても良いし、制御装置ＣＡ、ＣＢを移動機構用と作業機構用に分割しても良い。また、各装置間は有線ケーブルにより接続されているが無線化されたシステム構成であっても良い。
The work robots RA and RB are controlled by the control devices CA and CB, respectively, and the control devices CA and CB are connected to the
図２は、自律作業システム及び作業装置の全体構成を示す機能ブロック図である。 FIG. 2 is a functional block diagram showing the overall configuration of the autonomous work system and the work device.
図２において、表示装置２は、オペレータ１の入力を表示装置２へ取り込む作業指示入力部１１、作業指示（目的）を各作業ロボットＲＡ、ＲＢの動作指示に分解する動作指示部１２、データの送受信を管理するデータ送受信部１４、オペレータ１への各種データの表示を行う表示部１３を含んでいる。
In FIG. 2, the
動作管理装置３は、表示装置２、作業ロボットＲＡの制御装置ＣＡ、作業ロボットＲＢの制御装置ＣＢとのデータ授受を管理するデータ送受信部２２、各作業ロボットＲＡ、ＲＢに搭載されたセンサ信号からロボット本体の状態（移動機構や作業機構の異常の有無等）を推定する装置状態推定部２０、作業状態（対象物の運搬状況等）を推定する作業状態推定部２１、装置状態と作業状態の推定結果から初期に設定された動作指示を変更するか否かを判断する装置動作変更部１９、装置動作変更部１９での動作指示変更を判断するために用いる装置スペック情報１５と変更前の動作指示情報１７を格納する記憶部１６、動作変更有無の判定結果を反映して作業ロボットＲＡと作業ロボットＲＢの動作を生成（移動機構と作業機構の軌道計画等）する装置動作生成部１８を含んでいる。
The
また、作業ロボットＲＡの制御装置ＣＡは、動作管理装置３とデータの授受を行うデータ送受信部２３Ａ、動作管理装置３で生成された装置動作（軌道計画）からロボットの移動機構３０Ａと作業機構２９Ａの目標制御量（移動機構のクローラ回転速度、作業機構の各関節の関節角度）を算出する目標値算出部２４Ａ、算出された目標値とロボットの各駆動部に内蔵される角度検出器２８Ａの信号から算出される現在角度を用いて各駆動部の目標指令電圧を生成するロボットＲＡ制御部２６Ａ、ロボットＲＡに搭載された環境認識センサ２７Ａの信号を取り込む環境認識部２５Ａを含んでいる。
Further, the control device CA of the work robot RA is a data transmission /
ここで、本実施例では環境認識センサ２７Ａは、周辺環境の映像データを取得するカメラ、周辺環境や対象物の形状を測定するレーザセンサ、ロボットの手先に加わる力・トルクを測定する力・トルクセンサを搭載しているものとするが、異なる作業の場合には必要に応じて変更可能である。なお、本実施例では作業ロボットＲＢの制御装置ＣＢ内の構成、作業ロボットＲＢの機能構成は作業ロボットＲＡと同様であるため、説明を省略するが同一記号の構成に対して「Ｂ」を付して表示し、作業ロボットＲＢ側の機能構成である点を区別している。
Here, in this embodiment, the
次に本実施例に係る自律作業システムによる複数作業装置の制御処理内容について説明する。 Next, the control processing contents of the plurality of work devices by the autonomous work system according to this embodiment will be described.
図３は、自律作業システムによる複数作業装置の動作制御処理の処理内容を概略的に示すＰＡＤ図である。主としてオペレータ１の作業指示に基づく表示装置２と動作管理装置３内での処理内容を示すＰＡＤ図である。
FIG. 3 is a PAD diagram schematically showing the processing contents of the operation control processing of the plurality of work devices by the autonomous work system. It is a PAD diagram which shows the processing content in the
図３の動作制御処理手順では、最初の処理ステップＳ１において、各作業ロボットＲＡ、ＲＢの初期位置等の情報を含む初期状態、予め用意された移動速度や可搬重量等の装置スペック情報を動作管理装置３に取り込む。次に処理ステップＳ２においてオペレータ１によって作業指示が入力されると、処理ステップＳ３においては、入力された作業指示が表示装置２に表示されるとともに、動作管理装置３に読込まれる。処理ステップＳ４では表示装置２内の動作指示部１２において、各作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢへの動作指示に分解する。
In the operation control processing procedure of FIG. 3, in the first processing step S1, the initial state including the information such as the initial position of each work robot RA and RB, and the device specification information such as the moving speed and the payload prepared in advance are operated. It is taken into the
図４は、図３の処理ステップＳ２においてオペレータ１が作業指示を入力するときに操作する表示装置２の操作画面３９を示している。操作画面３９は、作業条件入力部４８と作業内容入力部５０と装置スペック一覧表示部５１で構成されている。
FIG. 4 shows an
このうち作業条件入力部４８は、作業の制約条件を入力する。作業の制約条件は、時間的条件、使用機材の条件、空間的条件などであり、作業条件入力部４８は、時間的条件（例えば、分、時間、日）を入力する作業期間入力部４０、作業に利用できる装置やツール類を定義する使用機材入力部４１、空間的条件（例えば、作業場所の建屋名、運搬場所等）を入力する運搬場所入力部４２を含んでいる。作業条件入力部４８で入力された情報は、図２の動作管理装置３の記憶部１６へ情報が格納され、後述する装置動作変更部１９の処理において動作変更の必要可否の判断や変更後の動作を生成する処理で利用される。
Of these, the work
作業内容入力部５０は、作業指示を入力する。作業指示は、作業場所、作業対象、作業項目、作業完了状態などであり、作業場所を入力する作業場所入力部４３、作業対象を入力する作業対象入力部４４、作業項目を入力する作業項目入力部４５、作業完了状態を入力する作業完了状態入力部４６を含んでいる。
The work
装置スペック一覧表示部５１には、作業条件入力部４８の使用機材入力部４１で入力された使用機材の情報から生成した、作業に利用できる作業装置のスペック一覧が表示される。装置スペックは、ロボットＲＡ、ＲＢごとに設定され、ロボットＲＡについてロボットＲＡスペック表示部４７A、ロボットＲＢについてロボットＲＢスペック表示部４７Bを有している。これらのロボットスペック表示部４７A、４７Bでは、例えば、移動機構に関わるスペックとして、乗り越え可能段差高さ、最大移動速度等、作業機構に関わるスペックとして、関節数、自由度、リンク長さ、稼動範囲、可搬重量等が表示される。なお、これらの入力はオペレータ１が直接入力しても良いし、予め用意したファイル等を読込むよう構成しても良い。
The device spec
図３にもどり、処理ステップＳ４の処理内容について詳しく説明する。処理ステップＳ４では、図４の作業内容入力部５０で入力された情報（場所、作業対象、作業項目、完了状態）を、作業ロボットＲＡ、ＲＢの動作を生成できる情報へと変換する。本実施例の説明では、「ある場所（作業環境９）に存在する、がれき（対象物８、１０）を、撤去（作業項目）して、作業環境９を整備する（完了状態）」、と入力された場合を例にとって説明する。
Returning to FIG. 3, the processing content of the processing step S4 will be described in detail. In the process step S4, the information (location, work target, work item, completion state) input by the work
このうち「場所」については、予め登録された場所の名前と位置が関連付けられた情報を基に、作業環境９内に設定されたグローバル座標系の原点から見た作業場所の３次元位置情報（Ｘ、Ｙ、Ｚ）へと変換される。
Of these, "place" is the three-dimensional position information of the work place seen from the origin of the global coordinate system set in the
「作業対象」については、作業ロボットＲＡ、ＲＢが接触またはハンドリングする物体８、１０を指定する。本実施例では、予め取得した作業環境９の画像や映像情報を基に、オペレータ１が指定した金属製や非金属製のがれきを作業対象８、１０とする。オペレータ１が「がれき」と入力した場合、画像中でその対象物８、１０の特徴を抽出する。例えば、不定形な形状である、床面に存在する、個数またはそれらが集合するエリアの数等であるといった特徴を抽出する。
As the "work target", the
「作業項目」については、「撤去」と入力された場合、対象物近傍への移動、対象物の認識、把持、運搬等の要素動作へと分解する。 When "removal" is input for "work item", it is decomposed into element actions such as movement to the vicinity of the object, recognition of the object, grasping, and transportation.
「完了状態」については、作業項目で定義された作業を遂行して最終的に目標とする作業環境９の状態を入力する。「がれきが無いこと」と入力された場合、作業環境９にあるがれき（対象物８、１０）を全て作業環境９中から除去できれば、作業完了となる。
For the "completed state", the state of the
次に、図３の処理ステップＳ５に戻り、作業ロボットＲＡの動作生成処理について説明する。処理ステップＳ５では、処理ステップＳ４において作業指示から分解された作業ロボットの動作指示を基に、作業ロボットＲＡの目標動作を生成する。まず、処理ステップＳ６の装置状態の推定では、作業ロボットＲＡの現在の状態（位置、初期姿勢等）を作業ロボットＲＡに搭載した各種センサ情報を基に推定する。そして、処理ステップＳ７において、作業ロボットＲＡに搭載したカメラやレーザセンサの情報を基に、作業環境を認識して周辺に対象物が存在するか否かを推定し、対象物が存在する場合にはその形状を算出する。 Next, returning to the process step S5 of FIG. 3, the motion generation process of the work robot RA will be described. In the process step S5, the target operation of the work robot RA is generated based on the operation instruction of the work robot decomposed from the work instruction in the process step S4. First, in the estimation of the device state in the processing step S6, the current state (position, initial posture, etc.) of the work robot RA is estimated based on various sensor information mounted on the work robot RA. Then, in the processing step S7, based on the information of the camera and the laser sensor mounted on the work robot RA, the work environment is recognized, it is estimated whether or not there is an object in the vicinity, and when the object exists. Calculates its shape.
処理ステップＳ７において初期状態で対象物が周辺に存在しない場合、移動しながら対象物を探索するための目標動作を処理ステップＳ８で生成する。対象物が周辺に存在する場合、探索するための移動動作を省略して撤去するための動作を処理ステップＳ８では生成する。なお、処理ステップＳ８では、作業ロボットＲＡと対象物の相対的な位置関係を基に移動機構の目標軌道を算出し、処理ステップＳ７で得られた対象物の形状情報を基にアーム機構の把持軌道を算出する。 If the object does not exist in the vicinity in the initial state in the process step S7, a target operation for searching for the object while moving is generated in the process step S8. When the object exists in the vicinity, the operation for removing the moving operation for searching is omitted, and the operation for removing the object is generated in the process step S8. In the processing step S8, the target trajectory of the moving mechanism is calculated based on the relative positional relationship between the work robot RA and the object, and the arm mechanism is gripped based on the shape information of the object obtained in the processing step S7. Calculate the orbit.
図３において、作業ロボットＲＢに関する処理ステップＳ９から処理ステップＳ１２までの処理内容は、作業ロボットＲＡに関する処理ステップＳ５から処理ステップＳ８までの処理内容と同様のため、詳細な説明は省略する。 In FIG. 3, since the processing contents from the processing step S9 to the processing step S12 relating to the work robot RB are the same as the processing contents from the processing step S5 to the processing step S8 relating to the work robot RA, detailed description thereof will be omitted.
さらに、図３の処理ステップＳ１３では、作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢから得られる情報を基に、作業ロボット目標動作が計画通り進んでいるかを作業完了状態と照合し、作業完了状態と一致したら処理を終了し、最後に処理ステップＳ１４において作業完了後の作業環境の状態と作業ロボットの状態を保存し、表示装置２へ送信して作業を終了する。
Further, in the processing step S13 of FIG. 3, based on the information obtained from the control devices CA and CB of the work robots RA and RB, whether or not the work robot target operation is proceeding as planned is collated with the work completion state, and the work completion state is checked. When the result is the same, the process is terminated, and finally, in the process step S14, the state of the work environment and the state of the work robot after the work is completed are saved and transmitted to the
図５は、作業装置ＲＡ、ＲＢの制御装置ＣＡ、ＣＢ内での処理内容を示すＰＡＤ図である。本実施例では、作業ロボットＲＡと作業ロボットＲＢは、移動機構及び作業機構の構成が同一のため、２つの作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢ内の処理内容の基本構成は同じであるものとする。 FIG. 5 is a PAD diagram showing the processing contents in the control devices CA and CB of the working devices RA and RB. In this embodiment, since the work robot RA and the work robot RB have the same movement mechanism and the work mechanism configuration, the basic configurations of the processing contents in the control devices CA and CB of the two work robots RA and RB are the same. Shall be.
図５の処理ステップＳ１５において、作業ロボットＲＡの制御装置ＣＡは、動作管理装置３から送信されるロボット目標動作を取り込む。
In the processing step S15 of FIG. 5, the control device CA of the working robot RA captures the robot target motion transmitted from the
動作管理装置３から作業ロボットＲＡの制御装置ＣＡに送信された作業ロボットの目標動作は、移動機構の目標位置姿勢、アーム機構先端部の目標位置姿勢であるので、処理ステップＳ１６では、これらの目標値を算出する。具体的には、処理ステップＳ１７では、これらを移動機構の駆動部にあるモータの目標回転速度に変換し、処理ステップＳ１８では、アーム機構の各関節駆動部にあるモータの目標回転角度に変換する。なお処理ステップＳ１６の処理内容は、図２の作業ロボットの制御装置における目標値算出部２４の処理に相当している。
Since the target motions of the work robot transmitted from the
そして、処理ステップＳ１９の作業環境認識処理において、作業する周辺の環境情報や対象物情報を再度取得する。具体的には、まず処理ステップＳ２０において、作業ロボットＲＡに搭載したカメラ、レーザセンサの情報を読込み、センサ信号から周辺環境の３次元形状を算出する。そして処理ステップＳ２１において、予め用意した作業環境の地図情報と取得した周辺環境の３次元形状情報を照合することにより、作業ロボットＲＡの作業環境９内での位置を推定する。また処理ステップＳ２２において、カメラとレーザセンサの情報から算出した周辺環境の３次元形状情報を用いて、対象物と作業ロボットＲＡの相対位置姿勢の関係や対象物形状情報も算出する。なお処理ステップＳ１９の処理内容は、図２の作業ロボットの制御装置における環境認識部２５の処理に相当している。
Then, in the work environment recognition process of the process step S19, the environment information and the object information around the work are acquired again. Specifically, first, in the processing step S20, the information of the camera and the laser sensor mounted on the work robot RA is read, and the three-dimensional shape of the surrounding environment is calculated from the sensor signal. Then, in the processing step S21, the position of the work robot RA in the
次に、処理ステップＳ２３において作業ロボットＲＡの制御指令値を算出する。具体的にはまず、処理ステップＳ２４において作業ロボットの移動機構及びアーム機構の駆動部に搭載した角度検出器の信号を読込む。そして処理ステップＳ２５において、角度検出器の信号から回転角度を算出する。ここで回転角度への変換は、角度検出器がポテンショメータ等のアナログ信号を出力するタイプであれば予め設定した換算係数を乗じ、エンコーダ等のパルス信号を出力するタイプであれば予め設定した１カウント当たりの回転角度を乗じて回転角度へ変換する。 Next, in the processing step S23, the control command value of the working robot RA is calculated. Specifically, first, in the processing step S24, the signal of the angle detector mounted on the driving unit of the moving mechanism and the arm mechanism of the working robot is read. Then, in the processing step S25, the rotation angle is calculated from the signal of the angle detector. Here, the conversion to the rotation angle is multiplied by a preset conversion coefficient if the angle detector is a type that outputs an analog signal such as a potentiometer, and 1 count that is preset if the angle detector is a type that outputs a pulse signal such as an encoder. Multiply the hit rotation angle and convert it to the rotation angle.
さらに処理ステップＳ２６では、処理ステップＳ１６で算出された目標値（移動機構の目標回転速度とアーム機構の各関節の目標回転角度）と、処理ステップＳ２５で算出された現在値（移動機構とアーム機構の現在回転角度）を、一般的に作業ロボットの制御で用いられるフィードバック制御器（例えば、ＰＩＤ制御器）へ入力し、各駆動部への目標制御量を算出する。なお処理ステップＳ２３の処理内容は、図２の作業ロボットの制御装置におけるロボット制御部２６の処理に相当している。
Further, in the processing step S26, the target value calculated in the processing step S16 (target rotation speed of the moving mechanism and the target rotation angle of each joint of the arm mechanism) and the current value calculated in the processing step S25 (moving mechanism and arm mechanism). (Current rotation angle) is input to a feedback controller (for example, a PID controller) generally used for controlling a work robot, and a target control amount for each drive unit is calculated. The processing content of the processing step S23 corresponds to the processing of the
最後に処理ステップＳ２７において、処理ステップＳ２６で算出された目標制御量をモータ指令電圧へ換算して作業ロボットの各駆動部へ電圧を印加し、処理を終了する。 Finally, in the processing step S27, the target control amount calculated in the processing step S26 is converted into the motor command voltage, a voltage is applied to each drive unit of the work robot, and the processing is completed.
ここまで図３、図５で説明してきた処理は、動作管理装置３から各作業ロボットＲＡ、ＲＢの制御装置ＣＡ、ＣＢへ送信された目標動作に対して、それぞれの作業ロボット（作業ロボットＲＡ、作業ロボットＲＢ）が単独で対象物にアクセスし、撤去のための把持動作を生成するものである。すなわち、計画された目標動作に対して現在の装置や作業状態が矛盾無く進行している場合のものである。
The processes described in FIGS. 3 and 5 up to this point correspond to the target motions transmitted from the
しかしながら、対象物の形状や存在位置が明らかでも、その重量や硬さが未知な場合は必ずしも計画通りに作業を遂行できない場合がある。以降の説明では、作業ロボットＲＡ単独では目的作業が遂行できず、複数作業ロボットによる共同作業が必要になる事例として、作業ロボットＲＡが対象物を把持したが、対象物の重量が作業ロボットＲＡの可搬重量を超過しており、単独での作業が不可となる場合の制御処理について詳しく説明する。 However, even if the shape and existence position of the object are clear, if the weight and hardness of the object are unknown, the work may not always be carried out as planned. In the following description, as a case where the target work cannot be performed by the work robot RA alone and joint work by multiple work robots is required, the work robot RA grips the object, but the weight of the object is that of the work robot RA. The control process when the payload is exceeded and the work alone becomes impossible will be described in detail.
図６は、１台の作業装置（作業ロボットＲＡ）が対象物を把持する様子を示す図である。また、図７は、作業ロボットＲＡが単独で対象物を把持不可であることを検知してから、作業ロボットＲＢを連携ロボットとして選択して、その連携動作を生成するまでの処理内容を示したものである。本処理は、図２の機能ブロック図において、動作管理装置３内の装置動作変更部１９に関わるものである。
FIG. 6 is a diagram showing a state in which one working device (working robot RA) grips an object. Further, FIG. 7 shows the processing contents from the detection that the work robot RA cannot grasp the object by itself to the selection of the work robot RB as the cooperation robot and the generation of the cooperation operation. It is a thing. This process relates to the device
図７の一連の処理内容のうち、処理ステップＳ１から処理ステップＳ８までの処理は、図３の処理ステップＳ１から処理ステップＳ８までの処理と同様であるため、説明は省略する。図３の処理では、作業ロボットＲＡ、ＲＢはともにそれぞれ単独での動作遂行が可能である場合を想定しているが、図７の処理では作業ロボットＲＡによる単独作業が不可能であることを次の処理ステップＳ３６で判断した。 Of the series of processing contents of FIG. 7, the processing from processing step S1 to processing step S8 is the same as the processing from processing step S1 to processing step S8 of FIG. 3, and thus the description thereof will be omitted. In the process of FIG. 3, it is assumed that both the work robot RA and RB can perform their own operations, but in the process of FIG. 7, it is impossible for the work robot RA to perform independent work. It was determined in the processing step S36 of.
処理ステップＳ３６において、処理ステップＳ６の装置状態の推定結果と処理ステップＳ７の作業状態の推定結果から作業ロボットＲＡが対象物８を単独で把持できないことを判断する。ここで、単独で把持できないことを判断するプロセスについて詳しく説明する。作業ロボットＲＡのアーム機構先端には対象物との接触状態を検出する力・トルクセンサが搭載されている。力・トルクセンサから出力される信号を基に先端部に加わる３軸方向の力とその軸周りのトルクを算出し、作業ロボットＲＡの可搬重量と比較して可搬重量以下であれば把持動作を継続、可搬重量以上であれば把持動作を停止する。また、作業ロボットＲＡには環境認識センサとしてカメラとレーザセンサが搭載されている。これらセンサ信号で対象物の状態（形状、位置）を計測し、力・トルクセンサ信号で対象物を把持していることを検知していても、対象物の位置が移動していない場合には把持不可と判断する。上記のように、力・トルクセンサや環境認識センサの結果を用いる場合、一つのセンサ情報を用いても良いし、複数のセンサ情報を用いても良い。
In the processing step S36, it is determined from the estimation result of the device state in the processing step S6 and the estimation result of the working state in the processing step S7 that the working robot RA cannot grasp the
連携動作決定処理は具体的には処理ステップＳ３７において、作業ロボットＲＡからの把持不可の情報を読込み、処理ステップＳ３８で連携ロボットの候補として作業ロボットＲＢを決定する。そして、処理ステップＳ３９では、連携ロボットに決定した作業ロボットＲＢの動作内容を決定する。 Specifically, in the processing step S37, the cooperative operation determination process reads the information that cannot be grasped from the working robot RA, and in the processing step S38, the working robot RB is determined as a candidate for the cooperative robot. Then, in the processing step S39, the operation content of the work robot RB determined to be the cooperative robot is determined.
処理ステップＳ４０では、処理ステップＳ３６の一連の処理（処理ステップＳ３７から処理ステップＳ３９）で決定された連携ロボットの連携動作を読込み、その作業ロボットの目標動作を生成する。本実施例では、作業ロボットＲＢが連携ロボットとして選定された場合について説明する。処理ステップＳ４０では、図３の処理ステップＳ９の処理内容と同様の処理を実行する。図７の処理ステップＳ４０から処理ステップＳ４３までの個々の処理ステップの処理内容は、図３の処理ステップＳ９から処理ステップＳ１２までの個々の処理ステップの処理内容に対応している。ここで処理される内容は、連携ロボットとしての動作内容についてのものである。 In the processing step S40, the cooperative operation of the cooperative robot determined in the series of processing (processing step S37 to S39) of the processing step S36 is read, and the target operation of the working robot is generated. In this embodiment, a case where the work robot RB is selected as the cooperation robot will be described. In the processing step S40, the same processing as the processing content of the processing step S9 of FIG. 3 is executed. The processing contents of the individual processing steps from the processing step S40 to the processing step S43 of FIG. 7 correspond to the processing contents of the individual processing steps from the processing step S9 to the processing step S12 of FIG. The content processed here is about the operation content as a cooperative robot.
図８は、作業中に計画外事象が発生した場合の装置動作変更処理の処理内容を示すＰＡＤ図である。図８を用いて図７の処理ステップＳ３６の処理内容について、さらに詳しく述べる。 FIG. 8 is a PAD diagram showing the processing contents of the device operation change processing when an unplanned event occurs during the work. The processing content of the processing step S36 of FIG. 7 will be described in more detail with reference to FIG.
まず、処理ステップＳ４６において、各作業装置ＲＡ、ＲＢの制御装置ＣＡ、ＣＢから受信した各作業装置ＲＡ、ＲＢの状態を取り込む。そして、処理ステップＳ４７において、連携する作業ロボットを選択するための指標を定義する。ここでは、装置に搭載されたセンサ（力・トルクセンサ、レーザセンサ、カメラ等）の情報を用いて、処理ステップＳ４８において作業ロボットＲＡが対象物の把持を実行できない原因について分析し、処理ステップＳ４９においてその分析結果に基づき連携ロボットを選択するための指標を抽出する。なお処理ステップＳ４６から処理ステップＳ４９までの一連の処理が、図７の処理ステップＳ３７の処理内容に相当している。 First, in the processing step S46, the states of the working devices RA and RB received from the control devices CA and CB of the working devices RA and RB are taken in. Then, in the processing step S47, an index for selecting a working robot to cooperate with is defined. Here, using the information of the sensors (force / torque sensor, laser sensor, camera, etc.) mounted on the apparatus, the reason why the work robot RA cannot grasp the object in the processing step S48 is analyzed, and the processing step S49 In, the index for selecting the cooperative robot is extracted based on the analysis result. The series of processes from the process step S46 to the process step S49 corresponds to the process contents of the process step S37 of FIG.
本実施例においては、作業ロボットＲＡの可搬重量が１０ｋｇｆであり、力・トルクセンサの出力信号で１０ｋｇｆ以上が検出されて把持不可と判断されたとする。この場合、対象物の重量が１０ｋｇｆ以上あるので、連携ロボットを選択するための指標は「可搬重量１０ｋｇｆ以上」となる。 In this embodiment, it is assumed that the payload of the work robot RA is 10 kgf, and 10 kgf or more is detected by the output signal of the force / torque sensor, and it is determined that the work robot RA cannot be gripped. In this case, since the weight of the object is 10 kgf or more, the index for selecting the cooperative robot is "carrying weight of 10 kgf or more".
ここで、作業ロボットＲＢの他に作業環境９中に作業装置が存在する場合について述べる。連携ロボットの選択指標は、可搬重量の他、対象物形状情報から算出した作業ロボット先端ツールで把持できる対象物の最大寸法、作業ロボットＲＡとの距離、周辺作業ロボットの作業状況等、複数の指標（装置性能、時間的条件、空間的条件）がある。
Here, a case where a work device exists in the
複数の指標がある場合には、処理ステップＳ４９において、まずは装置性能に関わる指標について優先順位を設定する。優先順位の決定は、予め目標動作毎に設定された関連パラメータの優先順位を基に決定する。本実施例のように、作業指示として「撤去」と入力され、動作指示として「対象物までの移動」、「対象物の把持」、「対象物の運搬」が生成されたとする。「対象物までの移動」や「対象物の運搬」については、作業ロボットの移動に関わる動作であり、装置性能に関する関連パラメータは、移動経路の制約寸法、移動機構の可搬重量等である。また「対象物の把持」については、装置性能に関する関連パラメータは、アーム機構の可搬重量、先端ツールの把持可能対象物寸法等である。 When there are a plurality of indexes, in the processing step S49, first, the priority is set for the indexes related to the device performance. The priority is determined based on the priority of the related parameters set in advance for each target operation. As in this embodiment, it is assumed that "removal" is input as a work instruction, and "movement to an object", "grasping an object", and "transporting an object" are generated as operation instructions. “Movement to the object” and “transportation of the object” are operations related to the movement of the work robot, and related parameters related to the device performance are the constraint size of the movement path, the payload of the movement mechanism, and the like. Regarding "grasping an object", related parameters related to device performance are the payload of the arm mechanism, the size of the object that can be gripped by the tip tool, and the like.
なお、時間的条件及び空間的条件に関わる装置選択指標については、処理ステップＳ５０の中で説明する。処理ステップＳ５０における具体的処理の中では、処理ステップＳ５１において、まず処理ステップＳ４６で取り込んだ各装置状態の情報を読込む。そして、処理ステップＳ４９で抽出した装置性能に関わる選択指標を用いて、図２の動作管理装置３内の記憶部１６に格納されている各装置スペック情報と照合し、処理ステップＳ５２において連携ロボット候補を選定する。
The device selection index related to the temporal condition and the spatial condition will be described in the processing step S50. Among the specific processes in the process step S50, in the process step S51, first, the information of each device state captured in the process step S46 is read. Then, using the selection index related to the device performance extracted in the process step S49, it is collated with each device spec information stored in the
次に、処理ステップＳ５３において、時間的条件及び空間的条件に関する指標を基に、処理ステップＳ５２で選定した連携ロボット候補に対して、それぞれ連携可否の判断を行う。時間的条件に関する指標としては、オペレータが入力した作業指示のうち、作業期間に関わるものであり、作業ロボットＲＡと連携候補作業ロボットがそれぞれのエリアで実施している「撤去作業の進捗度合い」、すなわちそれぞれのエリアに存在する撤去対象物の初期状態（個数）に対する現状存在する対象物の割合である。また、空間的条件に関する指標としては、オペレータが入力した作業指示のうち、運搬場所に関わるものであり、作業ロボットＲＡと連携候補作業ロボットがそれぞれ撤去作業を実施している場所と「運搬場所との距離」である。 Next, in the processing step S53, it is determined whether or not the cooperation robot candidates selected in the processing step S52 can cooperate with each other based on the indexes related to the temporal condition and the spatial condition. The index related to the time condition is related to the work period among the work instructions input by the operator, and the "progress of removal work" carried out by the work robot RA and the cooperation candidate work robot in each area, That is, it is the ratio of the currently existing objects to the initial state (number) of the objects to be removed existing in each area. In addition, the index related to the spatial condition is related to the transportation place among the work instructions input by the operator, and the place where the work robot RA and the cooperation candidate work robot are carrying out the removal work and the "transportation place" respectively. Distance ".
本実施例の場合、作業ロボットＲＡよりも「撤去作業の進捗度合い」が高く、「運搬場所との距離」が遠いものが、連携候補ロボットの中から連携可能なものとして選択される。そして、処理ステップＳ５４において連携ロボットを決定して、装置動作変更をするための処理へ移る。 In the case of this embodiment, a robot having a higher "progress of removal work" and a longer "distance from the transportation location" than the work robot RA is selected as a collaborative candidate robot. Then, in the process step S54, the cooperative robot is determined, and the process proceeds to the process for changing the operation of the device.
処理ステップＳ５５では、処理ステップＳ５４で決定した連携ロボットに対して新たな動作指令を生成する処理を行う。まず、連携ロボットとしての役割を完了した後に、処理ステップＳ５６において変更前の作業へ復帰することを可能とするため変更前動作指示を動作管理装置３内の記憶部１６へ保存する。そして処理ステップＳ５７において、連携前の装置状態と作業ロボットＲＡへの動作指示から目標連携動作指令を生成する。ここでは、連携ロボットとして作業ロボットＲＢが選択されたものとして詳細を説明する。
In the processing step S55, a process of generating a new operation command is performed for the cooperative robot determined in the processing step S54. First, after completing the role as the cooperative robot, the pre-change operation instruction is stored in the
作業ロボットＲＢは、「対象物１０の撤去」から「作業ロボットＲＡと連携して対象物８を撤去」へと動作指令が変更される。「撤去」作業には変更が無く、対象物のみが変更となるため、対象物８が存在する場所へ移動して、それを把持動作するための目標動作指令が生成される。すなわち、作業ロボットＲＢへの変更後の目標連携動作指令は、対象物８までの移動、対象物８の認識、把持、運搬となる。最後に、処理ステップＳ５８において、各種情報を保存・送信して処理を終了する。
The operation command of the work robot RB is changed from "removal of the
図９は、２台の作業装置（作業ロボットＲＡと作業ロボットＲＢ）が対象物を運搬する様子を示す図である。単独での撤去動作と異なり、動作指示に「作業ロボットＲＡと連携して」という条件付作業のため、作業ロボットＲＢは作業ロボットＲＡの作業エリアに到着し、対象物８を認識、作業ロボットＲＡの対象物把持位置の認識を実施した後、作業ロボットＲＡの先端位置と干渉しない場所を把持する。
FIG. 9 is a diagram showing a state in which two work devices (work robot RA and work robot RB) carry an object. Unlike the removal operation by itself, the work robot RB arrives at the work area of the work robot RA, recognizes the
なお特に図示しないが、作業ロボットＲＡと作業ロボットＲＢによる共同作業の結果として対象物８の共同運搬が完了した場合、他にも共同作業すべき仕事が残っていないことを条件として、作業ロボットＲＡと作業ロボットＲＢは本来の個別作業のミッションに戻って、単独作業を実行する体制に戻ることになる。
Although not shown in particular, when the joint transportation of the
以上のように構成した本実施例の効果を説明する。従来技術においては、予め計画されたミッションを複数の装置で実行する場合の自律作業を制御対象としており、作業中に環境や作業状況が変化する場合については考慮されていなかった。つまり、作業環境や作業対象に関する情報が事前に明らかになっていない場合、作業中に発生した計画外の事象に対して対応ができないため、作業効率が大きく低下してしまう恐れがあった。 The effect of this embodiment configured as described above will be described. In the prior art, autonomous work when a pre-planned mission is executed by a plurality of devices is targeted for control, and cases where the environment or work conditions change during work are not considered. That is, if the information on the work environment and the work target is not clarified in advance, it is not possible to respond to an unplanned event that occurs during the work, so that the work efficiency may be significantly reduced.
これに対して本実施例に係る自律作業システムでは、複数の作業装置が作業を実施している中で、単独で作業を続行することが不可能と判断された場合、その作業を実施している作業装置に搭載されたセンサ情報を基に、その作業状態及び装置状態を推定して、周辺の作業ロボットを連携ロボットとして選択して、作業を遂行することができる。従って、作業の遅延回避やリスクの低減が可能となる。 On the other hand, in the autonomous work system according to this embodiment, when it is determined that it is impossible to continue the work independently while the work is being carried out by a plurality of work devices, the work is carried out. Based on the sensor information mounted on the working device, the working state and the device state can be estimated, and the surrounding working robots can be selected as the cooperative robot to carry out the work. Therefore, it is possible to avoid work delays and reduce risks.
本発明の自律作業制御システムでは、各種のセンサが使用される。これらは作業装置の駆動部の移動量や回転量を検出するセンサであり、対象物との相互作用を検出するセンサであり、駆動部の動作を検出するセンサであり、作業環境の変化を検出するセンサである。このうち作業環境の変化を検出するセンサは作業装置に搭載されていてもよいが、これらの機能は現場環境の計測であることから現場内に固定的に設置されていてもよい。他のセンサは作業装置の動作を決定するためのセンサということができる。 In the autonomous work control system of the present invention, various sensors are used. These are sensors that detect the amount of movement and rotation of the drive unit of the work device, sensors that detect the interaction with the object, sensors that detect the operation of the drive unit, and detect changes in the work environment. It is a sensor that does. Of these, sensors that detect changes in the work environment may be mounted on the work device, but since these functions are measurements of the site environment, they may be fixedly installed in the site. Other sensors can be said to be sensors for determining the operation of the working device.
なお、作業装置の駆動部の移動量や回転量を検出するセンサとしては、レーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサが利用可能であり、対象物との相互作用を検出するセンサとしては、カメラ、超音波距離計、レーザ距離計、力・トルクセンサ、温度計、感圧センサが利用可能であり、駆動部の動作を検出するセンサとしては電流センサが利用可能であり、作業環境の変化を検出するセンサとしては圧力計、漏水検知器、温度計、放射線量計が利用可能である。 As a sensor for detecting the amount of movement and the amount of rotation of the drive unit of the work device, a laser distance meter, an encoder, a potentiometer, an inclinometer, a geomagnetic sensor, and a gyro sensor can be used to detect interaction with an object. A camera, an ultrasonic distance meter, a laser distance meter, a force / torque sensor, a thermometer, and a pressure-sensitive sensor can be used as the sensors to be used, and a current sensor can be used as a sensor for detecting the operation of the drive unit. As a sensor for detecting changes in the working environment, a pressure gauge, a water leakage detector, a thermometer, and a radiation meter can be used.
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。 The present invention is not limited to the above-described examples, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Further, each of the above configurations, functions and the like may be realized by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
１：オペレータ
２：表示装置
３：動作管理装置
ＣＡ：作業ロボットＲＡの制御装置
ＣＢ：作業ロボットＲＢの制御装置
ＲＡ：作業ロボット
ＲＢ：作業ロボット
８、１０：運搬対象物
９：作業環境
１１：作業指示入力部
１２：動作指示部
１３：表示部
１５：装置スペック情報
１６：記憶部
１７：動作指示情報
１８：装置動作生成部
１９：装置動作変更部
２０：装置状態推定部
２１：作業状態推定部
２４：目標値算出部
２５：環境認識部
２６：ロボットＲＡ制御部
２７：環境認識センサ
２８：関節角度検出器
２９：アーム機構
３０：移動機構
３４：作業状態推定部
３５：装置状態推定部
４８：作業条件入力部
５０：作業内容入力部
５１：装置スペック一覧表示部
1: Operator 2: Display device 3: Operation management device CA: Control device for work robot RA CB: Control device for work robot RB RA: Work robot RB: Work
48 : Work condition input unit 50: Work content input unit 51: Device spec list display unit
Claims (6)
前記作業装置に搭載したセンサの情報から当該作業装置の動作状態を推定する装置状態推定部と、前記センサの情報から前記作業装置の作業状態を推定する作業状態推定部と、前記作業装置の動作指示を変更するか否かを判断する装置動作変更部と、動作指示の変更有無の判断結果を反映して前記装置状態推定部及び前記作業状態推定部の推定結果から各作業装置の目標動作を生成する装置動作生成部と、前記装置動作生成部からの目標動作に従い各作業装置の駆動部を制御するための制御目標値を出力する制御装置とを備え、
前記装置動作変更部は、前記動作指示と作業装置に搭載したセンサの情報を基に推定した動作状態及び作業状態とを比較して第１の作業装置における第１の目標動作の作業遂行が不可であるときに動作指示を変更することを判断し、
前記装置動作生成部は、動作指示の変更が判断された時に、第２の作業装置が実行している第２の目標動作を中断し、前記第１の作業装置における前記第１の目標動作の実行継続を支援する第３の目標動作を生成し、第２の作業装置に与えることを特徴とする自律作業制御システム。 An autonomous work control system that controls autonomous work by multiple work devices.
A device state estimation unit that estimates the operating state of the work device from the information of the sensor mounted on the work device, a work state estimation unit that estimates the work state of the work device from the information of the sensor, and an operation of the work device. The target operation of each work device is determined from the estimation results of the device state estimation unit and the work state estimation unit, reflecting the device operation change unit that determines whether to change the instruction and the determination result of whether or not the operation instruction is changed. A device motion generating unit for generating and a control device for outputting a control target value for controlling a driving unit of each working device according to a target motion from the device motion generating unit are provided.
The device operation changing unit, the operation instruction and the working device first impossible working performance of the target operation of the first work device is compared with the operating state and the working state information estimated based on the equipped with sensors When it is determined to change the operation instruction ,
When the change of the operation instruction is determined , the device operation generation unit interrupts the second target operation executed by the second work device, and the first target operation in the first work device. An autonomous work control system characterized in that a third target motion that supports continuation of execution is generated and given to a second work device.
第２の作業装置による第３の目標動作による支援により、前記第１の作業装置における前記第１の目標動作が完了したことをもって、第２の作業装置は中断していた第２の目標動作に復帰することを特徴とする自律作業制御システム。 The autonomous work control system according to claim 1.
With the support of the third target operation by the second working device, the completion of the first target operation in the first working device causes the second working device to change to the interrupted second target operation. An autonomous work control system characterized by returning.
前記装置状態推定部は、前記複数の作業装置の動作状態及び位置データから前記作業装置の作業位置を推定することを特徴とする自律作業制御システム。 The autonomous work control system according to claim 1 or 2 .
The device state estimation unit is an autonomous work control system characterized in that the work position of the work device is estimated from the operation state and position data of the plurality of work devices.
前記センサは、前記作業装置の駆動部の移動量や回転量を検出するセンサとしてのレーザ距離計、エンコーダ、ポテンショメータ、傾斜計、地磁気センサ、ジャイロセンサ、対象物との相互作用を検出するセンサとしてのカメラ、超音波距離計、レーザ距離計、力・トルクセンサ、温度計、感圧センサ、駆動部の動作を検出するセンサとしての電流センサ、作業環境の変化を検出するセンサとして圧力計、漏水検知器、温度計、放射線量計の少なくともいずれか１つを備えることを特徴とする自律作業制御システム。 The autonomous work control system according to any one of claims 1 to 3 .
The sensor is a laser distance meter, an encoder, a potentiometer, an inclinometer, a geomagnetic sensor, a gyro sensor, or a sensor for detecting interaction with an object as a sensor for detecting the amount of movement or rotation of the drive unit of the work device. cameras, ultrasonic distance meter, the laser distance meter, the force-torque sensor, a thermometer, pressure sensor, a current sensor as a sensor for detecting the operation of the drive unit, the pressure gauge as a sensor for detecting a change in the working environment, leakage An autonomous work control system characterized by including at least one of a detector, a thermometer, and a radiation meter.
前記装置動作変更部が前記作業装置の動作指示と前記作業状態推定部と前記装置状態推定部の結果から、第１の作業装置での作業遂行が不可であり動作指示を変更すると判断した場合に、前記装置動作生成部は、他の作業装置へ連携要請を発信する機能を備え、連携する第２の作業装置を選択するための指標として装置性能、時間的制約条件、空間的制約条件を基に連携する第２の作業装置の候補を決定して連携動作を新たな目標動作として生成することを特徴とする自律作業制御システム。 The autonomous work control system according to any one of claims 1 to 4 .
From operation instruction and the working state estimation portion of the device state estimation unit result of the device operation changing unit is the working device, it is determined that the work performed in the first work device to change the operation instruction Ri impossible der In this case, the device operation generation unit has a function of transmitting a cooperation request to another work device, and as an index for selecting a second work device to be linked, device performance, time constraint condition, and spatial constraint condition. An autonomous work control system characterized in that a candidate for a second work device to be linked is determined based on the above and a linked motion is generated as a new target motion .
前記作業装置に搭載したセンサの情報から当該作業装置の動作状態と作業状態を推定し、前記作業装置の動作指示と推定した前記作業装置の動作状態と作業状態から各作業装置の動作指示を変更するか否かを判断し、動作指示の変更有無の判断結果を反映して目標動作を生成し、目標動作に従い各作業装置の駆動部を制御するための制御目標値を得るとともに、
前記作業装置の動作指示と推定した前記作業装置の動作状態と作業状態とを比較して第１の作業装置における第１の目標動作の作業遂行が不可であるときに動作指示を変更することを判断し、動作指示を変更することを判断した時に、第２の作業装置が実行している第２の目標動作を中断し、前記第１の作業装置における前記第１の目標動作の実行継続を支援する第３の目標動作を生成して第２の作業装置に与え、
第２の作業装置による第３の目標動作による支援により、前記第１の作業装置における前記第１の目標動作が完了したことをもって、第２の作業装置は中断していた第２の目標動作に復帰することを特徴とする自律作業制御方法。 It is an autonomous work control method that controls autonomous work by multiple work devices.
The operation state and work state of the work device are estimated from the information of the sensor mounted on the work device, and the operation instruction of each work device is changed from the operation state and work state of the work device estimated as the operation instruction of the work device. It is determined whether or not to perform the operation, the target operation is generated by reflecting the judgment result of whether or not the operation instruction is changed , and the control target value for controlling the drive unit of each work device according to the target operation is obtained.
It is possible to compare the operation instruction of the work device with the estimated operation state of the work device and the work state, and change the operation instruction when the work execution of the first target operation in the first work device is impossible. When it is determined and it is determined to change the operation instruction , the second target operation being executed by the second working device is interrupted, and the execution of the first target operation in the first working device is continued. Generate a third target motion to assist and give it to the second working device,
With the support of the third target operation by the second working device, the completion of the first target operation in the first working device causes the second working device to change to the interrupted second target operation. An autonomous work control method characterized by returning.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016103270A JP6758915B2 (en) | 2016-05-24 | 2016-05-24 | Autonomous work control system and autonomous work control method |
| PCT/JP2017/017544 WO2017203971A1 (en) | 2016-05-24 | 2017-05-09 | Autonomous work control system and autonomous work control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016103270A JP6758915B2 (en) | 2016-05-24 | 2016-05-24 | Autonomous work control system and autonomous work control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017211750A JP2017211750A (en) | 2017-11-30 |
| JP6758915B2 true JP6758915B2 (en) | 2020-09-23 |
Family
ID=60412340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016103270A Active JP6758915B2 (en) | 2016-05-24 | 2016-05-24 | Autonomous work control system and autonomous work control method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6758915B2 (en) |
| WO (1) | WO2017203971A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3872740B1 (en) * | 2018-12-27 | 2024-02-28 | Honda Motor Co., Ltd. | Assistance device and assistance method |
| US20220402129A1 (en) * | 2019-11-18 | 2022-12-22 | Nec Corporation | Transport control device, transport control method, and recording medium on which transport control program is recorded |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003291083A (en) * | 2002-03-28 | 2003-10-14 | Toshiba Corp | Robot device, robot controlling method, and robot delivery system |
| TWI333178B (en) * | 2007-07-13 | 2010-11-11 | Ind Tech Res Inst | Method for coordinating cooperative robots |
| JP5282457B2 (en) * | 2008-06-23 | 2013-09-04 | 富士通株式会社 | Rescue robot system, rescue method, and rescue robot |
-
2016
- 2016-05-24 JP JP2016103270A patent/JP6758915B2/en active Active
-
2017
- 2017-05-09 WO PCT/JP2017/017544 patent/WO2017203971A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017203971A1 (en) | 2017-11-30 |
| JP2017211750A (en) | 2017-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102239454B (en) | Method and device for inputting commands into a control of a manipulator | |
| US9073211B2 (en) | Control system and teaching method for seven-axis articulated robot | |
| US10759051B2 (en) | Architecture and methods for robotic mobile manipulation system | |
| JP7068059B2 (en) | Remote control method and remote control system | |
| CN112203812B (en) | Robot system and additional learning method | |
| US11141861B2 (en) | Method for operating a robot and robotic arm | |
| WO2014074781A2 (en) | Hybrid gesture control haptic system | |
| Annem et al. | Towards remote teleoperation of a semi-autonomous mobile manipulator system in machine tending tasks | |
| US11154985B1 (en) | Null space jog control for robotic arm | |
| JP6959762B2 (en) | Remote control robot system | |
| JP6758915B2 (en) | Autonomous work control system and autonomous work control method | |
| KR20240093690A (en) | Nonlinear trajectory optimization for robotic devices | |
| JP7179971B2 (en) | Control device, robotic device, method, computer program and machine-readable storage medium for robotic device | |
| CN112894827B (en) | Method, system and device for controlling motion of mechanical arm and readable storage medium | |
| JP2016159406A (en) | Robot control device, robot control method and robot system | |
| Korayem et al. | Trajectory planning of mobile manipulators using dynamic programming approach | |
| JP2011224745A (en) | Robot teaching device and controller for the same, and program | |
| JP2019512785A (en) | System and method for spatially moving an object using a manipulator | |
| JPH01289684A (en) | Autonomous approach control device of robot | |
| KR101321984B1 (en) | Path error compensation method for valve operating based on cooperation between robots and system thereof | |
| Jin et al. | Collaborative operation of robotic manipulators with human intent prediction and shared control | |
| KR20160066259A (en) | High-payload supporting driving robot adopting contactless driver motion detecting system | |
| JP7500191B2 (en) | ROBOT SYSTEM, TRANSPORTATION VEHICLE, METHOD FOR CONTROLLING ROBOT SYSTEM, METHOD FOR MANUFACTURING ARTICLE, CONTROL PROGRAM, AND RECORDING MEDIUM | |
| JP2013052475A (en) | Robot system | |
| WO2022244127A1 (en) | Robot system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6758915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |