JP2013205131A - Three-dimensional track generating device and method, and program - Google Patents

Three-dimensional track generating device and method, and program Download PDF

Info

Publication number
JP2013205131A
JP2013205131A JP2012072702A JP2012072702A JP2013205131A JP 2013205131 A JP2013205131 A JP 2013205131A JP 2012072702 A JP2012072702 A JP 2012072702A JP 2012072702 A JP2012072702 A JP 2012072702A JP 2013205131 A JP2013205131 A JP 2013205131A
Authority
JP
Japan
Prior art keywords
trajectory
target surface
dimensional
temporary
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012072702A
Other languages
Japanese (ja)
Inventor
Akira Yamada
亮 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Screen Manufacturing Co Ltd filed Critical Dainippon Screen Manufacturing Co Ltd
Priority to JP2012072702A priority Critical patent/JP2013205131A/en
Publication of JP2013205131A publication Critical patent/JP2013205131A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a three-dimensional track generating device and method, and a program for generating an appropriate three-dimensional track by taking into consideration an actual surface shape of an object surface.SOLUTION: A three-dimensional track generating device includes: a provisional track generating section 5 which generates a provisional track 20T for moving a moving object on an object surface 10 expressed by a measurement point group 10A; a search area setting section 6 for setting search areas 30 at specified intervals in a track direction of the provisional track 20T; a maximum height point searching section 12 for searching for a maximum height point from the measurement point group 10A under each search area 30; and a real track generating section 7 for generating a real track 20S by correcting the provisional track 20T on the basis of the found maximum height points.

Description

本発明は、対象となる面上を移動体が移動する基準となる３次元軌道を生成する３次元軌道生成装置および３次元軌道生成方法、ならびに３次元軌道生成プログラムに関するものである。   The present invention relates to a three-dimensional trajectory generation apparatus, a three-dimensional trajectory generation method, and a three-dimensional trajectory generation program that generate a reference three-dimensional trajectory on which a moving body moves on a target surface.

例えばロボットがそのアームによって対象となる面（対象面）に対し所定の作業、例えば車両の外装に対し塗装作業を行う場合、ロボットは、車両の外装を構成するいくつかの表面に沿って塗装を行うために、当該表面上をロボットのアームが移動する３次元軌道を認識する必要がある。   For example, when a robot performs a predetermined operation on a target surface (target surface) by its arm, for example, a painting operation on the exterior of a vehicle, the robot paints along several surfaces constituting the exterior of the vehicle. In order to do so, it is necessary to recognize the three-dimensional trajectory on which the robot arm moves.

この３次元軌道は、対象面の３次元位置および姿勢が認識されることで、認識した対象面の法線方向の一定距離離れた３次元位置に生成される（特許文献１参照）。   The three-dimensional trajectory is generated at a three-dimensional position separated by a certain distance in the normal direction of the recognized target surface by recognizing the three-dimensional position and orientation of the target surface (see Patent Document 1).

ここで、ある対象の３次元位置および姿勢は、その対象の空間位置および空間姿勢を含む３次元座標値の組によって定義される。３次元座標値の組とは、具体的には、各点が３次元位置情報を有しその対象の３次元形状を示す点群データから構成される。   Here, the three-dimensional position and orientation of a target are defined by a set of three-dimensional coordinate values including the spatial position and spatial orientation of the target. Specifically, the set of three-dimensional coordinate values includes point group data in which each point has three-dimensional position information and indicates the three-dimensional shape of the target.

特開平７−３１４３５９号公報JP 7-314359 A

従来、対象面の３次元軌道が生成される場合には、例えば対象面を有する対象物の３次元モデル上に規定されたモデル点群から対象面が抽出され、抽出された対象面上に３次元軌道が生成されていた。そのため、モデル点群には示されない対象面表面の凹凸、および、対象面の個体差が考慮されず、実際に移動体（ロボットのアーム等）が当該３次元軌道を移動すると、対象面上の突起等に移動体が衝突するという問題があった。   Conventionally, when a three-dimensional trajectory of a target surface is generated, for example, the target surface is extracted from a model point group defined on a three-dimensional model of an object having the target surface, and 3 on the extracted target surface. A dimensional trajectory was generated. Therefore, the unevenness of the surface of the target surface that is not shown in the model point group and the individual difference of the target surface are not considered, and when the mobile body (such as a robot arm) actually moves along the three-dimensional trajectory, There was a problem that a moving body collided with a protrusion or the like.

本発明は、上記のような問題を解決するためになされたものであり、対象面の実際の表面形状を考慮し、適切な３次元軌道を生成することができる３次元軌道生成装置および３次元軌道生成方法、ならびに３次元軌道生成プログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and takes into consideration the actual surface shape of the target surface, and a three-dimensional trajectory generation apparatus and a three-dimensional trajectory that can generate an appropriate three-dimensional trajectory. It is an object to provide a trajectory generation method and a three-dimensional trajectory generation program.

本発明の第１態様に関する３次元軌道生成装置は、対象面の３次元計測によって得られた、各点が前記対象面の３次元位置情報を示す計測点群を取得する点群取得部と、取得した前記計測点群によって表現される前記対象面上に、移動体が移動するための仮軌道を生成する仮軌道生成部と、前記仮軌道の軌道方向に、特定間隔で探索領域を設定する探索領域設定部と、各前記探索領域下の前記計測点群のうち、前記対象面の法線方向成分が最も大きい最大高点をそれぞれ探索する最大高点探索部と、探索した各前記最大高点に基づいて前記仮軌道を修正することによって、前記移動体が移動する基準となる本軌道を生成する本軌道生成部とを備えることを特徴とする。   The three-dimensional trajectory generation device according to the first aspect of the present invention includes a point group acquisition unit that acquires a measurement point group in which each point indicates three-dimensional position information of the target surface, obtained by three-dimensional measurement of the target surface; A temporary trajectory generating unit that generates a temporary trajectory for a moving body to move on the target surface represented by the acquired measurement point group, and a search area at a specific interval in the trajectory direction of the temporary trajectory A search area setting section; a maximum high point search section for searching for a maximum high point having the largest normal direction component of the target surface in the measurement point group under each search area; and each maximum height searched for And a main trajectory generation unit that generates a main trajectory that serves as a reference for the moving body to move by correcting the temporary trajectory based on a point.

本発明の第２態様に関する３次元軌道生成装置は、第１態様に関する３次元軌道生成装置の一態様である。本発明の第２態様に関する３次元軌道生成装置は、各前記探索領域の範囲が、前記移動体の特定部分が前記対象面上に仮想的に投影された範囲に基づいて設定されることを特徴とする。   The three-dimensional trajectory generation device relating to the second aspect of the present invention is one aspect of the three-dimensional trajectory generation device relating to the first aspect. In the three-dimensional trajectory generation device according to the second aspect of the present invention, the range of each search region is set based on a range in which a specific portion of the moving body is virtually projected on the target surface. And

本発明の第３態様に関する３次元軌道生成装置は、第１態様に関する３次元軌道生成装置の一態様である。本発明の第３態様に関する３次元軌道生成装置は、前記本軌道生成部が、前記特定間隔より広い広域範囲内で連続する各前記最大高点のうち前記法線方向成分が最大である代表最大高点を特定し、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成することを特徴とする。   The three-dimensional trajectory generation device relating to the third aspect of the present invention is one aspect of the three-dimensional trajectory generation device relating to the first aspect. In the three-dimensional trajectory generation device according to the third aspect of the present invention, the main trajectory generation unit has a maximum representative normal direction component among the maximum high points that are continuous within a wide range wider than the specific interval. The main trajectory is generated by specifying a high point and correcting the provisional trajectory by unifying the normal direction component of the representative maximum high point within the wide area.

本発明の第４態様に関する３次元軌道生成装置は、第１態様に関する３次元軌道生成装置の一態様である。本発明の第４態様に関する３次元軌道生成装置は、前記広域範囲内で連続する各前記最大高点の前記法線方向成分の変動幅が所定範囲内である場合、前記本軌道生成部が、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成することを特徴とする。   The three-dimensional trajectory generation device relating to the fourth aspect of the present invention is one aspect of the three-dimensional trajectory generation device relating to the first aspect. In the three-dimensional trajectory generation device according to the fourth aspect of the present invention, when the fluctuation range of the normal direction component of each of the maximum high points that are continuous in the wide area is within a predetermined range, the main trajectory generation unit Within the wide area, the main trajectory is generated by correcting the temporary trajectory in the normal direction component of the representative maximum height point.

本発明の第５態様に関する３次元軌道生成装置は、第１態様に関する３次元軌道生成装置の一態様である。本発明の第５態様に関する３次元軌道生成装置は、前記広域範囲の長さが可変であることを特徴とする。   The three-dimensional trajectory generation device relating to the fifth aspect of the present invention is one aspect of the three-dimensional trajectory generation device relating to the first aspect. The three-dimensional trajectory generation apparatus according to the fifth aspect of the present invention is characterized in that the length of the wide area is variable.

本発明の第６態様に関する３次元軌道生成方法は、（ａ）対象面の３次元計測によって得られた、各点が前記対象面の３次元位置情報を示す計測点群を取得する工程と、（ｂ）取得した前記計測点群によって表現される前記対象面上に、移動体が移動するための仮軌道を生成する工程と、（ｃ）前記仮軌道の軌道方向に、特定間隔で探索領域を設定する工程と、（ｄ）各前記探索領域下の前記計測点群のうち、前記対象面の法線方向成分が最も大きい最大高点をそれぞれ探索する工程と、（ｅ）探索した各前記最大高点に基づいて前記仮軌道を修正することによって、前記移動体が移動する基準となる本軌道を生成する工程とを備えることを特徴とする。   The three-dimensional trajectory generation method according to the sixth aspect of the present invention includes: (a) obtaining a measurement point group obtained by three-dimensional measurement of the target surface, each point indicating the three-dimensional position information of the target surface; (B) a step of generating a temporary trajectory for a moving body to move on the target plane represented by the acquired measurement point group; and (c) a search area at a specific interval in the trajectory direction of the temporary trajectory. And (d) searching for the maximum high point having the largest normal direction component of the target surface from among the measurement point group under each of the search areas, and (e) searching for each of the searched points And a step of generating a main trajectory that serves as a reference for the moving body to move by correcting the temporary trajectory based on a maximum height point.

本発明の第７態様に関する３次元軌道生成方法は、第６態様に関する３次元軌道生成方法の一態様である。本発明の第７態様に関する３次元軌道生成方法は、各前記探索領域の範囲が、前記移動体の特定部分が前記対象面上に仮想的に投影された範囲に基づいて設定されることを特徴とする。   The three-dimensional trajectory generation method according to the seventh aspect of the present invention is an aspect of the three-dimensional trajectory generation method according to the sixth aspect. In the three-dimensional trajectory generation method according to the seventh aspect of the present invention, the range of each search region is set based on a range in which a specific portion of the moving object is virtually projected on the target surface. And

本発明の第８態様に関する３次元軌道生成方法は、第６態様に関する３次元軌道生成方法の一態様である。本発明の第８態様に関する３次元軌道生成方法は、前記工程（ｃ）が、前記特定間隔より広い広域範囲内で連続する各前記最大高点のうち前記法線方向成分が最大である代表最大高点を特定し、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成する工程であることを特徴とする。   The three-dimensional trajectory generation method according to the eighth aspect of the present invention is an aspect of the three-dimensional trajectory generation method according to the sixth aspect. In the three-dimensional trajectory generation method according to the eighth aspect of the present invention, the step (c) is a representative maximum in which the normal direction component is the maximum among the maximum high points that continue in a wide range wider than the specific interval. It is a step of generating the main trajectory by specifying a high point and correcting the provisional trajectory by unifying the normal direction component of the representative maximum high point within the wide area.

本発明の第９態様に関する３次元軌道生成方法は、第６態様に関する３次元軌道生成方法の一態様である。本発明の第９態様に関する３次元軌道生成方法は、前記工程（ｃ）が、前記広域範囲内で連続する各前記最大高点の前記法線方向成分の変動幅が所定範囲内である場合、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成することを特徴とする。   The three-dimensional trajectory generation method according to the ninth aspect of the present invention is an aspect of the three-dimensional trajectory generation method according to the sixth aspect. In the three-dimensional trajectory generation method according to the ninth aspect of the present invention, in the step (c), when the fluctuation range of the normal direction component at each of the maximum high points continuous in the wide area is within a predetermined range, Within the wide area, the main trajectory is generated by correcting the temporary trajectory in the normal direction component of the representative maximum height point.

本発明の第１０態様に関する３次元軌道生成方法は、第６態様に関する３次元軌道生成方法の一態様である。本発明の第１０態様に関する３次元軌道生成方法は、前記広域範囲の長さが可変であることを特徴とする。   The three-dimensional trajectory generation method according to the tenth aspect of the present invention is an aspect of the three-dimensional trajectory generation method according to the sixth aspect. The three-dimensional trajectory generation method according to the tenth aspect of the present invention is characterized in that the length of the wide area is variable.

本発明の第１１態様に関する３次元軌道生成プログラムは、コンピュータにインストールされて実行されることにより、前記コンピュータを、上記の３次元軌道生成装置として機能させることを特徴とする。   A three-dimensional trajectory generation program according to the eleventh aspect of the present invention is installed in a computer and executed, thereby causing the computer to function as the three-dimensional trajectory generation device.

本発明の第１〜第１１態様によれば、探索領域ごとに対象面の実際の表面形状を考慮した３次元軌道である本軌道を生成できる。移動体をこの本軌道に従って移動させることで、対象面上の突起等に移動体が衝突することを抑制することができる。   According to the first to eleventh aspects of the present invention, it is possible to generate a main trajectory that is a three-dimensional trajectory in consideration of the actual surface shape of the target surface for each search region. By moving the moving body according to the main track, it is possible to prevent the moving body from colliding with a protrusion or the like on the target surface.

特に本発明の第２態様に関する３次元軌道生成装置によれば、探索領域によって規定される計測点群の探索範囲を、移動体の特定部分が対象面上に仮想的に投影された範囲に対応させることで、移動体の大きさが異なる作業を行う場合であっても、移動体と対象面の表面との衝突を効果的に抑制することができる。   In particular, according to the three-dimensional trajectory generation device relating to the second aspect of the present invention, the search range of the measurement point group defined by the search region corresponds to the range in which the specific part of the moving object is virtually projected on the target surface. By doing so, it is possible to effectively suppress the collision between the moving body and the surface of the target surface even when the work having a different size of the moving body is performed.

特に本発明の第３態様に関する３次元軌道生成装置によれば、簡略化された３次元軌道である本軌道が生成され、本軌道に従って移動される移動体の操作が容易となる。   In particular, according to the three-dimensional trajectory generating apparatus relating to the third aspect of the present invention, the main trajectory, which is a simplified three-dimensional trajectory, is generated, and the operation of the moving object moved along the main trajectory becomes easy.

本発明の実施形態に関する３次元軌道生成装置の構成を概念的に示す図である。It is a figure which shows notionally the structure of the three-dimensional trajectory generation apparatus regarding embodiment of this invention. 本発明の実施形態に関する３次元軌道生成装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the three-dimensional trajectory generation apparatus regarding embodiment of this invention. 本発明の実施形態に関する３次元軌道生成装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the three-dimensional trajectory generation apparatus regarding embodiment of this invention. 計測点群の移動を示す図である。It is a figure which shows the movement of a measurement point group. 計測点群によって表現される対象面上に仮軌道が生成された様子を示す図である。It is a figure which shows a mode that the temporary orbit was produced | generated on the target surface expressed by the measurement point group. 仮軌道をローカル座標のｚ軸上方から見た図である。It is the figure which looked at the temporary orbit from the z-axis upper part of local coordinates. 探索領域の設定の例を示す図である。It is a figure which shows the example of the setting of a search area | region. 計測点群によって表現される対象面の断面図を模式的に示した図である。It is the figure which showed typically sectional drawing of the target surface expressed with a measurement point group. 計測点群によって表現される対象面の断面方向から見た、本軌道を示す図である。It is a figure which shows this track | orbit seen from the cross-sectional direction of the target surface represented by the measurement point group. 計測点群によって表現される対象面の断面方向から見た本軌道を示す図である。It is a figure which shows this track | orbit seen from the cross-sectional direction of the target surface represented by the measurement point group.

以下、添付の図面を参照しながら、本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

＜実施形態＞
＜構成＞
図１は、本発明の本実施形態に関する３次元軌道生成装置１００の構成を概念的に示す図である。この３次元軌道生成装置１００は、後述するコンピュータ１３（図２）によって機能的に実現される。 <Embodiment>
<Configuration>
FIG. 1 is a diagram conceptually showing the configuration of a three-dimensional trajectory generation device 100 according to this embodiment of the present invention. This three-dimensional trajectory generation device 100 is functionally realized by a computer 13 (FIG. 2) described later.

図１に示されるように３次元軌道生成装置１００は、対象面１０を撮像する撮像部２と、対象面１０の計測点群を生成する点群生成部３と、対象面１０の計測点群を取得する点群取得部４と、計測点群によって表現される対象面１０上に、仮軌道を生成する仮軌道生成部５と、仮軌道において、探索領域を設定する探索領域設定部６と、探索領域下の計測点群のうち、対象面１０の法線方向成分が最も大きい最大高点をそれぞれ探索する最大高点探索部１２と、最大高点に基づいて仮軌道を修正することによって、本軌道を生成する本軌道生成部７とを備える。   As illustrated in FIG. 1, the three-dimensional trajectory generation device 100 includes an imaging unit 2 that images the target surface 10, a point group generation unit 3 that generates a measurement point group on the target surface 10, and a measurement point group on the target surface 10. , A temporary trajectory generation unit 5 that generates a temporary trajectory on the target surface 10 represented by the measurement point group, and a search region setting unit 6 that sets a search region in the temporary trajectory By correcting the temporary trajectory based on the maximum high point search unit 12 for searching for the maximum high point having the largest normal direction component of the target surface 10 in the measurement point group under the search region, respectively. And a main trajectory generation unit 7 for generating the main trajectory.

撮像部２は、対象面１０の計測点群を生成するために対象面１０を撮像する機能部である。ここで計測点群とは、対象物を実測することによって得られる点群データである。   The imaging unit 2 is a functional unit that images the target surface 10 in order to generate a measurement point group of the target surface 10. Here, the measurement point cloud is point cloud data obtained by actually measuring an object.

撮像部２は、例えば対象面１０を撮像して対象面１０の視差画像を取得するステレオカメラによって実現されるが、対象面１０を撮像して対象面１０の３次元位置情報を直接的に取得するＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）カメラによって実現されてもよい。ここでＴＯＦカメラは、カメラに備えられた光源から出た光が対象物で反射しカメラに備えられたセンサに届くまでの光の飛行時間（遅れ時間）と、光の速度（３×１０8ｍ／ｓ）とを用いて、対象物（被写体）までの距離を取得することができるカメラである。なお、対象面１０の計測点群があらかじめ生成されている場合（あらかじめ外部の記憶装置１１に記憶されている等）には、撮像部２は備えられなくてもよい。 The imaging unit 2 is realized by, for example, a stereo camera that captures the target surface 10 and acquires a parallax image of the target surface 10, but directly captures the three-dimensional position information of the target surface 10 by capturing the target surface 10. It may be realized by a TOF (Time-of-Flight) camera. Here, in the TOF camera, the light flight time (delay time) until the light emitted from the light source provided in the camera is reflected by the object and reaches the sensor provided in the camera, and the speed of light (3 × 10 8). m / s) is a camera that can acquire the distance to the object (subject). Note that when the measurement point group of the target surface 10 is generated in advance (eg, stored in the external storage device 11 in advance), the imaging unit 2 may not be provided.

点群生成部３は、例えばステレオカメラによって撮像された対象面１０の視差画像から、各点が３次元位置情報を有し、対象面１０の３次元形状を示す点群データ（計測点群）を生成する機能部である。なお、計測点群があらかじめ生成されている場合（ＴＯＦカメラによって対象面１０の３次元位置情報が直接的に取得される場合を含む）には、点群生成部３は備えられなくてもよい。   The point group generation unit 3 has, for example, point group data (measurement point group) indicating the three-dimensional shape of the target surface 10 from the parallax image of the target surface 10 captured by a stereo camera. Is a functional unit that generates Note that when the measurement point group is generated in advance (including the case where the three-dimensional position information of the target surface 10 is directly acquired by the TOF camera), the point group generation unit 3 may not be provided. .

点群取得部４は、点群生成部３において生成された、もしくは、あらかじめ生成された対象面１０の計測点群を取得する機能部である。   The point cloud acquisition unit 4 is a functional unit that acquires the measurement point cloud of the target surface 10 generated by the point cloud generation unit 3 or generated in advance.

仮軌道生成部５は、計測点群によって表現される対象面１０上を、移動体が移動するための仮軌道を生成する機能部である。ここで仮軌道とは、対象面１０上に生成される２次元の軌道であって、移動体が実際に移動する３次元軌道の基準である本軌道の基礎となる軌道である。   The temporary trajectory generation unit 5 is a functional unit that generates a temporary trajectory for the moving body to move on the target surface 10 expressed by the measurement point group. Here, the provisional trajectory is a two-dimensional trajectory generated on the target surface 10 and is a trajectory serving as a basis for the main trajectory, which is a reference for the three-dimensional trajectory on which the moving body actually moves.

探索領域設定部６は、仮軌道の軌道方向（移動体が移動する方向）に、特定間隔で探索領域を設定する機能部である。ここで探索領域とは、対象面１０上に設定される領域である。探索領域が設定された部分の対象面１０を示す、探索領域下の計測点群は、探索対象となる計測点群である。   The search area setting unit 6 is a functional unit that sets search areas at specific intervals in the trajectory direction of the temporary trajectory (the direction in which the moving body moves). Here, the search area is an area set on the target surface 10. A measurement point group below the search area, which indicates the target surface 10 of the portion where the search area is set, is a measurement point group to be searched.

最大高点探索部１２は、探索領域下の計測点群のうち、対象面１０の法線方向成分が最も大きい点である最大高点を、各探索領域について探索する機能部である。   The maximum high point search unit 12 is a functional unit that searches each search region for the maximum high point that is the point having the largest normal direction component of the target surface 10 among the measurement point group under the search region.

本軌道生成部７は、探索した各最大高点に基づいて仮軌道を修正することによって、本軌道を生成する機能部である。   The main trajectory generating unit 7 is a functional unit that generates the main trajectory by correcting the temporary trajectory based on each searched maximum height point.

図２は、３次元軌道生成装置１００のハードウェア構成の一例を示す図である。   FIG. 2 is a diagram illustrating an example of a hardware configuration of the three-dimensional trajectory generation device 100.

図２に示されるように３次元軌道生成装置１００としてのロボット１００Ａは、カメラ２Ａと、コンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３Ａおよび記憶装置を内蔵したコンピュータ１３とを備える。   As shown in FIG. 2, the robot 100A as the three-dimensional trajectory generation device 100 includes a camera 2A, a computer (Central Processing Unit) 13A of a computer, and a computer 13 incorporating a storage device.

またロボット１００Ａは、カメラ２Ａが例えば先端付近に取り付けられたアーム１Ｒと、アーム１Ｌと、アーム１Ｒおよびアーム１Ｌを支える胴体部８とを備える。なお、アームは双腕である必要はなく、一方のみ備えられる場合であってもよい。   The robot 100A includes an arm 1R to which the camera 2A is attached, for example, near the tip, an arm 1L, and a body portion 8 that supports the arm 1R and the arm 1L. Note that the arm need not be a double arm, and only one of the arms may be provided.

カメラ２Ａは、図１に示された撮像部２に対応する。図２に示されるカメラ２Ａはステレオカメラであり、カメラ２Ａによって対象物１における対象面１０の視差画像が取得される。   The camera 2A corresponds to the imaging unit 2 shown in FIG. The camera 2A shown in FIG. 2 is a stereo camera, and a parallax image of the target surface 10 on the object 1 is acquired by the camera 2A.

ＣＰＵ１３Ａは、図１に示された点群生成部３、点群取得部４、仮軌道生成部５、探索領域設定部６、最大高点探索部１２、本軌道生成部７それぞれに対応する。またＣＰＵ１３Ａは、ロボット１００Ａのアーム１Ｒの動作を制御することによって、対象面１０上の本軌道に従って移動体としてのアーム１Ｒを移動させ、所定の作業を行うことを可能とする機能を有している。なお、対象面１０の形状は、図示するような矩形形状に限られるものではない。   The CPU 13A corresponds to each of the point group generation unit 3, the point group acquisition unit 4, the temporary trajectory generation unit 5, the search area setting unit 6, the maximum high point search unit 12, and the main trajectory generation unit 7 shown in FIG. In addition, the CPU 13A has a function that allows the arm 1R as a moving body to move according to the main trajectory on the target surface 10 by controlling the operation of the arm 1R of the robot 100A to perform a predetermined operation. Yes. Note that the shape of the target surface 10 is not limited to a rectangular shape as illustrated.

図２に示されるロボット１００Ａは、生成された本軌道に従ってアーム１Ｒを移動させて塗装作業を行うことを想定して、アーム１Ｒの先端に塗装部９が備えられている。   The robot 100A shown in FIG. 2 is provided with a coating unit 9 at the tip of the arm 1R on the assumption that the arm 1R is moved in accordance with the generated main trajectory to perform the painting operation.

ＣＰＵ１３Ａが備えられるコンピュータ１３は、ロボット１００Ａとの間で有線（図３のＤＬ）または無線を介して通信可能である。   The computer 13 provided with the CPU 13A can communicate with the robot 100A via wire (DL in FIG. 3) or wirelessly.

コンピュータ１３には、ＣＰＵ１３Ａによる演算処理機能やロボットの動作制御機能のほか、記憶デバイス、ディスプレイ、マウス等のマンマシン・インターフェイスが備えられる。そして、このコンピュータ１３において３次元軌道生成装置１００としての機能を実現させるプログラムが、あらかじめインストールされている。   The computer 13 is provided with a man-machine interface such as a storage device, a display, and a mouse, in addition to an arithmetic processing function by the CPU 13A and a robot operation control function. A program for realizing the function as the three-dimensional trajectory generating device 100 in the computer 13 is installed in advance.

＜動作＞
次に、図３〜図１０を参照しつつ、本実施形態に関する３次元軌道生成装置１００の動作について説明する。 <Operation>
Next, the operation of the three-dimensional trajectory generation device 100 according to the present embodiment will be described with reference to FIGS.

まず図３に示されるように、点群取得部４が、対象面１０の計測点群を取得する（ステップＳ１）。ここで対象面１０の計測点群は、撮像部２において取得された視差画像が点群生成部３において処理され、各点の３次元位置情報が抽出されたものであってもよいし、あらかじめ生成された計測点群が点群生成部３または外部の記憶装置１１から取得されたものであってもよい。   First, as shown in FIG. 3, the point cloud acquisition unit 4 acquires a measurement point cloud of the target surface 10 (step S1). Here, the measurement point group on the target surface 10 may be obtained by processing the parallax image acquired in the imaging unit 2 in the point group generation unit 3 and extracting the three-dimensional position information of each point. The generated measurement point group may be acquired from the point group generation unit 3 or the external storage device 11.

次に図３に示されるように、仮軌道生成部５が、計測点群によって表現される対象面１０内に、仮軌道を生成する（ステップＳ２）。ここで、計測点群によって表現される対象面１０は、例えば対象面１０を１つの表面とする対象物全体において占める相対位置関係から、その法線の向きが分かっているものとする。対象面１０が部分的に凹凸を含む場合であっても、対象面１０を、それぞれが平面とみなせるような複数の小領域（面要素）に分割し、それぞれの面要素の法線方向を対象面１０全体で平均することによって、対象面１０全体としての法線方向を決定できる。   Next, as shown in FIG. 3, the temporary trajectory generation unit 5 generates a temporary trajectory in the target surface 10 expressed by the measurement point group (step S <b> 2). Here, it is assumed that the direction of the normal line of the target surface 10 represented by the measurement point group is known from the relative positional relationship that occupies the entire target object having the target surface 10 as one surface. Even if the target surface 10 partially includes unevenness, the target surface 10 is divided into a plurality of small regions (surface elements) that can be regarded as planes, and the normal direction of each surface element is targeted. By averaging the entire surface 10, the normal direction as the entire target surface 10 can be determined.

図４は、対象面１０の計測点群１０Ａの移動を示す図である。なお、図４（ａ）は移動前の計測点群１０Ａを示す図であり、図４（ｂ）は移動後の計測点群１０Ａを示す図である。   FIG. 4 is a diagram illustrating movement of the measurement point group 10 </ b> A on the target surface 10. FIG. 4A is a diagram showing the measurement point group 10A before movement, and FIG. 4B is a diagram showing the measurement point group 10A after movement.

仮軌道生成部５は、処理の簡単のために、対象面１０の法線Ｈが３次元軌道生成装置１００のローカル３次元座標軸と一致するように、対象面１０の計測点群１０Ａを平行および回転移動（アフィン変換）することができる（図４参照）。図４（ｂ）のように計測点群１０Ａを移動させれば、対象面１０の法線Ｈの方向と３次元軌道生成装置１００のローカル３次元座標軸（ｚ軸）とが一致する。   The temporary trajectory generation unit 5 makes the measurement point group 10A of the target surface 10 parallel and parallel so that the normal line H of the target surface 10 coincides with the local three-dimensional coordinate axis of the three-dimensional trajectory generation device 100 for the sake of simplicity of processing. It can be rotated (affine transformation) (see FIG. 4). If the measurement point group 10A is moved as shown in FIG. 4B, the direction of the normal H of the target surface 10 and the local three-dimensional coordinate axis (z-axis) of the three-dimensional trajectory generation device 100 coincide.

図５は、計測点群１０Ａによって表現される対象面１０上に仮軌道２０Ｔが生成された様子を示す図である。   FIG. 5 is a diagram illustrating a state where the temporary trajectory 20T is generated on the target surface 10 expressed by the measurement point group 10A.

仮軌道生成部５は、計測点群１０Ａによって表現される対象面１０上に仮軌道２０Ｔを生成する（図５参照）。仮軌道２０Ｔの形状は、図示するようなジグザグ形状（往復走査形状）に限られるものではなく、例えばロボット１００Ａのアーム１Ｒの先端に保持された塗装部９を移動体として、対象面１０内を塗りつぶすように当該移動体を移動させる軌道形状であればよい。また、この仮軌道２０Ｔはあらかじめ定められたアルゴリズムで自動生成されてもよく、ティーチングによって生成されるものであってもよい。また、対象面１０の全面塗装のような処理だけが本発明の対象ではない。例えば、対象面１０の一部にロボット１００Ａによって線引き処理を行わせるような場合には、仮軌道２０Ｔはそのような線引きすべき経路に沿って生成される。   The temporary trajectory generation unit 5 generates a temporary trajectory 20T on the target surface 10 represented by the measurement point group 10A (see FIG. 5). The shape of the temporary trajectory 20T is not limited to the zigzag shape (reciprocating scan shape) as shown in the figure. Any trajectory shape that moves the moving body so as to be painted may be used. The temporary trajectory 20T may be automatically generated by a predetermined algorithm or may be generated by teaching. Further, only the treatment such as the entire surface of the target surface 10 is not the subject of the present invention. For example, when a part of the target surface 10 is subjected to a drawing process by the robot 100A, the temporary trajectory 20T is generated along such a path to be drawn.

次に図３に示されるように、探索領域設定部６が、仮軌道２０Ｔの軌道方向（移動体が移動する方向）に沿って、特定間隔で探索領域を周期的に設定する（ステップＳ３）。   Next, as shown in FIG. 3, the search area setting unit 6 periodically sets search areas at specific intervals along the trajectory direction of the temporary trajectory 20T (the direction in which the moving body moves) (step S3). .

図６は、仮軌道２０Ｔをローカル座標のｚ軸（つまり対象面１０の法線方向）上方から見た図である。なお、図６（ａ）は、仮軌道２０Ｔにおいて探索領域３０を設定する前の状態を示す図であり、図６（ｂ）は、仮軌道２０Ｔにおいて探索領域３０を設定した後の状態を示す図である。   FIG. 6 is a view of the temporary trajectory 20T viewed from above the z-axis (that is, the normal direction of the target surface 10) of the local coordinates. 6A is a diagram showing a state before setting the search region 30 in the temporary trajectory 20T, and FIG. 6B shows a state after setting the search region 30 in the temporary trajectory 20T. FIG.

探索領域設定部６は、仮軌道２０Ｔにおいて、特定間隔ΔＰをあけて探索領域３０を周期的に設定する（図６（ｂ）参照）。探索領域３０を設定する間隔を「探索間隔」とする。探索間隔ΔＰは、図６（ｂ）に示されるような一定間隔に限られない。例えば、設定された探索領域３０について後述する探索を既に行っており、対象面１０の表面形状の概要があらかじめ分かっている場合には、探索領域設定部６は、対象面１０の表面形状の探索結果に基づいて重点的に探索する箇所、すなわち探索領域３０を比較的狭い間隔で設定する箇所を存在させてもよい。つまり、探索間隔ΔＰを場所によって可変とすることができる。   The search area setting unit 6 periodically sets the search area 30 with a specific interval ΔP in the temporary trajectory 20T (see FIG. 6B). The interval for setting the search area 30 is referred to as “search interval”. The search interval ΔP is not limited to a fixed interval as shown in FIG. For example, when the search described later is already performed for the set search region 30 and the outline of the surface shape of the target surface 10 is known in advance, the search region setting unit 6 searches for the surface shape of the target surface 10. There may be places where search is focused based on the results, that is, places where the search area 30 is set at a relatively narrow interval. That is, the search interval ΔP can be made variable depending on the location.

具体的に、対象面１０が、起伏が比較的多い領域（凹凸領域）と、起伏が比較的少ない領域（平坦領域）とを有していることがあらかじめ分かっている場合には、仮軌道のうち凹凸領域を通る区間では探索間隔ΔＰを比較的狭く設定し、仮軌道のうち平坦領域を通る区間では探索間隔ΔＰを比較的広く設定することが好ましい。探索領域３０を設定する探索間隔ΔＰが狭いほど対象面１０の表面形状の把握精度は高まるが、その分演算量が多くなるため、探索間隔ΔＰを場所によって可変とすることによって、後に設定される本軌道の設定精度の向上と、本軌道生成のための演算量の過剰増大の防止とを両立させることができる。   Specifically, when it is known in advance that the target surface 10 has a region with a relatively high undulation (uneven region) and a region with a relatively low undulation (flat region), Of these, it is preferable that the search interval ΔP is set to be relatively narrow in the section passing through the uneven region, and the search interval ΔP is set to be relatively wide in the section passing through the flat region in the temporary trajectory. As the search interval ΔP for setting the search area 30 is narrower, the accuracy of grasping the surface shape of the target surface 10 increases. However, since the amount of calculation increases correspondingly, the search interval ΔP is set later by making it variable depending on the location. It is possible to achieve both improvement in setting accuracy of the main trajectory and prevention of an excessive increase in the amount of calculation for generating the main trajectory.

また、探索領域設定部６によって設定される各探索領域３０の対象面１０上の範囲は図示する場合に限られず、また各探索領域３０間でその範囲のサイズが統一されている必要もない。例えば仮軌道の軌道方向だけでなく、軌道方向（移動体が移動する方向）と直交する方向にも広がった幅を持つような範囲を有する探索領域が設定されてもよい。   Further, the range on the target surface 10 of each search area 30 set by the search area setting unit 6 is not limited to the illustrated case, and the size of the range does not need to be unified among the search areas 30. For example, not only the trajectory direction of the provisional trajectory but also a search area having a range having a width that extends in the direction orthogonal to the trajectory direction (the direction in which the moving body moves) may be set.

探索領域３０は、移動体（図２でいう、塗装部９が取り付けられたアーム１Ｒ）の対象面１０上に占める範囲（つまり対象面１０への仮想的な投影範囲）に対応させて、その範囲が決められていることが望ましい。すなわち、対象面１０上での探索領域３０の輪郭が、移動体の外形に対応していることが望ましい。   The search region 30 corresponds to a range (that is, a virtual projection range on the target surface 10) occupied on the target surface 10 of the moving body (the arm 1R to which the painting unit 9 is attached in FIG. 2). It is desirable that the range is determined. That is, it is desirable that the contour of the search area 30 on the target surface 10 corresponds to the contour of the moving object.

図７は、探索領域３０の設定の例を示す図である。   FIG. 7 is a diagram illustrating an example of setting the search area 30.

図７に示されるように、仮軌道２０Ｔに沿って移動体を移動させつつ当該移動体の先端側部分６０の影を計測点群１０Ａによって表現される対象面１０に仮想的に投影した場合に、対象面１０上で移動体の先端側部分６０の影が通る領域６１（典型的には帯状の軌跡領域）に対応した幅（軌道方向とは直交する方向の幅）で探索領域３０を設定することが望ましい。図６の例でも、仮軌道２０Ｔの両側に幅を持たせた探索領域３０が設定されることが好ましい。   As shown in FIG. 7, when the moving body is moved along the temporary trajectory 20T and the shadow of the tip side portion 60 of the moving body is virtually projected onto the target surface 10 represented by the measurement point group 10A. The search area 30 is set with a width (width in a direction perpendicular to the trajectory direction) corresponding to an area 61 (typically a belt-like trajectory area) through which the shadow of the distal end portion 60 of the moving body passes on the target surface 10. It is desirable to do. Also in the example of FIG. 6, it is preferable that the search area 30 having a width on both sides of the temporary trajectory 20 </ b> T is set.

このような探索領域３０を設定する場合において、移動体が対象面１０上に仮想的に投影される範囲は、移動体の全体（ロボット１００Ａのアーム１Ｒと塗装部９との全体）を考慮するのではなく、移動体のうち、走査中に対象面１０に比較的近くなる特定部分（図７の例では先端側部分６０）だけを考慮することが好ましい。図２の例でいえば、アーム１Ｒの肩部（図７では点線で概念的に図示）が対象面１０に干渉することはないため、例えばアーム１Ｒの手首よりも先側部分と塗装部９との組み合わせだけを先端側部分６０として扱い、その先端側部分６０が対象面１０のｚ方向（法線Ｈの方向）の上方を移動する際に、その投影した影が走査する範囲のみを探索領域３０とすることが好ましい。   When such a search area 30 is set, the range in which the moving body is virtually projected onto the target surface 10 considers the entire moving body (the entire arm 1R and the coating unit 9 of the robot 100A). Instead, it is preferable to consider only a specific portion of the moving body that is relatively close to the target surface 10 during scanning (the tip side portion 60 in the example of FIG. 7). In the example of FIG. 2, since the shoulder portion of the arm 1 </ b> R (conceptually illustrated by the dotted line in FIG. 7) does not interfere with the target surface 10, for example, the front portion of the arm 1 </ b> R and the coating portion 9. Only the combination of and is treated as the tip side portion 60, and when the tip side portion 60 moves above the target surface 10 in the z direction (direction of the normal H), only the range in which the projected shadow scans is searched. The region 30 is preferable.

また、この３次元軌道生成装置１００では、移動体の先端側部分に含まれるロボットのツール（図２の例では塗装部９）が別のサイズ、あるいは、別の種類のツールに変更された際には、改めてその新たなツールでの投影範囲を演算して求め、それに応じて探索領域３０を可変に設定できる。   Further, in this three-dimensional trajectory generating apparatus 100, when the robot tool (painting portion 9 in the example of FIG. 2) included in the tip side portion of the moving body is changed to another size or another type of tool. In this case, the projection range of the new tool can be calculated again, and the search area 30 can be variably set accordingly.

次に図３に示されるように、最大高点探索部１２が、対象面１０の法線方向を高さ方向とした場合の、各探索領域下の最大高点をそれぞれ探索する（ステップＳ４）。   Next, as shown in FIG. 3, the maximum high point search unit 12 searches for the maximum high point under each search region when the normal direction of the target surface 10 is the height direction (step S4). .

図８は、計測点群１０Ａによって表現される対象面１０の断面図を模式的に示した図である。   FIG. 8 is a diagram schematically showing a cross-sectional view of the target surface 10 expressed by the measurement point group 10A.

例えば図８に示されるような突起がある表面形状の対象面１０を表現する計測点群１０Ａについて、各探索領域における最大高点を探索する場合を説明する。   For example, a case will be described in which the maximum high point in each search region is searched for the measurement point group 10A that expresses the target surface 10 having a surface shape with protrusions as shown in FIG.

探索領域３０Ａにおいては突起４０Ａが突起４０Ｂよりもｚ軸方向に高く形成されているため、探索領域３０Ａにおける最大高点は、突起４０Ａを表現する計測点群１０Ａのうちの上端部を示す点である。   Since the protrusion 40A is formed higher in the z-axis direction than the protrusion 40B in the search area 30A, the maximum high point in the search area 30A is a point indicating the upper end portion of the measurement point group 10A representing the protrusion 40A. is there.

一方探索領域３０Ｂにおいては突起等は形成されていないため、探索領域３０Ｂにおける最大高点は、平面を表現する計測点群１０Ａのうちのいずれかの点である。   On the other hand, since no protrusion or the like is formed in the search region 30B, the maximum high point in the search region 30B is any point in the measurement point group 10A that represents a plane.

次に図３に示されるように、本軌道生成部７が、探索した最大高点に基づいて仮軌道を修正することによって、本軌道を生成する（ステップＳ５）。   Next, as shown in FIG. 3, the main trajectory generation unit 7 generates the main trajectory by correcting the temporary trajectory based on the searched maximum height point (step S5).

図９は、本軌道２０Ｓを計測点群１０Ａによって表現される対象面１０の断面方向から見た図である。本軌道生成部７は、各探索領域における最大高点を結んで仮軌道２０Ｔを修正し、修正した軌道を本軌道２０Ｓとする。   FIG. 9 is a diagram of the main trajectory 20S viewed from the cross-sectional direction of the target surface 10 expressed by the measurement point group 10A. The main trajectory generation unit 7 corrects the temporary trajectory 20T by connecting the maximum high points in each search region, and sets the corrected trajectory as the main trajectory 20S.

ここで、本軌道２０Ｓは、対象面１０の表面形状が反映された３次元軌道であるが、移動体が実際に移動する軌道としては、さらに当該本軌道２０Ｓよりも、対象面１０の法線方向について一定の高さだけ高くした３次元軌道が、補正された本軌道として設定されることが望ましい。すなわち、対象面１０の表面形状だけを反映させた本軌道２０Ｓは、対象面１０の表面に限りなく近い３次元軌道であるので、移動体の移動精度等を考慮して、対象面１０の表面から一定の距離をとっておくように本軌道２０Ｓを修正することが望ましい。   Here, the main trajectory 20S is a three-dimensional trajectory in which the surface shape of the target surface 10 is reflected. As a trajectory on which the moving body actually moves, the normal line of the target surface 10 is more than the main trajectory 20S. It is desirable that a three-dimensional trajectory that is increased by a certain height in the direction is set as the corrected main trajectory. That is, the main trajectory 20S reflecting only the surface shape of the target surface 10 is a three-dimensional trajectory that is as close as possible to the surface of the target surface 10, and therefore the surface of the target surface 10 is considered in consideration of the moving accuracy of the moving object. It is desirable to correct the main track 20S so as to keep a certain distance from.

本軌道２０Ｓを法線方向に移動させる（図９でいうｚ軸方向に上昇させる）際に、本軌道２０Ｓを移動する移動体が対象面１０に対して行う作業の種類に応じて、その移動量を選択することも可能である。   When the main track 20S is moved in the normal direction (raised in the z-axis direction in FIG. 9), the movement of the moving body moving along the main track 20S depends on the type of work performed on the target surface 10. It is also possible to select the amount.

例えば、移動体が対象面１０に対する塗装作業を行う場合であれば、スプレー等を噴射させるのに適切な距離（吹きつけ範囲、および、吹きつけ精度を考慮）だけ対象面１０の表面から離間するように、本軌道２０Ｓを修正してもよい。   For example, if the moving body performs a painting operation on the target surface 10, it is separated from the surface of the target surface 10 by an appropriate distance (in consideration of the spraying range and spraying accuracy) for spraying the spray or the like. As described above, the main track 20S may be modified.

一方、図９の場合とは異なる方法で仮軌道２０Ｔを修正し、修正した軌道を本軌道２０ＳＳとすることも可能である。   On the other hand, the temporary trajectory 20T can be corrected by a method different from the case of FIG. 9, and the corrected trajectory can be used as the main trajectory 20SS.

図１０は、本軌道２０ＳＳを計測点群１０Ａによって表現される対象面１０の断面方向から見た図である。各探索領域における最大高点は、図９に示されたものと同様である。   FIG. 10 is a diagram of the main trajectory 20SS viewed from the cross-sectional direction of the target surface 10 expressed by the measurement point group 10A. The maximum high point in each search area is the same as that shown in FIG.

図１０に示されるように本軌道生成部７は、仮軌道２０Ｔの軌道方向に連続する各最大高点の高さ成分が、探索間隔ΔＰよりも広い範囲（以下「広域範囲ΔＬ」）内において、ｚ方向の所定の変動限界値ΔＤよりも小さい変動幅で変動している場合に、それらのうちの最も高さ成分が大きい代表最大高点に基づいて、それらの最大高点を結ぶ本軌道２０ＳＳを生成する。   As shown in FIG. 10, the trajectory generating unit 7 has a height component of each maximum high point continuous in the trajectory direction of the temporary trajectory 20T within a range (hereinafter referred to as “wide area range ΔL”) wider than the search interval ΔP. , The main trajectory connecting the maximum high points based on the representative maximum high point having the largest height component when the variation is smaller than the predetermined variation limit value ΔD in the z direction. 20SS is generated.

すなわち、探索間隔ΔＰよりも広い広域範囲ΔＬ内で連続する各最大高点のうちで、法線方向成分が最大である代表最大高点を特定し、広域範囲ΔＬ内ではその代表最大高点に応じた高さに統一した軌道を本軌道として生成する。   That is, the representative maximum high point having the maximum normal direction component is identified from among the maximum high points that are continuous within the wide range ΔL that is wider than the search interval ΔP, and the representative maximum high point is determined within the wide range ΔL. A trajectory with a uniform height is generated as the main trajectory.

変動幅が比較的小さい広域範囲ΔＬ内において上記の統一処理を行うことにより、移動体が経路内での細かな方向転換を行うことなく、簡略化された経路をスムーズに移動することができる。例えば図２に示されるようなロボットのアームを移動させる場合、方向転換の度にアームの移動が一時停止し、方向転換が多いほど移動に時間がかかるため、当該統一処理によって移動にかかる時間を短縮することができる。また、変動限界値ΔＤを対象面１０に対して行う作業に応じて設定しておけば、当該作業に影響のない範囲で経路を簡略化でき、作業を高い精度で行いつつ、移動時間も短縮できる。   By performing the above unified processing within the wide range ΔL where the fluctuation range is relatively small, the moving body can smoothly move on the simplified route without performing a fine direction change in the route. For example, when moving the robot arm as shown in FIG. 2, the movement of the arm is paused every time the direction is changed, and the longer the direction change, the longer it takes to move. It can be shortened. In addition, if the variation limit value ΔD is set according to the work to be performed on the target surface 10, the route can be simplified within a range that does not affect the work, and the movement time is shortened while performing the work with high accuracy. it can.

上記の広域範囲ΔＬの大きさも、移動体が対象面１０に対して行う作業の内容によって設定することができる。また、移動体の移動精度によっても可変に設定することができる。さらに、対象面１０の起伏状態などの領域の性質に応じて広域範囲ΔＬを場所ごとに可変とすることもできる。広域範囲ΔＬの設定を適切に行うことによって、当該作業に影響のない範囲で経路を簡略化でき、作業を高い精度で行いつつ、移動時間も短縮できる。   The size of the wide area ΔL can also be set according to the content of the work that the moving body performs on the target surface 10. It can also be set variably depending on the moving accuracy of the moving body. Furthermore, the wide range ΔL can be made variable for each location according to the properties of the region such as the undulation state of the target surface 10. By appropriately setting the wide area ΔL, the route can be simplified within a range that does not affect the work, and the travel time can be shortened while the work is performed with high accuracy.

図１０の場合には、左側の領域で広域範囲ΔＬが比較的長く設定されることによって、左側の４点の最大高点全てが左から２番目の代表最大高点５０Ａの高さで結ばれ、右側の領域で広域範囲ΔＬが比較的短く設定されることによって、右側の３点の最大高点全てが、右から２番目の代表最大高点５０Ｂの高さで結ばれている。中間の傾斜区間では広域範囲ΔＬでの変動幅が変動限界値ΔＤよりも大きいため、広域範囲ΔＬ内での統一処理は不能化される。   In the case of FIG. 10, since the wide area ΔL is set to be relatively long in the left area, all the four maximum high points on the left side are connected by the height of the second representative maximum high point 50A from the left. Since the wide area ΔL is set to be relatively short in the right region, all of the three maximum high points on the right side are connected at the height of the second representative maximum high point 50B from the right. Since the fluctuation range in the wide area ΔL is larger than the fluctuation limit value ΔD in the intermediate slope section, the unified processing in the wide area ΔL is disabled.

具体的には、広域範囲ΔＬに応じた固定または可変の距離サイズを持つデジタル最大値フィルタを使用して広域範囲ΔＬでの各最高点を代表最大値に統一してゆく処理を行う。一方で、探索領域の間隔ΔＰごとの変動を検知するデジタル微分フィルタを使用して、（修正前の）本軌道における各最大高点の高さの変動を求め、それが変動限界値ΔＤを超えている領域では上記の最大値フィルタの機能を不能化させることによって、図１０のような結果が得られる。   Specifically, processing is performed to unify each maximum point in the wide area range ΔL to the representative maximum value using a digital maximum value filter having a fixed or variable distance size corresponding to the wide area range ΔL. On the other hand, using a digital differential filter that detects fluctuations at every search area interval ΔP, the fluctuation of the height of each maximum high point in the trajectory (before correction) is obtained, which exceeds the fluctuation limit value ΔD. By disabling the function of the above-mentioned maximum value filter in the area, the result as shown in FIG. 10 is obtained.

このような本軌道２０ＳＳを生成することで、移動体が本軌道２０ＳＳに従って移動する移動動作を単純化することができ、対象面１０に対して行う作業効率を高めることができる。特にロボットを用いて作業を行う場合には、移動方向の変更の度に作業が中断してしまうことを抑制できる。   By generating such a main track 20SS, the moving operation of the moving body moving along the main track 20SS can be simplified, and the work efficiency performed on the target surface 10 can be increased. In particular, when working using a robot, it is possible to prevent the work from being interrupted each time the moving direction is changed.

なお、本軌道２０ＳＳが生成される場合にも、移動体が実際に移動する軌道としては、さらに当該本軌道２０ＳＳに対象面１０の法線方向成分について一定の高さだけ高くした３次元軌道が設定されることが望ましい。   Even when the main trajectory 20SS is generated, the trajectory on which the mobile body actually moves is a three-dimensional trajectory that is further increased by a certain height with respect to the normal direction component of the target surface 10 in the main trajectory 20SS. It is desirable to set.

また、上記では変動限界値ΔＤよりも大きい区間において統一処理を不能化したが、変動限界値よりも大きい区間に関しても、統一処理を行ってもよい。   In the above description, the unification process is disabled in the section larger than the variation limit value ΔD. However, the unification process may be performed for a section larger than the variation limit value.

＜効果＞
本発明に関する実施形態によれば、３次元軌道生成装置は、計測点群１０Ａによって表現される対象面１０上に、移動体が移動するための仮軌道２０Ｔを生成する仮軌道生成部５と、仮軌道２０Ｔの軌道方向に、特定間隔で探索領域３０を設定する探索領域設定部６と、各探索領域３０下の計測点群１０Ａから最大高点をそれぞれ探索する最大高点探索部１２と、探索した各最大高点に基づいて仮軌道２０Ｔを修正することによって、本軌道２０Ｓを生成する本軌道生成部７とを備える。 <Effect>
According to the embodiment of the present invention, the three-dimensional trajectory generation device includes a temporary trajectory generation unit 5 that generates a temporary trajectory 20T for moving a moving body on the target surface 10 represented by the measurement point group 10A. A search area setting unit 6 that sets search areas 30 at specific intervals in the trajectory direction of the temporary trajectory 20T; a maximum high point search part 12 that searches for a maximum high point from the measurement point group 10A under each search area 30; A main trajectory generation unit 7 that generates the main trajectory 20S by correcting the temporary trajectory 20T based on each searched maximum height point is provided.

このような３次元軌道生成装置によれば、探索領域３０ごとに対象面１０の実際の表面形状を考慮した３次元軌道である本軌道２０Ｓを生成できる。移動体をこの本軌道２０Ｓに従って移動させることで、対象面１０上の突起等に移動体が衝突することを抑制することができる。   According to such a three-dimensional trajectory generation device, the main trajectory 20S, which is a three-dimensional trajectory in consideration of the actual surface shape of the target surface 10, can be generated for each search region 30. By moving the moving body according to the main track 20S, it is possible to prevent the moving body from colliding with a protrusion or the like on the target surface 10.

また、対象面１０の実際の表面形状を考慮した本軌道２０Ｓに従って移動体を移動させることで、対象面１０に対して行う所定の作業が、常に対象面１０の表面から一定の距離から行われることとなり、作業ムラを抑制することができる。   In addition, by moving the moving body according to the main trajectory 20S in consideration of the actual surface shape of the target surface 10, predetermined work performed on the target surface 10 is always performed from a certain distance from the surface of the target surface 10. In other words, work unevenness can be suppressed.

また、本発明に関する実施形態によれば、各探索領域３０の範囲が、移動体の特定部分としての先端側部分６０が対象面１０上に仮想的に投影された範囲に基づいて設定される。   Further, according to the embodiment of the present invention, the range of each search region 30 is set based on the range in which the tip side portion 60 as the specific portion of the moving body is virtually projected on the target surface 10.

このような３次元軌道生成装置によれば、探索領域３０によって規定される計測点群１０Ａの探索範囲を、移動体の先端側部分６０が対象面１０上に仮想的に投影された範囲に対応させることで、移動体の大きさが異なる作業を行う場合であっても、移動体と対象面１０の表面との衝突を効果的に抑制することができる。移動体の外形を考慮して探索範囲を選択することになるため、対象面１０の表面形状に応じて本軌道２０Ｓが迂回する程度を可能な限り抑制することができる。   According to such a three-dimensional trajectory generation device, the search range of the measurement point group 10A defined by the search region 30 corresponds to the range in which the distal end portion 60 of the moving object is virtually projected on the target surface 10. By doing so, it is possible to effectively suppress the collision between the moving body and the surface of the target surface 10 even when performing work with different sizes of the moving body. Since the search range is selected in consideration of the outer shape of the moving body, the degree of detouring the main track 20S according to the surface shape of the target surface 10 can be suppressed as much as possible.

また、本発明に関する実施形態によれば、本軌道生成部７が、探索間隔ΔＰより広い広域範囲ΔＬ内で連続する各最大高点のうち法線方向成分が最大である代表最大高点を特定し、広域範囲ΔＬ内では代表最大高点の法線方向成分に統一して仮軌道２０Ｔを修正することによって、本軌道２０ＳＳを生成する。   Further, according to the embodiment of the present invention, the trajectory generating unit 7 identifies the representative maximum high point having the maximum normal direction component among the maximum high points continuous within the wide range ΔL wider than the search interval ΔP. Then, within the wide range ΔL, the main trajectory 20SS is generated by correcting the temporary trajectory 20T in the normal direction component of the representative maximum height point.

このような３次元軌道生成装置によれば、簡略化された３次元軌道である本軌道２０ＳＳが生成され、本軌道２０ＳＳに従って移動される移動体の操作が容易となる。   According to such a three-dimensional trajectory generation device, the main trajectory 20SS, which is a simplified three-dimensional trajectory, is generated, and the operation of the moving body that is moved along the main trajectory 20SS becomes easy.

なお本発明は、その発明の範囲内において、本実施形態における任意の構成要素の変形もしくは省略が可能である。   In the present invention, any component in the present embodiment can be modified or omitted within the scope of the invention.

自動車の製造ライン等で動作する塗装ロボット等に応用可能である。塗装ロボットは、塗装のための噴霧装置を自動車の外装カバーの表面に沿って移動させながら、塗装を行うが、本発明によれば、当該噴霧装置が移動する３次元軌道を生成することができる。   It can be applied to painting robots operating on automobile production lines. The painting robot performs painting while moving the spraying device for painting along the surface of the exterior cover of the automobile. According to the present invention, it is possible to generate a three-dimensional trajectory along which the spraying device moves. .

１ 対象物
１Ｌ，１Ｒ アーム
２ 撮像部
２Ａ カメラ
３ 点群生成部
４ 点群取得部
５ 仮軌道生成部
６ 探索領域設定部
７ 本軌道生成部
８ 胴体部
９ 塗装部
１０ 対象面
１０Ａ 計測点群
１１ 記憶装置
１２ 最大高点探索部
１３ コンピュータ
１３Ａ ＣＰＵ
２０Ｓ，２０ＳＳ 本軌道
２０Ｔ 仮軌道
３０，３０Ａ，３０Ｂ 探索領域
４０Ａ，４０Ｂ 突起
５０Ａ，５０Ｂ 代表最大高点
６０ 先端側部分
６１ 領域
１００ ３次元軌道生成装置
１００Ａ ロボット DESCRIPTION OF SYMBOLS 1 Target object 1L, 1R Arm 2 Imaging part 2A Camera 3 Point group production | generation part 4 Point cloud acquisition part 5 Temporary trajectory production | generation part 6 Search area setting part 7 Main trajectory generation part 8 Body part 9 Painting part 10 Target surface 10A Measurement point group 11 Storage Device 12 Maximum High Point Search Unit 13 Computer 13A CPU
20S, 20SS Main trajectory 20T Temporary trajectory 30, 30A, 30B Search area 40A, 40B Protrusion 50A, 50B Representative maximum high point 60 Tip side part 61 area 100 3D trajectory generator 100A Robot

Claims (11)

対象面の３次元計測によって得られた、各点が前記対象面の３次元位置情報を示す計測点群を取得する点群取得部と、
取得した前記計測点群によって表現される前記対象面上に、移動体が移動するための仮軌道を生成する仮軌道生成部と、
前記仮軌道の軌道方向に、特定間隔で探索領域を設定する探索領域設定部と、
各前記探索領域下の前記計測点群のうち、前記対象面の法線方向成分が最も大きい最大高点をそれぞれ探索する最大高点探索部と、
探索した各前記最大高点に基づいて前記仮軌道を修正することによって、前記移動体が移動する本軌道を生成する本軌道生成部とを備えることを特徴とする、
３次元軌道生成装置。 A point group acquisition unit that acquires a measurement point group obtained by three-dimensional measurement of the target surface, each point indicating three-dimensional position information of the target surface;
A temporary trajectory generating unit that generates a temporary trajectory for the moving body to move on the target surface represented by the acquired measurement point group;
A search area setting unit that sets search areas at specific intervals in the trajectory direction of the temporary trajectory,
A maximum high point search unit for searching for a maximum high point having the largest normal direction component of the target surface in the measurement point group under each of the search regions;
A main trajectory generating unit that generates a main trajectory on which the moving body moves by correcting the temporary trajectory based on each searched maximum height point,
3D trajectory generator. 各前記探索領域の範囲が、前記移動体の特定部分が前記対象面上に仮想的に投影された範囲に基づいて設定されることを特徴とする、
請求項１に記載の３次元軌道生成装置。 The range of each search area is set based on a range in which a specific portion of the moving object is virtually projected on the target surface,
The three-dimensional trajectory generation device according to claim 1. 前記本軌道生成部が、前記特定間隔より広い広域範囲内で連続する各前記最大高点のうち前記法線方向成分が最大である代表最大高点を特定し、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成することを特徴とする、
請求項１または２に記載の３次元軌道生成装置。 The trajectory generating unit identifies a representative maximum high point having the maximum normal direction component among the maximum high points that are continuous within a wide range wider than the specific interval, and the representative maximum point within the wide range. The main trajectory is generated by correcting the temporary trajectory in the same normal direction component of a high point,
The three-dimensional trajectory generation device according to claim 1 or 2. 前記広域範囲内で連続する各前記最大高点の前記法線方向成分の変動幅が所定範囲内である場合、
前記本軌道生成部が、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成することを特徴とする、
請求項３に記載の３次元軌道生成装置。 When the fluctuation range of the normal direction component of each of the maximum high points that are continuous within the wide area is within a predetermined range,
The main trajectory generating unit generates the main trajectory by correcting the temporary trajectory in the wide area so as to unify the normal direction component of the representative maximum height point.
The three-dimensional trajectory generation device according to claim 3. 前記広域範囲の長さが可変であることを特徴とする、
請求項３または４に記載の３次元軌道生成装置。 The length of the wide area is variable,
The three-dimensional trajectory generation device according to claim 3 or 4. （ａ）対象面の３次元計測によって得られた、各点が前記対象面の３次元位置情報を示す計測点群を取得する工程と、
（ｂ）取得した前記計測点群によって表現される前記対象面上に、移動体が移動するための仮軌道を生成する工程と、
（ｃ）前記仮軌道の軌道方向に、特定間隔で探索領域を設定する工程と、
（ｄ）各前記探索領域下の前記計測点群のうち、前記対象面の法線方向成分が最も大きい最大高点をそれぞれ探索する工程と、
（ｅ）探索した各前記最大高点に基づいて前記仮軌道を修正することによって、前記移動体が移動する本軌道を生成する工程とを備えることを特徴とする、
３次元軌道生成方法。 (A) obtaining a measurement point group obtained by three-dimensional measurement of the target surface, each point indicating three-dimensional position information of the target surface;
(B) generating a temporary trajectory for a moving body to move on the target surface represented by the acquired measurement point group;
(C) setting search areas at specific intervals in the trajectory direction of the provisional trajectory;
(D) searching for the maximum high point having the largest normal direction component of the target surface among the measurement point group under each search region;
(E) correcting the temporary trajectory based on the searched maximum height points to generate a main trajectory on which the moving body moves,
3D trajectory generation method. 各前記探索領域の範囲が、前記移動体の特定部分が前記対象面上に仮想的に投影された範囲に基づいて設定されることを特徴とする、
請求項６に記載の３次元軌道生成方法。 The range of each search area is set based on a range in which a specific portion of the moving object is virtually projected on the target surface,
The three-dimensional trajectory generation method according to claim 6. 前記工程（ｃ）が、前記特定間隔より広い広域範囲内で連続する各前記最大高点のうち前記法線方向成分が最大である代表最大高点を特定し、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成する工程であることを特徴とする、
請求項６または７に記載の３次元軌道生成方法。 The step (c) specifies a representative maximum high point having the maximum normal direction component among the maximum high points that are continuous within a wide range wider than the specific interval, and the representative maximum is within the wide range. The step of generating the main trajectory by correcting the temporary trajectory in the same normal direction component of a high point,
The three-dimensional trajectory generation method according to claim 6 or 7. 前記工程（ｃ）が、前記広域範囲内で連続する各前記最大高点の前記法線方向成分の変動幅が所定範囲内である場合、前記広域範囲内では前記代表最大高点の前記法線方向成分に統一して前記仮軌道を修正することによって、前記本軌道を生成することを特徴とする、
請求項８に記載の３次元軌道生成方法。 In the step (c), when the fluctuation range of the normal direction component of each of the maximum high points continuous within the wide area is within a predetermined range, the normal of the representative maximum high point is within the wide area. The main trajectory is generated by correcting the temporary trajectory in a uniform direction component,
The three-dimensional trajectory generation method according to claim 8. 前記広域範囲の長さが可変であることを特徴とする、
請求項８または９に記載の３次元軌道生成方法。 The length of the wide area is variable,
The three-dimensional trajectory generation method according to claim 8 or 9. コンピュータにインストールされて実行されることにより、前記コンピュータを、請求項１〜５のいずれかに記載の３次元軌道生成装置として機能させることを特徴とする、
３次元軌道生成プログラム。 When installed in a computer and executed, the computer is caused to function as the three-dimensional trajectory generation device according to any one of claims 1 to 5.
3D trajectory generation program.
JP2012072702A 2012-03-28 2012-03-28 Three-dimensional track generating device and method, and program Pending JP2013205131A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012072702A JP2013205131A (en) 2012-03-28 2012-03-28 Three-dimensional track generating device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012072702A JP2013205131A (en) 2012-03-28 2012-03-28 Three-dimensional track generating device and method, and program

Publications (1)

Publication Number Publication Date
JP2013205131A true JP2013205131A (en) 2013-10-07

Family

ID=49524368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012072702A Pending JP2013205131A (en) 2012-03-28 2012-03-28 Three-dimensional track generating device and method, and program

Country Status (1)

Country Link
JP (1) JP2013205131A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057079A (en) * 2014-09-05 2016-04-21 三菱電機株式会社 Modeling data calculation method and modeling data calculation device
JP2017148878A (en) * 2016-02-22 2017-08-31 株式会社東芝 Orbital data generation device and orbital data generation method
CN109551502A (en) * 2017-09-26 2019-04-02 丰田研究所股份有限公司 Robot with touch sensitivity
JP2021066423A (en) * 2020-07-30 2021-04-30 株式会社センシンロボティクス Aerial vehicle, inspection method and inspection system
JP2021075262A (en) * 2020-06-02 2021-05-20 株式会社センシンロボティクス Aerial vehicle, inspection method and inspection system
JP2021075263A (en) * 2020-06-02 2021-05-20 株式会社センシンロボティクス Aerial vehicle, inspection method and inspection system
JP7195476B1 (en) 2021-09-24 2022-12-23 株式会社ダイヘン WORK PROGRAM CREATION SYSTEM AND WORK PROGRAM CREATION METHOD
US11628576B2 (en) 2017-09-26 2023-04-18 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057079A (en) * 2014-09-05 2016-04-21 三菱電機株式会社 Modeling data calculation method and modeling data calculation device
JP2017148878A (en) * 2016-02-22 2017-08-31 株式会社東芝 Orbital data generation device and orbital data generation method
JP7210204B2 (en) 2017-09-26 2023-01-23 トヨタ リサーチ インスティテュート，インコーポレイティド Robots and methods for providing touch and shape sensors with varying contact sensitivities
JP2019059015A (en) * 2017-09-26 2019-04-18 トヨタ リサーチ インスティテュート，インコーポレイティド Robot corresponded to contact and geometry sensors having variable touch sensitivity, and method for providing robot
US11465296B2 (en) 2017-09-26 2022-10-11 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object
CN109551502A (en) * 2017-09-26 2019-04-02 丰田研究所股份有限公司 Robot with touch sensitivity
US11628576B2 (en) 2017-09-26 2023-04-18 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object
CN109551502B (en) * 2017-09-26 2023-08-25 丰田研究所股份有限公司 Robot with touch sensitivity
JP2021075262A (en) * 2020-06-02 2021-05-20 株式会社センシンロボティクス Aerial vehicle, inspection method and inspection system
JP2021075263A (en) * 2020-06-02 2021-05-20 株式会社センシンロボティクス Aerial vehicle, inspection method and inspection system
JP2021066423A (en) * 2020-07-30 2021-04-30 株式会社センシンロボティクス Aerial vehicle, inspection method and inspection system
JP7195476B1 (en) 2021-09-24 2022-12-23 株式会社ダイヘン WORK PROGRAM CREATION SYSTEM AND WORK PROGRAM CREATION METHOD
JP2023047280A (en) * 2021-09-24 2023-04-05 株式会社ダイヘン Work program production system and work program production method

Similar Documents

Publication Publication Date Title
JP2013205131A (en) Three-dimensional track generating device and method, and program
KR102032070B1 (en) System and Method for Depth Map Sampling
JP6031554B2 (en) Obstacle detection method and apparatus based on monocular camera
Fang et al. Adaptive active visual servoing of nonholonomic mobile robots
JP5299231B2 (en) Calibration device
KR101606628B1 (en) Pointing-direction detecting device and its method, program and computer readable-medium
US20180290307A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
CN112964196A (en) Three-dimensional scanning method, system, electronic device and computer equipment
JP4929506B2 (en) Legged mobile robot
CN111028340B (en) Three-dimensional reconstruction method, device, equipment and system in precise assembly
JP5736622B1 (en) Detection device and operation control of manipulator equipped with the device
CN104408408A (en) Extraction method and extraction device for robot spraying track based on curve three-dimensional reconstruction
JP2011175477A (en) Three-dimensional measurement apparatus, processing method and program
JP2016522089A (en) Controlled autonomous robot system for complex surface inspection and processing
JP2019520633A (en) Real-time height map creation
TWI607814B (en) Flying Laser Marking System with Real-time 3D Modeling and Method Thereof
Zhang et al. A novel absolute localization estimation of a target with monocular vision
JP2009053926A (en) Route-planning device and route-planning method
JPWO2017169365A1 (en) Road surface displacement detection device and suspension control method
CN113172659B (en) Flexible robot arm shape measuring method and system based on equivalent center point identification
US20220060677A1 (en) Wide viewing angle stereo camera apparatus and depth image processing method using the same
CN112975939A (en) Dynamic trajectory planning method for cooperative mechanical arm
JP5698815B2 (en) Information processing apparatus, information processing apparatus control method, and program
CN108681324A (en) Mobile robot trace tracking and controlling method based on overall Vision
CN115471731A (en) Image processing method, image processing apparatus, storage medium, and device