JP6849262B1 - Information processing method, information processing system, program - Google Patents
Information processing method, information processing system, program Download PDFInfo
- Publication number
- JP6849262B1 JP6849262B1 JP2020182270A JP2020182270A JP6849262B1 JP 6849262 B1 JP6849262 B1 JP 6849262B1 JP 2020182270 A JP2020182270 A JP 2020182270A JP 2020182270 A JP2020182270 A JP 2020182270A JP 6849262 B1 JP6849262 B1 JP 6849262B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- tool
- point cloud
- cloud data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】三次元点群データから対象物の輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアーム及びツールを制御することのできるようにする。【解決手段】対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、前記ツール制御情報に基づき、前記ツールを制御するステップと、を含む、ことを特徴とする情報処理方法である。【選択図】図６PROBLEM TO BE SOLVED: To easily and quickly detect a contour shape of an object from three-dimensional point cloud data, and to be able to control a robot arm and a tool by using the contour shape. SOLUTION: A step of acquiring three-dimensional point cloud data from an object by a sensor, a step of designating contour point cloud data constituting an object contour from the three-dimensional point cloud data, and a step of designating the contour point cloud data. , A step of acquiring tool control information including tool position information and tool attitude information for specifying a tool trajectory of a tool connected to an arm of a working robot, and a step of controlling the tool based on the tool control information. It is an information processing method characterized by including and. [Selection diagram] Fig. 6
Description
本発明は、情報処理方法、情報処理システム、プログラムに関する。 The present invention relates to an information processing method, an information processing system, and a program.
従来、対象物のＣＡＤデータに基づいて作業用ロボットのアーム軌道データを生成する
方法が存在していた（例えば、特許文献１を参照）。
Conventionally, there has been a method of generating arm trajectory data of a working robot based on CAD data of an object (see, for example, Patent Document 1).
しかしながら、ＣＡＤデータとしてＣＡＤ図面データを用いた場合には、対象物のＣＡ
Ｄデータの形状と実際の対象物の形状とが一致しない場合があり得る。これに代えて、実
際の対象物のスキャンデータ（例えば、三次元点群データなど）からＣＡＤデータを作成
する場合には、両者の誤差は減るものの、スキャンデータからＣＡＤデータを作成する必
要があり、その分の工数が増えてしまうため、ユーザにとって有用ではなかった。
However, when CAD drawing data is used as CAD data, the CA of the object is used.
There may be cases where the shape of the D data and the shape of the actual object do not match. Instead of this, when creating CAD data from scan data of an actual object (for example, 3D point cloud data), it is necessary to create CAD data from the scan data, although the error between the two is reduced. However, it was not useful for the user because the number of steps would increase accordingly.
また、もし三次元点群データからアーム軌道データを直接生成しようとしても、三次元
点群データは単なる点データの集まりであるため、点群データから対象物の輪郭形状を判
別することが難しい。そのため、ユーザが人手によりアーム軌道を教示する必要が発生す
る場合もある。
Further, even if an attempt is made to directly generate arm trajectory data from the 3D point cloud data, it is difficult to determine the contour shape of the object from the point cloud data because the 3D point cloud data is merely a collection of point data. Therefore, it may be necessary for the user to manually teach the arm trajectory.
本発明はこのような背景を鑑みてなされたものであり、三次元点群データから対象物の
輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアーム及びツールを制御するこ
とのできる技術を提供することを目的とする。
The present invention has been made in view of such a background, and is a technique capable of easily and quickly detecting the contour shape of an object from three-dimensional point cloud data and using the same to control a robot arm and a tool. The purpose is to provide.
上記課題を解決するための本発明の主たる発明は、対象物からセンサにより三次元点群
データを取得するステップと、前記三次元点群データから対象物の輪郭を構成する輪郭点
群データを指定するステップと、前記輪郭点群データから、作業用ロボットのアームに接
続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含む
ツール制御情報を取得するステップと、前記ツール制御情報に基づき、前記ツールを制御
するステップと、を含む、ことを特徴とする情報処理方法である。
The main invention of the present invention for solving the above-mentioned problems is to specify a step of acquiring three-dimensional point cloud data from an object by a sensor and contour point cloud data constituting the outline of the object from the three-dimensional point cloud data. Steps to be performed, a step to acquire tool control information including tool position information and tool attitude information for specifying the tool trajectory of the tool connected to the arm of the working robot from the contour point cloud data, and the tool control. It is an information processing method including a step of controlling the tool based on information.
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面に
より明らかにされる。
Other problems disclosed in the present application and solutions thereof will be clarified in the columns and drawings of the embodiments of the invention.
本発明によれば、三次元点群データから対象物の輪郭形状を簡易かつ迅速に検出し、そ
れを用いてロボットアーム及びツールを制御することができる。
According to the present invention, the contour shape of an object can be easily and quickly detected from the three-dimensional point cloud data, and the robot arm and the tool can be controlled using the contour shape.
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を
備える。
The contents of the embodiments of the present invention will be described in a list. The present invention includes, for example, the following configuration.
［項目１］
情報処理方法であって、
対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップ
と、
前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を
特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステ
ップと、
前記ツール制御情報に基づき、前記ツールを制御するステップと、
を含む、ことを特徴とする情報処理方法。
［項目２］
項目１に記載の情報処理方法であって、
前記ツール制御情報を取得するステップは、
ツール移動範囲を設定するステップと、
前記ツール移動範囲内の輪郭点群データを一定数ごとにツール位置として指定してツー
ル位置情報を取得するステップと、を含む、
ことを特徴とする情報処理方法。
［項目３］
項目１に記載の情報処理方法であって、
前記ツール制御情報を取得するステップは、
ツール移動範囲を設定するステップと、
前記ツール移動範囲内の輪郭点群データを、直線部分は疎に、曲線部分は密にツール位
置として指定してツール位置情報を取得するステップと、を含む、
ことを特徴とする情報処理方法。
［項目４］
項目２または３に記載の情報処理方法であって、
前記ツール制御情報を取得するステップは、
前記ツール位置として指定した点データの面法線ベクトルを算出するステップと、
前記面法線ベクトルの向きを当該点データにおけるツール姿勢情報として取得するステ
ップと、をさらに含む、
ことを特徴とする情報処理方法。
［項目５］
項目１ないし４に記載の情報処理方法であって、
前記ツール位置情報または前記ツール姿勢情報をユーザが編集するステップをさらに含
む、
ことを特徴とする情報処理方法。
［項目６］
項目１ないし５に記載の情報処理方法であって、
前記輪郭点群データにおいて特徴点データを記憶するステップと、
前記対象物は第１の対象物であり、前記第１の対象物とは異なる対象物は、第２の対象
物であり、
前記第２の対象物から三次元点群データを取得し、輪郭点群データを指定し、特徴点デ
ータを記憶するステップと、
前記第１の対象物の特徴点データと前記第２の対象物の特徴点データとを比較してズレ
量を算出し、前記ズレ量に基づき第１の対象物に関する座標データの位置ズレを補正する
、
ことを特徴とする情報処理方法。
［項目７］
項目６に記載の情報処理方法であって、
前記位置ズレの補正として、ツール位置情報の位置ズレを補正する、
ことを特徴とする情報処理方法。
［項目８］
項目６または７に記載の情報処理方法であって、
前記特徴点データを記憶するステップは、
前記第１の対象物の輪郭点群データのうち所定の点データを、少なくとも中心点を含む
所定範囲を規定する比較対象設定範囲の前記中心点の点データとして指定するステップと
、
前記所定範囲内に属する前記第１の対象物の輪郭点群データを前記第１の対象物の特徴
点データとして記憶するステップと、
前記所定範囲内に属する前記第２の対象物の点群データを前記第２の対象物の特徴点デ
ータとして記憶するステップと、を含む
ことを特徴とする情報処理方法。
［項目９］
情報処理システムであって、
対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するバウンダ
リ処理部と、
前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を
特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得し、前記
ツール制御情報に基づき、前記ツールを制御するツール制御部と、
を含む、ことを特徴とする情報処理システム。
［項目１０］
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップ
と、
前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を
特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステ
ップと、
前記ツール制御情報に基づき、前記ツールを制御するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
［項目１１］
情報処理方法であって、
対象物からセンサにより三次元点群データを取得するステップと、
前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップ
と、
を含む、ことを特徴とする情報処理方法。
[Item 1]
Information processing method
Steps to acquire 3D point cloud data from an object with a sensor,
A step of designating the contour point cloud data that constitutes the contour of the object from the three-dimensional point cloud data, and
From the contour point cloud data, a step of acquiring tool control information including tool position information and tool posture information for specifying the tool trajectory of the tool connected to the arm of the working robot, and
Steps to control the tool based on the tool control information,
An information processing method characterized by including.
[Item 2]
The information processing method according to item 1.
The step of acquiring the tool control information is
Steps to set the tool movement range and
Includes a step of designating contour point cloud data within the tool movement range as a tool position at regular intervals and acquiring tool position information.
An information processing method characterized by the fact that.
[Item 3]
The information processing method according to item 1.
The step of acquiring the tool control information is
Steps to set the tool movement range and
The contour point cloud data within the tool movement range includes a step of sparsely designating a straight line portion and densely designating a curved portion as a tool position to acquire tool position information.
An information processing method characterized by the fact that.
[Item 4]
The information processing method according to item 2 or 3.
The step of acquiring the tool control information is
The step of calculating the surface normal vector of the point data specified as the tool position, and
Further including a step of acquiring the direction of the surface normal vector as tool posture information in the point data.
An information processing method characterized by the fact that.
[Item 5]
The information processing method according to items 1 to 4.
Further including a step in which the user edits the tool position information or the tool posture information.
An information processing method characterized by the fact that.
[Item 6]
The information processing method according to items 1 to 5.
A step of storing feature point data in the contour point cloud data, and
The object is a first object, and an object different from the first object is a second object.
A step of acquiring three-dimensional point cloud data from the second object, designating contour point cloud data, and storing feature point data.
The amount of deviation is calculated by comparing the feature point data of the first object with the feature point data of the second object, and the positional deviation of the coordinate data relating to the first object is corrected based on the amount of deviation. To do,
An information processing method characterized by the fact that.
[Item 7]
The information processing method according to item 6.
As the correction of the position deviation, the position deviation of the tool position information is corrected.
An information processing method characterized by the fact that.
[Item 8]
The information processing method according to item 6 or 7.
The step of storing the feature point data is
A step of designating a predetermined point cloud of the contour point cloud data of the first object as point data of the center point of the comparison target setting range that defines a predetermined range including at least the center point.
A step of storing the contour point cloud data of the first object belonging to the predetermined range as the feature point data of the first object, and
An information processing method including a step of storing point cloud data of the second object belonging to the predetermined range as feature point data of the second object.
[Item 9]
It is an information processing system
A 3D point cloud data acquisition unit that acquires 3D point cloud data from an object using a sensor,
A boundary processing unit that specifies contour point cloud data that constitutes the contour of the object from the three-dimensional point cloud data, and
From the contour point cloud data, tool control information including tool position information and tool posture information for specifying the tool trajectory of the tool connected to the arm of the working robot is acquired, and the tool is based on the tool control information. Tool control unit that controls
An information processing system characterized by including.
[Item 10]
A program that allows a computer to execute an information processing method.
The program is used as the information processing method.
Steps to acquire 3D point cloud data from an object with a sensor,
A step of designating the contour point cloud data that constitutes the contour of the object from the three-dimensional point cloud data, and
From the contour point cloud data, a step of acquiring tool control information including tool position information and tool posture information for specifying the tool trajectory of the tool connected to the arm of the working robot, and
Steps to control the tool based on the tool control information,
A program characterized by having a computer execute.
[Item 11]
Information processing method
Steps to acquire 3D point cloud data from an object with a sensor,
A step of designating the contour point cloud data that constitutes the contour of the object from the three-dimensional point cloud data, and
An information processing method characterized by including.
＜実施の形態の詳細＞
本発明の一実施形態に係る情報処理システム１００の具体例を、以下に図面を参照しつ
つ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲に
よって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれること
が意図される。以下の説明では、添付図面において、同一または類似の要素には同一また
は類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に
関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに
矛盾しない限り他の実施形態にも適用可能である。
<Details of the embodiment>
A specific example of the information processing system 100 according to the embodiment of the present invention will be described below with reference to the drawings. It should be noted that the present invention is not limited to these examples, and is indicated by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims. In the following description, the same or similar elements are given the same or similar reference numerals and names in the accompanying drawings, and duplicate description of the same or similar elements may be omitted in the description of each embodiment. In addition, the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.
図１は、本実施形態の情報処理システム１００の一例を示す図である。図１に示される
ように、本実施形態の情報処理システム１００では、端末１と、作業用ロボット２とを有
している。作業用ロボット２は、少なくともアーム２１、ツール２２、センサ２３を有し
ている。端末１と作業用ロボット２とは、有線または無線にて互いに通信可能に接続され
ている。
FIG. 1 is a diagram showing an example of the information processing system 100 of the present embodiment. As shown in FIG. 1, the information processing system 100 of the present embodiment has a terminal 1 and a working robot 2. The working robot 2 has at least an arm 21, a tool 22, and a sensor 23. The terminal 1 and the working robot 2 are connected to each other so as to be able to communicate with each other by wire or wirelessly.
＜端末１＞
図２は、端末１のハードウェア構成を示す図である。端末１は、例えばパーソナルコン
ピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティン
グによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の
構成を有していてもよい。
<Terminal 1>
FIG. 2 is a diagram showing a hardware configuration of the terminal 1. The terminal 1 may be a general-purpose computer such as a personal computer, or may be logically realized by cloud computing. The illustrated configuration is an example, and may have other configurations.
端末１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３
、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
The terminal 1 has at least a processor 10, a memory 11, a storage 12, and a transmitter / receiver 13.
, Input / output units 14, etc., which are electrically connected to each other through the bus 15.
プロセッサ１０は、端末１全体の動作を制御し、少なくとも作業用ロボット２とのデー
タ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行
う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉ
ｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕ
ｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのための
プログラム等を実行して各情報処理を実施する。
The processor 10 is an arithmetic unit that controls the operation of the entire terminal 1, at least controls the transmission and reception of data and the like with the working robot 2, and performs information processing and the like necessary for executing an application and performing authentication processing. For example, the processor 10 is a CPU (Central Process Unit).
ng Unit) and / or GPU (Graphics Processing U)
Nit), and each information processing is performed by executing a program or the like for this system stored in the storage 12 and expanded in the memory 11.
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒ
ｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ
Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
１１は、プロセッサ１０のワークエリア等として使用され、また、端末１の起動時に実行
されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各
種設定情報等を格納する。
The memory 11 is a DRAM (Dynamic Random Access Memory).
Main memory composed of volatile storage devices such as y), flash memory and HDD (Hard)
Includes auxiliary storage configured with a non-volatile storage device such as Disk Drive). The memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the terminal 1 is started, various setting information, and the like.
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよ
い。
The storage 12 stores various programs such as application programs. A database storing data used for each process may be built in the storage 12.
送受信部１３は、端末１を少なくとも作業用ロボット２と接続し、プロセッサの指示に
従い、データ等の送受信を行う。なお、送受信部１３は、有線または無線により構成され
おり、無線である場合には、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）及びＢ
ＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースによ
り構成されていてもよい。
The transmission / reception unit 13 connects the terminal 1 to at least the work robot 2 and transmits / receives data and the like according to the instructions of the processor. The transmission / reception unit 13 is configured by wire or wireless, and in the case of wireless, for example, WiFi, Bluetooth (registered trademark) and B.
It may be configured by a short-range communication interface of LE (Bluetooth Low Energy).
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
The input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
The bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
＜作業用ロボット２＞
図１に戻り、本実施形態に係る作業用ロボット２について説明する。
<Working robot 2>
Returning to FIG. 1, the working robot 2 according to the present embodiment will be described.
上述のとおり、作業用ロボット２は、アーム２１と、ツール２２と、センサ２３とを有
する。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
As described above, the working robot 2 has an arm 21, a tool 22, and a sensor 23. The illustrated configuration is an example, and may have other configurations.
アーム２１は、三次元のロボット座標系に基づき、端末１にその動作を制御される。ま
た、アーム２１は、有線または無線で作業用ロボット２と接続されたコントローラ（不図
示）をさらに備え、これによりその動作を制御されてもよい。
The operation of the arm 21 is controlled by the terminal 1 based on the three-dimensional robot coordinate system. Further, the arm 21 may further include a controller (not shown) connected to the working robot 2 by wire or wirelessly, thereby controlling its operation.
ツール２２は、三次元のツール座標系に基づき、端末１にその動作を制御される。また
、ツール２２の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接
用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。
The operation of the tool 22 is controlled by the terminal 1 based on the three-dimensional tool coordinate system. Further, the configuration of the tool 22 may include any tool according to the application, and may be, for example, a welding torch, a paint injection device for painting, a gripping device, an excavating device, a polishing device, or the like.
センサ２３は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ２
３は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象
物の三次元点群データを取得する。三次元点群データは、例えば、図４に示されるような
ものであり、それぞれの点データがセンサ座標を有し、点群により対象物の形状を把握す
ることが可能となる。
The sensor 23 senses an object based on a three-dimensional sensor coordinate system. Sensor 2
Reference numeral 3 denotes a laser sensor that operates as, for example, a three-dimensional scanner, and acquires three-dimensional point cloud data of an object by sensing. The three-dimensional point cloud data is as shown in FIG. 4, for example, and each point data has sensor coordinates, and the shape of the object can be grasped by the point cloud.
なお、より具体的には、作業前に所定のキャリブレーションを行い、ロボット座標系及
びツール座標系、センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位
置を指定することにより、アーム２１やツール２２が対応した位置を基に動作制御される
ように構成をなしてもよい。
More specifically, the arm is subjected to a predetermined calibration before the work, the robot coordinate system, the tool coordinate system, and the sensor coordinate system are associated with each other, and the user specifies a position based on the sensor coordinate system, for example. The operation of the 21 and the tool 22 may be controlled based on the corresponding positions.
＜端末１の機能＞
図３は、端末１に実装される機能を例示したブロック図である。本実施の形態において
は、端末１のプロセッサ１０は、三次元点群データ取得部１０１、三次元点群データ表示
部１０２、バウンダリ処理部１０３、ツール制御部１０４を有している。また、端末１の
ストレージ１２は、三次元点群データ記憶部１２１、輪郭点群データ記憶部１２２、ツー
ル制御情報記憶部１２３を有している。
<Function of terminal 1>
FIG. 3 is a block diagram illustrating the functions implemented in the terminal 1. In the present embodiment, the processor 10 of the terminal 1 has a three-dimensional point cloud data acquisition unit 101, a three-dimensional point cloud data display unit 102, a boundary processing unit 103, and a tool control unit 104. Further, the storage 12 of the terminal 1 has a three-dimensional point cloud data storage unit 121, a contour point cloud data storage unit 122, and a tool control information storage unit 123.
三次元点群データ取得部１０１は、端末１の入出力部１４からの指示により、作業用ロ
ボット２を制御し、センサ２３により対象物の三次元点群データを取得する。取得した三
次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三次元点
群データ記憶部１２１に記憶される。
The three-dimensional point cloud data acquisition unit 101 controls the working robot 2 according to an instruction from the input / output unit 14 of the terminal 1, and acquires the three-dimensional point cloud data of the object by the sensor 23. The acquired three-dimensional point cloud data is, for example, three-dimensional coordinate information data based on the sensor coordinate system, and is stored in the three-dimensional point cloud data storage unit 121.
三次元点群データ表示部１０２は、三次元点群データ取得部１０１により取得された三
次元点群データを、例えば図４に例示されるように端末１の入出力部１４に表示する。ユ
ーザは、表示された三次元点群データを任意の方向から視認可能であり、例えば入出力部
１４に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定可
能である。
The three-dimensional point cloud data display unit 102 displays the three-dimensional point cloud data acquired by the three-dimensional point cloud data acquisition unit 101 on the input / output unit 14 of the terminal 1 as illustrated in FIG. 4, for example. The user can visually recognize the displayed three-dimensional point cloud data from any direction, and can specify the arbitrary direction with an information input device such as a keyboard or mouse connected to the input / output unit 14, for example. is there.
バウンダリ処理部１０３は、図４に例示されるような三次元点群データ４１を基に、図
５に例示されるような三次元点群データの輪郭を構成する輪郭点群データ５１のみを残す
ように処理を行う。輪郭点群データは、三次元点群データ同様、例えばセンサ座標系に基
づく三次元座標情報データであり、輪郭点群データ記憶部１２２に記憶される。また、輪
郭点群データは、三次元点群データ同様、輪郭点群データ表示部（不図示）により端末１
の入出力部１４において表示される。なお、バウンダリ処理部１０３の具体的な処理方法
の一例については、後述する。
The boundary processing unit 103 leaves only the contour point cloud data 51 that constitutes the contour of the three-dimensional point cloud data as illustrated in FIG. 5 based on the three-dimensional point cloud data 41 as illustrated in FIG. Process as follows. Like the three-dimensional point cloud data, the contour point cloud data is, for example, three-dimensional coordinate information data based on the sensor coordinate system, and is stored in the contour point cloud data storage unit 122. Further, the contour point cloud data is the terminal 1 by the contour point cloud data display unit (not shown) like the three-dimensional point cloud data.
It is displayed in the input / output unit 14 of. An example of a specific processing method of the boundary processing unit 103 will be described later.
ツール制御部１０４は、ツール移動範囲及びツール移動間隔と輪郭点群データとを基に
、対象物に対するツール２２の位置情報及び姿勢情報を一以上含むツール制御情報を算出
し、当該算出されたツール制御情報を基にツール２２を移動させる。すなわち、プロセッ
サ１０のツール制御部１０４または図示しないその他の構成において、所謂ツール軌道デ
ータに該当するツール制御情報を基に、当該ツール軌道データのとおりアーム２１を動作
させるアーム軌道データが生成される。なお、ツール制御部１０４の具体的な算出方法の
一例については、後述する。
The tool control unit 104 calculates tool control information including one or more position information and posture information of the tool 22 with respect to the object based on the tool movement range, the tool movement interval, and the contour point cloud data, and the calculated tool The tool 22 is moved based on the control information. That is, in the tool control unit 104 of the processor 10 or other configurations (not shown), arm trajectory data for operating the arm 21 according to the tool trajectory data is generated based on the tool control information corresponding to the so-called tool trajectory data. An example of a specific calculation method of the tool control unit 104 will be described later.
＜情報処理方法のフローチャート＞
図６は、本実施形態の情報処理システム１００における情報処理方法のフローチャート
の一例である。
<Flowchart of information processing method>
FIG. 6 is an example of a flowchart of an information processing method in the information processing system 100 of the present embodiment.
まず、ユーザは、端末１またはコントローラ（不図示）により作業用ロボット２を操作
し、端末１の三次元点群データ取得部１０１による制御に基づき、センサ２３により、例
えば作業台上に位置する対象物の三次元点群データを取得する（ＳＱ１０１）。
First, the user operates the work robot 2 by the terminal 1 or the controller (not shown), and based on the control by the three-dimensional point cloud data acquisition unit 101 of the terminal 1, the object located on the work table, for example, by the sensor 23. Acquire three-dimensional point cloud data of an object (SQ101).
次に、三次元点群データ表示部１０２により取得した三次元点群データを端末１上で表
示する（ＳＱ１０２）。
Next, the three-dimensional point cloud data acquired by the three-dimensional point cloud data display unit 102 is displayed on the terminal 1 (SQ102).
次に、バウンダリ処理部１０３により三次元点群データから輪郭点群データを生成する
ように処理し、端末１上で表示する（ＳＱ１０３）。
Next, the boundary processing unit 103 processes the contour point cloud data so as to generate it from the three-dimensional point cloud data, and displays it on the terminal 1 (SQ103).
次に、ツール制御部１０４は、ツール移動範囲及びツール移動間隔と輪郭点群データと
を基に、対象物に対するツール２２の位置情報及び姿勢情報を一以上含むツール制御情報
を算出し、当該算出されたツール制御情報を基にツール２２を移動させる（ＳＱ１０４）
。
Next, the tool control unit 104 calculates tool control information including one or more position information and posture information of the tool 22 with respect to the object based on the tool movement range, the tool movement interval, and the contour point cloud data, and calculates the calculation. Move the tool 22 based on the tool control information (SQ104).
..
したがって、本実施形態の情報処理システム１００は、三次元点群データから対象物の
輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアームを制御することのできる
ものである。
Therefore, the information processing system 100 of the present embodiment can easily and quickly detect the contour shape of the object from the three-dimensional point cloud data, and control the robot arm using the contour shape.
＜バウンダリ処理方法のフローチャート＞
図７は、本実施形態の情報処理システム１００におけるバウンダリ処理方法ＳＱ１０３
のより詳細なフローチャートの一例である。
<Flowchart of boundary processing method>
FIG. 7 shows the boundary processing method SQ103 in the information processing system 100 of the present embodiment.
It is an example of a more detailed flowchart of.
まず、バウンダリ処理部１０３は、三次元点群データのうち１つの点データを選択する
（ＳＱ２０１）。
First, the boundary processing unit 103 selects one point data from the three-dimensional point cloud data (SQ201).
次に、バウンダリ処理部１０３は、選択された点データを中心とする所定の半径を有す
る円の内部に含まれる点のそれぞれについて、選択された点データから線分をそれぞれ引
く（ＳＱ２０２）。
Next, the boundary processing unit 103 draws a line segment from the selected point data for each of the points included in the circle having a predetermined radius centered on the selected point data (SQ202).
次に、複数の当該線分のうち、例えば選択された点データを中心に所定の回転方向で隣
り合う２つの線分がなす角度を算出する（ＳＱ２０３）。
Next, among the plurality of the line segments, for example, the angle formed by two adjacent line segments in a predetermined rotation direction centering on the selected point data is calculated (SQ203).
次に、算出された角度の何れもが、ユーザが設定した設定値より小さいかどうかを判定
する（ＳＱ２０４）。
Next, it is determined whether or not any of the calculated angles is smaller than the set value set by the user (SQ204).
より具体的には、図８において、例えばユーザが設定値を１００°と設定した場合、円
７１においては、いずれの隣り合う２つの線分がなす角度も角度Ａのように設定値よりも
小さい値（Ａ＜１００°）であると判定され（Ｙｅｓ）、円７２においては、角度Ｂのよ
うに設定値よりも大きい値（Ｂ＞１００°）を有する角度が存在すると判定される（Ｎｏ
）。
More specifically, in FIG. 8, for example, when the user sets the set value to 100 °, in the circle 71, the angle formed by the two adjacent line segments is smaller than the set value like the angle A. It is determined that the value (A <100 °) is (Yes), and in the circle 72, it is determined that there is an angle having a value (B> 100 °) larger than the set value, such as the angle B (No).
).
ここで、Ｎｏと判定された場合には、選択された点データを輪郭点群データとして輪郭
点群データ記憶部１２２に記憶する（ＳＱ２０５）。
Here, when it is determined as No, the selected point data is stored in the contour point cloud data storage unit 122 as the contour point cloud data (SQ205).
そして、Ｙｅｓと判定された場合、または、ＳＱ２０５終了後には、全ての点データを
選択したかどうかを判定し、Ｎｏと判定された場合にはＳＱ２０１へ戻り、Ｙｅｓと判定
された場合には終了とする（ＳＱ２０６）。
Then, if it is determined to be Yes, or after the end of SQ205, it is determined whether or not all the point data has been selected, if it is determined to be No, the process returns to SQ201, and if it is determined to be Yes, the process ends. (SQ206).
したがって、本実施形態の情報処理システム１００は、例えば上述のバウンダリ処理方
法により、三次元点群データから対象物の輪郭形状を構成する輪郭点群データを簡易かつ
迅速に検出することのできるものである。
Therefore, the information processing system 100 of the present embodiment can easily and quickly detect the contour point cloud data constituting the contour shape of the object from the three-dimensional point cloud data by, for example, the boundary processing method described above. is there.
なお、図７のフローチャートに加えて、例えばＳＱ２０６の後、端末１の入出力部１４
に輪郭点群データのみを表示するようにしてもよい。また、例えばＳＱ２０６の前または
後のタイミングで、輪郭点群データとされなかった点群データを三次元点群データから削
除するようにし、三次元点群データ表示部１０２により輪郭点群データに対応する三次元
点群データを端末１の入出力部１４に表示するようにしてもよい。このようにすることで
、例えば図５のように、三次元点群データの輪郭のみを表示することができる。
In addition to the flowchart of FIG. 7, for example, after SQ206, the input / output unit 14 of the terminal 1
Only the contour point cloud data may be displayed in. Further, for example, at the timing before or after SQ206, the point cloud data that was not regarded as the contour point cloud data is deleted from the three-dimensional point cloud data, and the three-dimensional point cloud data display unit 102 corresponds to the contour point cloud data. The three-dimensional point cloud data to be used may be displayed on the input / output unit 14 of the terminal 1. By doing so, for example, as shown in FIG. 5, only the outline of the three-dimensional point cloud data can be displayed.
＜ツール制御情報の算出方法＞
図９は、本実施形態の情報処理システム１００におけるツール制御情報の算出方法ＳＱ
１０４の一例である。
<Calculation method of tool control information>
FIG. 9 shows a calculation method SQ of tool control information in the information processing system 100 of the present embodiment.
This is an example of 104.
まず、ツール位置情報について、例えば、図９に示されるように、ツール移動範囲（例
えば、ツール移動開始位置及びツール移動終了位置により規定）を設定し、ツール制御部
１０４によりツール移動範囲内の輪郭点群データを一定数ごとにツール位置として指定を
することで、輪郭に沿った等間隔のツール位置情報が得られる。当該ツール位置として指
定された輪郭点群データの一部に関する情報は、ツール位置情報としてツール制御情報記
憶部１２３に記憶される。これにより、簡易な処理によりツール位置情報を指定可能であ
る。なお、理解を容易にするために仮想対象物輪郭（点線）を表示しているが、実際の端
末１に表示する際には表示しなくてもよい。また、ツール移動開始位置及びツール移動終
了位置においてツール位置が指定されているが、近傍の輪郭点群データを指定していても
よい。
First, regarding the tool position information, for example, as shown in FIG. 9, the tool movement range (for example, defined by the tool movement start position and the tool movement end position) is set, and the tool control unit 104 sets the contour within the tool movement range. By designating the point cloud data as the tool position at regular intervals, the tool position information at equal intervals along the contour can be obtained. Information about a part of the contour point cloud data designated as the tool position is stored in the tool control information storage unit 123 as the tool position information. As a result, the tool position information can be specified by a simple process. Although the outline (dotted line) of the virtual object is displayed for easy understanding, it does not have to be displayed when it is displayed on the actual terminal 1. Further, although the tool position is specified at the tool movement start position and the tool movement end position, the contour point group data in the vicinity may be specified.
また、例えば、図１０に示されるように、ツール移動範囲を設定し、ツール制御部１０
４によりツール移動範囲内の輪郭点群データを対象物輪郭の直線部分と曲線部分とでツー
ル位置として粗密に指定してもよい。これは、ツール位置間でツール２２は直線移動をす
るため、直線部分においてはツール位置間隔が広くてもよいが、曲線部分においては、曲
線に近似したツール軌道を描くためにツール位置間隔が狭いほうがより好ましい。
Further, for example, as shown in FIG. 10, the tool movement range is set and the tool control unit 10 is set.
According to No. 4, the contour point cloud data within the tool movement range may be roughly specified as the tool position in the straight line portion and the curved portion of the object contour. This is because the tool 22 moves linearly between the tool positions, so that the tool position spacing may be wide in the straight portion, but in the curved portion, the tool position spacing is narrow in order to draw a tool trajectory similar to the curve. Is more preferable.
上述の粗密な指定については、例えば、輪郭点群データのうち基準点データと２つの点
データとをそれぞれ結んだ２つの仮想中心線のなす角度が基準値以上かどうかで判断して
もよい。例えば図１１に示されるように、輪郭点群データのうち点データｎを基準点デー
タとした時、点データｎの中心と当該点データｎに隣接する点データｎ＋１の中心とを結
んだ線を仮想中心線Ａとし、点データｎの中心と所定の点データｍの中心とを結んだ線を
仮想中心線Ｂとし、点データｎの中心と所定の点データｍ＋１の中心とを結んだ線を仮想
中心線Ｃとする。そして、例えば仮想中心線Ａと仮想中心線Ｂのなす角度が基準値を下回
る際には、点データｍはツール位置としてツール制御情報記憶部１２３に記憶されない。
一方、例えば仮想中心線Ａと仮想中心線Ｃのなす角度が基準値以上である場合には、点デ
ータｍ＋１はツール位置としてツール制御情報記憶部１２３に記憶される。なお、点デー
タｎ＋１の位置は、点データｎの位置と通常近接しているため、点データｎ＋１について
もツール位置として採用しなくてもよい。
Regarding the above-mentioned rough designation, for example, it may be determined whether or not the angle formed by the two virtual center lines connecting the reference point data and the two point data in the contour point cloud data is equal to or larger than the reference value. For example, as shown in FIG. 11, when the point data n of the contour point group data is used as the reference point data, a line connecting the center of the point data n and the center of the point data n + 1 adjacent to the point data n is drawn. The virtual center line A is defined as the virtual center line A, the line connecting the center of the point data n and the center of the predetermined point data m is defined as the virtual center line B, and the line connecting the center of the point data n and the center of the predetermined point data m + 1 is defined as the virtual center line B. Let it be the virtual center line C. Then, for example, when the angle formed by the virtual center line A and the virtual center line B is less than the reference value, the point data m is not stored in the tool control information storage unit 123 as the tool position.
On the other hand, for example, when the angle formed by the virtual center line A and the virtual center line C is equal to or larger than the reference value, the point data m + 1 is stored in the tool control information storage unit 123 as the tool position. Since the position of the point data n + 1 is usually close to the position of the point data n, it is not necessary to adopt the point data n + 1 as the tool position.
そして、次は点データｍ＋１を基準点データとして同様に順次点データを判定し、これ
を繰り返してツール位置を指定していく。これにより、ツール制御部１０４により容易に
対象物の輪郭形状により近いツール軌道を描くことが可能となる。
Then, next, the point data m + 1 is used as the reference point data, and the point data is sequentially determined in the same manner, and this is repeated to specify the tool position. As a result, the tool control unit 104 can easily draw a tool trajectory closer to the contour shape of the object.
なお、ツール位置として記憶された点データは、端末１において表示することでユーザ
が確認可能としてもよい。そしてその際に、例えば、ツール位置として記憶された点デー
タと、それ以外の点データを色分けするなどして区別可能に表示し、ユーザが例えばツー
ル位置としてして記憶された点データを削除したり、それ以外の点データからツール位置
を指定したりと任意で編集可能にしてもよい。これにより、より精度のアーム制御が可能
となる。
The point data stored as the tool position may be displayed on the terminal 1 so that the user can confirm it. At that time, for example, the point data stored as the tool position and the other point data are displayed in a distinctive manner by color-coding, and the user deletes the point data stored as the tool position, for example. Or, the tool position may be specified from other point data, and the editing may be performed arbitrarily. This enables more accurate arm control.
つぎに、ツール姿勢情報について、例えば図１２に示されるように、ツール位置として
ツール制御情報記憶部１２３に記憶された点データＣにおいて、周辺の輪郭点群データ（
例えば、点データＣに隣接する輪郭点群データ）から面法線ベクトルを算出し、当該面法
線ベクトルに沿った向きをツール姿勢情報としてツール制御情報記憶部１２３に記憶され
る。これにより、ツール位置において、対象物表面に対して垂直にツール２２を沿わせる
ことが可能となる。
Next, regarding the tool posture information, for example, as shown in FIG. 12, in the point data C stored in the tool control information storage unit 123 as the tool position, the peripheral contour point cloud data (
For example, the surface normal vector is calculated from the contour point cloud data adjacent to the point data C), and the direction along the surface normal vector is stored in the tool control information storage unit 123 as the tool posture information. This makes it possible to align the tool 22 perpendicular to the surface of the object at the tool position.
なお、ツール姿勢についても認識可能に端末１に表示してもよい。その際に、ツール姿
勢をユーザが任意で変更可能にしてもよい。これにより、より精度のアーム制御が可能と
なる。
The tool posture may also be recognizable and displayed on the terminal 1. At that time, the tool posture may be arbitrarily changed by the user. This enables more accurate arm control.
＜フィッティングの一例＞
本実施形態の情報処理システム１００において、ツール制御部１０４により記憶された
所定の対象物（以下、「第１の対象物」という。）に対するツール軌道情報（ツール位置
情報及びツール姿勢情報を含むツール制御情報）を利用して、同一または類似の形状をし
た複数の対象物（以下、「第２の対象物」という。）に対して、ツール２２の種類に伴う
作業を順次行う場合、位置ズレを考慮してツール動作前にセンサ２３により一旦センシン
グを行ってもよい。
<Example of fitting>
In the information processing system 100 of the present embodiment, a tool including tool trajectory information (tool position information and tool posture information) for a predetermined object (hereinafter, referred to as "first object") stored by the tool control unit 104. When performing work associated with the type of tool 22 on a plurality of objects having the same or similar shape (hereinafter referred to as "second object") by using (control information), the position shifts. In consideration of the above, sensing may be performed once by the sensor 23 before the operation of the tool.
この時、第２の対象物においては、例えばツール制御情報を取得した際の第１の対象物
の輪郭点群データと、作業前に取得した第２の対象物の点群データとを比較して、位置ズ
レを補正する動作（フィッティング）を実行してもよい。なお、第２の対象物の点群デー
タは、三次元点群データであってもよいし、三次元点群データを一定の割合間引いた点群
データであってもよいし、バウンダリ処理後の輪郭点群データでもよい。
At this time, in the second object, for example, the contour point cloud data of the first object when the tool control information is acquired is compared with the point cloud data of the second object acquired before the work. Then, an operation (fitting) for correcting the misalignment may be executed. The point cloud data of the second object may be three-dimensional point cloud data, point cloud data obtained by thinning the three-dimensional point cloud data by a certain ratio, or after boundary processing. It may be contour point cloud data.
例えば、図１３に示されるような各点群データが第１の対象物及び第２の対象物から得
られる。両者の位置ズレを補正するための比較方法は、より具体的には、例えば各対象物
の特徴点データ同士を比較するようにしてもよい。
For example, each point cloud data as shown in FIG. 13 is obtained from the first object and the second object. More specifically, the comparison method for correcting the positional deviation between the two may be, for example, comparing the feature point data of each object.
各対象物における特徴点データを記憶するための指定方法は、一例として以下のとおり
である。まず、プロセッサ１０は、例えば第１の対象物の輪郭点群データ（図１４の白抜
きの点データ）のうち所定の点データを、少なくとも中心点を含む所定範囲を規定する比
較対象設定範囲の当該中心点の点データとして指定する。なお、図１４においては、当該
中心点の点データから半径Ｒｓの球体で構成される範囲を比較対象設定範囲Ｓとして２つ
図示しているが、比較対象設定範囲Ｓの形状はどのような形状でもよく（例えば、点、立
方体、直方体、角柱、円柱、楕円体など）、比較対象設定範囲Ｓの数も任意の数でよい。
The designation method for storing the feature point data in each object is as follows as an example. First, the processor 10 uses, for example, the predetermined point data of the contour point cloud data (white point data in FIG. 14) of the first object in the comparison target setting range that defines a predetermined range including at least the center point. It is specified as point data of the center point. In FIG. 14, two ranges composed of spheres having a radius Rs from the point data of the center point are shown as comparison target setting ranges S, but what kind of shape is the shape of the comparison target setting range S? However, the number of comparison target setting ranges S may be arbitrary (for example, points, cubes, rectangular parallelepipeds, prisms, cylinders, ellipsoids, etc.).
そして、図１５に例示されるように、例えばプロセッサ１０及びストレージ１２は、比
較対象設定範囲Ｓの範囲内に属する第１の対象物の輪郭点群データを第１の対象物の特徴
点データとして指定して記憶し、比較対象設定範囲Ｓの範囲内に属する第２の対象物の点
群データを第２の対象物の特徴点データとして指定して記憶する。
Then, as illustrated in FIG. 15, for example, the processor 10 and the storage 12 use the contour point cloud data of the first object belonging to the range of the comparison target setting range S as the feature point data of the first object. It is designated and stored, and the point cloud data of the second object belonging to the range of the comparison target setting range S is designated and stored as the feature point data of the second object.
各対象物の特徴点データ同士の比較方法は、一例として次のとおりである。図１５に例
示されるように、例えばプロセッサ１０は、第１の対象物の特徴点データのそれぞれを中
心とする所定範囲の探索範囲半径Ｒからなる円の中心点から、当該円に含まれる第２の対
象物の各特徴点データまでの距離Ｌを算出し、例えば第１の対象物の特徴点データのそれ
ぞれからの一番短い距離Ｌの平均値、または、全ての距離Ｌの平均値を算出する。そして
、例えばプロセッサ１０は、第２の対象物の点群データを移動させ、再度上記平均値を算
出する。これを複数回実行し、例えばプロセッサ１０は、当該平均値が一番小さい場合の
第２の対象物の点群データの移動量を確認または算出する。最後に、例えばストレージ１
２は、当該移動量を位置ズレのズレ量として記憶する。なお、複数回実行する際の回数設
定は、例えば事前にユーザが所定回数に設定しておいてもよいし、平均値が事前にユーザ
が設定した所定値以下となった際に終了するようにしてもよい。
The method of comparing the feature point data of each object is as follows as an example. As illustrated in FIG. 15, for example, the processor 10 has a th-order included in the circle from the center point of the circle consisting of the search range radius R of a predetermined range centered on each of the feature point data of the first object. The distance L to each feature point data of the two objects is calculated, and for example, the average value of the shortest distance L from each of the feature point data of the first object, or the average value of all the distances L is calculated. calculate. Then, for example, the processor 10 moves the point cloud data of the second object and calculates the average value again. This is executed a plurality of times, and for example, the processor 10 confirms or calculates the amount of movement of the point cloud data of the second object when the average value is the smallest. Finally, for example, storage 1
2 stores the movement amount as the displacement amount of the positional deviation. The number of times to be executed a plurality of times may be set to a predetermined number of times by the user in advance, or may be set to end when the average value becomes equal to or less than the predetermined value set by the user in advance. You may.
最後に、当該ズレ量に基づき、例えばプロセッサ１０は、当該ズレ量を用いて第１の対
象物に対するツール軌道情報を第２の対象物の位置に補正することで、第２の対象物に合
ったツール軌道とすることが可能となる。
Finally, based on the amount of deviation, for example, the processor 10 corrects the tool trajectory information for the first object to the position of the second object by using the amount of deviation to match the second object. It is possible to use a tool trajectory.
＜フィッティングの他の例＞
上述のフィッティング方法以外に、例えば図５に示される輪郭点群データのうち、対象
物を構成する特徴部（例えば、角部など）の点データを特徴点データとして輪郭点群デー
タ記憶部１２２にさらに記憶しておき、両者の特徴点データを比較することで、センサ座
標系におけるズレを判定するようにしてもよい。これに基づき、ツール制御情報の位置ズ
レを補正する。これにより、上記具体例と同様に、実際の対象物の位置にあったツール軌
道を描くことが可能になる一方、再度ツール制御情報の取得処理（ＳＱ１０４）を実行す
る必要がないため、簡易に位置ズレの補正を行うことが可能となる。
<Other examples of fitting>
In addition to the above-mentioned fitting method, for example, among the contour point cloud data shown in FIG. 5, the point data of the feature portion (for example, the corner portion) constituting the object is used as the feature point data in the contour point cloud data storage unit 122. Further, it may be stored and the deviation in the sensor coordinate system may be determined by comparing the feature point data of both. Based on this, the positional deviation of the tool control information is corrected. As a result, as in the above specific example, it is possible to draw a tool trajectory that matches the position of the actual object, but it is not necessary to execute the tool control information acquisition process (SQ104) again, so that it is easy. It is possible to correct the misalignment.
なお、特徴点データの比較によるズレ補正の後、さらに少なくともツール位置として記
憶された第１の対象物の輪郭点群データと、それに対応する作業前に取得した第２の対象
物の点群データの比較を行い、補正後においても所定距離以上位置ズレが生じている点デ
ータが存在する場合には、再度ツール制御情報算出ＳＱ１０４を実行するようにしてもよ
い。もしくは、所定距離以上位置ズレが生じている点データに対応するツール制御情報の
範囲においてのみ、再度ツール制御情報算出ＳＱ１０４を実行するようにしてもよい。こ
れにより、特に類似の形状をした対象物に対して作業を行う場合に、実際の形状に沿った
ツール軌道を描くことが可能となる一方、ツール制御情報算出ＳＱ１０４を毎回実行する
必要がなくなるので、処理負担や作業時間がより軽減される。
After the deviation correction by comparing the feature point data, at least the contour point cloud data of the first object stored as the tool position and the point cloud data of the second object acquired before the corresponding work. If there is point data in which the position shift occurs by a predetermined distance or more even after the correction, the tool control information calculation SQ104 may be executed again. Alternatively, the tool control information calculation SQ104 may be executed again only within the range of the tool control information corresponding to the point data in which the position shift occurs by a predetermined distance or more. This makes it possible to draw a tool trajectory along the actual shape, especially when working on an object having a similar shape, but it is not necessary to execute the tool control information calculation SQ104 every time. , Processing load and work time are further reduced.
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするため
のものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸
脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
Although the present embodiment has been described above, the above embodiment is for facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes an equivalent thereof.
１ 端末
２ 作業用ロボット
２１ アーム
２２ ツール
２３ センサ
1 Terminal 2 Working robot 21 Arm 22 Tool 23 Sensor
Claims (5)
第１の対象物からセンサにより第１の三次元点群データを取得するステップと、
前記第１の三次元点群データ内の点データの相互の位置関係に基づき、前記第１の三次元点群データから前記第１の対象物全体の輪郭を構成する第１の輪郭点群データを指定するステップと、
前記第１の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定するステップと、
前記所定範囲内に属する前記第１の輪郭点群データを前記第１の対象物の特徴点データとして記憶するステップと、
第２の対象物からセンサにより第２の三次元点群データを取得するステップと、
前記所定範囲内に属する前記第２の三次元点群データを前記第２の対象物の特徴点データとして記憶するステップと、
前記第１の対象物の特徴点データと前記第２の対象物の特徴点データとを比較してズレ量を算出するステップと、
少なくとも前記第１の輪郭点群データに基づき、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
前記ツール制御情報に基づき、前記ツールを制御するステップと、
を含み、
前記基準点は、前記比較対象設定範囲の中心点であり、
前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲であり、
前記ツール制御情報を取得するステップは、ツール移動範囲を設定するステップを含む、
ことを特徴とする情報処理方法。 Information processing method
The step of acquiring the first 3D point cloud data from the first object by the sensor,
First contour point cloud data that constitutes the contour of the entire first object from the first three-dimensional point cloud data based on the mutual positional relationship of the point data in the first three-dimensional point cloud data. Steps to specify and
A step of designating a predetermined point data of the first contour point cloud data as point data of the reference point in a comparison target setting range that defines a predetermined range including at least a reference point.
A step of storing the first contour point cloud data belonging to the predetermined range as feature point data of the first object, and a step of storing the data.
The step of acquiring the second 3D point cloud data from the second object by the sensor,
A step of storing the second three-dimensional point cloud data belonging to the predetermined range as feature point data of the second object, and
A step of comparing the feature point data of the first object with the feature point data of the second object to calculate the deviation amount, and
A step of acquiring tool control information including tool position information and tool posture information for specifying a tool trajectory of a tool connected to an arm of a working robot based on at least the first contour point cloud data.
Steps to control the tool based on the tool control information,
Including
The reference point is the center point of the comparison target setting range, and is
The comparison target setting range, Ri range der composed point data of the central point at a given radius of the sphere,
The step of acquiring the tool control information includes a step of setting a tool movement range.
An information processing method characterized by the fact that.
前記ツール制御情報を取得するステップは、前記ツール移動範囲内の前記第１の輪郭点群データを、直線部分は疎に、曲線部分は密にツール位置として指定してツール位置情報を取得するステップ、を含む、
ことを特徴とする情報処理方法。 The information processing method according to claim 1.
Obtaining a pre-SL tool control information, the first contour point group data before Symbol Tool movement range, the linear part is sparse, acquires tool position information curved portion is designated as densely tool position Steps to do , including
An information processing method characterized by the fact that.
前記第１の輪郭点群データを指定するステップは、
前記第１の三次元点群データのうち１つの点データを選択するステップと、
前記選択された点データを中心とする所定の半径を有する円の内部に含まれる点のそれぞれについて、前記選択された点データから線分をそれぞれ引くステップと、
複数の当該線分のうち、前記選択された点データを中心に所定の回転方向で隣り合う２つの線分がなす角度を算出するステップと、
算出された角度を設定値と比較するステップと、
前記算出された角度が前記設定値より大きいと判定された場合には、前記選択された点データを前記第１の輪郭点群データと判定するステップと、を含む、
ことを特徴とする情報処理方法。 The information processing method according to claim 1 or 2.
The step of designating the first contour point cloud data is
A step of selecting one point data from the first three-dimensional point cloud data, and
A step of drawing a line segment from the selected point data for each of the points contained inside a circle having a predetermined radius centered on the selected point data.
A step of calculating the angle formed by two adjacent line segments in a predetermined rotation direction centering on the selected point data among a plurality of the line segments.
Steps to compare the calculated angle with the set value,
When it is determined that the calculated angle is larger than the set value, the step of determining the selected point data as the first contour point cloud data is included.
An information processing method characterized by the fact that.
第１の対象物からセンサにより第１の三次元点群データを取得し、
第２の対象物からセンサにより第２の三次元点群データを取得する三次元点群データ取得部と、
前記第１の三次元点群データ内の点データの相互の位置関係に基づき、前記第１の三次元点群データから前記第１の対象物全体の輪郭を構成する第１の輪郭点群データを指定するバウンダリ処理部と、
前記第１の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定し、
前記所定範囲内に属する前記第１の輪郭点群データを前記第１の対象物の特徴点データとして記憶し、
前記所定範囲内に属する前記第２の三次元点群データを前記第２の対象物の特徴点データとして記憶し、
前記第１の対象物の特徴点データと前記第２の対象物の特徴点データとを比較してズレ量を算出する補正制御部と、
少なくとも前記第１の輪郭点群データに基づき、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するツール制御情報取得部と、
前記ツール制御情報に基づき、前記ツールを制御するツール制御部と、を備え、
前記基準点は、前記比較対象設定範囲の中心点であり、
前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲であり、
前記ツール制御情報取得部は、ツール移動範囲を設定する、
ことを特徴とする情報処理システム。 It is an information processing system
The first three-dimensional point cloud data is acquired from the first object by a sensor, and
A 3D point cloud data acquisition unit that acquires 2D point cloud data from a second object using a sensor, and a 3D point cloud data acquisition unit.
First contour point cloud data that constitutes the contour of the entire first object from the first three-dimensional point cloud data based on the mutual positional relationship of the point data in the first three-dimensional point cloud data. Boundary processing unit that specifies
A predetermined point data among the first contour point cloud data is designated as the point data of the reference point in the comparison target setting range that defines at least a predetermined range including the reference point.
The first contour point cloud data belonging to the predetermined range is stored as the feature point data of the first object, and the data is stored.
The second three-dimensional point cloud data belonging to the predetermined range is stored as the feature point data of the second object, and the data is stored.
A correction control unit that calculates the amount of deviation by comparing the feature point data of the first object with the feature point data of the second object , and
Tool control information acquisition unit that acquires tool control information including tool position information and tool posture information for specifying the tool trajectory of the tool connected to the arm of the working robot based on at least the first contour point cloud data. When,
A tool control unit that controls the tool based on the tool control information is provided.
The reference point is the center point of the comparison target setting range, and is
The comparison target setting range, Ri range der composed point data of the central point at a given radius of the sphere,
The tool control information acquisition unit sets the tool movement range.
An information processing system characterized by this.
前記プログラムは、前記情報処理方法として、
第１の対象物からセンサにより第１の三次元点群データを取得するステップと、
前記第１の三次元点群データ内の点データの相互の位置関係に基づき、前記第１の三次元点群データから前記第１の対象物全体の輪郭を構成する第１の輪郭点群データを指定するステップと、
前記第１の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定するステップと、
前記所定範囲内に属する前記第１の輪郭点群データを前記第１の対象物の特徴点データとして記憶するステップと、
第２の対象物からセンサにより第２の三次元点群データを取得するステップと、
前記所定範囲内に属する前記第２の三次元点群データを前記第２の対象物の特徴点データとして記憶するステップと、
前記第１の対象物の特徴点データと前記第２の対象物の特徴点データとを比較してズレ量を算出するステップと、
少なくとも前記第１の輪郭点群データに基づき、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
前記ツール制御情報に基づき、前記ツールを制御するステップと、
をコンピュータに実行させる、プログラムであり、
前記基準点は、前記比較対象設定範囲の中心点であり、
前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲であり、
前記ツール制御情報を取得するステップは、ツール移動範囲を設定するステップを含む、
ことを特徴とするプログラム。 A program that allows a computer to execute an information processing method.
The program is used as the information processing method.
The step of acquiring the first 3D point cloud data from the first object by the sensor,
First contour point cloud data that constitutes the contour of the entire first object from the first three-dimensional point cloud data based on the mutual positional relationship of the point data in the first three-dimensional point cloud data. Steps to specify and
A step of designating a predetermined point data of the first contour point cloud data as point data of the reference point in a comparison target setting range that defines a predetermined range including at least a reference point.
A step of storing the first contour point cloud data belonging to the predetermined range as feature point data of the first object, and a step of storing the data.
The step of acquiring the second 3D point cloud data from the second object by the sensor,
A step of storing the second three-dimensional point cloud data belonging to the predetermined range as feature point data of the second object, and
A step of comparing the feature point data of the first object with the feature point data of the second object to calculate the deviation amount, and
A step of acquiring tool control information including tool position information and tool posture information for specifying a tool trajectory of a tool connected to an arm of a working robot based on at least the first contour point cloud data.
Steps to control the tool based on the tool control information,
Is a program that causes a computer to execute
The reference point is the center point of the comparison target setting range, and is
The comparison target setting range, Ri range der composed point data of the central point at a given radius of the sphere,
The step of acquiring the tool control information includes a step of setting a tool movement range.
A program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020182270A JP6849262B1 (en) | 2020-05-28 | 2020-10-30 | Information processing method, information processing system, program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020093197A JP2021137946A (en) | 2020-03-09 | 2020-05-28 | Information processing method, information processing system, and program |
| JP2020182270A JP6849262B1 (en) | 2020-05-28 | 2020-10-30 | Information processing method, information processing system, program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020093197A Division JP2021137946A (en) | 2020-03-09 | 2020-05-28 | Information processing method, information processing system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6849262B1 true JP6849262B1 (en) | 2021-03-24 |
| JP2021137953A JP2021137953A (en) | 2021-09-16 |
Family
ID=74879313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020182270A Active JP6849262B1 (en) | 2020-05-28 | 2020-10-30 | Information processing method, information processing system, program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6849262B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116038707A (en) * | 2023-01-30 | 2023-05-02 | 深圳技术大学 | Intelligent fault automatic diagnosis system based on data driving |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023172561A (en) * | 2022-05-24 | 2023-12-06 | リンクウィズ株式会社 | Work system and work method |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3450609B2 (en) * | 1996-08-21 | 2003-09-29 | 株式会社東芝 | Offline teaching device for robots |
| JP2000207557A (en) * | 1999-01-11 | 2000-07-28 | Matsushita Electric Ind Co Ltd | Method for measuring quantity of positional deviation |
| JP5480667B2 (en) * | 2010-02-26 | 2014-04-23 | キヤノン株式会社 | Position / orientation measuring apparatus, position / orientation measuring method, program |
| JP5839929B2 (en) * | 2010-11-19 | 2016-01-06 | キヤノン株式会社 | Information processing apparatus, information processing system, information processing method, and program |
| JP5839671B2 (en) * | 2011-09-20 | 2016-01-06 | 株式会社Ｓｃｒｅｅｎホールディングス | 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium |
| JP2013072857A (en) * | 2011-09-29 | 2013-04-22 | Dainippon Screen Mfg Co Ltd | Three-dimensional position/attitude recognition apparatus, method and program |
| JP2014029664A (en) * | 2012-06-28 | 2014-02-13 | Seiko Epson Corp | Image comparison range generation method, positional orientation detection method, image comparison range generation device, positional orientation detection device, robot, robot system, image comparison range generation program and positional orientation detection program |
| JP2018017654A (en) * | 2016-07-29 | 2018-02-01 | セイコーエプソン株式会社 | Detector, robot, and robot controller |
| JP6889574B2 (en) * | 2017-03-03 | 2021-06-18 | 株式会社キーエンス | Robot setting device, robot setting method, robot setting program, computer-readable recording medium, and recording equipment |
| JP6922605B2 (en) * | 2017-09-26 | 2021-08-18 | 富士フイルムビジネスイノベーション株式会社 | 3D object detectors, robots, and programs |
| KR102030040B1 (en) * | 2018-05-09 | 2019-10-08 | 한화정밀기계 주식회사 | Method for automatic bin modeling for bin picking and apparatus thereof |
| JP7155660B2 (en) * | 2018-06-26 | 2022-10-19 | セイコーエプソン株式会社 | Robot controller and robot system |
| CN109683552B (en) * | 2018-11-27 | 2020-04-28 | 大连理工大学 | Numerical control machining path generation method on complex point cloud model guided by base curve |
-
2020
- 2020-10-30 JP JP2020182270A patent/JP6849262B1/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116038707A (en) * | 2023-01-30 | 2023-05-02 | 深圳技术大学 | Intelligent fault automatic diagnosis system based on data driving |
| CN116038707B (en) * | 2023-01-30 | 2023-08-04 | 深圳技术大学 | Intelligent fault automatic diagnosis system based on data driving |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021137953A (en) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021181929A1 (en) | Information processing method, information processing system, and program | |
| US10661440B2 (en) | Robot teaching device for warning or correcting positional deviation of teaching points or teaching line | |
| JP6849262B1 (en) | Information processing method, information processing system, program | |
| JP6348097B2 (en) | Work position and orientation calculation device and handling system | |
| JP4137909B2 (en) | Robot program correction device | |
| US10618163B2 (en) | Simulation device, simulation method, and computer program for robot system | |
| US11481971B2 (en) | Information processing method, information processing system, and program | |
| JP5104248B2 (en) | Object recognition apparatus and robot apparatus | |
| US11158080B2 (en) | Information processing method, information processing device, object detection apparatus, and robot system | |
| JP6796899B1 (en) | Information processing method, information processing system, program | |
| CN114872043A (en) | Robot collision detection method, storage medium and electronic device | |
| US20240119686A1 (en) | Information processing method, information processing system, and program | |
| JP6758696B1 (en) | Shape detection method, shape detection system, program | |
| US20230145056A1 (en) | Mobile robot system | |
| JP6758695B1 (en) | Shape detection method, shape detection system, program | |
| JP6708917B1 (en) | Shape detection method, shape detection system, program | |
| WO2024105847A1 (en) | Control device, three-dimensional position measuring system, and program | |
| JP2021125193A (en) | Shape detection method, shape detection system, and program | |
| US10762718B2 (en) | System and method for determining minimal negative distance between two objects | |
| JPS61118875A (en) | Graphic generating device | |
| JPH0833798B2 (en) | Command judgment method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201030 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6849262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |