JPH1063318A - Method and device for object recognition - Google Patents
Method and device for object recognitionInfo
- Publication number
- JPH1063318A JPH1063318A JP8241103A JP24110396A JPH1063318A JP H1063318 A JPH1063318 A JP H1063318A JP 8241103 A JP8241103 A JP 8241103A JP 24110396 A JP24110396 A JP 24110396A JP H1063318 A JPH1063318 A JP H1063318A
- Authority
- JP
- Japan
- Prior art keywords
- standard
- contour data
- reference point
- correlation
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、撮像された物体の
位置、姿勢を認識する方法及びその装置に関する。The present invention relates to a method and an apparatus for recognizing the position and orientation of a captured object.
【0002】[0002]
【従来の技術】従来、画像処理手法として、画像の2値
化による物***置の算出、2次モーメントによる物体姿
勢の算出手法は存在する。また、パターンマッチングに
よる形状を特定する方法も存在する。2. Description of the Related Art Conventionally, as an image processing method, there is a method of calculating an object position by binarizing an image and a method of calculating an object posture by a second moment. There is also a method of specifying a shape by pattern matching.
【0003】[0003]
【発明が解決しようとする課題】しかし、画像の2値化
による物***置の算出、2次モーメントによる物体姿勢
の算出手法では、複雑な形状の物体や物体を床に置いた
時に安定した姿勢を保つことができる安定姿勢の多い物
体の位置や姿勢は認識が困難である。また、パターンマ
ッチングでは細かい形状の特定をすることができるが、
マッチングするためのデータ量が非常に多く必要であ
る。加えて、撮像した物体と登録物体の向いている方向
が一致しないとマッチング判定ができないので登録物体
を順次角度を変位させながら演算をすると判定に時間が
かかる。従って、前記の方法により複雑な形状あるいは
安定姿勢がいくつもある物体の位置、姿勢を容易に認識
することができない。本発明は、複雑な形状あるいは安
定姿勢がいくつもある物体の位置、姿勢を容易に認識す
る方法である。However, in the method of calculating an object position by binarizing an image and calculating an object posture by a second moment, a stable posture is obtained when an object having a complicated shape or an object is placed on the floor. It is difficult to recognize the position and posture of an object having many stable postures that can be maintained. Also, pattern matching can identify fine shapes,
A very large amount of data is required for matching. In addition, since the matching determination cannot be performed unless the direction in which the imaged object and the registered object face does not match, if the calculation is performed while sequentially changing the angle of the registered object, the determination takes time. Therefore, it is not possible to easily recognize the position and orientation of an object having many complicated shapes or stable postures by the above method. The present invention is a method for easily recognizing the position and orientation of an object having many complicated shapes or stable orientations.
【0004】[0004]
【課題を解決するための手段】請求項1の方法は、物体
の位置、姿勢を認識するために、物体を撮像して得られ
た2次元画像の輪郭の基準点に対する距離を基準点を中
心とする角度に対応させた輪郭データと、標準物体を撮
像して得られた2次元画像の輪郭の基準点に対する距離
を基準点を中心とする角度に対応させた標準輪郭データ
とを角度を順次変位させたときの相関関係から物体と標
準物体との照合関係を決定することにより、物体の位
置、姿勢を決定する方法である。According to a first aspect of the present invention, in order to recognize the position and orientation of an object, a distance from a reference point of a contour of a contour of a two-dimensional image obtained by imaging the object is set at the center of the reference point. The contour data corresponding to the angle and the standard contour data corresponding to the angle with respect to the reference point of the contour of the contour of the two-dimensional image obtained by imaging the standard object are sequentially converted into angles. This is a method of determining the position and orientation of the object by determining the collation relationship between the object and the standard object from the correlation when displaced.
【0005】請求項2の装置は請求項1の方法を実施す
る装置であり、標準物体の2次元画像の輪郭の基準点に
対する距離を基準点を中心とする角度に対応させた輪郭
データを記憶する標準輪郭データ記憶手段と、物体を撮
像して得られた2次元画像の輪郭の基準点に対する距離
を基準点を中心とする角度に対応させた輪郭データを演
算する輪郭データ演算手段と、輪郭データ演算手段によ
り得られた輪郭データと標準輪郭データ記憶手段に記憶
されている標準輪郭データとを角度を順次変位させた時
の相関度を演算する相関度演算手段と、相関度演算手段
により演算された相関度から物体と標準物体との照合関
係を決定し、物体の位置、姿勢を決定する位置姿勢決定
手段とを有することを特徴とする物体の位置、姿勢の認
識装置である。An apparatus according to a second aspect is an apparatus for implementing the method according to the first aspect, and stores contour data in which the distance of a contour of a two-dimensional image of a standard object to a reference point corresponds to an angle centered on the reference point. A contour data calculating means for calculating contour data in which a distance from a reference point of a contour of a two-dimensional image obtained by imaging an object corresponds to an angle centered on the reference point; Correlation degree calculation means for calculating the degree of correlation when the angle is sequentially changed between the contour data obtained by the data calculation means and the standard contour data stored in the standard contour data storage means, and calculation by the degree of correlation calculation means An object position / posture recognition apparatus, comprising: a position / posture determination unit that determines a collation relationship between an object and a standard object from the obtained degree of correlation and determines the position / posture of the object.
【0006】請求項3の発明は、複数の安定姿勢を有す
る物体の位置、姿勢を認識するために、標準輪郭データ
記憶手段は、標準物体の複数の安定姿勢に対する標準輪
郭データを記憶し、相関度演算手段は、複数の標準輪郭
データと輪郭データとを角度を順次変位させたときの相
関度を演算し、位置姿勢決定手段は、相関度演算手段に
より決定された相関度から最も照合した標準物体の安定
姿勢から物体の安定姿勢を決定することを特徴とする物
体の位置、姿勢を認識する装置である。According to a third aspect of the present invention, in order to recognize the position and orientation of an object having a plurality of stable postures, the standard contour data storage means stores the standard contour data for the plurality of stable postures of the standard object and performs correlation. The degree calculating means calculates the degree of correlation when a plurality of standard contour data and the contour data are sequentially displaced in angle, and the position and orientation determining means calculates the standard value most collated from the degree of correlation determined by the degree of correlation calculating means. This is an apparatus for recognizing the position and orientation of an object, characterized by determining the stable orientation of the object from the stable orientation of the object.
【0007】請求項4の発明は、基準点を輪郭の内部の
点としたことを特徴とする物体の位置、姿勢を認識する
装置である。According to a fourth aspect of the present invention, there is provided an apparatus for recognizing a position and a posture of an object, wherein the reference point is a point inside the contour.
【0008】請求項5の発明は、基準点を輪郭で決定さ
れる2次元画像の重心としたことを特徴とする物体の位
置、姿勢を認識する装置である。According to a fifth aspect of the present invention, there is provided an apparatus for recognizing the position and orientation of an object, wherein the reference point is the center of gravity of a two-dimensional image determined by an outline.
【0009】請求項6の発明は、輪郭データ又は標準輪
郭データを2倍周期準備することを特徴とする物体の位
置、姿勢を認識する装置である。According to a sixth aspect of the present invention, there is provided an apparatus for recognizing the position and orientation of an object, wherein the contour data or the standard contour data is prepared twice as long.
【0010】[0010]
【発明の作用及び効果】請求項1の発明である物体を撮
像して得られた2次元画像の輪郭の基準点に対する距離
を基準点を中心とする角度に対応させた輪郭データと、
標準物体を撮像して得られた2次元画像の輪郭の基準点
に対する距離を基準点を中心とする角度に対応させた標
準輪郭データとを角度を順次変位させたときの相関関係
から物体と標準物体との照合関係を決定する方法を用い
ると、物体及び標準物体の輪郭を角度と距離の対応関係
で表すことにより、少ないデータで物体及び標準物体の
特徴を表すことができ、また角度を変位させて相関度を
演算することが容易になる。その結果、短時間で物体の
位置、姿勢を認識することができる。According to the first aspect of the present invention, there is provided contour data in which the distance of a contour of a two-dimensional image obtained by imaging an object corresponding to an angle centered on the reference point,
The standard contour data in which the distance of the contour of the two-dimensional image obtained by imaging the standard object to the reference point corresponds to an angle centered on the reference point is used to determine the relationship between the object and the standard. By using the method of determining the collation relationship with the object, the features of the object and the standard object can be represented with a small amount of data by expressing the contours of the object and the standard object with the correspondence between the angle and the distance, and the angle can be displaced. This makes it easy to calculate the degree of correlation. As a result, the position and orientation of the object can be recognized in a short time.
【0011】請求項2の装置では、標準輪郭データ記憶
手段により、標準物体を撮像して得られた標準物体の2
次元画像の輪郭の基準点に対する距離を中心とする角度
に対応させた輪郭データを記憶する。そして、輪郭デー
タ演算手段により物体を撮像して得られた2次元画像の
輪郭の基準点に対する距離を基準点を中心とする角度に
対応させた輪郭データを演算する。そして、相関度演算
手段により輪郭データ演算手段により得られた輪郭デー
タと標準輪郭データ記憶手段により記憶されている標準
輪郭データとを角度を順次変位させたときの相関度を演
算する。そして、位置姿勢決定手段により相関度演算手
段により演算された相関度から物体と標準物体の照合関
係を決定し、物体の位置、姿勢を決定する。このよう
に、標準輪郭データ記憶手段及び輪郭データ演算手段に
て標準物体及び物体の輪郭を角度と距離の対応関係で表
すことによりデータ量を少なくすることができ、また、
相関度演算手段において角度を変位させて演算すること
が容易になる。その結果、容易に物体の位置、姿勢を認
識することができる。According to a second aspect of the present invention, the standard object data storage means stores the standard object data obtained by imaging the standard object.
The contour data corresponding to the angle centered on the distance of the contour of the three-dimensional image to the reference point is stored. Then, the contour data calculating means calculates contour data in which the distance of the contour of the two-dimensional image obtained by imaging the object to the reference point corresponds to an angle around the reference point. Then, the correlation degree calculating section calculates the degree of correlation when the angle between the contour data obtained by the contour data calculating section and the standard contour data stored by the standard contour data storage section is sequentially shifted. Then, the collation relationship between the object and the standard object is determined from the correlation calculated by the correlation calculation unit by the position and orientation determination unit, and the position and orientation of the object are determined. As described above, the standard contour data storage means and the contour data calculation means represent the standard object and the contour of the object by the correspondence between the angle and the distance, so that the data amount can be reduced.
It becomes easy to perform the calculation by displacing the angle in the correlation degree calculating means. As a result, the position and orientation of the object can be easily recognized.
【0012】請求項3の発明では、標準輪郭データ記憶
手段により標準物体の複数の安定姿勢に対する標準輪郭
データを記憶する。そして、相関度演算手段により複数
の標準輪郭データと輪郭データとを角度を順次変位させ
ながら相関度を演算する。そして、位置姿勢決定手段に
より相関度演算手段により決定された相関度のうち最も
照合した標準物体の安定姿勢から物体の安定姿勢を決定
する。これにより、複数の安定姿勢がある物体を認識す
る場合、標準輪郭データ記憶手段により標準輪郭データ
が標準物体の安定姿勢毎に記憶され、相関度演算手段に
より個々の安定姿勢毎に標準輪郭データと輪郭データの
相関度が演算され、位置姿勢決定手段により物体の安定
姿勢が最も相関度の大きい標準輪郭データが表す標準物
体の安定姿勢であることを決定するので、物体がどんな
姿勢でどんな方向に置かれていても標準物体と同じ形状
の物体の位置、形状、姿勢、位相を認識することができ
る。According to the third aspect of the present invention, the standard contour data storage means stores standard contour data for a plurality of stable postures of the standard object. Then, the correlation degree calculating means calculates the correlation degree while sequentially changing the angles of the plurality of standard contour data and the contour data. Then, the stable posture of the object is determined from the stable posture of the standard object most closely matched among the correlation degrees determined by the correlation degree calculating means by the position and posture determining means. Thereby, when recognizing an object having a plurality of stable postures, the standard contour data is stored by the standard contour data storage means for each stable posture of the standard object, and the standard contour data is stored for each stable posture by the correlation degree calculating means. The correlation degree of the contour data is calculated, and the position / posture determination means determines that the stable posture of the object is the stable posture of the standard object represented by the standard contour data having the largest correlation degree. Even if it is placed, the position, shape, posture, and phase of an object having the same shape as the standard object can be recognized.
【0013】請求項4の発明では、輪郭データ及び標準
輪郭データを演算するときの基準点を輪郭内部の点とす
る。これにより、輪郭データは角度と距離の対応が1対
1となるので、相関度演算を容易に行うことができる。According to the fourth aspect of the present invention, the reference point when calculating the outline data and the standard outline data is set as a point inside the outline. As a result, the correspondence between the angle and the distance of the contour data is one-to-one, so that the correlation degree calculation can be easily performed.
【0014】請求項5の発明では、輪郭データ及び標準
輪郭データを演算するときの基準点を重心とする。これ
により、相関度演算が容易になり、さらに、物体をクラ
ンプする際のクランプ位置の把握が容易になる。According to the fifth aspect of the present invention, the reference point when calculating the contour data and the standard contour data is set as the center of gravity. This facilitates the calculation of the degree of correlation, and further facilitates grasping the clamp position when clamping the object.
【0015】請求項6の発明では、輪郭データ又は標準
輪郭データを2倍周期準備する。これにより、角度を順
次変位させて相関度の演算することが容易になる。In the invention according to claim 6, the contour data or the standard contour data is prepared in a double cycle. This makes it easy to calculate the degree of correlation by sequentially displacing the angles.
【0016】[0016]
【発明の実施の形態】以下、本発明を具体的な実施例に
基づいて説明する。図1はロボットの物体認識装置とそ
の出力信号により制御されるロボットの制御装置の機械
的及び電気的構成を示した構成図である。本発明はロボ
ットの物体認識装置として利用している。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described based on specific embodiments. FIG. 1 is a configuration diagram showing a mechanical and electrical configuration of a robot object recognition device and a robot control device controlled by an output signal thereof. The present invention is used as a robot object recognition device.
【0017】ロボットの物体認識装置10は物体Wに光
を上方から照射する投光器L、物体Wを撮像するカメラ
Cを有している。投光器Lは同期装置11から出力され
る信号に同期して照明光を物体Wに照射する。そして、
カメラCから出力された画像信号はA/D変換器12に
よりディジタル化されて画像メモリ13に濃淡画像とし
て記憶される。そして、その濃淡画像はCPU14によ
り処理されて画像メモリ15に記憶される。また、RA
M16には標準輪郭データが記憶されている標準輪郭デ
ータ記憶領域161があり、そのデータと画像メモリ1
5に記憶された物体を撮像した画像より求められる輪郭
データに従って、後述する処理が行われる。The object recognition device 10 of the robot has a projector L for irradiating the object W with light from above, and a camera C for imaging the object W. The projector L irradiates the object W with illumination light in synchronization with a signal output from the synchronization device 11. And
The image signal output from the camera C is digitized by the A / D converter 12 and stored in the image memory 13 as a gray image. Then, the grayscale image is processed by the CPU 14 and stored in the image memory 15. Also, RA
M16 has a standard contour data storage area 161 in which standard contour data is stored.
The processing described later is performed in accordance with the contour data obtained from the image of the object stored in No. 5 and obtained from the image.
【0018】一方、ロボット20は第一アーム21、第
二アーム22を有しており、その第二アーム22の先端
に物体Wをクランプするハンド23が配設されている。
また、ハンド23には物体Wに接触して感知するセンサ
24が設けられている。ロボット20の姿勢を制御する
ための制御装置30は、CPU31と制御プログラムを
記憶したROM33と教示データ等を記憶するRAM3
2とインタフェース34、36及びロボット20の駆動
軸を回転させるサーボモータを制御するサーボCPU3
5を有している。On the other hand, the robot 20 has a first arm 21 and a second arm 22, and a hand 23 for clamping the object W is provided at the tip of the second arm 22.
In addition, the hand 23 is provided with a sensor 24 for sensing by contacting the object W. The control device 30 for controlling the attitude of the robot 20 includes a CPU 31, a ROM 33 storing a control program, and a RAM 3 storing teaching data and the like.
2 and a servo CPU 3 for controlling interfaces 34 and 36 and a servo motor for rotating the drive shaft of the robot 20
Five.
【0019】ロボット20のハンド23の動作軌跡を制
御する教示データは、インタフェース34を介してフロ
ッピィディスク37からRAM32に入力される。ま
た、操作指令を行うためのキーボード38及び操作内容
等を表示するCRT表示装置39がインタフェース34
を介して接続されている。The teaching data for controlling the movement trajectory of the hand 23 of the robot 20 is input from the floppy disk 37 to the RAM 32 via the interface 34. A keyboard 38 for issuing operation commands and a CRT display device 39 for displaying operation contents and the like are provided by an interface 34.
Connected through.
【0020】また、ロボットの物体認識装置10のCP
U14とロボットの制御装置30のCPU31とはイン
タフェース36を介して接続されている。そして、ロボ
ットの認識装置10のCPU14にて演算されたクラン
プすべき物体Wの位置及び姿勢のデータがロボットの制
御装置30に入力され、ロボットの制御装置30はその
信号に基づいてロボット20の姿勢を制御するThe CP of the robot object recognition device 10
U14 and the CPU 31 of the robot controller 30 are connected via an interface 36. Then, the data of the position and posture of the object W to be clamped calculated by the CPU 14 of the robot recognition device 10 is input to the robot control device 30, and the robot control device 30 performs the posture of the robot 20 based on the signal. Control
【0021】次に、CPU14における処理手順につい
て図2のフローチャートに基づき説明する。ステップ1
00で同期回路11に制御信号が出力され、同期回路1
1から出力される信号に同期して投光器Lが駆動され、
物体Wに光が照射されるとともにカメラCはその物体W
を撮像し、その画像信号を画像メモリ13に取り込み画
像データとして記憶する。Next, the processing procedure in the CPU 14 will be described with reference to the flowchart of FIG. Step 1
00, a control signal is output to the synchronization circuit 11 and the synchronization circuit 1
The projector L is driven in synchronization with the signal output from 1;
The object W is irradiated with light, and the camera C
And captures the image signal into the image memory 13 and stores it as image data.
【0022】次に、ステップ102にて画像メモリ13
に記憶された画像データから物体の輪郭を抽出する。物
体の輪郭は画像の勾配、即ち画像の濃度変化が最大にな
る方向と大きさ、を求めることにより抽出することがで
きる。抽出された物体の輪郭データは画像メモリ15に
記憶される。Next, at step 102, the image memory 13
The contour of the object is extracted from the image data stored in. The contour of the object can be extracted by calculating the gradient of the image, that is, the direction and size at which the change in density of the image is maximized. The extracted contour data of the object is stored in the image memory 15.
【0023】次に、ステップ104にて基準点を設定す
る。基準点の位置は輪郭形状により一意に決まる点なら
ば画像処理画面上のどの位置でも構わないが、請求項4
で示したように輪郭内部の点を設定すると角度と距離の
対応が1対1となるので相関度演算が容易になる。ま
た、請求項5で示したように物体の重心を設定するとク
ランプする位置の把握と相関度演算が容易になる。本実
施例では基準点を重心と考える。物体の重心はその輪郭
形状が分かれば容易に求めることができる。Next, at step 104, a reference point is set. The position of the reference point may be any position on the image processing screen as long as it is a point uniquely determined by the contour shape.
When the points inside the contour are set as shown by, the correspondence between the angle and the distance becomes one-to-one, so that the calculation of the degree of correlation becomes easy. Further, setting the center of gravity of the object as described in claim 5 makes it easy to grasp the clamping position and calculate the degree of correlation. In this embodiment, the reference point is considered as the center of gravity. The center of gravity of an object can be easily obtained if its outline shape is known.
【0024】次に、ステップ106にて輪郭の基準点に
対する距離を基準点を中心とする角度に対応させた輪郭
データを演算する(輪郭データ演算手段)。輪郭データ
を演算する方法の一例としては、図3のように基準点G
(x,y)を原点とする極座標系を設定し、輪郭をその
極座標値R(r,θ)で表し、その極座標値R(r,
θ)の角度θに距離rを対応させたデータを求める方法
がある。輪郭データの極座標値の角度θと距離rを対応
を1周期全て求めると図7のグラフとなる。ここで、距
離rは角度θに対応するデータなので距離rはr(θ)
と表す。さらにデータ量を少なくするために角度α(以
下ステップ角度という)、例えばπ/180、毎に、極
座標値の角度θに対する距離rの値としてr(θ)を求
めて、図4のような配列を作成する。Next, in step 106, contour data is calculated in which the distance of the contour to the reference point corresponds to the angle around the reference point (contour data calculation means). As an example of a method of calculating the contour data, as shown in FIG.
A polar coordinate system whose origin is (x, y) is set, the contour is represented by its polar coordinate value R (r, θ), and its polar coordinate value R (r,
There is a method of obtaining data in which the distance r is made to correspond to the angle θ of θ). If the correspondence between the angle θ of the polar coordinate value of the contour data and the distance r is obtained for one cycle, the graph of FIG. 7 is obtained. Here, since the distance r is data corresponding to the angle θ, the distance r is r (θ)
It expresses. In order to further reduce the data amount, r (θ) is obtained as the value of the distance r with respect to the angle θ of the polar coordinate value for each angle α (hereinafter referred to as “step angle”), for example, π / 180, and an array as shown in FIG. Create
【0025】ところで、相関度演算を実施する際に必要
な標準輪郭データは、標準物体に対してステップ100
から106を実行した結果であり、RAM16内の標準
輪郭データ記憶領域161に予め記憶されている(標準
データ記憶手段)。このとき、ステップ104における
基準点の設定は、物体の基準点を設定したときと同じ手
段で設定する。即ち、本実施例のように物体の基準点を
重心としたならば、標準物体の基準点も重心とする。と
ころで、請求項3に示したように1つの標準物体に複数
の安定姿勢がある場合には、各々の安定姿勢について標
準輪郭データを演算し記憶する。各々の安定姿勢につい
て標準輪郭データを記憶することにより、標準物体と同
一形状の物体はどんな姿勢でどんな方向を向いていても
認識される。また、標準物体が複数あってもよく、本実
施例は複数の標準物体について複数の安定姿勢があるも
のとして以下の説明を行う。ここで、ある標準物体のあ
る安定姿勢の標準輪郭データを輪郭データと同様の方法
で求める。標準輪郭データの極座標値の角度θと距離r
を対応を1周期全て求めると図8のグラフとなる。ま
た、標準輪郭データの極座標値の角度θに対する距離r
の値を輪郭データと同じ角度ステップαで求めて図5の
ような配列を作成する。ここで、標準輪郭データの距離
rはg(θ)と表すことにする。By the way, the standard contour data necessary for performing the correlation degree calculation is obtained from the standard object in step 100.
To 106, and are stored in advance in the standard contour data storage area 161 in the RAM 16 (standard data storage means). At this time, the reference point is set in step 104 by the same means as when the reference point of the object is set. That is, if the reference point of the object is the center of gravity as in this embodiment, the reference point of the standard object is also the center of gravity. When one standard object has a plurality of stable postures, the standard contour data is calculated and stored for each stable posture. By storing the standard contour data for each stable posture, an object having the same shape as the standard object can be recognized regardless of the posture and the direction of the object. Further, there may be a plurality of standard objects, and the present embodiment will be described below assuming that the plurality of standard objects have a plurality of stable postures. Here, standard contour data of a certain stable posture of a certain standard object is obtained in the same manner as the contour data. Polar coordinate angle θ and distance r of standard contour data
Is obtained in one cycle, a graph shown in FIG. 8 is obtained. Further, the distance r with respect to the angle θ of the polar coordinate value of the standard contour data
Are obtained at the same angle step α as the contour data, and an array as shown in FIG. 5 is created. Here, the distance r of the standard contour data is represented by g (θ).
【0026】また、相関度演算を容易に行うために、請
求項6に示すように輪郭データを2倍周期準備する。2
倍周期として−2πから2πを考えると、輪郭データを
グラフで表しても配列で表しても−2π≦θ<0のとき
のr(θ)の値をr(θ+2π)の値とすることにより
2倍周期となる。2倍周期としたときの角度θと距離r
(θ)の対応を図9のグラフ及び図6の配列に表す。Further, in order to easily perform the correlation calculation, the contour data is prepared twice as long as the sixth aspect. 2
Assuming that the double period is from −2π to 2π, the value of r (θ) when −2π ≦ θ <0 is set to the value of r (θ + 2π) regardless of whether the contour data is represented by a graph or an array. The period becomes twice as long. Angle θ and distance r when the period is doubled
The correspondence of (θ) is shown in the graph of FIG. 9 and the arrangement of FIG.
【0027】ところで、図7のグラフと図8のグラフの
相関度を求めることは図8のグラフを平行移動させなが
ら図9のグラフとの相関度を求めることに相当する。図
8のグラフを平行移動させながら図9のグラフとの相関
度を求める式は次式にて定義される。Incidentally, obtaining the degree of correlation between the graph of FIG. 7 and the graph of FIG. 8 is equivalent to obtaining the degree of correlation with the graph of FIG. 9 while translating the graph of FIG. The equation for calculating the degree of correlation with the graph of FIG. 9 while translating the graph of FIG. 8 is defined by the following equation.
【数1】 ただし、βは図10のように図8のグラフをβだけθ軸
に平行に左へシフトして図9のグラフと重ねて、重なっ
た区間の相関度を演算することを表す。また、この演算
は基準点を中心に時計方向にβラジアン回転させた標準
物体と物体との相関度を演算したことに相当する。(Equation 1) Here, β indicates that the graph of FIG. 8 is shifted to the left by β in parallel with the θ axis as shown in FIG. 10 and is superimposed on the graph of FIG. 9 to calculate the degree of correlation in the overlapped section. This calculation is equivalent to calculating the degree of correlation between the standard object and the object rotated β radians clockwise around the reference point.
【0028】また、図5のg(θ)と図6のr(θ)と
の角度変位がβのときの相関度S(β)は次式にて定義
される。ただし、r(θ)は2倍周期として−2πから
2πまで定義されているものとする。The correlation S (β) when the angular displacement between g (θ) in FIG. 5 and r (θ) in FIG. 6 is β is defined by the following equation. However, it is assumed that r (θ) is defined as a double cycle from −2π to 2π.
【数2】 ただし、Σの下の添字θ=0,α,2πはθの初期値を
0、増分をα、最終値を2πとして総和を求めることを
表す。また角度変位βは、基準点を中心に時計方向にβ
ラジアン回転させた標準物体と物体との相関度を演算し
たことに相当する角度変位である。(Equation 2) However, the subscripts θ = 0, α, and 2π below Σ indicate that the sum is obtained by setting the initial value of θ to 0, the increment to α, and the final value to 2π. The angular displacement β is β in a clockwise direction around the reference point.
This is an angular displacement corresponding to calculating the degree of correlation between the standard object rotated in radians and the object.
【0029】相関度の演算を行うために、ステップ10
8にて初期設定として角度変位βを0とする。次に、ス
テップ110にて角度変位βのときのある標準物体のあ
る安定姿勢の基準点に対する距離を基準点を中心とする
角度に対応させた標準輪郭データと輪郭データを角度を
順次変位させたときの相関度を演算する(相関度演算手
段)。相関度の演算は、輪郭データ及び標準輪郭データ
がグラフで表されているときは式(1)を用いる。ここ
で、角度変位0のときとβのときの相関度を演算する区
間を図10に表す。図10にて角度変位0のときの標準
輪郭データは破線で表し、角度変位βのときの標準輪郭
データは一点鎖線で表しており、相関度を演算する区間
は図10にて2倍周期で表されている輪郭データと標準
輪郭データが重なっている区間である。輪郭データ及び
標準輪郭データが配列で表されているときは式(2)を
用いる。In order to calculate the degree of correlation, step 10
8, the angular displacement β is set to 0 as an initial setting. Next, in step 110, the standard contour data and the contour data in which the distance from the reference point of a certain stable posture of the certain standard object at the time of the angular displacement β corresponds to the angle around the reference point were sequentially displaced in angle. The degree of correlation at that time is calculated (correlation degree calculating means). The calculation of the degree of correlation uses Equation (1) when the contour data and the standard contour data are represented by a graph. Here, FIG. 10 shows a section where the degree of correlation between the case where the angular displacement is 0 and the case where the angular displacement is β is calculated. In FIG. 10, the standard contour data when the angular displacement is 0 is represented by a broken line, and when the angular displacement is β, the standard contour data is represented by a dashed-dotted line. This is a section where the represented contour data and the standard contour data overlap. Equation (2) is used when the contour data and the standard contour data are represented in an array.
【0030】次に、ステップ112にてβにαを加え
る。標準輪郭データと輪郭データともにαラジアン毎に
距離の値を求めているので、式(2)の演算はαラジア
ン毎にしか定義できないためである。ただし、相関度の
演算を式(1)にて行う場合にはβに加える数はαに限
定する必要はなく、相関度を演算したい任意の角度ステ
ップを加えればよい。次に、ステップ114にてβ<2
πかどうかを判定する。β<2πならばステップ110
に戻りステップ112で求めたβのときのS(β)を求
める。即ち、ステップ110からステップ114を繰り
返すことにより、相関度の演算を式(2)で行った場
合、標準物体を時計方向にαラジアン回転させる毎に物
体との相関度S(β)を求めることになる。又、相関度
の演算を式(1)にて行ったならば、標準物体を時計方
向に回転させながら任意の角度ステップ毎に物体との相
関度S(β)を求めることになる。β≧2πならばどち
らの相関度演算方法でも標準物体と物体の相関度S
(β)を標準物体1回転分演算したことになるのでステ
ップ116を実行する。Next, at step 112, α is added to β. This is because the calculation of Expression (2) can be defined only for each α radian since the distance value is obtained for each of the standard outline data and the contour data for each α radian. However, when the calculation of the degree of correlation is performed by the equation (1), the number added to β does not need to be limited to α, and an arbitrary angle step for calculating the degree of correlation may be added. Next, in step 114, β <2
Determine whether it is π. If β <2π, step 110
And S (β) at the time of β obtained in step 112 is obtained. That is, when the calculation of the degree of correlation is performed by equation (2) by repeating steps 110 to 114, the degree of correlation S (β) with the object is obtained every time the standard object is rotated clockwise by α radians. become. Also, if the calculation of the degree of correlation is performed by the equation (1), the degree of correlation S (β) with the object is obtained at every arbitrary angle step while rotating the standard object clockwise. If β ≧ 2π, the correlation S between the standard object and the object can be obtained by either of the correlation calculation methods.
Since (β) has been calculated for one rotation of the standard object, step 116 is executed.
【0031】次に、ステップ116にて、ステップ11
0からステップ114において0≦β<2πにて演算を
おこなった標準輪郭データと輪郭データの相関度S
(β)の最大値SMAX (β)とそのときのβであるβ
MAX を抽出する。この結果、個々の標準輪郭データの相
関度S(β)の最大値SMAX (β)とβMAX が求められ
る。これにより、物体が現在演算を行っている標準物体
のその安定姿勢と一致していると仮定したときの標準物
体とその物体の位相差βMAX が求められる。これによ
り、βMAX ラジアン時計方向に回転させた現在演算を行
っている標準物体のその安定姿勢が照合候補の一つとし
て求められる。Next, in step 116, step 11
0 to the correlation value S between the standard contour data and the contour data calculated in step 114 at 0 ≦ β <2π.
The maximum value S MAX (β) of (β) and β at that time, β
Extract MAX . As a result, the maximum values S MAX (β) and β MAX of the correlation degrees S (β) of the individual standard contour data are obtained. As a result, the phase difference β MAX between the standard object and the standard object assuming that the object matches the stable posture of the standard object for which the calculation is being performed is obtained. As a result, the stable posture of the standard object that is currently performing the calculation and rotated in the β MAX radian clockwise direction is obtained as one of the matching candidates.
【0032】次に、ステップ118にて、異なる標準輪
郭データの相関度を比較するためにαラジアン毎の相関
度S(β)のうち最大値SMAX (βMAX )が所定の値を
越えないように全ての相関度S(β)を補正(以下規格
化という)して相関度TMAX(βMAX )を求める。規格
化した相関度T(β)を式(1)で相関度を演算した場
合次式で定義する。Next, at step 118, the maximum value S MAX (β MAX ) of the correlation degrees S (β) for each α radian does not exceed a predetermined value in order to compare the correlation degrees of different standard contour data. As described above, all the correlation degrees S (β) are corrected (hereinafter referred to as “normalization”) to obtain the correlation degree T MAX (β MAX ). When the normalized degree of correlation T (β) is calculated by equation (1), it is defined by the following equation.
【数3】 式(2)にて相関度を演算した場合は、次式にて規格化
した相関度T(β)を定義する。(Equation 3) When the degree of correlation is calculated by equation (2), the normalized degree of correlation T (β) is defined by the following equation.
【数4】 (Equation 4)
【0033】次に、ステップ120にてある標準物体の
全ての安定姿勢の相関度の演算が終了したかどうか判定
する。終了していなければ、ステップ122にて次の安
定姿勢の標準輪郭データを標準輪郭データ記憶領域16
1より抽出し、ステップ108からの相関度の演算を行
う。終了していれば、ステップ124を実行する。Next, it is determined in step 120 whether or not the calculation of the degree of correlation of all the stable postures of the standard object has been completed. If not, the standard contour data of the next stable posture is stored in the standard contour data storage area 16 in step 122.
1, and the calculation of the degree of correlation from step 108 is performed. If completed, step 124 is executed.
【0034】次に、ステップ124にて全ての標準物体
の演算が終了したかどうか判定する。終了していなけれ
ば、ステップ126にて次の標準物体の標準輪郭データ
を標準輪郭データ記憶領域161より抽出し、ステップ
108からの相関度の演算を行う。終了していれば、ス
テップ128を実行する。ステップ108からステップ
126を繰り返すことにより、全ての標準輪郭データと
輪郭データとの相関度を演算し、個々の標準輪郭データ
について一番相関度の大きいときの角度変位とそのとき
の相関度を規格化した相関度T(β)を求めることがで
きる。Next, at step 124, it is determined whether or not all the standard objects have been calculated. If the processing has not been completed, the standard contour data of the next standard object is extracted from the standard contour data storage area 161 in step 126, and the correlation degree is calculated from step 108. If it has been completed, step 128 is executed. By repeating steps 108 to 126, the correlation between all the standard contour data and the contour data is calculated, and the angular displacement at the time of the highest correlation and the correlation at that time are standardized for each standard contour data. The converted correlation degree T (β) can be obtained.
【0035】次に、ステップ128にて規格化された相
関度T(β)が一番大きい標準輪郭データとそのときの
角度変位βMAX を求めることにより、物体の位置と姿勢
と位相を決定する(位置姿勢決定手段)。この結果、物
体は規格化された相関度T(β)が一番大きい標準輪郭
データで示される標準物体のその安定姿勢をβラジアン
時計方向に回転させた物体と認識することができる。Next, the position, orientation and phase of the object are determined by finding the standard contour data having the largest correlation T (β) and the angular displacement β MAX at that time, which were standardized in step 128. (Position and orientation determination means). As a result, the object can be recognized as an object obtained by rotating the stable posture of the standard object indicated by the standard contour data having the largest normalized correlation degree T (β) in the β radian clockwise direction.
【0036】次に、ステップ130において、ステップ
128にて決定した物体の形状及びその安定姿勢と重心
位置と位相のデータがロボットの制御装置30に転送さ
れる。ロボット制御装置30は物体の形状及びその安定
姿勢、さらに重心位置と位相のデータに基づいてクラン
プ位置を決定しロボット20の姿勢とハンド23を制御
して、ロボット20は物体をクランプする。上記実施例
において、2倍周期にしたのは物体の輪郭データであっ
たが、標準輪郭データを2倍周期準備しても構わない。
また、上記実施例では2倍周期の範囲は−2πから2π
の範囲としているが2倍周期であれば他の範囲、例えば
−πから3πでも構わない。Next, in step 130, the data of the shape of the object determined in step 128, its stable posture, the position of the center of gravity, and the phase are transferred to the controller 30 of the robot. The robot controller 30 determines the clamp position based on the data of the shape and the stable posture of the object and the position of the center of gravity and the phase, controls the posture of the robot 20 and the hand 23, and the robot 20 clamps the object. In the above embodiment, the contour data of the object is set to the double cycle, but the standard contour data may be prepared for the double cycle.
In the above embodiment, the range of the double period is from -2π to 2π.
, But other ranges, for example, -π to 3π, may be used as long as the period is twice as long.
【図1】本実施例に係るロボットの物体認識装置とその
出力信号を用いて制御されるロボットの制御装置の機械
的及び電気的構成を示した構成図。FIG. 1 is a configuration diagram showing a mechanical and electrical configuration of a robot object recognition device according to an embodiment and a robot control device controlled using output signals thereof.
【図2】本実施例に係るロボットの物体認識装置で使用
されているCPUの処理手順を示したフローチャート。FIG. 2 is a flowchart showing a processing procedure of a CPU used in the robot object recognition device according to the embodiment.
【図3】輪郭データ演算手段の一実施例として極座標値
により輪郭データを示した場合の極座標系設定方法を示
した図。FIG. 3 is a diagram showing a method of setting a polar coordinate system when contour data is represented by polar coordinate values as one embodiment of the contour data calculating means.
【図4】輪郭データの極座標値の角度θと距離r(θ)
を対応させた配列FIG. 4 shows an angle θ and a distance r (θ) of polar coordinates of contour data.
Array corresponding to
【図5】標準輪郭データの極座標値の角度θと距離g
(θ)を対応させた配列FIG. 5 shows an angle θ and a distance g of polar coordinate values of standard contour data.
Array corresponding to (θ)
【図6】輪郭データの極座標値の角度θと距離r(θ)
を対応させた配列を2倍周期にした配列FIG. 6 shows the angle θ and the distance r (θ) of the polar coordinate values of the contour data.
An array in which the cycle corresponding to
【図7】輪郭データの極座標値の角度θと距離r(θ)
を対応させたグラフFIG. 7 shows the angle θ and the distance r (θ) of the polar coordinate values of the contour data.
Graph corresponding to
【図8】標準輪郭データの極座標値の角度θと距離g
(θ)を対応させたグラフFIG. 8 shows an angle θ and a distance g of polar coordinates of standard contour data.
Graph corresponding to (θ)
【図9】輪郭データの極座標値の角度θと距離r(θ)
を対応させたグラフを2倍周期にしたグラフFIG. 9 shows the angle θ and the distance r (θ) of the polar coordinate values of the contour data.
Graph with a double cycle of the graph corresponding to
【図10】輪郭データと標準輪郭データの相関度演算の
区間の対応を表したグラフFIG. 10 is a graph showing the correspondence between sections for calculating the degree of correlation between contour data and standard contour data.
C…カメラ D…標準輪郭データ G(x,y)…基準点 L…投光器 R(r,θ)…輪郭上の1点 W…物体 10…ロボットの物体認識装置 20…ロボット 21…第一のアーム 22…第二のアーム 23…ハンド 24…センサ 30…ロボットの制御装置 37…フロッピィディスク 38…キーボード 39…CRT表示装置 C: Camera D: Standard contour data G (x, y): Reference point L: Projector R (r, θ): One point on the contour W: Object 10: Robot object recognition device 20: Robot 21: First Arm 22 Second arm 23 Hand 24 Sensor 30 Robot controller 37 Floppy disk 38 Keyboard 39 CRT display
フロントページの続き (72)発明者 石橋 一泰 大阪府池田市桃園2丁目1番1号 ダイハ ツ工業株式会社内Continued on the front page (72) Inventor Kazuyasu Ishibashi 2-1-1 Taoyuan, Ikeda-shi, Osaka Daihatsu Industry Co., Ltd.
Claims (6)
て、 物体の2次元画像の輪郭の基準点に対する距離を基準点
を中心とする角度に対応させた輪郭データと、 標準物体の2次元画像の輪郭の基準点に対する距離を基
準点を中心とする角度に対応させた標準輪郭データとを
角度を順次変位させた時の相関関係から、 前記物体と前記標準物体との照合関係を決定し、 前記物体の位置及び姿勢を決定することを特徴とする物
体の位置、姿勢の認識方法。1. A method for recognizing the position and orientation of an object, comprising: contour data in which the distance of a contour of a two-dimensional image of the object to a reference point corresponds to an angle centered on the reference point; From the correlation when the angle is sequentially displaced with the standard contour data corresponding to the angle of the reference point of the contour with respect to the reference point, the collation between the object and the standard object is determined, A method for recognizing the position and orientation of an object, comprising determining the position and orientation of the object.
て、 標準物体の2次元画像の輪郭の基準点に対する距離を基
準点を中心とする角度に対応させた輪郭データを記憶す
る標準輪郭データ記憶手段と、 物体を撮像して得られた2次元画像の輪郭の基準点に対
する距離を基準点を中心とする角度に対応させた輪郭デ
ータを演算する輪郭データ演算手段と、 前記輪郭データ演算手段により得られた前記輪郭データ
と前記標準輪郭データ記憶手段に記憶されている前記標
準輪郭データとを角度を順次変位させた時の相関度を演
算する相関度演算手段と、 前記相関度演算手段により演算された相関度から前記物
体と前記標準物体との照合関係を決定し、前記物体の位
置及び姿勢を決定する位置姿勢決定手段とを有すること
を特徴とする物体の位置、姿勢の認識装置。2. An apparatus for recognizing a position and a posture of an object, comprising: storing standard contour data in which a distance of a contour of a two-dimensional image of a standard object from a reference point corresponds to an angle centered on the reference point. Means for calculating contour data in which a distance of a contour of a two-dimensional image obtained by imaging an object to a reference point corresponds to an angle centered on the reference point; and the contour data calculating means. Correlation degree calculating means for calculating the degree of correlation when the obtained contour data and the standard contour data stored in the standard contour data storage means are sequentially displaced in angle, and calculation by the correlation degree calculating means Determine the collation relationship between the object and the standard object from the correlation degree, the position of the object characterized by having a position and orientation determining means for determining the position and orientation of the object, Posture recognition device.
物体の複数の安定姿勢に対する前記標準輪郭データを記
憶し、前記相関度演算手段は、前記複数の標準輪郭デー
タと前記輪郭データとを角度を順次変位させた時の相関
度を演算し、前記位置姿勢決定手段は、前記相関度演算
手段により決定された前記相関度から最も照合した前記
標準物体の安定姿勢から前記物体の安定姿勢を決定する
ことを特徴とする請求項2に記載の物体の位置、姿勢の
認識装置。3. The standard contour data storage means stores the standard contour data for a plurality of stable postures of the standard object, and the correlation calculating means calculates an angle between the plurality of standard contour data and the contour data. Are sequentially calculated, and the position / posture determination means determines the stable attitude of the object from the stable attitude of the standard object most closely collated from the correlation degree determined by the correlation degree calculation means. The apparatus for recognizing the position and posture of an object according to claim 2, wherein the recognition is performed.
画像の内部の点であることを特徴とする請求項2又は請
求項3に記載の物体の位置、姿勢の認識装置。4. The apparatus according to claim 2, wherein the reference point is a point inside a two-dimensional image determined by the outline.
画像の重心であることを特徴とする請求項2乃至請求項
4に記載の物体の位置、姿勢の認識装置。5. The apparatus according to claim 2, wherein the reference point is a center of gravity of a two-dimensional image determined by the outline.
は、2倍周期準備されることを特徴とする請求項2乃至
請求項5のいずれかに記載の物体の位置、姿勢の認識装
置。6. The apparatus according to claim 2, wherein the contour data or the standard contour data is prepared in a double cycle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24110396A JP3594747B2 (en) | 1996-08-22 | 1996-08-22 | Object recognition method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24110396A JP3594747B2 (en) | 1996-08-22 | 1996-08-22 | Object recognition method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1063318A true JPH1063318A (en) | 1998-03-06 |
JP3594747B2 JP3594747B2 (en) | 2004-12-02 |
Family
ID=17069338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24110396A Expired - Fee Related JP3594747B2 (en) | 1996-08-22 | 1996-08-22 | Object recognition method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3594747B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11344322A (en) * | 1998-06-01 | 1999-12-14 | Daihatsu Motor Co Ltd | Work posture discrimination device |
JP2000213921A (en) * | 1999-01-25 | 2000-08-04 | Matsushita Electric Ind Co Ltd | Device and method for recognising image |
KR100382266B1 (en) * | 2000-08-18 | 2003-05-01 | 이용중 | Auto Brand Attachment Method of Magnitude Changing Objects Using Robot Pose Adjustment Algorithm |
KR100933483B1 (en) | 2008-01-28 | 2009-12-23 | 국방과학연구소 | Target recognition method in the image |
WO2011093317A1 (en) * | 2010-01-29 | 2011-08-04 | 新世代株式会社 | Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus |
JP2011232851A (en) * | 2010-04-26 | 2011-11-17 | Ricoh Co Ltd | Object detection method and object detection program |
EP2783815A3 (en) * | 2013-03-19 | 2015-10-07 | Kabushiki Kaisha Yaskawa Denki | Robot system and method for producing to-be-processed material |
-
1996
- 1996-08-22 JP JP24110396A patent/JP3594747B2/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11344322A (en) * | 1998-06-01 | 1999-12-14 | Daihatsu Motor Co Ltd | Work posture discrimination device |
JP2000213921A (en) * | 1999-01-25 | 2000-08-04 | Matsushita Electric Ind Co Ltd | Device and method for recognising image |
KR100382266B1 (en) * | 2000-08-18 | 2003-05-01 | 이용중 | Auto Brand Attachment Method of Magnitude Changing Objects Using Robot Pose Adjustment Algorithm |
KR100933483B1 (en) | 2008-01-28 | 2009-12-23 | 국방과학연구소 | Target recognition method in the image |
WO2011093317A1 (en) * | 2010-01-29 | 2011-08-04 | 新世代株式会社 | Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus |
JP2011232851A (en) * | 2010-04-26 | 2011-11-17 | Ricoh Co Ltd | Object detection method and object detection program |
EP2783815A3 (en) * | 2013-03-19 | 2015-10-07 | Kabushiki Kaisha Yaskawa Denki | Robot system and method for producing to-be-processed material |
Also Published As
Publication number | Publication date |
---|---|
JP3594747B2 (en) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11511421B2 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
JP3834297B2 (en) | Image processing device | |
US10430650B2 (en) | Image processing system | |
JPH01196501A (en) | Object recognizing apparatus for robot | |
CN110926330B (en) | Image processing apparatus, image processing method, and program | |
CN111507908A (en) | Image correction processing method, device, storage medium and computer equipment | |
WO2020141468A1 (en) | Method and system for detecting position of a target area in a target subject | |
JP2014029664A (en) | Image comparison range generation method, positional orientation detection method, image comparison range generation device, positional orientation detection device, robot, robot system, image comparison range generation program and positional orientation detection program | |
JP3594747B2 (en) | Object recognition method and apparatus | |
CN112164112A (en) | Method and device for acquiring pose information of mechanical arm | |
US7400760B2 (en) | Image processing apparatus | |
JP6424432B2 (en) | Control device, robot system, robot and robot control method | |
JPH0780790A (en) | Three-dimensional object grasping system | |
CN109079777B (en) | Manipulator hand-eye coordination operation system | |
CN113902721A (en) | Workpiece position adjusting method, control processing device and adjusting system | |
CN116985141B (en) | Industrial robot intelligent control method and system based on deep learning | |
JPH05127724A (en) | High-speed picking device for stacked component | |
JP7372076B2 (en) | image processing system | |
JPH10206135A (en) | Decision method for positional posture of three-dimensional object | |
JPH07146121A (en) | Recognition method and device for three dimensional position and attitude based on vision | |
EP3985609A1 (en) | Positioning system and method for determining the three-dimensional position of a movable object | |
JPH09128550A (en) | Method and device for processing image | |
JP2021061014A (en) | Learning device, learning method, learning model, detector, and gripping system | |
WO2022153345A1 (en) | Control device, robot system, and control method | |
JPH0981790A (en) | Device and method for three-dimensional shape restoration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040901 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070910 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |