JP2976589B2 - Method and apparatus for detecting three-dimensional object - Google Patents
Method and apparatus for detecting three-dimensional objectInfo
- Publication number
- JP2976589B2 JP2976589B2 JP3146371A JP14637191A JP2976589B2 JP 2976589 B2 JP2976589 B2 JP 2976589B2 JP 3146371 A JP3146371 A JP 3146371A JP 14637191 A JP14637191 A JP 14637191A JP 2976589 B2 JP2976589 B2 JP 2976589B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- contour
- contour shape
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は三次元物体の検出方法及
び装置に関し、特に産業用ロボットに部品を組み立てさ
せるとき、部品の位置や姿勢を検出させる三次元物体の
検出方法及び装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for detecting a three-dimensional object, and more particularly to a method and an apparatus for detecting a three-dimensional object for detecting the position and orientation of a part when an industrial robot assembles the part.
【０００２】[0002]
【従来の技術】従来の三次元物体の検出方法及び装置に
おいて、文献１，ベソルド・ケー・ピー・ホーン（Ｂｅ
ｒｔｈｏｌｄ．Ｋ．Ｐ．Ｈｏｒｎ），ロボットビジョン
（Ｒｏｂｏｔ Ｖｉｓｉｏｎ），ザミットプレス（Ｔｈ
ｅ ＭＩＴ Ｐｒｅｓｓ），３６５〜３９９頁、４２３
〜４５１頁，１９８６．に記載の技術により図５（Ａ）
に示すトーラス物体１００の姿勢を検出する手法を説明
する。2. Description of the Related Art A conventional method and apparatus for detecting a three-dimensional object are disclosed in Document 1, Besold K.P.
rtold. K. P. Horn), Robot Vision, Zamit Press (Th
e MIT Press), 365-399, 423
451, 1986. 5 (A) by the technique described in FIG.
The method for detecting the attitude of the torus object 100 shown in FIG.
【０００３】第１の段階では、予めトーラス物体１００
の表面上の各点Ｐ（ｕ，ｖ）で算出されるガウス曲率を
ｋ（ｕ，ｖ）とし、点Ｐ（ｕ，ｖ）におけるトーラス物
体１００の法線方向ｎ（ｕ，ｖ）と同じ法線方向を持つ
単位球面上の位置をＳ（ξ，η）としたとき、式（１）
でモデルＧm （ξ，η）を合成する。In the first stage, a torus object 100
The Gaussian curvature calculated at each point P (u, v) on the surface of is represented by k (u, v), which is the same as the normal direction n (u, v) of the torus object 100 at the point P (u, v). When the position on the unit sphere having the normal direction is S (ξ, η), the expression (1)
Synthesizes a model G m (ξ, η).
【０００４】 Ｇm （ξ，η）＝１／ｋ（ｕ，ｖ） …（１） 第２段階として文献１の２９９〜３３３頁に記載されて
いる照度差ステレオ手法で検出されるトーラス物体１０
０の図５（Ｂ）に示す法線方向群｛ｎi ，ｉ＝１，２，
…，Ｎ｝の単位球面上でのヒストグラムＧo （ξ′，
η′）は見えているトーラス物体の特徴量として式
（２）で求める。G m (ξ, η) = 1 / k (u, v) (1) As a second step, a torus object 10 detected by the photometric stereo method described on page 299 to 333 of Document 1
0, the normal direction group {n i , i = 1, 2, 2,.
, N｝ on the unit sphere histogram G o (ξ ′,
η ′) is obtained by Expression (2) as a feature amount of the visible torus object.
【０００５】 Ｇo （ξ′，η′）←Ｇo （ξ′，η′）＋１ …（２） ただし（ξ′，η′）は単位球面上の位置Ｓ（ξ′，
η′）における法線方向がｎi と一致する様に選択され
る。 Go (ξ ′, η ′) ← G o (ξ ′, η ′) + 1 (2) where (た だ し ′, η ′) is the position S (位置 ′,
η ′) is selected such that the normal direction coincides with n i .
【０００６】第３段階として文献１の４３９〜４４０頁
に記載されている手法でモデルＧm （ξ，η）とヒスト
グラムＧo （ξ′，η′）を照合することにより座標系
ξ−ηとξ′−η′の座標変換行列Ｒを式（３）で求
め、 Ｒ：（ξ，η）＝（ξ′，η′）Ｒ …（３） 見えているトーラス物体の姿勢として検出していた。As a third step, the coordinate system ξ−η is obtained by collating the model G m (ξ, η) with the histogram G o (ξ ′, η ′) by the method described on pages 439 to 440 of Document 1. And a coordinate transformation matrix R of ξ′−η ′ are obtained by equation (3). R: (ξ, η) = (ξ ′, η ′) R (3) Detected as the posture of the visible torus object. Was.
【０００７】外乱光の影響等で見えている三次元物体表
面の法線方向群を精度良く検出するのは困難であるた
め、見えている三次元物体の姿勢が正しく求められない
という問題がある。Since it is difficult to accurately detect the normal direction group of the surface of the visible three-dimensional object due to the influence of disturbance light, the posture of the visible three-dimensional object can not be determined correctly. <br/> There is a problem.
【０００８】本発明の目的は、屋外でも使用できる三次
元物体の姿勢や位置の検出が正しくできる三次元物体の
検出方法及び装置を提供することにある。An object of the present invention is to provide a method and an apparatus for detecting a three-dimensional object which can be used outdoors and can correctly detect the orientation and position of the three-dimensional object.
【０００９】[0009]
【課題を解決するための手段】第１の発明の三次元物体
の検出方法は、視線が重心を通過する状態で観測された
輪郭形状と、三次元物体の前記輪郭形状を予めあらゆる
視線方向から前記状態で観測して合成された前記三次元
物体のモデルと、このモデルと前記観測された輪郭形状
とを照合して前記三次元物体の姿勢と位置を検出する。According to a first aspect of the present invention, there is provided a method for detecting a three-dimensional object, wherein a contour observed in a state where the line of sight passes through the center of gravity and the contour of the three-dimensional object are determined in advance from all line-of-sight directions. The posture and position of the three-dimensional object are detected by collating the model of the three-dimensional object observed and synthesized in the state with the model and the observed contour shape.
【００１０】第２の発明の三次元物体の検出装置は、視
線が重心を通過する状態であらゆる方向から観測して得
られる三次元物体の輪郭形状群の画像が記憶されるモデ
ル記憶手段と、指定された視点と視線方向とにより三次
元物体画像を出力する撮像手段と、前記三次元物体画像
の輪郭形状を抽出する輪郭抽出手段と、前記輪郭形状の
重心位置が光軸と一致するように前記撮像手段を制御す
る視野制御手段と、前記輪郭形状と前記輪郭形状群との
照合により前記三次元物体を姿勢を検出する姿勢検出手
段とを有する。According to a second aspect of the present invention, there is provided a three-dimensional object detecting device, comprising: a model storage means for storing an image of a group of contours of a three-dimensional object obtained by observing the line of sight passing through the center of gravity from all directions; Imaging means for outputting a three-dimensional object image according to a designated viewpoint and line-of-sight direction; contour extracting means for extracting a contour shape of the three-dimensional object image; and a center of gravity of the contour shape coincides with an optical axis. A visual field control unit that controls the imaging unit; and a posture detection unit that detects a posture of the three-dimensional object by comparing the outline shape with the outline shape group.
【００１１】第３の発明の三次元物体の検出装置は、あ
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測することにより得られる輪郭形状
群の画像モデルを予め記憶するモデル記憶手段と、指定
された視点と視線方向とにより三次元物体画像を出力す
る撮像手段と、三次元物体画像から求められる輪郭形状
の面積が極大になるように前記撮像手段を制御する能動
的輪郭抽出手段と、前記輪郭形状の重心位置が光軸と一
致するように前記撮像手段を制御する視野制御手段と、
前記輪郭形状と前記輪郭形状群との照合により前記三次
元物体の姿勢を検出する姿勢検出手段とを有する。A three-dimensional object detecting apparatus according to a third aspect of the present invention stores, in advance, an image model of a group of contour shapes obtained by observing a three-dimensional object so that a line of sight passes through the center of gravity of the contour shape from any line of sight. Model storage means, an imaging means for outputting a three-dimensional object image based on a designated viewpoint and a line-of-sight direction, and an active means for controlling the imaging means so that the area of the contour shape obtained from the three-dimensional object image is maximized. Objective contour extraction means, and a visual field control means for controlling the imaging means so that the center of gravity of the contour shape coincides with the optical axis,
Posture detecting means for detecting a posture of the three-dimensional object by comparing the outline shape with the outline shape group;
【００１２】第４の発明の三次元物体の検出装置は、あ
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測して得られる輪郭形状群の記述を
記憶する拡張モデル記憶手段と、指定された視点から指
定された視線方向で観測された三次元物体画像を出力す
る撮像手段と、前記三次元物体画像から輪郭形状を求め
る輪郭抽出手段と、、前記輪郭形状の重心位置が光軸と
一致するように前記撮像手段を制御する視野制御手段
と、前記輪郭形状と前記輪郭形状群の記述と照合する三
次元情報抽出手段を具備し、見えている三次元物体の姿
勢と位置を検出する。A three-dimensional object detecting device according to a fourth aspect of the present invention is an extended model for storing a description of a group of contour shapes obtained by observing a three-dimensional object such that a line of sight passes through the center of gravity of the contour shape from any line of sight. Storage means, imaging means for outputting a three-dimensional object image observed in a specified line-of-sight direction from a specified viewpoint, contour extraction means for obtaining a contour shape from the three-dimensional object image, and a center of gravity of the contour shape A visual field control unit that controls the imaging unit so that the position coincides with the optical axis; and a three-dimensional information extraction unit that compares the outline shape with the description of the outline shape group, and includes a posture of the visible three-dimensional object. And detect the position.
【００１３】第５の発明の三次元物体の検出装置は、あ
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測して得られる輪郭形状群の記述を
記憶する拡張モデル記憶手段と、指定された視点から指
定された視線方向に観測した三次元物体画像を出力する
撮像手段と、前記三次元物体画像から求められる輪郭形
状の面積が極大になるように前記撮像手段を制御する能
動的輪郭抽出手段と、前記輪郭形状の重心位置が光軸と
一致するように前記撮像手段を制御する視野制御手段
と、前記輪郭形状と前記輪郭形状群の記述と照合する三
次元情報抽出手段を具備し、見えている三次元物体の姿
勢と位置を検出する。A three-dimensional object detecting apparatus according to a fifth aspect of the present invention is an extended model for storing a description of a group of contour shapes obtained by observing a three-dimensional object so that a line of sight passes through the center of gravity of the contour shape from any line of sight. A storage unit, an imaging unit that outputs a three-dimensional object image observed in a specified line-of-sight direction from a specified viewpoint, and the imaging unit such that an area of a contour shape obtained from the three-dimensional object image is maximized. Active contour extraction means for controlling, visual field control means for controlling the imaging means so that the center of gravity of the contour shape coincides with the optical axis, and three-dimensional information for collating the contour shape with the description of the contour shape group An extraction unit is provided to detect a posture and a position of a visible three-dimensional object.
【００１４】[0014]
【作用】本発明の第１の原理は、視線が輪郭形状の重心
を通過する状態で観測される見えている三次元物体の輪
郭形状を、同様の条件で予めあらゆる視線方向から観測
して合成された輪郭形状群と照合することにより、見え
ている三次元物体の姿勢を検出するものである。ここ
に、三次元物体の姿勢とは同図におけるモデル座標系Ｏ
−Ｘ−Ｙ−ＺとＴＶカメラ座標系Ｏ−ｘ−ｙ−ｚの基底
変換として定義されるものである。According to a first principle of the present invention, a contour shape of a visible three-dimensional object observed in a state where the line of sight passes through the center of gravity of the contour shape is previously observed and synthesized under the same conditions from all directions of the line of sight. The posture of the visible three-dimensional object is detected by collating with the set of contour shapes. Here, the posture of the three-dimensional object is the model coordinate system O in FIG.
-XYZ and is defined as a basis transformation between the TV camera coordinate system Oxyz.
【００１５】例えば、図６に示す三次元物体１０１が与
えられたとき、第１段階として三次元物体１０１にモデ
ル座標系Ｏ−Ｘ−Ｙ−Ｚを設定する。第２段階としてモ
デル座標系Ｏ−Ｘ−Ｙ−Ｚを Ｘ2 ＋Ｙ2 ＋Ｚ2 ＝１ …（４） 式（４）で定義される球面上の極座標式（５） （ｃｏｓφi ｓｉｎθj ，ｓｉｎφi ｓｉｎθj ，ｃｏｓθj ） …（５） で表わされる位置Ｐijにおける法線方向を式（６）とす
る。For example, when a three-dimensional object 101 shown in FIG. 6 is given, a model coordinate system OXYYZ is set for the three-dimensional object 101 as a first step. As a second step, the model coordinate system O-X-Y-Z is expressed by the following formula: X 2 + Y 2 + Z 2 = 1 (4) Polar coordinate equation (5) on a spherical surface defined by equation (4) (cos φ i sin θ j , sin φ i sin θ j , cos θ j ) (5) The normal direction at the position Pij represented by the following expression (5) is defined as expression (6).
【００１６】 ｎ（φi ，θj ）＝（ｃｏｓφi ｓｉｎθj ，ｓｉｎφi ｓｉｎθj ，ｃｏｓ θj ） …（６） 第３段階として、図７に示すＷ軸がｎ（φi ，θj ）と
対向する座標系Ｏo −ｕ−ｖ−ｗを設定し、上記座標系
Ｏo −ｕ−ｖ−ｗのｕ−ｖ平面をπijとする。第４段階
として、前記三次元物体１０１を平面πijに平行投影し
て生成される輪郭形状を前記座標系Ｏo −ｕ−ｖ−ｗで
測り、輪郭形状の重心位置を式（７）で求める。[0016] n (φ i, θ j) = (cosφ i sinθ j, sinφ i sinθ j, cos θ j) ... (6) as the third stage, W axis n (phi i shown in FIG. 7, theta j ) and sets the coordinate system O o -u-v-w facing, the u-v plane of the coordinate system O o -u-v-w and [pi ij. As a fourth step, the contour shape generated by projecting the three-dimensional object 101 in parallel to the plane π ij is measured in the coordinate system O o -uvw, and the position of the center of gravity of the contour shape is calculated by equation (7). Ask.
【００１７】 [0017]
【００１８】第５段階として、平面πij上において、ｍ
o を原点とする座標系ｏ−ｕ−ｖ−ｗを設定する。As a fifth step, on the plane π ij , m
A coordinate system ouuvw with o as the origin is set.
【００１９】第６段階として、座標系ｏ−ｕ−ｖ−ｗに
おいて、ｗ軸上の位置を式（８）のAs a sixth step, the position on the w axis in the coordinate system ouvw is expressed by the following equation (8).
【００２０】 [0020]
【００２１】焦点Ｆとして平面πijに一点投影される三
次元物体１０１の輪郭形状を座標系ｏ−ｕ−ｖで測り、
重心位置を式（９）で求める。The contour shape of the three-dimensional object 101 projected one point on the plane π ij as the focal point F is measured in a coordinate system ov,
The position of the center of gravity is determined by equation (9).
【００２２】 [0022]
【００２３】第７段階としてｍ1 が零ベクトルでない場
合、輪郭形状の重心位置が原点となる様に三次元物体１
０１の原点位置を式（１０）の値に変更する。As a seventh step, if m 1 is not a zero vector, the three-dimensional object 1 is moved so that the center of gravity of the contour shape becomes the origin.
01 is changed to the value of equation (10).
【００２４】 [0024]
【００２５】第８段階として原点位置を変更した後の三
次元物体１０１を平面πijに一点投影して生成される輪
郭形状を座標系ｏ−ｕ−ｖで測り、重心位置が原点とな
るまで第７段階の処理を繰り返し、その条件が満たされ
た段階で求まる輪郭形状の主軸方向に基づき、図６にお
けるＴＶカメラの座標系ｏ−ｘ−ｙ−ｚを式（１１）〜
式（１３）の様に定める。As an eighth step, the contour shape generated by projecting the three-dimensional object 101 after changing the origin position onto the plane π ij at one point is measured in a coordinate system ouv until the position of the center of gravity becomes the origin. The process of the seventh step is repeated, and the coordinate system oxyz of the TV camera in FIG.
Determined as in equation (13).
【００２６】 [0026]
【００２７】第９段階として、この時点で前記では平面
に写っている輪郭形状ｇ（ｘ，ｙ，φi ，θj ）の式
（１４），式（１５）に示すモーメント不変量と主軸方
向の式（１６）を図８に示す姿勢図１０２の（φi ，θ
j ）で定まる位置に記憶する。As a ninth step, the moment invariants and the principal axis direction shown in the equations (14) and (15) of the contour shape g (x, y, φ i , θ j ) which are reflected on the plane at this time are as follows. Equation (16) of (φ i , θ in the posture diagram 102 shown in FIG.
j ) Store in the position determined by.
【００２８】 [0028]
【００２９】第１０段階として、以上の処理を球面上の
複数個の位置Ｐijについて繰返す。第１１段階として三
次元物体１０１について、Ｚ軸が光軸でｘ−ｙ平面が撮
像面となるＴＶカメラから入力した画像から輪郭形状ｇ
o （ｘ，ｙ）を抽出する。As a tenth step, the above processing is repeated for a plurality of positions P ij on the spherical surface. As the eleventh step, the contour shape g of the three-dimensional object 101 is obtained from an image input from a TV camera in which the Z axis is the optical axis and the xy plane is the imaging plane.
o Extract (x, y).
【００３０】第１２段階として、輪郭形状ｇo （ｘ，
ｙ）の重心位置ｍo を算出し、重心位置ｍo が予め求め
ておいた画面内での光軸位置Ｃに一致しない場合には重
心位置ｍo が光軸位置Ｃに一致するようにＴＶカメラの
位置を移動させる処理をくり返す。As a twelfth step, the contour shape g o (x,
calculating a barycentric position m o of y), as the center of gravity position m o is the center of gravity position m o if it does not coincide with the optical axis position C in the screen obtained in advance coincides with the optical axis position C TV Repeat the process of moving the camera position.
【００３１】第１３段階として、輪郭形状ｇo （ｘ，
ｙ）の重心位置ｍo が光軸位置Ｃに一致した時点で輪郭
形状ｇo （ｘ，ｙ）の式（１４）に示したモーメント不
変量Ｉ1 Ｉ2 と主軸方向ηを算出する。As a thirteenth step, the contour shape g o (x,
barycentric position m o of y) is calculated at the time that matches the optical axis position C contour g o (x, moment invariants shown in equation (14) in y) I 1 I 2 and the main shaft direction eta.
【００３２】第１４段階として、前記姿勢図１０２に記
憶されているモーメント不変量をＩ1 （φi ，θj ），
Ｉ2 （φi ，θj ）と表わしたとき、モーメント不変量
位Ｉ1 ，Ｉ2 との相異度が式（１７）でAs a fourteenth step, the moment invariants stored in the posture diagram 102 are expressed as I 1 (φ i , θ j ),
When expressed as I 2 (φ i , θ j ), the degree of difference from the moment invariant positions I 1 and I 2 is expressed by equation (17).
【００３３】 [0033]
【００３４】最小となる図８の姿勢図１０２の位置
φK ，θL をみつけ、その位置から主軸方向ηK を取り
出す。第１５段階として式（１３）に示すＲ（φ，θ，
η）を用いて表される三次元物体１０１に設定された座
標系Ｏ−Ｘ−Ｙ−ＺからＴＶカメラに設定された座標系
Ｏ−ｘ−ｙ−ｚへの基底変換行列を式（１８）として見
えている三次元物体１０１の姿勢を検出する。The positions φ K and θ L in the posture diagram 102 shown in FIG. 8 which are the minimum are found, and the principal axis direction η K is extracted from the positions. As a fifteenth step, R (φ, θ,
η), the basis transformation matrix from the coordinate system OXYZ set for the three-dimensional object 101 to the coordinate system Oxyz set for the TV camera is expressed by equation (18). ) Is detected.
【００３５】 [0035]
【００３６】本発明の第２の原理は、第１の原理の第１
１段階で求められる輪郭形状ｇo （ｘ，ｙ）の面積が極
大になるようにＴＶカメラを移動させることにより、輪
郭形状ｇo （ｘ，ｙ）のモーメント不変量、及び主軸方
向を安定させ、その結果姿勢検出精度を向上させるもの
である。The second principle of the present invention is the first principle of the first principle.
Contour g o (x, y) obtained in one step by moving the TV camera so that the area of the become maximum, moment invariants contour go (x, y), and to stabilize the main axis direction, As a result, the posture detection accuracy is improved.
【００３７】本発明の第３の原理は、第１の原理の第９
段階で式（１４）に示すモーメント不変量と式（１６）
に示す主軸方向と式（１５）に示す０次のモーメントＭ
00を記憶しておき、第１の原理の第１３段階で同様の処
理の他に輪郭形状ｇo （ｘ，ｙ）の０次のモーメントと
して面積Ｓを算出し、第１の原理の第１４段階で同様の
処理の他に、０次のモーメントをＳKLとして取り出し、
第１の原理の第１５段階で同様の処理の他に式（１０）
に示すＤ0 を用いて式(19)で距離を算出する。The third principle of the present invention is the ninth principle of the first principle.
The moment invariants shown in equation (14) and equation (16)
And the zero-order moment M shown in equation (15).
00 is stored, and in the thirteenth stage of the first principle, the area S is calculated as the zero-order moment of the contour shape g o (x, y) in addition to the same processing. other similar processing at step retrieves the zero-order moment as S KL,
In the fifteenth stage of the first principle, in addition to the same processing, equation (10)
The distance is calculated by Expression (19) using D 0 shown in (1).
【００３８】 [0038]
【００３９】[0039]
【実施例】次に本発明について図面を参照して説明す
る。図１は本発明の第１の実施例のブロック図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of a first embodiment of the present invention.
【００４０】三次元物体１０１をロボットに掴ませる図
１の三次元物体の検出装置において、モデル記憶手段７
は作用の項で説明の第１段階から第１０段階の手順で合
成された図８の姿勢図１０２を記憶している。この装置
の動作は、制御手段６がロボットアームの手先に設けた
ＣＣＤＴＶカメラの撮像手段１を起動して始まる。In the three-dimensional object detecting device shown in FIG. 1 for causing the robot to grasp the three-dimensional object 101, the model storage means 7
Stores the posture diagram 102 of FIG. 8 synthesized in the procedure from the first stage to the tenth stage described in the section of operation. The operation of this apparatus starts when the control means 6 activates the imaging means 1 of the CCDTV camera provided at the hand of the robot arm.
【００４１】起動された撮像手段１は図９（Ａ）に示す
三次元物体１０１の画像１０３を画像記憶手段２に記憶
して処理を終了する。撮像手段１が処理を終了すると制
御手段６は輪郭抽出手段３を起動する。起動された輪郭
抽出手段３は、第１段階として三次元物体の画像１０３
をｉ（ｘ，ｙ）と表わしたとき、The activated imaging means 1 stores the image 103 of the three-dimensional object 101 shown in FIG. 9A in the image storage means 2 and ends the processing. When the imaging means 1 ends the processing, the control means 6 activates the contour extraction means 3. The activated contour extraction means 3 performs a three-dimensional object image 103 as a first step.
Is represented as i (x, y),
【００４２】 [0042]
【００４３】式（２０）で合成される微分強度画像ｄ
（ｘ，ｙ）の強度ヒストグラムｈ（ｄ）を作成する。第
２段階として例えば文献２大津辰之，判別および最小２
乗規準に基づく自動しきい値選定法，電子通信学会論文
誌，１９８０年，第４号，３４９〜３５６頁に記載され
ている手法により、強度ヒストグラムｈ（ｄ）に適用し
て求められる閾値Ｔを用いて式（２１）により図９
（Ｂ）に示す２値のエッジ画像１０４を合成する。The differential intensity image d synthesized by equation (20)
An intensity histogram h (d) of (x, y) is created. As the second stage, for example, Reference 2 Tatsuyuki Otsu, discrimination and minimum 2
An automatic threshold selection method based on the multiplication criterion, a threshold T obtained by applying to the intensity histogram h (d) by a method described in IEICE Transactions, 1980, No. 4, pp. 349-356. FIG.
The binary edge image 104 shown in FIG.
【００４４】 ｉ′（ｘ，ｙ）＝１ （ｄ（ｘ，ｙ）＞Ｔ） ＝０ （ｄ（ｘ，ｙ）≦Ｔ） …（２１） 第３段階として２値のエッジ画像１０４に含まれる領域
毎に算出される面積群のうち、値が最大である領域を１
で塗りつぶした図９（Ｃ）に示す輪郭画像１０５を輪郭
記憶手段４に記憶して処理を終了する。輪郭抽出手段３
が処理を終了すると制御手段６は視野制御手段１１と起
動する。起動された視野制御手段１１は、第１段階とし
て輪郭画像１０５の重心Ｍを算出する。第２段階として
予め求めておいた画面内での光軸位置Ｃと表わしたとき ｜Ｍ−Ｃ｜＜ε …（２２） 式（２２）が満たされない場合には撮像手段１を構成す
るロボットアームの位置を式（２３）の位置に移動させ
て処理を終了する。I ′ (x, y) = 1 (d (x, y)> T) = 0 (d (x, y) ≦ T) (21) Included in the binary edge image 104 as the third stage Of the area group calculated for each region to be
The outline image 105 shown in FIG. 9 (C), which is filled in with, is stored in the outline storage means 4 and the processing is terminated. Contour extraction means 3
Is completed, the control means 6 starts up with the visual field control means 11. The activated visual field control means 11 calculates the center of gravity M of the contour image 105 as a first step. When expressed as the optical axis position C in the screen determined in advance as the second stage, | MC− <ε (22) If the expression (22) is not satisfied, the robot arm constituting the imaging means 1 Is moved to the position of Expression (23), and the processing is terminated.
【００４５】 現在の位置＋（Ｍ−Ｃ） …（２３） 視野制御手段１１が処理を終了すると制御手段６は撮像
手段１から始まる一連の処理を式（２２）が満たされる
までくり返した後に特徴算出手段５を起動する。起動さ
れた特徴算出手段５は式（１４）と（１６）を用いて算
出される輪郭画像１０５のモーメント不変量Ｉ1 ′とＩ
2 ′，及び主軸方向ηを特徴記憶手段８に記憶して処理
を終了する。特徴算出手段５が処理を終了すると制御手
段６は姿勢検出手段１０を起動する。起動された上記姿
勢検出手段１０は作用の第１４段階で説明した手法によ
り求められる姿勢図１０２の位置φK とθL ，主軸方向
ηKL及び式（１３）に示すＲ（φ，θ，η）を用いて表
現される基底変換行列の式（２４） Ｒ（φK θL ηKL＋ｎ） …（２４） をロボット制御手段９に出力して処理を終了する。姿勢
検出手段１０が処理を終了すると制御手段６はロボット
制御手段９を起動する。起動されたロボット制御手段９
は姿勢検出手段１０が出力する基底変換行列から見えて
いる三次元物体１０１が掴めるロボットの姿勢を決めた
後、文献１の４４３〜４４４頁に示されているアルゴリ
ズムに従ってロボットに三次元物体１０１を掴ませてす
べての処理を終了する。Current position + (M−C) (23) When the visual field control means 11 completes the processing, the control means 6 repeats a series of processing starting from the imaging means 1 until Expression (22) is satisfied. The calculation means 5 is started. The activated feature calculation means 5 calculates the moment invariants I 1 ′ and I 1 ′ of the contour image 105 calculated using the equations (14) and (16).
2 ′ and the main axis direction η are stored in the feature storage means 8 and the process is terminated. When the feature calculating means 5 ends the processing, the control means 6 activates the attitude detecting means 10. The activated posture detecting means 10 activates the positions φ K and θ L of the posture diagram 102, the main axis direction η KL, and R (φ, θ, η) shown in the equation (13) obtained by the method described in the fourteenth stage of the operation. ) is the formula (24 basis conversion matrix is) R (φ K θ L η KL + n) ... (24) and the processing is ended outputs the robot control means 9 expressed using. When the posture detecting means 10 ends the processing, the control means 6 activates the robot control means 9. Activated robot control means 9
Determines the posture of the robot that can be grasped by the visible three-dimensional object 101 from the basis transformation matrix output by the posture detection means 10, and then transfers the three-dimensional object 101 to the robot according to the algorithm shown on pages 443 to 444 of Document 1. Grab and terminate all processing.
【００４６】図２は本発明の第２の実施例のブロック図
である。三次元物体１０１をロボットに掴ませる図２の
三次元物体の検出装置において、この装置の動作は、第
１の実施例で説明した手順と同様にして進み、制御手段
６は能動的輪郭抽出手段１２を起動する。起動された能
動的輪郭抽出手段１２は第１段階として輪郭抽出手段３
の第１段階から第３段階で説明した手順と同様にして図
９（Ｃ）に示す輪郭画像１０５を合成する。第２段階と
して撮像手段１を構成するロボットアームを制御するこ
とにより、ＴＶカメラ座標系Ｏ−ｘ−ｙ−ｚのｘ軸をΔ
θx だけ回転させた後に上述した手順と同様に処理して
合成される図１０に示す輪郭画像１０６の面積を、輪郭
画像１０５の面積と比較する手順をＴＶカメラ座標系Ｏ
−ｘ−ｙ−ｚの各軸に対してくり返すことにより求まる
面積が極大となる輪郭画像を輪郭記憶手段４に記憶して
処理を終了する。能動的輪郭抽出手段１２が処理を終了
すると制御手段６は視野制御手段１１を起動し、その後
の動作は第１の実施例で説明した手順と同様に進み、起
動されたロボット制御手段９がロボットに、三次元物体
１０１を掴ませてすべての処理を終了する。FIG. 2 is a block diagram of a second embodiment of the present invention. In the three-dimensional object detecting apparatus shown in FIG. 2 in which the robot grasps the three-dimensional object 101, the operation of this apparatus proceeds in the same manner as in the procedure described in the first embodiment. 12 is started. The activated active contour extracting means 12 starts the contour extracting means 3 as a first step.
The outline image 105 shown in FIG. 9C is synthesized in the same manner as described in the first to third stages. As the second step, the x-axis of the TV camera coordinate system Oxyz is changed by Δ by controlling the robot arm constituting the imaging unit 1.
theta x only the area of the contour image 106 shown in FIG. 10 which is synthesized by treating in analogy to the procedure described above after rotation, procedures TV camera coordinate system to be compared with the area of the contour image 105 O
The contour image in which the area obtained by repeating each axis of -xyz is maximized is stored in the contour storage means 4, and the process is terminated. When the active contour extraction means 12 ends the processing, the control means 6 activates the visual field control means 11, and the subsequent operation proceeds in the same manner as in the procedure described in the first embodiment. Next, the three-dimensional object 101 is grasped, and all the processing is terminated.
【００４７】図３は本発明の第３の実施例のブロック図
である。三次元物体１０１をロボットに掴ませる図３の
三次元物体の検出装置において、拡張モデル記憶手段１
４は作用の第３の原理で説明した姿勢図１０２を記憶し
ている。この装置の動作は、第１の実施例で説明した手
順と同様にして進み、三次元情報抽出手段１３が起動さ
れる。起動された三次元情報抽出手段１３は作用の第３
の原理で説明した基底変換行列Ｒ（φK ，θL ，ηKL）
と距離ＤKLをロボット制御手段９に出力し、処理を終了
する。三次元情報抽出手段１３が処理を終了すると、制
御手段６はロボット制御手段９を起動する。起動された
ロボット制御手段９は第１段階として視線方向に対して
距離０．９ＤKUだけロボットハンドを素速く移動させた
後に第１の実施例で説明した手順と同様にして三次元物
体１０１をロボットに掴ませてすべての処理を終了す
る。FIG. 3 is a block diagram of a third embodiment of the present invention. In the three-dimensional object detection device shown in FIG.
Reference numeral 4 stores the posture diagram 102 described in the third principle of operation. The operation of this device proceeds in the same manner as in the procedure described in the first embodiment, and the three-dimensional information extracting means 13 is activated. The activated three-dimensional information extracting means 13 operates in the third place.
The basis transformation matrix R (φ K , θ L , η KL ) explained by the principle of
And the distance DKL are output to the robot control means 9 and the processing is terminated. When the three-dimensional information extraction means 13 ends the processing, the control means 6 activates the robot control means 9. The activated robot control means 9 moves the robot hand quickly by a distance of 0.9 D KU in the line-of-sight direction as a first step, and then moves the three-dimensional object 101 in the same manner as described in the first embodiment. Let the robot grab and end all processing.
【００４８】図４は本発明の第４の実施例のブロック図
である。三次元物体１０１をロボットに掴ませる第２と
第３の実施例を用いた図４の三次元物体の検出装置にお
いて、拡張モデル記憶手段１４は第３の実施例で説明し
た姿勢図１０２を記憶している。この装置の動作は第２
の実施例で説明した手順と同様に進み、三次元情報抽出
手段１３が起動される。三次元情報抽出手段１３が起動
された後の処理は第３の実施例で説明した手順と同様に
進み、起動されたロボット制御手段９がロボットに三次
元物体１０１を掴ませてすべての処理を終了する。FIG. 4 is a block diagram of a fourth embodiment of the present invention. In the three-dimensional object detecting device of FIG. 4 using the second and third embodiments in which the robot grasps the three-dimensional object 101, the extended model storage means 14 stores the posture diagram 102 described in the third embodiment. doing. The operation of this device is
The procedure proceeds in the same manner as described in the embodiment, and the three-dimensional information extracting means 13 is activated. The processing after the activation of the three-dimensional information extraction means 13 proceeds in the same manner as the procedure described in the third embodiment, and the activated robot control means 9 causes the robot to grasp the three-dimensional object 101 and performs all the processing. finish.
【００４９】なお、以上の説明で、画像記憶手段２と輪
郭記憶手段４と特徴記憶手段８とモデル記憶手段７と拡
張モデル記憶手段１４とはメモリで構成でき、制御手段
６はメモリとマイクロプロセサで構成でき、ロボット制
御手段９は現在ののボット技術で構成できる。In the above description, the image storage means 2, the outline storage means 4, the feature storage means 8, the model storage means 7, and the extended model storage means 14 can be constituted by memories, and the control means 6 comprises a memory and a microprocessor. , And the robot control means 9 can be configured by the current bot technology.
【００５０】[0050]
【発明の効果】以上説明したように本発明は、照度差ス
テレオ手法等の照明効果を利用した処理部を含まないた
め、屋外等の照明条件を設定するのが困難である環境下
でも見えている三次元物体の姿勢及び位置を精度よく検
出できる効果がある。As described above, the present invention does not include a processing unit utilizing a lighting effect such as a photometric stereo method, so that it can be seen even in an environment where it is difficult to set lighting conditions such as outdoors. There is an effect that the posture and the position of a three-dimensional object can be detected with high accuracy.
【図１】本発明の第１の実施例のブロック図である。FIG. 1 is a block diagram of a first embodiment of the present invention.
【図２】本発明の第２の実施例のブロック図である。FIG. 2 is a block diagram of a second embodiment of the present invention.
【図３】本発明の第３の実施例のブロック図である。FIG. 3 is a block diagram of a third embodiment of the present invention.
【図４】本発明の第４の実施例のブロック図である。FIG. 4 is a block diagram of a fourth embodiment of the present invention.
【図５】従来の三次元物体の検出方法を説明するための
図である。FIG. 5 is a diagram for explaining a conventional three-dimensional object detection method.
【図６】本発明の作用を説明するための図である。FIG. 6 is a diagram for explaining the operation of the present invention.
【図７】本発明の作用を説明するための図である。FIG. 7 is a diagram for explaining the operation of the present invention.
【図８】本発明の作用を説明するための図である。FIG. 8 is a diagram for explaining the operation of the present invention.
【図９】第１の実施例の動作を説明するための図であ
る。FIG. 9 is a diagram for explaining the operation of the first embodiment.
【図１０】第２の実施例の動作を説明するための図であ
る。FIG. 10 is a diagram for explaining the operation of the second embodiment.
１ 撮像手段 ３ 輪郭抽出手段 ４ 輪郭記憶手段 ５ 特徴算出手段 ６ 制御手段 ７ モデル記憶手段 ８ 特徴記憶手段 ９ ロボット制御手段 １０ 姿勢検出手段 １１ 視野制御手段 １２ 能動的輪郭抽出手段 １３ 三次元情報抽出手段 １４ 拡張モデル記憶手段 REFERENCE SIGNS LIST 1 imaging means 3 contour extraction means 4 contour storage means 5 feature calculation means 6 control means 7 model storage means 8 feature storage means 9 robot control means 10 attitude detection means 11 view control means 12 active contour extraction means 13 three-dimensional information extraction means 14 Extended model storage means
Claims (4)
向から観測して得られる三次元物体の輪郭形状群の画像
が記憶されるモデル記憶手段と、指定された視点と視線
方向とにより三次元物体画像を出力する撮像手段と、前
記三次元物体画像の輪郭形状を抽出する輪郭抽出手段
と、前記輪郭形状の重心位置が光軸と一致するように前
記撮像手段を制御する視野制御手段と、前記輪郭形状と
前記輪郭形状群との照合により前記三次元物体の姿勢を
検出する姿勢検出手段とを有することを特徴とする三次
元物体の検出装置。 1. A model storing means for storing an image of a group of contours of a three-dimensional object obtained by observing a line of sight passing from the center of gravity in all directions, and a three-dimensional image based on a specified viewpoint and line of sight. Imaging means for outputting an object image, contour extraction means for extracting the contour shape of the three-dimensional object image, and visual field control means for controlling the imaging means so that the center of gravity of the contour shape coincides with the optical axis; An apparatus for detecting a three-dimensional object, comprising: posture detecting means for detecting the posture of the three-dimensional object by comparing the contour shape with the group of contour shapes.
重心を通過するように三次元物体を観測することにより
得られる輪郭形状群の画像モデルを予め記憶するモデル
記憶手段と、指定された視点と視線方向とにより三次元
物体画像を出力する撮像手段と、三次元物体画像から求
められる輪郭形状の面積が極大になるように前記撮像手
段を制御する能動的輪郭抽出手段と、前記輪郭形状の重
心位置が光軸と一致するように前記撮像手段を制御する
視野制御手段と、前記輪郭形状と前記輪郭形状群との照
合により前記三次元物体の姿勢を検出する姿勢検出手段
とを有することを特徴とする三次元物体の検出装置。 2. A model storage means for pre-storing an image model of a group of contour shapes obtained by observing a three-dimensional object such that the line of sight passes through the center of gravity of the contour shape from any direction of the line of sight. Imaging means for outputting a three-dimensional object image according to the line-of-sight direction; active contour extraction means for controlling the imaging means so that the area of the contour shape determined from the three-dimensional object image is maximized; and a center of gravity of the contour shape A visual field control unit that controls the imaging unit so that a position coincides with an optical axis; and a posture detection unit that detects a posture of the three-dimensional object by comparing the contour shape with the contour shape group. A three-dimensional object detection device.
重心を通過するように三次元物体を観測して得られる輪
郭形状群の記述を記憶する拡張モデル記憶手段と、指定
された視点から指定された視線方向で観測された三次元
物体画像を出力する撮像手段と、前記三次元物体画像か
ら輪郭形状を求める輪郭抽出手段と、前記輪郭形状の重
心位置が光軸と一致するように前記撮像手段を制御する
視野制御手段と、前記輪郭形状と前記輪郭形状群の記述
と照合する三次元情報抽出手段を具備し、見えている三
次元物体の姿勢と位置を検出することを特徴とする三次
元物体の検出装置。 3. An extended model storage means for storing a description of a group of contour shapes obtained by observing a three-dimensional object such that a line of sight passes through the center of gravity of the contour shape from any direction of the line of sight. imaging means for outputting a three-dimensional object image observed by the visual line direction, the imaging as the contour extracting means for obtaining the contour shape from the three-dimensional object image, the center of gravity position of the front SL contour coincides with the optical axis Three-dimensional information extraction means for comparing the contour shape with the description of the group of contour shapes, and detecting a posture and a position of a visible three-dimensional object. Original object detection device.
重心を通過するように三次元物体を観測して得られる輪
郭形状群の記述を記憶する拡張モデル記憶手段と、指定
された視点から指定された視線方向に観測した三次元物
体画像を出力する撮像手段と、前記三次元物体画像から
求められる輪郭形状の面積が極大になるように前記撮像
手段を制御する能動的輪郭抽出手段と、前記輪郭形状の
重心位置が光軸と一致するように前記撮像手段を制御す
る視野制御手段と、前記輪郭形状と前記輪郭形状群の記
述と照合する三次元情報抽出手段を具備し、見えている
三次元物体の姿勢と位置を検出すること特徴とする三次
元物体の検出装置。 4. An extended model storage means for storing a description of a group of contours obtained by observing a three-dimensional object such that the line of sight passes through the center of gravity of the contour shape from all directions of the line of sight. Imaging means for outputting a three-dimensional object image observed in the direction of the line of sight; active contour extraction means for controlling the imaging means so that the area of the contour shape obtained from the three-dimensional object image is maximized; and A visual field control unit that controls the imaging unit so that the center of gravity of the shape coincides with the optical axis; and a three-dimensional information extraction unit that compares the contour shape with the description of the contour shape group, and includes a visible three-dimensional An apparatus for detecting a three-dimensional object, which detects an attitude and a position of the object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3146371A JP2976589B2 (en) | 1991-06-19 | 1991-06-19 | Method and apparatus for detecting three-dimensional object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3146371A JP2976589B2 (en) | 1991-06-19 | 1991-06-19 | Method and apparatus for detecting three-dimensional object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04370703A JPH04370703A (en) | 1992-12-24 |
| JP2976589B2 true JP2976589B2 (en) | 1999-11-10 |
Family
ID=15406208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3146371A Expired - Lifetime JP2976589B2 (en) | 1991-06-19 | 1991-06-19 | Method and apparatus for detecting three-dimensional object |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2976589B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3421608B2 (en) | 1999-04-08 | 2003-06-30 | ファナック株式会社 | Teaching model generator |
-
1991
- 1991-06-19 JP JP3146371A patent/JP2976589B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04370703A (en) | 1992-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0665507B1 (en) | Position and orientation estimation neural network system and method | |
| JP4972201B2 (en) | Man-machine interaction based on sign | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| CN109886124B (en) | Non-texture metal part grabbing method based on wire harness description subimage matching | |
| CN107813310A (en) | One kind is based on the more gesture robot control methods of binocular vision | |
| Bascle et al. | Stereo matching, reconstruction and refinement of 3D curves using deformable contours | |
| JP2004333422A (en) | Image processing device | |
| Li et al. | 3D object recognition and pose estimation for random bin-picking using Partition Viewpoint Feature Histograms | |
| Shi et al. | Spacecraft pose estimation using principal component analysis and a monocular camera | |
| CN114092553A (en) | Disordered grabbing attitude estimation method based on FPFH (fast Fourier transform and inductively coupled plasma) and ICP (inductively coupled plasma) improved algorithm | |
| JP2976589B2 (en) | Method and apparatus for detecting three-dimensional object | |
| JP2920513B2 (en) | 3D object position and orientation determination method | |
| CN101617338B (en) | Object shape generating method, object shape generating device and program | |
| Bae et al. | Grasping system for industrial application using point cloud-based clustering | |
| Ehrennmann et al. | A comparison of four fast vision based object recognition methods for programming by demonstration applications | |
| Azad et al. | Accurate shape-based 6-dof pose estimation of single-colored objects | |
| JP3594747B2 (en) | Object recognition method and apparatus | |
| EP3469517A1 (en) | Curvature-based face detector | |
| Jørgensen et al. | Geometric Edge Description and Classification in Point Cloud Data with Application to 3D Object Recognition. | |
| Mitschke et al. | Image-based visual servoing of rotationally invariant objects using a u-net prediction | |
| Kim et al. | Mathematical model for a calibration of multiple-view thermal camera | |
| CN115222809B (en) | Target pose estimation method, device, computing equipment and storage medium | |
| Baader et al. | World modeling for a sensor-in-hand robot arm | |
| WO2022153345A1 (en) | Control device, robot system, and control method | |
| US11348280B2 (en) | Method and computer readable medium for pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990810 |