JP6052871B2 - 対象物移動装置、方法、プログラム、及び記録媒体 - Google Patents
対象物移動装置、方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP6052871B2 JP6052871B2 JP2012263234A JP2012263234A JP6052871B2 JP 6052871 B2 JP6052871 B2 JP 6052871B2 JP 2012263234 A JP2012263234 A JP 2012263234A JP 2012263234 A JP2012263234 A JP 2012263234A JP 6052871 B2 JP6052871 B2 JP 6052871B2
- Authority
- JP
- Japan
- Prior art keywords
- highlight
- group
- highlights
- image
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 159
- 238000012545 processing Methods 0.000 claims description 119
- 238000001514 detection method Methods 0.000 claims description 91
- 238000000605 extraction Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000005286 illumination Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 124
- 238000004804 winding Methods 0.000 description 119
- 238000010586 diagram Methods 0.000 description 27
- 230000005484 gravity Effects 0.000 description 20
- 238000013500 data storage Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
図1は、対象物移動装置のブロック図である。なお、以下の説明において左をL、右をRと略称する。
・平面部が少ない
・同じような形状が連続している
・隙間があり奥が見えてしまう
などの特徴があるため、一般に画像処理で用いられる形状特徴に乏しい。したがって、巻ばねが三次元的にばら積みされている場合は、汎用的な画像処理手法による認識は困難であった。
・距離が近接している
・形状が類似している
・一定間隔で一直線上に並んでいる
という性質があるので、これを利用してグルーピングを行う。距離の近接はハイライト重心間の距離をチェックし、形状の類似はハイライト面積(ピクセル数)・ハイライトに対する画像楕円の長軸方向・湾曲情報を表す三次元画像モーメントを用いる。一定間隔で一直線上に並んでいることは、ハイライト重心を見てチェックする。一定数以上のハイライトを同一のグループにまとめることができれば、一つの巻ばねを認識したとみなす。
[巻ばねの認識]
(ハイライトの抽出と判別)
図3(A)は、カメラの画像データ、(B)は、(A)の二値化画像データ、(C)は、側面ハイライトの画像データ、(D)は、端面ハイライトの画像データである。
本発明実施例のハイライトのグルーピングは、後述の画像モーメントによるものであり、制御フローチャートも画像モーメントによる処理である。しかし、楕円当てはめによるグルーピングを排除するものではなく、画像モーメントによるグルーピングの前に若干精度は落ちるものの、グループ化できる可能性のあるものとしてその手順を先に述べておく。
ハイライトの面積harea[pixel]、長軸方向hlaxis[deg]は画像のモーメントから計算することができる。また、画像モーメントからハイライトの重心座標を計算することができる。ここで、ハイライトの重心座標間の距離をハイライト間距離dr[pixel]と定義する。
ハイライトの湾曲を求めるために、ハイライトのスケルトンを抽出する。抽出したスケルトンを構成する点群に楕円を当てはめ、当てはめた楕円の中心とスケルトン間で最短距離となるスケルトン上の点を求める。当てはめた楕円中心と求めたスケルトン上の点を結ぶ直線の長さを、湾曲の大きさcmag[pixel]とし、向きをハイライトの湾曲の向きcdir[deg]とする。
・ハイライトの長軸方向:hlaxis [deg](0≦hlaxis<180°)
・ハイライトの湾曲の大きさ:cmag [pixel]
・ハイライトの湾曲の向き:cdir [deg](0≦cdir <360°)
・ハイライト間距離:dr [pixel]
ハイライトのグルーピングの手順は、以下の通りである。
(a)基準ハイライトの湾曲が大きい場合
i.基準ハイライト以外のハイライトで湾曲が大きいハイライトを選ぶ。
ii.ハイライトの面積harea、長軸方向hlaxis、ハイライト間距離dr、湾曲の向きcdirを比較し、条件を満たす場合に基準ハイライトのグループに含める。
iii.すべてのハイライトに対して(a)のi、iiを行う。
(b)基準ハイライトの湾曲が小さい場合
i.基準ハイライト以外のハイライトで湾曲が小さいハイライトを選ぶ。
ii.ハイライトの面積harea、長軸方向hlaxis、ハイライト間距離drを比較し、条件を満たす場合に基準ハイライトのグループに含める。
iii.すべてのハイライトに対して(b)のi、iiを行う。
(2)基準ハイライトを変えて(1)を行う。
(3)すべてのハイライトに対して(1)を行ったらグルーピング終了。
図6は、座標の回転を示す説明図、図7は、側面ハイライトの湾曲方向を示す説明図、図8は、側面ハイライトの湾曲方向を示す説明図である。
・μ´ 21<0のとき:y´軸負方向に両端が突き出た湾曲(図7)
・μ´ 21>0のとき:y´軸正方向に両端が突き出た湾曲(図8)
となる。
(a)基準ハイライト以外のハイライトを選ぶ。
(b)ハイライトの面積harea、長軸方向hlaxis、ハイライト間距離dr、湾曲の大きさ、湾曲の向きを比較し、条件を満たす場合に基準ハイライトのグループに含める。
(c)すべてのハイライトに対して(a),(b)を行う。
(2)基準ハイライトを変えて(1)を行う。
(3)すべてのハイライトに対して(1)を行ったらグルーピング終了。
図9は、側面ハイライトの情報からの端面の検出を示す説明図である。
(1)二値化しCanny法でエッジを検出する。
(2)エッジからランダムに5点選択し、5点を通る楕円の式を求める。
(3)楕円の短軸の向きが[gdir −Δφ, gdir +Δφ]の範囲に入っているか確認する。
(4)(3)を満たせば、選んだ5点以外のすべての点について求めた楕円との距離を求め、設定したしきい値より距離が小さい点の個数を数え、その合計を楕円の得点とする。
(5)(2)から(4)を数回繰り返し、複数の楕円を検出する。
(6)得られた複数の楕円から、最も得点の高い楕円を端面形状として採用する。
端面ハイライト近傍に注目してROIを設定し、端面検出を行う。巻ばね3が直立状態の場合、端面の形状は歪まないため、検出楕円に制約は加えない。
(1)二値化しCanny法でエッジを検出する。
(2)エッジからランダムに4点選択し、4点を通り、楕円の向きがグループの向きとなる楕円の式を求める。
(3)選んだ4点以外のすべての点について求めた楕円との距離を求め、設定した閾値より距離が小さい点の個数を数え、その合計を楕円の得点とする。
(4)(2)から(3)を数回繰り返し、複数の楕円を検出する。
(5)得られた複数の楕円から、最も得点の高い楕円を端面形状として採用する。
図10は、端面ハイライトの結合を示す画像データ、図11は、最終的な端面ハイライトの検出を示す画像データである。
(1)ハイライトに収縮処理をかける。
(2)ハイライト面積が端面ハイライトとみなす範囲に入っているか確認する。
(3)(1)(2)を繰り返す。
(4)(2)を満たせば、ハイライトが切り離されたとみなす。
(5)切り離されたハイライトを別々の端面ハイライトとする。
図12、図13は、側面ハイライトのグループ化及び端面ハイライトの検出を示す画像データである。図12は、楕円当てはめによる側面ハイライトの認識及びハイライトの切り離しを行なわない端面ハイライトの認識アルゴリズムによる画像データであり、図13は、画像モーメントによる湾曲情報を用いた側面ハイライトの認識及びハイライトの切り離しを行なった端面ハイライトの認識アルゴリズムによる画像データである。
[巻ばねの位置、姿勢推定]
(位置・姿勢検出の概要)
特定の巻ばねを認識できた後に、それをピッキングするためには、そのばねの位置と姿勢とを知る必要がある。単眼カメラを用いた場合、奥行き方向の情報を知ることは容易でない。このため、ここではステレオ画像処理を用いて三次元的な位置・姿勢推定を行う。一般的なステレオ画像処理では、2台のカメラ画像全体に対して対応点検出処理を行って三次元情報を獲得するのが普通だが、誤対応や計算負荷などが問題となる。特に巻ばねの場合は形状特徴が明確でないため難しい。
ステレオビジョンによる奥行きの理論式を導出する。
・xl、xr:画像平面のx方向原点
・cx left、cx right:主点(光軸が画像平面と交差する点)
・P:実世界の点
・xleft、xright:Pの画像平面上の水平座標
・f:焦点距離
・T:基線長
・dp:視差
・Z:奥行き
・Ps:ピクセルサイズ
ステレオ装置は歪み補正され、行が揃い、正確に計測されていると仮定すると、奥行きZは式(4)で求められる。但し、dp=xleft−xrightである。
<視差の算出の位置>
ステレオビジョンにより奥行きを算出するためには、視差を求める必要がある。本発明実施例では、視差の算出位置を巻ばねのグループのハイライト重心、あるいは楕円当てはめで得られる楕円中心とする。そのため、巻ばねの認識時に側面ハイライト情報からのRANSACによる端面検出を行わなくてもよい。側面ハイライトが見えている巻ばねはハイライトのグルーピングのみ行い、端面ハイライトのみが見えている巻ばねは端面ハイライトに楕円当てはめを行う。
巻ばねのグループの対応付けに用いるパラメータの計算方法について説明する。
図15(A)は、各側面ハイライトの重心及びグループの重心を示し、(B)は、グループの並びの向きを示す説明図である。
図16は、グループ重心間距離に係り、グループ重心のx座標を表示した側面ハイライトのグループを左右で示す説明図である。
巻ばねのグループの対応付けアルゴリズムを以下に示す。
(1)左右の画像の平行化を行い、y座標を揃える。
(2)左右の画像それぞれでグルーピングを行う。
(3)左画像で認識した巻ばねのグループから1つ選ぶ(左グループ)
(a)左グループのグループ重心座標を右画像での座標に変換する。
(b)右画像で認識した巻ばねのグループから1つ選ぶ(右グループ)
i.左グループと右グループのグループ重心間距離gdisを計算する。
(c)右画像で認識した巻ばねのグループ全てに対して(b)を行う。
(d)左グループと全ての右グループに対し、次の条件を確認する。
条件1-1グループの平均ハイライト面積がほぼ等しい
条件1-2グループ重心間距離gdis<閾値
条件1-3グループの向きがほぼ等しい
(e)(d)の条件を全て満たした右グループを対応の候補とする(候補右グループ)
(f)候補右グループがある場合
i.左グループと候補右グループに対し、次の条件を確認する。
条件2-1グループに含まれるハイライト数が同じ
条件2-2グループ重心y座標がほぼ等しい
ii.i.の条件を全て満たした左グループと候補右グループは対応している。
(g)候補右グループがない場合、対応なしとする。
(4)左画像で認識した巻ばねのグループ全てに対して(3)を行う。
巻ばねのグループの対応付け方法で述べたアルゴリズムは、左右の認識が同一の場合のみ対応を取ることが可能である。すなわち、左右の認識が異なる場合は、前記条件2-1、2-2を満たさないため、対応を取ることができない。
(1)左グループに含まれるハイライトから1つ選ぶ(左ハイライト)。
(a)左ハイライトのハイライト重心座標を右画像での座標に変換する。
(b)候補右グループに含まれるハイライトから1つ選ぶ(右ハイライト)。
i.左ハイライトと右ハイライトのハイライト重心間距離を計算する。
(c)候補右グループに含まれるハイライト全てに対して(b)を行う。
(d)左ハイライトと全ての右ハイライトに対し、次の条件を確認する。
条件3-1ハイライト重心間距離<閾値
条件3-2ハイライト重心y座標がほぼ等しい
(e)(d)の条件を全て満たした左ハイライトと右ハイライトは対応している。
(2)左グループに含まれるハイライト全てに対して(1)を行う。
(3)対応付けされたハイライトのみを左右のグループに含める。
<高さと姿勢の定義>
図20は、巻ばねの高さと姿勢の定義に係る説明図である。
・θ[deg](0≦θ≦90°):中心線と巻ばねの中心線を基準面に投影した直線のなす角
・φ[deg](−90°≦θ≦90°):巻ばねの中心線を基準面に投影した直線とx軸のなす角
<位置の推定>
・垂直方向の位置推定
カメラと基準面までの距離をL0と置く。カメラから被写体までの距離は式(4)で導出したZであるので、基準面と被写体の距離L´は次式で表される。
図21は、変数を示すカメラの鳥瞰図である。
図22は、巻ばねの姿勢評価に係る説明図である。
図23(A)は、左右の元画像を示す説明図、(B)は、左右画像でのグルーピングを示す説明図、(C)は、左右グループの対応を示す説明図、図24(A)は、左右画像でのグルーピングを示す拡大説明図、(B)は、左右グループの対応を示す拡大説明図、図25(A)は、左右画像でのグルーピングを示す拡大説明図、(B)は、左右グループの対応を示す拡大説明図、図26(A)は、左右画像でのグルーピングを示す拡大説明図、(B)は、左右グループの対応を示す拡大説明図である。
[巻ばねのピッキング]
図27は、鉛直方向からのアプローチによる巻ばねのピッキングを示し、(A)は、θ=0、(B)は、0<θ<90°、(C)は、θ=90°の説明図、図28は、姿勢に応じたアプローチによる巻ばねのピッキングを示し、(A)は、θ=90°(B)は、0≦θ<45°、(C)は、45°≦θ<90°の説明図である。
・どれをピッキングするか
・どのようにピッキングするか
である。
[対象物特定方法、プログラム、及び記録媒体]
図29は、ピッキングに係るフローチャートである。
図30〜図32は、図29のS2L、S2Rを実行するものであり、図30は、巻ばね認識のサブルーチンを示し、側面ハイライト及び端面ハイライトの検出に係るフローチャート、図31は、同側面ハイライトの仮グループ化に係るフローチャート、図32は、同側面ハイライトのグループ化に係るフローチャートである。
図33は、図29のS5を実行するものであり、側面ハイライトグループ間対応検出のサブルーチンを示し、左右グループの対応付けに係るフローチャートである。
図34は、側面ハイライトグループ間対応検出のサブルーチンを示し、ハイライト間対応検出に係るフローチャートである。LRのグループの認識が異なる場合は、対応を取ることができない。そこで、図17のように、ハイライト毎の対応を取る。
図35は、側面ハイライトグループ間対応検出のサブルーチンを示し、画像マッチング検出に係るサブルーチンのフローチャートである。図18のように、巻ばねが完全に左右方向を向いている場合は、ハイライトの対応の候補が複数考えられ、ハイライトだけからでは一つに絞り込むことができない。そこで、この場合は一方のカメラ側の元画像で、図19のように、元画像に対し、ハイライトのグループより一回り大きい領域を考え、領域を拡大して判断する。
本発明は、対象物として巻ばねに限らず、その他、形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で各対象物を認識する場合、例えば、巻ばねと同一形状であるがばね性を有しない対象物、矩形体、球体等で形状に空間部が存在して輪郭を分断された対象物の認識にも適用することができる。
1003 対象物特定装置
1005、1007 カメラ
1009 ロボット・コントローラ(制御部)
1011 ロボット/ハンド
1 対象物認識部
3 巻ばね(対象物)
7 LEDスポット・ライト
13 ハイライト抽出処理部
15 ハイライト判別処理部
17 特徴量抽出処理部
19 仮グループ化処理部
21 グループ化処理部
22 端面ハイライト検出部
25 対応検出処理部
27 位置・姿勢演算部
S2L、S2R ハイライト抽出機能、ハイライト判別機能、特徴量抽出機能、ハイライト抽出ステップ、ハイライト判別ステップ、特徴量抽出ステップ
S5 対応検出機能、対応検出ステップ
S8 位置・姿勢演算機能、位置・姿勢決定ステップ
S10、S11 動作制御機能、動作制御ステップ
S23 仮グループ化機能、仮グループ化ステップ
S24 端面ハイライト検出機能、端面ハイライト検出ステップ
S25 グループ化機能、グループ化ステップ
Claims (14)
- 形状に端面と空間部が存在して輪郭を分断された側面とを備える同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する対象物移動装置であって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出処理部と、
前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別処理部と、
前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する特徴量抽出処理部と、
前記特徴量により前記側面のハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化処理部と、
前記グループの前記画像間での対応を検出する対応検出処理部と、
前記検出により対応したグループで前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢をステレオ画像処理により演算する位置・姿勢演算部と、
前記演算された対象物の位置、姿勢により前記ハンドの動作を制御する制御部と、
を備えたことを特徴とする対象物移動装置。 - 形状に端面と空間部が存在して輪郭を分断された側面とを備える同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する対象物移動装置であって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出処理部と、
前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別処理部と、
前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する特徴量抽出処理部と、
前記特徴量により前記側面のハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化処理部と、
前記グループの前記画像間での対応を検出する対応検出処理部と、
前記検出により対応したグループで前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢をステレオ画像処理により演算する位置・姿勢演算部と、
前記演算された対象物の位置、姿勢により前記ハンドの動作を制御する制御部と、
前記複数の特徴量から選択した特定の特徴量により前記側面のハイライトを複数1組毎の仮グループとする仮グループ化処理部と、を備え、
前記グループ化処理部は、前記仮グループとされた側面のハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定する、
ことを特徴とする対象物移動装置。 - 請求項1又は2記載の対象物移動装置であって、
前記判別された端面のハイライトから最終的な端面のハイライトを決定する端面ハイライト検出部を備え、
前記対応検出処理部は、前記端面のハイライトの前記画像間での対応を検出し、
前記位置・姿勢演算部は、前記検出により対応したグループ及び端面のハイライトにより前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢を演算する、
ことを特徴とする対象物移動装置。 - 請求項1〜3の何れか1項記載の対象物移動装置であって、
前記対応検出処理部は、前記グループの対応を前記ハイライトの面積、重心位置、並びの向き、グループ重心間距離、数、重心の縦方向位置の何れかの組み合わせにより検出する、
ことを特徴とする対象物移動装置。 - 請求項1〜4の何れか1項記載の対象物移動装置であって、
前記対応検出処理部は、前記ハイライトのグループの並びの向きが水平又は水平と看做されるとき前記カメラにより撮像された各元画像の対比により前記グループの対応を検出する、
ことを特徴とする対象物移動装置。 - 請求項5記載の対象物移動装置であって、
前記対応検出処理部は、前記水平又は水平と看做されるグループを含む前記カメラにより撮像された元画像内の探索領域を周辺情報を含めるように設定する、
ことを特徴とする対象物移動装置。 - 形状に空間部が存在して輪郭を分断された同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する対象物移動装置であって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出処理部と、
前記対象物の形状に対応させるための特徴量を前記各ハイライトから抽出する特徴量抽出処理部と、
前記特徴量により前記ハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化処理部と、
前記グループの前記画像間での対応を検出する対応検出処理部と、
前記検出により対応したグループで前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢をステレオ画像処理により演算する位置・姿勢演算部と、
前記演算された対象物の位置、姿勢により前記ハンドの動作を制御する制御部と、を備え、
前記対応検出処理部は、前記ハイライトのグループの並びの向きが水平又は水平と看做されるとき前記カメラにより撮像された各元画像の対比により前記グループの対応を検出する、
ことを特徴とする対象物移動装置。 - 請求項7記載の対象物移動装置であって、
前記対応検出処理部は、前記水平又は水平と看做されるグループを含む前記カメラにより撮像された元画像内の探索領域を周辺情報を含めるように設定する、
ことを特徴とする対象物移動装置。 - 請求項1〜8の何れか1項記載の対象物移動装置であって、
前記対象物は、巻ばねである、
ことを特徴とする対象物移動装置。 - 形状に端面と空間部が存在して輪郭を分断された側面とを備える同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する対象物移動方法であって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出ステップと、
前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別ステップと、
前記判別された端面のハイライトから最終的な端面のハイライトを決定する端面ハイライト検出ステップと、
前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する特徴量抽出ステップと、
前記特徴量により前記側面のハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化ステップと、
前記グループ及び端面のハイライトの前記画像間での対応を検出する対応検出ステップと、
前記検出により対応したグループ及び端面のハイライトにより前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢を決定する位置・姿勢決定ステップと、
前記対象物の位置、姿勢により前記ハンドの動作を行わせる動作ステップと、
を備えたことを特徴とする対象物移動方法。 - 形状に端面と空間部が存在して輪郭を分断された側面とを備える同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する機能をコンピュータに実現させる対象物移動プログラムであって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出機能と、
前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別機能と、
前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する特徴量抽出機能と、
前記特徴量により前記側面のハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化機能と、
前記グループの前記画像間での対応を検出する対応検出機能と、
前記検出により対応したグループで前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢をステレオ画像処理により演算する位置・姿勢演算機能と、
前記演算された対象物の位置、姿勢により前記ハンドの動作を制御する動作制御機能と、
を前記機能として備えたことを特徴とする対象物移動プログラム。 - 形状に端面と空間部が存在して輪郭を分断された側面とを備える同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する機能をコンピュータに実現させる対象物移動プログラムであって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出機能と、
前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別機能と、
前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する特徴量抽出機能と、
前記特徴量により前記側面のハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化機能と、
前記グループの前記画像間での対応を検出する対応検出機能と、
前記検出により対応したグループで前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢をステレオ画像処理により演算する位置・姿勢演算機能と、
前記演算された対象物の位置、姿勢により前記ハンドの動作を制御する動作制御機能と、
前記複数の特徴量から選択した特定の特徴量により前記側面のハイライトを複数1組毎の仮グループとする仮グループ化機能と、を前記機能として備え、
前記グループ化機能は、前記仮グループとされた側面のハイライトを前記複数の特徴量から選択した特定の他の特徴量によりグループとして決定する、
ことを特徴とする対象物移動プログラム。 - 形状に端面と空間部が存在して輪郭を分断された側面とを備える同一形状の対象物が不規則に集合した中で前記対象物を特定しハンドにより把持して移動する機能をコンピュータに実現させる対象物移動プログラムであって、
前記集合した対象物全体に照明光を当てた状態で2台のカメラにより撮像された各画像を二値化処理して各反射形状のハイライトを前記画像毎にそれぞれ抽出するハイライト抽出機能と、
前記抽出されたハイライトに面積の閾値処理を施し前記対象物の側面に対応する側面のハイライトと前記対象物の端面に対応する端面のハイライトとを判別するハイライト判別機能と、
前記対象物の側面形状に対応させるための複数の特徴量を前記各側面のハイライトから抽出する特徴量抽出機能と、
前記特徴量により前記側面のハイライトを複数1組毎のグループとして前記画像毎に決定するグループ化機能と、
前記判別された端面のハイライトから最終的な端面のハイライトを決定する端面ハイライト検出機能と、
前記グループ及び端面のハイライトの前記画像間での対応を検出する対応検出機能と、
前記検出により対応したグループ及び端面のハイライトで前記対象物を認識し前記各カメラの位置を基準とした該対象物の位置、姿勢をステレオ画像処理により演算する位置・姿勢演算機能と、
前記演算された対象物の位置、姿勢により前記ハンドの動作を制御する動作制御機能と、
を前記機能として備えたことを特徴とする対象物移動プログラム。 - 請求項11〜13の何れか1項記載の対象物移動プログラムを坦持したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012263234A JP6052871B2 (ja) | 2012-11-30 | 2012-11-30 | 対象物移動装置、方法、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012263234A JP6052871B2 (ja) | 2012-11-30 | 2012-11-30 | 対象物移動装置、方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014109466A JP2014109466A (ja) | 2014-06-12 |
JP6052871B2 true JP6052871B2 (ja) | 2016-12-27 |
Family
ID=51030186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012263234A Active JP6052871B2 (ja) | 2012-11-30 | 2012-11-30 | 対象物移動装置、方法、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6052871B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101919463B1 (ko) | 2016-11-24 | 2019-02-08 | 한국폴리텍7대학 산학협력단 | 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6777670B2 (ja) * | 2018-03-27 | 2020-10-28 | ファナック株式会社 | 画像処理を利用してロボットの教示を補正するロボットシステム |
JP7388970B2 (ja) * | 2020-04-06 | 2023-11-29 | ファナック株式会社 | ロボットシステム |
CN112329540A (zh) * | 2020-10-10 | 2021-02-05 | 广西电网有限责任公司电力科学研究院 | 一种面向架空输电线路作业到位监督的识别方法及*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0763515A (ja) * | 1993-08-25 | 1995-03-10 | Ishikawajima Harima Heavy Ind Co Ltd | 円筒体の位置自動計測方法 |
EP0812662B1 (en) * | 1995-12-27 | 2008-01-23 | Fanuc Ltd | Composite sensor robot system |
JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
JP2011167815A (ja) * | 2010-02-19 | 2011-09-01 | Ihi Corp | 物体認識ロボットシステム |
US8165403B1 (en) * | 2010-11-19 | 2012-04-24 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of specular objects |
-
2012
- 2012-11-30 JP JP2012263234A patent/JP6052871B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101919463B1 (ko) | 2016-11-24 | 2019-02-08 | 한국폴리텍7대학 산학협력단 | 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP2014109466A (ja) | 2014-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP6721998B2 (ja) | 物体状態特定方法、物体状態特定装置、および、搬送車 | |
JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
KR102056664B1 (ko) | 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템 | |
JP5289087B2 (ja) | ワーク取り出し装置 | |
JP2013101045A (ja) | 物品の3次元位置姿勢の認識装置及び認識方法 | |
KR100823549B1 (ko) | 조선소 소조립 용접부재 위치 인식 방법 | |
CN108126914B (zh) | 一种基于深度学习的料框内散乱多物体机器人分拣方法 | |
JP6052871B2 (ja) | 対象物移動装置、方法、プログラム、及び記録媒体 | |
US20130058526A1 (en) | Device for automated detection of feature for calibration and method thereof | |
CN111178138B (zh) | 基于激光点云和双目视觉的配网导线作业点检测方法及装置 | |
CN101033958A (zh) | 一种机器视觉定位方法 | |
Jiang et al. | Dual-camera-based method for identification and location of scattered self-plugging rivets for robot grasping | |
US9361695B2 (en) | Method of recognizing a position of a workpiece from a photographed image | |
CN102788572A (zh) | 一种工程机械吊钩姿态的测量方法、装置及*** | |
JPH08136220A (ja) | 物品の位置検出方法およびその装置 | |
Bellandi et al. | Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation | |
CN107748855A (zh) | 一种二维码寻像图形的检测方法 | |
CN113284178B (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
JP2017217726A (ja) | ロボット | |
CN116494253B (zh) | 目标物体抓取位姿获取方法及机器人抓取*** | |
CN100553349C (zh) | 确定靶标拓扑关系的方法及可任意摆放的摄像机标定靶标 | |
JP6624911B2 (ja) | 計測装置、計測方法および物品の製造方法 | |
JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
CN111932617A (zh) | 一种对规则物体实现实时检测定位方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6052871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |