JPH0672770B2 - ロボットの物体認識装置 - Google Patents
ロボットの物体認識装置Info
- Publication number
- JPH0672770B2 JPH0672770B2 JP63021455A JP2145588A JPH0672770B2 JP H0672770 B2 JPH0672770 B2 JP H0672770B2 JP 63021455 A JP63021455 A JP 63021455A JP 2145588 A JP2145588 A JP 2145588A JP H0672770 B2 JPH0672770 B2 JP H0672770B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- binarized
- differential
- binarized image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、視覚情報に基づいて、物体の円筒部又は円筒
様形状をした円筒様部を抽出して、円筒部等の中心位置
を演算することにより、対象物体の存在位置を検出し、
自動的に対象物体を把持するようにしたロボットの物体
認識装置に関する。
様形状をした円筒様部を抽出して、円筒部等の中心位置
を演算することにより、対象物体の存在位置を検出し、
自動的に対象物体を把持するようにしたロボットの物体
認識装置に関する。
従来、物体をCCDカメラ等にて撮像して、物体の画像デ
ータを入力し、濃淡レベルを所定の閾値を基準として単
純に２値化することにより物体の画像を単純化し、その
２値化された画像から対象物体を認識する装置が知られ
ている。又、物体の濃淡画像とモデル物体の濃淡画像と
の相関を求めることにより、対象物体を認識する装置が
知られている。
ータを入力し、濃淡レベルを所定の閾値を基準として単
純に２値化することにより物体の画像を単純化し、その
２値化された画像から対象物体を認識する装置が知られ
ている。又、物体の濃淡画像とモデル物体の濃淡画像と
の相関を求めることにより、対象物体を認識する装置が
知られている。
撮像装置に対して、物体の表面が平面的であれば、つま
り、前記物体が背景よりも大きな一定の反射率を有して
おれば、濃淡信号のレベル変化が物体の境界で大きく、
物体領域内での濃淡レベルの変動が少ないため、単純に
２値化処理をすることにより、前記物体の全体の映像を
抽出することが可能である。 ところが、物体が円筒又は円筒に形状的に類似している
場合には、背景から物体の境界にかけて濃淡レベルが緩
やかに変化すると共に物体の領域内部でも濃淡レベルが
位置に関する曲線関数で徐々に変化しているので、従来
の単純２値化処理のみでは、物体を認識し、その物体の
正確な位置を検出することは難しい。 又、物体が重なっている場合には、対象物体の境界での
濃淡レベルの変動が少なく、濃淡画像を単純に２値化す
る方法では、対象物体の認識が困難である。 又、濃淡画像とモデル物体の濃淡画像との相関をとるこ
とにより物体を認識する方法は、処理対象の情報量が多
すぎ、処理時間が長くなるという問題があった。
り、前記物体が背景よりも大きな一定の反射率を有して
おれば、濃淡信号のレベル変化が物体の境界で大きく、
物体領域内での濃淡レベルの変動が少ないため、単純に
２値化処理をすることにより、前記物体の全体の映像を
抽出することが可能である。 ところが、物体が円筒又は円筒に形状的に類似している
場合には、背景から物体の境界にかけて濃淡レベルが緩
やかに変化すると共に物体の領域内部でも濃淡レベルが
位置に関する曲線関数で徐々に変化しているので、従来
の単純２値化処理のみでは、物体を認識し、その物体の
正確な位置を検出することは難しい。 又、物体が重なっている場合には、対象物体の境界での
濃淡レベルの変動が少なく、濃淡画像を単純に２値化す
る方法では、対象物体の認識が困難である。 又、濃淡画像とモデル物体の濃淡画像との相関をとるこ
とにより物体を認識する方法は、処理対象の情報量が多
すぎ、処理時間が長くなるという問題があった。
上記課題を解決するための発明の構成は、第１図にその
概念を示すように、物体を撮像する撮像装置11と、前記
撮像装置11により得られた濃淡画像を濃淡に関して微分
する微分手段12と、前記微分手段12により得られた微分
画像を所定の閾値を基準として２値化する２値化手段13
と、モデル物体の微分画像を所定の閾値を基準として２
値化した基準２値化画像データを記憶する基準２値化画
像データ記憶手段14と、前記２値化手段13によって得ら
れらた２値化画像データと前記基準２値化画像データ記
憶手段14に記憶された前記基準２値化画像データとを照
合する照合手段15と、前記照合手段15の照合結果により
対象物体を特定し、その特定された物体の前記２値化画
像データに基づいてその物体の存在位置を演算する位置
演算手段16とを設けたことを特徴とする。
概念を示すように、物体を撮像する撮像装置11と、前記
撮像装置11により得られた濃淡画像を濃淡に関して微分
する微分手段12と、前記微分手段12により得られた微分
画像を所定の閾値を基準として２値化する２値化手段13
と、モデル物体の微分画像を所定の閾値を基準として２
値化した基準２値化画像データを記憶する基準２値化画
像データ記憶手段14と、前記２値化手段13によって得ら
れらた２値化画像データと前記基準２値化画像データ記
憶手段14に記憶された前記基準２値化画像データとを照
合する照合手段15と、前記照合手段15の照合結果により
対象物体を特定し、その特定された物体の前記２値化画
像データに基づいてその物体の存在位置を演算する位置
演算手段16とを設けたことを特徴とする。
本発明の物体認識装置では、撮像装置により得られた物
体の濃淡画像を微分した後、その微分画像の絶対値を一
定の閾値を基準に２値化される。そして、その２値化画
像データと予め基準２値化画像データ記憶手段に記憶さ
れたモデル物体の微分画像を２値化した基準２値化画像
データとの照合が行われ、照合の程度により、対象物体
の認識が行われる。その後、対象物体の２値化画像デー
タからその物体の中心位置や重心位置等の存在位置が演
算される。 このように、本発明では、微分画像を２値化しているた
め、物体の輪郭線の把握が容易となる。又、微分画像の
正負の成分毎に２値化して、基準２値化画像データと微
分画像の符号を含めて照合した場合には、物体の輪郭線
に対して何方の側が物体の内部の側かを判別できる。こ
のため、円筒状又は円筒様形状をした物体が隣接して複
数配置されていても、対象物体の内部か外部かを判別で
きるため、対象物体の中心位置を誤認することが防止さ
れる。 尚、上記の濃淡画像はアナログ信号であっても、ディジ
タル化された値であっても良く、従って、上記の微分手
段はアナログ信号を微分演算する手段でも、ディジタル
データを微分演算する手段であっても良い。
体の濃淡画像を微分した後、その微分画像の絶対値を一
定の閾値を基準に２値化される。そして、その２値化画
像データと予め基準２値化画像データ記憶手段に記憶さ
れたモデル物体の微分画像を２値化した基準２値化画像
データとの照合が行われ、照合の程度により、対象物体
の認識が行われる。その後、対象物体の２値化画像デー
タからその物体の中心位置や重心位置等の存在位置が演
算される。 このように、本発明では、微分画像を２値化しているた
め、物体の輪郭線の把握が容易となる。又、微分画像の
正負の成分毎に２値化して、基準２値化画像データと微
分画像の符号を含めて照合した場合には、物体の輪郭線
に対して何方の側が物体の内部の側かを判別できる。こ
のため、円筒状又は円筒様形状をした物体が隣接して複
数配置されていても、対象物体の内部か外部かを判別で
きるため、対象物体の中心位置を誤認することが防止さ
れる。 尚、上記の濃淡画像はアナログ信号であっても、ディジ
タル化された値であっても良く、従って、上記の微分手
段はアナログ信号を微分演算する手段でも、ディジタル
データを微分演算する手段であっても良い。
以下、本発明を具体的な実施例に基づいて説明する。 第２図は、本発明の具体的な一実施例に係る物体認識装
置の電気的構成を示したブロック図である。 20は物体認識装置であり、その物体認識装置20は、物体
22を撮像するCCDカメラ24、CCDカメラ24から出力される
映像信号をA/D変換するA/D変換装置25、A/D変換装置25
の出力する濃淡画像を微分演算する微分演算装置26、微
分演算装置26の出力する微分画像の絶対値を一定の閾値
を基準に２値化する２値化装置27、２値化画像データを
一旦貯えておく画像メモリ28、モデル物体の微分画像を
一定の閾値を基準として２値化した基準２値化画像デー
タを記憶した基準データ記憶装置29、随時、画像メモリ
28から読出された物体の２値化画像データと基準２値化
画像データとを照合し、その照合の程度から対象物体を
特定し、その対象物体の中心位置を演算するCPU30を有
している。 50はロボット60を制御するためのロボット制御装置であ
り、そのロボット制御装置50は、前記物体認識装置20と
インターフェース51で結ばれたCPU52と、ロボット位置
制御プログラム等を記憶したROM54、教示データ等を記
憶するRAM53、そしてロボット60の各駆動軸を駆動する
サーボモータを制御するサーボCPU55とを有している。
ロボット60はアーム61とアーム61により位置を制御さ
れ、物体22を把持するハンド62で構成されている。 ロボット60はロボット制御装置50により、各軸を駆動す
るサーボモータ（図示しない）が制御される。一方、基
台21上には円筒状の物体22が載置されており、略鉛直方
向から図示しない光源から平行光線23が物体に照射され
ている。その円筒状の物体22からの反射光は、CCDカメ
ラ24に入射しており、CCDカメラ24からは物体22の映像
信号がA/D変換装置25に出力されている。 次に、物体認識装置20の作用を第２図及び第３図を参照
して説明する。 まずCCDカメラ24及びA/D変換装置25を介して、基台21上
の物体22は、第３図（ａ）、（ｂ）で示すように濃淡画
像に変換される。濃淡画像において、円筒状の物体22の
中心部Ａは明るく、物体22の周辺部B1、B2は暗くなって
いる。即ち、ラインＬに沿って走査した場合の濃淡レベ
ルは第３図（ｂ）に示すように物体22の中心部Ａが周辺
部B1、B2に対して高レベルとなっている。 次に、濃淡画像は、微分演算装置26にて、第３図
（ｃ）、（ｄ）で示すような微分画像に変換される。微
分画像において、物体22の中心部Ａは濃淡レベルの変動
が小さいため微分値は０となり、走査方向ｘに対してｘ
の値が小さい側B1では濃淡画像の濃淡レベルが増加する
ため微分値は正値をとり、逆に、走査方向ｘに対してｘ
の値が大きい側B2では濃淡画像の濃淡レベルが減少する
ため微分値は負値をとる。 次に、２値化装置27にて、微分画像の絶対値に対して所
定の閾値Ethを基準として、２値化が行われ、第３図
（ｅ）、（ｆ）で示すような２値化画像データが得られ
る。２値化画像データにおいて、短冊状の画像z1、z2が
物体22の周辺部B1、B2を示している。 このようにして、周辺部B1、B2の形状とその間隔から物
体22を特定することが可能となる。その２値化画像デー
タは一旦、画像メモリ28に貯えられ、CPU30により随時
読出され、予め基準データ記憶装置29に記憶されている
第３図（ｉ）に示すモデル物体の基準２値化画像データ
と順次照合される。そして、その照合度から２値化画像
データにおいて、物体22を認識することができる。 次に、物体22が認識されると、２値化画像データにおい
て、周辺部B1とB2の間の中間部z3が第３図（ｇ）、
（ｈ）に示すように抽出され、物体22の中心位置x1が演
算される。 そして、その演算結果である物体22の中心位置x1は、イ
ンターフェース51を介し、CPU52に入力され、その値に
基づいてロボット60の位置制御が行われ、対象物体22が
把持される。 第４図はロボットの物体認識装置におけるCPU30の処理
手順を示したフローチャートである。 ステップ100において、まず照合領域の初期設定とし
て、画像メモリ28に記憶された２値化画像データのうち
一定の照合領域を示す画素アドレスが特定され、次のス
テップ102で照合領域の２値化画像データの抽出を行
う。次にステップ104へ移行して、基準２値化画像デー
タと、前記２値化画像データとの照合度の演算を行い、
次にステップ106へ移行して、照合度が一定値以上ある
か否かを判定し、一定値以上ある場合は、ステップ108
へ移行し、物体の中心位置の演算を行い、ステップ110
でその物体の中心位置データをインタフェース51を介し
てCPU52へ出力して終了する。ステップ106で照合度が一
定値に達しない場合には、ステップ112へ移行して全領
域の照合が完了か否かを判定し、完了していない場合に
はステップ114で照合領域更新をして、再びステップ100
へ戻る。そして上記のステップ100〜114を繰り返し、そ
して、ステップ106にて照合度が一定値に達しないにも
拘わらず、ステップ112にて全領域の照合が完了の場合
は、ステップ116に移行し、物体認識失敗の情報をCPU52
へ出力し終了する。 次に、ロボット制御装置50の作用を第５図のフローチャ
ートに基づいて説明する。 ステップ200において、ロボット60の位置を待機位置と
し、次のステップ202でインタフェース51を介してCPU30
に画像データ処理開始指令信号を付与する。すると、CP
U30は第４図に示すプログラムに従ってCCDカメラ24の走
査とリアルタイムに画像メモリ28に作成されている２値
化画像データの処理を開始する。尚、画像メモリ28に作
成される２値化画像データはCCDカメラ24が常時駆動さ
れた状態にあるため、リアルタイムなデータとなる。次
にステップ204へ移行してCPU30による画像データ処理が
終了したか否かが判定され、その画像データ処理が終了
されるまで待機した後、画像データ処理が終了した場合
には、ステップ206へ移行して、CPU30から入力された情
報から物体が認識されたか否かが判定され、物体認識さ
れている場合にはCPU30からは物体22の中心位置データ
が入力されるので、ステップ210へ移行してCPU30から入
力された物体の中心位置に基づいて位置決めデータをサ
ーボCPU55へ出力しロボット60を駆動して、ハンド62を
その物体22の中心位置まで移動させてその物体の把持動
作を実行する。そしてステップ212へ移行して、物体の
把持が完了したか否かが判定され、物体の把持が完了し
た場合には、ステップ214へ移行して物体の運搬動作が
実行される。そして、ステップ200へ戻り、次の把持物
体の認識処理の開始指令がCPU30に付与される。 このようにステップ200〜214の繰り返しにより、基台21
上に載置された物体が次々に運搬される。 又、CPU30から物体の認識失敗の旨の情報が出力された
場合には、上記のステップ206で物体が認識されないと
判定され、ステップ216で作業者に警報したりするエラ
ー処理が行われ後、本プログラムは終了される。 次に、第２実施例について説明する。 上記のように微分画像の絶対値を２値化すると、第６図
に示すように円筒状の物体が隣接する場合において、稀
に物体と物体の間に物体があたかも有るように誤認識し
位置検出信号を物体の数より多く出力する場合がある。 つまり、基台31上の物体32a,32bは第３図（ａ），
（ｂ）と同様な第６図（ａ），（ｂ）で示す濃淡画像に
変換され、微分演算装置により第３図（ｃ），（ｄ）と
同様な第６図（ｃ），（ｄ）に示す微分画像が得られ
る。ここで、第３図の説明と同様に、第６図（ｃ），
（ｄ）を微分画像の絶対値に対して所定の閾値Ethを基
準として、２値化が行われ、第６図（ｅ），（ｆ）で示
すような２値化画像データが得られる。 そして、第３図（ｉ）の説明と同様な第６図（ｉ）に示
すモデル物体の基準２値化画像データと、第６図
（ｅ），（ｆ）で示される２値化画像データが順次照合
されると、その照合度から２値化画像データにおいて物
体32a,32bが認識されるのであるが、第３図（ｇ），
（ｈ）の場合と異なり、第６図（ｇ），（ｈ）のように
中間部Z9が基台31上の物体32a,32bの数より多く抽出さ
れる。即ち、物体と物体との間も中間部Z9として抽出さ
れることになり、物体32a,32bの中心位置が物体32a,32b
の数より多く検出されることになる。 そこで、第７図に示す構成とすることにより、微分画像
の正及び負の成分を所定の各閾値を基準として２値化
し、モデル物体の微分画像の正及び負の成分を所定の各
閾値を基準として２値化した基準２値化画像データと各
々照合し、その照合結果をAND処理することにより、物
体の真の中心位置のみを得ることができる。 次に第７図及び第８図を参照して作用を説明する。 撮像装置71により基台41上の物体42は、第８図（ａ），
（ｂ）で示すように濃淡画像に変換される。次に、濃淡
画像は微分手段72にて、第８図（ｃ）で示すような微分
画像（１ライン分データのみ図示）に変換される。次
に、２値化手段73により微分画像の正成分は所定の閾値
Ethを基準として２値化が実行され、又、２値化手段76
により微分画像の負成分は所定の閾値−Ethを基準とし
て２値化が行われる。そして、正成分の微分画像は第８
図（ｄ）で示す２値化画像データに変換され、負成分の
微分画像は第８図（ｅ）で示すような２値化画像データ
となる。 そして、予め基準２値化画像データ記憶手段75、78に記
憶されている第８図（ｇ），（ｈ）に示すモデル物体の
正の微分画像成分と負の微分画像成分に対して独立に設
定された基準２値化画像データと順次照合される。この
基準２値化画像データにおいて、微分画像の正成分と負
成分の表れる位置関係は物体の幅に応じて決定されてい
る。このように、正成分と負成分の微分画像とを区別し
て照合されるため、第８図（ａ）に示す物体42の走査方
向ｘに対して手前の周辺部H1側と後のH2側を区別して識
別することが可能となる。そして、正成分と負成分の照
合結果のAND処理により一定の幅を有した物体42が認識
される。次に、２値化画像データにおいて、周辺部H1と
H2の間の中間部Z13が第３図（ｆ）に示すように抽出さ
れ、物体42の中心位置X11が演算される。このように微
分画像において、微分値が正及び負を一つの物体として
認識する。従って、上記第６図に示すような円筒状の物
体が隣接する場合においても、物体の数より多く中間部
が抽出されることはなく、物体の数と同数の位置検出信
号を得ることができる。 尚、上記実施例では、物体の幅により決定される一定の
関係にある微分画像の正成分と負成分とを独立に照合し
て、その後にAND条件による照合結果を求めているが、
微分画像の正成分に対して「１」と「０」とに２値化
し、微分画像の負成分に対して「−１」と「０」とに２
値化し、且つ基準２値化画像データを「１」、「０」、
「−１」の値にディジタル化されたパターンとして、そ
の基準パターンと２値化画像データとを一度に照合する
ようにしてもよい。
置の電気的構成を示したブロック図である。 20は物体認識装置であり、その物体認識装置20は、物体
22を撮像するCCDカメラ24、CCDカメラ24から出力される
映像信号をA/D変換するA/D変換装置25、A/D変換装置25
の出力する濃淡画像を微分演算する微分演算装置26、微
分演算装置26の出力する微分画像の絶対値を一定の閾値
を基準に２値化する２値化装置27、２値化画像データを
一旦貯えておく画像メモリ28、モデル物体の微分画像を
一定の閾値を基準として２値化した基準２値化画像デー
タを記憶した基準データ記憶装置29、随時、画像メモリ
28から読出された物体の２値化画像データと基準２値化
画像データとを照合し、その照合の程度から対象物体を
特定し、その対象物体の中心位置を演算するCPU30を有
している。 50はロボット60を制御するためのロボット制御装置であ
り、そのロボット制御装置50は、前記物体認識装置20と
インターフェース51で結ばれたCPU52と、ロボット位置
制御プログラム等を記憶したROM54、教示データ等を記
憶するRAM53、そしてロボット60の各駆動軸を駆動する
サーボモータを制御するサーボCPU55とを有している。
ロボット60はアーム61とアーム61により位置を制御さ
れ、物体22を把持するハンド62で構成されている。 ロボット60はロボット制御装置50により、各軸を駆動す
るサーボモータ（図示しない）が制御される。一方、基
台21上には円筒状の物体22が載置されており、略鉛直方
向から図示しない光源から平行光線23が物体に照射され
ている。その円筒状の物体22からの反射光は、CCDカメ
ラ24に入射しており、CCDカメラ24からは物体22の映像
信号がA/D変換装置25に出力されている。 次に、物体認識装置20の作用を第２図及び第３図を参照
して説明する。 まずCCDカメラ24及びA/D変換装置25を介して、基台21上
の物体22は、第３図（ａ）、（ｂ）で示すように濃淡画
像に変換される。濃淡画像において、円筒状の物体22の
中心部Ａは明るく、物体22の周辺部B1、B2は暗くなって
いる。即ち、ラインＬに沿って走査した場合の濃淡レベ
ルは第３図（ｂ）に示すように物体22の中心部Ａが周辺
部B1、B2に対して高レベルとなっている。 次に、濃淡画像は、微分演算装置26にて、第３図
（ｃ）、（ｄ）で示すような微分画像に変換される。微
分画像において、物体22の中心部Ａは濃淡レベルの変動
が小さいため微分値は０となり、走査方向ｘに対してｘ
の値が小さい側B1では濃淡画像の濃淡レベルが増加する
ため微分値は正値をとり、逆に、走査方向ｘに対してｘ
の値が大きい側B2では濃淡画像の濃淡レベルが減少する
ため微分値は負値をとる。 次に、２値化装置27にて、微分画像の絶対値に対して所
定の閾値Ethを基準として、２値化が行われ、第３図
（ｅ）、（ｆ）で示すような２値化画像データが得られ
る。２値化画像データにおいて、短冊状の画像z1、z2が
物体22の周辺部B1、B2を示している。 このようにして、周辺部B1、B2の形状とその間隔から物
体22を特定することが可能となる。その２値化画像デー
タは一旦、画像メモリ28に貯えられ、CPU30により随時
読出され、予め基準データ記憶装置29に記憶されている
第３図（ｉ）に示すモデル物体の基準２値化画像データ
と順次照合される。そして、その照合度から２値化画像
データにおいて、物体22を認識することができる。 次に、物体22が認識されると、２値化画像データにおい
て、周辺部B1とB2の間の中間部z3が第３図（ｇ）、
（ｈ）に示すように抽出され、物体22の中心位置x1が演
算される。 そして、その演算結果である物体22の中心位置x1は、イ
ンターフェース51を介し、CPU52に入力され、その値に
基づいてロボット60の位置制御が行われ、対象物体22が
把持される。 第４図はロボットの物体認識装置におけるCPU30の処理
手順を示したフローチャートである。 ステップ100において、まず照合領域の初期設定とし
て、画像メモリ28に記憶された２値化画像データのうち
一定の照合領域を示す画素アドレスが特定され、次のス
テップ102で照合領域の２値化画像データの抽出を行
う。次にステップ104へ移行して、基準２値化画像デー
タと、前記２値化画像データとの照合度の演算を行い、
次にステップ106へ移行して、照合度が一定値以上ある
か否かを判定し、一定値以上ある場合は、ステップ108
へ移行し、物体の中心位置の演算を行い、ステップ110
でその物体の中心位置データをインタフェース51を介し
てCPU52へ出力して終了する。ステップ106で照合度が一
定値に達しない場合には、ステップ112へ移行して全領
域の照合が完了か否かを判定し、完了していない場合に
はステップ114で照合領域更新をして、再びステップ100
へ戻る。そして上記のステップ100〜114を繰り返し、そ
して、ステップ106にて照合度が一定値に達しないにも
拘わらず、ステップ112にて全領域の照合が完了の場合
は、ステップ116に移行し、物体認識失敗の情報をCPU52
へ出力し終了する。 次に、ロボット制御装置50の作用を第５図のフローチャ
ートに基づいて説明する。 ステップ200において、ロボット60の位置を待機位置と
し、次のステップ202でインタフェース51を介してCPU30
に画像データ処理開始指令信号を付与する。すると、CP
U30は第４図に示すプログラムに従ってCCDカメラ24の走
査とリアルタイムに画像メモリ28に作成されている２値
化画像データの処理を開始する。尚、画像メモリ28に作
成される２値化画像データはCCDカメラ24が常時駆動さ
れた状態にあるため、リアルタイムなデータとなる。次
にステップ204へ移行してCPU30による画像データ処理が
終了したか否かが判定され、その画像データ処理が終了
されるまで待機した後、画像データ処理が終了した場合
には、ステップ206へ移行して、CPU30から入力された情
報から物体が認識されたか否かが判定され、物体認識さ
れている場合にはCPU30からは物体22の中心位置データ
が入力されるので、ステップ210へ移行してCPU30から入
力された物体の中心位置に基づいて位置決めデータをサ
ーボCPU55へ出力しロボット60を駆動して、ハンド62を
その物体22の中心位置まで移動させてその物体の把持動
作を実行する。そしてステップ212へ移行して、物体の
把持が完了したか否かが判定され、物体の把持が完了し
た場合には、ステップ214へ移行して物体の運搬動作が
実行される。そして、ステップ200へ戻り、次の把持物
体の認識処理の開始指令がCPU30に付与される。 このようにステップ200〜214の繰り返しにより、基台21
上に載置された物体が次々に運搬される。 又、CPU30から物体の認識失敗の旨の情報が出力された
場合には、上記のステップ206で物体が認識されないと
判定され、ステップ216で作業者に警報したりするエラ
ー処理が行われ後、本プログラムは終了される。 次に、第２実施例について説明する。 上記のように微分画像の絶対値を２値化すると、第６図
に示すように円筒状の物体が隣接する場合において、稀
に物体と物体の間に物体があたかも有るように誤認識し
位置検出信号を物体の数より多く出力する場合がある。 つまり、基台31上の物体32a,32bは第３図（ａ），
（ｂ）と同様な第６図（ａ），（ｂ）で示す濃淡画像に
変換され、微分演算装置により第３図（ｃ），（ｄ）と
同様な第６図（ｃ），（ｄ）に示す微分画像が得られ
る。ここで、第３図の説明と同様に、第６図（ｃ），
（ｄ）を微分画像の絶対値に対して所定の閾値Ethを基
準として、２値化が行われ、第６図（ｅ），（ｆ）で示
すような２値化画像データが得られる。 そして、第３図（ｉ）の説明と同様な第６図（ｉ）に示
すモデル物体の基準２値化画像データと、第６図
（ｅ），（ｆ）で示される２値化画像データが順次照合
されると、その照合度から２値化画像データにおいて物
体32a,32bが認識されるのであるが、第３図（ｇ），
（ｈ）の場合と異なり、第６図（ｇ），（ｈ）のように
中間部Z9が基台31上の物体32a,32bの数より多く抽出さ
れる。即ち、物体と物体との間も中間部Z9として抽出さ
れることになり、物体32a,32bの中心位置が物体32a,32b
の数より多く検出されることになる。 そこで、第７図に示す構成とすることにより、微分画像
の正及び負の成分を所定の各閾値を基準として２値化
し、モデル物体の微分画像の正及び負の成分を所定の各
閾値を基準として２値化した基準２値化画像データと各
々照合し、その照合結果をAND処理することにより、物
体の真の中心位置のみを得ることができる。 次に第７図及び第８図を参照して作用を説明する。 撮像装置71により基台41上の物体42は、第８図（ａ），
（ｂ）で示すように濃淡画像に変換される。次に、濃淡
画像は微分手段72にて、第８図（ｃ）で示すような微分
画像（１ライン分データのみ図示）に変換される。次
に、２値化手段73により微分画像の正成分は所定の閾値
Ethを基準として２値化が実行され、又、２値化手段76
により微分画像の負成分は所定の閾値−Ethを基準とし
て２値化が行われる。そして、正成分の微分画像は第８
図（ｄ）で示す２値化画像データに変換され、負成分の
微分画像は第８図（ｅ）で示すような２値化画像データ
となる。 そして、予め基準２値化画像データ記憶手段75、78に記
憶されている第８図（ｇ），（ｈ）に示すモデル物体の
正の微分画像成分と負の微分画像成分に対して独立に設
定された基準２値化画像データと順次照合される。この
基準２値化画像データにおいて、微分画像の正成分と負
成分の表れる位置関係は物体の幅に応じて決定されてい
る。このように、正成分と負成分の微分画像とを区別し
て照合されるため、第８図（ａ）に示す物体42の走査方
向ｘに対して手前の周辺部H1側と後のH2側を区別して識
別することが可能となる。そして、正成分と負成分の照
合結果のAND処理により一定の幅を有した物体42が認識
される。次に、２値化画像データにおいて、周辺部H1と
H2の間の中間部Z13が第３図（ｆ）に示すように抽出さ
れ、物体42の中心位置X11が演算される。このように微
分画像において、微分値が正及び負を一つの物体として
認識する。従って、上記第６図に示すような円筒状の物
体が隣接する場合においても、物体の数より多く中間部
が抽出されることはなく、物体の数と同数の位置検出信
号を得ることができる。 尚、上記実施例では、物体の幅により決定される一定の
関係にある微分画像の正成分と負成分とを独立に照合し
て、その後にAND条件による照合結果を求めているが、
微分画像の正成分に対して「１」と「０」とに２値化
し、微分画像の負成分に対して「−１」と「０」とに２
値化し、且つ基準２値化画像データを「１」、「０」、
「−１」の値にディジタル化されたパターンとして、そ
の基準パターンと２値化画像データとを一度に照合する
ようにしてもよい。
本発明のロボットの物体認識装置は、撮像装置により得
られた濃淡画像を微分する微分手段と、微分画像を２値
化する２値化手段と、モデル物体の微分画像を２値化し
た基準２値化画像データを記憶する基準２値化画像デー
タ記憶手段と、２値化画像データと基準２値化画像デー
タとを照合する照合手段と、照合手段の照合結果により
物体の存在位置を演算する位置演算手段とを有してお
り、微分画像を２値化して基準データと照合しているの
で、円筒状又は、円筒様形状を持つ物体のように境界に
おいて濃淡レベル変化が小さく、物体の領域内部で濃淡
レベルの変化があっても、その物体の認識精度が向上す
るという効果がある。 又、微分画像を２値化しているため、濃淡レベルの絶対
的な変化の影響を受け難い。 更に、濃淡変化のパターンを簡略化しているので、演算
処理が高速に行えるという効果がある。
られた濃淡画像を微分する微分手段と、微分画像を２値
化する２値化手段と、モデル物体の微分画像を２値化し
た基準２値化画像データを記憶する基準２値化画像デー
タ記憶手段と、２値化画像データと基準２値化画像デー
タとを照合する照合手段と、照合手段の照合結果により
物体の存在位置を演算する位置演算手段とを有してお
り、微分画像を２値化して基準データと照合しているの
で、円筒状又は、円筒様形状を持つ物体のように境界に
おいて濃淡レベル変化が小さく、物体の領域内部で濃淡
レベルの変化があっても、その物体の認識精度が向上す
るという効果がある。 又、微分画像を２値化しているため、濃淡レベルの絶対
的な変化の影響を受け難い。 更に、濃淡変化のパターンを簡略化しているので、演算
処理が高速に行えるという効果がある。
第１図は本発明の概念を示したブロックダイヤグラム。
第２図は本発明の具体的な一実施例に係るロボットの物
体認識装置を示した構成図。第３図は、第２図における
画像データ及び１ライン分データの変化関係を示した説
明図。第４図はCPU30の処理手順を示したフローチャー
ト。第５図はロボット制御装置のCPU52の処理手順を示
したフローチャート。第６図は、第３図に対応して誤認
識を説明するための説明図。第７図は、第６図における
誤認識をなくした本発明の他の実施例の構成を示したブ
ロックダイヤグラム。第８図は同実施例における画像デ
ータ及び１ライン分データの変化関係を示した説明図で
ある。 20……物体認識装置、21,31,41……基台 22,32a,32b,42……物体 50……ロボット制御装置、60……ロボット 61……アーム、62……ハンド
第２図は本発明の具体的な一実施例に係るロボットの物
体認識装置を示した構成図。第３図は、第２図における
画像データ及び１ライン分データの変化関係を示した説
明図。第４図はCPU30の処理手順を示したフローチャー
ト。第５図はロボット制御装置のCPU52の処理手順を示
したフローチャート。第６図は、第３図に対応して誤認
識を説明するための説明図。第７図は、第６図における
誤認識をなくした本発明の他の実施例の構成を示したブ
ロックダイヤグラム。第８図は同実施例における画像デ
ータ及び１ライン分データの変化関係を示した説明図で
ある。 20……物体認識装置、21,31,41……基台 22,32a,32b,42……物体 50……ロボット制御装置、60……ロボット 61……アーム、62……ハンド
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山川 陽一 愛知県刈谷市朝日町１丁目１番地 豊田工 機株式会社内 (56)参考文献 特開 昭62−182603（ＪＰ，Ａ)
Claims (1)
- 【請求項１】物体を撮像してその物体の位置を検出する
ロボットの物体認識装置において、 物体を撮像する撮像装置と、 前記撮像装置により得られた濃淡画像を濃淡に関して微
分する微分手段と、 前記微分手段により得られた微分画像を所定の閾値を基
準として２値化する２値化手段と、 モデル物体の微分画像を所定の閾値を基準として２値化
した基準２値化画像データを記憶する基準２値化画像デ
ータ記憶手段と、 前記２値化手段によって得られらた２値化画像データと
前記基準２値化画像データ記憶手段に記憶された前記基
準２値化画像データとを照合する照合手段と、 前記照合手段の照合結果により対象物体を特定し、その
特定された物体の前記２値化画像データに基づいてその
物体の存在位置を演算する位置演算手段と を有することを特徴とするロボットの物体認識装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63021455A JPH0672770B2 (ja) | 1988-02-01 | 1988-02-01 | ロボットの物体認識装置 |
| US07/304,563 US4920572A (en) | 1988-02-01 | 1989-02-01 | Object recognition system for a robot |
| EP19890101744 EP0327069A3 (en) | 1988-02-01 | 1989-02-01 | Object recognition system for a robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63021455A JPH0672770B2 (ja) | 1988-02-01 | 1988-02-01 | ロボットの物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01196501A JPH01196501A (ja) | 1989-08-08 |
| JPH0672770B2 true JPH0672770B2 (ja) | 1994-09-14 |
Family
ID=12055440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63021455A Expired - Lifetime JPH0672770B2 (ja) | 1988-02-01 | 1988-02-01 | ロボットの物体認識装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US4920572A (ja) |
| EP (1) | EP0327069A3 (ja) |
| JP (1) | JPH0672770B2 (ja) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0650534B2 (ja) * | 1988-11-30 | 1994-06-29 | 株式会社東芝 | マーク検出方式 |
| US5194746A (en) * | 1988-12-18 | 1993-03-16 | Coen Guenther | Method and device for examining components with data digitized into a large number of gray levels |
| JP2552728B2 (ja) * | 1989-05-31 | 1996-11-13 | 富士通株式会社 | 赤外線監視システム |
| JPH03113109U (ja) * | 1990-03-05 | 1991-11-19 | ||
| US5157486A (en) * | 1990-09-21 | 1992-10-20 | Fmc Corporation | High resolution camera sensor having a linear pixel array |
| JP2893078B2 (ja) * | 1990-12-06 | 1999-05-17 | オムロン株式会社 | シェーディング補正方法およびその装置 |
| JPH06507497A (ja) * | 1991-06-13 | 1994-08-25 | アボツト・ラボラトリーズ | 自動化検体分析装置及び方法 |
| FR2683926B1 (fr) * | 1991-11-15 | 1994-02-18 | Snecma | Procede et dispositif d'acquisition et de traitement d'images radioscopiques. |
| GB2262339B (en) * | 1991-12-13 | 1995-09-06 | Honda Motor Co Ltd | Method of inspecting the surface of a workpiece |
| JP2756386B2 (ja) * | 1991-12-27 | 1998-05-25 | 日本たばこ産業株式会社 | 円筒形物体の外観検査装置 |
| IT1258006B (it) * | 1992-01-13 | 1996-02-20 | Gd Spa | Sistema e metodo per il prelievo automatico di oggetti |
| JP3176701B2 (ja) * | 1992-04-15 | 2001-06-18 | 本田技研工業株式会社 | 移動体の現在位置認識処理装置 |
| AU674435B2 (en) * | 1993-07-09 | 1996-12-19 | Akzo Nobel N.V. | Memory control device for an assay apparatus |
| JP3078685B2 (ja) * | 1993-08-06 | 2000-08-21 | 松下電器産業株式会社 | 位置認識方法 |
| US5566244A (en) * | 1993-11-22 | 1996-10-15 | Honda Giken Kogyo Kabushiki Kaisha | Method of inspecting a workpiece surface including a picturing system with a shortened focal plane |
| US5934049A (en) | 1998-01-27 | 1999-08-10 | Cerf; Alain | Automated film wrapping apparatus |
| US6857961B2 (en) | 2001-02-21 | 2005-02-22 | Bally Gaming International, Inc. | Method, apparatus and article for evaluating card games, such as blackjack |
| US6685568B2 (en) | 2001-02-21 | 2004-02-03 | Mindplay Llc | Method, apparatus and article for evaluating card games, such as blackjack |
| US7390256B2 (en) | 2001-06-08 | 2008-06-24 | Arl, Inc. | Method, apparatus and article for random sequence generation and playing card distribution |
| AU2003215067B2 (en) * | 2002-02-05 | 2009-02-19 | Walker Digital Table Systems, Llc | Determining gaming information |
| AU2003270386A1 (en) * | 2002-09-06 | 2004-03-29 | Rytec Corporation | Signal intensity range transformation apparatus and method |
| CA2537232C (en) | 2003-09-05 | 2016-06-21 | Bally Gaming International, Inc. | Systems, methods, and devices for monitoring card games, such as baccarat |
| US7736236B2 (en) | 2003-11-07 | 2010-06-15 | Bally Gaming International, Inc. | Method, apparatus and article for evaluating card games, such as blackjack |
| AU2005235579B2 (en) | 2004-04-15 | 2011-02-17 | Bally Gaming International, Inc. | Systems and methods for monitoring activities on a gaming table |
| JP4261466B2 (ja) | 2004-11-17 | 2009-04-30 | 株式会社日立製作所 | 自律移動装置、並びに物体及び自己位置検出システム |
| US8074987B2 (en) | 2005-02-10 | 2011-12-13 | Bally Gaming, Inc. | Systems and methods for processing playing cards collected from a gaming table |
| US8342932B2 (en) | 2005-09-12 | 2013-01-01 | Bally Gaming, Inc. | Systems, methods and articles to facilitate playing card games with intermediary playing card receiver |
| US8550464B2 (en) | 2005-09-12 | 2013-10-08 | Bally Gaming, Inc. | Systems, methods and articles to facilitate playing card games with selectable odds |
| US8342533B2 (en) | 2005-09-12 | 2013-01-01 | Bally Gaming, Inc. | Systems, methods and articles to facilitate playing card games with multi-compartment playing card receivers |
| US7967682B2 (en) | 2006-04-12 | 2011-06-28 | Bally Gaming, Inc. | Wireless gaming environment |
| US8366109B2 (en) | 2006-04-12 | 2013-02-05 | Bally Gaming, Inc. | System and method to handle playing cards, employing elevator mechanism |
| US8100753B2 (en) | 2006-05-23 | 2012-01-24 | Bally Gaming, Inc. | Systems, methods and articles to facilitate playing card games with selectable odds |
| US8038153B2 (en) | 2006-05-23 | 2011-10-18 | Bally Gaming, Inc. | Systems, methods and articles to facilitate playing card games |
| US8052519B2 (en) | 2006-06-08 | 2011-11-08 | Bally Gaming, Inc. | Systems, methods and articles to facilitate lockout of selectable odds/advantage in playing card games |
| US7753779B2 (en) | 2006-06-16 | 2010-07-13 | Bally Gaming, Inc. | Gaming chip communication system and method |
| US8998692B2 (en) | 2006-06-21 | 2015-04-07 | Bally Gaming, Inc. | Systems, methods and articles to facilitate delivery of sets or packets of playing cards |
| US8070574B2 (en) | 2007-06-06 | 2011-12-06 | Shuffle Master, Inc. | Apparatus, system, method, and computer-readable medium for casino card handling with multiple hand recall feature |
| AU2007205809B2 (en) | 2006-08-17 | 2012-05-17 | Bally Gaming, Inc. | Systems, methods and articles to enhance play at gaming tables with bonuses |
| JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
| US9613487B2 (en) | 2007-11-02 | 2017-04-04 | Bally Gaming, Inc. | Game related systems, methods, and articles that combine virtual and physical elements |
| US9563898B2 (en) | 2008-04-30 | 2017-02-07 | Bally Gaming, Inc. | System and method for automated customer account creation and management |
| US8597107B2 (en) | 2007-12-28 | 2013-12-03 | Bally Gaming, Inc. | Systems, methods, and devices for providing purchases of instances of game play at a hybrid ticket/currency game machine |
| US8251808B2 (en) | 2008-04-30 | 2012-08-28 | Bally Gaming, Inc. | Game transaction module interface to single port printer |
| WO2009151919A2 (en) | 2008-05-24 | 2009-12-17 | Bally Gaming, Inc. | Networked gaming system with enterprise accounting methods and apparatus |
| US8192283B2 (en) | 2009-03-10 | 2012-06-05 | Bally Gaming, Inc. | Networked gaming system including a live floor view module |
| US8285034B2 (en) | 2009-08-26 | 2012-10-09 | Bally Gaming, Inc. | Apparatus, method and article for evaluating a stack of objects in an image |
| CN111843411B (zh) * | 2020-06-16 | 2021-11-26 | 广东工业大学 | 一种用于易变形导线识别定位与抓取的装置及方法 |
| US11941863B2 (en) * | 2021-08-04 | 2024-03-26 | Datalogic Ip Tech S.R.L. | Imaging system and method using a multi-layer model approach to provide robust object detection |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU615508A1 (ru) * | 1977-01-06 | 1978-07-15 | Предприятие П/Я А-1772 | Устройство дл распознавани образов |
| US4412293A (en) * | 1981-03-30 | 1983-10-25 | Kelley Robert B | Robot system which acquires cylindrical workpieces from bins |
| US4747148A (en) * | 1983-04-11 | 1988-05-24 | Kabushiki Kaisha Komatsu Seisakusho | Method of identifying objects |
| GB2151350A (en) * | 1983-11-25 | 1985-07-17 | Vs Eng Ltd | Sensing arrangement |
| US4644410A (en) * | 1985-03-11 | 1987-02-17 | R. A. McDonald | Dynamic threshold binary generator |
| JPH0679325B2 (ja) * | 1985-10-11 | 1994-10-05 | 株式会社日立製作所 | 位置姿勢判定方法 |
| JPS62107383A (ja) * | 1985-11-06 | 1987-05-18 | Oki Electric Ind Co Ltd | 輪郭描画方法 |
-
1988
- 1988-02-01 JP JP63021455A patent/JPH0672770B2/ja not_active Expired - Lifetime
-
1989
- 1989-02-01 US US07/304,563 patent/US4920572A/en not_active Expired - Fee Related
- 1989-02-01 EP EP19890101744 patent/EP0327069A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01196501A (ja) | 1989-08-08 |
| EP0327069A2 (en) | 1989-08-09 |
| EP0327069A3 (en) | 1992-08-26 |
| US4920572A (en) | 1990-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0672770B2 (ja) | ロボットの物体認識装置 | |
| CN110660104A (zh) | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 | |
| US20040019405A1 (en) | Object taking out apparatus | |
| KR100933539B1 (ko) | 이동로봇의 주행 제어 방법 및 이를 이용한 이동 로봇 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN111179233B (zh) | 基于激光切割二维零部件的自适应纠偏方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及*** | |
| CN111767780B (zh) | 一种ai与视觉结合的智能集卡定位方法和*** | |
| CN107527368B (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
| CN107831760A (zh) | 机器人障碍物处理***及方法 | |
| CN115343722A (zh) | 一种大范围场景下基于回环检测的激光雷达slam方法 | |
| CN113610833A (zh) | 物料抓取方法、装置、电子设备和存储介质 | |
| CN109079777B (zh) | 一种机械臂手眼协调作业*** | |
| JP2861014B2 (ja) | 物体認識装置 | |
| JPH1166226A (ja) | 車両のナンバプレート認識装置 | |
| CN116823708A (zh) | 基于机器视觉的pc构件边模识别与定位研究 | |
| JPS6344103A (ja) | 位置姿勢認識装置 | |
| JPH05272946A (ja) | 物体判別装置 | |
| JPH018311Y2 (ja) | ||
| CN117260003B (zh) | 一种汽车座椅骨架自动摆件打钢刻码方法及*** | |
| JP3375242B2 (ja) | ロボットの物体認識方法及びその装置 | |
| JP3715683B2 (ja) | 画像処理装置及びその画像処理方法 | |
| Putro et al. | PENSHIP: Implementation of Image Processing Methods for the Mission of Kontes Kapal Cepat Tak Berawak Nasional (KKCTBN) | |
| CN114463752A (zh) | 基于视觉的喷码定位方法和装置 | |
| CN116189142A (zh) | 一种基于深度学习边缘检测的车位线检测方法及*** |