JPH11333770A - 積荷位置姿勢認識装置 - Google Patents
積荷位置姿勢認識装置Info
- Publication number
- JPH11333770A JPH11333770A JP11069829A JP6982999A JPH11333770A JP H11333770 A JPH11333770 A JP H11333770A JP 11069829 A JP11069829 A JP 11069829A JP 6982999 A JP6982999 A JP 6982999A JP H11333770 A JPH11333770 A JP H11333770A
- Authority
- JP
- Japan
- Prior art keywords
- cargo
- work
- corner
- work area
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 貨物2の位置姿勢を高い信頼性で認識すると
共に、認識に要する処理時間を短時間化する。 【解決手段】 積荷上方に設置されたカメラと、帯状の
光を走査可能なスリット光投光器等からなるセンサヘッ
ドを制御し、積荷最上段およびその下段に配置された貨
物の上面各部の3次元座標を距離データとして求めた
後、距離データの高さ成分から積荷最上段のワーク領域
Lを求める。そして、ワーク領域Lの輪郭線の形状より
コーナー点32を検出し、さらに該ワーク領域内部にて
ワーク境界点34を求める。この後、ワーク領域Lのコ
ーナー点32に貨物のテンプレート35のコーナー部3
5bを一致させた後、テンプレート35の4辺近傍に存
在する輪郭点33およびワーク境界点34を基にして積
荷存在性を求める処理を検出されたコーナー点32につ
いて行い、最大の積荷存在性を示すテンプレート35の
位置姿勢および個別ワーク位置姿勢として認識する。
共に、認識に要する処理時間を短時間化する。 【解決手段】 積荷上方に設置されたカメラと、帯状の
光を走査可能なスリット光投光器等からなるセンサヘッ
ドを制御し、積荷最上段およびその下段に配置された貨
物の上面各部の3次元座標を距離データとして求めた
後、距離データの高さ成分から積荷最上段のワーク領域
Lを求める。そして、ワーク領域Lの輪郭線の形状より
コーナー点32を検出し、さらに該ワーク領域内部にて
ワーク境界点34を求める。この後、ワーク領域Lのコ
ーナー点32に貨物のテンプレート35のコーナー部3
5bを一致させた後、テンプレート35の4辺近傍に存
在する輪郭点33およびワーク境界点34を基にして積
荷存在性を求める処理を検出されたコーナー点32につ
いて行い、最大の積荷存在性を示すテンプレート35の
位置姿勢および個別ワーク位置姿勢として認識する。
Description
【0001】
【発明の属する技術分野】本発明は、積荷の荷降ろし等
を行わせるハンドリングロボットに積荷の3次元位置姿
勢を指示するための積荷位置姿勢認識装置であって、積
荷に端数が存在したり、荷ズレが存在しても、最上段に
存在する積荷の3次元位置姿勢を視覚センサにより確実
に検出し、ハンドリングロボットに確実な荷降ろし作業
等を実施させることができる積荷位置姿勢認識装置に関
するものである。
を行わせるハンドリングロボットに積荷の3次元位置姿
勢を指示するための積荷位置姿勢認識装置であって、積
荷に端数が存在したり、荷ズレが存在しても、最上段に
存在する積荷の3次元位置姿勢を視覚センサにより確実
に検出し、ハンドリングロボットに確実な荷降ろし作業
等を実施させることができる積荷位置姿勢認識装置に関
するものである。
【0002】
【従来の技術】通常、工場からの出荷時においては、多
量の製品を効率良く搬出するため、製品を収容した袋詰
物やダンボール箱等の貨物をパレット上に複数段に積み
上げた後、パレット単位で運搬を行うようになってい
る。また、工場への原材料の入荷時においても、袋詰物
やダンボール箱等の貨物をパレット上に複数段に積み上
げた後、パレット単位で運搬を行うようになっている。
そして、近年においては、パレットへの貨物の積み上げ
・荷降し作業がハンドリングロボットにより自動化され
ることによって、オペレータの作業負担の低減化および
省人化が図られている。
量の製品を効率良く搬出するため、製品を収容した袋詰
物やダンボール箱等の貨物をパレット上に複数段に積み
上げた後、パレット単位で運搬を行うようになってい
る。また、工場への原材料の入荷時においても、袋詰物
やダンボール箱等の貨物をパレット上に複数段に積み上
げた後、パレット単位で運搬を行うようになっている。
そして、近年においては、パレットへの貨物の積み上げ
・荷降し作業がハンドリングロボットにより自動化され
ることによって、オペレータの作業負担の低減化および
省人化が図られている。
【0003】ところで、荷降し作業をハンドリングロボ
ットに実施させようとすると、次の荷降し位置となるピ
ック位置とピック角度を、水平座標、鉛直(高さ)座標
およびワーク角度により指定してハンドリングロボット
に指示する必要がある。従って、従来においては、貨物
の立体的な配置状況を認識してピック位置およびピック
角度を指示できるように、下記に示すような積荷位置姿
勢認識方法が提案されている。
ットに実施させようとすると、次の荷降し位置となるピ
ック位置とピック角度を、水平座標、鉛直(高さ)座標
およびワーク角度により指定してハンドリングロボット
に指示する必要がある。従って、従来においては、貨物
の立体的な配置状況を認識してピック位置およびピック
角度を指示できるように、下記に示すような積荷位置姿
勢認識方法が提案されている。
【0004】即ち、特開平3−234491号公報に
は、図16に示すように、パレット52上に積み上げら
れた貨物51に対して上方からレーザ光53を線状に照
射し、このレーザ光53を斜め上方から撮像することに
より貨物51の高さ位置を求める。この後、貨物51の
全体を上方から撮像し、撮像画像中における貨物51の
固有マーク54の濃淡画像を基本マーク形状との突き合
わせ処理により検出して平面的な配置状況を求めること
によって、貨物51の立体的な配置状況を認識する方法
が開示されている。
は、図16に示すように、パレット52上に積み上げら
れた貨物51に対して上方からレーザ光53を線状に照
射し、このレーザ光53を斜め上方から撮像することに
より貨物51の高さ位置を求める。この後、貨物51の
全体を上方から撮像し、撮像画像中における貨物51の
固有マーク54の濃淡画像を基本マーク形状との突き合
わせ処理により検出して平面的な配置状況を求めること
によって、貨物51の立体的な配置状況を認識する方法
が開示されている。
【0005】また、特開平7−887791号公報に
は、図17に示すように、貨物51の全体を上方から撮
像し、撮像画像中における各貨物51のエッジ点を検出
し、エッジ点の配置よりワークの2次元配置を認識する
か、あるいは認識対象ワークモデルとして濃淡画像テン
プレートを登録しておき、登録された濃淡画像テンプレ
ートと撮影画像との類似性評価により積荷の平面的な配
置状況を求める。この後、配置状況を基にして決定され
た測定点に超音波信号を送信して各貨物51の高さ位置
を求めることによって、貨物51の立体的な配置状況を
認識する方法が開示されている。
は、図17に示すように、貨物51の全体を上方から撮
像し、撮像画像中における各貨物51のエッジ点を検出
し、エッジ点の配置よりワークの2次元配置を認識する
か、あるいは認識対象ワークモデルとして濃淡画像テン
プレートを登録しておき、登録された濃淡画像テンプレ
ートと撮影画像との類似性評価により積荷の平面的な配
置状況を求める。この後、配置状況を基にして決定され
た測定点に超音波信号を送信して各貨物51の高さ位置
を求めることによって、貨物51の立体的な配置状況を
認識する方法が開示されている。
【0006】
【発明が解決しようとする課題】しかしながら、図16
に示すように、荷の上面に帯状のレーザ光を投光して撮
像を行い、荷上面高さを検出すると共に、別途、物体配
置上面を撮影した濃淡画像から荷の上面に設けた固有マ
ークを検出して物体配置認識を行っているため、計測ス
テージが2カ所となり、大きな設置スペースが必要とい
う課題があった。また、荷の上面に固有マークを必要と
し、固有マークを付加するのに余分なコストを必要とす
る。さらに、検出対象の2次元配置が既知でなければな
らないといった制約があった。
に示すように、荷の上面に帯状のレーザ光を投光して撮
像を行い、荷上面高さを検出すると共に、別途、物体配
置上面を撮影した濃淡画像から荷の上面に設けた固有マ
ークを検出して物体配置認識を行っているため、計測ス
テージが2カ所となり、大きな設置スペースが必要とい
う課題があった。また、荷の上面に固有マークを必要と
し、固有マークを付加するのに余分なコストを必要とす
る。さらに、検出対象の2次元配置が既知でなければな
らないといった制約があった。
【0007】また、図17に示すように、撮像手段によ
り撮像された画像からワークの2次元的な配置を認識
し、その認識結果に基づいて決定された距離計測プラン
に従って距離センサで計測された距離情報を、前記の2
次元配置情報を統合してワークの3次元的な配置を計測
する方法では、撮像手段を用いた計測処理と距離センサ
を用いた計測処理といった2種類の計測を時系列的に行
うことが必要となり、ワークの3次元位置姿勢を認識す
るのに時間がかかるという問題がある。
り撮像された画像からワークの2次元的な配置を認識
し、その認識結果に基づいて決定された距離計測プラン
に従って距離センサで計測された距離情報を、前記の2
次元配置情報を統合してワークの3次元的な配置を計測
する方法では、撮像手段を用いた計測処理と距離センサ
を用いた計測処理といった2種類の計測を時系列的に行
うことが必要となり、ワークの3次元位置姿勢を認識す
るのに時間がかかるという問題がある。
【0008】さらに、特開平7−887791号公報に
おける撮影画像内のエッジ点に基づくワーク2次元配置
認識処理では、個別ワークの境界信号以外の模様やガム
テープなどワーク境界信号と類似した画像信号が存在す
る場合には、撮影画像内で誤ったワーク境界信号が多数
検出等され、画像内の個別ワーク位置姿勢を誤って認識
するという問題がある。
おける撮影画像内のエッジ点に基づくワーク2次元配置
認識処理では、個別ワークの境界信号以外の模様やガム
テープなどワーク境界信号と類似した画像信号が存在す
る場合には、撮影画像内で誤ったワーク境界信号が多数
検出等され、画像内の個別ワーク位置姿勢を誤って認識
するという問題がある。
【0009】また、特開平7−887791号公報にお
ける濃淡画像テンプレートを用いたワーク2次元配置認
識処理では、積荷とカメラとの距離変化に伴う撮影画像
内でのワークサイズ変化により、撮影画像内でのワーク
2次元配置認識性能が低下するという問題があった。そ
こで、本発明は、貨物51の配置状況を高い信頼性でも
って認識することができると共に、認識に要する処理時
間を短時間化することができる積荷位置姿勢認識装置を
提供しようとするものである。
ける濃淡画像テンプレートを用いたワーク2次元配置認
識処理では、積荷とカメラとの距離変化に伴う撮影画像
内でのワークサイズ変化により、撮影画像内でのワーク
2次元配置認識性能が低下するという問題があった。そ
こで、本発明は、貨物51の配置状況を高い信頼性でも
って認識することができると共に、認識に要する処理時
間を短時間化することができる積荷位置姿勢認識装置を
提供しようとするものである。
【0010】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、積荷対象物の立体的な配置状況を認識す
る積荷位置姿勢認識装置において、積荷上方に設置され
たカメラと、帯状の光を走査可能なスリット光投光器等
からなるセンサヘッドを制御し、積荷最上段およびその
下段に配置された積荷対象物の上面各部の3次元座標を
距離データとして求める距離データ計測手段と、前記距
離データの高さ成分から積荷最上段のワーク領域を求め
る領域抽出手段と、前記ワーク領域の輪郭線の形状より
コーナー部を検出し、さらに該ワーク領域内部にてワー
ク境界信号を領域内境界部として求める判定部抽出手段
と、前記ワーク領域のコーナー部に積荷対象物のテンプ
レートのコーナー部を一致させた後、該テンプレートの
4辺近傍に存在する輪郭部および領域内境界部を基にし
て積荷存在性を求める処理を検出されたコーナー部につ
いて行い、最大の積荷存在性を示すテンプレートの位置
姿勢を個別ワーク位置姿勢として認識する個別ワーク認
識手段とを有していることを特徴としている。
に、本発明は、積荷対象物の立体的な配置状況を認識す
る積荷位置姿勢認識装置において、積荷上方に設置され
たカメラと、帯状の光を走査可能なスリット光投光器等
からなるセンサヘッドを制御し、積荷最上段およびその
下段に配置された積荷対象物の上面各部の3次元座標を
距離データとして求める距離データ計測手段と、前記距
離データの高さ成分から積荷最上段のワーク領域を求め
る領域抽出手段と、前記ワーク領域の輪郭線の形状より
コーナー部を検出し、さらに該ワーク領域内部にてワー
ク境界信号を領域内境界部として求める判定部抽出手段
と、前記ワーク領域のコーナー部に積荷対象物のテンプ
レートのコーナー部を一致させた後、該テンプレートの
4辺近傍に存在する輪郭部および領域内境界部を基にし
て積荷存在性を求める処理を検出されたコーナー部につ
いて行い、最大の積荷存在性を示すテンプレートの位置
姿勢を個別ワーク位置姿勢として認識する個別ワーク認
識手段とを有していることを特徴としている。
【0011】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図16に示すような2か所の計測ステージは不要
となり、設置スペースの節約が図れる。また、図17に
示す方法では、撮像手段を用いた計測と距離センサを用
いた計測を時系列に行う必要があり、計測時間が長くな
るという問題があったが、本発明では前記センサヘッド
による計測のみで積荷上面の3次元データが得られるの
で、計測時間を短縮することが可能である。
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図16に示すような2か所の計測ステージは不要
となり、設置スペースの節約が図れる。また、図17に
示す方法では、撮像手段を用いた計測と距離センサを用
いた計測を時系列に行う必要があり、計測時間が長くな
るという問題があったが、本発明では前記センサヘッド
による計測のみで積荷上面の3次元データが得られるの
で、計測時間を短縮することが可能である。
【0012】さらに、本発明は、最上段ワーク領域の輪
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの4
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの4
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。
【0013】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの4辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となる。
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの4辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となる。
【0014】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れる。
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れる。
【0015】請求項2記載の発明は、請求項1記載の発
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記ワーク領
域及び前記コーナー部から該コーナー部の方向を算出
し、該コーナー部の位置及び方向から、ずらし位置・方
向を算出するずらし位置・方向算出手段と、前記ずらし
位置・方向に基づいて、前記積荷をずらすずらし手段と
を有していることを特徴とする。これにより、積荷が互
いに密着してワーク領域内の境界部を求めることができ
ない場合でも、密着した積荷をずらすことによって、積
荷を個別認識できるようになり、積荷の位置姿勢を認識
できる。また、3次元計測を行っているため、積荷高さ
を知ることができ、積荷高さが未知なものについても対
応可能となる。そのため、積荷の最上段から最下段まで
すべての段でずらし動作を実施できる。さらに、積荷の
最上段が図12(c)に示すように、回転している場合
でも、3次元座標である距離データに基づいてワーク領
域を求めるため、積荷が互いに密着している場合でも、
ずらし動作を実施できる。
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記ワーク領
域及び前記コーナー部から該コーナー部の方向を算出
し、該コーナー部の位置及び方向から、ずらし位置・方
向を算出するずらし位置・方向算出手段と、前記ずらし
位置・方向に基づいて、前記積荷をずらすずらし手段と
を有していることを特徴とする。これにより、積荷が互
いに密着してワーク領域内の境界部を求めることができ
ない場合でも、密着した積荷をずらすことによって、積
荷を個別認識できるようになり、積荷の位置姿勢を認識
できる。また、3次元計測を行っているため、積荷高さ
を知ることができ、積荷高さが未知なものについても対
応可能となる。そのため、積荷の最上段から最下段まで
すべての段でずらし動作を実施できる。さらに、積荷の
最上段が図12(c)に示すように、回転している場合
でも、3次元座標である距離データに基づいてワーク領
域を求めるため、積荷が互いに密着している場合でも、
ずらし動作を実施できる。
【0016】請求項3記載の発明は、請求項1記載の発
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記距離デー
タに基づいて前記積荷をずらすずらし手段を有すること
を特徴とする。これにより、積荷が互いに密着してワー
ク領域内の境界部を求めることができない場合でも、密
着した積荷をずらすことによって、積荷を個別認識でき
るようになり、積荷の位置姿勢を認識できる。
明の構成に加えて、前記個別ワーク認識手段が、前記個
別ワーク位置姿勢を認識できない場合に、前記距離デー
タに基づいて前記積荷をずらすずらし手段を有すること
を特徴とする。これにより、積荷が互いに密着してワー
ク領域内の境界部を求めることができない場合でも、密
着した積荷をずらすことによって、積荷を個別認識でき
るようになり、積荷の位置姿勢を認識できる。
【0017】
【発明の実施の形態】本発明の実施の形態を図1ないし
図8に基づいて以下に説明する。尚、本説明では、貨物
の荷降し作業の適用について説明するが、本説明におけ
る発明は、貨物の積み上げ作業にも適用可能である。
図8に基づいて以下に説明する。尚、本説明では、貨物
の荷降し作業の適用について説明するが、本説明におけ
る発明は、貨物の積み上げ作業にも適用可能である。
【0018】本実施の形態に係る積荷位置姿勢認識装置
は、図1に示すように、パレット1上に積み上げられた
袋状や箱状の貨物2の上方に設置されたセンサヘッド機
構3と、センサヘッド機構3に接続された認識処理制御
盤4とを有している。センサヘッド機構3は、図2にも
示すように、帯状のレーザ光からなるスリット光5を水
平面に拡散させながら出射するスリット光投光器6と、
スリット光投光器6からのスリット光5を貨物2方向に
反射する反射ミラー7と、反射ミラー7の傾斜角度を任
意に変更可能なステッピングモータ8と、貨物2に投影
されたスリット光5等を撮像する近距離用撮像装置9a
および遠距離用撮像装置9bとを有している。
は、図1に示すように、パレット1上に積み上げられた
袋状や箱状の貨物2の上方に設置されたセンサヘッド機
構3と、センサヘッド機構3に接続された認識処理制御
盤4とを有している。センサヘッド機構3は、図2にも
示すように、帯状のレーザ光からなるスリット光5を水
平面に拡散させながら出射するスリット光投光器6と、
スリット光投光器6からのスリット光5を貨物2方向に
反射する反射ミラー7と、反射ミラー7の傾斜角度を任
意に変更可能なステッピングモータ8と、貨物2に投影
されたスリット光5等を撮像する近距離用撮像装置9a
および遠距離用撮像装置9bとを有している。
【0019】上記の近距離用撮像装置9aは、広角レン
ズ10aと撮像部材11とを有しており、撮像装置9a
に接近した高い位置(段)の撮像時に用いられるように
なっている。一方、遠距離用撮像装置9bは、望遠レン
ズ10bと撮像部材11とを有しており、撮像装置9b
から離隔した低い位置(段)の撮像時に用いられるよう
になっている。これらの撮像装置9a・9bの広角レン
ズ10aおよび望遠レンズ10bは、図3に示すよう
に、撮像方向が鉛直方向(Z方向)となるように設定さ
れている。また、各撮像装置9a・9bの撮像部材11
は、レンズ10を介して貨物2上に投影されたスリット
光5が結像される撮像面11aを有しており、撮像面1
1aは、鉛直方向(Z方向)に対して垂直となるように
設定されている。そして、撮像部材11の撮像面11a
には、レンズ中心Oを中心として点対称に画像が投影さ
れるようになっており、例えばスリット光5を貨物2に
照射して形成された照射線5のQ1 点、Q2 点、Q3 点
は、それぞれP1 点、P2 点、P3 点として撮像面11
aに結像されるようになっている。尚、図3には記載し
ていないが、レンズ10前方に干渉フィルタなどの光学
的なバンドパスフィルタを設置することによって、撮像
面11a上にスリット光の像のみを結像させることが可
能である。
ズ10aと撮像部材11とを有しており、撮像装置9a
に接近した高い位置(段)の撮像時に用いられるように
なっている。一方、遠距離用撮像装置9bは、望遠レン
ズ10bと撮像部材11とを有しており、撮像装置9b
から離隔した低い位置(段)の撮像時に用いられるよう
になっている。これらの撮像装置9a・9bの広角レン
ズ10aおよび望遠レンズ10bは、図3に示すよう
に、撮像方向が鉛直方向(Z方向)となるように設定さ
れている。また、各撮像装置9a・9bの撮像部材11
は、レンズ10を介して貨物2上に投影されたスリット
光5が結像される撮像面11aを有しており、撮像面1
1aは、鉛直方向(Z方向)に対して垂直となるように
設定されている。そして、撮像部材11の撮像面11a
には、レンズ中心Oを中心として点対称に画像が投影さ
れるようになっており、例えばスリット光5を貨物2に
照射して形成された照射線5のQ1 点、Q2 点、Q3 点
は、それぞれP1 点、P2 点、P3 点として撮像面11
aに結像されるようになっている。尚、図3には記載し
ていないが、レンズ10前方に干渉フィルタなどの光学
的なバンドパスフィルタを設置することによって、撮像
面11a上にスリット光の像のみを結像させることが可
能である。
【0020】上記の撮像部材11は、光量に応じた電荷
を発生させる受光素子部(画素)をX方向およびY方向
のマトリックス状に複数有しており、これらの受光素子
部の電荷を例えばラスタスキャン形式により電圧出力と
して読み出して画像データとして順に出力するようにな
っている。そして、各撮像装置9a・9bの撮像部材1
1・11からの出力信号は、図1に示すように、認識処
理制御盤4に接続されている。
を発生させる受光素子部(画素)をX方向およびY方向
のマトリックス状に複数有しており、これらの受光素子
部の電荷を例えばラスタスキャン形式により電圧出力と
して読み出して画像データとして順に出力するようにな
っている。そして、各撮像装置9a・9bの撮像部材1
1・11からの出力信号は、図1に示すように、認識処
理制御盤4に接続されている。
【0021】認識処理制御盤4は、両撮像部材11・1
1からの出力信号を切り替える画像データ切り替え器1
9と、画像データ切り替え器19やスリット光投光器6
等に接続されたI/O部12aとを有している。画像デ
ータ切り替え器19は、各撮像装置9a・9bの撮像部
材11・11からの出力信号を入力する入力端子19a
・19bと、これらの入力端子19a・19bの何れか
一方に切替え可能に接続された出力端子19cと、入力
端子19a・19bおよび出力端子19c間の接続状態
を切り替える切替え端子19dとを有している。そし
て、出力端子19cおよび切替え端子19dは、I/O
部12aに接続されており、画像データ切り替え器19
は、I/O部12aからの切替え信号が切替え端子19
dに入力されたときに、切替え信号に応じた接続状態と
なることによって、撮像装置9a・9bから入力される
何れか一方の画像データをI/O部12aに出力するよ
うになっている。
1からの出力信号を切り替える画像データ切り替え器1
9と、画像データ切り替え器19やスリット光投光器6
等に接続されたI/O部12aとを有している。画像デ
ータ切り替え器19は、各撮像装置9a・9bの撮像部
材11・11からの出力信号を入力する入力端子19a
・19bと、これらの入力端子19a・19bの何れか
一方に切替え可能に接続された出力端子19cと、入力
端子19a・19bおよび出力端子19c間の接続状態
を切り替える切替え端子19dとを有している。そし
て、出力端子19cおよび切替え端子19dは、I/O
部12aに接続されており、画像データ切り替え器19
は、I/O部12aからの切替え信号が切替え端子19
dに入力されたときに、切替え信号に応じた接続状態と
なることによって、撮像装置9a・9bから入力される
何れか一方の画像データをI/O部12aに出力するよ
うになっている。
【0022】さらに、認識処理制御盤4は、上述の画像
データ切り替え器19およびI/O部12aの他、I/
O部12aに信号バス14を介して接続されたI/O部
12b、モータ駆動部13、演算部16、RAM17、
およびROM18を有している。上記のRAM17に
は、撮像部材11の受光素子部の配列と一致したX方向
およびY方向のマトリックス状のデータテーブルを有す
るように、画像データ記憶領域17aが形成されてい
る。そして、画像データ記憶領域17aには、I/O部
12aを介して入力された上述の撮像装置9a・9bか
らの画像データが格納されるようになっている。さら
に、RAM17には、距離データ記憶領域17bが形成
されており、距離データ記憶領域17bには、貨物2上
面の3次元座標の距離データが格納されるようになって
いる。
データ切り替え器19およびI/O部12aの他、I/
O部12aに信号バス14を介して接続されたI/O部
12b、モータ駆動部13、演算部16、RAM17、
およびROM18を有している。上記のRAM17に
は、撮像部材11の受光素子部の配列と一致したX方向
およびY方向のマトリックス状のデータテーブルを有す
るように、画像データ記憶領域17aが形成されてい
る。そして、画像データ記憶領域17aには、I/O部
12aを介して入力された上述の撮像装置9a・9bか
らの画像データが格納されるようになっている。さら
に、RAM17には、距離データ記憶領域17bが形成
されており、距離データ記憶領域17bには、貨物2上
面の3次元座標の距離データが格納されるようになって
いる。
【0023】一方、ROM18には、ミラー角度データ
等の各種の処理データが格納されていると共に、積荷位
置姿勢認識ルーチン等の各種のプログラムが格納されて
いる。上記のミラー角度データは、反射ミラー7の傾斜
角度を設定して画像データを得る際に使用されるように
なっている。また、積荷位置姿勢認識ルーチンは、図4
に示すように、3次元計測処理(S1〜S5)、最上段
ワーク領域抽出処理(S6)、境界部検出処理(S
7)、コーナー部抽出処理(S8)、個別ワーク認識処
理(S9)等の処理ルーチンを備えており、これの処理
ルーチンにより貨物2の配置状況を認識するようになっ
ている。
等の各種の処理データが格納されていると共に、積荷位
置姿勢認識ルーチン等の各種のプログラムが格納されて
いる。上記のミラー角度データは、反射ミラー7の傾斜
角度を設定して画像データを得る際に使用されるように
なっている。また、積荷位置姿勢認識ルーチンは、図4
に示すように、3次元計測処理(S1〜S5)、最上段
ワーク領域抽出処理(S6)、境界部検出処理(S
7)、コーナー部抽出処理(S8)、個別ワーク認識処
理(S9)等の処理ルーチンを備えており、これの処理
ルーチンにより貨物2の配置状況を認識するようになっ
ている。
【0024】上記の構成を有した認識処理制御盤4は、
I/O部12bを介してロボット制御盤20に接続され
ている。ロボット制御盤20は、図2に示すように、パ
レット1の近傍に設置されたハンドリングロボット21
に接続されている。また、ハンドリングロボット21の
近傍には、貨物2を移送するローラコンベア22等が配
設されている。そして、ロボット制御盤20は、認識処
理制御盤4から認識データを受信したときに、次の貨物
2のピッキング位置を決定し、このピッキング位置に存
在する貨物2をローラコンベア22等に移載するよう
に、ハンドリングロボット21に対して指令するように
なっている。
I/O部12bを介してロボット制御盤20に接続され
ている。ロボット制御盤20は、図2に示すように、パ
レット1の近傍に設置されたハンドリングロボット21
に接続されている。また、ハンドリングロボット21の
近傍には、貨物2を移送するローラコンベア22等が配
設されている。そして、ロボット制御盤20は、認識処
理制御盤4から認識データを受信したときに、次の貨物
2のピッキング位置を決定し、このピッキング位置に存
在する貨物2をローラコンベア22等に移載するよう
に、ハンドリングロボット21に対して指令するように
なっている。
【0025】上記の構成において、積荷位置姿勢認識装
置の動作を図4のフローチャートに基づいて説明する。
図1および図2に示すように、パレット1がセンサヘッ
ド機構3の下方の所定位置に搬入されると、ロボット制
御盤20から認識処理制御盤4に対して計測を開始する
ように指示信号が送信される。そして、この指示信号の
入力を待っている認識処理制御盤4が指示信号を受信す
ると(S1)、パレット1上に積み上げられた貨物2上
面の距離データを取得するように3次元計測処理を実行
する。
置の動作を図4のフローチャートに基づいて説明する。
図1および図2に示すように、パレット1がセンサヘッ
ド機構3の下方の所定位置に搬入されると、ロボット制
御盤20から認識処理制御盤4に対して計測を開始する
ように指示信号が送信される。そして、この指示信号の
入力を待っている認識処理制御盤4が指示信号を受信す
ると(S1)、パレット1上に積み上げられた貨物2上
面の距離データを取得するように3次元計測処理を実行
する。
【0026】即ち、スリット光投光器6からスリット光
5を出射させるように、スリット光投光器6に対して制
御信号を出力する。また、ステッピングモータ8を初期
スリット光投光角度に復帰させるように、ステッピング
モータ8に対してモータ駆動部13から駆動出力を出力
させる。この後、ミラー角度データをROM18から読
み出し、ミラー角度データに対応する反射ミラー7の傾
斜角度となるように、モータ駆動部13からパルス状の
駆動出力をステッピングモータ8に出力させることによ
って、ステッピングモータ8を回転駆動させる(S
2)。
5を出射させるように、スリット光投光器6に対して制
御信号を出力する。また、ステッピングモータ8を初期
スリット光投光角度に復帰させるように、ステッピング
モータ8に対してモータ駆動部13から駆動出力を出力
させる。この後、ミラー角度データをROM18から読
み出し、ミラー角度データに対応する反射ミラー7の傾
斜角度となるように、モータ駆動部13からパルス状の
駆動出力をステッピングモータ8に出力させることによ
って、ステッピングモータ8を回転駆動させる(S
2)。
【0027】ステッピングモータ8の回転駆動により反
射ミラー7が所定の傾斜角度に設定されると、スリット
光投光器6から帯状に拡散しながら出射されたスリット
光5は、反射ミラー7からパレット1方向に反射し、パ
レット1やパレット1上に積み上げられた積荷最上段お
よびその下段の貨物2の両端にかけて線状に投射され
る。そして、このようにしてスリット光5が投射された
パレット1や貨物2の全体が近距離用撮像装置9aおよ
び遠距離用撮像装置9bにより撮像されることになる
(S3)。
射ミラー7が所定の傾斜角度に設定されると、スリット
光投光器6から帯状に拡散しながら出射されたスリット
光5は、反射ミラー7からパレット1方向に反射し、パ
レット1やパレット1上に積み上げられた積荷最上段お
よびその下段の貨物2の両端にかけて線状に投射され
る。そして、このようにしてスリット光5が投射された
パレット1や貨物2の全体が近距離用撮像装置9aおよ
び遠距離用撮像装置9bにより撮像されることになる
(S3)。
【0028】次に、画像データ切り替え器19を切り替
えることによって、積荷最上段の貨物2の撮影に最適な
撮像装置9a・9bを選択する。そして、選択した撮像
装置9a・9bからの画像データをI/O部12aを介
して認識処理制御盤4に取り込み、RAM17の画像デ
ータ記憶領域17aに格納する。この後、図3に示すよ
うに、画像データ記憶領域17aの画像データ中からス
リット光5の投光ライン5aを特定し、この投光ライン
5aの各点(例えばP1 ・P2 ・P3 )とレンズ10の
中心点0とを結ぶ視線直線(例えばL1 ・L2 ・L3 )
を求める。そして、上述の反射ミラー7の傾斜角度を設
定したミラー角度データを基にしてスリット光5のスリ
ット光平面Sを求めた後、このスリット光平面Sと視線
直線との交点(例えばQ1 ・Q2 ・Q3 )の3次元位置
を距離データとして求め、図1の距離データ記憶領域1
7bに順に格納する(S4)。
えることによって、積荷最上段の貨物2の撮影に最適な
撮像装置9a・9bを選択する。そして、選択した撮像
装置9a・9bからの画像データをI/O部12aを介
して認識処理制御盤4に取り込み、RAM17の画像デ
ータ記憶領域17aに格納する。この後、図3に示すよ
うに、画像データ記憶領域17aの画像データ中からス
リット光5の投光ライン5aを特定し、この投光ライン
5aの各点(例えばP1 ・P2 ・P3 )とレンズ10の
中心点0とを結ぶ視線直線(例えばL1 ・L2 ・L3 )
を求める。そして、上述の反射ミラー7の傾斜角度を設
定したミラー角度データを基にしてスリット光5のスリ
ット光平面Sを求めた後、このスリット光平面Sと視線
直線との交点(例えばQ1 ・Q2 ・Q3 )の3次元位置
を距離データとして求め、図1の距離データ記憶領域1
7bに順に格納する(S4)。
【0029】上記のようにして画像データ記憶領域17
a中の画像データに基づいてスリット光5による投光ラ
イン5aの一連の距離データを求めると、これらの距離
データが最終の投光ライン5aに基づいて得られたもの
であるか否かを判定する(S5)。そして、最終の投光
ライン5aでない場合には(S5,NO)、次のミラー
角度データをROM18から読み出し、このミラー角度
データに対応するミラー傾斜角度におけるスリット光投
光位置の距離データを求める(S2〜S5)。一方、最
終の投光ライン5aである場合には(S5,YES)、
図5に示すように、所定数の投光ライン5aにおける距
離データを得たと判断し、S6の最上段ワーク領域抽出
処理を実行する。
a中の画像データに基づいてスリット光5による投光ラ
イン5aの一連の距離データを求めると、これらの距離
データが最終の投光ライン5aに基づいて得られたもの
であるか否かを判定する(S5)。そして、最終の投光
ライン5aでない場合には(S5,NO)、次のミラー
角度データをROM18から読み出し、このミラー角度
データに対応するミラー傾斜角度におけるスリット光投
光位置の距離データを求める(S2〜S5)。一方、最
終の投光ライン5aである場合には(S5,YES)、
図5に示すように、所定数の投光ライン5aにおける距
離データを得たと判断し、S6の最上段ワーク領域抽出
処理を実行する。
【0030】即ち、距離データ記憶領域17bから距離
データの高さ成分(Z軸成分)を取り出し、最も大きな
距離データを最高高さHmaxとする。そして、この最
高高さHmaxから例えば貨物2の半分の高さΔhを減
算することによって、パレット1の上面から積荷最上段
の貨物2の中間の高さ位置までの高さ閾値Hthを求め
る。この後、距離データ記憶領域17bに格納された距
離データの高さ成分(Z軸成分)と高さ閾値Hthとを
比較し、高さ閾値Hthよりも大きな距離データの高さ
成分(Z軸成分)を抽出することによって、積荷最上段
となる高さ成分(Z軸成分)を含む距離データをワーク
領域Lとして求める(S6)。
データの高さ成分(Z軸成分)を取り出し、最も大きな
距離データを最高高さHmaxとする。そして、この最
高高さHmaxから例えば貨物2の半分の高さΔhを減
算することによって、パレット1の上面から積荷最上段
の貨物2の中間の高さ位置までの高さ閾値Hthを求め
る。この後、距離データ記憶領域17bに格納された距
離データの高さ成分(Z軸成分)と高さ閾値Hthとを
比較し、高さ閾値Hthよりも大きな距離データの高さ
成分(Z軸成分)を抽出することによって、積荷最上段
となる高さ成分(Z軸成分)を含む距離データをワーク
領域Lとして求める(S6)。
【0031】この後、図6に示すように、ワーク領域L
に含まれる全ての投光ライン5aの集合を解析し、高さ
変化が存在する輪郭点33を決定すると共に、投光ライ
ン5aの明るさ変化位置や形状変化位置を検出し、これ
らの位置をワーク領域L内のワーク境界点34として決
定する。尚、投光ライン5aの明るさ変化位置や形状変
化位置をワーク境界点34として決定できる理由は、隣
接する貨物2間の境界部においてはスリット光5が反射
しないため、投光ライン5aの途切れによる明るさ変化
が発生したり、或いは隣接する貨物2間での高さの相違
による投光ライン5aの形状変化が発生するため、これ
らの変化が貨物2間の境界を示していることになるから
である(S7)。
に含まれる全ての投光ライン5aの集合を解析し、高さ
変化が存在する輪郭点33を決定すると共に、投光ライ
ン5aの明るさ変化位置や形状変化位置を検出し、これ
らの位置をワーク領域L内のワーク境界点34として決
定する。尚、投光ライン5aの明るさ変化位置や形状変
化位置をワーク境界点34として決定できる理由は、隣
接する貨物2間の境界部においてはスリット光5が反射
しないため、投光ライン5aの途切れによる明るさ変化
が発生したり、或いは隣接する貨物2間での高さの相違
による投光ライン5aの形状変化が発生するため、これ
らの変化が貨物2間の境界を示していることになるから
である(S7)。
【0032】そして、上記のようにして輪郭点33を求
めると、この輪郭点33をワーク領域L内の投光ライン
5a集合の配置関係を解析しつつ、例えば時計まわりに
追跡することによりワーク領域Lの輪郭線31を求め
る。この後、輪郭線31の曲折部分を抽出し、曲折部分
の夾角側がワーク領域L側となる曲折部分をコーナー点
32として決定する(S8)。
めると、この輪郭点33をワーク領域L内の投光ライン
5a集合の配置関係を解析しつつ、例えば時計まわりに
追跡することによりワーク領域Lの輪郭線31を求め
る。この後、輪郭線31の曲折部分を抽出し、曲折部分
の夾角側がワーク領域L側となる曲折部分をコーナー点
32として決定する(S8)。
【0033】次に、貨物2のサイズおよび形状に対応し
たテンプレート35のコーナー部35bをS8で求めた
コーナー点32に一致させると共に、テンプレート35
のコーナー部35bを挟む2辺35a・35aをワーク
領域Lの輪郭線31に一致させる。この後、4辺35a
の近傍にウインドウ領域36を設定し、これらのウイン
ドウ領域36内に存在する輪郭点33およびワーク境界
点34の総数と各ウインドウ内に存在するスリット光の
本数の比率を求めることによって、貨物2が存在する可
能性の程度を示す積荷存在性を得る。尚、一つのコーナ
ー点32に対してテンプレート35を一致させる形態
は、図7と図8との2種類が考えられる。従って、上記
の個別ワークの積荷存在性は、一つのコーナー点32に
対して2種類の形態のものが得られることになる。そし
て、このような積荷存在性を全てのコーナー点32に対
して求めた後、最も高い積荷存在性を示すテンプレート
35の姿勢(位置および方向)を貨物2の位置姿勢とし
て認識する(S9)。
たテンプレート35のコーナー部35bをS8で求めた
コーナー点32に一致させると共に、テンプレート35
のコーナー部35bを挟む2辺35a・35aをワーク
領域Lの輪郭線31に一致させる。この後、4辺35a
の近傍にウインドウ領域36を設定し、これらのウイン
ドウ領域36内に存在する輪郭点33およびワーク境界
点34の総数と各ウインドウ内に存在するスリット光の
本数の比率を求めることによって、貨物2が存在する可
能性の程度を示す積荷存在性を得る。尚、一つのコーナ
ー点32に対してテンプレート35を一致させる形態
は、図7と図8との2種類が考えられる。従って、上記
の個別ワークの積荷存在性は、一つのコーナー点32に
対して2種類の形態のものが得られることになる。そし
て、このような積荷存在性を全てのコーナー点32に対
して求めた後、最も高い積荷存在性を示すテンプレート
35の姿勢(位置および方向)を貨物2の位置姿勢とし
て認識する(S9)。
【0034】次に、図2に示すように、認識結果をロボ
ット制御盤20に出力する。ロボット制御盤20は、認
識結果を基にして次のピック位置を特定し、ハンドリン
グロボット21に対して指令することによって、ピック
位置の貨物2をローラコンベア22等に移載させる(S
10)。
ット制御盤20に出力する。ロボット制御盤20は、認
識結果を基にして次のピック位置を特定し、ハンドリン
グロボット21に対して指令することによって、ピック
位置の貨物2をローラコンベア22等に移載させる(S
10)。
【0035】以上のように、本実施形態における積荷位
置姿勢認識装置は、図1に示すように、積み上げられた
貨物2(積荷対象物)の立体的な配置状況を認識するも
のであり、積荷上方に設置されたカメラと、帯状の光を
走査可能なスリット光投光器等からなるセンサヘッド機
構3を制御し、積荷最上段およびその下段に配置された
貨物2の上面各部の3次元座標を距離データとして求め
る距離データ計測手段(センサヘッド機構3、図4のS
2〜S5)と、距離データの高さ成分から積荷最上段の
ワーク領域Lを求める領域抽出手段(図4のS6)と、
ワーク領域Lの輪郭線31の形状よりコーナー点32
(コーナー部)を検出し、さらに該ワーク領域L内部に
てワーク境界信号をワーク境界点34(領域内境界部)
として求める判定部抽出手段(図4のS7〜S8)と、
ワーク領域Lのコーナー点32に貨物2のテンプレート
35のコーナー部35bを一致させた後、テンプレート
35の4辺近傍に存在する輪郭点33およびワーク境界
点34を基にして積荷存在性を求める処理を検出された
コーナー点32について行い、最大の積荷存在性を示す
テンプレート35の位置姿勢を個別ワーク位置姿勢とし
て認識する個別ワーク認識手段(図4のS9)とを有し
ている。
置姿勢認識装置は、図1に示すように、積み上げられた
貨物2(積荷対象物)の立体的な配置状況を認識するも
のであり、積荷上方に設置されたカメラと、帯状の光を
走査可能なスリット光投光器等からなるセンサヘッド機
構3を制御し、積荷最上段およびその下段に配置された
貨物2の上面各部の3次元座標を距離データとして求め
る距離データ計測手段(センサヘッド機構3、図4のS
2〜S5)と、距離データの高さ成分から積荷最上段の
ワーク領域Lを求める領域抽出手段(図4のS6)と、
ワーク領域Lの輪郭線31の形状よりコーナー点32
(コーナー部)を検出し、さらに該ワーク領域L内部に
てワーク境界信号をワーク境界点34(領域内境界部)
として求める判定部抽出手段(図4のS7〜S8)と、
ワーク領域Lのコーナー点32に貨物2のテンプレート
35のコーナー部35bを一致させた後、テンプレート
35の4辺近傍に存在する輪郭点33およびワーク境界
点34を基にして積荷存在性を求める処理を検出された
コーナー点32について行い、最大の積荷存在性を示す
テンプレート35の位置姿勢を個別ワーク位置姿勢とし
て認識する個別ワーク認識手段(図4のS9)とを有し
ている。
【0036】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッド機構3を設置するだけで積荷位置姿勢が計測可能
であるため、図9に示すような2か所の計測ステージは
不要となり、設置スペースの節約が図れる。また、図1
0に示す方法では、撮像手段を用いた計測と距離センサ
を用いた計測を時系列に行う必要があり、計測時間が長
くなるという問題があったが、本発明では前記センサヘ
ッド機構3による計測のみで積荷上面の3次元データが
得られるので、計測時間を短縮することが可能である。
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッド機構3を設置するだけで積荷位置姿勢が計測可能
であるため、図9に示すような2か所の計測ステージは
不要となり、設置スペースの節約が図れる。また、図1
0に示す方法では、撮像手段を用いた計測と距離センサ
を用いた計測を時系列に行う必要があり、計測時間が長
くなるという問題があったが、本発明では前記センサヘ
ッド機構3による計測のみで積荷上面の3次元データが
得られるので、計測時間を短縮することが可能である。
【0037】さらに、本発明は、最上段ワーク領域の輪
郭線31の形状を解析し、この輪郭線31から個々のワ
ーク角部に相当するコーナー点32を検出し、算出した
コーナー点32の位置と方向に、ワークサイズを示す四
角形テンプレート35のコーナー部35bを一致させ、
一致させたテンプレート35の4辺近傍に存在するワー
ク境界信号の出現性より、個別ワークの存在性を評価
し、一番存在性が高いテンプレート位置姿勢を、個別ワ
ーク位置姿勢として認識する。
郭線31の形状を解析し、この輪郭線31から個々のワ
ーク角部に相当するコーナー点32を検出し、算出した
コーナー点32の位置と方向に、ワークサイズを示す四
角形テンプレート35のコーナー部35bを一致させ、
一致させたテンプレート35の4辺近傍に存在するワー
ク境界信号の出現性より、個別ワークの存在性を評価
し、一番存在性が高いテンプレート位置姿勢を、個別ワ
ーク位置姿勢として認識する。
【0038】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線31に注目して、最上段のワーク領域L
内の個別ワーク識別用テンプレート設置位置を求めると
共に、テンプレート設置後の個別ワーク存在性評価にお
いても、設定したテンプレート35の4辺近傍だけでワ
ーク境界信号の出現性を評価するため、最上段のワーク
領域L内部にワーク表面の模様やガムテープなどに起因
する誤り易いワーク境界の疑似信号が存在する場合で
も、安定して個別ワークの位置姿勢を検出することが可
能となる。
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線31に注目して、最上段のワーク領域L
内の個別ワーク識別用テンプレート設置位置を求めると
共に、テンプレート設置後の個別ワーク存在性評価にお
いても、設定したテンプレート35の4辺近傍だけでワ
ーク境界信号の出現性を評価するため、最上段のワーク
領域L内部にワーク表面の模様やガムテープなどに起因
する誤り易いワーク境界の疑似信号が存在する場合で
も、安定して個別ワークの位置姿勢を検出することが可
能となる。
【0039】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレート35を移動させつつワーク存在性を評
価するため、大量のデータ処理が必要となり、計算時間
が長くなるという問題があったが、本手法では、最上段
のワーク領域Lの輪郭線31を解析することにより、テ
ンプレートマッチング計算を行う場所を輪郭線31のコ
ーナー点32のみに限定しているため、テンプレートマ
ッチング計算量が少なくなり、計算時間の短縮が図れ
る。
ートマッチングでは、マッチング対象データ全てに対
し、テンプレート35を移動させつつワーク存在性を評
価するため、大量のデータ処理が必要となり、計算時間
が長くなるという問題があったが、本手法では、最上段
のワーク領域Lの輪郭線31を解析することにより、テ
ンプレートマッチング計算を行う場所を輪郭線31のコ
ーナー点32のみに限定しているため、テンプレートマ
ッチング計算量が少なくなり、計算時間の短縮が図れ
る。
【0040】以上、本発明を好適な実施の形態に基づい
て説明したが、本発明はその趣旨を逸脱しない範囲にお
いて変更が可能である。
て説明したが、本発明はその趣旨を逸脱しない範囲にお
いて変更が可能である。
【0041】即ち、本実施形態の積荷位置姿勢認識手段
は、図7に示すように、ウインドウ領域36内に存在す
る輪郭点33およびワーク境界点34の総数を求めるこ
とにより積荷存在性を得るようになっているが、これに
限定されることもない。
は、図7に示すように、ウインドウ領域36内に存在す
る輪郭点33およびワーク境界点34の総数を求めるこ
とにより積荷存在性を得るようになっているが、これに
限定されることもない。
【0042】次に、別の実施形態を図9に基づいて説明
する。図1の積荷位置姿勢認識装置と異なる点は、ずら
し位置・方向算出手段(図11のS11〜S12)を有
する点と、ずらし手段を構成するハンドリングロボット
21により積み上げられた貨物2をずらして間隙をつく
る点である。これにより、図9の積荷位置姿勢認識装置
は、ずらし処理(図11のS13)により貨物2をずら
すようにハンドリングロボット21を制御する。例え
ば、図12に示すように、貨物2が密着している場合、
図1の積荷位置認識装置では、投光ラインの明るさ変化
や形状変化を検出できない場合があり、貨物2を認識で
きなくなることがある。これに対して、図9の積荷位置
姿勢認識装置は、貨物2が密着しているような場合で
も、貨物2をずらすことにより積荷位置姿勢を認識でき
る装置である。
する。図1の積荷位置姿勢認識装置と異なる点は、ずら
し位置・方向算出手段(図11のS11〜S12)を有
する点と、ずらし手段を構成するハンドリングロボット
21により積み上げられた貨物2をずらして間隙をつく
る点である。これにより、図9の積荷位置姿勢認識装置
は、ずらし処理(図11のS13)により貨物2をずら
すようにハンドリングロボット21を制御する。例え
ば、図12に示すように、貨物2が密着している場合、
図1の積荷位置認識装置では、投光ラインの明るさ変化
や形状変化を検出できない場合があり、貨物2を認識で
きなくなることがある。これに対して、図9の積荷位置
姿勢認識装置は、貨物2が密着しているような場合で
も、貨物2をずらすことにより積荷位置姿勢を認識でき
る装置である。
【0043】ずらし処理(S11〜S13)は、図9に
示すように、ROM18に格納されている積荷位置姿勢
認識ルーチンに含まれており、密着した貨物2のずらす
位置・方向を認識するようになっている。尚、3次元計
測処理(S1〜S5)、その他の処理(S6〜S9、S
14)は図4の積荷位置姿勢認識ルーチンと同じであ
る。
示すように、ROM18に格納されている積荷位置姿勢
認識ルーチンに含まれており、密着した貨物2のずらす
位置・方向を認識するようになっている。尚、3次元計
測処理(S1〜S5)、その他の処理(S6〜S9、S
14)は図4の積荷位置姿勢認識ルーチンと同じであ
る。
【0044】上記の構成に基づいて、積荷位置姿勢認識
装置の動作を図10及び図11のフローチャートに基づ
いて説明する。尚、S1〜S5の3次元計測処理につい
ては、図4のフローチャートの説明と同様であるので、
説明を省略する。
装置の動作を図10及び図11のフローチャートに基づ
いて説明する。尚、S1〜S5の3次元計測処理につい
ては、図4のフローチャートの説明と同様であるので、
説明を省略する。
【0045】S6において、図12(a)及び図13に
示すように、最上段ワーク領域内の距離データに含まれ
る全ての投光ライン5aの集合を解析し、高さ変化が存
在する輪郭点33を決定する。次に、投光ライン5aの
明るさ変化位置や形状変化位置からワーク領域内のワー
ク境界点34(図6参照)を検出する(S7)。
示すように、最上段ワーク領域内の距離データに含まれ
る全ての投光ライン5aの集合を解析し、高さ変化が存
在する輪郭点33を決定する。次に、投光ライン5aの
明るさ変化位置や形状変化位置からワーク領域内のワー
ク境界点34(図6参照)を検出する(S7)。
【0046】輪郭点33及びワーク境界点34(図6参
照)を検出すると、この輪郭点33をワーク領域L内の
投光ライン5a集合の配置関係を解析しつつ、例えば、
時計回りに追跡することによりワーク領域Lの輪郭線3
1を求める。この後、輪郭線31の曲折部分を抽出し、
曲折部分の夾角側がワーク領域L側となる曲折部分32
をコーナー点(X、Y、Z)として決定する(S8)。
コーナー点(X、Y、Z)を抽出すると、図4のS9と
同様に、貨物2のサイズ及び形状に対応したテンプレー
ト35をコーナー点(X、Y、Z)に一致させて、積荷
存在性を求める(S9)。
照)を検出すると、この輪郭点33をワーク領域L内の
投光ライン5a集合の配置関係を解析しつつ、例えば、
時計回りに追跡することによりワーク領域Lの輪郭線3
1を求める。この後、輪郭線31の曲折部分を抽出し、
曲折部分の夾角側がワーク領域L側となる曲折部分32
をコーナー点(X、Y、Z)として決定する(S8)。
コーナー点(X、Y、Z)を抽出すると、図4のS9と
同様に、貨物2のサイズ及び形状に対応したテンプレー
ト35をコーナー点(X、Y、Z)に一致させて、積荷
存在性を求める(S9)。
【0047】全てのコーナー点(X、Y、Z)に対して
積荷存在性を求めると、個別ワークを認識できるか判定
する(S10)。図12(a)に示すように、貨物2が
互いに密着しており、明るさ変化位置や形状変化位置を
検出できない場合には、ワーク境界点が検出されていな
いので、個別ワークを認識できず(S10、NO)、ず
らし処理サブルーチンが実行される。
積荷存在性を求めると、個別ワークを認識できるか判定
する(S10)。図12(a)に示すように、貨物2が
互いに密着しており、明るさ変化位置や形状変化位置を
検出できない場合には、ワーク境界点が検出されていな
いので、個別ワークを認識できず(S10、NO)、ず
らし処理サブルーチンが実行される。
【0048】次に、RAM17bの距離データ記憶領域
(図9参照)から距離データを読み出し、S6と同様に
積荷最上段となる高さ成分(Z軸成分)を含む距離デー
タ(ワーク領域L)を算出する。ワーク領域Lを算出す
ると、図13及び図14に示すように、ワーク領域Lの
点列をS8と同様に解析して、コーナーの位置(X、
Y、Z)と方向(θ)を算出する(S11)。ここで、
コーナーの方向とは、内側に入る方向であり、XY平面
におけるX軸とのなす角度である。例えば、時計まわり
に外形輪郭を構成する距離データ点列を追跡することに
よりワーク領域Lの輪郭線31を求め、この後、輪郭線
31の曲折部分の夾角側がワーク領域内となる曲折部分
32をコーナー点(X、Y、Z)として決定する。
(図9参照)から距離データを読み出し、S6と同様に
積荷最上段となる高さ成分(Z軸成分)を含む距離デー
タ(ワーク領域L)を算出する。ワーク領域Lを算出す
ると、図13及び図14に示すように、ワーク領域Lの
点列をS8と同様に解析して、コーナーの位置(X、
Y、Z)と方向(θ)を算出する(S11)。ここで、
コーナーの方向とは、内側に入る方向であり、XY平面
におけるX軸とのなす角度である。例えば、時計まわり
に外形輪郭を構成する距離データ点列を追跡することに
よりワーク領域Lの輪郭線31を求め、この後、輪郭線
31の曲折部分の夾角側がワーク領域内となる曲折部分
32をコーナー点(X、Y、Z)として決定する。
【0049】次に、ずらし位置・方向を算出する(S1
2)。複数コーナーが抽出されるので、その中から、ず
らすコーナーを選択する。例えば、図15に示すよう
に、できるだけずらすための動作時間を短縮させるため
に、ハンドリングロボット21から最も近いコーナーを
選択する。選択されたコーナーの位置を(Cx、Cy、
Cz)とし、コーナーの方向を、XY平面におけるX軸
とのなす角度θとしたとき、コーナー(Cx、Cy、C
z)から所定の長さLenだけ入ったところをずらす位
置(Px、Py、Pz)とする。今、ワーク長さをL、
幅をWとしたとき、Len=min(L、W)/2とな
り、ずらす位置(Px、Py、Pz)は、数1のように
算出される。
2)。複数コーナーが抽出されるので、その中から、ず
らすコーナーを選択する。例えば、図15に示すよう
に、できるだけずらすための動作時間を短縮させるため
に、ハンドリングロボット21から最も近いコーナーを
選択する。選択されたコーナーの位置を(Cx、Cy、
Cz)とし、コーナーの方向を、XY平面におけるX軸
とのなす角度θとしたとき、コーナー(Cx、Cy、C
z)から所定の長さLenだけ入ったところをずらす位
置(Px、Py、Pz)とする。今、ワーク長さをL、
幅をWとしたとき、Len=min(L、W)/2とな
り、ずらす位置(Px、Py、Pz)は、数1のように
算出される。
【0050】
【数1】
【0051】また、ずらす方向は、コーナーの方向θと
逆方向(つまり、ワークコーナーから外側の方向)なの
で、数2のように算出される。
逆方向(つまり、ワークコーナーから外側の方向)なの
で、数2のように算出される。
【0052】
【数2】
【0053】ずらす位置・方向が算出されると、図9に
示すように、貨物2のずらす位置・方向をロボット制御
盤20に出力する。ロボット制御盤20は、貨物2のず
らす位置・方向に基づいてハンドリングロボット21に
対して指令することによって、貨物2をずらすように処
理させる(S13)。ハンドリングロボット21は、ロ
ボット制御盤20から指令を受けると、ずらし位置(P
x、Py、Pz)でワークをハンドリングし、外方向
(Pθ)に、貨物2が落ちない程度にワークを動かし、
図5に示すように、ずらした貨物2と、それ以外の貨物
2の間に間隙をつくるようになっている。このように、
間隙ができると、間隙部においてはスリット光5が反射
しないため、投光ライン5aの途切れによる明るさ変化
が発生したり、或いは隣接する貨物2間での高さの相違
による投光ライン5aの形状変化が発生し、これらの変
化から貨物2間の境界を検出できるようになる。
示すように、貨物2のずらす位置・方向をロボット制御
盤20に出力する。ロボット制御盤20は、貨物2のず
らす位置・方向に基づいてハンドリングロボット21に
対して指令することによって、貨物2をずらすように処
理させる(S13)。ハンドリングロボット21は、ロ
ボット制御盤20から指令を受けると、ずらし位置(P
x、Py、Pz)でワークをハンドリングし、外方向
(Pθ)に、貨物2が落ちない程度にワークを動かし、
図5に示すように、ずらした貨物2と、それ以外の貨物
2の間に間隙をつくるようになっている。このように、
間隙ができると、間隙部においてはスリット光5が反射
しないため、投光ライン5aの途切れによる明るさ変化
が発生したり、或いは隣接する貨物2間での高さの相違
による投光ライン5aの形状変化が発生し、これらの変
化から貨物2間の境界を検出できるようになる。
【0054】ずらし処理が完了すると、S2へ移行し、
最終の投光ラインを検出するまで新たに3次元計測処理
(S2〜S5)を行う。そして、最上段ワーク領域抽出
処理(S6)を行い、輪郭点を求め、投光ライン5aの
明るさ変化位置や形状変化位置からワーク領域L内のワ
ーク境界点34(図6参照)を検出する(S7)。輪郭
点及びワーク境界点からコーナー点を抽出する(S
8)。コーナー点を抽出すると、図4のS9と同様に、
貨物2のサイズ及び形状に対応したテンプレートをコー
ナー点に一致させて、積荷存在性を求める(S9)。個
別に貨物2の位置姿勢を認識できると(S10、YE
S)、図9に示すように、認識結果をロボット制御盤2
0に出力する。ロボット制御盤20は、認識結果を基に
してハンドリングロボット21に対して指令することに
よって(S14)、ピック位置の貨物2をローラコンベ
ア22等に移載させる。
最終の投光ラインを検出するまで新たに3次元計測処理
(S2〜S5)を行う。そして、最上段ワーク領域抽出
処理(S6)を行い、輪郭点を求め、投光ライン5aの
明るさ変化位置や形状変化位置からワーク領域L内のワ
ーク境界点34(図6参照)を検出する(S7)。輪郭
点及びワーク境界点からコーナー点を抽出する(S
8)。コーナー点を抽出すると、図4のS9と同様に、
貨物2のサイズ及び形状に対応したテンプレートをコー
ナー点に一致させて、積荷存在性を求める(S9)。個
別に貨物2の位置姿勢を認識できると(S10、YE
S)、図9に示すように、認識結果をロボット制御盤2
0に出力する。ロボット制御盤20は、認識結果を基に
してハンドリングロボット21に対して指令することに
よって(S14)、ピック位置の貨物2をローラコンベ
ア22等に移載させる。
【0055】尚、最上段ワーク領域は、距離データ記憶
領域17bに格納された距離データの高さ成分(Z軸成
分)と高さ閾値Hthとを比較して求められるため、図
12(b)のように端数が存在する場合や図12(c)
のように最上段の貨物2が回転している場合であって
も、最上段ワーク領域は、下段ワーク領域と区別して認
識される。このため、図12(b)及び(c)に示すよ
うに、端数が存在する場合でも、ずらし処理(S11〜
S13)を実施できる。
領域17bに格納された距離データの高さ成分(Z軸成
分)と高さ閾値Hthとを比較して求められるため、図
12(b)のように端数が存在する場合や図12(c)
のように最上段の貨物2が回転している場合であって
も、最上段ワーク領域は、下段ワーク領域と区別して認
識される。このため、図12(b)及び(c)に示すよ
うに、端数が存在する場合でも、ずらし処理(S11〜
S13)を実施できる。
【0056】尚、S11では、輪郭線31からコーナー
点(X、Y、Z)を算出しているが、S8で既にコーナ
ー点(X、Y、Z)を検出済であるため、コーナー方向
のみ算出するように処理してもよい。この場合、RAM
17にコーナー点記憶領域を設け、S8で一旦コーナー
点をコーナー点記憶領域に格納し、再度、S11でコー
ナー点記憶領域からコーナー点を読み出すようにすれば
よい。
点(X、Y、Z)を算出しているが、S8で既にコーナ
ー点(X、Y、Z)を検出済であるため、コーナー方向
のみ算出するように処理してもよい。この場合、RAM
17にコーナー点記憶領域を設け、S8で一旦コーナー
点をコーナー点記憶領域に格納し、再度、S11でコー
ナー点記憶領域からコーナー点を読み出すようにすれば
よい。
【0057】尚、本実施形態に係るずらし処理(S11
〜S13)は、相互に密着した貨物2をずらすことによ
り貨物2間に間隙をつくるものであればよいので、ずら
し手段(S13)は、コーナー部の位置及び方向(S1
1)からずらし位置・方向を算出するずらし位置・方向
算出手段(S12)に基づいて貨物をずらすものに限定
されない。従って、ずらし手段は、距離データに基づい
て貨物をずらすものであってもよい。
〜S13)は、相互に密着した貨物2をずらすことによ
り貨物2間に間隙をつくるものであればよいので、ずら
し手段(S13)は、コーナー部の位置及び方向(S1
1)からずらし位置・方向を算出するずらし位置・方向
算出手段(S12)に基づいて貨物をずらすものに限定
されない。従って、ずらし手段は、距離データに基づい
て貨物をずらすものであってもよい。
【0058】
【発明の効果】以上のように、請求項1記載の発明は、
積荷対象物の立体的な配置状況を認識する積荷位置姿勢
認識装置において、積荷上方に設置されたカメラと、帯
状の光を走査可能なスリット光投光器等からなるセンサ
ヘッドを制御し、積荷最上段およびその下段に配置され
た積荷対象物の上面各部の3次元座標を距離データとし
て求める距離データ計測手段と、前記距離データの高さ
成分から積荷最上段のワーク領域を求める領域抽出手段
と、前記ワーク領域の輪郭線の形状よりコーナー部を検
出し、さらに該ワーク領域内部にてワーク境界信号を領
域内境界部として求める判定部抽出手段と、前記ワーク
領域のコーナー部に積荷対象物のテンプレートのコーナ
ー部を一致させた後、該テンプレートの4辺近傍に存在
する輪郭部および領域内境界部を基にして積荷存在性を
求める処理を検出されたコーナー部について行い、最大
の積荷存在性を示すテンプレートの位置姿勢を個別ワー
ク位置姿勢として認識する個別ワーク認識手段とを有し
ている構成である。
積荷対象物の立体的な配置状況を認識する積荷位置姿勢
認識装置において、積荷上方に設置されたカメラと、帯
状の光を走査可能なスリット光投光器等からなるセンサ
ヘッドを制御し、積荷最上段およびその下段に配置され
た積荷対象物の上面各部の3次元座標を距離データとし
て求める距離データ計測手段と、前記距離データの高さ
成分から積荷最上段のワーク領域を求める領域抽出手段
と、前記ワーク領域の輪郭線の形状よりコーナー部を検
出し、さらに該ワーク領域内部にてワーク境界信号を領
域内境界部として求める判定部抽出手段と、前記ワーク
領域のコーナー部に積荷対象物のテンプレートのコーナ
ー部を一致させた後、該テンプレートの4辺近傍に存在
する輪郭部および領域内境界部を基にして積荷存在性を
求める処理を検出されたコーナー部について行い、最大
の積荷存在性を示すテンプレートの位置姿勢を個別ワー
ク位置姿勢として認識する個別ワーク認識手段とを有し
ている構成である。
【0059】上記の構成によれば、積荷上方にカメラと
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図9に示すような2か所の計測ステージは不要と
なり、設置スペースの節約が図れる。また、図10に示
す方法では、撮像手段を用いた計測と距離センサを用い
た計測を時系列に行う必要があり、計測時間が長くなる
という問題があったが、本発明では前記センサヘッドに
よる計測のみで積荷上面の3次元データが得られるの
で、計測時間を短縮することが可能であるという効果を
奏する。
帯状の光を走査可能なスリット光投光器からなるセンサ
ヘッドを設置するだけで積荷位置姿勢が計測可能である
ため、図9に示すような2か所の計測ステージは不要と
なり、設置スペースの節約が図れる。また、図10に示
す方法では、撮像手段を用いた計測と距離センサを用い
た計測を時系列に行う必要があり、計測時間が長くなる
という問題があったが、本発明では前記センサヘッドに
よる計測のみで積荷上面の3次元データが得られるの
で、計測時間を短縮することが可能であるという効果を
奏する。
【0060】さらに、本発明は、最上段ワーク領域の輪
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの4
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。
郭線の形状を解析し、この輪郭線から個々のワーク角部
に相当するコーナー点を検出し、算出したコーナー点の
位置と方向に、ワークサイズを示す四角形テンプレート
のコーナー点を一致させ、一致させたテンプレートの4
辺近傍に存在するワーク境界信号の出現性より、個別ワ
ークの存在性を評価し、一番存在性が高いテンプレート
位置姿勢を、個別ワーク位置姿勢として認識する。
【0061】このように、本手法では、ワーク表面の模
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの4辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となるという効果
を奏する。
様やガムテープなどワーク境界信号と誤り易い最上段ワ
ーク領域内部の情報ではなく、先ず、高さ情報を用いる
ことにより安定してワーク境界と判定できる最上段ワー
ク領域の輪郭線に注目して、最上段ワーク領域内の個別
ワーク識別用テンプレート設置位置を求めると共に、テ
ンプレート設置後の個別ワーク存在性評価においても、
設定したテンプレートの4辺近傍だけでワーク境界信号
の出現性を評価するため、最上段ワーク領域内部にワー
ク表面の模様やガムテープなどに起因する誤り易いワー
ク境界の疑似信号が存在する場合でも、安定して個別ワ
ークの位置姿勢を検出することが可能となるという効果
を奏する。
【0062】また、濃淡画像処理で用いられるテンプレ
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れるという効果を奏する。
ートマッチングでは、マッチング対象データ全てに対
し、テンプレートを移動させつつワーク存在性を評価す
るため、大量のデータ処理が必要となり、計算時間が長
くなるという問題があったが、本手法では、最上段ワー
ク領域の輪郭線を解析することにより、テンプレートマ
ッチング計算を行う場所を輪郭線コーナー点のみに限定
しているため、テンプレートマッチング計算量が少なく
なり、計算時間の短縮が図れるという効果を奏する。
【0063】請求項2記載の発明は、請求項1記載の発
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、再計測する
と、個別認識できるようになり、積荷の位置姿勢を認識
できるという効果を奏する。また、積荷の最上段が図1
2(c)に示すように、回転している場合でも、個別に
認識できるようになり、積荷の位置姿勢を認識できる。
さらに、3次元計測を行っているため、積荷高さを知る
ことができ、積荷高さが未知なものについても対応可能
となる。そのため、ワーク最上段から最下段まですべて
の段でずらし動作を実施できるという効果を奏する。
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、再計測する
と、個別認識できるようになり、積荷の位置姿勢を認識
できるという効果を奏する。また、積荷の最上段が図1
2(c)に示すように、回転している場合でも、個別に
認識できるようになり、積荷の位置姿勢を認識できる。
さらに、3次元計測を行っているため、積荷高さを知る
ことができ、積荷高さが未知なものについても対応可能
となる。そのため、ワーク最上段から最下段まですべて
の段でずらし動作を実施できるという効果を奏する。
【0064】請求項3記載の発明は、請求項1記載の発
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、個別認識で
きるようになり、積荷の位置姿勢を認識できるという効
果を奏する。
明の効果に加えて、積荷が互いに密着してワーク領域内
の境界部を求めることができない場合でも、密着した積
荷をずらし手段によりずらすことによって、個別認識で
きるようになり、積荷の位置姿勢を認識できるという効
果を奏する。
【図1】認識処理制御盤のブロック図である。
【図2】荷降ろしする状態を示す説明図である。
【図3】距離データの算出原理を示す説明図である。
【図4】積荷位置姿勢認識ルーチンのフローチャートで
ある。
ある。
【図5】投光ラインの状態を示す説明図である。
【図6】ワーク領域の状態を示す説明図である。
【図7】テンプレートとワーク領域との関係を示す説明
図である。
図である。
【図8】テンプレートとワーク領域との関係を示す説明
図である。
図である。
【図9】本実施形態に係る他の認識処理制御盤のブロッ
ク図である。
ク図である。
【図10】本実施形態に係る他の積荷位置姿勢認識ルー
チンのフローチャートである。
チンのフローチャートである。
【図11】ずらし処理サブルーチンのフローチャートで
ある。
ある。
【図12】積荷の状態を説明する図である。
【図13】積荷の外形輪郭を構成する距離データ点列を
説明する図である。
説明する図である。
【図14】積荷のコーナー部を説明する図である。
【図15】積荷のずらし位置を説明する図である。
【図16】従来の認識処理により貨物を移載する状態を
示す説明図である。
示す説明図である。
【図17】従来の認識処理により貨物を移載する状態を
示す説明図である。
示す説明図である。
1 パレット 2 貨物 3 センサヘッド機構 4 認識処理制御盤 5 スリット光 6 スリット光投光器 7 反射ミラー 8 ステッピングモータ 9a 近距離用撮像装置 9b 遠距離用撮像装置 11 撮像部材 13 モータ駆動部 14 信号バス 16 演算部 17 RAM 18 ROM 19 画像データ切り替え器 20 ロボット制御盤 21 ハンドリングロボット 22 ローラコンベア 31 輪郭線 32 コーナー点 33 輪郭点 34 ワーク境界点 35 テンプレート 36 ウインドウ領域
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 英二 兵庫県神戸市西区高塚台1丁目5番5号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 山本 直樹 兵庫県神戸市西区高塚台1丁目5番5号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 重吉 正之 愛知県豊橋市三弥町字中原1番地2 株式 会社神戸製鋼所豊橋FA・ロボットセンタ ー内
Claims (3)
- 【請求項1】 積荷対象物の立体的な配置状況を認識す
る積荷位置姿勢認識装置において、 積荷上方に設置されたカメラと、帯状の光を走査可能な
スリット光投光器等からなるセンサヘッドを制御し、積
荷最上段およびその下段に配置された積荷対象物の上面
各部の3次元座標を距離データとして求める距離データ
計測手段と、 前記距離データの高さ成分から積荷最上段のワーク領域
を求める領域抽出手段と、 前記ワーク領域の輪郭線の形状よりコーナー部を検出
し、さらに該ワーク領域内部にてワーク境界信号を領域
内境界部として求める判定部抽出手段と、 前記ワーク領域のコーナー部に積荷対象物のテンプレー
トのコーナー部を一致させた後、該テンプレートの4辺
近傍に存在する輪郭部および領域内境界部を基にして積
荷存在性を求める処理を検出されたコーナー部について
行い、最大の積荷存在性を示すテンプレートの位置姿勢
を個別ワーク位置姿勢として認識する個別ワーク認識手
段とを有していることを特徴とする積荷位置姿勢認識装
置。 - 【請求項2】 前記個別ワーク認識手段が、前記個別ワ
ーク位置姿勢を認識できない場合に、前記ワーク領域及
び前記コーナー部から該コーナー部の方向を算出し、該
コーナー部の位置及び方向から、ずらし位置・方向を算
出するずらし位置・方向算出手段と、 前記ずらし位置・方向に基づいて、前記積荷をずらすず
らし手段と、を有していることを特徴とする請求項1記
載の積荷位置姿勢認識装置。 - 【請求項3】 前記個別ワーク認識手段が、前記個別ワ
ーク位置姿勢を認識できない場合に、前記距離データに
基づいて前記積荷をずらすずらし手段を有することを特
徴とする請求項1記載の積荷位置姿勢認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11069829A JPH11333770A (ja) | 1998-03-20 | 1999-03-16 | 積荷位置姿勢認識装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7110298 | 1998-03-20 | ||
JP10-71102 | 1998-03-20 | ||
JP11069829A JPH11333770A (ja) | 1998-03-20 | 1999-03-16 | 積荷位置姿勢認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11333770A true JPH11333770A (ja) | 1999-12-07 |
Family
ID=26411012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11069829A Pending JPH11333770A (ja) | 1998-03-20 | 1999-03-16 | 積荷位置姿勢認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11333770A (ja) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004051185A1 (ja) * | 2002-12-04 | 2004-06-17 | Techno Network Shikoku Co.,Ltd. | 相対距離計測方法及びその装置 |
EP1586422A1 (de) * | 2004-04-15 | 2005-10-19 | IMR-Metalle und Technologie GMBH | Verfahren und Vorrichtung zum Handhaben von Werkstücken mit einem 3D-Sensor |
JP2007254128A (ja) * | 2006-03-24 | 2007-10-04 | Daifuku Co Ltd | 物品移載装置 |
JP2008119786A (ja) * | 2006-11-13 | 2008-05-29 | Nissan Diesel Motor Co Ltd | ワーク識別装置及び識別方法 |
JP2010064202A (ja) * | 2008-09-11 | 2010-03-25 | Ihi Corp | ピッキング装置と方法 |
EP2957397A3 (en) * | 2014-06-20 | 2016-01-20 | Ricoh Company, Ltd. | Measurement system, object pickup system, measurement method, and carrier means |
JP2016222377A (ja) * | 2015-05-28 | 2016-12-28 | 株式会社東芝 | 荷役装置及びその動作方法 |
JP2017039189A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 配置検出装置およびピッキング装置 |
CN108016878A (zh) * | 2018-01-11 | 2018-05-11 | 广东科达洁能股份有限公司 | 一种具有视觉***的瓷砖桁架机械装置 |
KR20180113154A (ko) * | 2017-04-05 | 2018-10-15 | 무라다기카이가부시끼가이샤 | 함요부 검출 장치, 반송 장치, 및 함요부 검출 방법 |
CN109436820A (zh) * | 2018-09-17 | 2019-03-08 | 武汉库柏特科技有限公司 | 一种货物垛的拆垛方法及拆垛*** |
JP2019509559A (ja) * | 2016-02-26 | 2019-04-04 | キネマ システムズ インコーポレイテッド | センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング |
WO2019208292A1 (ja) * | 2018-04-27 | 2019-10-31 | 株式会社ダイフク | ピッキング設備(picking facility) |
CN110751640A (zh) * | 2019-10-17 | 2020-02-04 | 南京鑫和汇通电子科技有限公司 | 一种基于角点配对的深度图像的四边形检测方法 |
US10614340B1 (en) | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
WO2020105295A1 (ja) * | 2018-11-21 | 2020-05-28 | Thk株式会社 | 画像情報処理装置、把持システム、および画像情報処理方法 |
JP2020121346A (ja) * | 2019-01-29 | 2020-08-13 | Kyoto Robotics株式会社 | ワーク移載システム及びその方法 |
JP2020125916A (ja) * | 2019-02-01 | 2020-08-20 | Kyoto Robotics株式会社 | 移載対象ワーク記憶システム |
JP2021050100A (ja) * | 2018-10-30 | 2021-04-01 | 株式会社Mujin | 自動パッケージ登録機構および最小実行可能領域検出を備えたロボットシステム |
WO2021059438A1 (ja) * | 2019-09-26 | 2021-04-01 | 株式会社Fuji | 高さ測定装置 |
FR3102468A1 (fr) * | 2019-10-29 | 2021-04-30 | Fives Syleps | Systeme et procede de paletisation et depalettisation |
JP2021111354A (ja) * | 2020-01-10 | 2021-08-02 | 株式会社Mujin | 画像分類に基づく物体認識または物体登録のための方法および計算システム |
JP2021122879A (ja) * | 2020-02-04 | 2021-08-30 | 株式会社メイキコウ | 画像処理装置及び画像処理装置を備えた搬送装置 |
WO2022245842A1 (en) * | 2021-05-18 | 2022-11-24 | Mujin, Inc | A robotic system for object size measurement |
WO2023157964A1 (ja) * | 2022-02-21 | 2023-08-24 | 興和株式会社 | ピッキング装置及びピッキング制御プログラム |
US11772271B2 (en) | 2020-01-10 | 2023-10-03 | Mujin, Inc. | Method and computing system for object recognition or object registration based on image classification |
WO2024009387A1 (ja) * | 2022-07-05 | 2024-01-11 | ファナック株式会社 | ビジョンシステム、及びビジョン検出方法 |
-
1999
- 1999-03-16 JP JP11069829A patent/JPH11333770A/ja active Pending
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004051185A1 (ja) * | 2002-12-04 | 2004-06-17 | Techno Network Shikoku Co.,Ltd. | 相対距離計測方法及びその装置 |
EP1586422A1 (de) * | 2004-04-15 | 2005-10-19 | IMR-Metalle und Technologie GMBH | Verfahren und Vorrichtung zum Handhaben von Werkstücken mit einem 3D-Sensor |
JP2007254128A (ja) * | 2006-03-24 | 2007-10-04 | Daifuku Co Ltd | 物品移載装置 |
JP2008119786A (ja) * | 2006-11-13 | 2008-05-29 | Nissan Diesel Motor Co Ltd | ワーク識別装置及び識別方法 |
JP2010064202A (ja) * | 2008-09-11 | 2010-03-25 | Ihi Corp | ピッキング装置と方法 |
EP2957397A3 (en) * | 2014-06-20 | 2016-01-20 | Ricoh Company, Ltd. | Measurement system, object pickup system, measurement method, and carrier means |
JP2016222377A (ja) * | 2015-05-28 | 2016-12-28 | 株式会社東芝 | 荷役装置及びその動作方法 |
JP2017039189A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 配置検出装置およびピッキング装置 |
JP2019509559A (ja) * | 2016-02-26 | 2019-04-04 | キネマ システムズ インコーポレイテッド | センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング |
KR20180113154A (ko) * | 2017-04-05 | 2018-10-15 | 무라다기카이가부시끼가이샤 | 함요부 검출 장치, 반송 장치, 및 함요부 검출 방법 |
CN108692681A (zh) * | 2017-04-05 | 2018-10-23 | 村田机械株式会社 | 凹陷部检测装置、输送装置以及凹陷部检测方法 |
TWI758459B (zh) * | 2017-04-05 | 2022-03-21 | 日商村田機械股份有限公司 | 凹陷部檢測裝置、搬送裝置及凹陷部檢測方法 |
CN108016878A (zh) * | 2018-01-11 | 2018-05-11 | 广东科达洁能股份有限公司 | 一种具有视觉***的瓷砖桁架机械装置 |
KR20210002481A (ko) * | 2018-04-27 | 2021-01-08 | 가부시키가이샤 다이후쿠 | 피킹 설비 |
WO2019208292A1 (ja) * | 2018-04-27 | 2019-10-31 | 株式会社ダイフク | ピッキング設備(picking facility) |
JP2019189438A (ja) * | 2018-04-27 | 2019-10-31 | 株式会社ダイフク | ピッキング設備 |
CN109436820A (zh) * | 2018-09-17 | 2019-03-08 | 武汉库柏特科技有限公司 | 一种货物垛的拆垛方法及拆垛*** |
CN109436820B (zh) * | 2018-09-17 | 2024-04-16 | 武汉库柏特科技有限公司 | 一种货物垛的拆垛方法及拆垛*** |
JP2021050100A (ja) * | 2018-10-30 | 2021-04-01 | 株式会社Mujin | 自動パッケージ登録機構および最小実行可能領域検出を備えたロボットシステム |
US12002007B2 (en) | 2018-10-30 | 2024-06-04 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
US11961042B2 (en) | 2018-10-30 | 2024-04-16 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
JP2021051797A (ja) * | 2018-10-30 | 2021-04-01 | 株式会社Mujin | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
US11607803B2 (en) | 2018-11-21 | 2023-03-21 | Thk Co., Ltd. | Image information processing device, gripping system, and image information processing method |
WO2020105295A1 (ja) * | 2018-11-21 | 2020-05-28 | Thk株式会社 | 画像情報処理装置、把持システム、および画像情報処理方法 |
JP2020082253A (ja) * | 2018-11-21 | 2020-06-04 | Thk株式会社 | 画像情報処理装置、把持システム、および画像情報処理方法 |
CN113165187A (zh) * | 2018-11-21 | 2021-07-23 | Thk株式会社 | 图像信息处理装置、把持***以及图像信息处理方法 |
CN113165187B (zh) * | 2018-11-21 | 2023-07-21 | Thk株式会社 | 图像信息处理装置、把持***以及图像信息处理方法 |
JP2020121346A (ja) * | 2019-01-29 | 2020-08-13 | Kyoto Robotics株式会社 | ワーク移載システム及びその方法 |
JP2020125916A (ja) * | 2019-02-01 | 2020-08-20 | Kyoto Robotics株式会社 | 移載対象ワーク記憶システム |
JP2021051712A (ja) * | 2019-09-23 | 2021-04-01 | 株式会社Mujin | 物体識別のための方法および計算システム |
US10614340B1 (en) | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
US11763459B2 (en) | 2019-09-23 | 2023-09-19 | Mujin, Inc. | Method and computing system for object identification |
JP2021051721A (ja) * | 2019-09-23 | 2021-04-01 | 株式会社Mujin | 物体識別のための方法および計算システム |
WO2021059438A1 (ja) * | 2019-09-26 | 2021-04-01 | 株式会社Fuji | 高さ測定装置 |
JPWO2021059438A1 (ja) * | 2019-09-26 | 2021-04-01 | ||
CN110751640A (zh) * | 2019-10-17 | 2020-02-04 | 南京鑫和汇通电子科技有限公司 | 一种基于角点配对的深度图像的四边形检测方法 |
WO2021084009A1 (fr) * | 2019-10-29 | 2021-05-06 | Fives Syleps | Systeme et procede de paletisation et depalettisation |
FR3102468A1 (fr) * | 2019-10-29 | 2021-04-30 | Fives Syleps | Systeme et procede de paletisation et depalettisation |
US11772271B2 (en) | 2020-01-10 | 2023-10-03 | Mujin, Inc. | Method and computing system for object recognition or object registration based on image classification |
JP2021111354A (ja) * | 2020-01-10 | 2021-08-02 | 株式会社Mujin | 画像分類に基づく物体認識または物体登録のための方法および計算システム |
JP2021122879A (ja) * | 2020-02-04 | 2021-08-30 | 株式会社メイキコウ | 画像処理装置及び画像処理装置を備えた搬送装置 |
WO2022245842A1 (en) * | 2021-05-18 | 2022-11-24 | Mujin, Inc | A robotic system for object size measurement |
WO2023157964A1 (ja) * | 2022-02-21 | 2023-08-24 | 興和株式会社 | ピッキング装置及びピッキング制御プログラム |
WO2024009387A1 (ja) * | 2022-07-05 | 2024-01-11 | ファナック株式会社 | ビジョンシステム、及びビジョン検出方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11333770A (ja) | 積荷位置姿勢認識装置 | |
CN109160452B (zh) | 基于激光定位和立体视觉的无人转运叉车及导航方法 | |
CN111776762B (zh) | 具有自动化包裹扫描和登记机构的机器人***及其操作方法 | |
US10967506B2 (en) | Determining a virtual representation of an environment by projecting texture patterns | |
JP3805302B2 (ja) | ワーク取出し装置 | |
CN102735166B (zh) | 三维扫描仪和机器人*** | |
Nitzan | Three-dimensional vision structure for robot applications | |
US9327406B1 (en) | Object segmentation based on detected object-specific visual cues | |
US6952488B2 (en) | System and method for object localization | |
KR101095579B1 (ko) | 모노 비전 기반의 팔레트 위치 및 자세 측정 방법 | |
JPH11278799A (ja) | 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法 | |
US20210039257A1 (en) | Workpiece picking device and workpiece picking method | |
CN105431370A (zh) | 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和*** | |
JP7252581B2 (ja) | 物品検出装置、物品検出方法、及び産業車両 | |
JP2004317507A (ja) | 監視装置の軸調整方法 | |
US20200394747A1 (en) | Shading topography imaging for robotic unloading | |
CN113284178B (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
CN114170521B (zh) | 一种叉车托盘对接识别定位方法 | |
JPH08271223A (ja) | 物体の位置認識装置 | |
JP4767052B2 (ja) | 光軸ずれ検出装置 | |
JPH09255158A (ja) | 物体配置認識装置 | |
CN117115249A (zh) | 一种集装箱锁孔自动识别定位***及方法 | |
KR100439178B1 (ko) | 3차원 물체 치수 측정 시스템 및 방법 | |
JPH0430991A (ja) | 視覚装置付ロボット | |
JP3919932B2 (ja) | 袋状ワーク姿勢検出装置 |