JP3768174B2 - ワーク取出し装置 - Google Patents
ワーク取出し装置 Download PDFInfo
- Publication number
- JP3768174B2 JP3768174B2 JP2002215083A JP2002215083A JP3768174B2 JP 3768174 B2 JP3768174 B2 JP 3768174B2 JP 2002215083 A JP2002215083 A JP 2002215083A JP 2002215083 A JP2002215083 A JP 2002215083A JP 3768174 B2 JP3768174 B2 JP 3768174B2
- Authority
- JP
- Japan
- Prior art keywords
- partial feature
- workpiece
- partial
- feature
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、バラ積みされた複数のワークを産業用ロボットによって順次取り出す作業に用いられる装置に関する。
【０００２】
【従来の技術】
バラ積みされた複数のワークを視覚センサで検出して取り出す場合、大きな問題となるのは相互に重なりが発生している対象物をどう扱うかという点である。この問題に対する一般的な解法は、重なり合っているワークの集合から最上部に載っているワークを見つけて取り出すというやり方である。
【０００３】
例えば特開平７−２４８１０８号公報に記載された物品の干渉検出方法では、検出されたワークの外周領域において他ワークの存在をチェックし、その領域で他ワークの占める面積や、別途方法で計測した他ワークの高さによって重なりの状況を判断する方法を採用している。
【０００４】
また、特開平８−２７１２２３号公報に記載された物体の位置認識装置では、ワークの輪郭線をトレースすることによってワークを検出し、他ワークとの重なりがあると判断された場合に、重なり部の濃淡分布もしくは別途参照光投射による高さ検出によって上下関係を判断している。
【０００５】
更に、特開平９−５３９１５号公報に記載された重なり状態認識方法では、ワークを検出し、検出された複数のワークの相互関係から重なりが発生している部分を突き止め、その部分での対象物特徴の局所マッチングによって、その部分がどのワークに属するものかを判定してワーク同士の上下関係を判断している。
【０００６】
【発明が解決しようとする課題】
上記したような従来の技術にはそれぞれ次のような問題点がある。先ず特開平７−２４８１０８号公報に記載された物品の干渉検出方法では、対象物が例えば偏平な単純形状のものである場合、他ワークの存在を確認すること自体が曖昧となり判断の信頼性が低下する。また、他ワークの高さ情報を取得するために、画像処理手法以外の方法を併用しなければならないため、コスト的なディメリットも発生する。
【０００７】
次に、特開平８−２７１２２３号公報に記載された物体の位置認識装置では、ワーク同士の重なりの判断がそのワークの輪郭線のトレースに依っており、一般に画像上でワークの輪郭線はワーク表面での照明光の反射具合から連続線とならない場合が多いため、重なり部位を求める判断自体が信頼性の低い場合がある。また、同じ理由で重なり部の濃淡分布による高さ検出も信頼性が低い場合があり、参照光投射には装置に関するコスト的なディメリットもある。
【０００８】
更に、特開平９−５３９１５号公報に記載された重なり状態認識方法では、例えば２つのワーク同士で重なりが発生している部分を突き止めるために、互いのワーク形状の相互関係を幾何学的に考慮している。これはワークが円のように単純形状であれば外形がその中心から等距離にあるため処理が簡単であるが、ワークが複雑な形状になると重なりが発生している部分を突き止める計算コストが非常に増加するという欠点がある。
【０００９】
そこで本発明はこれら従来技術の問題点を解決し、コスト負担を増大させることなく、高い信頼性で、ワーク取出しの優先度を定めてワーク取出し作業を行えるワーク取出し装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、例えば２次元ビジョン機能を利用して複数個の対象物の像を含む画像から対象物を検出し、予め指定した対象物の部分の形状を代表する特徴（部分特徴）の見え具合を、各対象物について、例えば「検出された部分の形状を代表する特徴が検出された数」、「検出された部分の形状を代表する特徴のマッチング度の総和」、あるいは、「検出された部分の形状を代表する特徴の大きさとマッチング度の積和」などで評価し、それに基づいて部分を代表する特徴がより多く、あるいは、より良く見えている対象物から優先的に取り出しを行なうようにすることで上記課題を解決したものである。
【００１１】
即ち、ロボットにより複数個の対象物から該対象物を１個づつ取り出す際に、前記複数個の対象物を撮像した画像に基づいて夫々の対象物を取り出す優先度を決定し、該優先度に従って対象物を取り出すワーク取出し装置について、請求項１は、同装置が、前記対象物の全体の形状を代表する特徴を表わす全体特徴情報と、該対象物の少なくとも１つの部分について各部分の形状を夫々代表する各部分特徴を表わす部分特徴情報と、前記少なくとも１つの部分特徴の夫々が存在する各部分特徴検出領域を表わす部分特徴検出領域情報を記憶する記憶手段と、
前記記憶手段に記憶された全体特徴情報をもとに前記画像中に前記夫々の対象物を見つけるとともに前記画像における前記夫々の対象物の位置姿勢を検出する対象物検出手段と、前記対象物検出手段によって検出された前記夫々の対象物の前記画像における位置姿勢と、前記記憶手段に記憶された部分特徴検出領域情報とに基づいて、前記画像中の夫々の対象物に、前記少なくとも１つの部分特徴の夫々に対応する各部分特徴検出領域を設定する設定手段と、前記記憶手段に記憶された部分特徴情報に基づいて、前記設定手段により設定された各部分特徴検出領域内で部分特徴の検出を行う対象物部分検出手段と、前記対象物部分検出手段による検出結果に応じて、前記夫々の対象物について取り出す優先度を決定する手段とを備えていることを規定している。
【００１２】
また、請求項２に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記検出結果は、前記夫々の対象物について検出された部分特徴の数であり、該特徴の数の大小に応じて前記夫々の対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１３】
請求項３に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記検出結果は、前記対象物部分検出手段により前記記憶手段に記憶された部分特徴情報に基づいて行われる各部分特徴の検出に際して各部分特徴毎に定められるマッチング度であり、該マッチング度の各対象物毎の総和の大小に応じて前記夫々の対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１４】
そして、請求項４に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記検出結果は、前記対象物部分検出手段により前記記憶手段に記憶された部分特徴情報に基づいて行われる各部分特徴の検出に際して各部分特徴毎に定められるマッチング度と、前記各部分特徴の大きさであり、該マッチング度と該大きさとの積を各部分特徴について求め、該積を各対象物毎に足し合わせて得られる値の大小に応じて、前記夫々の対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１５】
【発明の実施の形態】
以下、図１〜図４を参照して本発明の１つの実施形態について説明する。先ず、図１は、本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。同図において、符号４０はワークコンテナを表わし、同ワークコンテナ上に複数のワーク４１がバラ積み状態で積載されている。ワーク４１を取り出すためのワーク取出し装置の主要部は、ロボット制御装置３０で制御されるロボット３１と、ビデオカメラ１と画像処理装置２０を含む２次元視覚センサで構成される。なお、図１において画像処理装置２０は、便宜上、同画像処理装置２０の行なう処理手順の概要を表わすブロック図部分を囲む形で示されている。
【００１６】
ロボット３１は、ワークコンテナ上のワーク４１を順次把持して取り出すのに適した位置に設置され、ビデオカメラ１は、ワークコンテナ上のワーク４１をほぼ真上から視野に収めて撮影できる位置に設置されている。ロボット制御装置３０と画像処理装置２０の間は通信回線３２で結ばれており、ロボット制御装置３０は、ビデオカメラ１で撮影され画像処理装置２０で処理された結果を利用してワーク４１を「優先度」に従って順次ハンドリング（アプローチ、把持、取出しの動作）する。
【００１７】
ここで、「優先度」とは、各ワークがどの程度次に取り出すに適した状態（取り出し易さ）にあるかを表わす度合である。即ち、本実施形態で行なわれる作業の骨格は、下記（ｉ）、（ｉｉ）を全ワークの取出しを終えるまで繰り返すことである。
【００１８】
（ｉ）視覚センサで、バラ積み状態にある複数のワーク４１の状態を解析して、各ワーク４１の取出しの「優先度」を定める。
（ｉｉ）その定められた「優先度」の最も高いワーク（最優先ワークという）の位置・姿勢データを使い、ロボット３１にその最優先ワークのハンドリング（アプローチ、把持、取出しの動作）を行なわせる。なお、最後のワークでは 自動的にその残されたワークに決まる。
【００１９】
次に、優先度の決定のために準備されるモデル生成、部分モデル生成、全体特徴情報、部分特徴情報等について説明する。先ず、事前に対象となるワーク４１のモデル生成と部分モデル生成を行なっておく。そのために、基準位置に置かれた１個のワーク４１がビデオカメラ１によって撮像される。図１中にブロックで示したモデル生成手段（画像処理のソフトウェア）６は、その画像からモデルとなる全体特徴情報８を抽出する。この全体特徴情報８は、画像処理装置２０の図示されていない画像メモリ等に保存される。
【００２０】
ここで、「全体特徴情報」とは、１個のワーク４１の全体の形状を代表する特徴を表わす情報のことであり、その一例を図２（ａ）に示した。またこのモデル生成に続いて、図１中にブロックで示した部分モデル生成手段（ソフトウェア）７によって、部分特徴情報１０が抽出され、それが部分特徴検出領域情報９とともに、画像処理装置２０の図示されていない画像メモリ等に保存される。
【００２１】
ここで、「部分特徴情報」とは、１個のワーク４１を構成する少なくとも１つの部分の形状を代表する特徴を表わす情報のことである。図２（ｂ）はその一例であり、図２（ａ）に示された全体特徴情報の例と対をなすものである。なお、図２（ａ）、（ｂ）におけるＯ−ＸＹの表示は、画像座標（画面上における座標）を表わしている。
【００２２】
これら図２（ａ）、（ｂ）を対照比較すると判るように、図２（ａ）に示した全体特徴情報は、１個のワーク４１の特定の部分を代表するのではなく、全体を代表するものとなっている。本例では、ワーク４１の全体を上方から見た場合の主要な輪郭線が全体特徴情報を構成している。これに対して、図２（ｂ）に示した部分特徴情報は、全体特徴情報であるワーク全体の主要輪郭線から、６つの部分の輪郭線が選択され、それぞれが部分特徴とされている。そして、６個の部分特徴のそれぞれが存在する部分領域が、符号５１〜５６で示された「部分特徴検出領域」となっている。換言すれば、各部分特徴検出領域５１〜５６の中に示されたワーク輪郭線が、本例における部分特徴情報である。なお、符号５０は全体特徴情報の原点を示しており、この原点と部分特徴検出領域５１〜５６の相対位置関係も部分特徴検出領域情報に含まれる。
【００２３】
次に実際にワークを検出してハンドリングする際の検出処理について説明する。ビデオカメラ１で撮像された画像が対象物全体検出手段２に送られ、全体特徴情報８を用いてその画像中からワークの像が検出される。ここでの具体的な検出処理方法には様々な公知のものが適用可能なので、詳細には言及しない。続いて、部分領域設定手段３は、対象物全体検出手段２で検出されたワーク４１の位置姿勢情報と部分特徴検出領域情報９に基づいて、部分特徴の検出を行なうべき部分領域の設定を行なう。
【００２４】
ここまでの処理の様子の一例を図３に示す。同図に示したように、ここでは画像座標Ｏ−Ｙ上で斜めになったワーク全体像が、全体特徴情報８を用いて抽出され、その位置が対象物全体検出によって符号６０の位置に求められ、位置６０と姿勢を基準に、部分特徴検出領域６１〜６６が部分領域設定で定められる。続いて図１中にブロックで示した対象物部分検出手段４により、先述の各部分領域６１〜６６のそれぞれの内で部分特徴情報１０の検出が行なわれる。
【００２５】
その検出結果は、例えば「部分特徴検出成功数」を表わす正整数で表現され、各検出ワーク毎に合計得点が計算される。このようにして評価された結果のデータは、部分特徴数が優先度決定手段５に送られ、これの大きい順に優先度を与え、最も優先度の高いワークの位置姿勢検出結果がロボット制御装置３０に送られる（同点の場合は例えば先に検出されたワークを優先する）。
この一例を図４に示す。図４（ａ）のような状況にある２個のワークＡ、Ｂに注目した時、前述のような検出処理を施すと、図４（ｂ）における点線で示す枠内に各部分特徴が検出される。左側のワークＢの部分特徴検出総数は、右側のワークＡの部分特徴検出総数よりも小さくなる。これにより、先に取り出し対象物としてワークＡが選択される。
【００２６】
なお、この優先度決定の基準には、前述のような部分特徴検出数だけではなく、各部分特徴検出時のマッチング度を評価し、これの総和を用いても良い。マッチング度を例えば最小０、最大１００の正整数で表わすことにすれば、各検出ワークについて、部分特徴毎にマッチング度を定めることが出来る。
【００２７】
例えば、図４に示したワークＡについては、ワーク全体が露出して良く見える状態にあるため、各部分特徴毎にマッチング度はほぼ最大の１００となる。一方、図４に示したワークＢについては、ワークＡで覆われた部分があるため、一部の部分特徴についてマッチング度は低い値（例えば３０）となり、総和はワークＡのそれよりかなり低くなる。これにより、ワークＡの優先度≧ワークＢの優先度と判定できる。
【００２８】
更に、各部分特徴の大きさとして、その部分特徴検出領域の面積値をも用い、マッチング度と面積の積和を使用することも有効である。この場合、各部分特徴のマッチング度を表わすスコアに、部分特徴検出領域の大きさを表わす重み係数を乗じた上で、各検出ワーク毎に「優先度」が計算される。
【００２９】
以上は、ビデオカメラ１台で複数の２次元的な平板状のワークを取り扱う例であるが、本発明はそのような場合に限定されるものではなく、ビデオカメラを複数台用いたステレオビジョン方式により複数の立体的なワークを取り扱うときに、何れかのビデオカメラで撮像した画像に本発明を適用することにより、ワークを取り出す優先度を求めることが可能であることは言うまでもない。
【００３０】
【発明の効果】
本発明においては、対象ワークの部分を代表する特徴の見え方の良し悪しから取出しの適切度を求めているため、以下のように従来技術にみられる問題が回避される。
（１）他ワークの存在具合をベースに重なりを評価する時に問題となる他ワーク存在の判断の信頼性に関ることがない。
（２）ワークの輪郭線をベースに重なりの有無を判断する時に問題となる輪郭線の見え方の連続性問題に関ることがない。
（３）重なり部の上下関係を判定するために利用される信頼性の低い濃淡ベースの評価をする必要がなく、また特別な参照光投光を用いる必要もない。
（４）また、ワーク形状の複雑さによって計算処理コストが非常にかさむような問題も回避している。以上のように処理結果の信頼性、計算コストの両面において優れたワーク取出し装置が提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。
【図２】（ａ）はワークの全体特徴情報の一例を示す図であり、（ｂ）はワークの部分特徴情報の一例を示す図である。
【図３】実施形態で検出されたワークの画像について、処理の様子の途中経過を説明する図である。
【図４】（ａ）は２つのワークの重なり状態を例示した図であり、（ｂ）はそれら２つのワークの優先度の差について説明する図である。
【符号の説明】
１ ビデオカメラ
２ 対象物全体検出手段
３ 部分領域決定手段
４ 対象物部分検出手段
５ 優先度決定手段
６ モデル生成手段
７ 部分モデル生成手段
８ 全体特徴情報
９ 部分特徴検出領域情報
２０ 画像処理装置
３０ ロボット制御装置
３１ ロボット
３２ 通信回線
４０ ワークコンテナ
４１ ワーク
【発明の属する技術分野】
本発明は、バラ積みされた複数のワークを産業用ロボットによって順次取り出す作業に用いられる装置に関する。
【０００２】
【従来の技術】
バラ積みされた複数のワークを視覚センサで検出して取り出す場合、大きな問題となるのは相互に重なりが発生している対象物をどう扱うかという点である。この問題に対する一般的な解法は、重なり合っているワークの集合から最上部に載っているワークを見つけて取り出すというやり方である。
【０００３】
例えば特開平７−２４８１０８号公報に記載された物品の干渉検出方法では、検出されたワークの外周領域において他ワークの存在をチェックし、その領域で他ワークの占める面積や、別途方法で計測した他ワークの高さによって重なりの状況を判断する方法を採用している。
【０００４】
また、特開平８−２７１２２３号公報に記載された物体の位置認識装置では、ワークの輪郭線をトレースすることによってワークを検出し、他ワークとの重なりがあると判断された場合に、重なり部の濃淡分布もしくは別途参照光投射による高さ検出によって上下関係を判断している。
【０００５】
更に、特開平９−５３９１５号公報に記載された重なり状態認識方法では、ワークを検出し、検出された複数のワークの相互関係から重なりが発生している部分を突き止め、その部分での対象物特徴の局所マッチングによって、その部分がどのワークに属するものかを判定してワーク同士の上下関係を判断している。
【０００６】
【発明が解決しようとする課題】
上記したような従来の技術にはそれぞれ次のような問題点がある。先ず特開平７−２４８１０８号公報に記載された物品の干渉検出方法では、対象物が例えば偏平な単純形状のものである場合、他ワークの存在を確認すること自体が曖昧となり判断の信頼性が低下する。また、他ワークの高さ情報を取得するために、画像処理手法以外の方法を併用しなければならないため、コスト的なディメリットも発生する。
【０００７】
次に、特開平８−２７１２２３号公報に記載された物体の位置認識装置では、ワーク同士の重なりの判断がそのワークの輪郭線のトレースに依っており、一般に画像上でワークの輪郭線はワーク表面での照明光の反射具合から連続線とならない場合が多いため、重なり部位を求める判断自体が信頼性の低い場合がある。また、同じ理由で重なり部の濃淡分布による高さ検出も信頼性が低い場合があり、参照光投射には装置に関するコスト的なディメリットもある。
【０００８】
更に、特開平９−５３９１５号公報に記載された重なり状態認識方法では、例えば２つのワーク同士で重なりが発生している部分を突き止めるために、互いのワーク形状の相互関係を幾何学的に考慮している。これはワークが円のように単純形状であれば外形がその中心から等距離にあるため処理が簡単であるが、ワークが複雑な形状になると重なりが発生している部分を突き止める計算コストが非常に増加するという欠点がある。
【０００９】
そこで本発明はこれら従来技術の問題点を解決し、コスト負担を増大させることなく、高い信頼性で、ワーク取出しの優先度を定めてワーク取出し作業を行えるワーク取出し装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、例えば２次元ビジョン機能を利用して複数個の対象物の像を含む画像から対象物を検出し、予め指定した対象物の部分の形状を代表する特徴（部分特徴）の見え具合を、各対象物について、例えば「検出された部分の形状を代表する特徴が検出された数」、「検出された部分の形状を代表する特徴のマッチング度の総和」、あるいは、「検出された部分の形状を代表する特徴の大きさとマッチング度の積和」などで評価し、それに基づいて部分を代表する特徴がより多く、あるいは、より良く見えている対象物から優先的に取り出しを行なうようにすることで上記課題を解決したものである。
【００１１】
即ち、ロボットにより複数個の対象物から該対象物を１個づつ取り出す際に、前記複数個の対象物を撮像した画像に基づいて夫々の対象物を取り出す優先度を決定し、該優先度に従って対象物を取り出すワーク取出し装置について、請求項１は、同装置が、前記対象物の全体の形状を代表する特徴を表わす全体特徴情報と、該対象物の少なくとも１つの部分について各部分の形状を夫々代表する各部分特徴を表わす部分特徴情報と、前記少なくとも１つの部分特徴の夫々が存在する各部分特徴検出領域を表わす部分特徴検出領域情報を記憶する記憶手段と、
前記記憶手段に記憶された全体特徴情報をもとに前記画像中に前記夫々の対象物を見つけるとともに前記画像における前記夫々の対象物の位置姿勢を検出する対象物検出手段と、前記対象物検出手段によって検出された前記夫々の対象物の前記画像における位置姿勢と、前記記憶手段に記憶された部分特徴検出領域情報とに基づいて、前記画像中の夫々の対象物に、前記少なくとも１つの部分特徴の夫々に対応する各部分特徴検出領域を設定する設定手段と、前記記憶手段に記憶された部分特徴情報に基づいて、前記設定手段により設定された各部分特徴検出領域内で部分特徴の検出を行う対象物部分検出手段と、前記対象物部分検出手段による検出結果に応じて、前記夫々の対象物について取り出す優先度を決定する手段とを備えていることを規定している。
【００１２】
また、請求項２に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記検出結果は、前記夫々の対象物について検出された部分特徴の数であり、該特徴の数の大小に応じて前記夫々の対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１３】
請求項３に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記検出結果は、前記対象物部分検出手段により前記記憶手段に記憶された部分特徴情報に基づいて行われる各部分特徴の検出に際して各部分特徴毎に定められるマッチング度であり、該マッチング度の各対象物毎の総和の大小に応じて前記夫々の対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１４】
そして、請求項４に係るワーク取出し装置は、上記請求項１の要件に加えて更に、「前記検出結果は、前記対象物部分検出手段により前記記憶手段に記憶された部分特徴情報に基づいて行われる各部分特徴の検出に際して各部分特徴毎に定められるマッチング度と、前記各部分特徴の大きさであり、該マッチング度と該大きさとの積を各部分特徴について求め、該積を各対象物毎に足し合わせて得られる値の大小に応じて、前記夫々の対象物を取り出す優先度を決定する」、という要件を満たしている。
【００１５】
【発明の実施の形態】
以下、図１〜図４を参照して本発明の１つの実施形態について説明する。先ず、図１は、本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。同図において、符号４０はワークコンテナを表わし、同ワークコンテナ上に複数のワーク４１がバラ積み状態で積載されている。ワーク４１を取り出すためのワーク取出し装置の主要部は、ロボット制御装置３０で制御されるロボット３１と、ビデオカメラ１と画像処理装置２０を含む２次元視覚センサで構成される。なお、図１において画像処理装置２０は、便宜上、同画像処理装置２０の行なう処理手順の概要を表わすブロック図部分を囲む形で示されている。
【００１６】
ロボット３１は、ワークコンテナ上のワーク４１を順次把持して取り出すのに適した位置に設置され、ビデオカメラ１は、ワークコンテナ上のワーク４１をほぼ真上から視野に収めて撮影できる位置に設置されている。ロボット制御装置３０と画像処理装置２０の間は通信回線３２で結ばれており、ロボット制御装置３０は、ビデオカメラ１で撮影され画像処理装置２０で処理された結果を利用してワーク４１を「優先度」に従って順次ハンドリング（アプローチ、把持、取出しの動作）する。
【００１７】
ここで、「優先度」とは、各ワークがどの程度次に取り出すに適した状態（取り出し易さ）にあるかを表わす度合である。即ち、本実施形態で行なわれる作業の骨格は、下記（ｉ）、（ｉｉ）を全ワークの取出しを終えるまで繰り返すことである。
【００１８】
（ｉ）視覚センサで、バラ積み状態にある複数のワーク４１の状態を解析して、各ワーク４１の取出しの「優先度」を定める。
（ｉｉ）その定められた「優先度」の最も高いワーク（最優先ワークという）の位置・姿勢データを使い、ロボット３１にその最優先ワークのハンドリング（アプローチ、把持、取出しの動作）を行なわせる。なお、最後のワークでは 自動的にその残されたワークに決まる。
【００１９】
次に、優先度の決定のために準備されるモデル生成、部分モデル生成、全体特徴情報、部分特徴情報等について説明する。先ず、事前に対象となるワーク４１のモデル生成と部分モデル生成を行なっておく。そのために、基準位置に置かれた１個のワーク４１がビデオカメラ１によって撮像される。図１中にブロックで示したモデル生成手段（画像処理のソフトウェア）６は、その画像からモデルとなる全体特徴情報８を抽出する。この全体特徴情報８は、画像処理装置２０の図示されていない画像メモリ等に保存される。
【００２０】
ここで、「全体特徴情報」とは、１個のワーク４１の全体の形状を代表する特徴を表わす情報のことであり、その一例を図２（ａ）に示した。またこのモデル生成に続いて、図１中にブロックで示した部分モデル生成手段（ソフトウェア）７によって、部分特徴情報１０が抽出され、それが部分特徴検出領域情報９とともに、画像処理装置２０の図示されていない画像メモリ等に保存される。
【００２１】
ここで、「部分特徴情報」とは、１個のワーク４１を構成する少なくとも１つの部分の形状を代表する特徴を表わす情報のことである。図２（ｂ）はその一例であり、図２（ａ）に示された全体特徴情報の例と対をなすものである。なお、図２（ａ）、（ｂ）におけるＯ−ＸＹの表示は、画像座標（画面上における座標）を表わしている。
【００２２】
これら図２（ａ）、（ｂ）を対照比較すると判るように、図２（ａ）に示した全体特徴情報は、１個のワーク４１の特定の部分を代表するのではなく、全体を代表するものとなっている。本例では、ワーク４１の全体を上方から見た場合の主要な輪郭線が全体特徴情報を構成している。これに対して、図２（ｂ）に示した部分特徴情報は、全体特徴情報であるワーク全体の主要輪郭線から、６つの部分の輪郭線が選択され、それぞれが部分特徴とされている。そして、６個の部分特徴のそれぞれが存在する部分領域が、符号５１〜５６で示された「部分特徴検出領域」となっている。換言すれば、各部分特徴検出領域５１〜５６の中に示されたワーク輪郭線が、本例における部分特徴情報である。なお、符号５０は全体特徴情報の原点を示しており、この原点と部分特徴検出領域５１〜５６の相対位置関係も部分特徴検出領域情報に含まれる。
【００２３】
次に実際にワークを検出してハンドリングする際の検出処理について説明する。ビデオカメラ１で撮像された画像が対象物全体検出手段２に送られ、全体特徴情報８を用いてその画像中からワークの像が検出される。ここでの具体的な検出処理方法には様々な公知のものが適用可能なので、詳細には言及しない。続いて、部分領域設定手段３は、対象物全体検出手段２で検出されたワーク４１の位置姿勢情報と部分特徴検出領域情報９に基づいて、部分特徴の検出を行なうべき部分領域の設定を行なう。
【００２４】
ここまでの処理の様子の一例を図３に示す。同図に示したように、ここでは画像座標Ｏ−Ｙ上で斜めになったワーク全体像が、全体特徴情報８を用いて抽出され、その位置が対象物全体検出によって符号６０の位置に求められ、位置６０と姿勢を基準に、部分特徴検出領域６１〜６６が部分領域設定で定められる。続いて図１中にブロックで示した対象物部分検出手段４により、先述の各部分領域６１〜６６のそれぞれの内で部分特徴情報１０の検出が行なわれる。
【００２５】
その検出結果は、例えば「部分特徴検出成功数」を表わす正整数で表現され、各検出ワーク毎に合計得点が計算される。このようにして評価された結果のデータは、部分特徴数が優先度決定手段５に送られ、これの大きい順に優先度を与え、最も優先度の高いワークの位置姿勢検出結果がロボット制御装置３０に送られる（同点の場合は例えば先に検出されたワークを優先する）。
この一例を図４に示す。図４（ａ）のような状況にある２個のワークＡ、Ｂに注目した時、前述のような検出処理を施すと、図４（ｂ）における点線で示す枠内に各部分特徴が検出される。左側のワークＢの部分特徴検出総数は、右側のワークＡの部分特徴検出総数よりも小さくなる。これにより、先に取り出し対象物としてワークＡが選択される。
【００２６】
なお、この優先度決定の基準には、前述のような部分特徴検出数だけではなく、各部分特徴検出時のマッチング度を評価し、これの総和を用いても良い。マッチング度を例えば最小０、最大１００の正整数で表わすことにすれば、各検出ワークについて、部分特徴毎にマッチング度を定めることが出来る。
【００２７】
例えば、図４に示したワークＡについては、ワーク全体が露出して良く見える状態にあるため、各部分特徴毎にマッチング度はほぼ最大の１００となる。一方、図４に示したワークＢについては、ワークＡで覆われた部分があるため、一部の部分特徴についてマッチング度は低い値（例えば３０）となり、総和はワークＡのそれよりかなり低くなる。これにより、ワークＡの優先度≧ワークＢの優先度と判定できる。
【００２８】
更に、各部分特徴の大きさとして、その部分特徴検出領域の面積値をも用い、マッチング度と面積の積和を使用することも有効である。この場合、各部分特徴のマッチング度を表わすスコアに、部分特徴検出領域の大きさを表わす重み係数を乗じた上で、各検出ワーク毎に「優先度」が計算される。
【００２９】
以上は、ビデオカメラ１台で複数の２次元的な平板状のワークを取り扱う例であるが、本発明はそのような場合に限定されるものではなく、ビデオカメラを複数台用いたステレオビジョン方式により複数の立体的なワークを取り扱うときに、何れかのビデオカメラで撮像した画像に本発明を適用することにより、ワークを取り出す優先度を求めることが可能であることは言うまでもない。
【００３０】
【発明の効果】
本発明においては、対象ワークの部分を代表する特徴の見え方の良し悪しから取出しの適切度を求めているため、以下のように従来技術にみられる問題が回避される。
（１）他ワークの存在具合をベースに重なりを評価する時に問題となる他ワーク存在の判断の信頼性に関ることがない。
（２）ワークの輪郭線をベースに重なりの有無を判断する時に問題となる輪郭線の見え方の連続性問題に関ることがない。
（３）重なり部の上下関係を判定するために利用される信頼性の低い濃淡ベースの評価をする必要がなく、また特別な参照光投光を用いる必要もない。
（４）また、ワーク形状の複雑さによって計算処理コストが非常にかさむような問題も回避している。以上のように処理結果の信頼性、計算コストの両面において優れたワーク取出し装置が提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態におけるシステム構成及び動作の手順の概要を説明する図である。
【図２】（ａ）はワークの全体特徴情報の一例を示す図であり、（ｂ）はワークの部分特徴情報の一例を示す図である。
【図３】実施形態で検出されたワークの画像について、処理の様子の途中経過を説明する図である。
【図４】（ａ）は２つのワークの重なり状態を例示した図であり、（ｂ）はそれら２つのワークの優先度の差について説明する図である。
【符号の説明】
１ ビデオカメラ
２ 対象物全体検出手段
３ 部分領域決定手段
４ 対象物部分検出手段
５ 優先度決定手段
６ モデル生成手段
７ 部分モデル生成手段
８ 全体特徴情報
９ 部分特徴検出領域情報
２０ 画像処理装置
３０ ロボット制御装置
３１ ロボット
３２ 通信回線
４０ ワークコンテナ
４１ ワーク
Claims (4)
- ロボットにより複数個の対象物から該対象物を１個づつ取り出す際に、前記複数個の対象物を撮像した画像に基づいて夫々の対象物を取り出す優先度を決定し、該優先度に従って対象物を取り出すワーク取出し装置であって、
前記対象物の全体の形状を代表する特徴を表わす全体特徴情報と、該対象物の少なくとも１つの部分について各部分の形状を夫々代表する各部分特徴を表わす部分特徴情報と、前記少なくとも１つの部分特徴の夫々が存在する各部分特徴検出領域を表わす部分特徴検出領域情報を記憶する記憶手段と、
前記記憶手段に記憶された全体特徴情報をもとに前記画像中に前記夫々の対象物を見つけるとともに前記画像における前記夫々の対象物の位置姿勢を検出する対象物検出手段と、
前記対象物検出手段によって検出された前記夫々の対象物の前記画像における位置姿勢と、前記記憶手段に記憶された部分特徴検出領域情報とに基づいて、前記画像中の夫々の対象物に、前記少なくとも１つの部分特徴の夫々に対応する各部分特徴検出領域を設定する設定手段と、
前記記憶手段に記憶された部分特徴情報に基づいて、前記設定手段により設定された各部分特徴検出領域内で部分特徴の検出を行う対象物部分検出手段と、
前記対象物部分検出手段による検出結果に応じて、前記夫々の対象物について取り出す優先度を決定する手段とを備えることを特徴とするワーク取出し装置。 - 前記検出結果は、前記夫々の対象物について検出された部分特徴の数であり、該特徴の数の大小に応じて前記夫々の対象物を取り出す優先度を決定することを特徴とする請求項１に記載のワーク取出し装置。
- 前記検出結果は、前記対象物部分検出手段により前記記憶手段に記憶された部分特徴情報に基づいて行われる各部分特徴の検出に際して各部分特徴毎に定められるマッチング度であり、
該マッチング度の各対象物毎の総和の大小に応じて前記夫々の対象物を取り出す優先度を決定することを特徴とする請求項１に記載のワーク取出し装置。 - 前記検出結果は、前記対象物部分検出手段により前記記憶手段に記憶された部分特徴情報に基づいて行われる各部分特徴の検出に際して各部分特徴毎に定められるマッチング度と、前記各部分特徴の大きさであり、
該マッチング度と該大きさとの積を各部分特徴について求め、
該積を各対象物毎に足し合わせて得られる値の大小に応じて、前記夫々の対象物を取り出す優先度を決定することを特徴とする、請求項１に記載のワーク取出し装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002215083A JP3768174B2 (ja) | 2002-07-24 | 2002-07-24 | ワーク取出し装置 |
| US10/603,747 US6845296B2 (en) | 2002-07-24 | 2003-06-26 | Object taking out apparatus |
| DE60301922T DE60301922T2 (de) | 2002-07-24 | 2003-07-22 | Vorrichtung zur Entnahme von Objekten |
| EP03254573A EP1385122B1 (en) | 2002-07-24 | 2003-07-22 | Object taking-out apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002215083A JP3768174B2 (ja) | 2002-07-24 | 2002-07-24 | ワーク取出し装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004050390A JP2004050390A (ja) | 2004-02-19 |
| JP3768174B2 true JP3768174B2 (ja) | 2006-04-19 |
Family
ID=29997245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002215083A Expired - Fee Related JP3768174B2 (ja) | 2002-07-24 | 2002-07-24 | ワーク取出し装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6845296B2 (ja) |
| EP (1) | EP1385122B1 (ja) |
| JP (1) | JP3768174B2 (ja) |
| DE (1) | DE60301922T2 (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2437286C (en) * | 2002-08-13 | 2008-04-29 | Garnette Roy Sutherland | Microsurgical robot system |
| US6956503B2 (en) * | 2002-09-13 | 2005-10-18 | Canon Kabushiki Kaisha | Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method |
| JP3805302B2 (ja) * | 2002-12-13 | 2006-08-02 | ファナック株式会社 | ワーク取出し装置 |
| JP3930490B2 (ja) * | 2004-04-23 | 2007-06-13 | ファナック株式会社 | 物品取出し装置 |
| JP4348276B2 (ja) * | 2004-11-02 | 2009-10-21 | 本田技研工業株式会社 | ロボット制御装置 |
| JP4661791B2 (ja) * | 2005-01-11 | 2011-03-30 | 三菱電機株式会社 | 画像処理システム |
| US7809158B2 (en) * | 2005-05-02 | 2010-10-05 | Siemens Industry, Inc. | Method and apparatus for detecting doubles in a singulated stream of flat articles |
| US20070120844A1 (en) * | 2005-11-28 | 2007-05-31 | Baumer Optronic Gmbh | Method and apparatus for the graphical operation of real-time image processing systems |
| JP4199264B2 (ja) * | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
| JP4565023B2 (ja) | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
| JP5265296B2 (ja) * | 2008-10-10 | 2013-08-14 | 本田技研工業株式会社 | ワーク取り出し方法 |
| JP5289087B2 (ja) * | 2009-02-10 | 2013-09-11 | ファナック株式会社 | ワーク取り出し装置 |
| AT11337U1 (de) | 2009-02-26 | 2010-08-15 | Ih Tech Sondermaschb U Instand | Verfahren und vorrichtung zum robotergesteuerten greifen und bewegen von objekten |
| JP5500926B2 (ja) * | 2009-09-29 | 2014-05-21 | キヤノン株式会社 | 物体把持制御方法及び装置 |
| JP4938115B2 (ja) * | 2010-07-27 | 2012-05-23 | ファナック株式会社 | ワーク取出し装置およびワーク取出し方法 |
| DE102010050745A1 (de) * | 2010-11-08 | 2012-05-10 | Li-Tec Battery Gmbh | Verfahren zur Ablage von blattförmigen Objekten und Anordnungen zur Durchführung dieses Verfahrens |
| US9089966B2 (en) | 2010-11-17 | 2015-07-28 | Mitsubishi Electric Corporation | Workpiece pick-up apparatus |
| JP5767464B2 (ja) * | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| FI20106387A (fi) * | 2010-12-30 | 2012-07-01 | Zenrobotics Oy | Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi |
| JP5266377B2 (ja) * | 2011-12-19 | 2013-08-21 | ファナック株式会社 | 物品の姿勢を修正する機能を備えた取出し装置 |
| JP6157066B2 (ja) * | 2012-06-11 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、物体取出システム、画像処理方法及びプログラム |
| JP6052871B2 (ja) * | 2012-11-30 | 2016-12-27 | 国立大学法人横浜国立大学 | 対象物移動装置、方法、プログラム、及び記録媒体 |
| US9361695B2 (en) * | 2012-12-11 | 2016-06-07 | Honda Motor Co., Ltd. | Method of recognizing a position of a workpiece from a photographed image |
| JP2014174629A (ja) * | 2013-03-06 | 2014-09-22 | Honda Motor Co Ltd | ワークピース認識方法 |
| JP5786896B2 (ja) * | 2013-06-07 | 2015-09-30 | 株式会社安川電機 | ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法 |
| JP5929854B2 (ja) * | 2013-07-31 | 2016-06-08 | 株式会社安川電機 | ロボットシステムおよび被加工物の製造方法 |
| JP6245880B2 (ja) * | 2013-07-31 | 2017-12-13 | キヤノン株式会社 | 情報処理装置および情報処理手法、プログラム |
| JP5877857B2 (ja) * | 2014-03-10 | 2016-03-08 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
| JP5778311B1 (ja) * | 2014-05-08 | 2015-09-16 | 東芝機械株式会社 | ピッキング装置およびピッキング方法 |
| JP2017042859A (ja) * | 2015-08-25 | 2017-03-02 | キヤノン株式会社 | ピッキングシステム、並びに、そのための処理装置、方法及びプログラム |
| JP6624911B2 (ja) * | 2015-12-03 | 2019-12-25 | キヤノン株式会社 | 計測装置、計測方法および物品の製造方法 |
| US10112298B2 (en) * | 2016-08-09 | 2018-10-30 | International Business Machines Corporation | Assigning tasks to a robot device for execution |
| JP6773588B2 (ja) | 2017-03-10 | 2020-10-21 | 株式会社東芝 | 搬送装置 |
| JP6687657B2 (ja) * | 2018-03-20 | 2020-04-28 | ファナック株式会社 | センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法 |
| JP7233858B2 (ja) * | 2018-06-13 | 2023-03-07 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
| KR20240042157A (ko) | 2018-10-30 | 2024-04-01 | 무진 아이엔씨 | 자동화된 패키지 등록 시스템, 디바이스 및 방법 |
| US10369701B1 (en) * | 2018-10-30 | 2019-08-06 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| WO2020110574A1 (ja) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | 制御装置、制御方法及びプログラム |
| CN113329850A (zh) * | 2019-01-18 | 2021-08-31 | 株式会社安川电机 | 机器人控制***和机器人控制方法 |
| JP7183941B2 (ja) * | 2019-05-09 | 2022-12-06 | トヨタ自動車株式会社 | ワーク識別方法 |
| JP7120153B2 (ja) * | 2019-05-21 | 2022-08-17 | トヨタ自動車株式会社 | ワーク識別方法 |
| CN111251296B (zh) * | 2020-01-17 | 2021-05-18 | 温州职业技术学院 | 一种适用于码垛电机转子的视觉检测*** |
| JP2022047442A (ja) * | 2020-09-11 | 2022-03-24 | パナソニックＩｐマネジメント株式会社 | 情報処理方法及び情報処理装置 |
| CN112284258B (zh) * | 2020-12-24 | 2021-04-02 | 中国电力科学研究院有限公司 | 一种基于机器视觉算法来测量电缆结构尺寸参数的*** |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS56132505A (en) * | 1980-03-24 | 1981-10-16 | Hitachi Ltd | Position detecting method |
| GB2128772A (en) * | 1982-10-18 | 1984-05-02 | Philips Electronic Associated | Automatic assembly apparatus |
| US4876728A (en) | 1985-06-04 | 1989-10-24 | Adept Technology, Inc. | Vision system for distinguishing touching parts |
| JPH0679325B2 (ja) * | 1985-10-11 | 1994-10-05 | 株式会社日立製作所 | 位置姿勢判定方法 |
| US4876597A (en) * | 1987-09-04 | 1989-10-24 | Adt Security Systems, Inc. | Video observation systems |
| JPH08271223A (ja) | 1995-02-03 | 1996-10-18 | Kobe Steel Ltd | 物体の位置認識装置 |
| JP3560670B2 (ja) * | 1995-02-06 | 2004-09-02 | 富士通株式会社 | 適応的認識システム |
| JPH0953915A (ja) | 1995-08-18 | 1997-02-25 | Meidensha Corp | 重なり状態認識方法 |
| JP3543442B2 (ja) | 1995-09-26 | 2004-07-14 | 松下電工株式会社 | 物品の干渉検出方法 |
| US6493465B2 (en) * | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
| DE19623121C2 (de) * | 1996-06-10 | 2000-05-11 | Wagner International Ag Altsta | Verfahren und Vorrichtung zum photothermischen Prüfen von Werkstückoberflächen |
| JP3377465B2 (ja) | 1999-04-08 | 2003-02-17 | ファナック株式会社 | 画像処理装置 |
-
2002
- 2002-07-24 JP JP2002215083A patent/JP3768174B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-26 US US10/603,747 patent/US6845296B2/en not_active Expired - Lifetime
- 2003-07-22 DE DE60301922T patent/DE60301922T2/de not_active Expired - Lifetime
- 2003-07-22 EP EP03254573A patent/EP1385122B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6845296B2 (en) | 2005-01-18 |
| DE60301922D1 (de) | 2006-03-02 |
| US20040019405A1 (en) | 2004-01-29 |
| EP1385122A1 (en) | 2004-01-28 |
| EP1385122B1 (en) | 2005-10-19 |
| JP2004050390A (ja) | 2004-02-19 |
| DE60301922T2 (de) | 2006-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768174B2 (ja) | ワーク取出し装置 | |
| JP4004899B2 (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
| JP5812599B2 (ja) | 情報処理方法及びその装置 | |
| JP6529302B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2008246631A (ja) | 対象物取出装置 | |
| CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
| CN111761575B (zh) | 工件及其抓取方法和生产线 | |
| JP3654042B2 (ja) | 物体特定方法及び装置 | |
| US9595095B2 (en) | Robot system | |
| CN114310892B (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
| CN114341930A (zh) | 图像处理装置、拍摄装置、机器人以及机器人*** | |
| JP2000263482A (ja) | ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置 | |
| JP6041710B2 (ja) | 画像認識方法 | |
| JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| JPH08315152A (ja) | 画像認識装置 | |
| CN115713547A (zh) | 运动轨迹的生成方法、装置及处理设备 | |
| WO2023092519A1 (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
| JP6026365B2 (ja) | 画像認識方法 | |
| Yin et al. | Robotic grasp detection for parallel grippers: A review | |
| Dong et al. | Real-time Human-Robot Collaborative Manipulations of Cylindrical and Cubic Objects via Geometric Primitives and Depth Information | |
| JP5736978B2 (ja) | 物品認識装置、物品認識システム、プログラムおよび物品認識方法 | |
| Raghuvanshi et al. | Automated monocular vision based system for picking textureless objects | |
| JP2023170315A (ja) | ワークの位置姿勢を認識する方法、システム、及び、コンピュータープログラム | |
| JPH0991425A (ja) | 画像処理装置 | |
| CN117383109A (zh) | 物体夹持顺序确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060131 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |