JP6372198B2 - ロボットシステム及び処理装置 - Google Patents
ロボットシステム及び処理装置 Download PDFInfo
- Publication number
- JP6372198B2 JP6372198B2 JP2014136314A JP2014136314A JP6372198B2 JP 6372198 B2 JP6372198 B2 JP 6372198B2 JP 2014136314 A JP2014136314 A JP 2014136314A JP 2014136314 A JP2014136314 A JP 2014136314A JP 6372198 B2 JP6372198 B2 JP 6372198B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- feature
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
例えば、特許文献1に記載の画像処理装置は、予め登録された登録画像に対応するパターンモデルを用いて、サーチ対象画像中から該登録画像に類似するサーチ対象物をサーチして位置決めを行う。また、モデルの生成において、予め複数の対象物を撮像して撮像画像を取得しておき、複数のうちの任意の1つの対象物の画像を選択していた。選択した1つの対象物の画像がモデルとして、パターンマッチング処理に用いられることがある。
(1)影の映り方の変化: 立体形状を有する物体に光が当たると、物体によって光が遮蔽される部分である影が、その物体の周辺に生じる。そのため、影の映り方は、光源(例えば、照明、環境光、等)の変化、光源と物体との位置・姿勢関係の変化に応じて変化する。光源が変化しない場合であっても、撮影装置の視野内に置かれた物体の位置・姿勢の変化に応じて影の映り方が変化する。
(2)立体形状を有する物体の姿勢の変化: 撮影装置の視野内に置かれた物体は、立体形状を有するため、その姿勢に応じて平面的形状が異なる。また、物体の姿勢が同一であっても、視野内の位置の違いにより、見かけの輪郭の形状が異なる。特に、広角レンズを備える撮影装置では、光軸上に置かれた物体と、視野の周辺部に置かれた同一の立体形状を有する物体との間で、その形状の差異が明確に表れる。
(3)物体のテクスチャの変化、物体表面の反射によるテクスチャの変化: 物体の表面に表されたテクスチャ(模様)は、その部位に応じて撮像装置の視野内の位置が異なるため見かけ上変化する。また、光沢を有する物体では、到来した光が反射するために、光量や到来方向によっても模様が見かけ上変化する。また、例えば、食品の包装に付された賞味期限の印字のように、同一の形状や大きさを有する物体であっても、その見かけが個々に異なる部分を有する場合もある。
(4)周辺の物体の存在: パターンマッチング処理では、モデルとして目標物を表す画像を登録する。その際、登録した領域(ウィンドウ)に目標物以外の別個の物体の画像が含まれることがある。
この構成によれば、第1画像と撮像条件が異なる第2画像とに基づいて生成されたモデルを用いて物体が検出される。そのため、撮像条件の差異による見かけの変化が生じる状況でも、確実に検出対象の物体を検出することができる。
この構成によれば、第1画像と第2画像との間で特徴が異なる領域が除外されることで、撮像条件の差異により特徴が変化しない領域間でマッチングがなされる。そのため、確実に検出対象の物体を検出することができる。
この構成によれば、画像の特徴として物体の輪郭や模様を表すエッジに基づいてマッチングがなされるので、検出対象の物体の位置や方向を効率よく検出することができる。
この構成によれば、第1画像と第2画像との間で位置もしくは姿勢の関係が一致しない場合でも、第1画像と第2画像との間で対応する領域間で特徴が異なるマスク領域を定めることができる。
この構成によれば、第1画像と第2画像との撮像条件の差異により位置関係がわずかに異なる場合でも、対応する領域間での特徴を比較することができるため、確実に検出対象の物体を検出することができる。
この構成によれば、画像データにおいて、画像特徴からマスク領域を除外した領域に対応する領域を定量的に特定することにより、画像特徴が表す物体と、その位置ならびに向きを検出することができる。
この構成によれば、画像データの特徴と、画像特徴からマスク領域を除外した領域の一致の度合いに基づいて、画像特徴に係る物体の検出の成否を定量的に判定することができる。
本発明の他の態様は、ロボットにより操作する一物体を複数の物体から検出する処理装置であって、撮像装置により撮像された前記複数の物体の画像を含む画像データを表示する表示部と、前記画像データから第1画像と第2画像とを選択する選択部と、前記第1画像と前記第2画像とに基づいてモデルを生成し、生成した前記モデルを用いて前記一物体を検出する処理部と、を含み、前記処理部は、前記第1画像、前記第2画像、及び前記画像データのそれぞれについて細分化した領域毎の特徴を抽出する特徴抽出部と、前記第1画像の特徴と前記第2画像の特徴のいずれかである画像特徴と、前記第1画像の特徴と前記第2画像の特徴とが異なるマスク領域とを含むモデルを生成するモデル統合部と、前記画像特徴から前記マスク領域を除外した領域と、前記画像データの特徴とをマッチングするマッチング部と、を含む、処理装置である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図1は、本実施形態に係るロボットシステム1の概略斜視図である。
図1に示すように、ロボットシステム1は、撮像装置10、画像処理装置21、ロボット制御装置23、及びロボット30を含んで構成される。なお、図1における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なっていることがある。
X方向、Y方向、Z方向は、三次元直交座標系を形成する互いに直交する三次元の方向である。図1では、X方向、Y方向、Z方向は、それぞれ左方、奥行方向、下方に示されている。
なお、ロボット30の自由度は6軸に限られず、7軸以上、又は5軸以下であってもよい。また、支持台30aは、壁や天井等、床面に対して固定された場所に設置されてもよい。
また、図1では、撮像装置10が、支持台30aが取り付けられている空間に固定されている場合を例にしたが、撮像装置10は、ロボット30のアーム部30b、その他の可動部に取り付けられていてもよい。
図2は、本実施形態に係る画像処理装置21の構成を示す概略ブロック図である。
画像処理装置21は、画像データ取得部211、操作入力部212、表示部213、データ入出力部214、データ記憶部215、及び制御部22を含んで構成される。画像データ取得部211、操作入力部212、表示部213、データ入出力部214、データ記憶部215、及び制御部22は、互いにデータを入出力できるようにバス(基線)Bにより接続されている。
操作入力部212は、例えば、キーボード、マウス、タッチセンサ、その他の入力デバイスを含んで構成されてもよい。但し、これらの入力デバイスは、画像処理装置21に内蔵されるものに代えて、データ入出力インターフェイス等によって接続された外付け型のものでもよい。
なお、表示部213は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)を含んで構成される。表示部213は、操作入力部212のタッチセンサと一体化したタッチパネルであってもよい。
なお、制御部22は、プログラムの動作開始時に操作画面データをデータ記憶部215から読み出し、読み出した操作画面データを表示部213に出力する。
なお、以下の説明では、抽出された画像データをモデル画像データ、モデル画像データが表す画像をモデル画像と呼ぶ。
なお、以下の説明では、生成されたモデル画像データのうち1つをベースモデル画像データと呼び、その他のモデル画像データを追加モデル画像データと呼ぶ。ベースモデル画像データは、モデル統合処理(後述)において基礎となるモデル画像データである。追加モデル画像データは、モデル統合処理(後述)において、統合の対象となるモデル画像データである。ベースモデル画像データを抽出した元の画像データと、追加モデル画像データを抽出した元の画像データとは同一であってもよいし、異なっていてもよい。ベースモデル画像データを抽出した元の画像データと、追加モデル画像データを抽出した元の画像データとが異なる場合であっても、ベースモデル画像データが表す物体と、追加モデル画像データが表す物体とは、少なくとも位置と姿勢のいずれかが異なり、同一の形状及び大きさを有していればよい。
特徴抽出部222は、対象画像データについても上述したエッジ抽出処理を行い、エッジマップを生成する。特徴抽出部222は、生成したエッジマップをデータ記憶部215に記憶する。
部223は、抽出したマスクを示すマスクデータを生成し、生成したマスクデータをベースモデルデータに追加して統合モデルデータを生成する。
モデル統合部223は、生成した統合モデルデータをデータ記憶部215に記憶する。
また、マッチング部224は、対象エッジマップが示すエッジ画素と、参照エッジに含まれるエッジ画素とが対応する画素数を、基点数で除算して得られる値をマッチングスコアとして用いてもよい。
検出情報取得部225は、生成した検出情報を、データ入出力部214を介してロボット制御装置23に出力する。
図3は、本実施形態に係る表示部213に表示される操作画面の例を示す図である。
図3に示す操作画面には、アイコンic1、ic2、テキストボックスtb1、tb2、ボタンbt1、bt2、及び表示画像im1が含まれている。
その後、制御部22は、新たな領域の指定(新規モデルのティーチ)の指示ボタン1(図示せず)、指定された領域に係るモデル画像データについてのモデル統合処理(サンプルの追加)の指示ボタン2(図示せず)を、操作画面内に表示させる。
指示ボタン2の押下に応じて、特徴抽出部222は、ベースモデル画像データに基づいてベースモデルデータを生成し、追加モデル画像データに基づいて追加モデルデータを生成する。そして、モデル統合部223は、ベースモデルデータと追加モデルデータについてモデル統合処理を行う。
図4は、本実施形態に係るモデル統合部223の機能を示す概念図である。
モデル統合部223は、ベースモデルデータBMと追加モデルデータAMを取得し、取得したベースモデルデータBMと追加モデルデータAMについてモデル統合処理を行って統合モデルデータIMを生成する。生成した統合モデルデータIMは、物体検出処理(後述)で用いられる。
図5は、モデルデータMDの構成例を示す図である。
モデルデータMDは、モデル画像データ、エッジマップ、及びマスクデータを含んで構成される。この構成は、ベースモデルデータBMと追加モデルデータAMとの間で共通である。
モデル画像データは、選択部221で指示された領域内の画素毎の輝度値を示すデータである。エッジマップは、特徴抽出部222がモデル画像データから抽出したエッジの領域を示すデータである。エッジマップは、画素毎にその画素がエッジ画素であるか否かを示す信号値を有するデータである。例えば、エッジ画素については、信号値は1であり、非エッジ画素については、信号値は0である。
なお、本明細書では、特に断らない限りマスクとは、内部マスクを意味する。
図6は、本実施形態に係るモデル統合処理を示す概念図である。
モデル統合処理は、マスク生成処理(ステップS11)、マッピング処理(ステップS12)、及び論理和(OR)処理(ステップS13)を含む。
なお、ベースモデルデータBMに係る画像データが示す物体と、追加モデルデータAMに係る画像データが示す物体との位置、姿勢関係が未知である場合には、モデル統合部223は、ベースモデルデータBMに係るエッジの領域、追加モデルデータAMに係るエッジの領域についてマッチング処理を行う。これにより、ベースモデルデータBMに係るエッジの領域、追加モデルデータAMに係るエッジの領域との位置及び姿勢を対応付け、両者間の位置、姿勢関係を示す座標変換係数を求める。このマッチング処理は、マッチング部224が行うマッチング処理と同様であってもよい。その後、ステップS12に進む。
図7は、本実施形態に係るマスク生成処理を示す概念図である。
マスク生成処理は、レジストレーション処理(ステップS111)、マッピング処理(ステップS112)、エッジ画素塗りつぶし処理(ステップS113)、膨張処理(ステップS114)、反転(NOT)処理(ステップS115)、エッジ画素塗りつぶし処理(ステップS116)及び論理積(AND)処理(ステップS117)を含む。
Eg3が示すエッジは、マッピング処理(ステップS112)によりEg6が示すエッジとの間で位置、姿勢関係が対応付けられ、いずれも左下から右上に分布している。但し、Eg3が示すエッジは、2つの部分に分断されているのに対し、Eg6が示すエッジは、1個の連続した領域である。ここで、Eg3には右端から第4列と左端から第3列に垂直方向に延在するエッジが示されているが、Eg6には左下端から第3列より上端から第3行の第7列にかけて分布する別の形状のエッジが示されている。
Eg7が示すマスクは、Eg6が示すエッジの領域と、Eg5が示す非エッジ領域とが重なった領域である。この領域は、Eg3において、Eg6との間のエッジの分断の有無やエッジの位置・形状の差異といった、モデルデータ間における物体の見かけ上の差異が生じている領域である。
図8は、モデルデータの例を示す図である。
図8(a)は、ベースモデルデータBMの例を示す図である。図8(a)は、ベースモデルデータBMに含まれている画像データが示す物体Wk1の画像に、エッジマップが示すエッジEg1を重ね合わせて表示されている。この例では、物体Wk1の外側の輪郭の大部分と、左下の突起部の輪郭のほぼ全体にエッジEg1が検出されている。
図9は、本実施形態に係るモデル生成処理を示すフローチャートである。
(ステップS201)選択部221は、操作入力部212からのモデル画像生成指示信号の入力に応じて、表示部213に表示されている画像に係る画像データから、操作入力により特定された領域内の画像を表すベースモデル画像データを取得する。その後、ステップS202に進む。
(ステップS202)特徴抽出部222は、選択部221が取得したベースモデル画像データについてエッジ抽出処理を行い、抽出したエッジを示すエッジマップを生成する。その後、ステップS203に進む。
(ステップS204)特徴抽出部222は、選択部221が取得した追加モデル画像データについてエッジ抽出処理を行い、抽出したエッジを示すエッジマップを生成する。その後、ステップS205に進む。
図10は、本実施形態に係る物体検出処理を示すフローチャートである。
(ステップS301)データ記憶部215には、撮像装置10から入力された対象画像データが逐次に記憶される。特徴抽出部222は、データ記憶部215から対象画像データを読み取ることにより取得する。その後、ステップS302に進む。
(ステップS302)特徴抽出部222は、取得した対象画像データについてエッジ抽出処理を行い、抽出したエッジを示す対象エッジマップを生成する。その後、ステップS303に進む。
(ステップS305)検出情報取得部225は、取得した検出情報を、データ入出力部214を介してロボット制御装置23に出力する。その後、図10に示す処理を終了する。
図11は、マッチングスコアの例を示す表である。
図11は、ロボット30による操作対象の物体毎のモデル追加前後のマッチングスコアを示す。図11に示すマッチングスコアは、物体検出処理(図10)において特許文献1に記載のスコア値の算出方法を用いて算出されたスコア値(最大値は、1000)である。モデル追加前とは、従来技術と同様に、ベース画像データのエッジマップが示すエッジをそのままマッチングに用いた場合を意味する。図11に示す例では、物体Wk2を表すモデル画像データから抽出されたエッジが用いられている。モデル追加後とは、本実施形態により生成された統合モデルデータに含まれるエッジマップが示すエッジからマスクを除いて得られた参照エッジをマッチングに用いた場合を意味する。図11に示す例では、物体Wk1を表すベース画像データと物体Wk2を表す追加画像データに基づいて生成された統合モデルデータが用いられている。
なお、物体Wk2については、モデル追加後のマッチングスコアが996となり、モデル追加前のマッチングスコアの994からの増加量が少ない。これは、検出対象の物体Wk2と同一の条件で撮像された物体Wk2を表す画像データに基づくベースモデルデータが、マッチング処理で用いられていることによる。
そこで、マッチングスコアの低下を防ぐために、対象物の見かけ上の形状の変動部分をユーザーが特定し、その部分を手作業でマスクし、目標物の形状とのマッチングは、マスクした部分を除いて行うことも考えられる。
この構成によれば、第1画像と撮像条件が異なる第2画像とに基づいて生成されたモデルを用いて物体が検出される。そのため、撮像条件の差異による見かけの変化が生じる状況でも、確実に検出対象の物体を検出することができる。
この構成によれば、第1画像と第2画像との間で特徴が異なる領域が除外されることで、撮像条件の差異により特徴が変化しない領域間でマッチングがなされる。そのため、確実に検出対象の物体を検出することができる。
この構成によれば、画像の特徴として物体の輪郭や模様を表すエッジに基づいてマッチングがなされるので、検出対象の物体の位置や方向を効率よく検出することができる。
この構成によれば、第1画像と第2画像との間で位置もしくは姿勢の関係が一致しない場合でも、第1画像と第2画像との間で対応する領域間で特徴が異なるマスク領域を定めることができる。
この構成によれば、第1画像と第2画像との撮像条件の差異により位置関係がわずかに異なる場合でも、対応する領域間での特徴を比較することができるため、確実に検出対象の物体を検出することができる。
この構成によれば、対象画像データにおいて、画像特徴からマスク領域を除外した領域に対応する領域を定量的に特定することにより、画像特徴が表す物体と、その位置ならびに向きを検出することができる。
この構成によれば、画像データの特徴と、画像特徴からマスク領域を除外した領域の一致の度合いに基づいて、画像特徴に係る物体の検出の成否を定量的に判定することができる。
画像処理装置21は、上述したようにロボット制御装置23と別体であってよいし、一体に構成されていてもよい。
ロボット制御装置23は、上述したようにロボット30と別体であってよいし、一体に構成されていてもよい。
また、撮像装置10、画像処理装置21、ロボット制御装置23、及びロボット30の全てが一体に構成されていてもよい。
また、マッチング部224は、統合モデルデータから抽出したエッジマップが示すエッジから、少なくとも内部マスクの部分とユーザーマスクの部分のいずれかに属する部分を除外して参照エッジを特定し、対象エッジマップが示すエッジと参照エッジとの間でマッチング処理を行ってもよい。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (7)
- 複数の物体から一物体を検出する処理装置と、
検出された前記一物体を操作するロボットと、を含み、
前記処理装置は、
撮像装置により撮像された前記複数の物体の画像を含む画像データを表示する表示部と、
前記画像データから第1画像と第2画像とを選択する選択部と、
前記第1画像と前記第2画像とに基づいてモデルを生成し、生成した前記モデルを用いて前記一物体を検出する処理部と、
を含み、
前記処理部は、
前記第1画像、前記第2画像、及び前記画像データのそれぞれについて細分化した領域毎の特徴を抽出する特徴抽出部と、
前記第1画像の特徴と前記第2画像の特徴のいずれかである画像特徴と、前記第1画像の特徴と前記第2画像の特徴とが異なるマスク領域とを含むモデルを生成するモデル統合部と、
前記画像特徴から前記マスク領域を除外した領域と、前記画像データの特徴とをマッチングするマッチング部と、
を含む、
ロボットシステム。 - 前記特徴抽出部は、前記第1画像、前記第2画像、及び前記画像データのそれぞれについてエッジを抽出する請求項1に記載のロボットシステム。
- 前記モデル統合部は、前記第1画像の特徴と前記第2画像の特徴との位置ならびに姿勢の関係を対応付け、前記マスク領域を定める請求項1又は請求項2に記載のロボットシステム。
- 前記モデル統合部は、前記第1画像の特徴と前記第2画像の特徴の少なくともいずれかについて膨張処理を行い、前記第1画像の特徴と前記第2画像の特徴とが異なるマスク領域を定める請求項1から請求項3のいずれか一項に記載のロボットシステム。
- 前記マッチング部は、前記画像特徴から前記マスク領域を除外した領域について位置ならびに向きを変化させた領域と、前記画像データの特徴との一致の度合いを示すスコアを前記位置ならびに向きの変化量毎に算出し、前記スコアに基づいて前記一物体の位置ならびに向きを検出する請求項1から請求項4のいずれか一項に記載のロボットシステム。
- 前記処理装置は、
前記マッチング部が算出したスコアに基づいて前記一物体を検出したか否かを判定する検出部、
を備える請求項5に記載のロボットシステム。 - ロボットにより操作する一物体を複数の物体から検出する処理装置であって、
撮像装置により撮像された前記複数の物体の画像を含む画像データを表示する表示部と、
前記画像データから第1画像と第2画像とを選択する選択部と、
前記第1画像と前記第2画像とに基づいてモデルを生成し、生成した前記モデルを用いて前記一物体を検出する処理部と、
を含み、
前記処理部は、
前記第1画像、前記第2画像、及び前記画像データのそれぞれについて細分化した領域毎の特徴を抽出する特徴抽出部と、
前記第1画像の特徴と前記第2画像の特徴のいずれかである画像特徴と、前記第1画像の特徴と前記第2画像の特徴とが異なるマスク領域とを含むモデルを生成するモデル統合部と、
前記画像特徴から前記マスク領域を除外した領域と、前記画像データの特徴とをマッチングするマッチング部と、
を含む、
処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014136314A JP6372198B2 (ja) | 2014-07-01 | 2014-07-01 | ロボットシステム及び処理装置 |
CN201510315616.2A CN105279514B (zh) | 2014-07-01 | 2015-06-10 | 机器人*** |
US14/747,189 US9595095B2 (en) | 2014-07-01 | 2015-06-23 | Robot system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014136314A JP6372198B2 (ja) | 2014-07-01 | 2014-07-01 | ロボットシステム及び処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016014994A JP2016014994A (ja) | 2016-01-28 |
JP6372198B2 true JP6372198B2 (ja) | 2018-08-15 |
Family
ID=55017323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014136314A Active JP6372198B2 (ja) | 2014-07-01 | 2014-07-01 | ロボットシステム及び処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9595095B2 (ja) |
JP (1) | JP6372198B2 (ja) |
CN (1) | CN105279514B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6632208B2 (ja) * | 2015-03-24 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP6348093B2 (ja) * | 2015-11-06 | 2018-06-27 | ファナック株式会社 | 入力データから検出対象物の像を検出する画像処理装置および方法 |
JP6333871B2 (ja) | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
US11636382B1 (en) * | 2018-08-10 | 2023-04-25 | Textron Innovations, Inc. | Robotic self programming visual inspection |
JP7171407B2 (ja) * | 2018-12-12 | 2022-11-15 | 株式会社日立製作所 | 情報処理装置、生産指示支援方法 |
US11826919B2 (en) * | 2019-01-30 | 2023-11-28 | Fuji Corporation | Work coordinate generation device |
CN113538576A (zh) * | 2021-05-28 | 2021-10-22 | 中国科学院自动化研究所 | 基于双臂机器人的抓取方法、装置及双臂机器人 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1693783B1 (en) * | 2005-02-21 | 2009-02-11 | Mitsubishi Electric Information Technology Centre Europe B.V. | Fast method of object detection by statistical template matching |
JP4847356B2 (ja) * | 2007-01-29 | 2011-12-28 | 株式会社日立製作所 | テンプレートマッチング装置及び方法 |
JP4978346B2 (ja) * | 2007-07-06 | 2012-07-18 | 日産自動車株式会社 | 基準モデル作成方法および基準モデル作成装置 |
JP2010097436A (ja) | 2008-10-16 | 2010-04-30 | Keyence Corp | 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
JP5331721B2 (ja) * | 2010-02-02 | 2013-10-30 | アズビル株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
FI20106090A0 (fi) * | 2010-10-21 | 2010-10-21 | Zenrobotics Oy | Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä |
US8165403B1 (en) * | 2010-11-19 | 2012-04-24 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of specular objects |
KR101522804B1 (ko) * | 2011-01-26 | 2015-05-26 | 가부시키가이샤 히다치 하이테크놀로지즈 | 패턴 매칭 장치 및 기록 매체 |
JP5895569B2 (ja) * | 2012-02-08 | 2016-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP5949242B2 (ja) * | 2012-07-11 | 2016-07-06 | セイコーエプソン株式会社 | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
-
2014
- 2014-07-01 JP JP2014136314A patent/JP6372198B2/ja active Active
-
2015
- 2015-06-10 CN CN201510315616.2A patent/CN105279514B/zh active Active
- 2015-06-23 US US14/747,189 patent/US9595095B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN105279514B (zh) | 2019-08-02 |
US20160005161A1 (en) | 2016-01-07 |
CN105279514A (zh) | 2016-01-27 |
US9595095B2 (en) | 2017-03-14 |
JP2016014994A (ja) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6372198B2 (ja) | ロボットシステム及び処理装置 | |
US9002119B2 (en) | Device method and program for human hand posture estimation | |
JP7071054B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN113696186B (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP5810562B2 (ja) | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 | |
US9616569B2 (en) | Method for calibrating an articulated end effector employing a remote digital camera | |
US8447097B2 (en) | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement | |
US10306149B2 (en) | Image processing apparatus, robot system, robot, and image processing method | |
CN111844019B (zh) | 一种机器抓取位置确定方法、设备、电子设备和存储介质 | |
US10572762B2 (en) | Image processing method for performing pattern matching for detecting a position of a detection target | |
JP2010211746A (ja) | 3次元認識結果の表示方法および3次元視覚センサ | |
JP6406900B2 (ja) | 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法 | |
US9008442B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2012091144A4 (en) | Information processing apparatus and method | |
JP2008108008A (ja) | 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体 | |
JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
US11590657B2 (en) | Image processing device, control method thereof, and program storage medium | |
JP6326765B2 (ja) | 教示装置、ロボット、ロボットシステム、方法、及びプログラム | |
JP7261306B2 (ja) | 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法 | |
EP2793172A1 (en) | Image processing apparatus, image processing method and program | |
US10562187B2 (en) | Robot, robot control device, and robot system | |
EP4075391A1 (en) | Apparatus and method for generating virtual model | |
JP6425405B2 (ja) | 情報処理装置、方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6372198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |