JP2018136896A - 情報処理装置、システム、情報処理方法、および物品の製造方法 - Google Patents

情報処理装置、システム、情報処理方法、および物品の製造方法 Download PDF

Info

Publication number
JP2018136896A
JP2018136896A JP2017032867A JP2017032867A JP2018136896A JP 2018136896 A JP2018136896 A JP 2018136896A JP 2017032867 A JP2017032867 A JP 2017032867A JP 2017032867 A JP2017032867 A JP 2017032867A JP 2018136896 A JP2018136896 A JP 2018136896A
Authority
JP
Japan
Prior art keywords
pixel
information processing
difference
distance
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2017032867A
Other languages
English (en)
Inventor
裕人 吉井
Hiroto Yoshii
裕人 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017032867A priority Critical patent/JP2018136896A/ja
Priority to US15/900,976 priority patent/US20180247150A1/en
Priority to EP18000177.8A priority patent/EP3367332A1/en
Priority to CN201810155245.XA priority patent/CN108510515A/zh
Publication of JP2018136896A publication Critical patent/JP2018136896A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector
    • Y10S901/31Gripping jaw
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像に対する輪郭抽出に有利な技術を提供する。【解決手段】物体Wを撮像して得られた、基準位置からの距離の情報を各画素が有する距離画像に基づいて、物体Wの認識を行う情報処理装置50であって、距離画像に対して輪郭抽出処理を行う処理部52を有し、処理部52は、距離画像の一の画素について、一の画素に対応する距離と一の画素の周辺にある複数の周辺画素それぞれに対応する距離との相違のうち閾値以上の相違に基づいて、輪郭抽出処理を行う。【選択図】図1

Description

本発明は、情報処理装置、システム、情報処理方法、および物品の製造方法に関する。
均一光を投影された物体の撮像画像(以下、濃淡画像という)、およびパターン光を投影された物体の撮像画像等から得られた距離情報を有する画像(以下、距離画像という)を用いて物体の認識を非接触に行う計測装置(情報処理装置)がある。物体の認識には、物体の配置(例えば、位置および姿勢のうち少なくとも一方)を認識することが含まれる。このような計測装置は、濃淡画像から抽出した物体の輪郭を用いて物体を認識しうる。輪郭抽出の精度は、濃淡画像のコントラスト、物体の撮像方向等に依存する。特許文献1は、コントラストの低い画像から輪郭を抽出する画像処理装置を開示している。
特開2016−038654号公報
しかし、特許文献1の画像処理装置は、例えば、計測対象が互いに重なり合った薄い平板であるような場合における距離画像に適用しても、輪郭での段差(距離変化)がわずかであると、ノイズ等の影響により、輪郭を精度よく抽出するのが困難となりうる。
本発明は、例えば、画像に対する輪郭抽出に有利な技術を提供することを目的とする。
上記課題を解決するために、本発明は、物体を撮像して得られた、基準位置からの距離の情報を各画素が有する距離画像に基づいて、物体の認識を行う情報処理装置であって、距離画像に対して輪郭抽出処理を行う処理部を有し、処理部は、距離画像の一の画素について、一の画素に対応する距離と一の画素の周辺にある複数の周辺画素それぞれに対応する距離との相違のうち閾値以上の相違に基づいて、輪郭抽出処理を行うことを特徴とする。
本発明によれば、例えば、画像に対する輪郭抽出に有利な技術を提供することができる。
第1実施形態に係る情報処理装置を有する計測装置の構成を示す概略図である。 物体の輪郭を検出する工程を示すフローチャートである。 輪郭が検出される撮像画像の模式図である。 撮像部の光軸上の所定座標を基準座標とする基準座標系と物体の主平面の法線方向との関係を示す図である。 第2実施形態に係る輪郭抽出処理を示すフローチャートである。 第3実施形態に係る輪郭抽出処理を示すフローチャートである。 法線方向の候補の許容範囲を設定するユーザインタフェースの一例を示す図である。 第4実施形態に係る輪郭抽出処理を示すフローチャートである。 傾斜角度の候補の設定例を示す図である。 傾斜角度の候補の別の設定例を示す図である。 第1実施形態〜第4実施形態を適用可能な情報処理装置の構成を示すブロック図である。 計測装置が備え付けられた把持装置を含む制御システムを示す図である。
以下、本発明を実施するための形態について図面などを参照して説明する。
(第1実施形態)
図1は、第1実施形態に係る情報処理装置を有する計測装置1の構成を示す概略図である。計測装置1は、物体Wの形状を計測し、計測結果に基づいて物体Wの認識(物体の配置(例えば、位置および姿勢のうち少なくとも一方)の認識)を行う。本実施形態では、物体Wを薄い平板とし、複数の物体Wが互いに重なっている状態で計測装置1が計測を行う。
計測装置1は、投影部20および撮像部30を含む計測ヘッドと、制御部40と、情報処理装置50と、を有する。投影部20は、物体Wに光を投影する。投影部20が投影する光は、距離画像を得るための縞パターン光、濃淡画像を得るための均一光を含む。縞パターン光の代わりにスリット光を用いてもよい。撮像部30は、光が投影された物体Wを撮像する。制御部40は、投影部20および撮像部30の動作を制御する。情報処理装置50は、例えば、CPU、メモリなどを含み、撮像部30が取得した撮像画像から、物体Wの位置および姿勢を求める。
情報処理装置50は、距離算出部51と、処理部52と、位置姿勢算出部53と、を有する。距離算出部51は、撮像部30が取得した縞パターン光が投影された物体Wの撮像画像から、撮像部30の光軸上の所定位置(以下、基準位置という)から物体Wまでの距離を示す距離情報を算出する。距離情報は、撮像画像の画素(ピクセル)ごとに算出される。処理部52は、距離算出部51が算出した距離情報をもとに物体Wの輪郭を抽出(検出)する輪郭抽出処理を行う。また、処理部52は、撮像部30が取得した均一光が投影された物体Wの撮像画像からも物体Wの輪郭を検出する。位置姿勢算出部53は、距離算出部51が算出した距離情報、処理部52が検出した輪郭情報、および物体Wの3D−CADモデルを用いて、物体Wの配置(例えば、位置および姿勢)を求める。
図2は、処理部52により物体Wの輪郭を検出する工程を示すフローチャートである。図3は、処理部52が輪郭を抽出する撮像画像の模式図である。図3の撮像画像301は、8×16の128ピクセルで構成される。処理部52は、各ピクセルが有する距離情報を処理して、各ピクセルについて、輪郭の抽出に用いる評価値を決定する。
S101は、ピクセルの処理ループの始端である。S109は、ピクセルの処理ループの終端である。処理対象のピクセルのそれぞれについて、処理部52は、S101からS109までの工程を繰り返す。
S102で処理部52は、処理対象のピクセルのうち、一のピクセルの評価値を初期化する。S103は、一のピクセルが有する距離情報と当該一のピクセルを中心とする所定の範囲に含まれる近傍ピクセル(以下、周辺画素ともいう)が有する距離情報との差分(相違)を算出する処理ループの始端である。S107は、差分算出処理ループの終端である。
図3を用いて、S101からS109までの工程を繰り返す回数、S103からS107までの工程を繰り返す回数について説明する。図3において、S102で評価値が初期化されるピクセルを第1ピクセル302とする。第1ピクセル302は、S101からS109までの工程を繰り返す対象となる処理対象ピクセル304のうち、最初に処理されるピクセルである。第1ピクセル302を中心とする所定の範囲を範囲303とする。範囲303は、第1ピクセル302を中心とする5×5の正方形の範囲である。第1ピクセル302と範囲303に含まれる各ピクセルとに関してS103からS107が繰り返される。
本実施形態では、処理対象ピクセル304のうち、いずれか1つのピクセルを処理する場合の当該ピクセルを中心とする5×5のピクセル範囲が撮像画像301を超えないように処理対象ピクセル304を決定する。すなわち、本実施形態では、処理対象ピクセル304に含まれるピクセル数は、4×12の48ピクセルである。
以上より、S101からS109までの工程を繰り返す回数は、4×12の48回、S103からS107までの工程を繰り返す回数は5×5の25回となる。なお、処理対象ピクセル304は、撮像画像301の全ピクセルでもよい。
また、近傍ピクセルを規定する所定の範囲は、範囲303のような正方形に限られない。例えば、処理するピクセルをピクセル305として、ピクセル305の近傍ピクセルを規定する所定の範囲を範囲306のような形状の範囲としてもよい。さらに、処理するピクセルを中心として一定の距離以内にある全ピクセルとしてもよい。なお、ここでいう距離は物理的な距離でもよいし、撮像画像上のピクセル間距離でもよい。
S104で処理部52は、第1ピクセル302が有する距離情報と、範囲303に含まれる一つのピクセルが有する距離情報との差分、すなわち距離差を算出する。なお、当該差分は、それに限らず、例えば、当該差分との相関のある、他の評価値を使用しうる。例えば、第1ピクセル302に対応する距離とその周辺にあるピクセルに対応する距離との間の相違または相違度を表す評価値(例えば、比)を使用しうる。S105で処理部52は、算出された差分が所定の閾値以上か否かを判断する。所定の閾値以上と判断された場合(Yes)は、S106で第1ピクセル302に対応する評価値に値を加算する。
加算する値は、所定の閾値より大きい差分をもつピクセルの数、所定の閾値より大きい差分をもつピクセルの所定の閾値を超えた差分量、所定の閾値より大きい差分をもつピクセルの所定の閾値を超えた差分量の総和などがある。S106の後、および、S105で所定の閾値より小さいと判断された場合(No)は、範囲303に含まれる別のピクセルについてS104を実行する。範囲303に含まれる全ピクセルについて処理が完了したら、S108に進む。
S108では、必要に応じて、処理部52は、評価値を正規化する。処理対象のピクセルにおいて、近傍ピクセルの数が同じである場合は、評価値の正規化は不要である。処理対象のピクセルにおいて、近傍ピクセルの数が異なる場合は、例えば、S107までで得られた評価値を近傍ピクセルの数で割ることで正規化する。また、近傍ピクセルの範囲において、処理対象のピクセルに近い近傍ピクセルについての差分の重みを大きく、遠い近傍ピクセルについての差分の重みを小さくする正規化を行ってもよい。
S108の後、第1ピクセル302とは異なるピクセルについて評価値を算出する。処理対象ピクセル304のすべてについて評価値の算出が完了すると、第1ピクセルの評価値、第1ピクセルの評価値とは異なるピクセルの評価値、というように処理対象ピクセル304のそれぞれに対応した評価値が得られる。評価値としてピクセル個数を用いる場合は、0〜24のいずれかの数が処理対象ピクセル304のそれぞれに対応した評価値となる。処理部52は、評価値に基づいて物体Wの輪郭を検出する。
輪郭がある位置では、差分、すなわち距離差が大きくなるため、評価値が大きくなるピクセル位置が輪郭の位置となる。距離差は、段差を意味し、S105の所定の閾値を調整することで検出可能な段差の大きさを決定することができる。所定の閾値を小さくするほど、微細な段差を検出できる。
以上の通り、本実施形態の検出方法によれば、段差が小さい、重なり合った薄い平板の撮像画像に対する輪郭抽出に有利な検出方法を提供することができる。また、従来の輪郭検出方法では、輝度を基準としていたのに対し、本実施形態では、距離情報を基準としているため、物理的な距離に即した段差を明示的に評価することができる。
(第2実施形態)
第1実施形態では、撮像部30の光軸と物体Wの主平面の法線方向とが平行であると仮定していた。しかしながら、一般的に撮像部30の光軸と物体Wの主平面の法線方向とが平行となるとは限らない。図4は、撮像部30の光軸上の所定座標(所定位置)を基準座標(基準位置)とする基準座標系と物体Wの主平面の法線方向との関係を示す図である。物体Wは薄い平板であり、載置面Sにばらばらに重なって配置されている。物体Wの主平面の法線方向は、代表法線ベクトルNとする。代表法線ベクトルNは、載置面Sの法線方向としてもよく、複数の平板全体の平面推定結果に基づいて求めた法線方向としてもよい。
撮像部30の基準座標系300のZ軸は、代表法線ベクトルNと平行とならない。本実施形態に係る輪郭抽出処理によれば、このような場合にも物体Wの輪郭を検出できる。図5は、本実施形態に係る輪郭抽出処理を示すフローチャートである。本実施形態では、基準座標系に基づく距離画像を、代表法線ベクトルNの上の基準位置からの距離の情報を各画素が有する第2距離画像に変換して、第2距離画像に対して輪郭抽出処理を行う。第1実施形態と共通の工程には同じ符号を付して説明は省略する。
本実施形態では、S101の前に、S201で処理部52が代表法線ベクトルNを決定する。代表法線ベクトルNは、基準座標系300に基づいて(a、b、c)と表現される。S103とS104との間で処理部52は、基準座標系300を基準とする近傍ピクセルの距離情報を、代表法線ベクトルNを基準とした距離情報に変換する(S202)。
具体的には、まず、基準座標系300を基準とした第1ピクセル302の位置を原点(0、0、0)に移動する。次に、第1ピクセル302から見た近傍ピクセルの相対座標を(x、y、z)とした場合、それを(x、y、ax+by+cz)へ変換する。その結果、第1ピクセルの距離値は0、近傍ピクセルの距離値は、ax+by+czとなる。差分は、は|ax+by+cz|となる。
この計算の物理的な意味は、代表法線ベクトルNが第1ピクセル302を通る平面を想定し、当該平面から近傍ピクセルの各点までの距離を計算する、という意味となる。そして、輪郭の検出のためには、奥行き方向(z方向)の差分が重要なので、この計算における平面はどのように平行移動させてもよい。
なお、S201における代表法線ベクトルNの決定方法は、例えば、予め距離画像の全画素の距離情報を使って平面フィッティングすることで求めても良い。また、ユーザがあらかじめ載置面Sの方向を明示的に指定することで決定してもよい。また、物体Wが設置される容器・箱の位置・姿勢を元に予め決定してもよい。
本実施形態の検出方法によれば、真に段差のある部分だけの評価値が高くなるため、輪郭の検出精度に対する物体Wの配置状況の影響を抑えることができる。
(第3実施形態)
第2実施形態では、1つの代表法線ベクトルNを決定し、距離情報を、当該代表法線ベクトルNを基準とした距離情報に変換していた。しかしながら、S105における所定の閾値を極めて小さくした場合、すなわち、薄い平板の輪郭を検出する場合、第2実施形態では輪郭の誤検出が起きる場合がありうる。これは、1つの代表法線ベクトルNと物体Wの法線方向とのずれが大きくなるためである。
本実施形態に係る輪郭抽出処理によれば、このような場合にも物体Wの輪郭を検出できる。図6は、本実施形態に係る輪郭抽出処理を示すフローチャートである。第1実施形態または第2実施形態と共通の工程には同じ符号を付して説明は省略する。
本実施形態では、S201とS101との間において、S301で処理部52が物体Wの法線の方向に対する許容範囲を設定する。図7は法線方向の候補の許容範囲を設定するユーザインタフェース(インタフェース)の一例を示す図である。入力ボックス701にユーザが許容する角度を数値で入力する。入力ボックス701に20という数字が入力されたとすると、図4の物体Wの法線方向と代表法線ベクトルNとのなす角度が20度以内なら物体Wの法線方向を、距離情報を変換するための基準方向として許容することを意味する。
その他の決定方法としては、情報処理装置50に保存された設定ファイルに許容角度が記載されており、それを読み込むことで決定する方法がある。また、実際の物体Wの主平面の分布を測定することで許容角度を決定してもよい。また、コンピュータグラフィックスを用いて物体Wの物理的な配置をシミュレーションすることで許容角度を決定してもよい。
S302で処理部52は、第1ピクセル302の評価値を求める前に、S301で設定された候補範囲において第1ピクセル302の法線方向を推定する。具体的には、第1ピクセル302の近傍ピクセルの距離情報を用いて平面フィッティングを実施することで、第1ピクセル302の法線、つまり第1ピクセル302を含む局所的な平面の方向を推定する。ここで平面フィッティングの計算に用いる近傍ピクセルはS103以降の近傍ピクセルと同じ集合でもよい。また、S103で用いる近傍ピクセル範囲とは異なる大きさ、異なる形の範囲を用いても良い。
S302における法線方向の推定方法としては、上記の方法に限られない。例えば、S301で設定された候補範囲を考慮せず推定したベクトルと代表法線ベクトルNの2つのベクトルを含む平面上にあり、代表法線ベクトルNとのなす角がS301で設定された候補範囲に入るベクトルを求める方法である。
他には、S301で設定された候補範囲にあるランダムなベクトルを複数生成しておき、第1ピクセル302と近傍ピクセルを結ぶベクトルとの内積の絶対値の総和が最も小さいベクトルを選ぶ、という方法も用いうる。
S302で第1ピクセル302に対応する法線が決定された後、S303で処理部52は、当該法線ベクトルを用いて近傍ピクセルの距離情報を変換する。第2実施形態のS202では代表法線ベクトルNを基準とした距離情報に変換していたが、本実施形態では、第1ピクセル302に対応する法線ベクトルを基準とした距離情報に変換する。
以上の通り、本実施形態では、代表法線ベクトルNに対する物体Wの傾斜角度を所定の範囲内で設定し、処理対象のピクセルごとに法線方向を決定するため、複数の物体Wの全体を1つの代表法線ベクトルNで近似できない場合にも輪郭を精度よく検出しうる。
(第4実施形態)
本実施形態も、複数の物体Wの全体を1つの代表法線ベクトルNで近似できない場合に対応する。本実施形態では、物体Wがとりうる法線方向の集合(複数の候補)を用意し、当該集合に含まれる法線方向ごとに評価値を算出し、最も低い評価値となる法線方向を距離情報の変換基準として選択する。
図8は、本実施形態に係る検出方法を示すフローチャートである。第1実施形態または第2実施形態と共通の工程には同じ符号を付して説明は省略する。
本実施形態では、S201とS101との間において、S401で処理部52が代表法線ベクトルNに対する物体Wの傾斜角度の候補を複数設定する。図9および10は、傾斜角度の候補の設定例を示す図である。図9では、代表法線ベクトルNを中心として等間隔に6つの法線の候補を設定する例で、図10は、代表法線ベクトルNを中心として範囲R内にランダムに6つの法線の候補を設定する例である。
図9において、各法線の候補と代表法線ベクトルNとのなす角は、例えば図7のようなユーザインタフェースを用いて予めユーザが指定してもよい。図10における範囲Rも、ユーザインタフェースを用いて予めユーザが指定してもよい。なお、物体Wがとりうる法線方向の集合は、代表法線ベクトルNも含む。
S402は、法線候補の処理ループの始端である。S404は、法線候補の処理ループの終端である。図9のように法線の候補を設定する場合、ループの繰り返し回数は、6候補+代表法線ベクトルNの合計7回である。
S403で、処理部52は、法線の候補を基準としてピクセルの距離情報を変換する。S405で、処理部52は、法線の候補ごとに得られた評価値のうち、最も小さい値を物体Wの輪郭検出に用いる評価値として選択する。法線の候補ごとに得られた評価値は、S108またはS107の後、情報処理装置50内のメモリに保存されうる。S405で、処理部52は、メモリから評価値を読み出して最小値を選択する。
以上の通り、本実施形態では、個々の物体Wの姿勢が微妙に変化した場合でも、輪郭を精度良く検出しうる。また、例えば、物体Wの表面の平坦な部分に系統的な“うねり”が生じるような距離情報に対しても、その“うねり”をキャンセルした評価値が得られるという効果もある。
図11は、上記実施形態を適用可能な情報処理装置200の構成を示すブロック図である。情報処理装置200は、例えば、パーソナルコンピュータを用いうる。その他情報処理装置として、組み込みデバイスや、ネットワークを介した分散システムなどがある。
情報処理装置200は、CPU201、ROM202、RAM203、2次記憶装置204および、バス205を有する。CPU201は、輪郭検出方法のプログラムの実行や、すべての装置の制御を行う。ROM202は、不揮発性のメモリで情報処理装置200を初期動作させる際に必要なプログラムを保持する。
RAM203および2次記憶装置204は、CPU201が使用するプログラム210を記録する。なお、このプログラム210は、OS211、アプリケーション212、モジュール213、およびデータ214から構成される。情報処理装置200を構成するCPU201、ROM202、RAM203および、2次記憶装置204はバス205を通して情報をやり取りする。情報処理装置200は、バス205を介して、ディスプレイ206、キーボード207、マウス208およびI/Oデバイス209とつながる。
ディスプレイ206は、ユーザに処理結果や処理の途中経過等の情報を表示するのに用いる。キーボード207およびマウス208は、ユーザからの指示を入力するのに用いられ、特にマウス208は2次元や3次元の位置関係を入力するのに用いる。I/Oデバイス209は、新規データや登録用データを取り込むのに用いる。I/Oデバイス209として計測装置1を用いうる。
制御部40の変わりにCPU201が投影部20および撮像部30の動作を制御してもよい。また、CPU201が情報処理装置50を兼ねてもよい。I/Oデバイス209は、情報処理結果を他の情報処理装置へ出力することもある。出力先としては例えばロボットを制御する装置などの場合が有り得る。
(物品製造方法に係る実施形態)
上述の計測装置1は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図12のようにロボットアーム400(把持装置)に備え付けられて使用される制御システムについて説明する。計測装置1は、支持台Tに置かれた物体Wにパターン光を投影して撮像し、画像を取得する。そして、計測装置1の制御部(図示せず)が、又は、計測装置1の制御部(図示せず)から出力された画像データを取得したアーム制御部310が、物体Wの位置および姿勢を求め、求められた位置および姿勢の情報をアーム制御部310が取得する。アーム制御部310は、その位置および姿勢の情報(認識結果)に基づいて、ロボットアーム400に駆動指令を送ってロボットアーム400を制御する。ロボットアーム400は先端のロボットハンドなど(把持部)で物体Wを保持して、並進や回転などの移動をさせる。さらに、ロボットアーム400によって物体Wを他の部品に組み付ける(組立する)ことにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された物体Wを加工(処理)することにより、物品を製造することができる。アーム制御部310は、CPUなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部をアーム制御部310の外部に設けても良い。また、計測装置1により計測された計測データや得られた画像をディスプレイなどの表示部320に表示してもよい。
なお、距離情報が算出される画素には、他の算出結果から大きく外れる距離情報をもつ画素が含まれうる。この場合は、事前に当該距離情報を有する画素を除く処理を施した上で物体Wの輪郭を検出するフローを実施するとよい。
なお、上記実施形態では、距離情報を比較していたが、濃淡画像を元に輝度情報(画素値)を比較する場合にも上記実施形態は適用できる。また、距離画像を得るための投影パターンとしては、縞パターンに限られず、例えば、ランダムドットパターンやレーザースリット光を用いてもよい。
(その他の実施形態)
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。
1 計測装置
20 投影部
30 撮像部
40 制御部
50 情報処理装置
51 距離算出部
52 処理部
53 位置姿勢算出部

Claims (15)

  1. 物体を撮像して得られた、基準位置からの距離の情報を各画素が有する距離画像に基づいて、前記物体の認識を行う情報処理装置であって、
    前記距離画像に対して輪郭抽出処理を行う処理部を有し、
    前記処理部は、前記距離画像の一の画素について、前記一の画素に対応する前記距離と前記一の画素の周辺にある複数の周辺画素それぞれに対応する前記距離との相違のうち閾値以上の相違に基づいて、前記輪郭抽出処理を行うことを特徴とする情報処理装置。
  2. 前記処理部は、前記相違として差分を用いることを特徴とする請求項1に記載の情報処理装置。
  3. 前記処理部は、前記複数の周辺画素のうち前記閾値以上の相違を有する周辺画素の数に基づいて、前記輪郭抽出処理を行うことを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記処理部は、前記複数の周辺画素のうち前記閾値以上の相違を有する周辺画素の当該相違に基づいて、前記輪郭抽出処理を行うことを特徴とする請求項1または2に記載の情報処理装置。
  5. 前記処理部は、前記複数の周辺画素のうち前記閾値以上の相違を有する周辺画素の当該相違と前記閾値との相違の総和に基づいて、前記輪郭抽出処理を行うことを特徴とする請求項4に記載の情報処理装置。
  6. 前記処理部は、前記相違に重み付けを行うことを特徴とする請求項4または5に記載の情報処理装置。
  7. 前記処理部は、前記距離画像を、予め決められた前記物体の法線の上の基準位置からの距離の情報を各画素が有する第2距離画像に変換し、前記第2距離画像に対して輪郭抽出処理を行うことを特徴とする請求項1ないし6のうちいずれか1項に記載の情報処理装置。
  8. 前記処理部は、前記距離画像に基づいて前記法線を推定することを特徴とする請求項7に記載の情報処理装置。
  9. 前記処理部は、前記法線の方向に対する許容範囲に関する情報を入力されるためのインタフェースを提供する処理を行い、前記インタフェースを介して得られた前記許容範囲に基づいて前記法線を推定することを特徴とする請求項7または8に記載の情報処理装置。
  10. 前記処理部は、前記法線の複数の候補に基づいて前記法線を推定することを特徴とする請求項7または8に記載の情報処理装置。
  11. 輪郭抽出処理を画像に対して行う処理部を有する情報処理装置であって、
    前記処理部は、前記画像の一の画素について、前記一の画素に対応する画素値と前記一の画素の周辺にある複数の周辺画素それぞれに対応する画素値との相違のうち閾値以上の相違に基づいて、前記輪郭抽出処理を行うことを特徴とする情報処理装置。
  12. 請求項1乃至11のうちいずれか1項に記載の情報処理装置と、
    前記情報処理装置による前記物体の認識結果に基づいて、前記物体を保持して移動させるロボットと、
    を有することを特徴とするシステム。
  13. 物体を撮像して得られた、基準位置からの距離の情報を各画素が有する距離画像に基づいて、前記物体の認識を行う情報処理方法であって、
    前記距離画像の一の画素について、前記一の画素に対応する前記距離と前記一の画素の周辺にある複数の周辺画素それぞれに対応する前記距離との相違のうち閾値以上の相違に基づいて、輪郭抽出処理を行い、
    前記距離画像の複数の画素それぞれについての前記輪郭抽出処理の結果に基づいて、前記認識を行う、
    ことを特徴とする情報処理方法。
  14. 輪郭抽出処理を画像に対して行う情報処理方法であって、
    前記画像の一の画素について、前記一の画素に対応する画素値と前記一の画素の周辺にある複数の周辺画素それぞれに対応する画素値との相違のうち閾値以上の相違に基づいて、前記輪郭抽出処理を行うことを特徴とする情報処理方法。
  15. 物品の製造方法であって、
    請求項1乃至11のうちいずれか1項に記載の情報処理装置により認識を行われた物体の移動をロボットにより行い、
    前記移動を行われた前記物体の処理を行って前記物品を製造する、
    ことを特徴とする物品の製造方法。
JP2017032867A 2017-02-24 2017-02-24 情報処理装置、システム、情報処理方法、および物品の製造方法 Withdrawn JP2018136896A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017032867A JP2018136896A (ja) 2017-02-24 2017-02-24 情報処理装置、システム、情報処理方法、および物品の製造方法
US15/900,976 US20180247150A1 (en) 2017-02-24 2018-02-21 Information processing device, information processing method, and article manufacturing method
EP18000177.8A EP3367332A1 (en) 2017-02-24 2018-02-21 Information processing device, information processing method, and article manufacturing method
CN201810155245.XA CN108510515A (zh) 2017-02-24 2018-02-23 信息处理装置、信息处理方法、控制***和物品制造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017032867A JP2018136896A (ja) 2017-02-24 2017-02-24 情報処理装置、システム、情報処理方法、および物品の製造方法

Publications (1)

Publication Number Publication Date
JP2018136896A true JP2018136896A (ja) 2018-08-30

Family

ID=61626869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017032867A Withdrawn JP2018136896A (ja) 2017-02-24 2017-02-24 情報処理装置、システム、情報処理方法、および物品の製造方法

Country Status (4)

Country Link
US (1) US20180247150A1 (ja)
EP (1) EP3367332A1 (ja)
JP (1) JP2018136896A (ja)
CN (1) CN108510515A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184545A (ja) * 2018-04-17 2019-10-24 株式会社東芝 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
JP2020196117A (ja) * 2019-05-31 2020-12-10 株式会社Mujin エラー検出および動的パッキング機構を有するロボットシステム
US11077554B2 (en) 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
US11319166B2 (en) 2019-05-31 2022-05-03 Mujin, Inc. Robotic system with packing mechanism
US11472640B2 (en) 2019-05-31 2022-10-18 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US11488323B2 (en) 2019-05-31 2022-11-01 Mujin, Inc. Robotic system with dynamic packing mechanism
US11591168B2 (en) 2019-05-31 2023-02-28 Mujin, Inc. Robotic system for processing packages arriving out of sequence

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564014A (zh) * 2022-02-23 2022-05-31 杭州萤石软件有限公司 物体信息确定方法、移动机器人***及电子设备
CN115990896B (zh) * 2023-02-15 2023-06-23 浙江奥桑机械设备有限公司 一种基于图像识别的焊接机器人控制***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466260B2 (ja) * 2004-07-30 2010-05-26 パナソニック電工株式会社 画像処理装置
JP5236214B2 (ja) * 2007-06-11 2013-07-17 任天堂株式会社 画像処理プログラム
US8521418B2 (en) * 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
JP6030405B2 (ja) * 2012-10-25 2016-11-24 シャープ株式会社 平面検出装置およびそれを備えた自律移動装置
JP2014176923A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
CN105336005B (zh) * 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
JP6455011B2 (ja) 2014-08-06 2019-01-23 セイコーエプソン株式会社 画像処理装置、輪郭抽出方法及びプログラム
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的***和方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184545A (ja) * 2018-04-17 2019-10-24 株式会社東芝 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
JP7111497B2 (ja) 2018-04-17 2022-08-02 株式会社東芝 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
JP2020196117A (ja) * 2019-05-31 2020-12-10 株式会社Mujin エラー検出および動的パッキング機構を有するロボットシステム
US10953549B2 (en) 2019-05-31 2021-03-23 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism
US11077554B2 (en) 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
US11319166B2 (en) 2019-05-31 2022-05-03 Mujin, Inc. Robotic system with packing mechanism
US11472640B2 (en) 2019-05-31 2022-10-18 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US11488323B2 (en) 2019-05-31 2022-11-01 Mujin, Inc. Robotic system with dynamic packing mechanism
US11591168B2 (en) 2019-05-31 2023-02-28 Mujin, Inc. Robotic system for processing packages arriving out of sequence
US11794346B2 (en) 2019-05-31 2023-10-24 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism

Also Published As

Publication number Publication date
CN108510515A (zh) 2018-09-07
US20180247150A1 (en) 2018-08-30
EP3367332A1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
US11724400B2 (en) Information processing apparatus for determining interference between object and grasping unit, information processing method, and storage medium
US9495750B2 (en) Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object
JP5602392B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
EP2466543B1 (en) Position and orientation measurement device and position and orientation measurement method
JP5403861B2 (ja) 情報処理装置、情報処理方法
EP3766644B1 (en) Workpiece picking device and workpiece picking method
US9317735B2 (en) Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape
US11654571B2 (en) Three-dimensional data generation device and robot control system
KR20160003776A (ko) 자세 추정 방법 및 로봇
JP5480667B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
JP2017101946A (ja) 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2010071743A (ja) 物体検出方法と物体検出装置およびロボットシステム
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP2017201276A (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2018022247A (ja) 情報処理装置およびその制御方法
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
US20230297068A1 (en) Information processing device and information processing method
JP5465299B2 (ja) 情報処理装置、情報処理方法
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
JP2020197495A (ja) 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法
JP5938201B2 (ja) 位置姿勢計測装置、その処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200110

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200124