JP2018051728A - 対象物の三次元位置を検出する検出方法および検出装置 - Google Patents

対象物の三次元位置を検出する検出方法および検出装置 Download PDF

Info

Publication number
JP2018051728A
JP2018051728A JP2016194105A JP2016194105A JP2018051728A JP 2018051728 A JP2018051728 A JP 2018051728A JP 2016194105 A JP2016194105 A JP 2016194105A JP 2016194105 A JP2016194105 A JP 2016194105A JP 2018051728 A JP2018051728 A JP 2018051728A
Authority
JP
Japan
Prior art keywords
image
feature point
images
information
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016194105A
Other languages
English (en)
Inventor
渡邉　淳
Atsushi Watanabe
淳 渡邉
祐輝 高橋
Yuki Takahashi
祐輝 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2016194105A priority Critical patent/JP2018051728A/ja
Priority to US15/712,193 priority patent/US20180095549A1/en
Priority to DE102017122010.0A priority patent/DE102017122010A1/de
Priority to CN201710908219.5A priority patent/CN107886494A/zh
Publication of JP2018051728A publication Critical patent/JP2018051728A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49302—Part, workpiece, code, tool identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数のカメラおよびレンズを用いずに、費用を抑えつつ信頼性を向上させる。【解決手段】対象物Ｗの三次元位置を検出する検出装置（２０）は、ロボット（１０）の移動時に順次撮像された複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像とした場合に、第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部（２７）と、第一画像の一つの特徴点と第二画像の複数の特徴点との間の距離を算出する距離算出部（２８）と、該距離が最短である特徴点を決定する特徴点決定部（２９）とを含む。複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として距離が最短である特徴点を決定する処理を繰返し、それにより、対象物の特徴点を追跡する。【選択図】図１

Description

本発明は、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、対象物の三次元位置を検出する検出方法およびそのような検出方法を実施する検出装置に関する。
ロボットを用いてワークの搬送またはワークの加工などの作業を正確に行うためには、ワークが載置されている位置を正確に認識することが必要とされる。このため、近年では、カメラ等を用いてワークの位置、特にワークの三次元位置を視覚的に認識することが行われている。
特許文献１、特許文献２および特許文献３においては、複数のカメラによりワークなどの三次元位置を求めることが開示されている。さらに、特許文献４および特許文献５は、複数のレンズを備えたカメラを用いてワークなどの三次元位置を求めることが開示されている。
特許第３８５９３７１号公報 特開２０１２−１９２４７３号公報 特開２００４−９０１８３号公報 特開２０１４−３４０７５号公報 特開２００９−２４１２４７号公報
しかしながら、前述した従来技術においては、複数のカメラまたは複数のレンズを使用しているので、構造が複雑になると共に、コスト高になるという問題がある。
また、ステレオカメラにおいては、ステレオペアを対応付けする処理コストが最も高いとされる。そして、ステレオペアの対応付けの質が低い場合には、ステレオカメラの信頼性も低下する。
本発明はこのような事情に鑑みてなされたものであり、複数のカメラまたは複数のレンズを使用することなしに、コストを抑えつつ信頼性を向上させられる、対象物の三次元位置を検出する検出方法およびそのような検出方法を実施する検出装置を提供することを目的とする。
前述した目的を達成するために１番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出方法において、前記ロボットが移動している際に前記撮像部が前記対象物の複数の画像を順次撮像し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出し、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出し、該距離が最短である特徴点を決定し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした、検出方法が提供される。
２番目の発明によれば、１番目の発明において、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、前記第二画像で検出された前記特徴点の前記撮像部座標系における第二位置情報を記憶し、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する。
３番目の発明によれば、２番目の発明において、前記対象物にスポット光が投光し特徴点として検出しやすいようにした。
４番目の発明によれば、２番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
５番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部と、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部と、該距離が最短である特徴点を決定する特徴点決定部と、を具備し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置が提供される。
６番目の発明によれば、５番目の発明において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部と、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部と、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部と、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部と、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部とを具備する。 ７番目の発明によれば、６番目の発明において、前記対象物にスポット光を投光する投光器を含む。
８番目の発明によれば、６番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部を具備し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
１番目および５番目の発明においては、ロボットを移動させながら撮像した二つの画像を使用して対象物を追跡しているので、複数の撮像部または複数のレンズを使用する必要がない。従って、システム全体の構成を単純にしつつコストを抑えることができる。
さらに、第一画像および第二画像でステレオペアとして対応付けられるべき前記一つの特徴点は、前記第一画像の前記一つの特徴点と前記第二画像の特徴点の間の距離が最小になる周期でロボットが移動と撮像するよう設定することで、１番目の発明による方法によって前記一つの特徴点を確実に追跡することができるので、ロボットの移動操作の後に対応付けを行う必要はない。これによって、例えば同一形状の部品が多数収められているコンテナにおいて、ある一つの部品の一つの例えば穴という特徴点を追跡して、移動の前段階の第一画像と後段階の第二画像においてステレオペアとして間違いなく対応付けすることができる。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる共に、処理負担の大きいステレオペアの対応付けにかかる時間を大きく短縮し、かつ装置のコストカットが実現できる。
２番目および６番目の発明においては、最小距離の特徴点を採用しているので、ロボットが高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求められる。
３番目および７番目の発明においては、鮮明なスポット光点を特徴点とする画像を取得できるので、画像処理を良好に行うことができる。
４番目および８番目の発明においては、対象物が有する三つの特徴点の三次元位置を通じて、対象物の三次元位置姿勢を検出できる。
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。
本発明に基づく検出装置を含むシステムの略図である。 図１に示される検出装置の動作を示すフローチャートである。 図１に示される検出装置の動作を示す他のフローチャートである。 ロボットと複数の画像とを示す図である。 第一画像および第二画像を示す図である。 ロボットと複数の画像とを示す他の図である。 ロボットと複数の画像とを示すさらに他の図である。
以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は本発明に基づく検出装置を含むシステムの略図である。図１に示されるように、システム１は、ロボット１０と、このロボット１０を制御する制御装置２０とを主に含んでいる。制御装置２０は対象物の三次元位置を検出する検出装置としての役目も果たす。図１に示されるロボット１０は垂直多関節ロボットであるが、他の形態のロボットであってもよい。さらに、ロボット１０の先端またはその近傍にはカメラ３０が支持されている。このカメラ３０の位置姿勢はロボット１０に応じて定まる。カメラ３０の代わりに他の形態の撮像部を使用しても良い。
さらに、図１には、対象物Ｗ、例えばワークにスポット光を投光する投光器３５が示されている。投光器３５を用いることによって、カメラ３０は鮮明なスポット光点を特徴点とする画像を取得できる。従って、後述する画像処理部３１は、撮像した画像の画像処理を良好に行うことができる。投光器３５の位置姿勢が制御装置２０によって制御されるようにしてもよい。また、投光器３５はロボット１０に取付けられていてもよい。
制御装置２０はデジタルコンピュータであり、ロボット１０を制御すると共に対象物Ｗの三次元位置を検出する検出装置としての役目も果たす。図１に示されるように、制御装置２０は、ロボット１０が移動している際にカメラ３０により順次撮像され対象物Ｗの複数の画像を記憶する画像記憶部２１を含んでいる。
さらに、制御装置２０は、複数の画像のうち前段階の連続する二つの画像を第一画像および第二画像とした場合に第一画像が撮像されたときのロボットの第一位置姿勢情報を記憶すると共に、複数の画像のうちの後段階の二つの画像を第一画像および第二画像とした場合に第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部２２を含んでいる。さらに、制御装置２０は、複数の画像のうち連続する二つの画像における第一画像において検出された一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、最後の二つの画像における第二画像で検出された前記一つの特徴点の撮像部座標系における第二位置情報を記憶する位置情報記憶部２３を含んでいる。また、制御装置２０は、第一画像および第二画像などを処理して特徴点を検出する画像処理部３１を含んでいる。
さらに、制御装置２０は、ロボットの第一位置姿勢情報と一つの特徴点の第一位置情報とを用いてロボット座標系における一つの特徴点の第一視線情報を算出すると共に、ロボットの第二位置姿勢情報と第二画像の前記一つの特徴点の第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出する視線情報算出部２４と、第一視線情報および第二視線情報の交点から対象物の三次元位置を検出する三次元位置検出部２５とを含んでいる。
なお、視線情報算出部２４は少なくとも三つの特徴点の第一視線情報および第二視線情報をそれぞれ算出することもできる。また、三次元位置検出部２５は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出することもできる。
さらに、制御装置２０は、ロボット１０が移動することによってカメラ３０が移動する移動方向を決定する移動方向決定部２６と、ロボットが移動している際に撮像部により順次撮像された複数の画像のうちの連続する二つの画像を第一画像および第二画像とした場合に、第一画像内で検出した一つの特徴点および第一画像内で検出した一つの特徴点を含む第二画像内の複数の特徴点を検出する特徴点検出部２７と、第一画像における一つの特徴点と第二画像における複数の特徴点との間のそれぞれの距離を算出する距離算出部２８と、該距離が最短である特徴点を決定する特徴点決定部２９とを含む。
ところで、図２および図３は図１に示される検出装置の動作を示すフローチャートであり、図４はロボットと複数の画像とを示す図である。以下、図２から図４を参照しつつ、本発明に基づく検出装置の動作を説明する。なお、所定位置に配置された対象物Ｗは、複数の特徴点、例えばワークの開口部の中心、ワークのコーナ部分などを含んでいる。
そして、ステップＳ１１においては、図４に示されるようにロボット１０が移動開始する。そして、ステップＳ１２においては、ロボット１０に備えられたカメラ３０が対象物Ｗについての画像Ｇａを撮像する。画像Ｇａは画像記憶部２１に記憶され、第一画像Ｇ１として設定される。
なお、図４を参照して分かるように、ロボット１０に備えられたカメラ３０は対象物Ｗについて複数の画像Ｇａ〜Ｇｎ（ｎは自然数）を順次撮像するものとする。図４においては、これら画像Ｇａ〜Ｇｎがロボットの移動位置に対応してカメラ３０内に表示されている。
次いで、ステップＳ１３においては、特徴点検出部２７が第一画像Ｇ１から一つの特徴点を検出する。第一画像Ｇ１から複数の特徴点が検出された場合には、任意の特徴点、例えば画像の中心に位置する特徴点を前述した一つの特徴点として設定してよい。
ここで、図５は第一画像および第二画像を示す図である。図５に示される第一画像Ｇ１には、黒丸で示される複数の特徴点Ｋ１〜Ｋ３が表示されている。図５においては、第一画像Ｇ１の比較的中心に位置する特徴点Ｋ１を前述した一つの特徴点として設定する。
次いで、ステップＳ１４においては、移動を続けているロボット１０に備えられたカメラ３０が対象物Ｗについての画像Ｇｂを撮像する。画像Ｇｂは画像記憶部２１に記憶され、第二画像Ｇ２として設定される。言い換えれば、連続する二つの画像Ｇａ、Ｇｂが第一画像Ｇ１および第二画像Ｇ２として設定される。
次いで、ステップＳ１５においては特徴点検出部２７が第二画像Ｇ２から複数の特徴点を検出する。特徴点検出部２７が検出する第二画像Ｇ２の複数の特徴点は、前述した第一画像Ｇ１の一つの特徴点を含む必要がある。
図５の第二画像Ｇ２においては、第一画像Ｇ１の特徴点Ｋ１、Ｋ２に対応する特徴点Ｋ１’、Ｋ２‘と、第一画像Ｇ１には含まれていない別の特徴点Ｋ３’、Ｋ４’とが表示されている。さらに、第二画像Ｇ２においては、第一画像Ｇ１の特徴点Ｋ１に対応した位置に特徴点Ｋ１が示されている。
次いで、ステップＳ１６においては、距離算出部２８が、第一画像Ｇ１における一つの特徴点の位置と第二画像Ｇ２における複数の特徴点のそれぞれの位置との間の距離を算出する。つまり、距離算出部２８は、図５に示される特徴点Ｋ１と、特徴点Ｋ１〜’Ｋ３’のそれぞれとの間の距離を算出する。
次いで、ステップＳ１７においては、特徴点決定部２９は、距離が最小となる特徴点を決定する。図５においては、特徴点Ｋ１と特徴点Ｋ１’との間の距離が最小であるのが分かるであろう。従って、特徴点決定部２９は特徴点Ｋ１’を距離が最小の特徴点として決定する。このような場合には、ロボット１０が高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求めることができる。
その後、ステップＳ１８において、前述した処理が所望の数の画像に対して実施されたか否かが判定される。この場合には、前述した処理が所望の画像に対して実施されていないので、Ｇ２の特徴点Ｋ１’を第一画像の一つの特徴点Ｋ１として記憶して（）ステップＳ１４に戻る。あるいは、第二画像を第一画像として置き換えると共に、特徴点Ｋ１’を特徴点Ｋ１として記憶して、ステップＳ１４に戻っても良い。所望の数は２以上であるのが好ましい。以下においては、図４に示される複数の画像のうちの連続する次の画像Ｇｃを第二画像Ｇ２として設定し、前述した処理を繰返す。
このような処理は、所望の数の画像の全てが処理されるまで繰返されるものとする。これにより、複数の画像Ｇａ〜Ｇｎを通じて特徴点Ｋが追跡される。対象物Ｗにおける特徴点Ｋの位置は分かっているので、対象物Ｗを追跡することが可能となる。なお、図示しない実施形態においてはロボット１０の移動時に所望の数の画像が撮像された後で前述した処理を行うようにしてもよい。
ところで、図４においては、複数の画像Ｇａ〜Ｇｎのうちのはじめの一対の画像から順番に、第一画像Ｇ１および第二画像Ｇ２として設定されている。しかしながら、第一画像Ｇ１および第二画像Ｇ２を図４に示したのは異なるように設定してもよい。
ここで、図６Ａはロボットと複数の画像とを示す他の図である。図６Ａにおいては、ステップＳ１２〜Ｓ１７の一回目の処理の際に画像Ｇｃ、Ｇｄが第一画像Ｇ１および第二画像Ｇ２として設定される。言い換えれば、画像Ｇａ、Ｇｂを必ずしも使用する必要はない。同様に、最後の連続した画像Ｇn-1やＧｎを必ずしも使用する必要はなく、例えばＧn-3とＧn-2を最後の連続した画像としてもよい。
また、図６Ｂにおいては、一回目の処理の際には、連続する二つの画像Ｇａ、Ｇｂが第一画像Ｇ１および第二画像Ｇ２として設定される。さらに、二回目の処理の際には、二つの画像Ｇｂ、画像Ｇｄが設定される。つまり、画像Ｇｃは使用されない。このように、複数の画像のうちの一部を省略することも可能であり、その場合には、一つ置きに連続する二つの画像を使用し、それにより、処理時間を短くできるのが分かるであろう。
以下においては、図４を参照したように第一画像Ｇ１および第二画像Ｇ２が設定されたものとして、説明を続ける。図３を参照すると、ステップＳ１９においては、複数の画像のうちのはじめの二つの画像Ｇａ、Ｇｂのうちの第一画像Ｇ１、つまり画像Ｇａが撮像されたときのロボット１０の第一位置姿勢情報ＰＲ１が位置姿勢情報記憶部２２に記憶される。
次いで、ステップＳ２０においては、複数の画像のうちの最後の二つの画像Ｇ（ｎ−１）、Ｇｎのうちの第二画像Ｇ２、つまり画像Ｇｎが撮像されたときのロボット１０の第二位置姿勢情報ＰＲ２が位置姿勢情報記憶部２２に記憶される。前述したようにロボット１０は移動しているので、第二位置姿勢情報ＰＲ２は第一位置姿勢情報ＰＲ１とは互いに異なる。
次いで、ステップＳ２１においては、複数の画像のうちのはじめの二つの画像Ｇａ、Ｇｂのうちの第一画像Ｇ１、つまり画像Ｇａにおける前述した一つの特徴点Ｋ１の第一位置情報ＰＷ１を位置情報記憶部２３に記憶する。そして、ステップＳ２２においては、複数の画像のうちの最後の二つの画像Ｇ（ｎ−１）、Ｇｎのうちの第二画像Ｇ２、つまり画像Ｇｎの、前述した距離が最短である特徴点Ｋ１’の第二位置情報ＰＷ２を位置情報記憶部２３に記憶する。
次いで、ステップＳ２３において、視線情報算出部２４は、第一位置姿勢情報ＰＲ１および第一位置情報ＰＷ１に基づいて第一視線情報Ｌ１を算出する。同様に、視線情報算出部２４は、第二位置姿勢情報ＰＲ２および第二位置情報ＰＷ２に基づいて第二視線情報Ｌ２を算出する。図４から分かるように、第一および第二視線情報Ｌ１、Ｌ２はカメラ３０から対象物Ｗまでそれぞれ延びる視線である。これら第一および第二視線情報Ｌ１、Ｌ２は図５の第一画像Ｇ１および第二画像Ｇ２に十字で示されている。
次いで、ステップＳ２４においては、三次元位置検出部２５が第一および第二視線情報Ｌ１、Ｌ２の交点または近似交点から対象物Ｗの三次元位置を検出する。このように本発明では、ロボット１０を移動させながら連続して撮像した複数の画像を使用して特徴点を追跡しているので、従来技術のように複数のカメラまたは複数のレンズを使用して検出した２つの特徴点を対応づけることなしに、対象物Ｗの三次元位置を検出することができる。従って、本発明では、システム１全体の構成を単純にしつつコストを抑えることが可能である。
即ち、ロボット１０が移動している間に一つの特徴点を追跡して第一画像Ｇ１および第二画像Ｇ２の対象物の特徴点をステレオペアとして確実に対応付けできる。
本発明では、特徴点の追跡に基づいて対応付けを行うので、ロボット１０が高速で移動するときにおいても、画像の対応付けを連続して順次行うことにより、ロボット１０の移動終了後に、第一画像Ｇ１と第二画像Ｇ２における対象物の特徴点を夫々検出して対応付けを行う必要はない。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる。
ところで、複数の特徴点を有するワークにおいて、少なくとも三つの特徴点の三次元位置を用いて、該ワークの三次元位置姿勢が定まるワークが存在する。そのようなワークの三次元位置姿勢を求める場合には、はじめに特徴点検出部２７が、第一画像Ｇ１内に位置する少なくとも三つの特徴点を第二画像Ｇ２内に検出する。以降は前述と同様に三つの特徴点を連続して撮像する複数の画像で追跡して検出することができる。
そして、視線情報算出部２４が少なくとも三つの特徴点の第一視線情報および前記第二視線情報をそれぞれ算出する。さらに、三次元位置検出部２５は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出する。これにより、三次元位置検出部２５はワークの三次元位置姿勢を検出することができる。
典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
１ システム
１０ ロボット
２０ 制御装置（検出装置）
２１ 画像記憶部
２２ 位置姿勢情報記憶部
２３ 位置情報記憶部
２４ 視線情報算出部
２５ 三次元位置検出部
２６ 移動方向決定部
２７ 特徴点検出部
２８ 距離算出部
２９ 対象物決定部
３０ カメラ（撮像部）
３１ 画像処理部
３５ 投光器

Claims (8)

  1. ロボット（１０）と、該ロボットの先端付近に支持された撮像部（３０）と、を含むシステム（１）において、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出方法において、 前記ロボットが移動している際に前記撮像部が前記対象物の複数の画像を順次撮像し、
    前記複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として
    設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出し、
    前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出し、
    該距離が最短である特徴点を決定し、
    前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定
    して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした、検出方法。
  2. 前記複数の画像のうちの特徴点を検出した前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、
    前記複数の画像のうちの特徴点を検出した後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、
    前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、
    前記第二画像で検出された前記一つの特徴点の前記撮像部座標系における第二位置情報を記憶し、
    前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、
    前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する請求項１に記載の検出方法。
  3. 前記対象物に投光されたスポット光を特徴点とした請求項２に記載の検出方法。
  4. 前記対象物は少なくとも三つの特徴点を含んでおり、
    前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、
    前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、
    算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした、請求項２に記載の検出方法。
  5. ロボット（１０）と、該ロボットの先端付近に支持された撮像部（３０）と、を含むシステム（１）において、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置（２０）において、
    前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合
    に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部（２７）と、
    前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部（２８）と、
    該距離が最短である特徴点を決定する特徴点決定部（２９）と、を具備し、
    前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定
    して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置。
  6. 前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部（２１）と、
    前記複数の画像のうちの特徴点を検出した前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの特徴点を検出した後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部（２２）と、
    前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された前記一つの特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部（２３）と、
    前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部（２４）と、
    前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部（２５）とを具備する請求項５に記載の検出装置。
  7. 前記対象物に投光したスポット光を特徴点とする投光器（３５）を含む請求項６に記載の検出装置。
  8. 前記対象物は少なくとも三つの特徴点を含んでおり、
    さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部（２７）を具備し、
    前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、
    算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした、請求項６に記載の検出装置。
JP2016194105A 2016-09-30 2016-09-30 対象物の三次元位置を検出する検出方法および検出装置 Pending JP2018051728A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016194105A JP2018051728A (ja) 2016-09-30 2016-09-30 対象物の三次元位置を検出する検出方法および検出装置
US15/712,193 US20180095549A1 (en) 2016-09-30 2017-09-22 Detection method and detection apparatus for detecting three-dimensional position of object
DE102017122010.0A DE102017122010A1 (de) 2016-09-30 2017-09-22 Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts
CN201710908219.5A CN107886494A (zh) 2016-09-30 2017-09-29 检测方法和检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016194105A JP2018051728A (ja) 2016-09-30 2016-09-30 対象物の三次元位置を検出する検出方法および検出装置

Publications (1)

Publication Number Publication Date
JP2018051728A true JP2018051728A (ja) 2018-04-05

Family

ID=61623725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016194105A Pending JP2018051728A (ja) 2016-09-30 2016-09-30 対象物の三次元位置を検出する検出方法および検出装置

Country Status (4)

Country Link
US (1) US20180095549A1 (ja)
JP (1) JP2018051728A (ja)
CN (1) CN107886494A (ja)
DE (1) DE102017122010A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9879976B2 (en) * 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN108839018B (zh) * 2018-06-25 2021-08-24 盐城工学院 一种机器人控制操作方法及装置
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手
CN111325712B (zh) * 2020-01-20 2024-01-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
JP2023036302A (ja) * 2021-09-02 2023-03-14 株式会社ミツトヨ 測定システム、測定方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
JPH07270137A (ja) * 1994-02-10 1995-10-20 Fanuc Ltd スポット光走査型３次元視覚センサ
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
JP2011041990A (ja) * 2009-08-19 2011-03-03 Denso Wave Inc ロボットの制御装置及びロボットのティーチング方法
JP2013257872A (ja) * 2012-06-08 2013-12-26 Ricoh Co Ltd 視差図からの対象追跡方法及びシステム
US20150248759A1 (en) * 2012-05-18 2015-09-03 Google Inc. Bundle Adjustment Based on Image Capture Intervals
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3859371B2 (ja) 1998-09-25 2006-12-20 松下電工株式会社 ピッキング装置
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
JP4032603B2 (ja) * 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 ３次元計測装置
JP4672175B2 (ja) * 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP3556589B2 (ja) * 2000-09-20 2004-08-18 ファナック株式会社 位置姿勢認識装置
JP4004899B2 (ja) 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
KR101033349B1 (ko) * 2009-03-24 2011-05-09 아주대학교산학협력단 안전모 착용 비전 감시 시스템 및 방법
JP5544320B2 (ja) 2011-03-15 2014-07-09 西部電機株式会社 立体視ロボットピッキング装置
JP5715735B2 (ja) * 2012-06-29 2015-05-13 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
JP6195333B2 (ja) 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
US9602811B2 (en) * 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US10360469B2 (en) * 2015-01-15 2019-07-23 Samsung Electronics Co., Ltd. Registration method and apparatus for 3D image data
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
JPH07270137A (ja) * 1994-02-10 1995-10-20 Fanuc Ltd スポット光走査型３次元視覚センサ
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
JP2011041990A (ja) * 2009-08-19 2011-03-03 Denso Wave Inc ロボットの制御装置及びロボットのティーチング方法
US20150248759A1 (en) * 2012-05-18 2015-09-03 Google Inc. Bundle Adjustment Based on Image Capture Intervals
JP2013257872A (ja) * 2012-06-08 2013-12-26 Ricoh Co Ltd 視差図からの対象追跡方法及びシステム
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US20220351389A1 (en) * 2020-02-14 2022-11-03 Mujin, Inc. Method and computing system for processing candidate edges

Also Published As

Publication number Publication date
CN107886494A (zh) 2018-04-06
US20180095549A1 (en) 2018-04-05
DE102017122010A1 (de) 2018-04-05

Similar Documents

Publication Publication Date Title
JP2018051728A (ja) 対象物の三次元位置を検出する検出方法および検出装置
JP2016070762A (ja) 対象物の三次元位置を検出する検出方法および検出装置
JP6583734B2 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
JP6525148B2 (ja) 軌跡推定方法、軌跡推定装置及び軌跡推定プログラム
JP2016177388A (ja) 移動***置姿勢計測装置
JPWO2015125300A1 (ja) 自己位置算出装置及び自己位置算出方法
US20140211994A1 (en) Human detection and tracking apparatus, human detection and tracking method, and human detection and tracking program
JP2017103688A5 (ja)
JP2018153874A (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP2017090711A5 (ja)
CN107895344B (zh) 视频拼接装置及方法
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
JP2020075327A (ja) 制御システム
JP2022176190A5 (ja)
JP2017147689A (ja) 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム
JP6814179B2 (ja) ３次元走査装置及び３次元モデリングの方法
JP2020126383A (ja) 動体検出装置、動体検出方法、動体検出プログラム
JP2018185219A (ja) 物体認識装置
JP2018106611A5 (ja)
CN102778199B (zh) 工业相机九点校正坐标变换方法
JP7304016B2 (ja) 画像処理システム
JP6981340B2 (ja) 表示制御プログラム、装置、及び方法
JP2017092753A5 (ja)
JP2014123815A (ja) 画像処理装置、画像処理方法及び記録媒体
JPH07136959A (ja) ロボット位置決め方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190702