JP2018051728A - 対象物の三次元位置を検出する検出方法および検出装置 - Google Patents
対象物の三次元位置を検出する検出方法および検出装置 Download PDFInfo
- Publication number
- JP2018051728A JP2018051728A JP2016194105A JP2016194105A JP2018051728A JP 2018051728 A JP2018051728 A JP 2018051728A JP 2016194105 A JP2016194105 A JP 2016194105A JP 2016194105 A JP2016194105 A JP 2016194105A JP 2018051728 A JP2018051728 A JP 2018051728A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- images
- information
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39045—Camera on end effector detects reference pattern
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/49—Nc machine tool, till multiple
- G05B2219/49302—Part, workpiece, code, tool identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】複数のカメラおよびレンズを用いずに、費用を抑えつつ信頼性を向上させる。【解決手段】対象物Wの三次元位置を検出する検出装置(20)は、ロボット(10)の移動時に順次撮像された複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像とした場合に、第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部(27)と、第一画像の一つの特徴点と第二画像の複数の特徴点との間の距離を算出する距離算出部(28)と、該距離が最短である特徴点を決定する特徴点決定部(29)とを含む。複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として距離が最短である特徴点を決定する処理を繰返し、それにより、対象物の特徴点を追跡する。【選択図】図1
Description
本発明は、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、対象物の三次元位置を検出する検出方法およびそのような検出方法を実施する検出装置に関する。
ロボットを用いてワークの搬送またはワークの加工などの作業を正確に行うためには、ワークが載置されている位置を正確に認識することが必要とされる。このため、近年では、カメラ等を用いてワークの位置、特にワークの三次元位置を視覚的に認識することが行われている。
特許文献1、特許文献2および特許文献3においては、複数のカメラによりワークなどの三次元位置を求めることが開示されている。さらに、特許文献4および特許文献5は、複数のレンズを備えたカメラを用いてワークなどの三次元位置を求めることが開示されている。
しかしながら、前述した従来技術においては、複数のカメラまたは複数のレンズを使用しているので、構造が複雑になると共に、コスト高になるという問題がある。
また、ステレオカメラにおいては、ステレオペアを対応付けする処理コストが最も高いとされる。そして、ステレオペアの対応付けの質が低い場合には、ステレオカメラの信頼性も低下する。
本発明はこのような事情に鑑みてなされたものであり、複数のカメラまたは複数のレンズを使用することなしに、コストを抑えつつ信頼性を向上させられる、対象物の三次元位置を検出する検出方法およびそのような検出方法を実施する検出装置を提供することを目的とする。
前述した目的を達成するために1番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出方法において、前記ロボットが移動している際に前記撮像部が前記対象物の複数の画像を順次撮像し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出し、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出し、該距離が最短である特徴点を決定し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした、検出方法が提供される。
2番目の発明によれば、1番目の発明において、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、前記第二画像で検出された前記特徴点の前記撮像部座標系における第二位置情報を記憶し、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する。
3番目の発明によれば、2番目の発明において、前記対象物にスポット光が投光し特徴点として検出しやすいようにした。
4番目の発明によれば、2番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
5番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部と、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部と、該距離が最短である特徴点を決定する特徴点決定部と、を具備し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置が提供される。
6番目の発明によれば、5番目の発明において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部と、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部と、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部と、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部と、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部とを具備する。 7番目の発明によれば、6番目の発明において、前記対象物にスポット光を投光する投光器を含む。
8番目の発明によれば、6番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部を具備し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
2番目の発明によれば、1番目の発明において、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、前記第二画像で検出された前記特徴点の前記撮像部座標系における第二位置情報を記憶し、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する。
3番目の発明によれば、2番目の発明において、前記対象物にスポット光が投光し特徴点として検出しやすいようにした。
4番目の発明によれば、2番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
5番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部と、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部と、該距離が最短である特徴点を決定する特徴点決定部と、を具備し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置が提供される。
6番目の発明によれば、5番目の発明において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部と、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部と、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部と、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部と、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部とを具備する。 7番目の発明によれば、6番目の発明において、前記対象物にスポット光を投光する投光器を含む。
8番目の発明によれば、6番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部を具備し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
1番目および5番目の発明においては、ロボットを移動させながら撮像した二つの画像を使用して対象物を追跡しているので、複数の撮像部または複数のレンズを使用する必要がない。従って、システム全体の構成を単純にしつつコストを抑えることができる。
さらに、第一画像および第二画像でステレオペアとして対応付けられるべき前記一つの特徴点は、前記第一画像の前記一つの特徴点と前記第二画像の特徴点の間の距離が最小になる周期でロボットが移動と撮像するよう設定することで、1番目の発明による方法によって前記一つの特徴点を確実に追跡することができるので、ロボットの移動操作の後に対応付けを行う必要はない。これによって、例えば同一形状の部品が多数収められているコンテナにおいて、ある一つの部品の一つの例えば穴という特徴点を追跡して、移動の前段階の第一画像と後段階の第二画像においてステレオペアとして間違いなく対応付けすることができる。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる共に、処理負担の大きいステレオペアの対応付けにかかる時間を大きく短縮し、かつ装置のコストカットが実現できる。
2番目および6番目の発明においては、最小距離の特徴点を採用しているので、ロボットが高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求められる。
3番目および7番目の発明においては、鮮明なスポット光点を特徴点とする画像を取得できるので、画像処理を良好に行うことができる。
4番目および8番目の発明においては、対象物が有する三つの特徴点の三次元位置を通じて、対象物の三次元位置姿勢を検出できる。
さらに、第一画像および第二画像でステレオペアとして対応付けられるべき前記一つの特徴点は、前記第一画像の前記一つの特徴点と前記第二画像の特徴点の間の距離が最小になる周期でロボットが移動と撮像するよう設定することで、1番目の発明による方法によって前記一つの特徴点を確実に追跡することができるので、ロボットの移動操作の後に対応付けを行う必要はない。これによって、例えば同一形状の部品が多数収められているコンテナにおいて、ある一つの部品の一つの例えば穴という特徴点を追跡して、移動の前段階の第一画像と後段階の第二画像においてステレオペアとして間違いなく対応付けすることができる。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる共に、処理負担の大きいステレオペアの対応付けにかかる時間を大きく短縮し、かつ装置のコストカットが実現できる。
2番目および6番目の発明においては、最小距離の特徴点を採用しているので、ロボットが高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求められる。
3番目および7番目の発明においては、鮮明なスポット光点を特徴点とする画像を取得できるので、画像処理を良好に行うことができる。
4番目および8番目の発明においては、対象物が有する三つの特徴点の三次元位置を通じて、対象物の三次元位置姿勢を検出できる。
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。
以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図1は本発明に基づく検出装置を含むシステムの略図である。図1に示されるように、システム1は、ロボット10と、このロボット10を制御する制御装置20とを主に含んでいる。制御装置20は対象物の三次元位置を検出する検出装置としての役目も果たす。図1に示されるロボット10は垂直多関節ロボットであるが、他の形態のロボットであってもよい。さらに、ロボット10の先端またはその近傍にはカメラ30が支持されている。このカメラ30の位置姿勢はロボット10に応じて定まる。カメラ30の代わりに他の形態の撮像部を使用しても良い。
図1は本発明に基づく検出装置を含むシステムの略図である。図1に示されるように、システム1は、ロボット10と、このロボット10を制御する制御装置20とを主に含んでいる。制御装置20は対象物の三次元位置を検出する検出装置としての役目も果たす。図1に示されるロボット10は垂直多関節ロボットであるが、他の形態のロボットであってもよい。さらに、ロボット10の先端またはその近傍にはカメラ30が支持されている。このカメラ30の位置姿勢はロボット10に応じて定まる。カメラ30の代わりに他の形態の撮像部を使用しても良い。
さらに、図1には、対象物W、例えばワークにスポット光を投光する投光器35が示されている。投光器35を用いることによって、カメラ30は鮮明なスポット光点を特徴点とする画像を取得できる。従って、後述する画像処理部31は、撮像した画像の画像処理を良好に行うことができる。投光器35の位置姿勢が制御装置20によって制御されるようにしてもよい。また、投光器35はロボット10に取付けられていてもよい。
制御装置20はデジタルコンピュータであり、ロボット10を制御すると共に対象物Wの三次元位置を検出する検出装置としての役目も果たす。図1に示されるように、制御装置20は、ロボット10が移動している際にカメラ30により順次撮像され対象物Wの複数の画像を記憶する画像記憶部21を含んでいる。
さらに、制御装置20は、複数の画像のうち前段階の連続する二つの画像を第一画像および第二画像とした場合に第一画像が撮像されたときのロボットの第一位置姿勢情報を記憶すると共に、複数の画像のうちの後段階の二つの画像を第一画像および第二画像とした場合に第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部22を含んでいる。さらに、制御装置20は、複数の画像のうち連続する二つの画像における第一画像において検出された一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、最後の二つの画像における第二画像で検出された前記一つの特徴点の撮像部座標系における第二位置情報を記憶する位置情報記憶部23を含んでいる。また、制御装置20は、第一画像および第二画像などを処理して特徴点を検出する画像処理部31を含んでいる。
さらに、制御装置20は、ロボットの第一位置姿勢情報と一つの特徴点の第一位置情報とを用いてロボット座標系における一つの特徴点の第一視線情報を算出すると共に、ロボットの第二位置姿勢情報と第二画像の前記一つの特徴点の第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出する視線情報算出部24と、第一視線情報および第二視線情報の交点から対象物の三次元位置を検出する三次元位置検出部25とを含んでいる。
なお、視線情報算出部24は少なくとも三つの特徴点の第一視線情報および第二視線情報をそれぞれ算出することもできる。また、三次元位置検出部25は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出することもできる。
さらに、制御装置20は、ロボット10が移動することによってカメラ30が移動する移動方向を決定する移動方向決定部26と、ロボットが移動している際に撮像部により順次撮像された複数の画像のうちの連続する二つの画像を第一画像および第二画像とした場合に、第一画像内で検出した一つの特徴点および第一画像内で検出した一つの特徴点を含む第二画像内の複数の特徴点を検出する特徴点検出部27と、第一画像における一つの特徴点と第二画像における複数の特徴点との間のそれぞれの距離を算出する距離算出部28と、該距離が最短である特徴点を決定する特徴点決定部29とを含む。
ところで、図2および図3は図1に示される検出装置の動作を示すフローチャートであり、図4はロボットと複数の画像とを示す図である。以下、図2から図4を参照しつつ、本発明に基づく検出装置の動作を説明する。なお、所定位置に配置された対象物Wは、複数の特徴点、例えばワークの開口部の中心、ワークのコーナ部分などを含んでいる。
そして、ステップS11においては、図4に示されるようにロボット10が移動開始する。そして、ステップS12においては、ロボット10に備えられたカメラ30が対象物Wについての画像Gaを撮像する。画像Gaは画像記憶部21に記憶され、第一画像G1として設定される。
なお、図4を参照して分かるように、ロボット10に備えられたカメラ30は対象物Wについて複数の画像Ga〜Gn(nは自然数)を順次撮像するものとする。図4においては、これら画像Ga〜Gnがロボットの移動位置に対応してカメラ30内に表示されている。
次いで、ステップS13においては、特徴点検出部27が第一画像G1から一つの特徴点を検出する。第一画像G1から複数の特徴点が検出された場合には、任意の特徴点、例えば画像の中心に位置する特徴点を前述した一つの特徴点として設定してよい。
ここで、図5は第一画像および第二画像を示す図である。図5に示される第一画像G1には、黒丸で示される複数の特徴点K1〜K3が表示されている。図5においては、第一画像G1の比較的中心に位置する特徴点K1を前述した一つの特徴点として設定する。
次いで、ステップS14においては、移動を続けているロボット10に備えられたカメラ30が対象物Wについての画像Gbを撮像する。画像Gbは画像記憶部21に記憶され、第二画像G2として設定される。言い換えれば、連続する二つの画像Ga、Gbが第一画像G1および第二画像G2として設定される。
次いで、ステップS15においては特徴点検出部27が第二画像G2から複数の特徴点を検出する。特徴点検出部27が検出する第二画像G2の複数の特徴点は、前述した第一画像G1の一つの特徴点を含む必要がある。
図5の第二画像G2においては、第一画像G1の特徴点K1、K2に対応する特徴点K1’、K2‘と、第一画像G1には含まれていない別の特徴点K3’、K4’とが表示されている。さらに、第二画像G2においては、第一画像G1の特徴点K1に対応した位置に特徴点K1が示されている。
次いで、ステップS16においては、距離算出部28が、第一画像G1における一つの特徴点の位置と第二画像G2における複数の特徴点のそれぞれの位置との間の距離を算出する。つまり、距離算出部28は、図5に示される特徴点K1と、特徴点K1〜’K3’のそれぞれとの間の距離を算出する。
次いで、ステップS17においては、特徴点決定部29は、距離が最小となる特徴点を決定する。図5においては、特徴点K1と特徴点K1’との間の距離が最小であるのが分かるであろう。従って、特徴点決定部29は特徴点K1’を距離が最小の特徴点として決定する。このような場合には、ロボット10が高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求めることができる。
その後、ステップS18において、前述した処理が所望の数の画像に対して実施されたか否かが判定される。この場合には、前述した処理が所望の画像に対して実施されていないので、G2の特徴点K1’を第一画像の一つの特徴点K1として記憶して()ステップS14に戻る。あるいは、第二画像を第一画像として置き換えると共に、特徴点K1’を特徴点K1として記憶して、ステップS14に戻っても良い。所望の数は2以上であるのが好ましい。以下においては、図4に示される複数の画像のうちの連続する次の画像Gcを第二画像G2として設定し、前述した処理を繰返す。
このような処理は、所望の数の画像の全てが処理されるまで繰返されるものとする。これにより、複数の画像Ga〜Gnを通じて特徴点Kが追跡される。対象物Wにおける特徴点Kの位置は分かっているので、対象物Wを追跡することが可能となる。なお、図示しない実施形態においてはロボット10の移動時に所望の数の画像が撮像された後で前述した処理を行うようにしてもよい。
ところで、図4においては、複数の画像Ga〜Gnのうちのはじめの一対の画像から順番に、第一画像G1および第二画像G2として設定されている。しかしながら、第一画像G1および第二画像G2を図4に示したのは異なるように設定してもよい。
ここで、図6Aはロボットと複数の画像とを示す他の図である。図6Aにおいては、ステップS12〜S17の一回目の処理の際に画像Gc、Gdが第一画像G1および第二画像G2として設定される。言い換えれば、画像Ga、Gbを必ずしも使用する必要はない。同様に、最後の連続した画像Gn-1やGnを必ずしも使用する必要はなく、例えばGn-3とGn-2を最後の連続した画像としてもよい。
また、図6Bにおいては、一回目の処理の際には、連続する二つの画像Ga、Gbが第一画像G1および第二画像G2として設定される。さらに、二回目の処理の際には、二つの画像Gb、画像Gdが設定される。つまり、画像Gcは使用されない。このように、複数の画像のうちの一部を省略することも可能であり、その場合には、一つ置きに連続する二つの画像を使用し、それにより、処理時間を短くできるのが分かるであろう。
以下においては、図4を参照したように第一画像G1および第二画像G2が設定されたものとして、説明を続ける。図3を参照すると、ステップS19においては、複数の画像のうちのはじめの二つの画像Ga、Gbのうちの第一画像G1、つまり画像Gaが撮像されたときのロボット10の第一位置姿勢情報PR1が位置姿勢情報記憶部22に記憶される。
次いで、ステップS20においては、複数の画像のうちの最後の二つの画像G(n−1)、Gnのうちの第二画像G2、つまり画像Gnが撮像されたときのロボット10の第二位置姿勢情報PR2が位置姿勢情報記憶部22に記憶される。前述したようにロボット10は移動しているので、第二位置姿勢情報PR2は第一位置姿勢情報PR1とは互いに異なる。
次いで、ステップS21においては、複数の画像のうちのはじめの二つの画像Ga、Gbのうちの第一画像G1、つまり画像Gaにおける前述した一つの特徴点K1の第一位置情報PW1を位置情報記憶部23に記憶する。そして、ステップS22においては、複数の画像のうちの最後の二つの画像G(n−1)、Gnのうちの第二画像G2、つまり画像Gnの、前述した距離が最短である特徴点K1’の第二位置情報PW2を位置情報記憶部23に記憶する。
次いで、ステップS23において、視線情報算出部24は、第一位置姿勢情報PR1および第一位置情報PW1に基づいて第一視線情報L1を算出する。同様に、視線情報算出部24は、第二位置姿勢情報PR2および第二位置情報PW2に基づいて第二視線情報L2を算出する。図4から分かるように、第一および第二視線情報L1、L2はカメラ30から対象物Wまでそれぞれ延びる視線である。これら第一および第二視線情報L1、L2は図5の第一画像G1および第二画像G2に十字で示されている。
次いで、ステップS24においては、三次元位置検出部25が第一および第二視線情報L1、L2の交点または近似交点から対象物Wの三次元位置を検出する。このように本発明では、ロボット10を移動させながら連続して撮像した複数の画像を使用して特徴点を追跡しているので、従来技術のように複数のカメラまたは複数のレンズを使用して検出した2つの特徴点を対応づけることなしに、対象物Wの三次元位置を検出することができる。従って、本発明では、システム1全体の構成を単純にしつつコストを抑えることが可能である。
即ち、ロボット10が移動している間に一つの特徴点を追跡して第一画像G1および第二画像G2の対象物の特徴点をステレオペアとして確実に対応付けできる。
本発明では、特徴点の追跡に基づいて対応付けを行うので、ロボット10が高速で移動するときにおいても、画像の対応付けを連続して順次行うことにより、ロボット10の移動終了後に、第一画像G1と第二画像G2における対象物の特徴点を夫々検出して対応付けを行う必要はない。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる。
ところで、複数の特徴点を有するワークにおいて、少なくとも三つの特徴点の三次元位置を用いて、該ワークの三次元位置姿勢が定まるワークが存在する。そのようなワークの三次元位置姿勢を求める場合には、はじめに特徴点検出部27が、第一画像G1内に位置する少なくとも三つの特徴点を第二画像G2内に検出する。以降は前述と同様に三つの特徴点を連続して撮像する複数の画像で追跡して検出することができる。
そして、視線情報算出部24が少なくとも三つの特徴点の第一視線情報および前記第二視線情報をそれぞれ算出する。さらに、三次元位置検出部25は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出する。これにより、三次元位置検出部25はワークの三次元位置姿勢を検出することができる。
典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
1 システム
10 ロボット
20 制御装置(検出装置)
21 画像記憶部
22 位置姿勢情報記憶部
23 位置情報記憶部
24 視線情報算出部
25 三次元位置検出部
26 移動方向決定部
27 特徴点検出部
28 距離算出部
29 対象物決定部
30 カメラ(撮像部)
31 画像処理部
35 投光器
10 ロボット
20 制御装置(検出装置)
21 画像記憶部
22 位置姿勢情報記憶部
23 位置情報記憶部
24 視線情報算出部
25 三次元位置検出部
26 移動方向決定部
27 特徴点検出部
28 距離算出部
29 対象物決定部
30 カメラ(撮像部)
31 画像処理部
35 投光器
Claims (8)
- ロボット(10)と、該ロボットの先端付近に支持された撮像部(30)と、を含むシステム(1)において、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出方法において、 前記ロボットが移動している際に前記撮像部が前記対象物の複数の画像を順次撮像し、
前記複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として
設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出し、
前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出し、
該距離が最短である特徴点を決定し、
前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定
して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした、検出方法。 - 前記複数の画像のうちの特徴点を検出した前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、
前記複数の画像のうちの特徴点を検出した後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、
前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、
前記第二画像で検出された前記一つの特徴点の前記撮像部座標系における第二位置情報を記憶し、
前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、
前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する請求項1に記載の検出方法。 - 前記対象物に投光されたスポット光を特徴点とした請求項2に記載の検出方法。
- 前記対象物は少なくとも三つの特徴点を含んでおり、
前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、
前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、
算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした、請求項2に記載の検出方法。 - ロボット(10)と、該ロボットの先端付近に支持された撮像部(30)と、を含むシステム(1)において、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置(20)において、
前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合
に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部(27)と、
前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部(28)と、
該距離が最短である特徴点を決定する特徴点決定部(29)と、を具備し、
前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定
して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置。 - 前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部(21)と、
前記複数の画像のうちの特徴点を検出した前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの特徴点を検出した後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部(22)と、
前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された前記一つの特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部(23)と、
前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部(24)と、
前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部(25)とを具備する請求項5に記載の検出装置。 - 前記対象物に投光したスポット光を特徴点とする投光器(35)を含む請求項6に記載の検出装置。
- 前記対象物は少なくとも三つの特徴点を含んでおり、
さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部(27)を具備し、
前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、
算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした、請求項6に記載の検出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016194105A JP2018051728A (ja) | 2016-09-30 | 2016-09-30 | 対象物の三次元位置を検出する検出方法および検出装置 |
US15/712,193 US20180095549A1 (en) | 2016-09-30 | 2017-09-22 | Detection method and detection apparatus for detecting three-dimensional position of object |
DE102017122010.0A DE102017122010A1 (de) | 2016-09-30 | 2017-09-22 | Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts |
CN201710908219.5A CN107886494A (zh) | 2016-09-30 | 2017-09-29 | 检测方法和检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016194105A JP2018051728A (ja) | 2016-09-30 | 2016-09-30 | 対象物の三次元位置を検出する検出方法および検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018051728A true JP2018051728A (ja) | 2018-04-05 |
Family
ID=61623725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016194105A Pending JP2018051728A (ja) | 2016-09-30 | 2016-09-30 | 対象物の三次元位置を検出する検出方法および検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180095549A1 (ja) |
JP (1) | JP2018051728A (ja) |
CN (1) | CN107886494A (ja) |
DE (1) | DE102017122010A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403764B2 (en) * | 2020-02-14 | 2022-08-02 | Mujin, Inc. | Method and computing system for processing candidate edges |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9879976B2 (en) * | 2010-01-20 | 2018-01-30 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features |
JP6894707B2 (ja) * | 2017-01-06 | 2021-06-30 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
US10957068B2 (en) | 2017-01-06 | 2021-03-23 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling the same |
CN108839018B (zh) * | 2018-06-25 | 2021-08-24 | 盐城工学院 | 一种机器人控制操作方法及装置 |
CN109986541A (zh) * | 2019-05-06 | 2019-07-09 | 深圳市恒晟智能技术有限公司 | 机械手 |
CN111325712B (zh) * | 2020-01-20 | 2024-01-23 | 北京百度网讯科技有限公司 | 用于检测图像有效性的方法及装置 |
JP2023036302A (ja) * | 2021-09-02 | 2023-03-14 | 株式会社ミツトヨ | 測定システム、測定方法及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05126521A (ja) * | 1991-11-08 | 1993-05-21 | Toshiba Corp | 遠隔操作マニピユレータ用位置測定装置 |
JPH07270137A (ja) * | 1994-02-10 | 1995-10-20 | Fanuc Ltd | スポット光走査型3次元視覚センサ |
JP2010117223A (ja) * | 2008-11-12 | 2010-05-27 | Fanuc Ltd | ロボットに取付けられたカメラを用いた三次元位置計測装置 |
JP2011041990A (ja) * | 2009-08-19 | 2011-03-03 | Denso Wave Inc | ロボットの制御装置及びロボットのティーチング方法 |
JP2013257872A (ja) * | 2012-06-08 | 2013-12-26 | Ricoh Co Ltd | 視差図からの対象追跡方法及びシステム |
US20150248759A1 (en) * | 2012-05-18 | 2015-09-03 | Google Inc. | Bundle Adjustment Based on Image Capture Intervals |
JP2016070762A (ja) * | 2014-09-29 | 2016-05-09 | ファナック株式会社 | 対象物の三次元位置を検出する検出方法および検出装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3859371B2 (ja) | 1998-09-25 | 2006-12-20 | 松下電工株式会社 | ピッキング装置 |
US6766036B1 (en) * | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
JP4032603B2 (ja) * | 2000-03-31 | 2008-01-16 | コニカミノルタセンシング株式会社 | 3次元計測装置 |
JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP3556589B2 (ja) * | 2000-09-20 | 2004-08-18 | ファナック株式会社 | 位置姿勢認識装置 |
JP4004899B2 (ja) | 2002-09-02 | 2007-11-07 | ファナック株式会社 | 物品の位置姿勢検出装置及び物品取出し装置 |
JP4926826B2 (ja) * | 2007-05-25 | 2012-05-09 | キヤノン株式会社 | 情報処理方法および情報処理装置 |
JP2009241247A (ja) | 2008-03-10 | 2009-10-22 | Kyokko Denki Kk | ステレオ画像型検出移動装置 |
KR101033349B1 (ko) * | 2009-03-24 | 2011-05-09 | 아주대학교산학협력단 | 안전모 착용 비전 감시 시스템 및 방법 |
JP5544320B2 (ja) | 2011-03-15 | 2014-07-09 | 西部電機株式会社 | 立体視ロボットピッキング装置 |
JP5715735B2 (ja) * | 2012-06-29 | 2015-05-13 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
JP6195333B2 (ja) | 2012-08-08 | 2017-09-13 | キヤノン株式会社 | ロボット装置 |
JP6197388B2 (ja) * | 2013-06-11 | 2017-09-20 | 富士通株式会社 | 距離測定装置、距離測定方法、およびプログラム |
JP6317618B2 (ja) * | 2014-05-01 | 2018-04-25 | キヤノン株式会社 | 情報処理装置およびその方法、計測装置、並びに、作業装置 |
US9602811B2 (en) * | 2014-09-10 | 2017-03-21 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device |
US10360469B2 (en) * | 2015-01-15 | 2019-07-23 | Samsung Electronics Co., Ltd. | Registration method and apparatus for 3D image data |
JP6635690B2 (ja) * | 2015-06-23 | 2020-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2016
- 2016-09-30 JP JP2016194105A patent/JP2018051728A/ja active Pending
-
2017
- 2017-09-22 US US15/712,193 patent/US20180095549A1/en not_active Abandoned
- 2017-09-22 DE DE102017122010.0A patent/DE102017122010A1/de not_active Withdrawn
- 2017-09-29 CN CN201710908219.5A patent/CN107886494A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05126521A (ja) * | 1991-11-08 | 1993-05-21 | Toshiba Corp | 遠隔操作マニピユレータ用位置測定装置 |
JPH07270137A (ja) * | 1994-02-10 | 1995-10-20 | Fanuc Ltd | スポット光走査型3次元視覚センサ |
JP2010117223A (ja) * | 2008-11-12 | 2010-05-27 | Fanuc Ltd | ロボットに取付けられたカメラを用いた三次元位置計測装置 |
JP2011041990A (ja) * | 2009-08-19 | 2011-03-03 | Denso Wave Inc | ロボットの制御装置及びロボットのティーチング方法 |
US20150248759A1 (en) * | 2012-05-18 | 2015-09-03 | Google Inc. | Bundle Adjustment Based on Image Capture Intervals |
JP2013257872A (ja) * | 2012-06-08 | 2013-12-26 | Ricoh Co Ltd | 視差図からの対象追跡方法及びシステム |
JP2016070762A (ja) * | 2014-09-29 | 2016-05-09 | ファナック株式会社 | 対象物の三次元位置を検出する検出方法および検出装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403764B2 (en) * | 2020-02-14 | 2022-08-02 | Mujin, Inc. | Method and computing system for processing candidate edges |
US20220351389A1 (en) * | 2020-02-14 | 2022-11-03 | Mujin, Inc. | Method and computing system for processing candidate edges |
Also Published As
Publication number | Publication date |
---|---|
CN107886494A (zh) | 2018-04-06 |
US20180095549A1 (en) | 2018-04-05 |
DE102017122010A1 (de) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018051728A (ja) | 対象物の三次元位置を検出する検出方法および検出装置 | |
JP2016070762A (ja) | 対象物の三次元位置を検出する検出方法および検出装置 | |
JP6583734B2 (ja) | 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム | |
JP6525148B2 (ja) | 軌跡推定方法、軌跡推定装置及び軌跡推定プログラム | |
JP2016177388A (ja) | 移動***置姿勢計測装置 | |
JPWO2015125300A1 (ja) | 自己位置算出装置及び自己位置算出方法 | |
US20140211994A1 (en) | Human detection and tracking apparatus, human detection and tracking method, and human detection and tracking program | |
JP2017103688A5 (ja) | ||
JP2018153874A (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
JP2017090711A5 (ja) | ||
CN107895344B (zh) | 视频拼接装置及方法 | |
JP2014170368A (ja) | 画像処理装置、方法及びプログラム並びに移動体 | |
JP2020075327A (ja) | 制御システム | |
JP2022176190A5 (ja) | ||
JP2017147689A (ja) | 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム | |
JP6814179B2 (ja) | 3次元走査装置及び3次元モデリングの方法 | |
JP2020126383A (ja) | 動体検出装置、動体検出方法、動体検出プログラム | |
JP2018185219A (ja) | 物体認識装置 | |
JP2018106611A5 (ja) | ||
CN102778199B (zh) | 工业相机九点校正坐标变换方法 | |
JP7304016B2 (ja) | 画像処理システム | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 | |
JP2017092753A5 (ja) | ||
JP2014123815A (ja) | 画像処理装置、画像処理方法及び記録媒体 | |
JPH07136959A (ja) | ロボット位置決め方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190702 |