JP7073828B2 - 外観検査システム、設定装置および検査方法 - Google Patents

外観検査システム、設定装置および検査方法 Download PDF

Info

Publication number
JP7073828B2
JP7073828B2 JP2018054593A JP2018054593A JP7073828B2 JP 7073828 B2 JP7073828 B2 JP 7073828B2 JP 2018054593 A JP2018054593 A JP 2018054593A JP 2018054593 A JP2018054593 A JP 2018054593A JP 7073828 B2 JP7073828 B2 JP 7073828B2
Authority
JP
Japan
Prior art keywords
image pickup
pickup device
inspection target
imaging
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018054593A
Other languages
English (en)
Other versions
JP2019168270A (ja
Inventor
豊 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018054593A priority Critical patent/JP7073828B2/ja
Priority to EP19156419.4A priority patent/EP3542972A1/en
Priority to CN201910112459.3A priority patent/CN110296940A/zh
Priority to US16/278,152 priority patent/US11218642B2/en
Publication of JP2019168270A publication Critical patent/JP2019168270A/ja
Application granted granted Critical
Publication of JP7073828B2 publication Critical patent/JP7073828B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/13Moving of cuvettes or solid samples to or from the investigating station
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/416Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control of velocity, acceleration or deceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • G01N2021/0175Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing for selecting operating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0187Mechanical sequence of operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8411Application to online plant, process monitoring
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/845Objects on a conveyor
    • G01N2021/8455Objects on a conveyor and using position detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8867Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8867Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G01N2021/887Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing the measurements made in two or more directions, angles, positions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/50Machine tool, machine tool null till machine tool work handling
    • G05B2219/50362Load unload with robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Manipulator (AREA)

Description

本技術は、撮像画像を用いて対象物を検査する外観検査システム、外観検査システムに用いられる設定装置および検査方法に関する。
特開2017-15396号公報(特許文献1)には、ワークと撮像装置との相対的な位置を変化させながらワークを撮像し、撮像画像を用いてワークを検査する検査方法が開示されている。
特開2017-15396号公報
上述した従来の検査装置では、撮像中であってもワークと撮像装置との相対位置が変化するので、被写体ブレが生じ、検査精度が低下する。
本発明は、上記の問題を鑑みてなされたものであり、その目的は、対象物に対する撮像装置の相対位置を変化させながら対象物を撮像するときの被写体ブレを抑制できる外観検査システム、外観検査システムに用いられる設定装置および検査方法を提供することである。
本開示の一例によれば、外観検査システムは、対象物に対する撮像装置の相対位置を指定経路に沿って変化させながら、対象物の検査対象位置を撮像装置で撮像して外観検査を行なう。外観検査システムは、移動機構と、第1制御部と、第2制御部とを備える。移動機構は、上記の相対位置を変化させる。第1制御部は、撮像装置が検査対象位置に対応する撮像位置に到達したときに、撮像装置による撮像を実行させる。第2制御部は、撮像装置が撮像位置に到達する時刻を含む予め定められた期間中、または、撮像位置を含む予め定められた空間内に撮像装置が位置している間、指定経路に沿った相対位置の変化に伴う撮像装置の視野と検査対象位置との相対運動を打ち消す方向に撮像装置の位置および姿勢の少なくとも一方を変化させる。
この開示によれば、撮像装置が撮像位置に到達するときに、撮像視野と検査対象位置との相対運動が打ち消される。その結果、対象物に対する撮像装置の相対位置を変化させながら対象物を撮像したとしても、被写体ブレを抑制できる。
上述の開示において、移動機構は、撮像装置を動かす第1移動機構を含む。第2制御部は、第1移動機構を制御して、相対運動を打ち消す方向に撮像装置の位置および姿勢の少なくとも一方を変化させる。
この開示によれば、撮像装置の視野と検査対象位置との相対運動を打ち消す方向への動作を撮像装置に容易に実行させることができる。
上述の開示において、第1移動機構は、指定経路に沿って撮像装置を移動させる。第2制御部は、撮像装置の撮像方向が検査対象位置に近づくように撮像装置の姿勢を変化させる。
この開示によれば、撮像装置を移動させながら撮像装置の視野と検査対象位置との相対運動を打ち消すことができ、被写体ブレを抑制できる。
上述の開示において、第1移動機構は、撮像装置をスライド可能に支持するスライド部と、スライド部を移動させるロボットとを有する。ロボットは、指定経路に沿ってスライド部を移動させる。第2制御部は、スライド部を制御して、撮像装置の撮像方向が検査対象位置に近づくように撮像装置をスライドさせる。
この開示によれば、スライド部を移動させながら撮像装置の視野と検査対象位置との相対運動が打ち消すことができ、被写体ブレを抑制できる。
上述の開示において、移動機構は、相対位置が指定経路に沿って変化するように、対象物を移動させる第2移動機構をさらに含む。
この開示によれば、第1移動機構は、相対位置を指定経路に沿って変化させるための動作を行なう必要がない。そのため、第1移動機構の複雑な動きを抑制できる。
上述の開示において、第2制御部は、撮像装置の位置および姿勢の少なくとも一方を予め定められた方向に沿って変化させる。外観検査システムは、撮像位置における相対位置の移動方向と予め定められた方向とのなす角度が10度以内になるように、指定経路を設定する設定部をさらに備える。
この開示によれば、第2制御部は、撮像装置の位置および姿勢の少なくとも一方を予め定められた方向に沿って変化させることにより、指定経路に沿った移動に伴う撮像視野と検査対象位置との相対運動を確実に打ち消すことができる。
上述の開示において、予め定められた方向は、撮像装置の光軸に垂直である。この開示によれば、設定部は、撮像装置の光軸に直交する方向から10度以内の範囲を進行方向とする指定経路を設定できる。通常、対象物の表面は、撮像装置10の光軸に垂直となる場合が多い。そのため、対象物上の複数の検査対象位置を順に撮像するための指定経路を設定しやすくなる。
本開示の一例によれば、設定装置は、上記の外観検査システムに用いられ、設定部を備える。この開示によれば、第2制御部は、撮像装置の位置および姿勢の少なくとも一方を予め定められた方向に沿って変化させることにより、指定経路に沿った移動に伴う撮像視野と検査対象位置との相対運動を確実に打ち消すことができる。
本開示の一例によれば、検査方法は、対象物に対する撮像装置の相対位置を指定経路に沿って変化させながら、対象物の検査対象位置を撮像装置で撮像して外観検査を行なう。検査方法は、撮像装置が検査対象位置に対応する撮像位置に到達したときに、撮像装置による撮像を開始させるステップと、撮像装置が撮像位置に到達する時刻を含む予め定められた期間中、または、撮像位置を含む予め定められた空間内に撮像装置が位置している間、指定経路に沿った相対位置の変化に伴う撮像装置の視野と検査対象位置との相対運動を打ち消す方向に撮像装置の位置および姿勢の少なくとも一方を変化させるステップとを備える。
この開示によっても、対象物に対する撮像装置の相対位置を変化させながら対象物を撮像したとしても、被写体ブレを抑制できる。
本発明によれば、対象物に対する撮像装置の相対位置を変化させながら対象物を撮像するときの被写体ブレを抑制できる。
本実施の形態に係る外観検査システムの概要を示す模式図である。 補償制御が行なわれないときの撮像装置の位置および姿勢の変化を示す図である。 補償制御が行なわれたときの撮像装置の位置および姿勢の変化を示す図である。 補償制御が行なわれないときの撮像装置の撮像視野を示す図である。 補償制御が行なわれたときの撮像装置の撮像視野を示す図である。 図1に示す設定装置の内部構成の一例を示すブロック図である。 指定経路の一例を示す図である。 図1に示すロボットコントローラのハードウェア構成について示す模式図である。 図1に示す外観検査システムにおける補償動作の一例を示す図である。 撮像装置の角速度の変化を示す図である。 外観検査システムにおける検査方法の流れの一例を示すフローチャートである。 第1変形例に係る外観検査システムにおける補償動作の一例を示す図である。 スライド部に対する撮像装置の相対速度(スライド速度)の変化を示す図である。 第2変形例に係る外観検査システムの一部の構成の一例を示す図である。 第2変形例に係る外観検査システムにおける補償動作の一例を示す図である。 第3変形例に係る外観検査システムにおける補償動作の一例を示す図である。 第4変形例に係る外観検査システムの一部の構成の一例を示す図である。 第4変形例に係る外観検査システムにおける補償動作の一例を示す図である。 撮像装置の移動速度の変化を示す図である。 撮像装置の動作を示す図である。 指定経路の進行方向とスライド方向との関係を示す図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
§1 適用例
まず、図1を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に係る外観検査システムの概要を示す模式図である。
本実施の形態に係る外観検査システム1は、たとえば、工業製品の生産ラインなどにおいて、ステージ90上に載置されたワークW上の複数の検査対象位置を撮像し、得られた画像を用いて、ワークWの外観検査を行う。外観検査では、ワークWの傷、汚れ、異物の有無、寸法などが検査される。
ステージ90上に載置されたワークWの外観検査が完了すると、次のワークWがステージ90上に搬送される。このとき、ワークWは、ステージ90上の予め定められた位置に予め定められた姿勢で載置される。
図1に示すように、外観検査システム1は、撮像装置10と、画像処理装置20と、ロボット30と、ロボットコントローラ40と、PLC(Programmable Logic Controller)50と、設定装置60とを備える。
撮像装置10は、画像処理装置20からの撮像トリガ(撮像指示)に従って、撮像視野に存在する被写体を撮像して画像データを生成するものであり、被写体として外観検査の対象物であるワークWを撮像する。
画像処理装置20は、ワークW上の検査対象位置を撮像可能な撮像位置に撮像装置10が到達したときに、PLC50からの指令に従って、撮像装置10に撮像トリガを出力して、撮像装置10による撮像を開始させる。画像処理装置20は、撮像装置10が生成した画像データを取得する。画像処理装置20は、取得した画像データに対して予め定められた処理を実行することにより、ワークWの外観の良否を判定する。
ロボット30は、撮像装置10を移動させる第1移動機構であり、たとえば、基台31上に複数のアーム32a~32gが連結された垂直多関節ロボットである。ロボット30は、関節部33a~33cと、回転軸34a~34cとを有する。
アーム32aの一方端は基台31に固定される。アーム32bの一方端は、回転軸34aを介してアーム32aの他方端に連結される。アーム32a,32bと回転軸34aとは同軸上に位置する。アーム32bは、アーム32aに対して回転可能である。アーム32cの一方端は、関節部33aを介してアーム32bの他方端と連結される。アーム32cとアーム32bとは、関節部33aにおいて折り曲げ可能である。アーム32dの一方端は、関節部33bを介してアーム32cの他方端と連結される。アーム32dとアーム32cとは、関節部33bにおいて折り曲げ可能である。アーム32eの一方端は、回転軸34bを介してアーム32dの他方端に連結される。アーム32d,32eと回転軸34bとは同軸上に位置する。アーム32eは、アーム32dに対して回転可能である。アーム32fの一方端は、関節部33cを介してアーム32eの他方端と連結される。アーム32fとアーム32eとは、関節部33cにおいて折り曲げ可能である。アーム32gの一方端は、回転軸34cを介してアーム32fの他方端に連結される。アーム32f,32gと回転軸34cとは同軸上に位置する。アーム32gは、アーム32fに対して回転可能である。アーム32gの他方端に撮像装置10が取り付けられている。
上述したように、ワークWは、ステージ90上の予め定められた位置に予め定められた姿勢で載置される。そのため、ロボット30は、ステージ90に対する撮像装置10の相対位置および相対姿勢を変更することにより、ワークWに対する撮像装置10の相対位置および相対姿勢を変更することができる。すなわち、ロボット30は、ステージ90上の点を原点とする座標系を用いて撮像装置10を移動することにより、ワークWに対する撮像装置10の相対位置および相対姿勢を変更することができる。
ロボットコントローラ40は、ロボット30を制御して、PLC50から指令された座標値に撮像装置10を位置させる。これにより、ワークWに対する撮像装置10の相対位置が連続して変化する。さらに、ロボットコントローラ40は、ロボット30を制御して、撮像装置10が向いている方向(撮像方向)をPLC50から指令された方向に一致させる。これにより、ワークWに対する撮像装置10の相対姿勢が変化する。
設定装置60は、ワークW上の複数の検査対象位置の各々に対応する撮像装置10の位置(撮像位置)および姿勢を設定するとともに、複数の撮像位置を順に通過する、撮像装置10の経路(指定経路)を設定する。
PLC50は、撮像装置10がワークW上の複数の検査対象位置を順次撮像するように、ロボットコントローラ40および画像処理装置20を制御する。PLC50は、設定装置60によって設定された指定経路に従って撮像装置10が連続的に移動するように、ロボットコントローラ40を制御する。これにより、ロボット30は、指定経路に沿って、撮像装置10を連続的に移動させる。
さらに、PLC50は、撮像装置10が撮像位置に到達するタイミングの直前に撮像トリガを出力するように画像処理装置20を制御する。これにより、撮像装置10を連続的に移動させながら、ワークW上の複数の検査対象位置を順次撮像することができる。
ロボットコントローラ40は、撮像位置に到達する予定の時刻tを含む予め定められた補償動作期間(時刻t-Δtから時刻t+Δtまでの期間)中、被写体ブレを抑制するための補償制御を行なう。Δtは、被写体ブレを抑制するのに適した時間であり、予め定められる。本実施の形態における補償制御とは、指定経路に沿った撮像装置10の位置の変化に伴う撮像装置10の視野と検査対象位置との相対運動を打ち消す方向に撮像装置10の姿勢を変化させる制御である。
図2は、補償制御が行なわれないときの撮像装置の位置および姿勢の変化を示す図である。図3は、補償制御が行なわれたときの撮像装置の位置および姿勢の変化を示す図である。撮像装置10は、指定経路Aに沿って連続的に移動する。撮像装置10は、時刻tにワークWを撮像する。時刻tは、ワークW上の検査対象位置Bに対応する撮像位置Fに撮像装置10が到達するタイミングである。
図4は、補償制御が行なわれないときの撮像装置の撮像視野Cを示す図である。図5は、補償制御が行なわれたときの撮像装置の撮像視野Cを示す図である。
図2に示されるように、補償制御が行なわれない場合、撮像装置10は、姿勢を変化させることなく移動する。図4に示されるように、検査対象位置Bは、撮像装置10が撮像位置Fにある時刻tには撮像装置10の撮像視野Cの中心に位置する。しかしながら、検査対象位置Bは、時刻t-Δtでは撮像視野Cの一方端に位置し、時刻t+Δtでは撮像視野Cの他方端に位置する。検査対象位置Bは、撮像視野Cに対して移動方向D1に相対的に運動する。したがって、撮像装置10が撮像位置Fに到達する時刻tで撮像すると、被写体ブレが生じる。
図3に示されるように、補償制御が行なわれる場合、ロボットコントローラ40は、撮像装置10の撮像視野Cと検査対象位置Bとの相対運動(図4に示される移動方向D1の運動)を打ち消す方向に、撮像装置10の姿勢を変化させる。具体的には、ロボットコントローラ40は、時刻t-Δtから時刻t+Δtまでの間、指定経路Aに沿って撮像装置10を移動させながら、指定経路Aの進行方向の逆方向である補償方向D2に撮像方向D3を回転させる。これにより、図5に示されるように、検査対象位置Bは撮像視野C内の略同じ場所に位置する。すなわち、時刻tにおいて、撮像視野Cと検査対象位置Bとの相対運動が打ち消される。その結果、ワークWに対する撮像装置10の相対位置を変化させながらワークWを撮像したとしても、被写体ブレを抑制できる。
§2 具体例
次に、本実施の形態に係る外観検査システムの一例について説明する。
<A.設定装置の構成>
図6は、設定装置60の内部構成の一例を示すブロック図である。図6に示す例では、設定装置60は、表示部61と、記憶部62と、設定部63とを備える。表示部61は、たとえばタッチパネルである。設定部63は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて指定経路を設定を行なう。記憶部62は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、設定部63で実行される処理プログラム、指定経路の設定に関する情報を示すデータ等を記憶する。
設定部63は、たとえば、記憶部62に格納されたワークWの設計上の表面を示す3次元設計データ(たとえばCAD(Computer-Aided Design)データ)を読み込み、ユーザ入力に従って、当該3次元設定データで示される表面上の複数の検査対象位置を決定する。設定部63は、3次元設計データによって示されるワークWの模式図を表示部61に表示させ、ユーザから検査対象位置の指定入力を受け付ける。
設定部63は、複数の検査対象位置の各々について、当該検査対象位置に焦点を合わせて撮像可能な撮像装置10の位置(撮像位置)を設定し、設定した複数の撮像位置を順に通過する指定経路を設定する。このとき、設定部63は、予め定められた要件を満たすように最適化された指定経路を設定する。たとえば、予め定められた要件が移動時間を最短とする要件である場合、設定部63は、複数の撮像位置を順に通過する経路候補のうちで、移動時間が最短となる経路候補を指定経路として設定する。たとえば、設定部63は、予め定められた要件で示される項目(たとえば移動時間)を評価するための評価値を経路候補ごとに算出し、算出した評価値に基づいて指定経路を設定すればよい。さらに、複数の検査対象位置の各々について複数の撮像位置候補が存在する場合も、設定部63は、評価値に基づいて、当該複数の撮像位置候補の中の1つを撮像位置として選択すればよい。このようにして、予め定められた要件を満たすように最適化された指定経路が設定される。
設定部63は、設定した指定経路を示す情報を生成する。指定経路を示す情報は、各撮像位置のXYZ座標値と、各撮像位置における撮像装置10の姿勢を示すパラメータθx,θy,θzと、撮像装置10が一定時間ごとに到達すべき指定経路上の点のXYZ座標値,θx,θyおよびθzとを含む。XYZ座標値は、ステージ90上の点を原点とするXYZ座標系における座標値である。θxは、撮像装置10の光軸をXY平面に投影した線とX軸とのなす角度であり、θyは、撮像装置10の光軸をYZ平面に投影した線とY軸とのなす角度であり、θzは、撮像装置10の光軸をZX平面に投影した線とZ軸とのなす角度である。
設定部63は、撮像装置10を指定経路に沿って予め定められた速度で移動させるように、撮像装置10が一定時間ごとに到達すべき指定経路上の点を設定すればよい。
さらに、設定部63は、撮像装置10を指定経路の起点から各撮像位置に移動するまでの予定時間を算出する。当該予定時間は、上記の予め定められた速度と、指定経路の起点から撮像位置までの指定経路に沿った距離とに基づいて算出される。
図7は、指定経路の一例を示す図である。図7に示す例では、ワークWに対して検査対象位置B1~B7が設定され、検査対象位置B1~B7に対して撮像位置F1~F7がそれぞれ設定される。さらに、撮像位置F1~F7を順に通過する指定経路Aが設定される。
<B.PLC>
PLC50は、設定装置60によって生成された指定経路を示す情報を取得し、当該情報に応じた指令を画像処理装置20およびロボットコントローラ40に出力する。
PLC50は、設定装置60によって生成された指定経路を示す情報に含まれる、一定時間ごとに通過すべき指定経路上の各点のXYZ座標値,θx,θyおよびθzを、当該一定時間間隔で順次ロボットコントローラ40に指示する。これにより、ロボットコントローラ40およびロボット30は、指示されたXYZ座標値の位置に撮像装置10を移動させるとともに、指示されたθx,θyおよびθzで示される方向に撮像方向が一致するように撮像装置10の姿勢を変更する。
PLC50は、撮像装置10の実際の位置および姿勢を示すXYZ座標値,θx,θyおよびθzをロボット30から取得し、取得したXYZ座標値,θx,θyおよびθzと撮像位置のXYZ座標値,θx,θyおよびθzとを比較する。PLC50は、ロボットから取得したXYZ座標値,θx,θyおよびθzと撮像位置のXYZ座標値,θx,θyおよびθzとの差が所定範囲内になったタイミングで、撮像トリガを出力するように画像処理装置20に指示する。当該所定範囲は、撮像装置10の移動速度、撮像トリガを出力してから撮像装置10における露光開始するまでの遅延時間等を考慮して設定される。
<C.ロボットコントローラのハードウェア構成>
図8は、ロボットコントローラ40のハードウェア構成について示す模式図である。ロボットコントローラ40は、CPU(Central Processing Unit)142、メインメモリ143、ハードディスク144および通信インターフェイス(I/F)146を含む。これらの各部は、バス141を介して、互いにデータ通信可能に接続される。
CPU142は、ハードディスク144にインストールされた処理プログラム145を含むプログラム(コード)をメインメモリ143に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ143は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。
ハードディスク144は、ロボットコントローラ40が備える内部メモリであって、不揮発性の記憶装置であって、処理プログラム145等の各種プログラムを記憶する。なお、ハードディスク144に加えて、あるいは、ハードディスク144に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
処理プログラム145は、ロボットコントローラ40による補償制御の手順を示すプログラムである。処理プログラム145等の各種プログラムは、ハードディスク144に保存されている必要はなく、ロボットコントローラ40と通信可能なサーバや、ロボットコントローラ40と直接接続可能な外部メモリに保存されていてもよい。たとえば、外部メモリにロボットコントローラ40で実行される各種プログラムおよび各種プログラムで用いられる各種パラメータが格納された状態で流通し、ロボットコントローラ40は、この外部メモリから各種プログラムおよび各種パラメータを読み出す。外部メモリは、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。あるいは、ロボットコントローラ40と通信可能に接続されたサーバなどからダウンロードしたプログラムやパラメータをロボットコントローラ40にインストールしてもよい。
通信I/F146は、PLC50とロボット30との間で各種データをやり取りする。なお、通信I/F146は、サーバとCPU142との間でデータをやり取りしてもよい。通信I/F146は、PLC50とロボット30との間で各種データをやり取りするためのネットワークに対応するハードウェアを含む。
なお、本実施の形態に係る処理プログラム145は、他のプログラムの一部に組み込まれて提供されるものであってもよい。また、代替的に、処理プログラム145の実行により提供される処理の一部もしくは全部を専用のハードウェア回路が実行してもよい。
<D.補償制御>
図9および図10を参照して、ロボットコントローラ40の補償制御について説明する。ロボットコントローラ40の補償制御による撮像装置10の動作を「補償動作」という。
ロボットコントローラ40は、指定経路に沿った撮像装置10の移動を開始した時刻に、指定経路の起点から各撮像位置に移動するまでの予定時間を加えることにより、各撮像位置に撮像装置10が到達する予定の時刻を算出する。当該予定時間は、設定装置60の設定部63によって算出される。ロボットコントローラ40は、設定装置60から予定時間を予め取得しておく。
図9は、図1に示す外観検査システムにおける補償動作の一例を示す図である。ロボットコントローラ40(図1参照)は、ワークWの検査対象位置B(i-1),Bi,B(i+1)を順に撮像させるために、指定経路Aに沿って撮像装置10が移動するようにロボット30を制御する。図9には、検査対象位置Biを撮像するときの補償動作の例が示される。検査対象位置Biに対応する撮像位置Fiに到達する予定の時刻をtiとするとき、図9(a)には時刻ti-Δtのときの撮像装置10の位置および姿勢が示される。図9(b)には時刻tiのときの撮像装置10の位置および姿勢が示される。図9(c)には時刻ti+Δtのときの撮像装置10の位置および姿勢が示される。
図9に示す例では、検査対象位置B(i-1),Bi,B(i+1)と、撮像装置10の撮像方向D3と、ロボット30のアーム32a,32b,32f,32gおよび関節部33a,33cと、指定経路Aとが同一平面(紙面)上に位置している。ロボット30の関節部33bは、紙面奥側に位置している。撮像方向D3は、撮像装置10の光軸に沿った方向である。
ロボットコントローラ40は、ロボット30を制御して、撮像装置10を指定経路Aに沿って移動させる。さらに、図9(a)に示されるように、ロボットコントローラ40は、時刻ti-Δtまでの期間において、撮像方向D3上に検査対象位置Biが位置するように撮像装置10の姿勢を変化させておく。その後、ロボットコントローラ40は、時刻ti-Δtにおいて、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に撮像装置10の姿勢を変化させる補償制御を開始する。
図9(a)~(c)に示されるように、ロボットコントローラ40は、ロボット30を制御して、指定経路Aの進行方向と逆方向である補償方向D2に撮像方向D3が回転するように、撮像装置10の姿勢を変化させる。具体的には、ロボットコントローラ40は、基準軸Eを中心に撮像装置10を回転させる。基準軸Eは、撮像装置10の中心点を通り、指定経路Aおよび撮像方向D3に直交する軸である。これにより、撮像装置10は、撮像視野と検査対象位置B2との相対運動を打ち消す方向に回転する補償動作を行なう。
図9(a)~(c)に示す補償動作が行なわれた後、撮像装置10は、次の検査対象位置B(i+1)に対応する撮像位置付近まで移動し、再度補償動作を行なう。このように、撮像装置10は、全ての検査対象位置に対応する撮像位置について補償動作を行なう。
図10は、撮像装置の角速度と、撮像トリガ信号と、撮像装置の状態との変化を示す図である。図10に示されるように、ロボットコントローラ40は、時刻ti-αから時刻ti+αまでの角速度の積分値が0となる関数に従って、基準軸Eを中心に撮像装置10を回転させる。時刻ti-αから時刻ti-Δtまでの期間(事前動作期間)において、撮像装置10は事前動作を行なう。時刻ti-Δtから時刻ti+Δtまでの期間(補償動作期間)において、撮像装置10は上記の補償動作を行なう。時刻ti+Δtから時刻ti+αまでの期間(事後動作期間)において、撮像装置10は事後動作を行なう。
具体的には、ロボットコントローラ40は、撮像装置10が撮像位置Fiに到達する予定の時刻tiよりもαだけ前の時刻ti-αになると、基準軸E(図9参照)を中心とした撮像装置10の回転を開始させる。αは、Δtよりも長い時間に設定される。このとき、ロボットコントローラ40は、撮像方向が検査対象位置に近づくように撮像装置10を回転させる。これにより、撮像装置10は、撮像方向を検査対象位置に近づける事前動作を行なう。
その後、ロボットコントローラ40は、時刻ti-Δtになると、ロボット30を制御して、撮像装置10の回転方向を反転させる。すなわち、撮像装置10は、撮像方向が補償方向に回転するように、基準軸Eを中心に回転する補償動作を開始する。ロボットコントローラ40は、撮像装置10の角速度を単調に増加させる。ロボットコントローラ40は、指定経路に沿った撮像装置10の移動速度をv、検査対象位置と撮像装置10との距離をdとするとき、撮像装置10が撮像位置に到達する時刻tiを中心とする期間Tにおける角速度ωがv/d(rad/s)となるように、角速度を変化させる。そのため、時刻tiを中心とする期間Tにおいて、撮像視野に対する検査対象位置の相対位置の移動が一旦静止する。期間Tは、撮像装置10の露光時間よりも長く、2×Δtよりも短い。
期間Tにおいて、画像処理装置20からの撮像トリガを受けた撮像装置10は、予め定められた時間だけ照明および露光を行なう。撮像装置10による露光時間の真ん中の時刻が時刻tiに一致するように、撮像トリガを出力するタイミングが設定される。すなわち、撮像装置10の移動速度、撮像トリガを出力してから撮像装置10における露光開始するまでの遅延時間(たとえな数10μs)等を考慮して、PLC50は、時刻tiよりも少し早いタイミングで撮像トリガを出力するように画像処理装置20を制御する。
期間Tを過ぎると、ロボットコントローラ40は、時刻ti+Δtにおいて撮像装置10の角速度が0となるように、撮像装置10の角速度を単調に減少させる。ロボットコントローラ40は、時刻ti+Δtになると撮像装置10の回転方向を再度反転させる。これにより、撮像装置10は、指定経路に直交する方向に撮像方向を近づける事後動作を行なう。ロボットコントローラ40は、時刻ti+αのときに撮像方向が指定経路に直交するように撮像装置10の回転を継続させ、時刻ti+αにおいて、撮像装置10の回転を停止させる。
このようにして、時刻ti-Δtから時刻ti+Δtまでの間、撮像装置10の撮像視野の中心付近に検査対象位置が位置する。さらに、時刻tiにおいて、撮像装置10の撮像視野と検査対象位置との相対運動が打ち消される。その結果、撮像装置10が撮像位置に到達した時刻tiに撮像された画像において、被写体ブレが抑制される。
<E.画像処理装置>
画像処理装置20は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置、通信I/F等を含み、情報処理を行なう。補助記憶装置は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等で構成され、CPUが実行するプログラム等を記憶する。
画像処理装置20は、PLC50から撮像指令を受けると撮像トリガを撮像装置10に出力する。
画像処理装置20は、検査対象位置に対して撮像された画像を処理し、当該検査対象位置の良否判定結果を出力する。たとえば、画像処理装置20は、特開2007-240434号公報に記載のように、予め記憶しておいた良品ワークの画像との間の差分画像を2値化し、しきい値を超えた画素数と基準値とを照合することにより、検査対象位置の良否を判定する。
画像処理装置20は、判定結果を図示しない表示装置に表示する。もしくは、画像処理装置20は、設定装置60が備える表示部61に判定結果を表示してもよい。
<F.外観検査システムにおける検査方法の流れ>
図11は、外観検査システム1における検査方法の流れの一例を示すフローチャートである。図11に示す例では、まずステップS1において、PLC50は、設定装置60によって設定された指定経路を示す情報を読み出す。
次にステップS2において、PLC50は、指定経路に従って撮像装置10を移動させるための指令をロボットコントローラ40に出力する。具体的には、PLC50は、撮像装置10が一定時間ごとに到達すべき指定経路上の点のXYZ座標値,θx,θyおよびθzを、当該一定時間間隔でロボットコントローラ40に出力する。これにより、ロボットコントローラ40は、ロボット30を制御して、指定経路に沿った撮像装置10の移動を開始させる。さらに、ロボットコントローラ40は、ロボット30を制御して、撮像方向が指定経路に直交し、かつ、撮像方向がワークWに向くように、撮像装置10の姿勢も制御する。
次にステップS3において、撮像装置10は、ロボットコントローラ40の制御によって、時刻t1-αから事前動作を実行する。時刻t1-αは、撮像装置10が1番目の撮像位置に到達する予定の時刻t1から時間αだけ前の時刻である。事前動作は、上述したように、撮像方向を検査対象位置B1に近づける動作である。
次にステップS4において、補償動作期間の開始の時刻t1-Δtに到達したか否かが判定される。時刻t1-Δtは、撮像装置10が1番目の撮像位置に到達する予定の時刻t1から時間Δtだけ前の時刻である。補償動作期間の開始の時刻t1-Δtに到達していない場合(S4でNO)、処理はステップS4に戻される。
時刻t1-Δtに到達した場合(S4でYES)、ステップS5において、ロボットコントローラ40は、ロボット30を制御して、撮像装置10の補償動作を開始させる。補償動作は、上述したように、撮像視野と検査対象位置との相対運動を打ち消す方向に、基準軸Eを中心に回転する動作である。
次にステップS6において、撮像装置10が撮像位置に到達したか否かが判定される。撮像装置10のXYZ座標値と撮像位置のXYZ座標値とが一致したときに撮像装置10が撮像位置に到達したと判定される。撮像装置10が撮像位置に到達していない場合(S6でNO)、処理はステップS6に戻される。撮像装置10が撮像位置に到達した場合(S6でYES)、ステップS7において、撮像装置10は、画像処理装置20からの撮像トリガを受けて、ワークWの検査対象位置を撮像する。
次にステップS8において、補償動作期間の終了の時刻t1+Δtに到達したか否かが判定される。時刻t1+Δtは、撮像装置10が1番目の撮像位置に到達する予定の時刻t1から時間Δtだけ後の時刻である。補償動作期間の終了の時刻t1+Δtに到達していない場合(S8でNO)、処理はステップS8に戻される。
時刻t1+Δtに到達した場合(S8でYES)、ステップS9において、ロボットコントローラ40は、ロボット30を制御して、撮像装置10の補償動作を終了し、事後動作を実行させる。事後動作は、上述したように、指定経路に直交する方向に撮像方向を近づける動作である。
次にステップS10において、PLC50は、次の撮像位置があるか判定する。次の撮像位置がある場合(S10でYES)、ステップS3~S9が繰り返される。なお、上記では、1番目の撮像位置に対するステップS3~S9について説明したが、ステップS10の後に繰り返されるステップS3~S9では、次の撮像位置に対応する処理が実行される。これにより、撮像装置10は、指定経路に沿って移動しながら、複数の検査対象位置を順次撮像することができる。
次の撮像位置がない場合(S10でNO)、ステップS11において、画像処理装置20は、撮像装置10によって撮像された画像に基づいてワークWの外観の良否を判定し、判定結果を出力する。これにより、処理が終了する。
<G.外観検査システムの第1変形例>
上記の説明では、撮像装置10は、撮像視野と検査対象位置との相対運動を打ち消す方向に回転する補償動作を行なう。しかしながら、撮像装置10は、撮像視野と検査対象位置との相対運動を打ち消す方向に並進移動する補償動作を行なってもよい。
図12は、第1変形例に係る外観検査システムにおける補償動作の一例を示す図である。図12には、検査対象位置Biを撮像するときの撮像装置10の補償動作が示される。図12(a)には時刻ti-Δtのときの撮像装置10の位置および姿勢が示される。図12(b)には時刻tiのときの撮像装置10の位置および姿勢が示される。図12(c)には時刻ti+Δtのときの撮像装置10の位置および姿勢が示される。
図12に示されるように、第1変形例に係る外観検査システムは、撮像装置10を移動させる第1移動機構として、ロボット30の他に、スライド部35を有する。スライド部35は、アーム32gの他方端に取り付けられ、撮像装置10を予め定められたスライド方向に沿ってスライド可能に支持する。
ロボットコントローラ40は、ロボット30を制御して、スライド部35を指定経路Aに沿って移動させる。ここで、撮像装置10がスライド部35の中心に固定されていると仮定したときの当該撮像装置10の中心点を「仮想点」とよぶ。ロボットコントローラ40は、PCLから指示された位置(一定時間ごとに通過すべき指定経路上の各点)に仮想点が位置するように、ロボット30を制御する。これにより、ロボット30は、一定時間ごとに通過すべき指定経路上の各点を仮想点が通過するように、スライド部35を移動させる。
さらに、図12(a)に示されるように、ロボットコントローラ40は、時刻ti-Δtまでの期間において、スライド部35を制御して、指定経路Aの進行方向下流側の端部まで撮像装置10をスライドさせておく。その後、ロボットコントローラ40は、時刻ti-Δtにおいて、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に撮像装置10の位置を変化させる補償制御を開始する。
図12(a)~(c)に示されるように、ロボットコントローラ40は、スライド部35を制御して、指定経路Aの進行方向と逆方向である補償方向D2に撮像装置10をスライドさせる。これにより、撮像装置10は、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に移動する補償動作を行なう。図12(c)に示されるように、時刻ti+Δtにおいて、撮像装置10は、スライド部35上における指定経路Aの進行方向上流側の端部に到達する。
図12(a)~(c)に示す補償動作が行なわれた後、撮像装置10は、次の検査対象位置B(i+1)に対応する撮像位置付近まで移動し、再度補償動作を行なう。このように、撮像装置10は、全ての検査対象位置に対応する撮像位置について補償動作を行なう。
図13は、スライド部35に対する撮像装置10の相対速度(以下、スライド速度という)の変化を示す図である。図13に示されるように、ロボットコントローラ40は、時刻ti-αから時刻ti+αまでのスライド速度の積分値が0となる関数に従って、撮像装置10をスライドさせる。
ロボットコントローラ40は、仮想点が撮像位置Fiに到達する予定の時刻tiよりもαだけ前の時刻ti-αになると、指定経路Aの進行方向への撮像装置10のスライドを開始させる。これにより、撮像装置10は、撮像方向を検査対象位置に近づける事前動作を行なう。
その後、ロボットコントローラ40は、時刻ti-Δtになると、スライド部35を制御して、撮像装置10のスライド方向を反転させる。すなわち、撮像装置10は、指定経路の進行方向と逆方向の補償方向にスライドする補償動作を開始する。ロボットコントローラ40は、スライド部35に対する撮像装置10の相対速度を単調に増加させる。ロボットコントローラ40は、指定経路に沿ったスライド部35の移動速度をvとするとき、時刻tiを中心とする期間Tにおけるスライド速度がvとなるように、スライド速度を変化させる。そのため、時刻tiを中心とする期間Tにおいて、撮像装置10の撮像視野に対する検査対象位置との相対運動が一旦静止する。
期間Tを過ぎると、ロボットコントローラ40は、時刻ti+Δtにおけるスライド速度が0となるように、スライド速度を単調に減少させる。ロボットコントローラ40は、時刻ti+Δtになると、撮像装置10のスライド方向を再度反転させる。これにより、撮像装置10は、スライド部35の中心に戻る事後動作を行なう。ロボットコントローラ40は、時刻ti+αのときに撮像装置10がスライド部35の中心に位置するように、スライド部35を制御する。
<H.外観検査システムの第2変形例>
図14は、第2変形例に係る外観検査システムの一部の構成の一例を示す図である。図14に示す例の外観検査システムは、ワークWを搬送方向D4に沿って移動させる搬送ベルト91を備える。搬送ベルト91は、ワークWに対する撮像装置10の相対位置を変化させるために、ワークWを移動させる第2移動機構を構成する。設定装置60は、ワークW上の搬送方向D4に沿った複数の点を検査対象位置として設定する場合、複数の検査対象位置を順に撮像可能な位置を撮像装置10の指定位置として設定すればよい。これにより、撮像装置10が指定位置に固定される。しかしながら、ワークWが搬送方向D4に沿って移動するため、ワークWに対する撮像装置10の相対位置は、搬送方向D4に平行であり、かつ、搬送方向D4と逆方向を進行方向とする経路(指定経路)に沿って変化する。
図15は、第2変形例に係る外観検査システムにおける補償動作の一例を示す図である。図15には、検査対象位置Biを撮像するときの補償動作が示される。ワークWに対する撮像装置10の相対位置が撮像位置Fiに到達する予定の時刻をtiとするとき、図15(a)には時刻ti-ΔtのときのワークWに対する撮像装置10の相対位置および相対姿勢が示される。図15(b)には時刻tiのときのワークWに対する撮像装置10の相対位置および相対姿勢が示される。図15(c)には時刻ti+ΔtのときのワークWに対する撮像装置の相対位置および相対姿勢が示される。なお、第2変形例に係る外観検査システムにおいて撮像装置10は指定位置に略固定されているが、ワークWに対する撮像装置10の相対位置の変化の方向を矢印A’で示している。すなわち、矢印A’は、ワークWに対する撮像装置10の相対位置の経路を仮想的に示している。
図15(a)に示されるように、ロボットコントローラ40は、時刻ti-Δtまでの期間において、ロボット30を制御して、撮像方向D3上に検査対象位置Biが位置するように撮像装置10の姿勢を変化させておく。その後、ロボットコントローラ40は、時刻ti-Δtにおいて、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に撮像装置10の姿勢を変化させる補償制御を開始する。
図15(a)~(c)に示されるように、ロボットコントローラ40は、ロボット30を制御して、矢印A’と逆方向である補償方向D2に撮像方向D3が回転するように、撮像装置10の姿勢を変化させる。具体的には、ロボットコントローラ40は、基準軸Eを中心に撮像装置10を回転させる。これにより、撮像装置10は、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に回転する補償動作を行なう。
図15(a)~(c)に示す補償動作が行なわれた後、撮像装置10は、次の検査対象位置B(i+1)に対応する撮像位置付近まで移動し、再度補償動作を行なう。このように、撮像装置10は、全ての検査対象位置に対応する撮像位置について補償動作を行なう。
第2変形例に係る外観検査システムにおける撮像装置10の角速度の変化は、上記の実施の形態と同様である。すなわち、撮像装置10は、図10に示される角速度の関数に従って、基準軸Eを中心に回転すればよい。
具体的には、撮像装置10は、時刻ti-αまで、撮像方向が搬送方向D4に直交する方向となる姿勢に保持される。撮像装置10は、時刻ti-αから時刻ti-Δtまでの事前動作期間において、撮像方向が検査対象位置に近づくように回転する事前動作を行なう。撮像装置10は、時刻ti-Δtから時刻ti+Δtまでの補償動作期間において、撮像方向が補償方向に回転するように、基準軸Eを中心に回転する補償動作を行なう。時刻tiを中心とする期間Tにおける撮像装置10の角速度は、ワークWの移動速度をv、検査対象位置と撮像装置10との距離をdとするとき、v/d(rad/s)となる。そのため、時刻tiにおいて、撮像装置10の撮像視野に対する検査対象位置との相対運動が一旦静止する。撮像装置10は、時刻ti+Δtから時刻ti+αまでの事後動作期間において、撮像方向が搬送方向D4に直交する方向となる姿勢に戻る事後動作を行なう。
<I.外観検査システムの第3変形例>
第3変形例に係る外観検査システムは、第2変形例に係る外観検査システムと比較して、補償動作において撮像装置10が姿勢ではなく位置を変化させる点で相違する。
図16は、第3変形例に係る外観検査システムにおける補償動作の一例を示す図である。図16には、検査対象位置Biを撮像するときの補償動作が示される。ワークWに対する撮像装置10の相対位置が撮像位置Fiに到達する予定の時刻をtiとするとき、図16(a)には時刻ti-ΔtのときのワークWに対する撮像装置10の相対位置および相対姿勢が示される。図16(b)には時刻tiのときのワークWに対する撮像装置10の相対位置および相対姿勢が示される。図16(c)には時刻ti+ΔtのときのワークWに対する撮像装置の相対位置および相対姿勢が示される。なお、第3変形例に係る外観検査システムにおいて撮像装置10は指定位置に略固定されているが、ワークWに対する撮像装置10の相対位置の変化の方向を矢印A’で示している。すなわち、矢印A’は、ワークWに対する撮像装置10の相対位置の経路の進行方向を仮想的に示している。
図16(a)に示されるように、ロボットコントローラ40は、時刻ti-Δtまでの期間において、ロボット30を制御して、撮像方向D3上に検査対象位置Biが位置するように撮像装置10の位置を変化させておく。その後、ロボットコントローラ40は、時刻ti-Δtにおいて、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に撮像装置10の位置を変化させる補償制御を開始する。
図16(a)~(c)に示されるように、ロボットコントローラ40は、ロボット30を制御して、矢印A’と逆方向である補償方向D2に撮像装置10を並進移動させる。これにより、撮像装置10は、撮像視野と検査対象位置B2との相対運動を打ち消す方向に並進移動する。
図16(a)~(c)に示す補償動作が行なわれた後、撮像装置10は、次の検査対象位置B(i+1)に対応する撮像位置付近まで移動し、再度補償動作を行なう。このように、撮像装置10は、全ての検査対象位置に対応する撮像位置について補償動作を行なう。
第3変形例における撮像装置10の並進移動速度の変化は、図15に示す第1変形例のスライド速度の変化と同様である。すなわち、撮像装置10は、図15に示されるスライド速度の関数と同様の関数に従って、補償方向D2に沿って移動すればよい。
具体的には、撮像装置10は、時刻ti-αまで設定装置60によって設定された指定位置に位置する。撮像装置10は、時刻ti-αから時刻ti-Δtまでの事前動作期間において、指定位置よりも矢印A’の方向に移動する事前動作を行なう。撮像装置10は、時刻ti-Δtから時刻ti+Δtまでの補償動作期間において、矢印A’の逆方向の補償方向D2に移動する。時刻tiを中心とする期間Tにおける撮像装置10の移動速度は、ワークWの移動速度と同一である。そのため、時刻tiを中心とする期間Tにおいて、撮像装置10の撮像視野に対する検査対象位置との相対運動が一旦静止する。撮像装置10は、時刻ti+Δtから時刻ti+αまでの事後動作期間において、指定位置に戻る事後動作を行なう。
<J.外観検査システムの第4変形例>
図17は、第4変形例に係る外観検査システムの一部の構成の一例を示す図である。図17に示す例の外観検査システムは、回転方向D5に沿って、ワークWを回転させる回転テーブル92を備える。回転テーブル92は、ワークWに対する撮像装置10の相対位置を変化させるために、ワークWを移動させる第2移動機構を構成する。設定装置60は、ワークW上の回転方向D5に沿った複数の点を検査対象位置として設定する場合、複数の検査対象位置を順に撮像可能な位置を撮像装置10の指定位置として設定すればよい。これにより、撮像装置10が指定位置に固定される。しかしながら、ワークWが回転方向D5に沿って移動するため、ワークWに対する撮像装置10の相対位置は、回転テーブル92の回転軸を中心とした円弧状であり、かつ、回転方向D5と逆方向を進行方向とする経路に沿って変化する。
図18は、第4変形例に係る外観検査システムにおける補償動作の一例を示す図である。図18には、検査対象位置Biを撮像するときの補償動作が示される。ワークWに対する撮像装置10の相対位置が撮像位置Fiに到達する予定の時刻をtiとするとき、図18(a)には時刻ti-ΔtのときのワークWに対する撮像装置10の相対位置および相対姿勢が示される。図18(b)には時刻tiのときのワークWに対する撮像装置10の相対位置および相対姿勢が示される。図18(c)には時刻ti+ΔtのときのワークWに対する撮像装置の相対位置および相対姿勢が示される。なお、第4変形例に係る外観検査システムにおいて撮像装置10は指定位置に略固定されているが、ワークWに対する撮像装置10の相対位置の変化の方向を矢印A’で示している。すなわち、矢印A’は、ワークWに対する撮像装置10の相対位置の経路の進行方向を仮想的に示している。
図18(a)に示されるように、ロボットコントローラ40は、時刻ti-Δtまでの期間において、ロボット30を制御して、撮像方向D3上に検査対象位置Biが位置するように撮像装置10の位置を変化させておく。その後、ロボットコントローラ40は、時刻ti-Δtにおいて、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に撮像装置10の位置を変化させる補償制御を開始する。
図18(a)~(c)に示されるように、ロボットコントローラ40は、ロボット30を制御して、矢印A’と逆方向である補償方向D2に撮像装置10を移動させる。これにより、撮像装置10は、撮像視野と検査対象位置Biとの相対運動を打ち消す方向に移動する補償動作を行なう。
図18(a)~(c)に示す補償動作が行なわれた後、撮像装置10は、次の検査対象位置B(i+1)に対応する撮像位置付近まで移動し、再度補償動作を行なう。このように、撮像装置10は、全ての検査対象位置に対応する撮像位置について補償動作を行なう。
図19は、撮像装置10の移動速度の変化を示す図である。図19に示されるように、ロボットコントローラ40は、時刻ti-αから時刻ti+αまでの移動速度の積分値が0となる関数に従って、撮像装置10を移動させる。
ロボットコントローラ40は、ワークWに対する撮像装置10の相対位置が撮像位置Fiに到達する予定の時刻tiよりもαだけ前の時刻ti-αになると、矢印A’の方向への撮像装置10の移動を開始させる。これにより、撮像装置10は、撮像方向を検査対象位置Biに近づける事前動作を行なう。
その後、ロボットコントローラ40は、時刻ti-Δtになると、ロボット30を制御して、撮像装置10の移動方向を反転させる。すなわち、撮像装置10は、補償方向D2に移動する補償動作を開始する。ロボットコントローラ40は、撮像装置10の移動速度を単調に増加させる。ロボットコントローラ40は、ワークWの角速度をω、回転テーブル92の回転軸Oと撮像装置10との距離をDとするとき、時刻tiを中心とする期間Tにおける撮像装置10の移動速度がω×Dとなるように、撮像装置10の移動速度を変化させる。そのため、時刻tiを中心とする期間Tにおいて、撮像装置10の撮像視野に対する検査対象位置Biとの相対運動が一旦静止する。
期間Tを過ぎると、ロボットコントローラ40は、時刻ti+Δtにおける移動速度が0となるように、撮像装置10の移動速度を単調に減少させる。ロボットコントローラ40は、時刻ti+Δtになると、撮像装置10の移動方向を再度反転させる。これにより、撮像装置10は、指定位置に戻る事後動作を行なう。ロボットコントローラ40は、時刻ti+αのときに撮像装置10が指定位置に位置するように、ロボット30を制御する。
<K.補償制御の変形例>
図20は、撮像装置10の動作を示す図である。図20には、撮像装置10に固有のローカル座標系であるUVW座標が示される。撮像装置10の撮像方向D3は、U軸上に位置する。V軸およびW軸は、撮像装置10内の点を通り、U軸に垂直である。V軸およびW軸は互いに直交する。
撮像装置10の動作は、(1)U軸に平行な方向の直線運動、(2)V軸に平行な方向の直線運動、(3)W軸に平行な方向の直線運動、(4)U軸を回転軸とする回転運動(ロール方向D6の回転運動)、(5)V軸を回転軸とする回転運動(ピッチ方向D7の回転運動)、(6)W軸を回転軸とする回転運動(ヨー方向D8の回転運動)とに分解できる。
ワークWに対する撮像装置10の相対位置の経路(指定経路)が撮像方向D3に垂直である場合には、上記の(2)および(3)の少なくとも一方の直線運動によって、指定経路に沿った当該相対位置の移動を完全に補償することができる。もしくは、上記(5)および(6)の少なくとも一方の回転運動によっても、指定経路に沿った当該相対位置の移動を近似的に補償することができる。補償動作における撮像装置10の回転角度が小さければ、撮像視野と検査対象位置との相対運動を精度良く打ち消すことができる。しかしながら、補償動作における撮像装置10の回転運動の角度が大きくなると、撮像視野と検査対象位置との相対運動を精度良く打ち消すことができない。
ワークWに対する撮像装置10の相対位置の経路(指定経路)が撮像方向D3に平行である場合には、上記の(1)の直線運動によって、指定経路に沿った当該相対位置の移動を完全に補償することができる。もしくは、撮像装置10のズーム倍率が可変である場合には、当該ズーム倍率を調整することにより、指定経路に沿った当該相対位置の移動を近似的に補償することができる。この場合、撮像装置10の焦点位置を調整することが好ましい。ただし、ズーム倍率および焦点位置は、撮像装置10が撮像位置に到達するタイミングに同期して調整される。さらに、時刻ti-Δtから時刻ti+Δtまでの補償動作期間において、ズーム倍率および焦点位置は、線形に変化するように制御されることが好ましい。
さらに、ワークWに対する撮像装置10の相対位置を指定経路に沿って変化させる際に、ワークWに対する撮像装置10の相対姿勢も変化させてもよい。相対姿勢の変化の方向がU軸を中心とする回転方向である場合には、上記(4)の回転運動によって、当該相対姿勢の変化を完全に補償することができる。相対姿勢の変化の方向がU軸を中心とする回転方向と異なる場合には、上記(5)および(6)の少なくとも一方の回転運動によって、当該相対姿勢の変化を完全に補償することができる。
なお、ワークWに対する撮像装置10の相対姿勢を変化させる方法としては、撮像装置10とは別の機構(たとえば、上記のロボット30)を用いる方法の他に、撮像装置10内の制御によって撮像装置10の光軸方向を変化させる方法もある。たとえば、液体レンズの種類の中には、電極への印加電圧を変化させることにより、光軸方向を制御できるものがある。このような液体レンズを含む撮像装置を用いる場合には、液体レンズの電極への印加電圧を制御することにより、ロボット30を用いることなく、撮像装置10の光軸方向を変更できる。
<L.設定装置の変形例>
設定装置60は、撮像装置10が補償動作を行ないやすいような指定経路を設定するようにしてもよい。以下に、撮像装置10がスライド部35にスライド可能に支持される形態(図12参照)を例にとり説明する。
スライド部35は、予め定められたスライド方向に沿ってのみ撮像装置10をスライド可能である。図12に示す例では、スライド方向は、撮像装置10の撮像方向(光軸に沿った方向)に垂直である。指定経路の進行方向とスライド方向とが直交すると、ロボットコントローラ40は、指定経路に沿ったスライド部35の移動に伴う撮像装置10の視野と検査対象位置との相対運動を打ち消す方向に、撮像装置10の位置を変化させる補償制御ができない。そのため、ロボットコントローラ40が補償制御を確実に実行できるように、設定装置60は、撮像位置における指定経路の進行方向とスライド方向とのなす角度が10度以内になるように、指定経路を設定することが好ましい。指定経路の進行方向は、ワークWに対する撮像装置10の相対位置の移動方向と同じである。
図21は、指定経路の進行方向とスライド方向との関係を示す図である。図21において、実線矢印はスライド方向を示し、点線矢印は指定経路Aの進行方向を示す。設定装置60は、撮像位置F1における指定経路の進行方向とスライド方向とのなす角度θ1と、撮像位置F2における指定経路の進行方向とスライド方向とのなす角度θ2とが10度以内になるように指定経路を設定する。撮像位置における指定経路の進行方向は、撮像位置における指定経路の接線に沿った方向である。
設定装置60の設定部63は、複数の撮像位置を繋ぐ経路候補の中から、各撮像位置における指定経路の進行方向とスライド方向とのなす角度が10度以内になるという制約を満たす経路候補を指定経路として選択すればよい。当該制約を満たす経路候補が複数存在する場合、設定部63は、予め定められた要件で示される項目を評価するための評価値に基づいて、当該複数の経路候補の中の1つを指定経路として設定すればよい。
図9,図15,図16および図18に示す補償動作において、ロボット30の制約上、補償動作を行なうことが可能な方向が制限される場合も同様に指定経路が設定される。すなわち、設定部63は、複数の撮像位置を繋ぐ経路候補の中から、各撮像位置における指定経路の進行方向と補償動作を行なうことが可能な方向とのなす角度が10度以内になる経路候補を指定経路として設定する。
<M.その他の変形例>
上記の説明では、外観検査システム1は、撮像装置10を移動させる第1移動機構として垂直多関節ロボットであるロボット30を備える。しかしながら、外観検査システム1は、撮像装置10を移動させる第1移動機構として、たとえば3軸の直交ロボットを備えてもよい。この場合、第1移動機構は、3軸の直交ロボットの他に、図12に示されるようなスライド部35、または、撮像装置10を回転可能に支持し、Z軸に対する撮像装置10の視野方向の角度を調整する角度調整機構をさらに含むことが好ましい。スライド部35または角度調整機構は、直交ロボットに取り付けられる。ロボットコントローラ40は、スライド部35または角度調整機構を指定経路に沿って移動させるとともに、撮像位置においてスライド部35または角度調整機構を制御して撮像装置10に補償動作を実行させる。
図9に示す例では、撮像装置10の撮像方向D3と、ロボット30のアーム32a,32b,32f,32gおよび関節部33a,33cとが同一平面上に位置するものとした。しかしながら、ロボット30の動作は、これに限定されるものではなく、アーム32a~32gおよび関節部33a~33cが同一平面上に位置してもよいし、アーム32a(32b)とアーム32cとアーム32d(32e)とアーム32f(32g)とが互いにねじれの位置にあってもよい。
上記の説明では、ロボットコントローラ40は、撮像位置に到達する予定の時刻tiを含む予め定められた補償動作期間(時刻ti-Δtから時刻ti+Δtまでの期間)中、被写体ブレを抑制するための補償制御を行なうものとした。しかしながら、ロボットコントローラ40は、ロボット30の位置情報を補完的に用いて、補償制御を開始してもよい。たとえば、ロボット30は、関節部33a~33cおよび回転軸34a~34cの各々に取り付けられたエンコーダを有し、現在の位置および姿勢を示す位置情報を生成し、ロボットコントローラ40に出力する。ロボットコントローラ40は、現在の位置情報と指定経路を示す情報とに基づいて、撮像装置10が撮像位置に到達する予定の時刻tiを修正し、修正後の時刻tiからΔtだけ前の時点に、補償制御を開始すればよい。これにより、稼働中のロボット30に想定外の負荷が与えられ、予定の時刻tiに時間ずれが発生した場合にも、ロボットコントローラ40は、適切なタイミングで補償制御を開始できる。
もしくは、ロボットコントローラ40は、位置情報を用いて、撮像装置10が撮像位置を含む予め定められた空間内に位置している間、被写体ブレを抑制するための補償制御を行なってもよい。
上記の説明では、画像処理装置20が撮像トリガを撮像装置10に出力するものとした。しかしながら、画像処理装置20の代わりにPLC50が撮像トリガを出力してもよい。また、画像処理装置20は、PLC50とロボットコントローラ40との処理を行なうように構成されていてもよい。画像処理装置20は、PLC50の処理を行なうように構成されている場合、さらに設定装置60の処理を行なうように構成されていてもよい。
<N.作用・効果>
以上のように、本実施の形態の外観検査システム1において、画像処理装置20またはPLC50は、撮像装置10が検査対象位置に対応する撮像位置に到達したときに、撮像装置10による撮像を実行させる。ロボットコントローラ40は、撮像装置10が撮像位置に到達する時刻を含む予め定められた補償動作期間中、または、撮像位置を含む予め定められた空間内に撮像装置10が位置している間、補償制御を行なう。補償制御は、撮像装置10の視野と検査対象位置との相対運動を打ち消す方向に撮像装置10の位置および姿勢の少なくとも一方を変化させる制御である。
上記の構成によれば、撮像装置が撮像位置に到達するときに、撮像視野と検査対象位置との相対運動が打ち消される。その結果、ワークWに対する撮像装置10の相対位置を変化させながらワークWを撮像したとしても、被写体ブレを抑制できる。
ロボットコントローラ40は、撮像装置10を動かすロボット30を制御して、撮像装置10の視野と検査対象位置との相対運動を打ち消す方向に撮像装置10の位置および姿勢の少なくとも一方を変化させる。これにより、撮像装置10の視野と検査対象位置との相対運動を打ち消す方向への動作を撮像装置10に容易に実行させることができる。
ロボット30は、指定経路に沿って撮像装置10を移動させる。ロボットコントローラ40は、撮像装置10の撮像方向が検査対象位置に近づくように撮像装置10の姿勢を変化させる。これにより、撮像装置10を移動させながら撮像装置10の視野と検査対象位置との相対運動が打ち消すことができ、被写体ブレを抑制できる。
外観検査システム1は、撮像装置10を動かす機構として、撮像装置10をスライド可能に支持するスライド部35と、スライド部35を移動させるロボット30とを有してもよい。この場合、ロボット30は、指定経路に沿ってスライド部35を移動させる。ロボットコントローラ40は、スライド部35を制御して、撮像装置10の撮像方向が検査対象位置に近づくように撮像装置10をスライドさせる。これによっても、スライド部35を移動させながら撮像装置10の視野と検査対象位置との相対運動が打ち消すことができ、被写体ブレを抑制できる。
外観検査システム1は、ワークWに対する撮像装置10の相対位置を変化させるための移動機構として、当該相対位置が指定経路に沿って変化するようにワークWを移動させる搬送ベルト91または回転テーブル92を備えてもよい。この場合、ロボット30は、相対位置を指定経路に沿って変化させるための動作を行なう必要がない。そのため、ロボット30の複雑な動きを抑制できる。
ロボットコントローラ40は、補償制御の際に、撮像装置10の位置および姿勢の少なくとも一方を予め定められた方向(たとえばスライド方向)に沿って変化させる。外観検査システム1は、撮像位置における相対位置の移動方向と予め定められた方向とのなす角度が10度以内になるように、指定経路を設定する設定部63をさらに備える。これにより、ロボットコントローラ40は、撮像装置10の位置および姿勢の少なくとも一方を予め定められた方向に沿って変化させることにより、指定経路に沿った移動に伴う撮像視野と検査対象位置との相対運動を確実に打ち消すことができる。
予め定められた方向は、たとえば撮像装置10の光軸に垂直である。これにより、設定部63は、撮像装置10の撮像方向(光軸に沿った方向)に直交する方向から10度以内の範囲を進行方向とする指定経路を設定できる。通常、ワークWの表面は、撮像装置10の光軸に垂直となる場合が多い。そのため、ワークW上の複数の検査対象位置を順に撮像するための指定経路を設定しやすくなる。
<O.付記>
以上のように、本実施の形態および変形例は以下のような開示を含む。
(構成1)
対象物(W)に対する撮像装置(10)の相対位置を指定経路に沿って変化させながら、前記対象物(W)の検査対象位置を前記撮像装置(10)で撮像して外観検査を行なう外観検査システム(1)であって、
前記相対位置を変化させる移動機構(30,35,91,92)と、
前記撮像装置(10)が前記検査対象位置に対応する撮像位置に到達したときに、前記撮像装置(10)による撮像を実行させる第1制御部(20,50)と、
前記撮像装置(10)が前記撮像位置に到達する時刻を含む予め定められた期間中、または、前記撮像位置を含む予め定められた空間内に前記撮像装置(10)が位置している間、前記指定経路に沿った前記相対位置の変化に伴う前記撮像装置(10)の視野と前記検査対象位置との相対運動を打ち消す方向に前記撮像装置(10)の位置および姿勢の少なくとも一方を変化させる第2制御部(40)とを備える、外観検査システム(1)。
(構成2)
前記移動機構(30,35,91,92)は、前記撮像装置(10)を動かす第1移動機構(30,35)を含み、
前記第2制御部(40)は、前記第1移動機構(30,35)を制御して、前記相対運動を打ち消す方向に前記撮像装置(10)の位置および姿勢の少なくとも一方を変化させる、構成1に記載の外観検査システム(1)。
(構成3)
前記第1移動機構(30,35)は、前記指定経路に沿って前記撮像装置(10)を移動させ、
前記第2制御部(40)は、前記撮像装置(10)の撮像方向が前記検査対象位置に近づくように前記撮像装置(10)の姿勢を変化させる、構成2に記載の外観検査システム(1)。
(構成4)
前記第1移動機構(30,35)は、前記撮像装置(10)をスライド可能に支持するスライド部(35)と、前記スライド部(35)を移動させるロボット(30)とを有し、
前記ロボット(30)は、前記指定経路に沿って前記スライド部(35)を移動させ、
前記第2制御部(40)は、前記スライド部(35)を制御して、前記撮像装置(10)の撮像方向が前記検査対象位置に近づくように前記撮像装置(10)をスライドさせる、構成2に記載の外観検査システム(1)。
(構成5)
前記移動機構(30,35,91,92)は、前記相対位置が前記指定経路に沿って変化するように、前記対象物(W)を移動させる第2移動機構(91,92)をさらに含む、構成2に記載の外観検査システム(1)。
(構成6)
前記第2制御部(40)は、前記撮像装置(10)の位置および姿勢の少なくとも一方を予め定められた方向に沿って変化させ、
前記外観検査システム(1)は、
前記撮像位置における前記相対位置の移動方向と前記予め定められた方向とのなす角度が10度以内になるように、前記指定経路を設定する設定部(63)をさらに備える、構成1から5のいずれかに記載の外観検査システム(1)。
(構成7)
前記予め定められた方向は、前記撮像装置(10)の光軸に垂直である、構成6に記載の外観検査システム(1)。
(構成8)
構成6または7に記載の外観検査システム(1)に用いられ、前記設定部(63)を備える設定装置(60)。
(構成9)
対象物(W)に対する撮像装置(10)の相対位置を指定経路に沿って変化させながら、前記対象物(W)の検査対象位置を前記撮像装置(10)で撮像して外観検査を行なう検査方法であって、
前記撮像装置(10)が前記検査対象位置に対応する撮像位置に到達したときに、前記撮像装置(10)による撮像を開始させるステップと、
前記撮像装置(10)が前記撮像位置に到達する時刻を含む予め定められた期間中、または、前記撮像位置を含む予め定められた空間内に前記撮像装置(10)が位置している間、前記指定経路に沿った前記相対位置の変化に伴う前記撮像装置(10)の視野と前記検査対象位置との相対運動を打ち消す方向に前記撮像装置(10)の位置および姿勢の少なくとも一方を変化させるステップとを備える、検査方法。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合せても、実施することが意図される。
1 外観検査システム、10 撮像装置、20 画像処理装置、30 ロボット、31 基台、32a~32g アーム、33a~33c 関節部、34a~34c,O 回転軸、35 スライド部、40 ロボットコントローラ、50 PLC、60 設定装置、61 表示部、62 記憶部、63 設定部、90 ステージ、91 搬送ベルト、92 回転テーブル、141 バス、143 メインメモリ、144 ハードディスク、145 処理プログラム、146 通信I/F、A 指定経路、B,B1~B7,Bi 検査対象位置、C 撮像視野、D1 移動方向、D2 補償方向、D3 撮像方向、D4 搬送方向、D5 回転方向、D6 ロール方向、D7 ピッチ方向、D8 ヨー方向、E 基準軸、F,F1~F7,Fi 撮像位置、W ワーク。

Claims (7)

  1. 対象物に対する撮像装置の相対位置を指定経路に沿って変化させながら、前記対象物の複数の検査対象位置の各々を前記撮像装置で撮像して外観検査を行なう外観検査システムであって、
    前記複数の検査対象位置の指定を受け付け、指定された前記複数の検査対象位置を撮像可能な複数の撮像位置をそれぞれ設定し、設定した前記複数の撮像位置を順に通過する指定経路を設定する設定部と、
    前記相対位置を変化させる移動機構と、
    前記撮像装置が前記複数の撮像位置の各々に到達したときに、前記撮像装置による撮像を実行させる第1制御部と、
    前記撮像装置が前記撮像位置に到達する時刻を含む予め定められた期間中、または、前記撮像位置を含む予め定められた空間内に前記撮像装置が位置している間、前記指定経路に沿った前記相対位置の変化に伴う前記撮像装置の視野と前記検査対象位置との相対運動を打ち消すように前記撮像装置を予め定められた方向に沿って並進移動させる第2制御部とを備え、
    前記設定部は、前記撮像位置における前記指定経路の進行方向と前記予め定められた方向とのなす角度が10度以内になるように、前記指定経路を設定する、外観検査システム。
  2. 前記移動機構は、前記撮像装置を動かす第1移動機構を含み、
    前記第2制御部は、前記第1移動機構を制御して、前記相対運動を打ち消す方向に前記撮像装置を並進移動させる、請求項1に記載の外観検査システム。
  3. 前記第1移動機構は、前記撮像装置をスライド可能に支持するスライド部と、前記スライド部を移動させるロボットとを有し、
    前記ロボットは、前記指定経路に沿って前記スライド部を移動させ、
    前記第2制御部は、前記スライド部を制御して、前記撮像装置の光軸が前記検査対象位置に近づくように前記撮像装置をスライドさせる、請求項2に記載の外観検査システム。
  4. 前記移動機構は、前記相対位置が前記指定経路に沿って変化するように、前記対象物を移動させる第2移動機構をさらに含む、請求項2に記載の外観検査システム。
  5. 前記予め定められた方向は、前記撮像装置の光軸に垂直である、請求項1に記載の外観検査システム。
  6. 対象物に対する撮像装置の相対位置を指定経路に沿って変化させながら、前記対象物の複数の検査対象位置の各々を前記撮像装置で撮像して外観検査を行なう外観検査システムに備えられる設定装置であって、
    前記外観検査システムは、
    前記相対位置を変化させる移動機構と、
    前記撮像装置が撮像位置に到達したときに、前記撮像装置による撮像を実行させる第1制御部と、
    前記撮像装置が前記撮像位置に到達する時刻を含む予め定められた期間中、または、前記撮像位置を含む予め定められた空間内に前記撮像装置が位置している間、前記指定経路に沿った前記相対位置の変化に伴う前記撮像装置の視野と前記検査対象位置との相対運動を打ち消すように前記撮像装置を予め定められた方向に沿って並進移動させる第2制御部とを備え、
    前記設定装置は、
    前記複数の検査対象位置の指定を受け付け、指定された前記複数の検査対象位置を撮像可能な複数の撮像位置をそれぞれ設定し、設定した前記複数の撮像位置を順に通過する指定経路を設定する設定部を備え、
    前記設定部は、前記複数の撮像位置の各々における前記指定経路の進行方向と前記予め定められた方向とのなす角度が10度以内になるように、前記指定経路を設定する、設定装置。
  7. 対象物に対する撮像装置の相対位置を指定経路に沿って変化させながら、前記対象物の複数の検査対象位置の各々を前記撮像装置で撮像して外観検査を行なう検査方法であって、
    前記複数の検査対象位置の指定を受け付け、指定された前記複数の検査対象位置を撮像可能な複数の撮像位置をそれぞれ設定し、設定した前記複数の撮像位置を順に通過する指定経路を設定するステップと、
    前記撮像装置が前記複数の撮像位置の各々に到達したときに、前記撮像装置による撮像を開始させるステップと、
    前記撮像装置が前記撮像位置に到達する時刻を含む予め定められた期間中、または、前記撮像位置を含む予め定められた空間内に前記撮像装置が位置している間、前記指定経路に沿った前記相対位置の変化に伴う前記撮像装置の視野と前記検査対象位置との相対運動を打ち消すように前記撮像装置を予め定められた方向に沿って並進移動させるステップとを備え、
    前記設定するステップは、
    前記撮像位置における前記指定経路の進行方向と前記予め定められた方向とのなす角度が10度以内になるように、前記指定経路を設定するステップを含む、検査方法。
JP2018054593A 2018-03-22 2018-03-22 外観検査システム、設定装置および検査方法 Active JP7073828B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018054593A JP7073828B2 (ja) 2018-03-22 2018-03-22 外観検査システム、設定装置および検査方法
EP19156419.4A EP3542972A1 (en) 2018-03-22 2019-02-11 Appearance inspection system, setting device, and inspection method
CN201910112459.3A CN110296940A (zh) 2018-03-22 2019-02-13 外观检查***、设定装置以及检查方法
US16/278,152 US11218642B2 (en) 2018-03-22 2019-02-17 Appearance inspection system, setting device, and inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018054593A JP7073828B2 (ja) 2018-03-22 2018-03-22 外観検査システム、設定装置および検査方法

Publications (2)

Publication Number Publication Date
JP2019168270A JP2019168270A (ja) 2019-10-03
JP7073828B2 true JP7073828B2 (ja) 2022-05-24

Family

ID=65408950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018054593A Active JP7073828B2 (ja) 2018-03-22 2018-03-22 外観検査システム、設定装置および検査方法

Country Status (4)

Country Link
US (1) US11218642B2 (ja)
EP (1) EP3542972A1 (ja)
JP (1) JP7073828B2 (ja)
CN (1) CN110296940A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7364882B2 (ja) * 2019-10-25 2023-10-19 キョーラク株式会社 検査システム
CN112113921B (zh) * 2020-08-12 2021-11-26 华南农业大学 一种用于待测样品间麦角硫因含量高低的高通量检测方法及其应用
JP2022092831A (ja) * 2020-12-11 2022-06-23 セイコーエプソン株式会社 ソフトウェアスイッチプログラム、選択肢の選択方法および情報処理装置
EP4333421A1 (en) * 2021-04-30 2024-03-06 Sony Group Corporation Control system, control method, and camera control device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000046533A (ja) 1998-07-27 2000-02-18 Tamagawa Seiki Co Ltd Icの文字検査方法及び装置
JP2004340643A (ja) 2003-05-14 2004-12-02 Sony Corp 実装基板検査装置
US20130147939A1 (en) 2011-12-09 2013-06-13 Canon Kabushiki Kaisha Image acquisition apparatus and method for adjusting image acquisition apparatus
JP2016533484A (ja) 2013-10-03 2016-10-27 レニショウ パブリック リミテッド カンパニーRenishaw Public Limited Company カメラプローブによって物体を検査する方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
JP4020144B2 (ja) 2006-03-10 2007-12-12 オムロン株式会社 表面状態の検査方法
JP2007248241A (ja) * 2006-03-15 2007-09-27 Omron Corp 表面状態の検査方法および表面状態検査装置
JP4954006B2 (ja) * 2007-09-28 2012-06-13 三洋電機株式会社 クラック幅計測システム、操作装置、クラック幅計測方法、及びクラック幅計測プログラム
FR2940449A1 (fr) * 2008-12-24 2010-06-25 Snecma Procede de controle non destructif d'une piece mecanique
JP6032564B2 (ja) * 2011-09-22 2016-11-30 パナソニックIpマネジメント株式会社 立体画像用撮影装置、及び立体画像用撮影方法
JP6750841B2 (ja) * 2015-06-26 2020-09-02 キヤノン株式会社 検査方法、検査装置、処理装置、プログラム及び記録媒体
JP6272567B2 (ja) * 2015-06-30 2018-01-31 富士フイルム株式会社 移動式撮像装置及び移動式撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000046533A (ja) 1998-07-27 2000-02-18 Tamagawa Seiki Co Ltd Icの文字検査方法及び装置
JP2004340643A (ja) 2003-05-14 2004-12-02 Sony Corp 実装基板検査装置
US20130147939A1 (en) 2011-12-09 2013-06-13 Canon Kabushiki Kaisha Image acquisition apparatus and method for adjusting image acquisition apparatus
JP2016533484A (ja) 2013-10-03 2016-10-27 レニショウ パブリック リミテッド カンパニーRenishaw Public Limited Company カメラプローブによって物体を検査する方法

Also Published As

Publication number Publication date
CN110296940A (zh) 2019-10-01
US11218642B2 (en) 2022-01-04
EP3542972A1 (en) 2019-09-25
JP2019168270A (ja) 2019-10-03
US20190297266A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP7073828B2 (ja) 外観検査システム、設定装置および検査方法
JP6870636B2 (ja) 外観検査システム、画像処理装置、設定装置および検査方法
JP6430986B2 (ja) ロボットを用いた位置決め装置
JP6167622B2 (ja) 制御システムおよび制御方法
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP6836571B2 (ja) ロボット装置
JP7167453B2 (ja) 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
JP6421722B2 (ja) 画像処理装置、校正方法および校正プログラム
CN110087828B (zh) 信息处理装置及加工不良确定方法
US11080836B2 (en) Appearance inspection system, image processing device, imaging device, and inspection method
US10664939B2 (en) Position control system, position detection device, and non-transitory recording medium
CN110581946B (zh) 控制***、控制装置、图像处理装置以及存储介质
CN109465817B (zh) 机器人***、机器人控制装置和被加工物的制造方法
JP3644991B2 (ja) ロボット−センサシステムにおける座標系結合方法
JP2018001393A (ja) ロボット装置、ロボット制御方法、プログラム及び記録媒体
JP2011056646A (ja) ロボットアームの制御方法
JP2019155522A (ja) 制御装置、制御方法、およびプログラム
JP2018194542A (ja) 画像処理システム、画像処理装置および画像処理プログラム
WO2023030902A1 (en) Determination of contour fidelity for a laser cutting machine
JP7318190B2 (ja) 形状測定装置、形状測定方法及び形状測定プログラム
JP7172151B2 (ja) 制御システム、制御装置およびプログラム
JP7052840B2 (ja) 位置特定装置、位置特定装置の制御方法、情報処理プログラム、および記録媒体
JP7035902B2 (ja) 計測システム、計測方法、および計測プログラム
JP6852502B2 (ja) ロボット装置及びロボット装置位置獲得方法
JP2024041395A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7073828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150