CN110196576B - 图像处理***以及设定方法 - Google Patents
图像处理***以及设定方法 Download PDFInfo
- Publication number
- CN110196576B CN110196576B CN201811518015.1A CN201811518015A CN110196576B CN 110196576 B CN110196576 B CN 110196576B CN 201811518015 A CN201811518015 A CN 201811518015A CN 110196576 B CN110196576 B CN 110196576B
- Authority
- CN
- China
- Prior art keywords
- evaluation
- lighting
- image
- region
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 515
- 238000005286 illumination Methods 0.000 claims abstract description 124
- 238000005259 measurement Methods 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000007547 defect Effects 0.000 claims description 18
- 230000001678 irradiating effect Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0514—Separate unit
- G03B2215/0517—Housing
- G03B2215/0539—Ringflash
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31282—Data acquisition, BDE MDE
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种能够更简单地进行照明的点亮设定的图像处理***及设定方法。控制装置(100)将评估用点亮模式(xi)逐一评估而算出评估值(Pi),使用基于评估值(Pi)所决定的系数(li)将各评估用点亮模式(xi)线性组合,以决定测量用点亮模式(L)。
Description
技术领域
本发明涉及一种进行使用对象物的外观图像的图像测量的图像处理***、以及用于对图像测量所用的照明部进行点亮设定的设定方法。
背景技术
在工厂自动化(Factory Automation,FA)领域等中利用图像处理技术,此图像处理技术在来自照明装置的光的照明下拍摄对象物(以下也称为“工件(work)”),根据所生成的图像数据而获取与工件有关的信息。
作为图像处理技术领域中利用的照明装置,开发出了多种多样的照明装置。例如,日本专利特开2009-128345号公报(专利文献1)中公开了一种具备色彩光互不相同的多个照明部的照明装置。而且,日本专利特开2015-232487(专利文献2)中公开了一种具备照明方向不同的多个照明部的照明装置。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2009-128345号公报
[专利文献2]日本专利特开2015-232487号公报
发明内容
[发明所要解决的问题]
对于照明颜色、照明方向等可设定条件多的照明装置而言,其照明模式(pattern)多,当用户针对所有照明颜色、照明方向等而从一开始设定时,可能照明装置的点亮设定变得复杂。
本发明的目的在于提供一种能够如所述那样更简单地进行照明的点亮设定的图像处理***以及设定方法。
[解决问题的技术手段]
根据本公开的一例,提供一种图像处理***,其进行使用对象物的外观图像的图像测量。图像处理***包含:摄像部,拍摄对象物;照明部,由用于向对象物照射光的多个照明元件所构成,且能针对每个照明元件调整发光强度;图像获取部,按照互不相同的多个评估用点亮模式各自而从照明部照射照明光,并且从摄像部获取与各评估用点亮模式对应的至少一个以上的评估图像;设定受理部,受理由图像获取部所获取的评估图像中成为评估对象的评估对象图像、及作为一个图像的部分区域且成为评估对象的评估对象区域的设定;特征量计算部,根据评估对象区域而算出特征量,其中所述评估对象区域和与各评估用点亮模式对应的评估对象图像有关;评估值计算部,基于由特征量计算部所得的特征量,算出与评估用点亮模式对应的评估值;以及模式决定部,使用基于由评估值计算部所得的评估值所决定的系数,求出评估用点亮模式的线性组合,由此决定用于图像测量的点亮模式。
根据本公开,用于图像测量的点亮模式是通过求出评估用点亮模式的线性组合而决定,因而能够更简单地进行照明部的点亮设定。
所述公开中,评估用点亮模式可为照明元件中的一个或彼此位于附近的照明元件的集合点亮,其他不点亮的模式。
根据本公开,评估值是指表示对从规定方向入射至对象物的光的评估的值,从而能够对入射至对象物的来自所有方向的各光分别进行评估。
所述公开中,照明部可构成为能够选择性地照射以第一波长为主波长的光、及以波段与第一波长不同的第二波长为主波长的光。
根据本公开,不仅是发光强度,光的颜色也能够变更,因而能够进行精度更高的图像测量。
所述公开中,设定受理部可还受理与评估对象图像及评估对象区域对应的标签信息。而且,评估值计算部可基于由评估对象区域所得的特征量、与和评估对象区域对应的标签信息的对应关系,算出评估值。
根据本公开,算出评估值的方法的自由度提升,用户能够按照图像测量的内容而算出评估值。
所述公开中,标签信息可为表示评估对象图像及评估对象区域中存在缺陷的状态的信息、或表示不存在缺陷的状态的信息。
根据本公开,能够决定适于缺陷检查的点亮模式。
所述公开中,特征量可为对比度、颜色平均、颜色偏差、边缘量中的至少一个。
根据本公开,能够基于各种特征量来对评估用点亮模式进行评估,因而用户能够按照图像测量的内容来对评估用点亮模式进行评估。
所述公开中,评估值计算部可基于对评估对象图像及评估对象区域中的两个区域算出的特征量之差的大小、或者对评估对象图像及评估对象区域中的一个区域算出的特征量、或对区域算出的特征量的变动的大小,算出评估值。
根据本公开,能够在图像测量中,决定图像内的特征量的偏差变大那样的点亮模式。
所述公开中,模式决定部可设定多个包含从多个评估用点亮模式中选择的一个或多个评估用点亮模式的评估用点亮模式的组合,并且算出与各组合所含的评估用点亮模式对应的评估值的合计。
根据本公开,能够基于评估值的合计而容易地进行包含评估用点亮模式的组合的点亮模式的评估。
所述公开中,模式决定部可显示组合所示的点亮模式及对应的评估值的合计,并且受理对所显示的组合的选择,将所选择的组合所示的点亮模式决定为用于图像测量的点亮模式。
根据本公开,用户能够基于评估值的合计而选择点亮模式,因而能够设定说明性高的测量用点亮模式。而且,将评估值的合计与表示点亮模式的信息相关联地显示,因而用户能够在确认了所选择的点亮模式的基础上,决定测量用点亮模式。
根据本公开的另一例,提供一种设定方法,用于对照明部进行点亮设定,所述照明部是由用于向对象物照射光的多个照明元件所构成,且能够针对每个照明元件调整发光强度。设定方法包括下述步骤:按照互不相同的多个评估用点亮模式各自而从照明部照射照明光,并且从摄像部获取与各评估用点亮模式对应的至少一个以上的评估图像;根据与各评估用点亮模式对应的所述一个以上的评估图像中的评估对象图像内的评估对象区域而算出特征量;基于所算出的特征量,算出与评估用点亮模式对应的评估值;以及使用基于所算出的评估值所决定的系数,求出评估用点亮模式的线性组合,由此决定用于图像测量的点亮模式。
根据本公开,用于图像测量的点亮模式是通过求出评估用点亮模式的线性组合而决定,因而能够更简单地进行照明部的点亮设定。
[发明的效果]
本发明提供一种能够更简单地进行照明的点亮设定的图像处理***及设定方法。
本公开的所述及其他目的、特征、方面及优点将由与附图相关联而理解的与本发明有关的下述详细说明来表明。
附图说明
图1是表示图像处理***1的结构例的图。
图2是表示图像处理***1的基本结构的示意图。
图3是表示照明装置的XZ截面的图。
图4是照明装置的底面图。
图5是表示控制装置的硬件结构的示意图。
图6是表示决定测量用点亮模式的流程的图。
图7是表示将关注区域的特征量、与非关注区域的特征量之差设为评估值的示例的图。
图8是表示将关注区域内的特征量的变动量设为评估值的示例的图。
图9是用于设定算出评估值所需要的信息的用户接口画面。
图10是用于设定算出评估值所需要的信息的用户接口画面。
图11是表示计算条件指定区域的图。
图12是用于选择测量用点亮模式的用户接口画面。
图13(a)及图13(b)是选择了一个点亮模式时的用户接口画面。
图14是示意性地表示控制装置的功能结构的一例的图。
图15是表示评估方法的变形例的图。
图16是表示评估用点亮模式的变形例1的图。
图17是表示评估用点亮模式的变形例2的图。
符号的说明
1:图像处理***
4:照明装置
8:相机
40:部分区域
46:开口部
47:反射板
100:控制装置
101:显示部
102:触摸屏
110:处理器
112:RAM
114:显示控制器
116:***控制器
118:控制器
120:硬盘
122:装置用接口
124:输入接口
128:通信接口
130:存储卡接口
136:存储卡
150:控制程序
160:设定信息
162:评估用点亮模式信息164:评估对象信息
166:第一条件信息
168:第二条件信息
210:图像获取部
212:照明控制部
214:拍摄控制部
220:设定受理部
230:特征量计算部
240:评估值计算部
250:模式决定部
252:系数设定部
254:得分值计算部
256:条件提取部
258:决定部
260:条件决定部
600、700:用户接口画面
620:第一范围指定区域
622、632:编辑按钮
630:第二范围指定区域
634:区域形状选择按钮群
636:形状尺寸选择区域
640:计算条件指定区域
641:对象工件指定区域
642:使用区域选择标签页
643:计算方法指定区域
644:特征量选择标签页
645:前处理标签页
646:光量设定区域
647:搜索按钮
650、740:图像显示区域
652:总体显示区域
654:显示控制图标群
655:变更按钮
656:放大显示区域
657:评估范围框
658:关注区域框
710:结果区域
712:照明图像
716:选择框
A:特征量
H1:关注区域
H2:非关注区域
L:测量用点亮模式
P:评估值
Q:得分值
R:评估图像
W:对象物
b:光量
l:系数
x:评估用点亮模式
具体实施方式
§1适用例
参照图1对本发明的适用例进行说明。图1是表示图像处理***1的结构例的图。
图像处理***1是用于进行使用对象物W的外观图像的图像测量的***。图像处理***1包括作为拍摄对象物W的摄像部的一例的相机8、作为向对象物W照射光的照明部的一例的照明装置4、以及控制图像处理***1中执行的处理的控制装置100。
照明装置4是由用于向对象物W照射光的多个照明元件(部分区域40)所构成。图1的示例中,照明装置4是由13个部分区域40所构成。图1中,将部分区域40的符号局部省略。此外,部分区域40的个数不限于图1所示的示例,只要为2个以上即可。部分区域40的大小可互不相同,另外也可彼此相同。部分区域40可彼此配置于同一平面上,另外也可配置于互不相同的平面上,只要配置成能够从各部分区域40向对象物W照射光即可。照明装置4能够针对每个部分区域40调整发光强度。此处,所谓能够调整发光强度,当然包括针对每个部分区域40进行点亮或熄灭,而且也包括阶段性地调整从各部分区域40照射的光的强度。
控制装置100典型而言具有按照通用计算机体系结构(computer architecture)的结构。控制装置100包含图像获取部210、设定受理部220、特征量计算部230、评估值计算部240及模式决定部250。典型而言,图像获取部210、设定受理部220、特征量计算部230、评估值计算部240及模式决定部250是通过控制装置100所具备的中央处理器(CentralProcessing Unit,CPU)执行控制装置100等中存储的程序而实现。
图像获取部210按照互不相同的多个评估用点亮模式xi各自而从照明装置4向对象物W照射照明光,并从相机8获取与各评估用点亮模式xi对应的至少一个以上的评估图像R。所谓点亮模式,是指规定了各部分区域40的发光强度。
设定受理部220受理对各评估用点亮模式xi进行评估时的评估对象(评估范围)的设定。设定受理部220在针对每个评估用点亮模式xi而获取了多个评估图像R时,从多个评估图像R中受理评估对象的评估对象图像的设定,并且受理作为评估对象图像内的评估对象的、评估对象区域的设定。设定受理部220在针对每个评估用点亮模式xi而获取了一个评估图像R时,受理评估对象区域的设定。
特征量计算部230根据各评估对象图像的评估对象区域而算出特征量。评估对象图像是针对每个评估用点亮模式xi而获得。因此,特征量A是针对每个评估用点亮模式xi而获得。此外,当针对一个评估用点亮模式xi而设定有多个评估对象区域时,特征量A是针对每一个评估用点亮模式xi而算出多个。
评估值计算部240基于所算出的特征量A,算出与评估用点亮模式xi对应的评估值Pi。例如,评估值Pi是表示评估用点亮模式xi以何种程度适于图像测量的值。
模式决定部250使用基于评估值计算部240所算出的评估值Pi所决定的系数li,求出评估用点亮模式xi的线性组合,由此决定用于图像测量的测量用点亮模式L。系数是针对每个评估用点亮模式xi而决定,是表示一个评估用点亮模式xi相对于用于图像测量的测量用点亮模式L的影响程度的值。
根据本实施方式的图像处理***1,将评估用点亮模式xi逐一评估而算出评估值Pi,使用基于评估值Pi所决定的系数li将各评估用点亮模式xi线性组合,决定测量用点亮模式L。因此,无需尝试使用多个部分区域40所实现的所有点亮模式,而仅在预定的多个评估用点亮模式xi下进行拍摄即可,从而能够更简单地进行照明装置4的点亮设定。
§2具体例
<A.图像处理***结构>
图2是表示图像处理***1的基本结构的示意图。图像处理***1包含控制装置100、相机8及照明装置4作为主要的结构元件。控制装置100与相机8彼此可数据通信地连接。照明装置4经由相机8而由控制装置100所控制。
此外,以下为了方便说明,将从照明装置4照射光的方向规定为Z轴,将纸面的左右方向设为X轴,将相对于X轴及Z轴而垂直的轴设为Y轴。而且,将经光照射的一侧设为下。而且,将从图2的记载为“前(Front)”的位置与照明装置对峙时的右侧设为右,左侧设为左,近前侧设为前,内里侧设为后。
在照明装置4的上部设有开口部46,以使相机8能够从照明装置4的上部拍摄对象物W。此外,本实施方式中,设为相机8设置于照明装置4的上部,但只要以照明装置4的照射区域的至少一部分包含在相机8的拍摄视场的至少一部分中的方式设置即可,也可设置于照明装置4的旁侧。
相机8是对存在于拍摄视场中的被摄体进行拍摄而生成图像的摄像部。相机8包含透镜或光圈等光学***、电荷耦合器件(Charge Coupled Device,CCD)影像传感器或互补式金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)影像传感器等光接收元件作为主要的结构元件。
控制装置100能够与对象物W上有无缺陷或污垢的检查、对象物W的大小或配置或朝向等的测量、对象物W表面上的文字或图形等的辨识等图像处理的执行无关,而另外受理图像处理的内容的设定。图像处理的内容的设定中,包括获取图像时的拍摄条件的设定、及对图像执行的处理内容的设定。拍摄条件的设定中,包括对照明装置4的点亮设定、及对相机8的相机设定。控制装置100作为用于进行对照明装置4的点亮设定的装置发挥功能。此外,也可与控制装置100无关,而另设置进行对照明装置4的点亮设定的设定支援装置。
控制装置100包含显示部101、及安装于显示部101的显示面的触摸屏(touchpanel)102。显示部101典型而言包含液晶显示器,例如将设定内容显示给用户。触摸屏102作为用于输入与各种设定有关的信息的输入部发挥功能。例如,用户基于显示部101中显示的信息而操作触摸屏102,由此能够输入与图像处理的内容设定有关的设定信息,从而能够进行各种设定。此外,输入部是由触摸屏所构成,但也可由键盘(keyboard)或鼠标(mouse)、或者此两者构成。
<B.照明装置的结构>
参照图3及图4对照明装置4的结构进行说明。图3是表示照明装置4的XZ截面的图。图4是照明装置4的底面图。
图3中,设为从图2的“前(Front)”所示的位置观看照明装置4的XZ截面。如图3所示,照明装置4的照明为圆顶状。照明装置4中,在与对象物W相向的位置,设有多组主波长不同的多种发光部(以下也称为“光源”)。具体而言,设有多组由红色光源r、绿色光源g及蓝色光源b所构成的一组光源。此外,图3中,标注有向左下倾斜的斜线的光源是红色光源r,标注有点图案的光源是绿色光源g,标注有向右下倾斜的斜线的光源是蓝色光源b,且将符号局部省略。
多个光源被分割成多个区域。具体而言,针对设于照明装置4的多个光源的各组的点亮区域,设定有中央的圆形的中央区域41(以下也称为“圆形区域”)、以及以中央区域41为中心而设于外周的弧状的前区域42、右区域43、后区域44及左区域45。
从中央区域41、前区域42、右区域43、后区域44及左区域45的各区域照射的光的入射方位不同。所谓入射方位,是指以Z轴为中心的方位。而且,前区域42、右区域43、后区域44及左区域45以中央区域41为中心而总体形成为环状。本实施方式中,将以中央区域41为中心的环状区域分割成4个区域,但也可多于4个,也可为3个以下。此外,从中央区域41照射的光照射于反射板47而反射,由此向下。
而且,针对多个光源的各组的点亮区域,设定有多个以圆形的中央区域41为中心而直径不同的环状区域(以下也称为“环状区域”)。具体而言,设定有上部区域、中部区域及下部区域。上部区域、中部区域及下部区域分别包含多个弧状的区域。例如,上部区域包含前区域上部42U、右区域上部43U、后区域上部44U及左区域上部45U。同样,中部区域包含前区域中部42C、右区域中部43C、后区域中部44C及左区域中部45C,下部区域包含前区域下部42L、右区域下部43L、后区域下部44L及左区域下部45L。从直径不同的各环状区域照射的光各自入射至XY平面的光的入射角不同。此外,环状区域设定为3个,但也可多于3个,也可为2个。
设于本实施方式的照明装置4中的多个光源被分割成13个区域。以下,将分割成13个而成的各区域也称为部分区域。此部分区域相当于本案发明的“照明元件”。照明装置4能够针对设于照明装置4的各部分区域分别调整光源的发光状态。此处,所谓光源的发光状态,不仅是光源的发光强度,也包括从区域照射的光的颜色或光的强度。
设于本实施方式的照明装置4中的各部分区域中,分别设有红色光源r、绿色光源g及蓝色光源b,因而能够针对每个部分区域而改变照射光的颜色。此外,从红色光源r照射的光的主波长、从绿色光源g照射的光的主波长、及从蓝色光源b照射的光的主波长的波段互不相同。因此,照明装置4构成为能够选择性地照射波段互不相同的主波长的光。
此外,各区域中,无需分别以相同数量配置有红色光源r、绿色光源g及蓝色光源b,只要将三种光源分别配置有各一个以上即可。而且,各区域所含的红色光源r、绿色光源g及蓝色光源b的比率可相同也可不同。例如,可在一个区域中配置有比其他光源多的红色光源r,另一方面,在其他区域中配置有比其他光源少的红色光源r。本实施方式中,说明作分别以相同数量配置有红色光源r、绿色光源g及蓝色光源b。
<C.控制装置100的硬件结构>
图5是表示控制装置100的硬件结构的示意图。如图5所示,控制装置100典型而言具有按照通用计算机体系结构的结构,通过处理器执行预先安装的程序而实现后述那样的各种处理。
更具体而言,控制装置100包含CPU(Central Processing Unit)或微处理器(Micro-Processing Unit,MPU)等处理器110、随机存取存储器(Random Access Memory,RAM)112、显示控制器114、***控制器116、输入输出(Input Output,I/O)控制器118、硬盘120、装置用接口122、输入接口124、通信接口128及存储卡接口130。这些各部以***控制器116为中心而彼此可数据通信地连接。
处理器110在与***控制器116之间交换程序(码)等,并以规定顺序执行这些程序(码)等,由此实现目标运算处理。
***控制器116经由总线(bus)而与处理器110、RAM 112、显示控制器114、输入接口124及I/O控制器118分别连接,在与各部之间进行数据交换等,并且负责控制装置100总体的处理。
RAM 112典型而言是动态随机存取存储器(Dynamic Random Access Memory,DRAM)等易失性的存储装置,保持从硬盘120读出的程序或由相机8获取的相机图像、对图像的处理结果、及包含拍摄条件的工件数据等。
显示控制器114与显示部101连接,按照来自***控制器116的内部命令而将用于显示各种信息的信号输出至显示部101。
输入接口124与触摸屏102连接,将从触摸屏102输入的各种信息发送至***控制器116。
I/O控制器118控制与连接于控制装置100的记录介质或外部机器之间的数据交换。更具体而言,I/O控制器118与硬盘120、装置用接口122、通信接口128及存储卡接口130连接。
硬盘120典型而言为非易失性的磁存储装置,除了保存有处理器110所执行的算法(algorithm)等控制程序150以外,还保存有各种设定值等。安装于此硬盘120中的控制程序150是以保存在存储卡136等中的状态流通。此外,也可代替硬盘120而使用快闪存储器(flash memory)等半导体存储装置、或数字多功能光盘随机存取存储器(DigitalVersatile Disk Random Access Memory,DVD-RAM)等光学存储装置。
装置用接口122中介相机8及照明装置4与处理器110之间的数据传输。装置用接口122将按照从处理器110所命令的拍摄条件的指示经由装置用接口122而输出至相机8及照明装置4。而且,装置用接口122获取通过拍摄对象物W所得的图像数据,中介处理器110与相机8之间的数据传输。
通信接口128中介处理器110与未图示的其他个人计算机或服务器装置等之间的数据传输。通信接口128典型而言包含以太网(Ethernet,注册商标)或通用串行总线(Universal Serial Bus,USB)等。
存储卡接口130中介处理器110与作为记录介质的存储卡136之间的数据传输。在存储卡136中,控制装置100所执行的控制程序150等是以保存的状态流通,存储卡接口130从所述存储卡136中读出控制程序150。存储卡136包含安全数字(Secure Digital,SD)等通用的半导体存储器件、软盘(Flexible Disk)等磁记录介质、或只读光盘(Compact DiskRead Only Memory,CD-ROM)等光学记录介质等。或者,也可将经由通信接口128从配信服务器等下载的程序安装于控制装置100。
当利用所述那样的具有按照通用计算机体系结构的结构的计算机时,也可除了用于提供本实施方式的功能的应用(application)以外,还安装有用于提供计算机的基本功能的操作***(Operating System,OS)。此时,本实施方式的控制程序能以规定的顺序和/或时机(timing)调出作为OS的一部分而提供的程序模块中的必要模块并执行处理。
进而,本实施方式的控制程序可组入至其他程序的一部分中而提供。此时,程序自身中也不含所述那样组合的其他程序所含的模块,而与所述其他程序协作执行处理。即,本实施方式的控制程序也可为组入至其他程序中的实施方式。
此外,也可替代性地以专用硬件电路的形式来安装通过执行控制程序而提供的功能的一部分或全部。
<D.点亮模式的决定方法的概要>
本实施方式中,控制装置100在互不相同的评估用点亮模式下进行拍摄,获取评估图像R,基于评估图像R而对评估用点亮模式进行评估,基于其评估结果而决定用于图像测量的测量用点亮模式L。
图6是表示决定测量用点亮模式L的流程的图。控制装置100获取在各评估用点亮模式xi下拍摄的评估图像Ri(S10),基于所获取的评估图像Ri而算出评估用点亮模式xi的评估值Pi(S20)。控制装置100根据所得的每个评估用点亮模式xi的评估值Pi而决定系数li(S30),使用系数求出评估用点亮模式xi的线性组合,由此决定测量用点亮模式L(S40)。
本实施方式中,测量用点亮模式L的评估值P与使用系数li将评估用点亮模式xi的评估值Pi线性组合所得的结果实质上相等。
因此,系数li是通过以将评估用点亮模式xi的评估值Pi线性组合时达到最大的方式将系数li拟合(fitting)所得。
本实施方式中,评估值Pi是以如下值的形式算出,即:表示在增大图像测量中欲测量的特征区域的特征量、与特征区域以外的区域的特征量之差时,以何种程度发挥作用的值。“欲确定的特征区域”例如是欲提取特征量的区域,且例如是设有伤痕的区域。另一方面,“特征区域以外的区域”例如是不欲提取特征量的区域,且是未设有伤痕的区域。
控制装置100能够通过使用这样而获得的评估值Pi,将欲确定的特征区域的特征量、与特征区域以外的区域的特征量之差变大的点亮模式决定为测量用点亮模式L。通过使用在这种测量用点亮模式L下获得的图像进行图像测量,能够准确地提取作为检查而所欲提取的特征量。
本实施方式中,能够通过对以下的式(1)所示的数理最优化问题求解而决定系数li,从而决定测量用点亮模式L。
[数1]
变量:li∈{0,1} (1)
此处,下标i是表示评估用点亮模式xi的类别的下标。下标h2是表示特征区域的下标。下标h1是表示特征区域以外的下标。系数αi是表示评估用点亮模式xi对由规定区域所得的特征量A造成的影响程度的系数。光量bi是按照评估用点亮模式xi从照明装置4照射照明光时的照明光的光量。
<E.数理最优化问题的导出方法>
对式(1)所示的数理最优化问题的导出方法进行说明。本实施方式的图像处理***1将图像测量中欲确定的特征区域的特征量、与特征区域以外的区域的特征量之差变大的点亮模式决定为测量用点亮模式L。即,若以规定照明装置4的点亮模式的照明参数来表达求出特征量的评估函数f,则为式(2)所示。此外,所谓照明参数,是表示照明颜色、照明亮度、照明位置的变量。
[数2]
f(x0,x1,…,xn) (2)
此处,xi是指一个评估用点亮模式,是由在此评估用点亮模式xi下点亮的位置、亮度、颜色所规定。
此处,增大特征区域h1的特征量与特征区域以外的非特征区域h2的特征量之差,成为求出使式(3)达到最大的照明参数(点亮模式)的问题。
[数3]
|fh2(x0,x1,…,xn)-fh1(x0,x1,…,xn)| (3)
而且,评估函数f能够利用表示各评估用点亮模式对评估结果造成的影响程度的系数α,近似为如下的具有直线性的函数。
[数4]
由于评估函数f能够如式(4)那样近似,因而式(3)能够如式(5)那样近似。
[数5]
若假设从评估用点亮模式x照射的光的光量b不变化,即,若假设仅有接通(ON)与断开(OFF),则x能够如式(6)那样近似。
[数6]
xi≈bili (6)
通过将式(6)代入至式(5)而求出式(1)。此外,本实施方式中,将各评估用点亮模式xi说明作使一个部分区域内所含的一种光源点亮的模式。因而,作为变量的系数li取0或1的范围,评估用点亮模式存在39种模式(13区域×3种光源)。因此,n成为38。而且,限制条件是根据评估函数f而决定。本实施方式中,将评估函数说明作与图像内的规定区域的颜色平均有关的函数等与亮度值有关的函数。
此处,针对每个评估用点亮模式xi而获得的(αh2i-αh1i)×bi相当于评估用点亮模式xi的评估值Pi。
<F.评估图像Ri的获取>
本实施方式中,控制装置100使照明装置4将部分区域逐一依次点亮,并且依次变更从各部分区域照射的光的颜色,由此改变评估用点亮模式xi。例如,照明装置4将前区域下部42L所含的红色光源r、绿色光源g及蓝色光源b分别依次点亮后,将前区域中部42C所含的红色光源r、绿色光源g及蓝色光源b分别依次点亮,这样,针对分割成13个的各部分区域40,使各部分区域40所含的3种光源分别点亮。相机8在各评估用点亮模式xi下对拍摄视场内进行拍摄而生成评估图像Ri。控制装置100从相机8获取评估图像Ri。
本实施方式中,照明装置4中设定有13个部分区域,且在各部分区域中配置有3种光源,因而评估用点亮模式xi是设定有39个(=13区域×3色光源)。而且,评估图像Ri是针对39个评估用点亮模式xi分别获得。此外,评估图像Ri的下标i表示评估用点亮模式xi,评估图像Ri是指在评估用点亮模式xi下拍摄的图像。
控制装置100针对一个评估用点亮模式xi获取至少一个以上的评估图像Ri。此外,本实施方式中,说明作对一个评估用点亮模式xi获取一个评估图像Ri。控制装置100使评估图像Ri与评估用点亮模式xi对应地存储在RAM 112等中。此外,存储评估图像Ri的目标可为硬盘120、或与控制装置100可通信地连接的服务器等。
<G.评估值Pi的算出>
评估值Pi是表示评估图像Ri中的特征区域h1的特征量、与特征区域以外的非特征区域h2的特征量之差的大小的值。评估值Pi例如是通过求出包含特征区域h1的关注区域H1的特征量A1、与关注区域H1以外的非关注区域H2的特征量A2之差而获得。而且,评估值Pi也可为关注区域H1内的特征量的变动量。
关注区域H1是预先指定的区域,且例如由用户指定。具体而言,用户一面观看连接于控制装置100的显示部*中显示的对象物W的图像一面确定特征区域h1,以包含特征区域的方式指定区域。
特征量A例如包含对比度、颜色平均、偏差、边缘量中的至少一个。使用关注区域H1的特征量A1与非关注区域H2的特征量A2之差、及关注区域H1内的特征量A的变动量中的哪一个值来作为评估值Pi可预先设定,而且也可构成为能够由用户选择。
控制装置100针对每个评估图像Ri算出评估值Pi。评估图像Ri是针对每个评估用点亮模式xi而获得,因而评估值Pi也是针对每个评估用点亮模式xi而获得。控制装置100使所算出的评估值Pi与评估用点亮模式xi对应地存储在RAM 112等中。此外,存储评估值Pi的目标可为硬盘120、或与控制装置100可通信地连接的服务器5等。
图7是表示将关注区域H1的特征量A1、与非关注区域H2的特征量A2之差设为评估值P的示例的图。图8是表示将关注区域H1内的特征量的变动量设为评估值P的示例的图。
如图7所示,评估值P是关注区域H1内的特征量A1、与非关注区域H2的特征量A2之差。关注区域H1包含作为特征区域的具有伤痕的区域h1。另一方面,非关注区域H2不含区域h1。
此外,由于关注区域H1与非关注区域H2未必为彼此相同的面积,因而关注区域H1的特征量A1与非关注区域H2的特征量A2优选经标准化的值。图7中,也规定了非关注区域H2,但非关注区域H2可为评估图像R内的除了关注区域H1以外的区域。
图7所示的示例中,评估图像R是“评估对象图像”的一例,关注区域H1及非关注区域H2是“评估对象区域”的一例。
如图8所示,评估值P可将关注区域H1内的特征量的最大值设为特征量A’1,将关注区域H1内的特征量的最小值设为特征量A’2,将特征量A’1与特征量A’2之差量设为评估值P。此外,也可不求出最大值及最小值,而将关注量区域H1内的特征量的偏差设为评估值P。
图8所示的示例中,评估图像R为“评估对象图像”的一例,关注区域H1为“评估对象区域”的一例。
<H.系数li的决定>
控制装置100根据评估值Pi对式(1)的数理最优化问题求解,决定系数li。数理最优化问题以式(7)的值达到最大的方式将系数l拟合。拟合方法能够采用已知的方法,可通过循环进行,或者也可采用已知的搜索法。
[数7]
此处,对数理最优化问题求解时,将限制条件设定为能够将评估函数f近似为式(4)那样具有直线性的函数的范围。此限制条件是根据评估函数f、即评估值Pi而决定。例如,式(1)的限制条件是将评估值Pi设为与像素值相应的值时的限制条件。
<I.测量用点亮模式的决定>
控制装置100基于所得的系数li而决定测量用点亮模式L。控制装置100能够如式(8)所示,通过将系数li设为评估用点亮模式xi的系数的评估用点亮模式xi的线性组合而求出测量用点亮模式L。
[数8]
此外,本实施方式中,一个评估用点亮模式xi使部分区域内所含的一种光源点亮。因此,各评估用点亮模式xi能够由式(8)所示那样的行列式来定义。
<J.用于决定检查用点亮模式的用户接口>
图9及图10是用于设定算出评估值P所需要的信息的用户接口画面600。图11是表示计算条件指定区域640的图。图12是用于选择测量用点亮模式L的用户接口画面700。图13(a)及图13(b)是选择了一个点亮模式时的用户接口画面。
如图9所示,用户接口画面600包含第一范围指定区域620、第二范围指定区域630、计算条件指定区域640及图像显示区域650。
第一范围指定区域620及第二范围指定区域630均是用于指定评估图像R内的评估范围的区域。第二范围指定区域630是用于指定关注区域H1的区域。第一范围指定区域是用于指定非关注区域H2的区域。操作第一范围指定区域620的编辑按钮622时,能够编辑非关注区域H2。操作第二范围指定区域630的编辑按钮632时,能够编辑关注区域H1。
计算条件指定区域640是用于决定用来算出评估值Pi的条件的区域。
图像显示区域650显示从相机8获取的图像。图像显示区域650包含总体显示区域652、显示控制图标群654及放大显示区域656。总体显示区域652及放大显示区域656显示从相机8获取的图像。放大显示区域656与总体显示区域652相比更广,显示将总体显示区域652中显示的图像放大的图像。此外,放大显示区域656中显示的图像也可为将总体显示区域652中显示的图像的一部分放大的图像。放大显示区域656中显示的图像的显示范围及倍率是根据对显示控制图标群654的用户操作(放大或缩小等)而变更。放大显示区域656包含表示评估范围的评估范围框657、及表示关注区域H1的范围的关注区域框658。
选择第二范围指定区域630的编辑按钮632时,切换成图10所示的用于编辑或设定关注区域H1的显示。如图10所示,第二范围指定区域630包含区域形状选择按钮群634及形状尺寸选择区域636。用户能够通过选择区域形状选择按钮群634所含的所需按钮,而选择所需形状(例如四边形、圆、扇形等)作为关注区域H1。用户能够通过对形状尺寸选择区域636所含的按钮和/或输入框的操作,而将关注区域H1设定为所需的大小及位置。
此外,关于关注区域H1的设定,控制装置100可不依据对形状尺寸选择区域636所含的按钮和/或输入框的操作,而通过图像上的操作来受理设定。具体而言,控制装置100受理对编辑按钮632的操作时,在放大显示区域656中显示用于变更表示关注区域H1的关注区域框658的位置或大小的变更按钮655,受理对变更按钮655的操作。
操作好(OK)按钮631时,将放大显示区域656中显示的关注区域框658所包围的范围设定为关注区域H1。另一方面,操作取消按钮633时,将编辑中的信息删除。
此外,当操作了第一范围指定区域620的编辑按钮622时,也与操作了编辑按钮632时同样,显示区域形状选择按钮群634、形状尺寸选择区域636及变更按钮655等。
控制装置100在设定评估值的计算条件时,受理评估对象图像的指定、及所指定的图像内的评估对象区域的指定。指定评估对象图像。评估对象区域是通过操作第一范围指定区域620及第二范围指定区域630所含的各种按钮而指定。
参照图11对计算条件指定区域640进行说明。如图11所示,计算条件指定区域640包含对象工件指定区域641及使用区域选择标签页642。
通过操作对象工件指定区域641所含的按钮,而选择用于算出评估值的图像。换言之,选择作为评估对象的评估图像。而且,用户能够通过操作对象工件指定区域641所含的按钮,而设定所选择的图像中的不含特征区域的图像(图中的良品数)、及所选择的图像中的包含特征区域的图像(图中的不良品数)。换言之,受理与作为评估对象的评估图像对应的标签信息。而且,如图中的良品、不良品的措辞所示,作为标签信息,受理表示不存在缺陷的状态的信息、或表示存在缺陷的状态的信息。
控制装置100根据所受理的结果,决定是将关注区域H1的特征量与非关注区域H2的特征量之差的大小设为评估值,还是将关注区域H1内的特征量的变动量设为评估值。具体而言,基于对使用区域选择标签页642的操作而选择是使用两个区域还是使用一个区域。
当使用两个区域时,使用“合格(OK)”即不存在缺陷的区域、及“不合格(NG)”即存在缺陷的区域,控制装置100决定将关注区域H1的特征量与非关注区域H2的特征量之差的大小设为评估值。
当使用一个区域时,使用“不合格(NG)”即存在缺陷的区域,控制装置100决定将关注区域H1内的特征量的变动量设为评估值。
图10所示的示例中,作为评估对象的图像而选择一个图像(使用工件数1),此图像为不良品的图像(不良品数1),设定有评估对象的区域(评估范围框657内)、及关注区域H1的区域(关注区域框658),且设定有使用两个区域来进行评估。
换言之,通过操作用户接口画面600,而选择成为评估对象的评估对象图像、及作为一个图像的部分区域且成为评估对象的评估对象区域。而且,通过操作用户接口画面600,而还受理与评估对象图像及评估对象区域对应的标签信息。而且,通过操作用户接口画面600,而受理表示不存在缺陷的状态的信息、或表示存在缺陷的状态的信息作为标签信息。控制装置100在使用两个区域进行评估时,决定将关注区域H1的特征量与非关注区域H2的特征量之差的大小设为评估值,因而换言之,根据所受理的标签信息及由评估对象区域所得的特征量而算出评估值。
此外,当用户仅操作对象工件指定区域641及使用区域选择标签页642,未设定评估对象的区域及关注区域H1的区域时,可将所选择的评估图像总体设定为评估对象区域。例如,当选择良品的图像及不良品的图像,并指定了两个区域作为使用区域时,算出由良品的图像所得的特征量、与由不良品的图像所得的特征量之差的大小。
控制装置100受理特征量的计算方法的指定。计算方法指定区域643包含用于选择特征量的种类的特征量选择标签页644、及用于选择算出特征量时的前处理的前处理标签页645。根据对特征量选择标签页644及前处理标签页645的操作,而决定特征量的计算方法。
控制装置100受理评估用点亮模式的基准光量的设定。计算方法指定区域643包含光量设定区域646。根据对光量设定区域646所含的按钮的操作,而受理评估用点亮模式的基准光量的设定。
控制装置100设定多个包含从多个评估用点亮模式xi中选择的一个或多个评估用点亮模式xi的组合,并且针对各组合,分别算出与一个组合所含的一个或多个评估用点亮模式xi各自对应的评估值的合计,将组合所示的点亮模式、及评估值的合计显示于用户接口画面700。
具体而言,如图12所示,在表示用于决定测量用点亮模式L的处理的结果的结果区域710中,以照明图像712来显示系数li所示的点亮模式,并且显示作为系数li的评估结果的得分值714。用于决定测量用点亮模式L的处理例如是在操作图11的搜索按钮647时开始,当处理结束时,切换成图12所示的用户接口画面700,并且将处理结果显示于结果区域710。
结果区域710中,显示有系数li不同的多个点亮模式,并且显示有各系数li的得分值714。此处,通过将系数li设为评估用点亮模式xi的系数的评估用点亮模式xi的线性组合而求出的点亮模式如式(8)所示,是将包含从多个评估用点亮模式xi中选择的一个或多个评估用点亮模式xi的评估用点亮模式xi组合而构成。因此,所谓系数li不同的点亮模式,是指评估用点亮模式xi的组合不同的点亮模式。
而且,得分值是通过式(7)而求出。即,得分值相当于与一个组合所含的一个或多个评估用点亮模式xi各自对应的评估值的合计。
从所显示的多个照明图像712中受理一个照明图像712的选择,并在经选择的状态下操作好(OK)按钮720时,将所选择的照明图像712所示的点亮模式决定为测量用点亮模式L。另一方面,操作取消按钮730时,不决定测量用点亮模式L而结束处理。例如,控制装置100可基于受理了对取消按钮730的操作,而将显示切换为用于设定算出评估值P所需要的信息的用户接口画面600。
控制装置100可受理对所显示的系数li所示的点亮模式的选择,并显示在所选择的点亮模式下拍摄时的图像。用户接口画面700包含显示在所选择的点亮模式下拍摄时的图像的图像显示区域740。
例如,从结果区域710所含的点亮模式候补中选择一个点亮模式时,控制装置100指示照明装置4按照所选择的点亮模式照射照明光,并且指示相机8在此点亮模式下拍摄,将所得的图像显示在图像显示区域740中。此外,控制装置100也可预先获取在结果区域中显示的多个点亮模式各自下拍摄的图像。
图13(a)及图13(b)是选择了一个点亮模式时的用户接口画面700。如图13(a)及图13(b)所示,选择一个点亮模式时,使其显示在表示所选择的点亮模式的选择框716中,并且将在所选择的点亮模式下拍摄的图像显示在图像显示区域740中。当选择不同点亮模式时,如图13(a)至图13(b)或图13(b)至图13(a)那样切换显示。
由此,用户能够在不仅确认了得分值,而且确认了实际拍摄所得的图像的基础上,决定测量用点亮模式L。
<K.控制装置100的功能结构>
图14是示意性地表示控制装置100的功能结构的一例的图。控制装置100通过执行控制程序150而控制图14所示的各结构,决定测量用点亮模式L。
控制装置100包含图像获取部210、设定受理部220、特征量计算部230、评估值计算部240及模式决定部250。
图像获取部210从相机8获取评估图像R。更具体而言,图像获取部210包含照明控制部212及拍摄控制部214。
照明控制部212以按照作为评估用点亮模式信息162而预先保存在硬盘120等存储部中的评估用点亮模式xi从照明装置4照射照明光的方式控制照明装置4,并且将点亮中的评估用点亮模式xi通知拍摄控制部214。
拍摄控制部214接受评估用点亮模式xi的通知,向相机8发送拍摄指示,并且获取评估图像Ri,将评估用点亮模式xi与评估图像Ri相对应地保存在RAM 112等存储部中。
设定受理部220将经由图9~图11所示的用户接口画面600所输入的信息作为设定信息160保存在硬盘120等存储部中。设定信息160包含与评估用点亮模式xi有关的评估用点亮模式信息162、用于确定评估对象的评估对象信息164、表示特征量A的计算条件的第一条件信息166、及表示基于评估对象信息164及第一条件信息166所规定的评估值Pi的计算条件的第二条件信息168。
评估对象信息164包含确定作为评估对象的图像的信息、确定作为评估对象的图像中的作为评估对象的区域的信息、以及作为评估对象的区域的标签信息等。
第二条件信息168是确定特征量A的计算方法的信息,且例如是表示特征量A为对比度、颜色平均、颜色偏差、边缘量等信息中的哪一个信息的信息。
控制装置100可具备条件决定部260。条件决定部260基于评估对象信息164及第一条件信息166而决定评估值的计算方法,并作为第二条件信息168而保存在硬盘120中。例如,当仅设定有关注区域H1作为评估对象区域时,条件决定部260基于对关注区域H1设定的标签信息,决定算出关注区域H1内的特征量的变动量作为评估值。
特征量计算部230基于评估对象信息164及第一条件信息166,根据RAM 112中保存的评估图像Ri而算出特征量,并将所算出的特征量Ai与评估用点亮模式xi相对应地存储在RAM 112中。
评估值计算部240基于RAM 112中存储的特征量Ai及第二条件信息168,针对每个评估用点亮模式xi算出评估值Pi,并将所算出的评估值Pi与评估用点亮模式xi相对应地存储在RAM 112中。条件决定部260基于由所设定的评估对象所得的特征量Ai、及对评估对象设定的标签信息而决定第二条件信息168。换言之,评估值计算部240基于由评估对象所得的特征量Ai、及对评估对象设定的标签信息而算出评估值Pi。
模式决定部250包含系数设定部252、得分值计算部254、条件提取部256及决定部258。
系数设定部252设定系数li。例如,系数设定部252设定系数li,并基于得分值计算部254基于所设定的系数li而算出的得分值来调整系数li。
得分值计算部254按照式(7),由系数设定部252所设定的系数li及评估值计算部240所算出的评估值Pi而算出得分值,将得分值Q返还至系数设定部252,将得分值Q与系数li相对应地保存在RAM 112等存储部中。
条件提取部256按照RAM 112等存储部中保存的得分值Q与系数li的对应关系及基于特征量A所规定的限制条件,选择多个得分值高的系数li,将表示系数li所示的点亮模式的信息与和系数li对应的得分值Q相关联地显示于显示部101。
决定部258基于来自作为输入部的触摸屏102的信息,决定测量用点亮模式L。决定部258将所决定的测量用点亮模式L保存在硬盘120等存储部中。
此外,决定部258可不依据来自触摸屏102的信息而决定测量用点亮模式L。此时,可不设置条件提取部256。而且,决定部258可将所决定的测量用点亮模式L显示于显示部101。而且,可指示图像获取部210在测量用点亮模式L下拍摄对象物W,并将所获取的图像显示于显示部101。
<L.作用、效果>
如以上那样,图像处理***1包括:相机8,拍摄对象物W;照明装置4,由多个部分区域40所构成,能够将每个部分区域40点亮;以及控制装置100,控制图像处理***1中执行的处理。控制装置100包括:图像获取部210,获取在各评估用点亮模式xi下拍摄所得的评估图像Ri;设定受理部220,受理针对每个评估用点亮模式xi而获得的评估图像Ri中成为评估对象的区域的设定;特征量计算部230,根据设定受理部220所受理的评估对象的范围而算出特征量A;以及评估值计算部240,根据特征量A而算出评估用点亮模式xi的评估值Pi。而且,控制装置100还包括:模式决定部250,使用基于评估值Pi所决定的系数li,求出评估用点亮模式xi的线性组合,由此决定测量用点亮模式L。
将评估用点亮模式xi逐一评估而算出评估值Pi,并使用基于评估值Pi所决定的系数li将各评估用点亮模式xi线性组合,决定测量用点亮模式L。因此,无需尝试使用多个部分区域40所实现的所有点亮模式,只要在预定的多个评估用点亮模式xi下进行拍摄便可,从而能够简单地进行照明装置4的点亮设定。
进而,评估用点亮模式xi是使一个部分区域40内的光源点亮,使其他部分区域40内的光源不点亮的模式。即,评估值Pi是指表示对从规定方向入射至对象物W的光的评估的值,从而能够对入射至对象物W的来自所有方向的各光分别进行评估。
进而,照明装置4能够将主波长的波段互不相同的红色光源r、绿色光源g、蓝色光源b分别独立地点亮。因而,也能够调整光的颜色,从而能够进行精度更高的图像测量。而且,主波长的波段互不相同,因而能够通过将使红色光源r点亮的点亮模式的评估值、使绿色光源g点亮的点亮模式的评估值、及使蓝色光源b点亮的点亮模式的评估值线性组合,而实质上求出使多种光源点亮的点亮模式的评估值。
进而,设定受理部220经由用户接口画面600所受理的评估信息中,包含评估对象信息164。评估对象信息164包含确定作为评估对象的图像的信息、确定作为评估对象的图像中作为评估对象的区域的信息、及作为评估对象的区域的标签信息。而且,评估值计算部240基于由评估对象所得的特征量Ai及对评估对象设定的标签信息而算出评估值Pi。因此,算出评估值的方法的自由度提高,用户能够按照图像测量的内容而算出评估值。
进而,标签信息是表示存在缺陷的状态的信息、及表示不存在缺陷的状态的信息中的至少一个信息。因此,能够决定适于缺陷检查的点亮模式。
进而,特征量为对比度、颜色平均、颜色偏差、边缘量中的至少一个。即,能够基于各种特征量而对评估用点亮模式进行评估,因而用户能够按照图像测量的内容来对评估用点亮模式进行评估。
进而,评估值计算部240基于关注区域H1的特征量与非关注区域H2的特征量之差的大小、或关注区域H1内的特征量的变动量而算出评估值Pi。因此,能够在图像测量中,决定图像内的特征量的偏差变大那样的点亮模式。
进而,系数设定部252设定多个系数li。得分值计算部254算出与所设定的各系数li相应的得分值Q。得分值Q相当于与一个组合所含的一个或多个评估用点亮模式xi各自对应的评估值的合计。即,利用系数设定部252及得分值计算部254,设定多个包含从多个评估用点亮模式中选择的一个或多个评估用点亮模式的评估用点亮模式的组合,并且算出与各组合所含的评估用点亮模式对应的评估值的合计。因此,能够基于得分值而容易地进行包含评估用点亮模式的组合的点亮模式的评估。
进而,条件提取部256将表示系数li所示的点亮模式的信息、与和系数li对应的得分值Q相关联地显示于显示部101。具体而言,在用户接口画面700中,在结果区域710中以照明图像712来显示系数li所示的点亮模式,并且显示作为系数li的评估结果的得分值714。而且,决定部258将经由用户接口画面700所选择的点亮模式决定为测量用点亮模式L。因此,用户能够基于得分值而选择点亮模式,因而能够设定说明性高的测量用点亮模式L。而且,将得分值与表示点亮模式的信息相关联地显示,因而用户能够在确认了所选择的点亮模式的基础上,决定测量用点亮模式L。
<M.评估方法的变形例>
所述实施方式中,表示了对一个评估用点亮模式xi获取一个评估图像Ri的示例。但也可对一个评估用点亮模式xi获取多个评估图像Ri,并根据由多个评估图像Ri各自所得的特征量来算出评估值Pi。
图15是表示评估方法的变形例的图。如图15所示,可获取包含特征区域的第一评估图像r1、及不含特征区域的第二评估图像r2,将第一评估图像的特征量a1与第二评估图像的特征量a2之差量设为评估值Pi。而且,也可获取包含特征区域的多个评估图像,由各评估图像而算出评估图像内的变动量,并将所算出的多个变动量的平均设为评估值Pi。而且,也可在各评估图像内设定关注区域H1及非关注区域H2,由各评估图像而算出关注区域H1的特征量A1与非关注区域H2的特征量A2之差量,并将所算出的多个差量的平均设为评估值Pi。
而且,也可将从一个关注区域H1提取的特征量设为颜色偏差,并将此颜色偏差设为评估值Pi。即,也可将关注区域H1的特征量设为评估值。
<N.评估用点亮模式的变形例>
所述实施方式中,将各评估用点亮模式xi说明作使一个部分区域内所含的一种光源点亮的模式。但是,评估用点亮模式不限于此。图16是表示评估用点亮模式的变形例1的图。图17是表示评估用点亮模式的变形例2的图。
例如,图16所示的示例是将使一个部分区域40所含的所有光源点亮的模式设为评估用点亮模式的示例。此时,控制装置100获取彩色图像作为评估图像Ri。提取构成彩色图像的多个像素各自所含的表示红色的像素值,将由表示红色的像素值所构成的红色评估图像Ri(r),设为在与评估图像对应的评估用点亮模式xi下仅以红色点亮的红色评估用点亮模式xi(r)的评估图像。同样,将绿色评估图像Ri(g)设为绿色评估用点亮模式xi(g)的评估图像,将蓝色评估图像Ri(b)设为蓝色评估用点亮模式xi(b)的评估图像。
通过这样设定,能够与本实施方式同样,针对使一个部分区域内所含的一种光源点亮的每个模式而实质上获取评估图像。通过这样设定,能够减少拍摄次数。
图17所示的示例是将使多个部分区域40点亮的模式设为评估用点亮模式xi的示例。此时,系数li可取负值,作为限制条件,增加从各部分区域40照射的光的光量b不成为负值,由此能够对式(1)的数理最优化问题求解。
图17所示的示例中,基于评估用点亮模式下的x0~x3的各评估值P0~P3,将(l0、l1、l2、l3)=(-1,1,-1,1)决定为系数而决定测量用点亮模式L。
<O.评估值的计算方法的变形例>
所述实施方式中,评估值Pi是设为表示评估图像Ri中的特征区域h1的特征量、与特征区域以外的非特征区域h2的特征量之差的大小的值。评估值Pi不限于特征区域h1的特征量、与特征区域以外的非特征区域h2的特征量之差的大小,也可为表示边缘检测的检测精度的值等。
<P.其他变形例>
(1)本实施方式中,表示了相机8与照明装置4分开的示例,但相机8与照明装置4也可为一体。
(2)本实施方式中,照明装置4设为呈圆顶形状,但也可为平板状的照明装置,或也可为环状的形状。而且,设为在相机8的光轴上设置照明装置4,但照明装置4的位置也可不配置于相机8的光轴上。
(3)将系数li设为整数,但不限于整数。例如,也可将系数li的范围设为0≦li≦1。通过这样设定,能够有强弱地调整从各部分区域40照射的光的光量b,因而能够进行更细致的设定。
<Q.附记>
如以上那样,本实施方式包含如下公开。
[结构1]
一种图像处理***1,进行使用对象物W的外观图像的图像测量,其包括:
摄像部8,拍摄所述对象物W;
照明部4,由用于向所述对象物W照射光的多个照明元件40所构成,能针对每个照明元件40调整发光强度;
图像获取部210,按照互不相同的多个评估用点亮模式xi各自而从所述照明部4照射照明光,并且从所述摄像部8获取与各评估用点亮模式xi对应的至少一个以上的评估图像Ri;
设定受理部220,受理由所述图像获取部210所获取的所述评估图像Ri中成为评估对象的评估对象图像Ri、及作为一个图像的部分区域且成为评估对象的评估对象区域H1、H2的设定;
特征量计算部230,根据所述评估对象区域H1、H2而算出特征量Ai,其中所述评估对象区域H1、H2和与各评估用点亮模式xi对应的所述评估对象图像Ri有关;
评估值计算部240,基于由所述特征量计算部230所得的所述特征量Ai,算出与所述评估用点亮模式xi对应的评估值Pi;以及、
模式决定部250,使用基于由所述评估值计算部240所得的所述评估值Pi而决定的系数li,求出所述评估用点亮模式xi的线性组合,由此决定用于所述图像测量的点亮模式L。
[结构2]
根据结构1所记载的图像处理***,其中所述评估用点亮模式xi是设为所述照明元件中的一个或彼此位于附近的所述照明元件的集合点亮,其他不点亮的模式。
[结构3]
根据结构1或2所记载的图像处理***,其中所述照明部构成为能选择性地照射以第一波长为主波长的光r、及以波段与所述第一波长不同的的第二波长为主波长的光g、b。
[结构4]
根据结构1所记载的图像处理***,其中所述设定受理部220还受理与所述评估对象图像及所述评估对象区域对应的标签信息164,
所述评估值计算部240基于由所述评估对象区域所得的所述特征量Ai、与和所述评估对象区域对应的所述标签信息164的对应关系,算出所述评估值Pi。
[结构5]
根据结构4所记载的图像处理***,其中所述标签信息是表示所述评估对象图像及所述评估对象区域中存在缺陷的状态的信息、或表示不存在缺陷的状态的信息642。
[结构6]
根据结构1至5中任一项所记载的图像处理***,其中所述特征量为对比度、颜色平均、颜色偏差、边缘量中的至少一个644、645。
[结构7]
根据结构4至6中任一项所记载的图像处理***,其中所述评估值计算部240基于对所述评估对象图像及所述评估对象区域中的两个区域算出的所述特征量之差的大小A1、A2、或者对所述评估对象图像及所述评估对象区域中的一个区域算出的所述特征量、或对区域算出的所述特征量的变动的大小A’1、A’2,而算出所述评估值。
[结构8]
根据结构7所记载的图像处理***,其中所述模式决定部设定多个包含从所述多个评估用点亮模式中选择的一个或多个评估用点亮模式的评估用点亮模式的组合252、256,并且算出与各组合所含的评估用点亮模式对应的所述评估值的合计254。
[结构9]
根据结构8所记载的图像处理***,其中所述模式决定部显示所述组合所示的点亮模式712及对应的评估值的合计714、256,并且受理对所显示的组合的选择716,
将所述所选择的组合所示的点亮模式决定为用于所述图像测量的点亮模式720、258。
[结构10]
一种设定方法,用于对照明部进行点亮设定,所述照明部是由用于向对象物照射光的多个照明元件所构成,且能够针对每个照明元件调整发光强度,所述设定方法包括:
按照互不相同的多个评估用点亮模式各自而从所述照明部照射照明光,并且从摄像部获取与各评估用点亮模式对应的至少一个以上的评估图像的步骤(S10);
根据评估对象区域而算出特征量的步骤(S20),其中所述评估对象区域和与各评估用点亮模式对应的所述一个以上的评估图像中的评估对象图像有关;
基于所算出的所述特征量,算出与所述评估用点亮模式对应的评估值的步骤(S30);以及
使用基于所算出的所述评估值而决定的系数,求出所述评估用点亮模式的线性组合,由此决定用于图像测量的点亮模式的步骤(S40)。
应认为本次公开的各实施方式在所有方面为例示而非限制性。本发明的范围是由权利要求而非所述说明所揭示,意指包括与权利要求均等的含意及范围内的所有变更。而且,意指在可能的情况下,实施方式及各变形例中说明的发明可单独实施也可组合实施。
Claims (10)
1.一种图像处理***,进行使用对象物的外观图像的图像测量,其包括:
摄像部,拍摄所述对象物;
照明部,由用于向所述对象物照射光的多个照明元件所构成,经配置以针对每个所述照明元件调整发光强度;
图像获取部,按照互不相同的多个评估用点亮模式的各个从所述照明部照射照明光,并且从所述摄像部获取与各所述评估用点亮模式对应的至少一个以上的评估图像;
设定受理部,受理由所述图像获取部所获取的所述一个以上的评估图像中成为评估对象的评估对象图像、及作为一个图像的部分区域且成为所述评估对象的评估对象区域的设定;
特征量计算部,根据与各所述评估用点亮模式对应的所述评估对象图像内的所述评估对象区域而算出特征量;
评估值计算部,基于由所述特征量计算部所得的所述特征量,算出与所述评估用点亮模式对应的评估值;以及
模式决定部,使用基于由所述评估值计算部所得的所述评估值而决定的系数,求出所述评估用点亮模式的线性组合,由此决定用于所述图像测量的点亮模式,其中
用于所述图像测量的所述点亮模式是由所述评估用点亮模式的组合所示的一种点亮模式,
所述图像获取部在所述一个以上的评估图像的拍摄及所述图像测量中,基于存储装置中存储的拍摄条件,向所述摄像部发送拍摄指令,
所述评估值计算部对每个所述评估用点亮模式,使用所述评估对象区域中预先指定的关注区域的特征量以及所述评估对象区域中排除所述关注区域的非关注区域的特征量的差来算出所述评估值,
所述系数在对应于所述多个评估用点亮模式中的第i个评估用点亮模式时,表示为系数li,
所述系数li通过对以下的式1所示的数理最优化问题求解,使式2的值达到最大:
式1:
变量:li∈{0,1};
式2:
在所述式1及所述式2中,
h2是表示所述非关注区域的下标,
h1是表示所述关注区域的下标,
bi是按照所述第i个评估用点亮模式从所述照明部照射照明光时的所述照明光的光量,以及
Pi是表示与所述第i个评估用点亮模式对应的所述评估值。
2.根据权利要求1所述的图像处理***,其中,所述评估用点亮模式是设为所述照明元件中的一个或彼此位于附近的所述照明元件的集合点亮,其他不点亮的模式。
3.根据权利要求1或2所述的图像处理***,其中,所述照明部构成为选择性地照射以第一波长为主波长的光、及以波段与所述第一波长不同的第二波长为主波长的光。
4.根据权利要求1所述的图像处理***,其中,所述设定受理部还受理与所述评估对象图像及所述评估对象区域对应的标签信息,
所述评估值计算部基于由所述评估对象区域所得的所述特征量、与和所述评估对象区域对应的所述标签信息的对应关系,算出所述评估值。
5.根据权利要求4所述的图像处理***,其中,所述标签信息是表示所述评估对象图像及所述评估对象区域中存在缺陷的状态的信息、或表示不存在缺陷的状态的信息。
6.根据权利要求1或2所述的图像处理***,其中,所述特征量为对比度、颜色平均、颜色偏差、边缘量中的至少一个。
7.根据权利要求4或5所述的图像处理***,其中,所述评估值计算部基于对所述评估对象图像及所述评估对象区域中的两个区域算出的所述特征量之差的大小、或对所述评估对象图像及所述评估对象区域中的一个区域算出的所述特征量、或者对所述区域算出的所述特征量的变动的大小,而算出所述评估值。
8.根据权利要求7所述的图像处理***,其中,所述模式决定部设定多个包含从所述多个评估用点亮模式中选择的一个或多个评估用点亮模式的评估用点亮模式的组合,并且算出与各所述组合所含的评估用点亮模式对应的所述评估值的合计。
9.根据权利要求8所述的图像处理***,其中,所述模式决定部显示所述组合所示的点亮模式及对应的评估值的合计,并且受理对所显示的组合的选择,
将所选择的所述组合所示的点亮模式决定为用于所述图像测量的点亮模式。
10.一种设定方法,用于对照明部进行点亮设定,所述照明部是由用于向对象物照射光的多个照明元件所构成,且针对每个所述照明元件调整发光强度,所述设定方法包括下述步骤:
按照互不相同的多个评估用点亮模式的各个从所述照明部照射照明光,并且从摄像部获取与各所述评估用点亮模式对应的至少一个以上的评估图像;
根据与各所述评估用点亮模式对应的所述一个以上的评估图像中的评估对象图像内的评估对象区域而算出特征量;
基于所算出的所述特征量,算出与所述评估用点亮模式对应的评估值;以及
使用基于所算出的所述评估值而决定的系数,求出所述评估用点亮模式的线性组合,由此决定用于图像测量的点亮模式,其中
用于所述图像测量的所述点亮模式是由所述评估用点亮模式的组合所示的一种点亮模式,
所述摄像部在所述一个以上的评估图像的拍摄及所述图像测量中,基于存储装置中存储的拍摄条件而被控制,
算出所述评估值的步骤是对每个所述评估用点亮模式,使用所述评估对象区域中预先指定的关注区域的特征量以及所述评估对象区域中排除所述关注区域的非关注区域的特征量的差来算出所述评估值,
所述系数在对应于所述多个评估用点亮模式中的第i个评估用点亮模式时,表示为系数li,
所述系数li通过对以下的式3所示的数理最优化问题求解,使式4的值达到最大:
式3:
变量:li∈{0,1};
式4:
在所述式3及所述式4中,
h2是表示所述非关注区域的下标,
h1是表示所述关注区域的下标,
bi是按照所述第i个评估用点亮模式从所述照明部照射照明光时的所述照明光的光量,以及
Pi是表示与所述第i个评估用点亮模式对应的所述评估值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018031747A JP7010057B2 (ja) | 2018-02-26 | 2018-02-26 | 画像処理システムおよび設定方法 |
JP2018-031747 | 2018-02-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110196576A CN110196576A (zh) | 2019-09-03 |
CN110196576B true CN110196576B (zh) | 2022-09-13 |
Family
ID=64665044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811518015.1A Active CN110196576B (zh) | 2018-02-26 | 2018-12-12 | 图像处理***以及设定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10863069B2 (zh) |
EP (1) | EP3531344A1 (zh) |
JP (1) | JP7010057B2 (zh) |
CN (1) | CN110196576B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018203514A1 (ja) * | 2017-05-01 | 2018-11-08 | 興和株式会社 | 画像解析評価方法、コンピュータプログラム、画像解析評価装置 |
EP3844673A1 (en) * | 2018-08-27 | 2021-07-07 | Signify Holding B.V. | Systems and methods for tuning light sources for use with object detection algorithms |
WO2020189189A1 (ja) * | 2019-03-15 | 2020-09-24 | オムロン株式会社 | 検査装置及び方法 |
JP7317957B2 (ja) * | 2019-05-28 | 2023-07-31 | 京セラ株式会社 | スペクトル決定装置、スペクトル決定方法、スペクトル決定プログラム、照明システム、照明装置及び検査装置 |
JP7323922B2 (ja) * | 2019-09-27 | 2023-08-09 | 有限会社シマテック | Led照明器 |
JP6860098B1 (ja) * | 2020-02-10 | 2021-04-14 | オムロン株式会社 | 画像検査装置および画像検査プログラム、照明設定装置 |
JP2022054938A (ja) * | 2020-09-28 | 2022-04-07 | 株式会社リコー | 検査装置、検査システム、検査方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002118760A (ja) * | 2000-10-04 | 2002-04-19 | Canon Inc | 画像処理方法及びその装置、及び画像処理システム |
CN1933545A (zh) * | 2005-09-12 | 2007-03-21 | 佳能株式会社 | 图像处理方法和图像处理设备 |
JP2008122198A (ja) * | 2006-11-10 | 2008-05-29 | Omron Corp | 視覚センサおよび照明設定方法 |
CN101473219A (zh) * | 2006-07-14 | 2009-07-01 | 株式会社尼康 | 表面检查设备 |
CN101751672A (zh) * | 2008-11-28 | 2010-06-23 | 索尼株式会社 | 图像处理*** |
CN102973242A (zh) * | 2011-06-06 | 2013-03-20 | 索尼公司 | 图像处理设备、图像处理方法、图像处理***、程序和记录介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5060065A (en) * | 1990-02-23 | 1991-10-22 | Cimflex Teknowledge Corporation | Apparatus and method for illuminating a printed circuit board for inspection |
US6207946B1 (en) * | 1998-09-03 | 2001-03-27 | Semiconductor Technologies & Instruments, Inc. | Adaptive lighting system and method for machine vision apparatus |
JP4230628B2 (ja) * | 1999-11-30 | 2009-02-25 | シーシーエス株式会社 | 照明装置の制御電源 |
US6542180B1 (en) * | 2000-01-07 | 2003-04-01 | Mitutoyo Corporation | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part |
JP2001229381A (ja) * | 2000-02-15 | 2001-08-24 | Matsushita Electric Works Ltd | 画像処理検査システムおよびその方法 |
US6627863B2 (en) * | 2000-12-15 | 2003-09-30 | Mitutoyo Corporation | System and methods to determine the settings of multiple light sources in a vision system |
US7016525B2 (en) * | 2002-05-02 | 2006-03-21 | Mitutoyo Corporation | Systems and methods for continuously varying wavelength illumination |
US7171037B2 (en) * | 2003-03-20 | 2007-01-30 | Agilent Technologies, Inc. | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
JP2006047290A (ja) * | 2004-06-30 | 2006-02-16 | Omron Corp | 基板検査用の画像生成方法、基板検査装置、および基板検査用の照明装置 |
JP5239314B2 (ja) | 2007-11-28 | 2013-07-17 | オムロン株式会社 | 物体認識方法およびこの方法を用いた基板外観検査装置 |
JP6395456B2 (ja) | 2014-06-09 | 2018-09-26 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2017067633A (ja) * | 2015-09-30 | 2017-04-06 | キヤノン株式会社 | 検査装置および物品製造方法 |
JP6759812B2 (ja) * | 2016-07-29 | 2020-09-23 | オムロン株式会社 | 欠陥検査装置、および欠陥検査方法 |
CN106323987A (zh) * | 2016-09-30 | 2017-01-11 | 厦门威芯泰科技有限公司 | 一种用于检测高反射表面缺陷的照明光源 |
-
2018
- 2018-02-26 JP JP2018031747A patent/JP7010057B2/ja active Active
- 2018-12-12 EP EP18211978.4A patent/EP3531344A1/en active Pending
- 2018-12-12 CN CN201811518015.1A patent/CN110196576B/zh active Active
- 2018-12-17 US US16/221,592 patent/US10863069B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002118760A (ja) * | 2000-10-04 | 2002-04-19 | Canon Inc | 画像処理方法及びその装置、及び画像処理システム |
CN1933545A (zh) * | 2005-09-12 | 2007-03-21 | 佳能株式会社 | 图像处理方法和图像处理设备 |
CN101473219A (zh) * | 2006-07-14 | 2009-07-01 | 株式会社尼康 | 表面检查设备 |
JP2008122198A (ja) * | 2006-11-10 | 2008-05-29 | Omron Corp | 視覚センサおよび照明設定方法 |
CN101751672A (zh) * | 2008-11-28 | 2010-06-23 | 索尼株式会社 | 图像处理*** |
CN102973242A (zh) * | 2011-06-06 | 2013-03-20 | 索尼公司 | 图像处理设备、图像处理方法、图像处理***、程序和记录介质 |
Non-Patent Citations (1)
Title |
---|
Learning of Optimal Illumination for Material Classification;MARKUS JEHLE等;《PATTERN RECOGNITION》;SPRINGER BERLIN HEIDELBERG;20100922(第32期);第564-573页 * |
Also Published As
Publication number | Publication date |
---|---|
JP7010057B2 (ja) | 2022-01-26 |
US20190268517A1 (en) | 2019-08-29 |
JP2019148438A (ja) | 2019-09-05 |
EP3531344A1 (en) | 2019-08-28 |
US10863069B2 (en) | 2020-12-08 |
CN110196576A (zh) | 2019-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110196576B (zh) | 图像处理***以及设定方法 | |
US9291450B2 (en) | Measurement microscope device, image generating method, measurement microscope device operation program, and computer-readable recording medium | |
US6542180B1 (en) | Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part | |
JP6791631B2 (ja) | 画像生成方法及び検査装置 | |
JP2019035609A (ja) | 画像処理システム、設定支援装置および設定支援プログラム | |
JP2018189558A (ja) | 画像検査装置 | |
US20120067952A1 (en) | Code Quality Evaluating Apparatus | |
US10412810B2 (en) | Setting support apparatus, image processing system, and non-transitory computer-readable recording medium | |
JP5014966B2 (ja) | 拡大観察装置 | |
JP3993107B2 (ja) | 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム | |
JP6390163B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6973205B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム | |
JP2020160808A (ja) | 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター | |
US20210209740A1 (en) | Inspection system, information processing apparatus, and non-transitory computer-readable medium | |
JP6825067B2 (ja) | 検査装置およびその制御方法 | |
JP3931130B2 (ja) | 測定システム、演算方法および演算プログラム | |
JP6835020B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム | |
JP2001256489A (ja) | 被測定物のイメージにおける複数選択領域該当箇所の照明調整装置及び方法 | |
CN114450579A (zh) | 图像处理***、设定方法和程序 | |
JP2005260622A (ja) | 画像入力装置 | |
US20220335587A1 (en) | Image inspection apparatus and image inspection method | |
WO2020241844A1 (ja) | 画像処理装置及び画像処理プログラム | |
JP4943400B2 (ja) | 背景置換装置および撮影システム | |
JP4080897B2 (ja) | 画像処理方法および画像処理装置 | |
JP2023077055A (ja) | 外観検査装置及び外観検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |