JP5288154B2 - Image quality inspection device - Google Patents
Image quality inspection device Download PDFInfo
- Publication number
- JP5288154B2 JP5288154B2 JP2007211661A JP2007211661A JP5288154B2 JP 5288154 B2 JP5288154 B2 JP 5288154B2 JP 2007211661 A JP2007211661 A JP 2007211661A JP 2007211661 A JP2007211661 A JP 2007211661A JP 5288154 B2 JP5288154 B2 JP 5288154B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- image quality
- quality inspection
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
Description
本発明は、撮像デバイス(CCD、CMOS等)、表示デバイス(LCD、PDP、有機EL等)、及び投影デバイス(プロジェクタ等)の画質検査工程において、輝度ムラ及び色ムラ欠陥を目視検査に代わって自動的に検出を行う画質検査装置に関するものである。 In the image quality inspection process of the imaging device (CCD, CMOS, etc.), display device (LCD, PDP, organic EL, etc.), and projection device (projector, etc.), the present invention replaces the luminance unevenness and the color unevenness defect with the visual inspection. The present invention relates to an image quality inspection apparatus that automatically performs detection.
表示デバイスの製造工程では、組立工程に移行する前にパネル単体で欠陥検査が行われている。これはパネル製造工程で発生する画素欠陥を検査し、組立て前に欠陥箇所のリペアを行ったり、リペア不可能なパネルは次工程に送らず処分するためである。 In the manufacturing process of the display device, the defect inspection is performed on the panel alone before moving to the assembly process. This is because pixel defects generated in the panel manufacturing process are inspected, and defective parts are repaired before assembly, or a panel that cannot be repaired is not sent to the next process but discarded.
従来のような検査員による目視検査では、個体差、バラツキが多く、高精度に検査することが困難である。また、近年の表示デバイスの大型化、高精細化に伴い、広範囲を短時間で検査することも困難になっているため、ムラ欠陥の検査においても自動検査装置への代替が望まれている。 Conventional visual inspection by an inspector has many individual differences and variations, and it is difficult to inspect with high accuracy. In addition, with the recent increase in size and definition of display devices, it has become difficult to inspect a wide area in a short time, and therefore, an alternative to an automatic inspection apparatus is also desired in the inspection of mura defects.
検査対象は、表示デバイス、撮像デバイス、投影デバイス上に生じるムラ欠陥である。ムラは、製造工程におけるガラス基板の膜厚の変化や、カラーフィルタの膜厚の変化、液晶の配向異常など様々な要因によって生じる。 The inspection target is a mura defect that occurs on a display device, an imaging device, or a projection device. Unevenness is caused by various factors such as a change in the thickness of the glass substrate in the manufacturing process, a change in the thickness of the color filter, and an alignment error of the liquid crystal.
図27は、ムラ欠陥の例を示すイメージ図である。図27(A)〜(D)に示すように、塊状のムラや帯状のムラ等、形状、向き、発生位置、サイズ(周波数)は様々であり、また白黒の明暗変化として見える輝度ムラだけでなく、色づいて見えたりするような色ムラも発生する FIG. 27 is an image diagram illustrating an example of a mura defect. As shown in FIGS. 27A to 27D, there are various shapes, orientations, occurrence positions, sizes (frequency) such as lump-like unevenness and band-like unevenness, and only luminance unevenness that appears as a change in brightness of black and white. Color unevenness that appears to be colored
MTF(Modulation Transfer Function)特性を利用した画質検査装置については、特許文献1に技術開示がある。尚、MTFによる輝度ムラ強度の定量化手法については非特許文献1に解説があり、周知の技術である。
Japanese Patent Application Laid-Open No. 2004-151867 discloses a technical disclosure of an image quality inspection apparatus using MTF (Modulation Transfer Function) characteristics.
図28は、表示デバイスを検査対象とする画質検査システムの基本構成図である。パネル状の検査対象表示デバイス10に正対する位置に、撮像機器20が配置されている。撮像機器20は、撮影レンズを組合せた高画素CCDを備えるモノクロカメラ21で構成され、被検査パネルに対して精度よく上下、左右とも傾き調整をした状態で設置してある。
FIG. 28 is a basic configuration diagram of an image quality inspection system in which a display device is an inspection object. An imaging device 20 is arranged at a position facing the panel-shaped inspection target display device 10. The imaging device 20 is composed of a
撮像された画像データ30は、画像演算PC40に入力される。画像演算PC40は、画像取込部50と、取り込んだ画像データを演算処理して欠陥を検査する演算制御部60よりなる。画像演算PC40による検査結果は、LCDディスプレイや上位サーバ等の表示部70に出力、転送される。
The captured
図29は、従来の画質検査装置の構成例を示す機能ブロック図である。画像データ30は、画像取込部50が備える画像ボード等の画像取り込み手段51で画像演算PC40に取り込まれ、演算制御部60に渡される。
FIG. 29 is a functional block diagram showing a configuration example of a conventional image quality inspection apparatus. The
演算制御部60は、入力される画像データのノイズ補正を行う画像補正手段61、欠陥候補を抽出する欠陥候補抽手段62、抽出された欠陥候補の面積、体積、コントラスト等の特徴量を計算する特徴量計算手段63、計算された特徴量と予め設定された閾値とを比較して欠陥であるか否かを判断する判定手段64で構成される。判定手段64の判定結果は、表示部70に画質検査結果71として出力される。
The
ここで、MTFによる輝度ムラ強度の定量化手法の概要を説明する。この手法は、欠陥の強度を、その欠陥のコントラストとその欠陥形状に対する認識限界(JND:Just Noticeable Deference)コントラストとの比で表現し、“Semu”という単位で、客観的な計量値として表現しようとするものであり、検査対象の多様な変化(背景輝度や欠陥形状等)を考慮している。尚、計量単位“Semu”は、2002年にSEMIスタンダードにおいて提案されているものである。 Here, an outline of a method for quantifying luminance unevenness intensity by MTF will be described. This method expresses the strength of a defect as a ratio between the defect contrast and the recognition limit (JND: Just Noticeable Deference) contrast of the defect shape, and expresses it as an objective measurement value in the unit of “Semu”. In consideration of various changes (background luminance, defect shape, etc.) of the inspection object. Incidentally, the unit of measure “Semu” was proposed in the SEMI standard in 2002.
図30は、縞パターンの例を示すイメージ図である。MTF特性とは、同図に示すような明暗の正弦波状の縞パターンにおいて、人間が認識感知することのできる限界のコントラスト変化の逆数で表される感度特性である。 FIG. 30 is an image diagram showing an example of a stripe pattern. The MTF characteristic is a sensitivity characteristic represented by the reciprocal of a limit contrast change that can be recognized and sensed by a human in a bright and dark sine wave stripe pattern as shown in FIG.
図31は、視角と波数の関係で示す空間周波数の説明図である。或る視角の範囲にある波数の正弦波を表示させたとき、空間周波数は式(1)で表記される。
空間周波数(cpd)=波数n/視角(°) (1)
FIG. 31 is an explanatory diagram of the spatial frequency indicated by the relationship between the viewing angle and the wave number. When a sine wave having a wave number within a certain viewing angle range is displayed, the spatial frequency is expressed by equation (1).
Spatial frequency (cpd) = wave number n / viewing angle (°) (1)
認識限界コントラストCJNDは、感知できる最小輝度変化をΔL、背景輝度をLBGとした場合、式(2)で表記される。
CJND=ΔL・100/LBG (2)
そして、式(1)と式(2)の逆数の関係が、MTF特性SMTFとなる。
The recognition limit contrast C JND is expressed by Equation (2), where ΔL is the minimum change in luminance that can be detected and L BG is the background luminance.
C JND = ΔL · 100 / L BG (2)
And the relationship of the reciprocal number of Formula (1) and Formula (2) becomes the MTF characteristic SMTF .
図32は、空間周波数に対する視覚感度で表されるMTF特性図である。空間周波数に対する人間の視覚感度は、或る周波数でピークを有する特性曲線となる。即ち、人間の視覚は或る細かさに敏感であることを示している。 FIG. 32 is an MTF characteristic diagram represented by visual sensitivity with respect to spatial frequency. The human visual sensitivity with respect to the spatial frequency becomes a characteristic curve having a peak at a certain frequency. That is, human vision is sensitive to certain details.
図30に示すような縞パターンから得られるMTF特性は、1次元のMTF特性となる。画質検査に用いるためには、2次元のMTF特性への拡張が必要になる。2次元のMTF特性への拡張手法は、後述する。 The MTF characteristic obtained from the fringe pattern as shown in FIG. 30 is a one-dimensional MTF characteristic. In order to use it for image quality inspection, it is necessary to expand to two-dimensional MTF characteristics. An extension method to the two-dimensional MTF characteristic will be described later.
図33は、図29信号処理手順を示すフローチャートであり、上述した輝度に対するMTF特性を利用した信号処理を実行している。処理が開始されると、画像補正手段61のステップS101で画像データの前処理(シェーディング補正、縮小処理及び平滑化処理等)が実行され、欠陥候補抽出手段62に渡される。 FIG. 33 is a flowchart showing the signal processing procedure of FIG. 29, in which the signal processing using the MTF characteristics with respect to the luminance described above is executed. When the processing is started, preprocessing of image data (shading correction, reduction processing, smoothing processing, etc.) is executed in step S101 of the image correction means 61, and is passed to the defect candidate extraction means 62.
欠陥候補抽出手段62のステップS102では、輝点欠陥を目立たせるために微分系の強調フィルタ手段等により欠陥候補強調処理を実行する。ステップS103では、二値化手段等により、あらかじめ設定してある閾値よりも高いレベルのフィルタリング部分を“1”、低いレベルの部分を“0”として欠陥の候補を抽出し、抽出候補の夫々に番号を付与してループ処理L1を経由して欠陥候補順に特徴量計算手段63に渡す。 In step S102 of defect candidate extraction means 62, defect candidate enhancement processing is executed by differential enhancement filter means or the like in order to make the bright spot defect stand out. In step S103, binarization means or the like extracts defect candidates with “1” as a filtering portion having a level higher than a preset threshold value and “0” as a lower level portion, and sets each of the extraction candidates as a defect candidate. Numbers are assigned and passed to the feature amount calculation means 63 in the order of defect candidates via the loop processing L1.
図34は、欠陥候補の2次元MTF特性を導く遷移のイメージ図である。特徴量計算手段63のステップS104では、欠陥候補抽出手段62で抽出された欠陥候補を、図34(A)に示す正規化した欠陥形状に生成する。正規化は、例えば、欠陥候補内部の最大輝度と欠陥候補周辺の輝度から行う。 FIG. 34 is an image diagram of a transition that leads to a two-dimensional MTF characteristic of a defect candidate. In step S104 of the feature quantity calculation means 63, the defect candidates extracted by the defect candidate extraction means 62 are generated into the normalized defect shape shown in FIG. Normalization is performed, for example, from the maximum brightness inside the defect candidate and the brightness around the defect candidate.
次にステップS105において、正規化された欠陥形状に対して2次元フーリエ変換等の処理を行い、図34(B)に示すように欠陥形状を形成する周波数成分Power(u(h,v))を抽出する。ここで、u(h,v)は空間周波数である。 Next, in step S105, the normalized defect shape is subjected to processing such as two-dimensional Fourier transform, and the frequency component Power (u (h, v)) for forming the defect shape as shown in FIG. To extract. Here, u (h, v) is a spatial frequency.
一方、ステップS106において、空間周波数u(h,v)、背景輝度LBG、欠陥の大きさ(X,Y)及び角度方向φ等をそれぞれパラメータとして、図34(C)に示すような2次元に拡張されたMTF特性、SMTF(u(h,v),LBG,X,Y,φ)を計算する。 On the other hand, in step S106, the spatial frequency u (h, v), background luminance L BG , defect size (X, Y), angular direction φ, etc. are used as parameters, respectively, as shown in FIG. 34 (C). The MTF characteristic expanded to, S MTF (u (h, v), L BG , X, Y, φ) is calculated.
次に、ステップS107において、得られた周波数成分Power(u(h,v))と2次元MTF特性SMTF(u(h,v),LBG,X,Y,φ)から、式(3)により欠陥形状に対する認識限界コントラストCJNDを計算する。 Next, in step S107, from the obtained frequency component Power (u (h, v)) and the two-dimensional MTF characteristic S MTF (u (h, v), L BG , X, Y, φ), the formula (3 ) To calculate the recognition limit contrast C JND for the defect shape.
最後に、ステップS108において、欠陥のコントラストCxと欠陥形状に対する認識限界コントラストCJNDから、式(4)により欠陥強度(Semu)を計算して判定手段64に渡す。欠陥のコントラストCxの情報は、欠陥候補抽出ステップS103から取得することができる。 Finally, in step S108, the defect intensity (Semu) is calculated from the defect contrast Cx and the recognition limit contrast C JND for the defect shape according to the equation (4) and passed to the determination means 64. Information on the defect contrast Cx can be acquired from the defect candidate extraction step S103.
判定手段64では、ステップS109において、特徴量計算手段63で計算された欠陥強度(Semu)と予め設定された閾値とを比較して欠陥であるか否かを判断し、もし、欠陥であると判断された場合には、ステップS110において、検出された欠陥の情報を出力データにまとめる。
In step S109, the
ループ処理L1及びL2により、特徴量計算手段62及び判定手段63の処理は、欠陥候補抽出手段62で抽出された全ての候補領域に対して実行される。
By the loop processing L1 and L2, the processing of the feature
輝度に対するMTF特性を利用した画質検査装置では、以下の問題があげられる。
(1)欠陥の形状、大きさは多様であり、夫々に対応する検査アルゴリズムを開発する必要が生じる。検査アルゴリズムの開発には、莫大な工数を要する。
In the image quality inspection apparatus using the MTF characteristic with respect to luminance, the following problems are raised.
(1) There are various shapes and sizes of defects, and it is necessary to develop an inspection algorithm corresponding to each. The development of inspection algorithms requires enormous man-hours.
(2)新規の欠陥が発生した場合には、それに対応する検査アルゴリズムを開発するための工数が発生し、開発期間中には、不良品の流出を防ぐために目視検査を要することとなりコストがかかる。 (2) When a new defect occurs, man-hours are required to develop an inspection algorithm corresponding to the defect, and a visual inspection is required to prevent the outflow of defective products during the development period, which is costly. .
(3)判定特徴量がMTF特性に基づく客観的な数値として定量化されることにより、判定閾値のチューニング工数は削減できるものの、欠陥強調のパラメータや2値化閾値等、欠陥領域を抽出するためのチューニング工数を削減するものではない。欠陥領域を抽出するための閾値設定の方法は、その欠陥に対応するアルゴリズムにより多様である。 (3) Although the determination feature amount is quantified as an objective numerical value based on the MTF characteristics, the number of steps for tuning the determination threshold can be reduced, but a defect region such as a defect emphasis parameter or a binarization threshold is extracted. It does not reduce the number of tuning steps. There are various threshold setting methods for extracting a defect area depending on an algorithm corresponding to the defect.
本発明は上述した問題点を解決するためになされたものであり、以下の機能実現を目的としている。
(1)欠陥形状・サイズに捉われることなく目立つ領域を欠陥領域として抽出し、且つユーザーが直感的に理解しやすい客観的な計量値として欠陥強度を数値化する高精度な画質検査装置を実現する。
(2)新規の欠陥の検出を可能とし、新規の検査アルゴリズムの開発コストの削減、検査アルゴリズム開発期間中の不良品の流出の削減を実現する画質検査装置を提供する。
(3)欠陥形状・サイズに依存する抽出処理を持たず、欠陥領域抽出に関するチューニング工数の大幅な削減を実現する画質検査装置を提供する。
The present invention has been made to solve the above-described problems, and aims to realize the following functions.
(1) Realization of a high-accuracy image quality inspection system that extracts conspicuous areas without being trapped by defect shapes and sizes as defect areas, and quantifies the defect intensity as an objective measurement value that is easy for the user to understand intuitively. To do.
(2) To provide an image quality inspection apparatus that enables detection of a new defect and realizes reduction of development cost of a new inspection algorithm and reduction of outflow of defective products during the inspection algorithm development period.
(3) To provide an image quality inspection apparatus that does not have an extraction process that depends on the defect shape and size, and that realizes a significant reduction in the number of tuning steps related to defect area extraction.
このような課題を達成するために、本発明は次の通りの構成になっている。
(1)検査対象の画像データを取り込み、取り込んだ画像データを演算処理して欠陥を検出する演算制御部を有する画質検査装置において、
前記演算制御部は、
前記画像データの領域を隣り合う領域に重なりを持たせて複数領域に分割する分割領域設定手段と、
分割された各領域の形状に対して、欠陥形状・サイズに依存する抽出処理をすることなく、コントラストと、空間周波数に対する感度特性MTFを利用した認識限界感度モデルを使用して得られる認識限界コントラストとの比に基づいて欠陥強度を算出する、前記各領域に対する同一の特徴量計算手段と、
算出された前記欠陥強度と予め設定された閾値とを比較し、前記分割領域が欠陥であるか否かを判定する判定手段と、
を備えることを特徴とする画質検査装置。
In order to achieve such a subject, the present invention has the following configuration.
(1) In an image quality inspection apparatus having an operation control unit that takes in image data to be inspected, performs arithmetic processing on the acquired image data, and detects defects.
The arithmetic control unit is
A divided region setting means for dividing the region of the image data into a plurality of regions with overlapping regions adjacent to each other;
And against the shape of each divided region, without an extraction process that depends on the defect shape and size, contrast and recognition limit obtained by using a recognition threshold sensitivity model using the sensitivity characteristic MTF for a spatial frequency Calculating the defect intensity based on the ratio to the contrast, the same feature amount calculating means for each region ;
A determination means for comparing the calculated defect intensity with a preset threshold value and determining whether the divided area is a defect;
An image quality inspection apparatus comprising:
(2)検査対象の画像データを取り込み、取り込んだ画像データを演算処理して欠陥を検出する演算制御部を有する画質検査装置において、
前記演算制御部は、
取り込んだ前記画像データより複数の反対色画像データを生成する反対色画像生成手段と、
前記反対色画像データ毎にその領域を隣り合う領域に重なりを持たせて複数領域に分割する分割領域設定手段と、
分割された各領域の形状に対して、欠陥形状・サイズに依存する抽出処理をすることなく、コントラストと、空間周波数に対する感度特性MTFを利用した認識限界感度モデルを使用して得られる認識限界コントラストとの比に基づいて反対色成分毎の欠陥強度を算出する、前記各領域に対する同一の特徴量計算手段と、
算出された前記欠陥強度と予め設定された閾値とを比較し、前記分割領域が欠陥であるか否かを判定する判定手段と、
を備えることを特徴とする画質検査装置。
(2) In an image quality inspection apparatus having an operation control unit that takes in image data to be inspected, performs arithmetic processing on the acquired image data, and detects defects.
The arithmetic control unit is
Opposite color image generation means for generating a plurality of opposite color image data from the captured image data;
Divided region setting means for dividing the region for each of the opposite color image data into a plurality of regions with overlapping adjacent regions;
And against the shape of each divided region, without an extraction process that depends on the defect shape and size, contrast and recognition limit obtained by using a recognition threshold sensitivity model using the sensitivity characteristic MTF for a spatial frequency The same feature amount calculation means for each region , which calculates the defect strength for each opposite color component based on the ratio with contrast;
A determination means for comparing the calculated defect intensity with a preset threshold value and determining whether the divided area is a defect;
An image quality inspection apparatus comprising:
(3)前記演算制御部は、取り込んだ前記画像データに対してシェーディング補正、縮小処理及び平滑化処理の少なくともいずれかを実行する画像補正手段を備えることを特徴とする(1)または(2)に記載の画質検査装置。
( 3 ) The arithmetic control unit includes image correction means for executing at least one of shading correction, reduction processing, and smoothing processing on the captured image data (1) or (2) image quality inspection apparatus according to.
(4)前記演算制御部は、取り込んだ前記画像データに対して多段階の縮小処理及び平滑化処理を実行する画像補正手段を備えることを特徴とする(1)乃至(3)のいずれかに記載の画質検査装置。
( 4 ) In any one of (1) to ( 3) , the arithmetic control unit includes image correction means for executing multi-stage reduction processing and smoothing processing on the captured image data. The image quality inspection apparatus described.
(5)前記演算制御部は、各分割領域において前記判定手段により欠陥である判定された欠陥強度より分類特徴量を算出し、予め設定している閾値と比較して欠陥種類を分類する欠陥分類手段を備えることを特徴とする請求項1乃至4のいずれかに記載の画質検査装置。
(5) The calculation control unit calculates a defect feature amount from the defect strength determined to be a defect by the determination unit in each divided region, and classifies the defect type by comparing with a
(6)前記欠陥分類手段は、予め設定している前記閾値との比較において分類できない欠陥強度領域を新規の欠陥として分類することを特徴とする(5)に記載の画質検査装置。
( 6 ) The image quality inspection apparatus according to ( 5) , wherein the defect classification means classifies a defect intensity region that cannot be classified in comparison with a preset threshold value as a new defect.
(7)検査対象の画像データを取り込んで前記演算制御部に渡す画像取り込み部と、前記演算制御部より渡される画質検査結果を表示する表示部を備えることを特徴とする(1)乃至(6)のいずれかに記載の画質検査装置。
( 7 ) An image capturing unit that captures image data to be inspected and passes it to the arithmetic control unit, and a display unit that displays an image quality inspection result passed from the arithmetic control unit (1) to ( 6 ) ) .
(8)検査対象の前記画像データは、赤、緑、青の各波長帯域の光を夫々透過させるフィルタとモノクロカメラを具備する撮像機器より取得することを特徴とする(1)乃至(7)のいずれかに記載の画質検査装置。
( 8 ) The image data to be inspected is acquired from an imaging device including a filter and a monochrome camera that transmit light in each wavelength band of red, green, and blue, respectively (1) to ( 7) An image quality inspection apparatus according to any one of the above.
(9)検査対象の前記画像データは、シアン、マゼンタ、イエローの各波長帯域の光を夫々透過させるフィルタとモノクロカメラを具備する撮像機器より取得することを特徴とする(1)乃至(7)のいずれかに記載の画質検査装置。
( 9 ) The image data to be inspected is acquired from an imaging device including a filter and a monochrome camera that transmit light in each wavelength band of cyan, magenta, and yellow, respectively (1) to ( 7) An image quality inspection apparatus according to any one of the above.
(10)検査対象の前記画像データは、色関数の各波長帯域の光を夫々透過させるXYZフィルタとモノクロカメラを具備する撮像機器より取得することを特徴とする(1)乃至(7)のいずれかに記載の画質検査装置。
( 10 ) Any one of (1) to ( 7) , wherein the image data to be inspected is acquired from an imaging device including an XYZ filter and a monochrome camera that transmit light in each wavelength band of the color function. The image quality inspection apparatus described in Crab.
(11)検査対象の前記画像データは、xy表色系等で示される色度図上の独立した少なくとも3点の色度フィルタとモノクロカメラを具備する撮像機器より取得することを特徴とする(1)乃至(7)のいずれかに記載の画質検査装置。
( 11 ) The image data to be inspected is acquired from an imaging device including at least three independent chromaticity filters and a monochrome camera on a chromaticity diagram represented by an xy color system or the like ( The image quality inspection apparatus according to any one of 1) to ( 7) .
(12)前記演算制御部は、前記検査対象の色度情報を2次元色彩計より取得することを特徴とする(1)乃至(11)のいずれかに記載の画質検査装置。
( 12 ) The image quality inspection apparatus according to any one of (1) to ( 11) , wherein the arithmetic control unit acquires chromaticity information of the inspection target from a two-dimensional colorimeter.
(13)前記演算制御部は、事前に取得したカメラの感度特性情報を取得し、反対色成分への変換を実行することを特徴とする(1)至(12)のいずれかに記載の画質検査装置。
( 13 ) The image quality control unit according to any one of (1) to ( 12) , wherein the arithmetic control unit acquires sensitivity characteristic information of a camera acquired in advance and performs conversion to an opposite color component. Inspection device.
(14)前記カメラの感度特性情報は、カメラ出力値−三刺激値変換パラメータあるいはカメラ出力値−輝度値変換パラメータのいずれかであることを特徴とする(13)に記載の画質検査装置。
( 14 ) The image quality inspection apparatus according to ( 13) , wherein the sensitivity characteristic information of the camera is either a camera output value-tristimulus value conversion parameter or a camera output value-luminance value conversion parameter.
(15)前記検査対象の色度情報を計測する分光輝度計により取得される情報から、前記カメラの感度特性情報を生成する変換パラメータ生成手段を備えることを特徴とする(13)または(14)に記載の画質検査装置。
( 15 ) A conversion parameter generation unit that generates sensitivity characteristic information of the camera from information acquired by a spectral luminance meter that measures chromaticity information of the inspection target is provided ( 13) or ( 14) The image quality inspection device described in 1.
(16)前記演算制御部は、前記検査対象の各反対色成分に対するMTF特性パラメータを外部から取得することを特徴とする(1)乃至(15)のいずれかに記載の画質検査装置。
( 16 ) The image quality inspection apparatus according to any one of (1) to ( 15) , wherein the arithmetic control unit acquires an MTF characteristic parameter for each opposite color component to be inspected from the outside.
(17)前記モノクロカメラは、撮像素子と撮像レンズの間に複屈折素子を具備することを特徴とする(8)乃至(11)のいずれかに記載の画質検査装置。
( 17 ) The image quality inspection apparatus according to any one of ( 8) to ( 11) , wherein the monochrome camera includes a birefringent element between an imaging element and an imaging lens.
(18)前記演算制御部は、比較する2組の画像データを入力し、2組の総合的な欠陥強度を比較することにより、画像劣化、印刷物変化、塗装物変化の少なくともいずれかを判定することを特徴とする請求項1乃至17のいずれかに記載の画質検査装置。
(18) The arithmetic control unit inputs at least two sets of image data to be compared, and compares at least two sets of overall defect intensities to determine at least one of image deterioration, print change, and paint change. The image quality inspection apparatus according to
(19)前記画像データは、参照光源を撮像する検査対象撮像デバイスまたは検査対象撮像デバイスから投影される画像を撮影する撮像機器より取得することを特徴とする(8)乃至(18)のいずれかに記載の画質検査装置。
( 19 ) Any one of ( 8) to ( 18) , wherein the image data is acquired from an inspection target imaging device that images a reference light source or an imaging device that captures an image projected from the inspection target imaging device. The image quality inspection device described in 1.
本発明によれば、次のような効果を期待することができる。
(1)欠陥形状・サイズに捉われることなく、人間が目立つと感じる領域を欠陥領域として抽出し、且つユーザーが直感的に理解しやすい客観的な計量値として欠陥強度を数値化することが可能となる。
According to the present invention, the following effects can be expected.
(1) It is possible to extract the area that humans are conspicuous as a defect area without being trapped by the defect shape and size, and to quantify the defect intensity as an objective measurement that is easy for the user to understand intuitively. It becomes.
(2)分割領域全体の周波数成分を利用して、欠陥強度を判断するので、図27(A),(B)のような単体の欠陥だけでなく、図27(C),(D)のような周期的な欠陥についても、周波数、向きに捉われることなく、検出が可能となる。 (2) Since the defect strength is determined using the frequency components of the entire divided region, not only single defects such as those shown in FIGS. 27A and 27B but also those shown in FIGS. 27C and 27D. Such periodic defects can also be detected without being trapped by the frequency and direction.
(3)欠陥形状を意識せず、各分割領域の目立ち具合で欠陥か否かの判断が行われるので、新規の欠陥の検出を可能とし、新規の検査アルゴリズムの開発コストの削減、検査アルゴリズム開発期間中の不良品の流出の削減を実現できる。 (3) Since it is determined whether the defect is conspicuous without regard to the defect shape, it is possible to detect a new defect, reduce the development cost of a new inspection algorithm, and develop an inspection algorithm. It is possible to reduce the outflow of defective products during the period.
(4)欠陥形状・サイズに依存する抽出処理を持たないので、欠陥領域抽出に関するチューニング工数の大幅な削減を実現できる。 (4) Since there is no extraction process that depends on the defect shape / size, it is possible to achieve a significant reduction in the number of tuning steps related to defect area extraction.
以下、本発明を図面により詳細に説明する。図1は、本発明を適用した画質検査装置の一実施形態を示す機能ブロック図である。図29で説明した従来装置と同一要素には同一符号を付して説明を省略する。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing an embodiment of an image quality inspection apparatus to which the present invention is applied. The same elements as those of the conventional apparatus described with reference to FIG.
図29の従来装置との比較における本発明の構成上の特徴部は、演算制御部60の構成にある。即ち、図29の欠陥候補抽出手段62に代えて分割領域設定手段100が新規手段として導入されている構成にある。
The structural feature of the present invention in comparison with the conventional apparatus shown in FIG. That is, the divided
図2は、分割領域設定手段100による画像データの領域分割の手法を説明するイメージ図である。図2(A)のように、設定されたサイズの分割領域を、互いに重複させながら設定された移動幅で横方向に移動し、これを(B)のように上下方向に走査しながら移動して検査対象の全パネル領域に対応する画像データを複数の領域に分割する。 FIG. 2 is an image diagram for explaining a method of dividing the image data by the divided region setting means 100. As shown in FIG. 2 (A), the divided areas of the set size are moved in the horizontal direction with the set movement width while overlapping each other, and moved while scanning in the vertical direction as shown in (B). Thus, the image data corresponding to all panel areas to be inspected is divided into a plurality of areas.
特徴量計算手段63及び判定手段64による処理は、分割された各領域に対して順次実行され、各分割領域での判定結果が出力される。
The processing by the feature
図3は、図1の信号処理手順を示すフローチャートである。画像補正手段61では、従来装置と同様に、ステップS201において、前処理として、画像取込手段51から入力された画像データに対して、光学特性の補正、シェーディング補正、欠陥サイズへの対応及び高周波ノイズ除去等のため、縮小処理及び平滑化処理等実行して分割領域設定手段100に渡す。 FIG. 3 is a flowchart showing the signal processing procedure of FIG. In the image correction means 61, as in the conventional apparatus, in step S201, as preprocessing, the image data input from the image capturing means 51 is corrected for optical characteristics, shading correction, correspondence to defect size, and high frequency. In order to remove noise, etc., reduction processing and smoothing processing are executed and passed to the divided region setting means 100.
分割領域設定手段100では、ステップS202において、特徴量計算手段63、判定手段64を動作させる分割領域のサイズ、移動幅などを設定する。分割領域を半ブロックずつずらして設定することにより、領域をまたがって欠陥が存在する場合にも対応する。
In step S202, the divided
このとき、分割領域のサイズを大きくすれば、サイズの大きな欠陥あるいは低周波の欠陥に対応可能となり、小さくしていけば、サイズの小さな欠陥あるいは高周波の欠陥に対応可能となる。分割された画像データは、ループ処理L1を介して順次特徴量計算手段63に渡される。 At this time, if the size of the divided region is increased, it is possible to deal with a large-size defect or a low-frequency defect, and if it is made smaller, it is possible to deal with a small-size defect or a high-frequency defect. The divided image data is sequentially transferred to the feature amount calculation means 63 via the loop processing L1.
特徴量計算手段63は、ステップS203において、分割領域設定手段100で設定された各分割領域を正規化した画像を生成する。正規化は、例えば、欠陥候補内部の最大最小の輝度と平均輝度から行う。
In step S203, the feature
次にステップS204において、正規化された分割領域に対して2次元フーリエ変換等の処理を行い、分割領域内の形状を形成する周波数成分Power(u(h,v))を抽出する。ここで、
u(h,v)は空間周波数である。
Next, in step S204, the normalized divided region is subjected to processing such as two-dimensional Fourier transform to extract the frequency component Power (u (h, v)) that forms the shape in the divided region. here,
u (h, v) is a spatial frequency.
一方、ステップS205において、空間周波数u(h,v)、背景輝度LBG、分割領域の大きさ
(X,Y)及び角度方向φを夫々パラメータとして、2次元に拡張されたMTF特性
SMTF(u(h,v),LBG,X,Y, φ)を計算する。
On the other hand, in step S205, the spatial frequency u (h, v), the background luminance L BG , the size (X, Y) of the divided region, and the angle direction φ are used as parameters, respectively, and the two-dimensionally expanded MTF characteristics S MTF ( u (h, v), L BG , X, Y, φ) is calculated.
次に、ステップS206において、得られた周波数成分Power(u(h,v))と2次元MTF特性
SMTF(u(h,v),LBG,X,Y, φ)から、前出の式(3)により分割領域内の形状に対する認識限界コントラストCJNDを計算する。
Next, in step S206, from the obtained frequency component Power (u (h, v)) and the two-dimensional MTF characteristic S MTF (u (h, v), L BG , X, Y, φ), The recognition limit contrast C JND for the shape in the divided region is calculated by the equation (3).
最後に、ステップS207において、分割領域内の欠陥のコントラストCxと分割領域内の形状に対する認識限界コントラストCJNDから、前出の式(4)により分割領域の欠陥強度
(Semu)を算出して判定手段64に渡す。
Finally, in step S207, the defect intensity in the divided area is calculated from the contrast Cx of the defect in the divided area and the recognition limit contrast C JND for the shape in the divided area by the above equation (4).
(Semu) is calculated and passed to the determination means 64.
判定手段64では、ステップS208において、特徴量計算手段63で計算された欠陥強度
(Semu)と予め設定された閾値とを比較して分割領域が欠陥であるか否かを判断し、もし、欠陥があると判断された場合には、ステップS209において、検出された分割領域の情報を出力データにまとめ、ループ処理L2を経由して終了する。
In the
(Semu) is compared with a preset threshold value to determine whether or not the divided area is defective.If it is determined that there is a defect, in step S209, the detected divided area The information is collected into output data, and the process ends via the loop process L2.
ループ処理L1及びL2により、特徴量計算手段63及び判定手段64は、分割領域設定手段100で設定された全ての分割領域に対して上記処理を実行する。
By the loop processing L1 and L2, the feature
以下、図4乃至図26により、本発明を応用した他の実施形態を説明する。図4は、画像補正手段61内で多段階縮小処理を行なう機能を備えた本発明の他の実施形態の動作を説明するフローチャートである。 Hereinafter, another embodiment to which the present invention is applied will be described with reference to FIGS. FIG. 4 is a flowchart for explaining the operation of another embodiment of the present invention having a function of performing multi-stage reduction processing in the image correction means 61.
画像補正手段61では、まずステップS301において、前処理として、画像取込手段51から入力された画像データに対して、光学特性の補正、シェーディング補正を行い、ステップS302において縮小処理及び平滑化処理等を行う。
First, in step S301, the
多段階縮小処理された各縮小画像は、ループ処理R1、R2により、分割領域設定手段100、特徴量計算手段63、判定手段64の処理を、縮小平滑処理の実行数に応じて繰り返し実行する。
For each reduced image subjected to the multistage reduction processing, the processing of the divided
分割領域設定手段100、特徴量計算手段63、判定手段64のステップS303〜ステップS310までの処理は、図3で説明したループ処理L1,L2を含むステップS202〜ステップS209までの処理と同一である。
The processing from step S303 to step S310 of the divided
このような多段階縮小処理の実行により、広範囲の欠陥サイズ・周波数への対応及び高周波ノイズ除去等の効果を期待することができる。 By executing such multi-stage reduction processing, it is possible to expect effects such as dealing with a wide range of defect sizes and frequencies and removing high-frequency noise.
図5は、欠陥分類手段を備える本発明の他の実施形態を示す機能ブロック図である。図1と比較した構成上の特徴は、判定手段64の後に欠陥分類手段200を設けた構成にある。 FIG. 5 is a functional block diagram showing another embodiment of the present invention provided with defect classification means. The structural feature compared to FIG. 1 is that the defect classification means 200 is provided after the determination means 64.
図6は、図5の信号処理手順を示すフローチャートである。画像補正手段61、分割領域設定手段100、特徴量計算手段63、判定手段64のステップS401〜ステップS408までの処理は、図3で説明したループ処理L1,L2を含むステップS201〜ステップS209までの処理と同一である。
FIG. 6 is a flowchart showing the signal processing procedure of FIG. The processing from step S401 to step S408 of the
欠陥分類手段200においては、ステップS409にて欠陥種類の識別に使用する特徴量を算出する。識別に使用する特徴量としては、例えば、欠陥のサイズ、コントラスト、欠陥を特徴付ける周波数帯域の周波数スペクトル等が上げられる。 In step S409, the defect classification means 200 calculates a feature amount used for identifying the defect type. Examples of the feature amount used for identification include a defect size, a contrast, a frequency spectrum of a frequency band characterizing the defect, and the like.
次に、ステップS410では算出された特徴量と分類したい欠陥種類に応じて予め設定された閾値との比較を行い、欠陥種類に分類する。いずれかの欠陥種類に該当する場合には、ステップS411にて、分類された欠陥として、その欠陥領域の情報を出力する。いずれの欠陥種類にも該当しない場合には、ステップS412にて、新規の欠陥としてその欠陥領域の情報を出力する。 In step S410, the calculated feature value is compared with a threshold value set in advance according to the defect type to be classified, and is classified into the defect type. If any defect type is applicable, information on the defect area is output as a classified defect in step S411. If it does not correspond to any defect type, in step S412, information on the defect area is output as a new defect.
欠陥分類手段200の追加により、欠陥種類の分類が可能となり、その欠陥の発生する要因を特定し、前工程(パネルの製造工程)にフィードバックをかけることが可能となり、歩留まりを最小限に抑えることができる。 By adding the defect classification means 200, it becomes possible to classify the defect type, identify the cause of the defect, apply feedback to the previous process (panel manufacturing process), and minimize the yield. Can do.
図7は、カメラ出力値−輝度値変換パラメータ情報を入力する本発明の他の実施形態を示す機能ブロック図である。図1と比較した構成上の特徴は、カメラ出力値−輝度値変換パラメータデータベース300の情報を演算制御部60に渡す構成にある。
FIG. 7 is a functional block diagram showing another embodiment of the present invention for inputting camera output value-luminance value conversion parameter information. The structural feature compared to FIG. 1 is that the information of the camera output value-luminance value
ここで、カメラ出力値-輝度値変換パラメータは、画像補正手段61、特徴量計算手段63、判定手段64の全てあるいは一部に渡される。実際の輝度値の情報を入力することにより、精度の高い感度計算が可能になる。
Here, the camera output value-luminance value conversion parameter is passed to all or a part of the
図8は、色ムラに対応した機能を備える画像検査システムの基本構成図である。図28で説明した画像検査システムの撮像機器20との相違点は、モノクロカメラ21の撮影レンズと検査対象表示デバイス10との間には、RGBカラーフィルタを有するターレット22が挿入された構成にある。
FIG. 8 is a basic configuration diagram of an image inspection system having a function corresponding to color unevenness. The difference from the imaging device 20 of the image inspection system described in FIG. 28 is that a turret 22 having an RGB color filter is inserted between the photographing lens of the
ターレット22は、ステッピングモータやサーボモータ等の回転駆動部に支持されて高速に回転、位置決めが可能な構造となっている。また、ターレット22は撮影シーケンスと連動してプログラマブルに回転し、高速に任意のフィルタ選択が可能である。 The turret 22 is supported by a rotational drive unit such as a stepping motor or a servo motor, and has a structure capable of rotating and positioning at high speed. Further, the turret 22 rotates in a programmable manner in conjunction with the photographing sequence, and an arbitrary filter can be selected at high speed.
ここで、図8に示すようなターレット22とモノクロカメラ21を組み合わせた構成ではなく、ターレットを用いずにカラーフィルタを内蔵した3CCDカメラによる構成も可能である。
Here, not a configuration in which the turret 22 and the
また、RGBカラーフィルタの代わりに、シアン、マゼンダ、イエローの各波長帯域の光をそれぞれ透過させるフィルタを用いる構成、あるいは、モノクロカメラの分光特性も考慮したうえで、XYZ三刺激値の画像を直接撮像できるように設計し、x,y,zの各波長帯域の光を夫々透過させるX,Y,Zフィルタを用いる構成、あるいは、xy表色系等で示される色度図上の独立した少なくとも3点の色度フィルタを用いる構成も可能である。 In addition, instead of the RGB color filter, a configuration using a filter that transmits light in each wavelength band of cyan, magenta, and yellow, or taking into account the spectral characteristics of a monochrome camera, an XYZ tristimulus image is directly displayed. Designed so that imaging is possible, and a configuration using X, Y, and Z filters that transmit light in each wavelength band of x, y, and z, respectively, or at least independent on a chromaticity diagram indicated by an xy color system A configuration using a three-point chromaticity filter is also possible.
更に、ターレット22とモノクロカメラ21を組み合わせた構成ではなく、ターレットを用いずに2次元色彩計を使用して、XYZ三刺激値の画像を直接入力する構成も可能である。
Further, the turret 22 and the
図9は、複屈折フィルタを備えるモノクロカメラの構成図である。モノクロカメラ21の撮像素子(図示せず)と撮像レンズ23との間に、複屈折フィルタ24を挿入した構成を特徴としている。
FIG. 9 is a configuration diagram of a monochrome camera including a birefringent filter. A feature is that a birefringence filter 24 is inserted between an imaging element (not shown) of the
検査対象表示デバイス10が、高精細なフラットパネルの形態では、例えばブラックマトリクスや画素開口部などの規則正しいパターンの繰り返しである。また、CCD等の撮像素子も極正確なパターンの繰り返しであることから、モアレが発生してしまう。 When the inspection target display device 10 is in the form of a high-definition flat panel, for example, a regular pattern such as a black matrix or a pixel opening is repeated. In addition, since an image pickup device such as a CCD repeats extremely accurate patterns, moire occurs.
モアレが発生すると画質検査に影響を与え、誤検出や検出漏れの可能性が大きくなる。そこで複屈折フィルタを撮像素子の前に入れてモアレを軽減する処置を行うことでモアレ軽減の処置を施すことが好ましい。この手法は、固体撮像素子カメラでは良く行われる、 When moiré occurs, it affects the image quality inspection and increases the possibility of false detection and detection omission. Therefore, it is preferable to perform a moire reduction treatment by putting a birefringent filter in front of the image sensor and performing a treatment to reduce the moire. This technique is often used in solid-state image sensor cameras.
このような種々の構成が可能な撮像機器20により、検査対象表示デバイス10の画像は、RGB各色に対応して30a,30b,30cのカラー画像データとして出力され、画像演算PC40に渡される。
The image of the inspection target display device 10 is output as
図10は、色ムラに対応した本発明の他の実施形態を示す機能ブロック図である。ここで、演算制御部40には、RGBカラーフィルタに対する3枚の画像データ30a,30b,30cが画像取り込み手段51を介して取り込まれる。
FIG. 10 is a functional block diagram showing another embodiment of the present invention corresponding to color unevenness. Here, three pieces of
取り込まれた各画像データ30a,30b,30cに対し、画像補正手段61でレンズの収差などを補正した画像を生成した後、反対色画像生成手段65により補正された画像を反対色成分画像に変換する。
For each of the captured
変換された反対色成分画像は、特徴量算出領域を設定する分割領域設定手段100により領域分割され、分割領域毎の各反対色成分の画像データ66a,66b,66cに対して特徴量計算手段63a,63b,63cにより、認識限界コントラストに対する欠陥のコントラストの比として反対色成分に対する欠陥の強度を算出する。
The converted opposite color component image is divided into regions by the divided region setting means 100 for setting the feature amount calculation region, and the feature amount calculating means 63a for the
判定手段64は、特徴量計算手段63a,63b,63cで計算された分割領域毎の反対色欠陥強度を入力し、色ムラとしての総合的な欠陥強度を算出し、予め設定された閾値とを比較して欠陥であるか否かを判断する。
The
ここで、この実施形態の特徴部である反対色画像生成手段65の機能を説明する。反対色成分とは、Heringの反対色説(網膜には、白−黒、赤−緑、青−黄に応答する3種の受光器が存在し、すべての色の特性は、これらの受光器の応答量の割合で示される)に基づくものであり、黄色味の赤色はあるが、緑色味の赤色はない、という経験的事実を良く説明し、人間の色覚特性を良く表すものである。w/kは輝度成分であり、r/gは赤−緑、b/yは青−黄に対する色度成分である。 Here, the function of the opposite color image generation means 65, which is a characteristic part of this embodiment, will be described. The opposite color component is Herring's opposite color theory (the retina has three types of receivers that respond to white-black, red-green, and blue-yellow. The empirical fact that there is yellowish red but no greenish red is a good explanation and represents human color vision characteristics well. w / k is a luminance component, r / g is a chromaticity component for red-green, and b / y is a chromaticity component for blue-yellow.
三刺激値(X, Y, Z)から反対色成分(w/k, r/g, b/y)の各値(wk, rg, by)への変換は、式(5)に示す行列演算により行われる。 Conversion from tristimulus values (X, Y, Z) to each value (wk, rg, by) of the opposite color components (w / k, r / g, b / y) is a matrix operation as shown in Equation (5) Is done.
参考までに示せば、図13は、波長に対する三刺激波値(X, Y, Z)の関係を示す特性図である。図14は、反対色成分(w/k, r/g, b/y)の波長感度特性図である。図15は、反対色成分(w/k, r/g, b/y)のMTF特性図である。 For reference, FIG. 13 is a characteristic diagram showing the relationship of tristimulus wave values (X, Y, Z) with respect to wavelength. FIG. 14 is a wavelength sensitivity characteristic diagram of opposite color components (w / k, r / g, b / y). FIG. 15 is an MTF characteristic diagram of opposite color components (w / k, r / g, b / y).
これらの特性より明らかなように、輝度成分w/kは、或る周波数でピークを有する特性曲線となり、図32に示す空間周波数に対するMTFと同様の傾向を有し、人間の輝度成分に対する視覚は或る細かさに敏感であることを示している。これに対し、色度成分r/g、
b/yは、高周波に向かうほど、感度が低下する特性曲線を有し、輝度成分に対する傾向とは異なる傾向となる。
As is clear from these characteristics, the luminance component w / k becomes a characteristic curve having a peak at a certain frequency, and has the same tendency as the MTF for the spatial frequency shown in FIG. It shows that it is sensitive to a certain fineness. In contrast, the chromaticity component r / g,
b / y has a characteristic curve in which the sensitivity decreases as the frequency increases, and tends to be different from the tendency with respect to the luminance component.
図10の機能ブロック図に戻り、動作を説明する。図11は、図10で示した機能ブロック図の信号処理手順の前半を示すフローチャートである。図12は、図10の信号処理手順の後半を示すフローチャートである。 Returning to the functional block diagram of FIG. 10, the operation will be described. FIG. 11 is a flowchart showing the first half of the signal processing procedure of the functional block diagram shown in FIG. FIG. 12 is a flowchart showing the second half of the signal processing procedure of FIG.
まず、画像補正手段61では、ステップS501にて、前処理として、画像取得手段51より入力された各RGBカラーフィルタに対応する撮像画像データ30a,30b,30cに対し、光学特性の補正、欠陥サイズへの対応及び高周波ノイズ除去等のため、シェーディング補正、縮小処理及び平滑化処理等を行い、反対画像生成手段65に渡す。
First, in step S501, the
反対色画像生成手段65では、ステップS502にて、RGBカラーフィルタに対応する撮像画像データを、3枚の三刺激値画像(X, Y, Z)に変換し出力する。ステップS503にて、入力され三激値画像を3枚の反対色成分画像(w/k, r/g, b/y)に変換し、出力する。ここで、XYZ画像が直接入力される場合には、ステップS502の処理は行わない。
In step S502, the opposite color
図12に進み、分割領域設定手段100では、ステップS504において、特徴量計算手段63、判定手段65を動作させる分割領域のサイズ、移動幅などを設定して分割し、分割された反対色成分画像データ66a,66b,66cを、ループ処理L1を介して特徴量計算手段63に渡す。
Proceeding to FIG. 12, the divided
特徴量計算手段63では、分割された各反対色成分画像データ66a,66b,66cに対して並列的な処理を行う。反対色成分画像データ66aを代表として処理の手順を説明する。
The feature amount calculation means 63 performs parallel processing on the divided opposite color
ステップS505において、反対色成分画像データ66aでの欠陥候補領域を各反対色成分で正規化した欠陥形状を生成する。次にステップS506において、正規化された欠陥形状に対して2次元フーリエ変換等の処理を行い、各反対色成分において欠陥領域を形成する周波数成分Powerwk(u(h,v))、Powerrg(u(h,v))、Powerby(u(h,v))を抽出する。
In step S505, a defect shape is generated by normalizing the defect candidate area in the opposite color
同時に、ステップS507において、空間周波数u(h,v)、反対色成分の背景値wkbg、
rgbg、bybg、欠陥候補領域の大きさ(X,Y)及び角度方向φを夫々パラメータとして各反対色成分(w/k, r/g, b/y)における2次元MTF特性Swk(u(h,v),wkBG,X,Y,φ)、Srg(u(h,v),rgBG,X,Y, φ)、Sby(u(h,v),byBG,X,Y, φ)を計算する。
At the same time, in step S507, the spatial frequency u (h, v), the background value wk bg of the opposite color component,
The two-dimensional MTF characteristics S wk (w / k, r / g, b / y) are used as parameters with rg bg , by bg , the size (X, Y) of the defect candidate region, and the angle direction φ, respectively. u (h, v), wk BG , X, Y, φ), S rg (u (h, v), rg BG , X, Y, φ), S by (u (h, v), by BG , X, Y, φ) is calculated.
次に、ステップS508において、各反対色成分(w/k, r/g, b/y)より得られた周波数成分
Powerwk(u(h,v))、Powerrg(u(h,v))、Powerby(u(h,v))と2次元MTF特性Swk(u(h,v),wkBG,X,Y, φ)、Srg(u(h,v),rgBG,X,Y, φ)、Sby(u(h,v),byBG,X,Y, φ)から、式(6)、式(7)、式(8)により各反対色成分(w/k, r/g, b/y)における欠陥形状に対する認識限界コントラストCJNDwk、CJNDrg、CJNDbyを計算する。
Next, in step S508, the frequency components obtained from the opposite color components (w / k, r / g, b / y)
Power wk (u (h, v)), Power rg (u (h, v)), Power by (u (h, v)) and two-dimensional MTF characteristics S wk (u (h, v), wk BG , X, Y, φ), S rg (u (h, v), rg BG , X, Y, φ), S by (u (h, v), by BG , X, Y, φ), 6) The recognition limit contrasts C JNDwk , C JNDrg , and C JNDby for the defect shape in each of the opposite color components (w / k, r / g, b / y) are calculated according to the equations (7) and (8).
最後に、ステップS509において、各反対色成分(w/k, r/g, b/y)における欠陥のコントラストCwk、Crg、Cbyと欠陥形状に対する認識限界コントラストCJNDwk、CJNDrg、
CJNDbyから、式(9)、式(10)、式(11)により各反対色成分(w/k, r/g, b/y)における欠陥強度Semuwk、Semurg、Semubyを計算する。
Finally, in step S509, the defect contrasts C wk , C rg , C by in the opposite color components (w / k, r / g, b / y) and the recognition limit contrasts C JNDwk , C JNDrg ,
From C JNDby , the defect intensities Semu wk , Semu rg , and Semu by in each opposite color component (w / k, r / g, b / y) are calculated by Equation (9), Equation (10), and Equation (11). .
特徴量計算手段63の、他の反対色画像データ66b及び66cに対する処理も、ステップS505〜S509の処理と同様であり、並列処理された各反対色欠陥強度情報は、判定手段64に渡される。
The processing of the feature
判定手段64では、ステップS510において、特徴量計算手段63により算出された各反対色成分(w/k, r/g, b/y)における欠陥強度Semuwk、Semurg、Semubyを統合して、色ムラとしての総合的な欠陥強度(Semu)を算出する。
In the
ステップS511において、計算された総合的な欠陥強度(Semu)と予め設定された閾値とを比較して欠陥であるか否かを判断し、もし、欠陥であると判断された場合には、ステップS512において、検出された欠陥の情報を出力データにまとめる。 In step S511, the calculated total defect strength (Semu) is compared with a preset threshold value to determine whether or not the defect is present, and if it is determined that the defect is present, the step is performed. In S512, information on detected defects is collected into output data.
このように、色ムラに対しても反対色画像データの欠陥強度を算出することで、図1の実施形態と同一の効果(1),(2),(3)を期待することが可能である。 Thus, by calculating the defect intensity of the opposite color image data even for color unevenness, it is possible to expect the same effects (1), (2), (3) as in the embodiment of FIG. is there.
図16は、欠陥分類手段を備える本発明の他の実施形態を示す機能ブロック図であり、色ムラに対応する図10の実施形態における判定手段64の後に欠陥分類手段400を追加した構成を特徴としている。 FIG. 16 is a functional block diagram showing another embodiment of the present invention provided with defect classification means, and is characterized in that a defect classification means 400 is added after the determination means 64 in the embodiment of FIG. 10 corresponding to color unevenness. It is said.
図17は、図16の信号処理手順の後半を示すフローチャートである。前半のフローチャートは図11と同一である。図17において、分割領域設定手段のステップS504より判定手段64のステップS511までのステップも図12と同一である。 FIG. 17 is a flowchart showing the second half of the signal processing procedure of FIG. The flowchart of the first half is the same as FIG. In FIG. 17, the steps from step S504 of the divided region setting means to step S511 of the determination means 64 are the same as those in FIG.
欠陥分類手段400において、ステップS513にて欠陥種類の識別に使用する特徴量を算出する。識別に使用する特徴量としては、例えば、欠陥のサイズ、コントラスト、欠陥を特徴付ける周波数帯域の周波数スペクトルの他、色ムラについては、色度情報等も算出する。 In step S513, the defect classification unit 400 calculates a feature amount used for identifying the defect type. As the feature quantity used for identification, for example, in addition to the defect size, contrast, and frequency spectrum of the frequency band characterizing the defect, chromaticity information and the like are also calculated for color unevenness.
ステップS514にて、算出された特徴量と分類したい欠陥種類に応じて予め設定された閾値との比較を行い、所定の欠陥種類に分類する。いずれかの欠陥種類に該当する場合には、ステップS515にて、分類された欠陥としてその欠陥領域の情報を出力する。いずれの欠陥種類にも該当しない場合には、ステップS516にて、新規尾低野の欠陥としてその欠陥領域の情報を出力する。 In step S514, the calculated feature value is compared with a preset threshold value according to the defect type to be classified, and is classified into a predetermined defect type. If one of the defect types is applicable, information on the defect area is output as a classified defect in step S515. If the defect type does not correspond to any defect type, in step S516, information on the defect area is output as a defect of a new tail lower field.
図18は、カメラ出力値−三刺激値変換パラメータ情報を入力する本発明の他の実施形態を示す機能ブロック図である。構成上の特徴は、色ムラに対応した実施形態図10の構成に対し、カメラ出力値−三刺激値変換パラメータを保持するデータベース500の情報を演算制御部60の反対色画像生成手段65に渡す構成にある。実際の三刺激値の情報を入力することにより、精度の高い感度計算が可能になる。
FIG. 18 is a functional block diagram showing another embodiment of the present invention for inputting camera output value-tristimulus value conversion parameter information. The feature of the structure is that the information of the
図19は、分光輝度計を備える撮像機器の構成を示す斜視図である。モノクロカメラ21と併設して、検査対象表示デバイス10の三刺激値を測定する分光輝度計70を備えている構成を特徴としている。
FIG. 19 is a perspective view illustrating a configuration of an imaging device including a spectral luminance meter. It is characterized by a configuration including a
図20は、分光輝度計データを入力する変換パラメータ生成部を備える本発明の他の実施形態を示す機能ブロック図である。色ムラに対応した実施形態図10の構成に対し、分光輝度計7で測定された分光輝度データ70aを入力する変換パラメータ生成部600を追加した構成を特徴としている。分光輝度の測定は、検査対象表示デバイス10の変更時、ロット変更時、デバイス品種の変更時、あるいはメンテナンス時に行う。
FIG. 20 is a functional block diagram showing another embodiment of the present invention including a conversion parameter generation unit for inputting spectral luminance meter data. Embodiment Corresponding to Color Unevenness The configuration shown in FIG. 10 is characterized in that a conversion
変換パラメータ生成手段601は、三刺激値を測定した分光輝度データ70a及びRGB画像データ30a,30b,30cを入力し、その補正機能により、カメラ出力値-三刺激値変換パラメータを生成し、データベース602に保持する。
The conversion parameter generation unit 601 receives the spectral luminance data 70a and the
データベース602のパラメータ情報は、反対色画像生成手段65に渡される。検査対象表示デバイス10をリアルタイムに測定した分光輝度データに基づいて三刺激値変換パラメータを使用することで、光源や撮像装置のバラツキや経時変化にも対応した欠陥強度算出を可能にする。
The parameter information in the
図21は、認識限界感度モデルパラメータ情報を入力する本発明の他の実施形態を示す機能ブロック図であり、図1に示す実施形態に、認識限界感度モデルパラメータ情報を保持するデータベース700を追加した構成を特徴としている。
FIG. 21 is a functional block diagram showing another embodiment of the present invention for inputting recognition limit sensitivity model parameter information. A
図22は、認識限界感度モデルパラメータ情報を入力する、色ムラに対応した本発明の他の実施形態を示す機能ブロック図であり、図10に示す色ムラに対応した実施形態に対し、認識限界感度モデルパラメータ情報を保持するデータベース800を追加した構成を特徴としている。
FIG. 22 is a functional block diagram showing another embodiment of the present invention corresponding to color unevenness, to which recognition limit sensitivity model parameter information is input, and the recognition limit for the embodiment corresponding to color unevenness shown in FIG. The configuration is characterized by adding a
認識限界感度モデルパラメータ情報を外部ファイルとして有し、これを演算制御部60に入力して欠陥強度を算出する。この認識限界感度モデルパラメータは、特徴量計算手段63及び判定手段64の一部あるいは全部に渡される。
The recognition limit sensitivity model parameter information is stored as an external file, which is input to the
このように、認識限界感度モデルパラメータを外部から入力することにより、メンテナンス性を向上し、精度の高い感度計算が可能になる。例えば、検査対象表示デバイスの特性をリアルタイムに測定し、その測定データから認識限界感度モデルパラメータを生成し使用することで、デバイス間の特性のばらつきや経時変化にも対応した欠陥強度算出を可能にする。 Thus, by inputting the recognition limit sensitivity model parameter from the outside, the maintainability is improved and the sensitivity calculation with high accuracy becomes possible. For example, by measuring the characteristics of the display device to be inspected in real time, and generating and using the recognition limit sensitivity model parameters from the measurement data, it is possible to calculate the defect strength corresponding to variations in characteristics between devices and changes over time. To do.
図23は、検査対象が撮像デバイスである画質検査システムの基本構成図である。検査対象の撮像デバイス80の3CCDカメラ81により参照光源90を撮像したRGB画像データ30a,30b,30cにより、撮像デバイス自身の欠陥を検査する。信号処理の手順は、表示デバイスの検査と同一である。CCD、CMOS等の撮像デバイスにも適用可能である。尚、検査対象がモノクロの場合、1枚のモノクロ画像データを入力する。
FIG. 23 is a basic configuration diagram of an image quality inspection system whose inspection target is an imaging device. The defect of the imaging device itself is inspected by the
図24は、検査対象撮像デバイスの投影画像を撮影する画質検査システムの基本構成図である。検査対象撮像デバイス90による投影像90aを撮像機器20により撮影したRGB画像データ30a,30b,30cにより、撮像デバイス90自身の欠陥を検査する。信号処理の手順は表示デバイスの検査と同一である。本発明は、プロジェクタ用液晶等の投影デバイスにも適用可能である。またモノクロ、カラーいずれの投影デバイスにも適用可能である。
FIG. 24 is a basic configuration diagram of an image quality inspection system that captures a projection image of an inspection target imaging device. The defect of the imaging device 90 itself is inspected by the
図25は、2種の画質データの差分評価を実行する本発明の他の実施形態を示す機能ブロック図である。画像データ30Aと比較する画像データ30B(例えば画像データ30Aを圧縮した画像や画像データ30Aを伝送した画像)を入力する。
FIG. 25 is a functional block diagram showing another embodiment of the present invention for executing a difference evaluation between two types of image quality data. The image data 30B to be compared with the
入力した夫々の画像に対して、分割領域設定手段100A,100Bで領域分割し、特徴量計算手段63A,63Bで欠陥強度を計算し、判定手段64A,64Bによる判定結果を比較判定手段67に渡して差分を評価する。 For each input image, the divided area setting means 100A and 100B divide the area, the feature amount calculation means 63A and 63B calculate the defect strength, and the determination results by the determination means 64A and 64B are passed to the comparison determination means 67. To evaluate the difference.
図26は、2種の画質データの差分評価を実行する、色ムラに対応した本発明の他の実施形態を示す機能ブロック図である。入力した画像データ30Aと比較する画像データ30Bに対して反対色画像生成手段65A,65Bで3個の反対色成分に変換し、分割領域設定手段100A,100Bで領域分割する。
FIG. 26 is a functional block diagram showing another embodiment of the present invention corresponding to color unevenness for executing a difference evaluation between two types of image quality data. The image data 30B to be compared with the
画像データ30Aに基づく3個の反対色画像データ66Aa,66Ab,66Acは、夫々特徴量計算手段63Aa,63Ab,63Acで欠陥強度を計算し、判定手段64Aに入力され欠陥の判定が実行される。
The three opposite color image data 66Aa, 66Ab, and 66Ac based on the
同様に、画像データ30Bに基づく3個の反対色画像データ66Ba,66Bb,66Bcは、夫々特徴量計算手段63Ba,63Bb,63Bcで欠陥強度を計算し、判定手段64Bに入力され欠陥の判定が実行される。判定手段64A,64Bによる判定結果を比較判定手段67に渡して差分を評価する。 Similarly, the three opposite color image data 66Ba, 66Bb, 66Bc based on the image data 30B calculate the defect strength by the feature amount calculation means 63Ba, 63Bb, 63Bc, respectively, and are input to the determination means 64B to execute the defect determination. Is done. The determination results by the determination means 64A and 64B are passed to the comparison determination means 67 to evaluate the difference.
このような画像データ評価手法を採用することにより、画像データの差分や劣化を視覚の認識限界感度に基づいた定量的な値で評価でき、客観的に理解しやすい評価値を算出することで、個々の形状に対する劣化の客観的な評価が容易となる。 By adopting such an image data evaluation method, it is possible to evaluate the difference or degradation of the image data with a quantitative value based on the visual recognition limit sensitivity, and by calculating an evaluation value that is easy to understand objectively, Objective evaluation of deterioration for individual shapes becomes easy.
この評価の手法は、例えば以下のような対象に利用することができる
(1)画像圧縮性能評価:圧縮前後の画像を画像データA,Bに設定することにより行う。
(2)画像伝送性能評価:伝送前後の画像を画像データA,Bに設定することにより行う。
(3)印刷物変化の検査:マスタの印刷物を撮像した画像を画像データAに、その後印刷したものを撮像した画像を画像Bに設定することにより行う。
(4)塗装物変化の検査:照明条件、対象物位置精度を安定させ、あるいは、画像処理による照明条件補正機能、対象物位置補正機能を付加し、マスタとなる塗装物を撮像した画像を画像データAに、その後塗装したものを撮像した画像を画像Bに設定することにより行う。
This evaluation method can be used for the following objects, for example: (1) Image compression performance evaluation: Performed by setting images before and after compression as image data A and B.
(2) Image transmission performance evaluation: Performed by setting images before and after transmission as image data A and B.
(3) Inspection of change in printed matter: An image obtained by capturing a master printed matter is set as image data A, and an image obtained by capturing the printed matter is set as image B after that.
(4) Inspection of paint changes: Stabilize the lighting conditions and object position accuracy, or add an illumination condition correction function and object position correction function by image processing, and image an image of the master object to be imaged The data A is set by setting an image obtained by imaging a painted object as an image B.
30 画像データ
40 画像演算PC
50 画像取り込み部
51 画像取り込み手段
60 演算制御部
61 画像補正手段
63 特徴量計算手段
64 判定手段
70 表示部
71 画質検査結果
100 分割領域設定手段
30 image data 40 image calculation PC
DESCRIPTION OF
Claims (19)
前記演算制御部は、
前記画像データの領域を隣り合う領域に重なりを持たせて複数領域に分割する分割領域設定手段と、
分割された各領域の形状に対して、欠陥形状・サイズに依存する抽出処理をすることなく、コントラストと、空間周波数に対する感度特性MTFを利用した認識限界感度モデルを使用して得られる認識限界コントラストとの比に基づいて欠陥強度を算出する、前記各領域に対する同一の特徴量計算手段と、
算出された前記欠陥強度と予め設定された閾値とを比較し、前記分割領域が欠陥であるか否かを判定する判定手段と、
を備えることを特徴とする画質検査装置。 In an image quality inspection apparatus having an operation control unit that captures image data to be inspected, performs arithmetic processing on the captured image data, and detects defects,
The arithmetic control unit is
A divided region setting means for dividing the region of the image data into a plurality of regions with overlapping regions adjacent to each other;
The recognition limit contrast obtained by using the recognition limit sensitivity model using the contrast and the sensitivity characteristic MTF with respect to the spatial frequency without performing extraction processing depending on the defect shape / size for the shape of each divided area. And calculating the defect strength based on the ratio of the same feature amount calculation means for each region,
A determination means for comparing the calculated defect intensity with a preset threshold value and determining whether the divided area is a defect;
An image quality inspection apparatus comprising:
前記演算制御部は、
取り込んだ前記画像データより複数の反対色画像データを生成する反対色画像生成手段と、
前記反対色画像データ毎にその領域を隣り合う領域に重なりを持たせて複数領域に分割する分割領域設定手段と、
分割された各領域の形状に対して、欠陥形状・サイズに依存する抽出処理をすることなく、コントラストと、空間周波数に対する感度特性MTFを利用した認識限界感度モデルを使用して得られる認識限界コントラストとの比に基づいて反対色成分毎の欠陥強度を算出する、前記各領域に対する同一の特徴量計算手段と、
算出された前記欠陥強度と予め設定された閾値とを比較し、前記分割領域が欠陥であるか否かを判定する判定手段と、
を備えることを特徴とする画質検査装置。 In an image quality inspection apparatus having an operation control unit that captures image data to be inspected, performs arithmetic processing on the captured image data, and detects defects,
The arithmetic control unit is
Opposite color image generation means for generating a plurality of opposite color image data from the captured image data;
Divided region setting means for dividing the region for each of the opposite color image data into a plurality of regions with overlapping adjacent regions;
The recognition limit contrast obtained by using the recognition limit sensitivity model using the contrast and the sensitivity characteristic MTF with respect to the spatial frequency without performing extraction processing depending on the defect shape / size for the shape of each divided area. Calculating the defect intensity for each opposite color component based on the ratio of
A determination means for comparing the calculated defect intensity with a preset threshold value and determining whether the divided area is a defect;
An image quality inspection apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211661A JP5288154B2 (en) | 2007-08-15 | 2007-08-15 | Image quality inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211661A JP5288154B2 (en) | 2007-08-15 | 2007-08-15 | Image quality inspection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009047465A JP2009047465A (en) | 2009-03-05 |
JP5288154B2 true JP5288154B2 (en) | 2013-09-11 |
Family
ID=40499833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007211661A Active JP5288154B2 (en) | 2007-08-15 | 2007-08-15 | Image quality inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5288154B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101337625B1 (en) | 2012-03-16 | 2013-12-05 | 삼성중공업 주식회사 | A blasting inspection system |
KR101977647B1 (en) * | 2012-11-15 | 2019-05-14 | 엘지디스플레이 주식회사 | Apparatus and Method for Detection MURA in Display Device |
CN107817217B (en) * | 2017-10-31 | 2020-06-02 | 武汉精测电子集团股份有限公司 | Image acceleration processing system suitable for LCM automatic optical detection |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003141508A (en) * | 2001-10-31 | 2003-05-16 | Olympus Optical Co Ltd | Method, apparatus and program for visual inspection of substrate, and computer readable storage medium |
JP4139291B2 (en) * | 2003-08-25 | 2008-08-27 | 新日本製鐵株式会社 | Defect inspection method and apparatus |
JP4564768B2 (en) * | 2004-03-23 | 2010-10-20 | 株式会社日立ハイテクノロジーズ | Pattern inspection method and apparatus |
JP2005326323A (en) * | 2004-05-17 | 2005-11-24 | Yokogawa Electric Corp | Image quality inspection device |
-
2007
- 2007-08-15 JP JP2007211661A patent/JP5288154B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009047465A (en) | 2009-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI627854B (en) | Uneven spot inspection system, uneven spot inspection method and uneven spot inspection program | |
JP2004054226A (en) | Method and system to analyze picture quality of display device | |
JP4872438B2 (en) | Inspection device, inspection method, and inspection processing program | |
JP2007172512A (en) | Method for quantitative evaluation of image quality, system thereof and program for calculating quantitative evaluation of image quality | |
JP4000632B2 (en) | Display device inspection method and inspection device | |
JP6113319B2 (en) | Image color distribution inspection apparatus and image color distribution inspection method | |
JP5841091B2 (en) | Image color distribution inspection apparatus and image color distribution inspection method | |
JP2009229197A (en) | Linear defect detecting method and device | |
JP5288154B2 (en) | Image quality inspection device | |
JP2009036582A (en) | Inspection method, inspection device and inspection program of plane display panel | |
JP2004239733A (en) | Defect detection method and apparatus of screen | |
JP2007170961A (en) | Inspection device and inspection method | |
JP5321939B2 (en) | Image quality inspection apparatus and image quality inspection method | |
JP2007155405A (en) | Visual inspection method and visual inspection device | |
JP2006258713A (en) | Method and apparatus for detecting stain defect | |
JP3854585B2 (en) | Display defect detection method and display defect inspection apparatus for liquid crystal panel | |
JP4315243B2 (en) | Evaluation method of color uniformity | |
JP5163940B2 (en) | Image quality inspection apparatus and image quality inspection method | |
JP2005326323A (en) | Image quality inspection device | |
JP2005140655A (en) | Method of detecting stain flaw, and stain flaw detector | |
JP2019207114A (en) | Acceptance/rejection determination method and acceptance/rejection determination device for dull-finished material surface | |
JP2008026147A (en) | Inspection device for color filter, and inspection method for the color filter | |
JP2019120644A (en) | Surface inspection device and surface inspection method | |
JP2008089335A (en) | Optical flare inspection device and inspection method | |
JP2004226272A (en) | Method and apparatus for detecting stain defect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121011 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5288154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |