JP2024017231A - Inspection system and inspection method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To acquire a captured image of a highly accurate sine wave stripe pattern.

SOLUTION: An inspection system comprises: an illumination unit that emits light to an inspection object; an imaging unit that images light including reflection light generated when the light emitted by the illumination unit is reflected on a surface of the inspection object; a processing unit that creates relationship information indicating a relationship between light projection intensity and light reception illuminance based on a plurality of images captured using light of a plurality of intensities and calculates a projection stripe pattern so that the captured image has a sine wave stripe pattern based on the relationship information; and an illumination control unit that controls the illumination unit to emit the light such that the projection stripe pattern moves periodically and spatially when imaging by the imaging unit is performed to inspect the inspection object.

SELECTED DRAWING: Figure 18

COPYRIGHT: (C)2024,JPO&INPIT

Description

本発明の実施形態は、検査システムおよび検査方法に関する。 Embodiments of the present invention relate to an inspection system and an inspection method.

従来から、例えば、検査対象物に対して周期的に空間的に強度が変化する光を照射し、検査対象物の表面からの反射光を撮像して撮像画像を取得し、撮像画像の輝度変化等に基づいて検査対象物の異常を検出する技術が提案されている。 Conventionally, for example, an object to be inspected is irradiated with light whose intensity changes spatially periodically, and a captured image is obtained by capturing the reflected light from the surface of the object to be inspected. Techniques have been proposed for detecting abnormalities in objects to be inspected based on the following.

その場合、例えば、正弦波縞パターンの撮像画像を取得するために、照明装置から正弦波縞パターンの光を検査対象物に対して投影する。ここで、正弦波縞パターンとは、縞パターンであって、輝度の変化をグラフにすると正弦波になるものを指す。 In that case, for example, in order to obtain a captured image of a sine wave stripe pattern, light with a sine wave stripe pattern is projected onto the inspection object from the illumination device. Here, the sine wave stripe pattern refers to a stripe pattern that becomes a sine wave when a change in brightness is graphed.

特開平５－１９６４３６号公報Japanese Patent Application Publication No. 5-196436

しかしながら、照明装置から正弦波縞パターンの光を検査対象物に対して投影して撮像したとしても、種々の理由により、正弦波縞パターンの撮像画像を取得できるとは限らない。 However, even if a light with a sine wave stripe pattern is projected onto the inspection object from an illumination device and an image is captured, it is not always possible to obtain a captured image with a sine wave stripe pattern for various reasons.

そこで、本実施形態の課題は、高精度な正弦波縞パターンの撮像画像を取得することができる検査システムおよび検査方法を提供することである。 Therefore, an object of the present embodiment is to provide an inspection system and an inspection method that can acquire a highly accurate captured image of a sinusoidal stripe pattern.

実施形態の検査システムは、検査対象物に対して光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成し、前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する処理部と、前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させる照明制御部と、を備える。 The inspection system of the embodiment includes an illumination unit that irradiates light onto an object to be inspected, and an image of light including reflected light generated when the light irradiated by the illumination unit is reflected on the surface of the object to be inspected. Create relational information indicating the relationship between light projection intensity and received light brightness based on a plurality of captured images captured using a plurality of light beams of different intensities, and create a captured image based on the relational information. a processing unit that calculates a projected fringe pattern so that the image becomes a sinusoidal fringe pattern; and an illumination control unit that irradiates light so that the projected striped pattern moves.

図１は、実施形態の検査システムの構成例を示した図である。FIG. 1 is a diagram showing an example of the configuration of an inspection system according to an embodiment. 図２は、実施形態の時間相関カメラの構成を示したブロック図である。FIG. 2 is a block diagram showing the configuration of the time correlation camera according to the embodiment. 図３は、実施形態の時間相関カメラで時系列順に蓄積されたフレームを表した概念図である。FIG. 3 is a conceptual diagram showing frames accumulated in chronological order by the time correlation camera of the embodiment. 図４は、実施形態の照明装置が照射する縞パターンの一例を示した図である。FIG. 4 is a diagram showing an example of a striped pattern emitted by the lighting device of the embodiment. 図５は、実施形態の時間相関カメラによる、検査対象物の異常の第１の検出例を示した図である。FIG. 5 is a diagram illustrating a first example of detection of an abnormality in the inspection object by the time correlation camera of the embodiment. 図６は、図５に示される異常が検査対象物にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。FIG. 6 is a diagram showing an example of the amplitude of light that changes depending on the abnormality shown in FIG. 5 when the object to be inspected has the abnormality. 図７は、実施形態の時間相関カメラによる、検査対象物の異常の第２の検出例を示した図である。FIG. 7 is a diagram illustrating a second example of detection of an abnormality in the inspection object by the time correlation camera of the embodiment. 図８は、実施形態の時間相関カメラによる、検査対象物の異常の第３の検出例を示した図である。FIG. 8 is a diagram illustrating a third example of detection of an abnormality in the inspection object by the time correlation camera of the embodiment. 図９は、実施形態の照明制御部が照明装置に出力する縞パターンの例を示した図である。FIG. 9 is a diagram illustrating an example of a stripe pattern that the illumination control unit of the embodiment outputs to the illumination device. 図１０は、実施形態のスクリーンを介した後の縞パターンを表した波の形状の例を示した図である。FIG. 10 is a diagram showing an example of the shape of a wave representing a striped pattern after passing through the screen of the embodiment. 図１１は、従来技術による投影縞パターンと受光縞パターンなどの説明図である。FIG. 11 is an explanatory diagram of a projection stripe pattern, a light reception stripe pattern, etc. according to the prior art. 図１２は、実施形態による投影縞パターンと受光縞パターンなどの説明図である。FIG. 12 is an explanatory diagram of a projection stripe pattern, a light reception stripe pattern, etc. according to the embodiment. 図１３は、比較例１の矩形投影パターンを示す図である。FIG. 13 is a diagram showing a rectangular projection pattern of Comparative Example 1. 図１４は、比較例１の位相画像と振幅画像の例を示す図である。FIG. 14 is a diagram showing an example of a phase image and an amplitude image of Comparative Example 1. 図１５は、比較例１の位相画像と振幅画像の例を示す図である。FIG. 15 is a diagram showing an example of a phase image and an amplitude image of Comparative Example 1. 図１６は、比較例２の位相画像と振幅画像の例を示す図である。FIG. 16 is a diagram showing an example of a phase image and an amplitude image of Comparative Example 2. 図１７は、実施形態の位相画像と振幅画像の例を示す図である。FIG. 17 is a diagram showing an example of a phase image and an amplitude image according to the embodiment. 図１８は、実施形態の検査システムによるおける照明制御を示すフローチャートである。FIG. 18 is a flowchart showing lighting control by the inspection system of the embodiment.

以下、本発明の検査システムおよび検査方法の実施形態について説明する。なお、以下の実施形態では、位相シフト法を使う場合について説明する。 Embodiments of the inspection system and inspection method of the present invention will be described below. Note that in the following embodiments, a case will be described in which a phase shift method is used.

実施形態の概要を説明すると、まず、図１～図１０を用いて、位相シフト法における強度画像、振幅画像、位相画像の生成などについて説明する。その後で、図１１～図１９を用いて、高精度な正弦波縞パターンの撮像画像の取得について説明する。 To give an overview of the embodiment, first, generation of an intensity image, an amplitude image, a phase image, etc. in the phase shift method will be explained using FIGS. 1 to 10. After that, acquisition of a highly accurate captured image of a sinusoidal stripe pattern will be explained using FIGS. 11 to 19.

実施形態の検査システムは、検査対象物を検査するために様々な構成を備えている。図１は、本実施形態の検査システムの構成例を示した図である。図１に示されるように、本実施形態の検査システムは、ＰＣ１００と、時間相関カメラ１１０と、照明装置１２０と、スクリーン１３０と、アーム１４０と、を備えている。 The inspection system of the embodiment includes various configurations for inspecting an object to be inspected. FIG. 1 is a diagram showing an example of the configuration of an inspection system according to this embodiment. As shown in FIG. 1, the inspection system of this embodiment includes a PC 100, a time correlation camera 110, a lighting device 120, a screen 130, and an arm 140.

アーム１４０は、検査対象物１５０を固定するために用いられ、ＰＣ１００からの制御に応じて、時間相関カメラ１１０が撮影可能な検査対象物１５０の表面の位置と向きを変化させる。 The arm 140 is used to fix the inspection object 150, and changes the position and orientation of the surface of the inspection object 150 that can be photographed by the time correlation camera 110 in accordance with control from the PC 100.

照明装置１２０は、検査対象物１５０に対して周期的に空間的に強度が変化する光を照射する。具体的には、照明装置１２０は、ＰＣ１００からの縞パターンに従って、照射する光の強度を領域単位で制御する。また、照明装置１２０は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置１２０は、光の強度の周期的な時間変化及び空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。 The illumination device 120 irradiates the inspection object 150 with light whose intensity periodically changes spatially. Specifically, the lighting device 120 controls the intensity of the irradiated light on a region-by-region basis according to the striped pattern from the PC 100. Furthermore, the illumination device 120 can control the intensity of light for each region according to periodic time transitions. In other words, the lighting device 120 can provide periodic temporal and spatial changes in the intensity of light. Note that a specific method for controlling the light intensity will be described later.

スクリーン１３０は、照明装置１２０から出力された光を拡散させた上で、検査対象物１５０に対して面的に光を照射する。本実施形態のスクリーン１３０は、照明装置１２０から入力された周期的な時間変化及び空間変化が与えられた光を、面的に検査対象物１５０に照射する。なお、照明装置１２０とスクリーン１３０との間には、集光用のフレネルレンズ等の光学系部品（図示されず）が設けられてもよい。 The screen 130 diffuses the light output from the illumination device 120 and then irradiates the inspection object 150 with the light over the area. The screen 130 of the present embodiment illuminates the inspection object 150 in a planar manner with light inputted from the illumination device 120 and subjected to periodic temporal and spatial changes. Note that an optical system component (not shown) such as a Fresnel lens for condensing light may be provided between the illumination device 120 and the screen 130.

なお、本実施形態は、照明装置１２０とスクリーン１３０とを組み合わせて、光強度の周期的な時間変化及び空間変化を与える面的な照射部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、ＬＥＤを面的に配置して照明部を構成してもよい。また、市販のモニターやテレビなどの一般的なディスプレイによって照明部を構成してもよい。 Note that in this embodiment, an example will be described in which the illumination device 120 and the screen 130 are combined to form a planar irradiation section that provides periodic temporal and spatial changes in light intensity. For example, the illumination unit may be configured by arranging LEDs in a planar manner without being limited thereto. Further, the illumination section may be configured by a general display such as a commercially available monitor or television.

時間相関カメラ１１０は、光学系２１０と、イメージセンサ２２０と、データバッファ２３０と、制御部２４０と、参照信号出力部２５０と、を備えている。図２は、本実施形態の時間相関カメラ１１０の構成を示したブロック図である。 The time correlation camera 110 includes an optical system 210, an image sensor 220, a data buffer 230, a control section 240, and a reference signal output section 250. FIG. 2 is a block diagram showing the configuration of the time correlation camera 110 of this embodiment.

光学系２１０は、撮影レンズ等を含み、時間相関カメラ１１０の外部の被写体（検査対象物を含む）からの光束を透過し、その光束により形成される被写体の光学像を結像させる。 The optical system 210 includes a photographing lens and the like, transmits a light beam from an object (including an object to be inspected) outside the time correlation camera 110, and forms an optical image of the object formed by the light beam.

イメージセンサ２２０は、照明装置１２０によって照射された光が検査対象物１５０の表面で反射することで発生した反射光を含む光を、光学系２１０を介して撮像する。具体的には、イメージセンサ２２０は、光学系２１０を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサである。 The image sensor 220 images, via the optical system 210, light including reflected light generated when the light emitted by the illumination device 120 is reflected on the surface of the inspection object 150. Specifically, the image sensor 220 is a sensor that can output the intensity of light incident through the optical system 210 as a light intensity signal for each pixel at high speed.

本実施形態の光強度信号は、検査システムの照明装置１２０が被写体（検査対象物を含む）に対して光を照射し、当該被写体からの反射光を、イメージセンサ２２０が受け取ったものである。 The light intensity signal of this embodiment is obtained when the illumination device 120 of the inspection system irradiates light onto an object (including the object to be inspected), and the image sensor 220 receives reflected light from the object.

イメージセンサ２２０は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向（ｘ方向）、列方向（ｙ方向）の２種類の方向に画素が配列された２次元平面状に構成されたものとする。そして、イメージセンサ２２０の各画素を、画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）とする（なお、本実施形態の画像サイズをＸ×Ｙとする。）。なお、イメージセンサ２２０の読み出し速度を制限するものではなく、従来と同様であってもよい。 The image sensor 220 is, for example, a sensor that can be read out faster than conventional sensors, and has a two-dimensional planar structure in which pixels are arranged in two directions: the row direction (x direction) and the column direction (y direction). It is assumed that it has been configured. Then, let each pixel of the image sensor 220 be a pixel P(1,1),...,P(i,j),...,P(X,Y) (note that the image size in this embodiment is ×Y). Note that the readout speed of the image sensor 220 is not limited, and may be the same as the conventional one.

イメージセンサ２２０は、光学系２１０によって透過された、被写体（検査対象物を含む）からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号（撮影信号）で構成される、２次元平面状のフレームを生成し、制御部２４０に出力する。本実施形態のイメージセンサ２２０は、読み出し可能な単位時間毎に、当該フレームを出力する。 The image sensor 220 receives and photoelectrically converts the light flux from the object (including the object to be inspected) transmitted by the optical system 210, thereby generating a light intensity signal (photographing A two-dimensional planar frame composed of signals) is generated and output to the control unit 240. The image sensor 220 of this embodiment outputs the frame for each readable unit time.

本実施形態の制御部２４０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成され、ＲＯＭに格納された検査プログラムを実行することで、転送部２４１と、読出部２４２と、強度画像用重畳部２４３と、第１の乗算器２４４と、第１の相関画像用重畳部２４５と、第２の乗算器２４６と、第２の相関画像用重畳部２４７と、画像出力部２４８と、を実現する。なお、ＣＰＵ等で実現することに制限するものではなく、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ(Graphics Processing Unit)などで実現してもよい。 The control unit 240 of this embodiment is configured of, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and by executing an inspection program stored in the ROM, the transfer unit 241, a reading unit 242, an intensity image superimposing unit 243, a first multiplier 244, a first correlated image superimposing unit 245, a second multiplier 246, and a second correlated image superimposing unit A section 247 and an image output section 248 are realized. Note that implementation is not limited to a CPU or the like, but may be implemented using an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), a GPU (Graphics Processing Unit), or the like.

転送部２４１は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、データバッファ２３０に、時系列順に蓄積する。 The transfer unit 241 stores frames composed of light intensity signals output from the image sensor 220 in the data buffer 230 in chronological order.

データバッファ２３０は、イメージセンサ２２０から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。 The data buffer 230 stores frames composed of light intensity signals output from the image sensor 220 in chronological order.

図３は、本実施形態の時間相関カメラ１１０で時系列順に蓄積されたフレームを表した概念図である。図３に示されるように、本実施形態のデータバッファ２３０には、時刻ｔ（ｔ＝ｔ０，ｔ１，ｔ２，……，ｔｎ）毎の複数の光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）の組み合わせで構成された複数のフレームＦｋ（ｋ＝１，２，……，ｎ）が、時系列順に蓄積される。なお、時刻ｔで作成される一枚のフレームは、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）で構成される。 FIG. 3 is a conceptual diagram showing frames accumulated in chronological order by the time correlation camera 110 of this embodiment. As shown in FIG. 3, the data buffer 230 of this embodiment contains a plurality of optical intensity signals G(1,1,t), ..., G (i, j, t), ..., G (X, Y, t), multiple frames Fk (k = 1, 2, ..., n) are arranged in chronological order. Accumulated. Note that one frame created at time t is composed of light intensity signals G (1, 1, t), ..., G (i, j, t), ..., G (X, Y, t). configured.

本実施形態の光強度信号（撮像信号）Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）には、フレーム画像Ｆｋ（ｋ＝１，２，……，ｎ）を構成する各画素Ｐ（１，１），……，Ｐ（ｉ，ｊ），……，Ｐ（Ｘ，Ｙ）が対応づけられている。 The light intensity signal (imaging signal) G (1, 1, t), ..., G (i, j, t), ..., G (X, Y, t) of this embodiment includes a frame image Fk ( Pixels P (1, 1), ..., P (i, j), ..., P (X, Y) constituting k = 1, 2, ..., n) are associated with each other.

イメージセンサ２２０から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、本実施形態は、解像度、感度、及びコスト等を考慮して、イメージセンサ２２０がモノクロの画像データを生成する例について説明するが、イメージセンサ２２０としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。 The frame output from the image sensor 220 is composed of only a light intensity signal, and in other words, it can be considered as monochrome image data. Note that in this embodiment, an example will be described in which the image sensor 220 generates monochrome image data in consideration of resolution, sensitivity, cost, etc.; however, the image sensor 220 is not limited to a monochrome image sensor. Instead, a color image sensor may be used.

図２に戻り、本実施形態の読出部２４２は、データバッファ２３０から、光強度信号Ｇ（１，１，ｔ），……，Ｇ（ｉ，ｊ，ｔ），……，Ｇ（Ｘ，Ｙ，ｔ）をフレーム単位で、時系列順に読み出して、第１の乗算器２４４と、第２の乗算器２４６と、強度画像用重畳部２４３と、に出力する。 Returning to FIG. 2, the reading unit 242 of this embodiment reads the optical intensity signals G(1,1,t),...,G(i,j,t),...,G(X, Y, t) in frame units in chronological order and output to the first multiplier 244, the second multiplier 246, and the intensity image superimposing unit 243.

本実施形態の時間相関カメラ１１０は、読出部２４２の出力先毎に画像データを生成する。換言すれば、時間相関カメラ１１０は、３種類の画像データを作成する。 The time correlation camera 110 of this embodiment generates image data for each output destination of the reading unit 242. In other words, the time correlation camera 110 creates three types of image data.

本実施形態の時間相関カメラ１１０は、３種類の画像データとして、強度画像データと、２種類の時間相関画像データと、を生成する。なお、本実施形態は、３種類の画像データを生成することに制限するものではなく、強度画像データを生成しない場合や、１種類又は３種類以上の時間相関画像データを生成する場合も考えられる。 The time correlation camera 110 of this embodiment generates three types of image data: intensity image data and two types of time correlation image data. Note that this embodiment is not limited to generating three types of image data; it is also possible to generate no intensity image data or to generate one or more types of time-correlated image data. .

本実施形態のイメージセンサ２２０は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、本実施形態では、強度画像用重畳部２４３が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値（光の強度を表す値）Ｇ（ｘ，ｙ）は、以下に示す式（１）から導き出すことができる。なお、露光時間は、ｔ０とｔｎの時間差とする。 As described above, the image sensor 220 of this embodiment outputs a frame composed of a light intensity signal every unit time. However, in order to generate normal image data, a light intensity signal for the exposure time necessary for photographing is required. Therefore, in this embodiment, the intensity image superimposing unit 243 generates intensity image data by superimposing a plurality of frames for the exposure time required for imaging. Note that each pixel value (value representing the intensity of light) G(x,y) of the intensity image data can be derived from equation (1) shown below. Note that the exposure time is the time difference between t0 and tn.

これにより、従来のカメラの撮影と同様に、被写体（検査対象物を含む）が撮影された強度画像データが生成される。そして、強度画像用重畳部２４３は、生成した強度画像データを、画像出力部２４８に出力する。 As a result, intensity image data of the subject (including the object to be inspected) photographed is generated, similar to photographing with a conventional camera. Then, the intensity image superimposing unit 243 outputs the generated intensity image data to the image output unit 248.

時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、本実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。 Time-correlated image data is image data that shows changes in the intensity of light according to time transitions. In other words, in this embodiment, for each frame in chronological order, the light intensity signal included in the frame is multiplied by a reference signal indicating a time transition, and the reference signal and the light intensity signal are multiplied together, and the time is the multiplication result. A time correlation value frame composed of correlation values is generated, and a plurality of time correlation value frames are superimposed to generate time correlation image data.

ところで、時間相関画像データを用いて、検査対象物の異常を検出するためには、イメージセンサ２２０に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置１２０が、上述したように、スクリーン１３０を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。 By the way, in order to detect an abnormality in the inspection object using time-correlated image data, it is necessary to change the light intensity signal input to the image sensor 220 in synchronization with the reference signal. For this purpose, as described above, the illumination device 120 is configured to irradiate a planar light through the screen 130 that periodically changes over time and causes spatial movement of stripes.

本実施形態では、２種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、本実施形態では、複素正弦波ｅ^-jωtを用いる。なお、角周波数ω、時刻ｔとする。参照信号を表す複素正弦波ｅ^-jωtが、上述した露光時間（換言すれば強度画像データ、時間相関画像を生成するために必要な時間）の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置１２０およびスクリーン１３０等の照明部によって形成された面的かつ動的な光は、検査対象物１５０の表面（反射面）の各位置で第一の周期（時間周期）での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期（空間周期）での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック（法線ベクトルの分布等）に応じて複素変調される。時間相関カメラ１１０は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波（直交復調）することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。 In this embodiment, two types of time-correlated image data are generated. The reference signal may be any signal that represents time transition, but in this embodiment, a complex sine wave e ^-jωt is used. Note that the angular frequency is ω and the time is t. The angular frequency ω is set so that the complex sine wave e ^-jωt representing the reference signal correlates with one cycle of the above-mentioned exposure time (in other words, the time required to generate intensity image data, time-correlated images). shall be set. In other words, the areal and dynamic light formed by the illumination unit such as the illumination device 120 and the screen 130 has a first period (time period) at each position on the surface (reflection surface) of the inspection object 150. It gives a temporal change in the irradiation intensity, and gives a spatial increase/decrease distribution of the irradiation intensity in a second period (spatial period) along at least one direction along the surface. When this planar light is reflected by a surface, it is complex-modulated according to the specifications of the surface (distribution of normal vectors, etc.). The time-correlation camera 110 receives complex-modulated light on the surface and performs orthogonal detection (orthogonal demodulation) using a reference signal of a first period to obtain time-correlation image data as a complex signal. Through modulation and demodulation based on such complex time-correlated image data, it is possible to detect features corresponding to the distribution of surface normal vectors.

複素正弦波ｅ^-jωtは、ｅ^-jωt＝ｃｏｓ（ωｔ）－ｊ・ｓｉｎ（ωｔ）と表すこともできる。従って、時間相関画像データの各画素値Ｃ（ｘ，ｙ）は、以下に示す式（２）から導き出すことができる。 The complex sine wave e ^-jωt can also be expressed as e ^-jωt = cos(ωt)-j·sin(ωt). Therefore, each pixel value C(x,y) of the time-correlated image data can be derived from equation (2) shown below.

本実施形態では、式（２）において、実数部を表す画素値Ｃ１（ｘ，ｙ）と、虚数部を表す画素値Ｃ２（ｘ，ｙ）と、に分けて２種類の時間相関画像データを生成する。 In this embodiment, in equation (2), two types of time-correlated image data are divided into pixel value C1 (x, y) representing the real part and pixel value C2 (x, y) representing the imaginary part. generate.

このため、参照信号出力部２５０は、第１の乗算器２４４と、第２の乗算器２４６と、に対してそれぞれ異なる参照信号を生成し、出力する。本実施形態の参照信号出力部２５０は、複素正弦波ｅ^-ｊωtの実数部に対応する第１の参照信号ｃｏｓωｔを第１の乗算器２４４に出力し、複素正弦波ｅ^-jωtの虚数部に対応する第２の参照信号ｓｉｎωｔを第２の乗算器２４６に出力する。このように本実施形態の参照信号出力部２５０は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される２種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。 Therefore, the reference signal output unit 250 generates and outputs different reference signals to the first multiplier 244 and the second multiplier 246, respectively. The reference signal output unit 250 of this embodiment outputs the first reference signal cosωt corresponding to the real part of the complex sine wave e ^-jωt to the first multiplier 244, and outputs the first reference signal cosωt corresponding to the real part of the complex sine wave e -jωt to the imaginary part of the complex sine wave e ^-jωt . The corresponding second reference signal sinωt is output to the second multiplier 246. As described above, an example will be described in which the reference signal output unit 250 of this embodiment outputs two types of reference signals expressed as time functions of a sine wave and a cosine wave that form a Hilbert transform pair with each other. Any reference signal that changes according to time transition like a function may be used.

そして、第１の乗算器２４４は、読出部２４２から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部２５０から入力された複素正弦波ｅ^-jωtの実数部ｃｏｓωｔを乗算する。 Then, the first multiplier 244 calculates the real part cosωt of the complex sine wave e ^-jωt input from the reference signal output unit 250 for each frame of the light intensity signal input from the reading unit 242. Multiply.

第１の相関画像用重畳部２４５は、撮影に必要な露光時間分の複数のフレームについて、第１の乗算器２４４の乗算結果を画素毎に重畳する処理を行う。これにより、第１の時間相関画像データの各画素値Ｃ１（ｘ，ｙ）が、以下の式（３）から導出される。 The first correlation image superimposing unit 245 performs a process of superimposing the multiplication results of the first multiplier 244 on a pixel-by-pixel basis for a plurality of frames corresponding to the exposure time required for imaging. Thereby, each pixel value C1 (x, y) of the first time-correlated image data is derived from the following equation (3).

そして、第２の乗算器２４６は、読出部２４２から入力されたフレームの光強度信号に対して、参照信号出力部２５０から入力された複素正弦波ｅ^-jωtの虚数部ｓｉｎωｔを乗算する。 Then, the second multiplier 246 multiplies the optical intensity signal of the frame input from the reading unit 242 by the imaginary part sinωt of the complex sine wave e ^−jωt input from the reference signal output unit 250.

第２の相関画像用重畳部２４７は、撮影に必要な露光時間分の複数のフレームについて、第２の乗算器２４６の乗算結果を画素毎に重畳する処理を行う。これにより、第２の時間相関画像データの各画素値Ｃ２（ｘ、ｙ）が、以下の式（４）から導出される。 The second correlated image superimposing unit 247 performs a process of superimposing the multiplication results of the second multiplier 246 on a pixel-by-pixel basis for a plurality of frames corresponding to the exposure time required for imaging. Thereby, each pixel value C2 (x, y) of the second time-correlated image data is derived from the following equation (4).

上述した処理を行うことで、２種類の時間相関画像データ、換言すれば２自由度を有する時間相関画像データを生成できる。 By performing the above-described processing, two types of time-correlated image data, in other words, time-correlated image data having two degrees of freedom can be generated.

また、本実施形態は、参照信号の種類を制限するものでない。例えば、本実施形態では、複素正弦波ｅ^-jωtの実部と虚部の２種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による２種類の画像データを生成してもよい。 Furthermore, this embodiment does not limit the types of reference signals. For example, in this embodiment, two types of time-correlated image data are created: the real part and the imaginary part of the complex sine wave e ^-jωt , but two types of image data are created based on the amplitude of light and the phase of light. You may.

なお、本実施形態の時間相関カメラ１１０は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる２種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ１１０は、２個の乗算器と２個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部２５０は、系統毎に適した角周波数ωによる参照信号を出力可能とする。 Note that the time-correlation camera 110 of this embodiment can create multiple systems of time-correlation image data. This makes it possible to create two types of time-correlated image data based on the above-mentioned real part and imaginary part for each width of the stripes, for example, when light is irradiated with a combination of stripes of a plurality of widths. For this purpose, the time correlation camera 110 is equipped with a combination of two multipliers and two correlation image superimposing units for multiple systems, and the reference signal output unit 250 has an angular frequency suitable for each system. A reference signal based on ω can be output.

そして、画像出力部２４８が、２種類の時間相関画像データと、強度画像データと、をＰＣ１００に出力する。これにより、ＰＣ１００が、２種類の時間相関画像データと、強度画像データと、を用いて、検査対象物の異常を検出する。そのためには、被写体に対して光を照射する必要がある。 Then, the image output unit 248 outputs two types of time-correlated image data and intensity image data to the PC 100. Thereby, the PC 100 detects an abnormality in the inspection object using two types of time-correlated image data and intensity image data. To do this, it is necessary to irradiate the subject with light.

本実施形態の照明装置１２０は、高速に移動する縞パターンを照射する。図４は、本実施形態の照明装置１２０が照射する縞パターンの一例を示した図である。図４に示す例では、縞パターンをｘ方向にスクロール（移動）させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域（暗領域）である。 The illumination device 120 of this embodiment emits a striped pattern that moves at high speed. FIG. 4 is a diagram showing an example of a striped pattern emitted by the illumination device 120 of this embodiment. In the example shown in FIG. 4, the striped pattern is scrolled (moved) in the x direction. The white areas are bright areas corresponding to the stripes, and the black areas are interval areas (dark areas) corresponding to the stripes.

本実施形態では、時間相関カメラ１１０が強度画像データ及び時間相関画像データを撮影する露光時間で、照明装置１２０が照射する縞パターンが一周期分移動させる。これにより、照明装置１２０は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。本実施形態では、図４の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。 In this embodiment, the striped pattern irradiated by the illumination device 120 is moved by one cycle during the exposure time when the time-correlated camera 110 photographs intensity image data and time-correlated image data. Thereby, the illumination device 120 provides periodic temporal changes in the light intensity by spatially moving the striped pattern of the light intensity. In this embodiment, by associating the time for the striped pattern in FIG. 4 to move for one cycle with the exposure time, each pixel of the time-correlated image data has at least a light intensity signal related to one cycle of the striped pattern. Information is embedded.

図４に示されるように、本実施形態では、照明装置１２０が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。本実施形態では、照明装置１２０がスクリーン１３０を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。 As shown in FIG. 4, in this embodiment, an example will be described in which the illumination device 120 emits a striped pattern based on a rectangular wave, but a wave other than a rectangular wave may be used. In this embodiment, the illumination device 120 emits light through the screen 130, thereby making it possible to blur the boundary area between brightness and darkness of the rectangular wave.

本実施形態では、照明装置１２０が照射する縞パターンをＡ（１＋cos（ωｔ＋ｋｘ））と表す。すなわち、縞パターンには、複数の縞が反復的に（周期的に）含まれる。なお、検査対象物に照射される光の強度は０～２Ａの間で調整可能とし、光の位相ｋｘとする。ｋは、縞の波数である。ｘは、位相が変化する方向である。 In this embodiment, the striped pattern irradiated by the illumination device 120 is expressed as A(1+cos(ωt+kx)). That is, the stripe pattern includes a plurality of stripes repeatedly (periodically). Note that the intensity of the light irradiated onto the object to be inspected can be adjusted between 0 and 2 A, and the phase of the light is kx. k is the wave number of the fringe. x is the direction in which the phase changes.

そして、フレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）の基本周波数成分は、以下の式（５）として表すことができる。式（５）で示されるように、ｘ方向で縞の明暗が変化する。 The fundamental frequency component of the light intensity signal f(x, y, t) of each pixel of the frame can be expressed as the following equation (5). As shown in equation (5), the brightness of the stripes changes in the x direction.

ｆ（ｘ，ｙ，ｔ）＝Ａ（１＋ｃｏｓ（ωｔ＋ｋｘ））
＝Ａ＋Ａ／２｛ｅ^j(ωt+kx)＋ｅ-^j(ωt+kx)｝……（５） f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{e ^j(ωt+kx) +e- ^j(ωt+kx) }...(5)

式（５）で示されるように、照明装置１２０が照射する縞パターンの強度信号は、複素数として扱うことができる。 As shown in equation (5), the intensity signal of the striped pattern emitted by the illumination device 120 can be treated as a complex number.

そして、イメージセンサ２２０には、当該照明装置１２０からの光が被写体（検査対象物を含む）から反射して入力される。 The light from the illumination device 120 is reflected from the object (including the object to be inspected) and input to the image sensor 220.

したがって、イメージセンサ２２０に入力される光強度信号Ｇ（ｘ，ｙ，ｔ）を、照明装置１２０が照射された際のフレームの各画素の光強度信号ｆ（ｘ，ｙ，ｔ）とできる。そこで、強度画像データを導出するための式（１）に式（５）を代入すると、式（６）を導出できる。なお、位相ｋｘとする。 Therefore, the light intensity signal G(x, y, t) input to the image sensor 220 can be the light intensity signal f(x, y, t) of each pixel of the frame when illuminated by the illumination device 120. Therefore, by substituting equation (5) into equation (1) for deriving intensity image data, equation (6) can be derived. Note that the phase is kx.

式（６）から、強度画像データの各画素には、露光時間Ｔに、照明装置１２０が出力している光の強度の中間値Ａを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式（２）に式（５）を代入すると、式（７）を導出できる。なお、ＡＴ／２を振幅とし、ｋｘを位相とする。 From equation (6), it can be confirmed that a value obtained by multiplying the exposure time T by the intermediate value A of the intensity of light output by the illumination device 120 is input to each pixel of the intensity image data. Furthermore, by substituting equation (5) into equation (2) for deriving time-correlated image data, equation (7) can be derived. Note that AT/2 is the amplitude and kx is the phase.

これにより、式（７）で示された複素数で示された時間相関画像データは、上述した２種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、検査体に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、本実施形態のＰＣ１００は、２種類の時間相関画像データに基づいて、照明装置１２０から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、本実施形態のＰＣ１００が、時間相関画像データ及び強度画像データに基づいて、画素毎に入る光の振幅を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。 Thereby, the time-correlated image data represented by the complex number shown in equation (7) can be replaced with the two types of time-correlated image data described above. In other words, the time-correlated image data composed of the real part and the imaginary part described above includes a phase change and an amplitude change due to a change in the intensity of light irradiated onto the inspection object. In other words, the PC 100 of this embodiment can detect a phase change in the light emitted from the illumination device 120 and a change in the amplitude of the light based on two types of time-correlated image data. Therefore, the PC 100 of this embodiment generates amplitude image data representing the amplitude of light entering each pixel and phase image data representing a phase change of light entering each pixel, based on time-correlated image data and intensity image data. and generates.

さらに、ＰＣ１００は、生成した振幅画像データと位相画像データとに基づいて、検査対象物の異常を検出する。 Furthermore, the PC 100 detects abnormalities in the inspection object based on the generated amplitude image data and phase image data.

ところで、検査対象物の表面形状に凹凸に基づく異常が生じている場合、検査対象物の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、検査対象物の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化及び振幅変化のうち少なくともいずれか一つとして検出される。そこで、本実施形態では、時間相関画像データ及び強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化及び振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、検査対象物の異常、法線ベクトル、及び光の位相変化又は振幅変化の関係について説明する。 By the way, when an abnormality based on unevenness occurs in the surface shape of the object to be inspected, a change corresponding to the abnormality occurs in the distribution of normal vectors on the surface of the object to be inspected. Further, if an abnormality that absorbs light occurs on the surface of the object to be inspected, the intensity of the reflected light will change. A change in the distribution of normal vectors is detected as at least one of a phase change and an amplitude change of light. Therefore, in this embodiment, at least one of a phase change and an amplitude change of light corresponding to a change in the distribution of normal vectors is detected using time-correlated image data and intensity image data. This makes it possible to detect abnormalities in the surface shape. Next, the relationship between the abnormality of the inspection object, the normal vector, and the phase change or amplitude change of light will be explained.

図５は、実施形態の時間相関カメラ１１０による、検査対象物の異常の第１の検出例を示した図である。図５に示される例では、検査対象物５００に突形状の異常５０１がある状況とする。当該状況においては、異常５０１の点５０２の近傍領域においては、法線ベクトル５２１、５２２、５２３が異なる方向を向いていることを確認できる。そして、当該法線ベクトル５２１、５２２、５２３が異なる方向を向いていることで、異常５０１から反射した光に拡散（例えば、光５１１、５１２、５１３）が生じ、時間相関カメラ１１０のイメージセンサ２２０の任意の画素５３１に入る縞パターンの幅５０３が広くなる。 FIG. 5 is a diagram illustrating a first example of detection of an abnormality in the inspection object by the time correlation camera 110 of the embodiment. In the example shown in FIG. 5, it is assumed that the inspection object 500 has a protruding abnormality 501. In this situation, it can be confirmed that the normal vectors 521, 522, and 523 point in different directions in the area near the point 502 of the abnormality 501. Since the normal vectors 521, 522, and 523 are oriented in different directions, the light reflected from the anomaly 501 is diffused (for example, the light 511, 512, and 513), and the image sensor 222 of the time correlation camera 110 The width 503 of the striped pattern included in an arbitrary pixel 531 becomes wider.

図６は、図５に示される異常５０１が検査対象物５００にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図６に示される例では、光の振幅を実部（Ｒｅ）と、虚部（Ｉｍ）に分けて２次元平面上に表している。図６では、図５の光５１１、５１２、５１３に対応する光の振幅６１１、６１２、６１３として示している。そして、光の振幅６１１、６１２、６１３は互いに打ち消し合い、イメージセンサ２２０の当該任意の画素５３１には、振幅６２１の光が入射する。 FIG. 6 is a diagram illustrating an example of the amplitude of light that changes depending on the abnormality 501 shown in FIG. 5 in the inspection object 500. In the example shown in FIG. 6, the amplitude of light is divided into a real part (Re) and an imaginary part (Im) and expressed on a two-dimensional plane. In FIG. 6, the amplitudes of the lights 611, 612, and 613 correspond to the lights 511, 512, and 513 in FIG. The amplitudes 611, 612, and 613 of the lights cancel each other out, and light with an amplitude of 621 enters the arbitrary pixel 531 of the image sensor 220.

したがって、図６に示される状況で、検査対象物５００の異常５０１が撮像された領域で振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像データで、周囲と比べて暗くなっている領域がある場合に、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する検査対象物５００の位置で異常５０１が生じていると判断できる。 Therefore, in the situation shown in FIG. 6, it can be confirmed that the amplitude is small in the region where the abnormality 501 of the inspection object 500 is imaged. In other words, if there is an area in the amplitude image data that shows amplitude changes that is darker than the surrounding area, it can be inferred that the amplitudes of the lights are canceling each other in that area. It can be determined that an abnormality 501 has occurred at the position of the corresponding inspection object 500.

本実施形態の検査システムは、図５の異常５０１のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図７は、実施形態の時間相関カメラ１１０による、検査対象物の異常の第２の検出例を示した図である。図７に示される例では、正常な場合は検査対象物の表面が平面（換言すれば法線が平行）となるが、検査対象物７００に緩やかな勾配７０１が生じた状況とする。このような状況においては、勾配７０１上の法線ベクトル７２１、７２２、７２３も同様に緩やかに変化する。したがって、イメージセンサ２２０に入力する光７１１、７１２、７１３も少しずつずれていく。図７に示される例では、緩やかな勾配７０１のために光の振幅の打ち消し合いは生じないため、図５、図６で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン１３０から投影された光が、そのままイメージセンサに平行に入るはずが、緩やかな勾配７０１のために、スクリーン１３０から投影された光が平行の状態でイメージセンサに入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図７に示したような緩やかな勾配７０１による異常を検出できる。 The inspection system of this embodiment can detect not only an abnormality whose slope changes steeply like the abnormality 501 in FIG. 5 but also an abnormality whose slope changes gradually. FIG. 7 is a diagram illustrating a second example of detection of an abnormality in the inspection object by the time correlation camera 110 of the embodiment. In the example shown in FIG. 7, the surface of the object to be inspected is normally flat (in other words, the normal lines are parallel), but the object to be inspected 700 has a gentle slope 701. In such a situation, the normal vectors 721, 722, and 723 on the gradient 701 also change gradually. Therefore, the lights 711, 712, and 713 input to the image sensor 220 also shift little by little. In the example shown in FIG. 7, the light amplitudes do not cancel each other out due to the gentle slope 701, so the light amplitudes as shown in FIGS. 5 and 6 hardly change. However, although the light projected from the screen 130 should normally enter the image sensor in parallel, due to the gentle slope 701, the light projected from the screen 130 does not enter the image sensor in a parallel state. A phase change occurs in the light. Therefore, by detecting the difference in the phase change of light from the surroundings, etc., it is possible to detect an abnormality due to a gentle slope 701 as shown in FIG.

また、検査対象物の表面形状（換言すれば、検査対象物の法線ベクトルの分布）以外にも異常が生じる場合がある。図８は、実施形態の時間相関カメラ１１０による、検査対象物の異常の第３の検出例を示した図である。図８に示される例では、検査対象物８００に汚れ８０１が付着しているため、照明装置１２０から照射された光が吸収あるいは拡散反射し、時間相関カメラ１１０の、汚れ８０１を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ８０１を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。 Furthermore, abnormalities may occur in areas other than the surface shape of the object to be inspected (in other words, the distribution of normal vectors of the object to be inspected). FIG. 8 is a diagram showing a third example of detection of an abnormality in the inspection object by the time correlation camera 110 of the embodiment. In the example shown in FIG. 8, since dirt 801 is attached to the inspection object 800, the light emitted from the illumination device 120 is absorbed or diffusely reflected, and the time correlation camera 110 photographs the dirt 801. This represents an example in which the intensity of light hardly changes in any pixel area. In other words, in any pixel region where the dirt 801 is photographed, the light intensity undergoes phase cancellation, the vibration component is canceled, and the brightness becomes almost DC-like.

このような場合、汚れ８０１を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像データを表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する検査対象物８００の位置に、汚れ８０１等の異常があることを推定できる。 In such a case, since there is almost no amplitude of light in the pixel region where the dirt 801 is photographed, when amplitude image data is displayed, an area appears darker than the surrounding area. Therefore, it can be estimated that there is an abnormality such as dirt 801 at the position of the inspection object 800 corresponding to the area.

このように、本実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、検査対象物に異常があることを推定できる。 In this manner, in this embodiment, it is possible to estimate that there is an abnormality in the object to be inspected by detecting changes in the amplitude of light and changes in the phase of light based on time-correlated image data.

図１に戻り、ＰＣ１００について説明する。ＰＣ１００は、検出システム全体の制御を行う。ＰＣ１００は、アーム制御部１０１と、照明制御部１０２と、処理部１０３と、を備える。 Returning to FIG. 1, the PC 100 will be explained. The PC 100 controls the entire detection system. The PC 100 includes an arm control section 101, a lighting control section 102, and a processing section 103.

アーム制御部１０１は、検査対象物１５０の時間相関カメラ１１０による撮像対象となる表面を変更するために、アーム１４０を制御する。本実施形態では、ＰＣ１００において、検査対象物の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ１１０が検査対象物１５０の撮影が終了する毎に、アーム制御部１０１が、当該設定に従って、時間相関カメラ１１０が設定された表面を撮影できるように、アーム１４０が検査対象物１５０を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム１４０を駆動させてもよい。 The arm control unit 101 controls the arm 140 in order to change the surface of the inspection object 150 to be imaged by the time correlation camera 110. In this embodiment, a plurality of surfaces to be photographed of the inspection object are set in the PC 100. Then, each time the time correlation camera 110 finishes photographing the inspection object 150, the arm control unit 101 controls the arm 140 so that the time correlation camera 110 can photograph the set surface according to the settings. Move 150. Note that the present embodiment is not limited to repeatedly moving the arm every time imaging ends and stopping the arm 140 before the imaging starts, and the arm 140 may be driven continuously.

照明制御部１０２は、検査対象物１５０を検査するために照明装置１２０が照射する縞パターンを出力する。本実施形態の照明制御部１０２は、少なくとも３枚以上の縞パターンを、照明装置１２０に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置１２０に指示する。 The illumination control unit 102 outputs a striped pattern irradiated by the illumination device 120 in order to inspect the inspection object 150. The illumination control unit 102 of this embodiment delivers at least three or more striped patterns to the illumination device 120 and instructs the illumination device 120 to switch and display the striped patterns during the exposure time.

図９は、照明制御部１０２が照明装置１２０に出力する縞パターンの例を示した図である。図９（Ｂ）に示す矩形波に従って、図９（Ａ）に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部１０２が制御を行う。 FIG. 9 is a diagram showing an example of a striped pattern that the lighting control unit 102 outputs to the lighting device 120. In accordance with the rectangular wave shown in FIG. 9(B), the illumination control unit 102 performs control so that the striped pattern shown in FIG. 9(A) in which black areas and white areas are set is output.

本実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常（欠陥）の大きさに応じて設定されるものとしてここでは詳しい説明を省略する。 The spacing between the stripes of each stripe pattern irradiated in this embodiment is set according to the size of the abnormality (defect) to be detected, and a detailed explanation will be omitted here.

また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。 Furthermore, the angular frequency ω of the rectangular wave for outputting the striped pattern is set to the same value as the angular frequency ω of the reference signal.

図９に示されるように、照明制御部１０２が出力する縞パターンは、矩形波として示すことができるが、スクリーン１３０を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域（縞の領域）と暗領域（間隔の領域）との境界での光の強度変化を緩やかにする（鈍らせる）ことで、正弦波に近似させることができる。図１０は、スクリーン１３０を介した後の縞パターンを表した波の形状の例を示した図である。図１０に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。 As shown in FIG. 9, the striped pattern output by the illumination control unit 102 can be shown as a rectangular wave, but by passing it through the screen 130, the border area of the striped pattern is blurred, that is, the bright area in the striped pattern. By slowing (slugging) the change in the intensity of light at the boundary between the (stripe area) and the dark area (interval area), it is possible to approximate a sine wave. FIG. 10 is a diagram showing an example of the wave shape representing the striped pattern after passing through the screen 130. As the shape of the wave approaches a sine wave as shown in FIG. 10, measurement accuracy can be improved. Furthermore, a gray area whose brightness changes in multiple stages may be added to the stripes, or a gradation may be applied. Alternatively, a striped pattern including colored stripes may be used.

図１に戻り、処理部１０３は、時間相関カメラ１１０から入力された強度画像データと、時間相関画像データと、により、検査対象物１５０の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出するための処理を行う。なお、本実施形態は、検査を行うために、複素数で示した時間相関画像データ（複素時間相関画像データと称す）の代わりに、複素数相関画像データの実部と虚部とで分けた２種類の時間相関画像データを、時間相関カメラ１１０から受け取る。 Returning to FIG. 1, the processing unit 103 uses the intensity image data input from the time-correlated camera 110 and the time-correlated image data to generate features corresponding to the distribution of normal vectors of the inspection target surface of the inspection target 150. Therefore, processing is performed to calculate features for detecting abnormalities based on differences from the surroundings. In addition, in this embodiment, in order to perform an inspection, instead of time-correlated image data represented by complex numbers (referred to as complex time-correlated image data), two types of complex number-correlated image data divided into a real part and an imaginary part are used. time-correlated image data is received from the time-correlated camera 110.

処理部１０３は、時間相関カメラ１１０から入力された強度画像データと、時間相関画像データと、に基づいて、振幅画像データと、位相画像データと、を生成する。 The processing unit 103 generates amplitude image data and phase image data based on the intensity image data and time-correlated image data input from the time-correlation camera 110.

振幅画像データは、画素毎に入る光の振幅を表した画像データとする。位相画像データは、画素毎に入る光の位相を表した画像データとする。 The amplitude image data is image data representing the amplitude of light entering each pixel. The phase image data is image data representing the phase of light entering each pixel.

本実施形態は振幅画像データの算出手法を制限するものではないが、例えば、処理部１０３は、２種類の時間相関画像データの画素値Ｃ１（ｘ，ｙ）及びＣ２（ｘ，ｙ）から、式（８）を用いて、振幅画像データの各画素値Ｆ（ｘ，ｙ）を導き出せる。 Although this embodiment does not limit the method of calculating amplitude image data, for example, the processing unit 103 calculates Using equation (8), each pixel value F(x,y) of the amplitude image data can be derived.

そして、本実施形態では、振幅画像データの画素値（振幅）と、強度画像データの画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値（ＡＴ）を２で除算した値と、振幅画像データの振幅（打ち消し合いが生じない場合にはＡＴ／２となる）と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。 In this embodiment, it is possible to determine whether there is an area where an abnormality has occurred based on the pixel value (amplitude) of the amplitude image data and the pixel value of the intensity image data. For example, an abnormality occurs in an area where the value obtained by dividing the pixel value (AT) of the intensity image data by 2 and the amplitude of the amplitude image data (AT/2 if no cancellation occurs) match to some extent. It can be assumed that this is not the case. On the other hand, it can be inferred that amplitude cancellation has occurred in regions where they do not match. Note that the specific method will be described later.

同様に、処理部１０３は、画素値Ｃ１（ｘ，ｙ）及びＣ２（ｘ，ｙ）から、式（９）を用いて、位相画像データの各画素値Ｐ（ｘ，ｙ）を導き出せる。 Similarly, the processing unit 103 can derive each pixel value P(x,y) of the phase image data from the pixel values C1(x,y) and C2(x,y) using equation (9).

［高精度な正弦波縞パターンの撮像画像の取得］
次に、高精度な正弦波縞パターンの撮像画像の取得に関する処理部１０３や照明制御部１０２などの動作について説明する。なお、検査対象物１５０としては、例えば、塗装やメッキなどの光沢面を有する物体が考えられるが、これに限定されない。 [Acquisition of highly accurate sinusoidal striped pattern image]
Next, the operations of the processing unit 103, illumination control unit 102, etc. related to acquisition of a captured image of a highly accurate sinusoidal stripe pattern will be described. Note that the object to be inspected 150 may be, for example, an object having a glossy surface such as painted or plated material, but is not limited thereto.

処理部１０３は、複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成する。また、処理部１０３は、複数の強度の光を用いて撮像された複数の撮像画像に加えて、照明部に関するガンマ補正情報も用いて、関係情報を作成するようにしてもよい。ただし、照明部と撮像部を実際に動かしてデータ取得する場合には、自然に照明部と撮像部のガンマ補正情報も取り込まれた関係情報が得られる。 The processing unit 103 creates relationship information indicating the relationship between the light projection intensity and the received light brightness based on a plurality of captured images captured using light of a plurality of intensities. Furthermore, the processing unit 103 may create the related information using gamma correction information regarding the illumination unit in addition to the plurality of captured images captured using light of a plurality of intensities. However, when data is acquired by actually moving the illumination section and the imaging section, relationship information that also naturally incorporates gamma correction information for the illumination section and the imaging section is obtained.

また、処理部１０３は、関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する。ここで、正弦波縞パターンとは、縞パターンであって、輝度の変化をグラフにすると正弦波になるものを指す（図１２（ｃ２））。 Furthermore, the processing unit 103 calculates a projected fringe pattern based on the related information so that the captured image has a sinusoidal fringe pattern. Here, the sine wave stripe pattern refers to a stripe pattern that becomes a sine wave when the change in brightness is graphed (FIG. 12(c2)).

また、照明制御部１０２は、検査対象物１５０の検査のために時間相関カメラ１１０（撮像部）による撮像を行うときに、照明装置１２０を制御して、周期的に空間的に投影縞パターンが移動するように光を照射させる。なお、空間的に正弦波の縞パターンを移動させることで、撮像画像における各画素における輝度値の時間的な変化も自動的に正弦波形状になる。
以下、これらについて、従来技術も踏まえて詳細に説明する。 The illumination control unit 102 also controls the illumination device 120 to periodically and spatially create a projection stripe pattern when the time-correlated camera 110 (imaging unit) takes an image to inspect the inspection object 150. Light is emitted in a moving manner. Note that by spatially moving the sinusoidal striped pattern, the temporal change in brightness value at each pixel in the captured image automatically becomes sinusoidal.
These will be explained in detail below, also taking into account the prior art.

図１１は、従来技術による投影縞パターンと受光縞パターンなどの説明図である。従来技術では、例えば、正弦波縞パターンの撮像画像を取得するために、照明装置から（ａ）に示すような正弦波縞パターンの光を検査対象物（物体）に対して投影する。しかし、カメラによる撮像画像は、種々の理由により、（ｂ）に示すように、正弦波縞パターンにはならないことがある。 FIG. 11 is an explanatory diagram of a projection stripe pattern, a light reception stripe pattern, etc. according to the prior art. In the conventional technology, for example, in order to obtain a captured image of a sine wave stripe pattern, light having a sine wave stripe pattern as shown in FIG. However, for various reasons, the image captured by the camera may not have a sinusoidal striped pattern, as shown in FIG.

図１２は、実施形態による投影縞パターンと受光縞パターンなどの説明図である。位相シフト法では検査対象物１５０に投影する投影縞パターンを移動させながら撮像する。カメラ（時間相関カメラ１１０。イメージセンサ２２０）で取得される各画素の画素値は投影縞パターンの動きに合わせて変化する。そして、変化が正確に正弦波になっている場合には、原理上、少ない撮像画像（サンプリング定理により最低３枚）で正確な位相値（位相画像）が取得され、振幅値（振幅画像）も正確なものになる。 FIG. 12 is an explanatory diagram of a projection stripe pattern, a light reception stripe pattern, etc. according to the embodiment. In the phase shift method, images are captured while moving the projected fringe pattern projected onto the inspection object 150. The pixel value of each pixel acquired by the camera (time correlation camera 110, image sensor 220) changes in accordance with the movement of the projected fringe pattern. If the change is exactly a sine wave, in principle, accurate phase values (phase images) can be obtained with a small number of captured images (at least 3 according to the sampling theorem), and amplitude values (amplitude images) can also be obtained. Be accurate.

まず、（ａ）に示すように、照明装置１２０から輝度値が０～２５５のそれぞれの単一輝度光（いわゆる「ベタ画」）を物体（検査対象物１５０）に投影し、時間相関カメラ１１０（イメージセンサ２２０）で撮像し、撮像画像からある程度の範囲（好ましくは５ｍｍ角以上）の平均輝度値を取得する。 First, as shown in (a), each single luminance light having a luminance value of 0 to 255 (so-called "solid image") is projected onto an object (inspection object 150) from the illumination device 120, and the time correlation camera 110 An image is captured by the image sensor 220, and an average brightness value of a certain range (preferably 5 mm square or more) is obtained from the captured image.

そして、処理部１０３は、（ｂ）の輝度マップ情報（関係情報）において、投影輝度と受光輝度の理想的な関係（線Ｌ）になるような投影輝度補正テーブル（線Ｍの関係をテーブル化したもの）を作成する。例えば、点Ｐ１と点Ｑ１で示すように、受光部（イメージセンサ２２０）で約２００の輝度で受光させたいときは、照明装置１２０から約１３５の輝度で投影すればよい。また、点Ｐ２と点Ｑ２で示すように、受光部（イメージセンサ２２０）で約４７０の輝度で受光させたいときは、照明装置１２０から約２１０の輝度で投影すればよい。 Then, in the brightness map information (related information) of (b), the processing unit 103 creates a projection brightness correction table (relationship shown by line M) that provides an ideal relationship (line L) between projected brightness and received light brightness. create a new one). For example, as shown by points P1 and Q1, if the light receiving unit (image sensor 220) wants to receive light at a brightness of about 200, it is sufficient to project the light from the illumination device 120 at a brightness of about 135. Further, as shown by points P2 and Q2, if the light receiving unit (image sensor 220) wants to receive light at a brightness of about 470, it is sufficient to project the light from the illumination device 120 at a brightness of about 210.

つまり、（ｂ）に示す輝度マップ情報からイメージセンサ２２０側で得たい輝度値に対する照明装置１２０側の投影輝度値が決まるので、そのような投影輝度補正テーブルを作成する。このとき、照明部と撮像部を実際に動かしてデータ取得することで、照明部と撮像部のガンマ補正情報も取り込まれた投影輝度補正テーブルが作成される。なお、図１２（ｂ）の例は、イメージセンサ２２０が１０ｂｉｔで、照明装置１２０が８ｂｉｔの場合であるが、これらに限定されない。また、投影輝度補正テーブルを生成するときに、輝度値が０～２５５の全てのベタ画を投影する必要はなく、間引いた輝度値で投影して、間の輝度値に関する情報を補間によって作成してもよい。 That is, since the projected brightness value on the lighting device 120 side corresponding to the brightness value desired to be obtained on the image sensor 220 side is determined from the brightness map information shown in (b), such a projected brightness correction table is created. At this time, by actually moving the illumination section and the imaging section to acquire data, a projection brightness correction table that also incorporates gamma correction information of the illumination section and the imaging section is created. Note that the example in FIG. 12(b) is a case where the image sensor 220 is 10 bits and the lighting device 120 is 8 bits, but the invention is not limited to these. In addition, when generating a projection brightness correction table, it is not necessary to project all solid images with brightness values of 0 to 255. Instead, it is necessary to project with thinned out brightness values and create information about the brightness values in between by interpolation. You can.

そして、処理部１０３は、投影輝度補正テーブル（関係情報）に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する。 Then, the processing unit 103 calculates a projection fringe pattern based on the projection brightness correction table (related information) so that the captured image becomes a sinusoidal fringe pattern.

このようにすることで、図１２（ｃ）に示すように、（ｃ１）のような投影縞パターンを投影すると、（ｃ２）のような正弦波縞パターンを得ることができる。 By doing so, as shown in FIG. 12(c), when a projected fringe pattern like (c1) is projected, a sine wave fringe pattern like (c2) can be obtained.

なお、照明装置１２０側の光の強度は、輝度でなく照度を用いて扱ってもよい。また、必要に応じて、縞が狭く潰れて撮像される部位（検査対象物１５０の表面の曲率が大きい部位）の投影縞パターンを拡げてもよい。 Note that the intensity of light on the lighting device 120 side may be handled using illuminance instead of brightness. Furthermore, if necessary, the projected fringe pattern of a region imaged with narrow and collapsed stripes (a region where the surface of the inspection object 150 has a large curvature) may be expanded.

このような簡便な方法で正確な正弦波縞パターンの撮像画像が得られるためには、例えば、検査対象物１５０の表面の光沢が強いほどよい。検査対象物１５０の表面の光沢が強いと、イメージセンサ２２０に入力される光はほぼ正反射光になるため、撮像縞パターン上の各位置と投影縞パターン上の各位置がほぼ１対１対応になるからである。本手法で作成した投影縞パターンで得られる撮像画像を用いることで、少ない撮像枚数で精度よく位相シフト法を実行できる。 In order to obtain an accurate captured image of a sinusoidal stripe pattern using such a simple method, for example, the higher the gloss of the surface of the inspection object 150, the better. When the surface of the inspection object 150 is highly glossy, the light input to the image sensor 220 becomes almost specularly reflected light, so each position on the imaging stripe pattern corresponds almost one-to-one with each position on the projection stripe pattern. This is because it becomes By using the captured images obtained with the projection fringe pattern created by this method, the phase shift method can be performed with high accuracy with a small number of captured images.

図１３は、比較例１の矩形投影パターンを示す図である。ここでは、投影縞パターンとして、矩形の白黒（白と黒は同じ幅）が繰り返される矩形投影パターンを使う。白黒１対で１周期とする。これを図のスクロール方向にｎ＋１枚目が１枚目と重なるようにずらしながらｎ枚目まで撮像する。 FIG. 13 is a diagram showing a rectangular projection pattern of Comparative Example 1. Here, a rectangular projection pattern in which black and white rectangles (black and white have the same width) are repeated is used as the projection stripe pattern. One black and white pair constitutes one cycle. Images are taken up to the nth image while shifting the images in the scroll direction of the figure so that the n+1 image overlaps with the first image.

その場合、撮像画像が多ければ（例えば２４枚）、位相画像、振幅画像ともに充分な品質のものが得られるが、撮像画像の数を減らしていくにつれて両方とも徐々に劣化する。特に、位相画像よりも振幅画像の劣化が顕著である。これについて、図１４、図１５を用いて説明する。図１４、図１５は、比較例１の位相画像と振幅画像の例を示す図である。 In this case, if there are many captured images (for example, 24 images), sufficient quality of both the phase image and the amplitude image can be obtained, but as the number of captured images is reduced, both gradually deteriorate. In particular, the deterioration of the amplitude image is more remarkable than that of the phase image. This will be explained using FIGS. 14 and 15. 14 and 15 are diagrams showing examples of a phase image and an amplitude image of Comparative Example 1.

図１４、図１５において、（ａ）は位相画像で、（ｂ）は振幅画像である。撮像画像の枚数は、順に、２４枚、１２枚、８枚、６枚、４枚である。撮像画像の枚数が少なくなるにつれて、位相画像、振幅画像ともに劣化していくのがわかる。特に、振幅画像ほうが劣化の程度が大きく、例えば、８枚（ｎ＝８）の場合、位相画像は滑らかであるが、振幅画像は僅かに横縞（ノイズ）が発生しているのがわかる。また、６枚（ｎ＝６）、４枚（ｎ＝４）となるにつれて、振幅画像の横縞（ノイズ）が強くなっているのがわかる。 In FIGS. 14 and 15, (a) is a phase image, and (b) is an amplitude image. The number of captured images is 24, 12, 8, 6, and 4 in order. It can be seen that as the number of captured images decreases, both the phase image and the amplitude image deteriorate. In particular, the degree of deterioration is greater in the amplitude image; for example, in the case of 8 images (n=8), the phase image is smooth, but it can be seen that slight horizontal stripes (noise) are generated in the amplitude image. Furthermore, it can be seen that the horizontal stripes (noise) in the amplitude images become stronger as the number of images increases to 6 (n=6) and 4 (n=4).

次に、図１６は、比較例２の位相画像と振幅画像の例を示す図である。この例では、４枚（ｎ＝４）で、正弦波縞パターンを投影した。（ａ）の位相画像は、ほぼ理想的に滑らかな画像が得られているのがわかる。そして、ｎ＝４の矩形投影パターンの場合（図１５の（ａ２）（ｂ２））と比較すると、どちらの画像とも良くなっているが、図１６（ｂ）の振幅画像には横縞があるのがわかる。 Next, FIG. 16 is a diagram showing an example of a phase image and an amplitude image of Comparative Example 2. In this example, a sinusoidal striped pattern was projected using four sheets (n=4). It can be seen that the phase image in (a) is an almost ideally smooth image. When compared with the case of a rectangular projection pattern with n=4 ((a2) and (b2) in FIG. 15), both images are better, but the amplitude image in FIG. 16(b) has horizontal stripes. I understand.

位相シフト法がよく用いられる３Ｄ形状計測においては、位相値（位相画像）のみが必要である。しかし、画像検査の場合、振幅画像は強度画像（通常の画像）よりもＳ／Ｎ比が良好であるため価値が高い。 In 3D shape measurement where the phase shift method is often used, only phase values (phase images) are required. However, in the case of image inspection, amplitude images are more valuable than intensity images (normal images) because they have a better signal-to-noise ratio.

投影縞パターンが正弦波縞パターンの場合、撮像画像が４枚でも充分な品質の位相画像（図１６の（ａ））が得られるが、振幅画像（図１６の（ｂ））には意図しない横縞が発生する（図１６の（ｂ））。カメラで取得される各画素値の変化が正確な正弦波になっていないからである。 When the projected fringe pattern is a sine wave fringe pattern, a phase image of sufficient quality (FIG. 16(a)) can be obtained even with four captured images, but an unintended amplitude image (FIG. 16(b)) can be obtained. Horizontal stripes occur (FIG. 16(b)). This is because the changes in each pixel value acquired by the camera do not form an accurate sine wave.

次に、図１７は、実施形態の位相画像と振幅画像の例を示す図である。この例では、４枚（ｎ＝４）で、投影輝度補正テーブル（関係情報）（図１２（ｂ））に基づいて撮像画像が正弦波縞パターンになるように算出した投影縞パターンを投影した。図１６と比較すると、位相画像はどちらも滑らかであるが、振幅画像の画質がはっきり改善されているのがわかる。図１７（ｂ）の振幅画像は、例えば、従来技術の図１４（ｂ１）の振幅画像（ｎ＝２４）の画質にも全く劣らない。つまり、本手法を適用することで、計測前に検査対象物１５０に合わせて投影縞パターンの補正を行うだけで、振幅画像の大幅な画質向上が望める。 Next, FIG. 17 is a diagram showing an example of a phase image and an amplitude image according to the embodiment. In this example, four images (n=4) are used to project a projection fringe pattern calculated so that the captured image becomes a sinusoidal fringe pattern based on the projection brightness correction table (related information) (FIG. 12(b)). . When compared with FIG. 16, it can be seen that both phase images are smooth, but the image quality of the amplitude image is clearly improved. The amplitude image in FIG. 17(b) is not inferior in quality to, for example, the amplitude image (n=24) in FIG. 14(b1) of the prior art. In other words, by applying this method, it is possible to significantly improve the image quality of the amplitude image by simply correcting the projected fringe pattern according to the inspection target 150 before measurement.

図１８は、実施形態の検査システムによるおける照明制御を示すフローチャートである。ステップＳ１において、処理部１０３は、複数の強度の光を用いた撮像をしたイメージセンサ２２０から、複数の撮像画像を取得する。 FIG. 18 is a flowchart showing lighting control by the inspection system of the embodiment. In step S1, the processing unit 103 acquires a plurality of captured images from the image sensor 220 that captures images using light of a plurality of intensities.

次に、ステップＳ２において、処理部１０３は、光投影強度と受光輝度との関係を示す輝度マップ情報（関係情報）（図１２（ｂ））を作成する。 Next, in step S2, the processing unit 103 creates brightness map information (relationship information) (FIG. 12(b)) indicating the relationship between the light projection intensity and the received light brightness.

次に、ステップＳ３において、処理部１０３は、輝度マップ情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する。 Next, in step S3, the processing unit 103 calculates a projected fringe pattern based on the brightness map information so that the captured image becomes a sinusoidal fringe pattern.

次に、ステップＳ４において、照明制御部１０２は、検査対象物の検査のために時間相関カメラ１１０（イメージセンサ２２０）による撮像を行うときに、照明装置１２０を制御して、周期的に空間的に、ステップＳ３で算出した投影縞パターンが移動するように光を照射させる。 Next, in step S4, the illumination control unit 102 controls the illumination device 120 to periodically and spatially Then, light is irradiated so that the projected fringe pattern calculated in step S3 moves.

このように、本実施形態によれば、予め光投影強度と受光輝度との関係を示す関係情報（図１２（ｂ））を作成し、その関係情報に基づいて撮像画像が正弦波縞パターンになるように投影縞パターンを算出し、周期的に空間的にその投影縞パターンが移動するように照明装置１２０から光を照射させることで、高精度な正弦波縞パターンの撮像画像を取得することができる。 As described above, according to the present embodiment, the relational information (FIG. 12(b)) indicating the relationship between the light projection intensity and the received light brightness is created in advance, and the captured image is shaped into a sine wave striped pattern based on the relational information. A highly accurate captured image of a sine wave fringe pattern is obtained by calculating a projected fringe pattern so that the projected fringe pattern is spaced and irradiating light from the illumination device 120 so that the projected fringe pattern moves periodically and spatially. I can do it.

この手法は、特に、検査対象物１５０の表面の光沢度が高い場合に有効である。この手法によれば、例えば、光沢のある物体であればどのような撮像系（カメラ）と照明系（モニタ、プロジェクタなど）の組み合わせであっても即座に最適な投影縞パターンを生成できるため、データ取得前の僅かな調整で精密な位相画像（３Ｄ形状と等価）と高品質な振幅画像を取得できる。特に、振幅画像では照明変調の直流成分が除かれるため特異部の変化が強く出る。したがって、画像検査において非常に有効である。 This method is particularly effective when the surface of the inspection object 150 has a high degree of gloss. According to this method, for example, for a shiny object, an optimal projection fringe pattern can be immediately generated for any combination of imaging system (camera) and illumination system (monitor, projector, etc.). Precise phase images (equivalent to 3D shapes) and high-quality amplitude images can be obtained with slight adjustments before data acquisition. In particular, in the amplitude image, the DC component of illumination modulation is removed, so changes in the singular part appear strongly. Therefore, it is very effective in image inspection.

上述した実施形態のＰＣ１００で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The inspection program executed on the PC 100 of the embodiment described above is a file in an installable or executable format and can be stored on a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). Provided recorded on a readable recording medium.

また、上述した実施形態のＰＣ１００で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のＰＣ１００で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Furthermore, the inspection program executed by the PC 100 of the embodiment described above may be stored on a computer connected to a network such as the Internet, and may be provided by being downloaded via the network. Further, the inspection program executed on the PC 100 of the embodiment described above may be provided or distributed via a network such as the Internet.

本発明の実施形態や実施例を説明したが、これらの実施形態や実施例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態や実施例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態や実施例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments and examples of the present invention have been described, these embodiments and examples are presented as examples and are not intended to limit the scope of the invention. These novel embodiments and examples can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and examples are included within the scope and gist of the invention, as well as within the scope of the invention described in the claims and its equivalents.

例えば、実施形態における画像枚数などの各数値について、状況に応じて適宜変更可能である。 For example, each numerical value such as the number of images in the embodiment can be changed as appropriate depending on the situation.

１００…ＰＣ、１０１…アーム制御部、１０２…照明制御部、１０３…処理部、１１０…時間相関カメラ、１２０…照明装置（照明部）、１３０…スクリーン（照明部）、１４０…アーム、１５０…検査対象物。 DESCRIPTION OF SYMBOLS 100... PC, 101... Arm control part, 102... Lighting control part, 103... Processing part, 110... Time correlation camera, 120... Lighting device (lighting part), 130... Screen (lighting part), 140... Arm, 150... Object to be inspected.

Claims (3)

検査対象物に対して光を照射する照明部と、
前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、
複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成し、
前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出する処理部と、
前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させる照明制御部と、を備える検査システム。 an illumination unit that irradiates light onto the inspection target;
an imaging unit that captures an image of light including reflected light generated when the light irradiated by the illumination unit is reflected on the surface of the inspection object;
Create relational information indicating a relationship between light projection intensity and received light brightness based on a plurality of captured images captured using light of a plurality of intensities,
a processing unit that calculates a projected fringe pattern so that the captured image has a sinusoidal fringe pattern based on the relational information;
an illumination control unit that controls the illumination unit to irradiate light so that the projected striped pattern periodically moves spatially when the imaging unit performs imaging for inspection of the inspection object; An inspection system equipped with . 前記処理部は、複数の強度の光を用いて撮像された複数の撮像画像と、前記照明部に関するガンマ補正情報と、に基づいて、前記関係情報を作成する、請求項１に記載の検査システム。 The inspection system according to claim 1, wherein the processing unit creates the relationship information based on a plurality of captured images captured using light of a plurality of intensities and gamma correction information regarding the illumination unit. . 検査対象物に対して光を照射する照明部と、前記照明部によって照射された光が前記検査対象物の表面で反射することで発生した反射光を含む光を撮像する撮像部と、を備える検査システムによる検査方法であって、
複数の強度の光を用いて撮像された複数の撮像画像に基づいて、光投影強度と受光輝度との関係を示す関係情報を作成するステップと、
前記関係情報に基づいて、撮像画像が正弦波縞パターンになるように投影縞パターンを算出するステップと、
前記検査対象物の検査のために前記撮像部による撮像を行うときに、前記照明部を制御して、周期的に空間的に前記投影縞パターンが移動するように光を照射させるステップと、を含む検査方法。 It includes an illumination unit that irradiates light onto the object to be inspected, and an imaging unit that captures an image of light including reflected light generated when the light irradiated by the illumination unit is reflected on the surface of the object to be inspected. An inspection method using an inspection system,
creating relational information indicating a relationship between light projection intensity and received light brightness based on a plurality of captured images captured using light of a plurality of intensities;
calculating a projected fringe pattern based on the relational information so that the captured image has a sinusoidal fringe pattern;
controlling the illumination unit to irradiate light so that the projected striped pattern spatially moves periodically when the imaging unit takes an image to inspect the inspection object; Testing methods including.

Images