WO2020080758A1 - 검사를 위한 장치, 방법 및 명령을 기록한 기록 매체 - Google Patents

검사를 위한 장치, 방법 및 명령을 기록한 기록 매체 Download PDF

Info

Publication number
WO2020080758A1
WO2020080758A1 PCT/KR2019/013396 KR2019013396W WO2020080758A1 WO 2020080758 A1 WO2020080758 A1 WO 2020080758A1 KR 2019013396 W KR2019013396 W KR 2019013396W WO 2020080758 A1 WO2020080758 A1 WO 2020080758A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
contour
determining
image
illumination
Prior art date
Application number
PCT/KR2019/013396
Other languages
English (en)
French (fr)
Inventor
박정우
오병선
Original Assignee
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지 filed Critical 주식회사 고영테크놀러지
Priority to CN201980065992.7A priority Critical patent/CN112805816A/zh
Priority to EP19873586.2A priority patent/EP3869542B1/en
Priority to US17/280,037 priority patent/US11694916B2/en
Priority to EP23197893.3A priority patent/EP4269940A3/en
Publication of WO2020080758A1 publication Critical patent/WO2020080758A1/ko
Priority to US18/316,413 priority patent/US20230282499A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth

Definitions

  • This disclosure relates to techniques for inspection.
  • various inspections are conducted on whether various treatments, processes, etc. for semiconductors have been properly performed. For example, an inspection such as whether a device, such as a die installed on a semiconductor substrate, is located where the semiconductor substrate should be located may be performed.
  • an inspection can be performed as to whether there is no tilt between the mounted die and the substrate.
  • a die or a solder ball may be mounted on a substrate while solder or solder balls are applied to the substrate.
  • the bottom surface of the die should be mounted so as to be parallel to the reference surface of the semiconductor substrate, but the die may be mounted in a form inclined by a predetermined angle or more with respect to the semiconductor substrate due to a predetermined factor (for example, a state in which solder or solder balls are applied). have. This is a factor that can cause defects in the semiconductor device, so in the process of inspecting the semiconductor, it should be possible to check whether the die is tilted, or if it is tilted, at which angle it is tilted.
  • a 3D inspector that irradiates 3D illumination to the semiconductor die may be utilized.
  • the upper surface of the semiconductor die is a reflector, and the irradiated 3D illumination may cause total reflection on the upper surface of the semiconductor die, and accordingly, imaging of the semiconductor die may not be performed well.
  • a two-dimensional area inspection can be used.
  • the area inspection of the 2D method is a method in which the degree of inclination is derived through the shape of the parallelogram.
  • this method also has a problem in that when the upper surface of the semiconductor die is a reflector, an accurate parallelogram shape cannot be obtained, and thus the degree of inclination of the object cannot be accurately predicted.
  • the present disclosure is intended to solve the aforementioned defects in the prior art, and provides a technique for inspection.
  • An apparatus for inspection may be proposed.
  • An apparatus includes: at least one first light source that irradiates illumination light on an object located on a reference plane; At least one camera for capturing one or more illumination images generated by the illumination light reflected from the object; And one or more processors, wherein the processor determines one or more contours representing an edge of the object on the one or more illumination images, and based on the one or more contours, an edge of the top surface of the object is the reference plane.
  • a height value with respect to is determined, and based on the height value, a first angle between the object top surface and the reference surface may be determined.
  • the one or more cameras capture the one or more pattern images generated by the pattern light reflected from the object
  • the processor Based on the one or more illumination images and the one or more pattern images, the one or more contours representing the corners of the object are determined, and based on the one or more contours, a virtual plane corresponding to the top surface of the object is determined.
  • the second angle between the virtual plane and the reference plane may be determined as the first angle.
  • the one or more cameras may include an upper camera capturing an illumination image or pattern image from above the object and one or more side cameras capturing an illumination image or pattern image from one or more sides of the object. have.
  • some of the one or more illumination images and the one or more pattern images are upward images captured from above the object by the upward camera, and the other portions of the one or more illumination images and the one or more pattern images are It may be a side image captured from at least one side of the object by the one or more side cameras.
  • the processor extracts a first contour in the upper image and a second contour in the one or more lateral images representing the same one corner of the object, and the first contour and the second contour Based on this, the virtual plane can be determined.
  • the processor may determine first relationship information indicating a corresponding relationship between the first contour line and the second contour line, and determine the virtual plane based on the first relationship information.
  • the first point on the first contour corresponds to the second point on the second contour
  • the first relationship information includes coordinate information of the first point on the upper image and the one or more lateral images. On the image may include a pair of coordinate information of the second point.
  • the processor extracts, from the one or more lateral images, a third contour in one lateral image representing the same corner of the object and a fourth contour in the other lateral image, and the third contour And second relationship information indicating a corresponding relationship between the fourth contours, and determining the virtual plane based on the first relationship information and the second relationship information.
  • the processor may determine the virtual plane by selecting an image in which the contrast value of the object surface is greater than or equal to a preset value among the one or more illumination images and the one or more pattern images.
  • the object has a form in which a plurality of layers are stacked, the one or more contours indicate edges of each of the plurality of layers, and the processor, based on the one or more contours, the plurality of layers A plurality of virtual planes corresponding to each may be determined, and an interval between each of the plurality of layers may be determined based on the plurality of virtual planes corresponding to each of the plurality of layers.
  • a method for inspection includes the steps of: irradiating illumination light to an object having at least one first light source positioned on a reference plane; Capturing at least one illumination image generated by the at least one camera reflected by the illumination light from the object; Determining, by the one or more processors, one or more contours representing edges of the object on the one or more illuminated images; Determining, by the processor, a height value of an edge of an upper surface of the object relative to the reference surface based on the one or more contours; And the processor determining a first angle between the object upper surface and the reference surface based on the height value.
  • a method includes: at least one second light source, irradiating a pattern light to the object; Capturing at least one pattern image generated by the one or more cameras reflecting the pattern light from the object; Determining, by the processor, the one or more contours representing edges of the object based on the one or more illumination images and the one or more pattern images; Determining, by the processor, a virtual plane corresponding to an upper surface of the object based on the one or more contours; And the processor determining the second angle between the virtual plane and the reference plane as the first angle.
  • the one or more cameras may include an upper camera capturing an illumination image or pattern image from above the object and one or more side cameras capturing an illumination image or pattern image from one or more sides of the object. have.
  • some of the one or more illumination images and the one or more pattern images are upward images captured from above the object by the upward camera, and the other portions of the one or more illumination images and the one or more pattern images are It may be a side image captured from at least one side of the object by the one or more side cameras.
  • determining the virtual plane includes: extracting a first contour in the upper image representing the same one corner of the object and a second contour in the one or more lateral images; And determining the virtual plane based on the first contour and the second contour.
  • determining the virtual plane includes: determining first relationship information indicating a corresponding relationship between the first contour line and the second contour line; And determining the virtual plane based on the first relationship information.
  • the first point on the first contour corresponds to the second point on the second contour
  • the first relationship information includes coordinate information of the first point on the upper image and the one or more lateral images. On the image may include a pair of coordinate information of the second point.
  • the step of determining the virtual plane includes: extracting a third contour from one lateral image representing the same one corner of the object and a fourth contour from the other lateral image among the one or more lateral images. To do; Determining second relationship information indicating a corresponding relationship between the third contour and the fourth contour; And determining the virtual plane based on the first relationship information and the second relationship information.
  • the determining of the virtual plane may include: selecting an image in which the contrast value of the object surface is greater than or equal to a preset value among the one or more illumination images and the one or more pattern images. It may include the step of determining.
  • a non-transitory computer-readable recording medium recording instructions for inspection may be proposed.
  • Instructions recorded on a recording medium according to one aspect of the present disclosure are instructions for execution on a computer, and when executed by one or more processors, illumination light irradiated to an object located on a reference plane by one or more processors is reflected from the object Determining one or more outlines representing corners of the object on the one or more generated illumination images; Determining a height value of an edge of the upper surface of the object relative to the reference surface based on the one or more contours; And determining a first angle between the object upper surface and the reference surface based on the height value.
  • the upper surface of the object is a reflector, it is possible to measure the inclined angle of the object.
  • the degree of inclination may be derived.
  • an accurate virtual three-dimensional model of an object may be generated by acquiring an image using light irradiated from various types of light sources at various angles and directions.
  • FIG. 1 is a view showing a process of operating the device according to the present disclosure.
  • FIG. 2 is a block diagram of an apparatus according to an embodiment of the present disclosure.
  • FIG 3 is a diagram illustrating a process of generating a virtual plane with respect to an object upper surface, according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a combination of images for obtaining various images and determining relationship information according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a form in which one or more pattern light sources are disposed according to an embodiment of the present disclosure.
  • FIG. 6 is a view showing a form in which one or more illumination light sources are disposed according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an image filtering process according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a process of deriving another contour from one contour of an image according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating one embodiment of a method for inspection, which may be performed by an apparatus according to the present disclosure.
  • At least one of A or B may refer to (1) at least one A, (2) at least one B, (3) at least one A, and at least one B.
  • the expression "based on” is used to describe one or more factors that affect the action or action of a decision or judgment, as described in a phrase or sentence containing the expression, which is applicable It does not exclude additional factors that influence the action or action of a decision, judgment.
  • a component eg, a first component
  • another component eg, a second component
  • any component is It may mean not only being directly connected or connected to other components, but also connected or connected via other new components (eg, a third component).
  • the object may be an object that is located on a predetermined surface and is an object to be inspected by the device.
  • the object may be a die, a semiconductor device, or a chip located on a semiconductor substrate.
  • the object may be mounted on a semiconductor substrate. As described above, the object may be mounted such that the lower surface of the object is inclined at a predetermined angle with the reference surface of the substrate.
  • the substrate may be any surface on which the object is located.
  • the substrate may be a semiconductor substrate.
  • the reference surface of the substrate may mean a surface of the substrate, and may be a surface that is a reference for measuring an inclined angle with the lower surface of the object described above.
  • the device 1 is a view showing a process of operating the device according to the present disclosure.
  • the device 1 according to the present disclosure may measure an angle ⁇ at which the object 2 is inclined with respect to a reference surface (eg, a substrate).
  • the object 2 eg, die, etc.
  • the object 2 may be disposed on the reference surface.
  • the object 2 may be disposed in a state inclined at a predetermined angle ⁇ with respect to the reference surface (100).
  • the apparatus 1 according to the present disclosure may check whether the installation of the object 2 is defective or not by measuring (determining) the inclined angle.
  • the illumination light source of the device 1 may irradiate the 2D illumination light to the object 2 located on the reference plane.
  • the illumination light may be reflected from the surfaces of the object 2, that is, the top surface or one or more side surfaces.
  • the one or more cameras 50 of the device 1 may capture one or more illumination images generated by the illumination light being reflected from the object 2.
  • the device 1 may determine one or more contours representing edges of the object 2 on the acquired one or more illumination images.
  • Each of the illumination images may be a 2D photograph representing the edges of the object 2 to the object 2.
  • an edge of an object may mean each side of a shape of an object existing in an actual 3D space (eg, each side of a cube).
  • an outline may mean an edge of an object appearing on an image of the object (ie, a line appearing on the image). In the present disclosure, the outline may be referred to as a boundary line.
  • the device 1 may determine the height value of the edge of the upper surface of the object 2 with respect to the reference surface, based on the determined one or more contours. In addition, the device 1 may determine an inclined angle ⁇ between the top surface and the reference surface of the object 2 based on the corresponding height value.
  • the height of the edge of the top surface of the object may indicate a length at which each point of the edge is separated from the reference plane. Therefore, by determining the height of the edge of the object's top surface, it is possible to know the angle that the corner has with respect to the reference surface, and accordingly it can be determined at what angle the object's top surface is inclined with respect to the reference surface.
  • the device 1 may determine the inclined angle of the object by using pattern light in addition to the illumination light.
  • the pattern light source of the device 1 may irradiate the pattern light toward the object 2.
  • the pattern light may be reflected from the surfaces of the object 2, that is, the top surface or one or more side surfaces.
  • the one or more cameras 50 of the device 1 may capture one or more pattern images generated by reflecting the pattern light from the object 2.
  • the device 1 may determine one or more contours representing the edges of the object 2 based on the one or more illumination images and / or one or more pattern images.
  • the device 1 may determine the virtual plane 3 corresponding to the upper surface of the object 2 based on the determined one or more contours (110).
  • the virtual plane 3 may be a plane that virtually embodies the upper surface of the object 2 in the real 3D space using computer graphics.
  • the device 1 may determine an angle between the virtual plane 3 and the reference plane as an angle ⁇ between the object 2 and the reference plane (110).
  • the object 2 may be a stacked memory having a form in which a plurality of layers are stacked.
  • one or more outlines to be extracted may indicate edges of each of the plurality of layers of the object 2.
  • the device 1 may determine a plurality of virtual planes based on one or more contours obtained from an image of the object 2 having a stacked structure. The process of determining the virtual plane is as described above.
  • Each of the determined plurality of virtual planes may correspond to each of a plurality of layers of the object 2 having a stacked structure. That is, one virtual plane may represent one of the plurality of layers.
  • the apparatus 1 may determine a gap between each of the plurality of layers of the object 2 of the stacked structure based on each of the determined plurality of virtual planes. In one embodiment, this process can be performed by the processor of the device 1.
  • the device 1 may apply the corresponding object 2
  • the inclined angle of the object 2 can be measured by using a virtual plane for.
  • the device 1 may generate a virtual plane to derive the degree of inclination even when the object is inclined at a specific angle (eg, 1.2 degrees) or more with respect to the reference plane You can.
  • an image may be obtained using light irradiated from various types of light sources at various angles and directions, thereby accurately measuring a corresponding object.
  • the device 1 comprises one or more processors 10, one or more memories 20, one or more patterned light sources 30, one or more illuminated light sources 40 and / or one or more cameras 50 can do. In one embodiment, at least one of these components of the device 1 can be omitted, or another component can be added to the device 1. In one embodiment, additionally or alternatively, some components may be integrated or implemented, or may be implemented as singular or plural entities. In the present disclosure, the concept of one or more components (eg, one or more processors 10) may be expressed as a component (eg, processor 10), which is one or more, unless the context clearly indicates otherwise. It can mean a set of components.
  • At least some of the components inside / outside the device 1 include a bus, a general purpose input / output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI). It is connected to each other through, and can send and receive data and / or signals.
  • GPIO general purpose input / output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the illumination light source 40 may irradiate the object 2 with two-dimensional illumination light.
  • the illumination light may be RGB light
  • each illumination light source 40 may be a red light source irradiating red light, a green light source irradiating green light, and a blue light irradiating blue light. It may include a blue light source.
  • each of the illumination light sources 40 may saturate the surface of the object by irradiating both red light, green light, and blue light when irradiating illumination light.
  • the pattern light source 30 may irradiate the pattern light to the object 2.
  • the patterned light may be structured light, grid patterned light (light that changes in sine wave pattern), line light, or the like.
  • the pattern light source 30 is irradiated with a pattern light phase shifted by a lattice transfer mechanism such as a PZT (piezo actuator), or by a DLP (Digital Light Processing) method or a Liquid Crystal on Silicon (LCoS) method Pattern light can be irradiated.
  • each of the one or more pattern light sources 30 may irradiate the pattern light according to a method selected from a PZT method, a DLP method, and an LCoS method.
  • one or more (for example, eight) pattern light sources 30 that irradiate pattern light in different directions from above the object 2 may be used.
  • the camera 50 may capture an illumination image and / or a pattern image as described above.
  • the camera 50 may be implemented as a CCD (Charge Coupled Device) or a Complementary Metal Oxide Semiconductor (CMOS) camera.
  • the one or more cameras 50 may include a top camera and / or one or more side cameras.
  • the upper camera may capture an illumination image or a pattern image reflected from the object 2 above the object 2.
  • Each of the one or more side cameras may capture an illumination image or a pattern image reflected from the object 2 from the side to the top of the object 2.
  • the one or more lateral cameras may include four cameras corresponding to the front, rear, left and right sides of the object 2.
  • the illumination image or pattern image captured from above the object 2 by the upward camera may be referred to as an upward image.
  • the illumination image or pattern image captured from one or more sides of the object 2 by one or more side cameras may be referred to as a side image. That is, some of the above-mentioned one or more lighting images and one or more pattern images may be upper images, and other portions may be side images.
  • the processor 10 may drive software (eg, instructions, programs, etc.) to control at least one component of the device 1 connected to the processor 10. Also, the processor 10 may perform various operations related to the present disclosure, such as processing, data generation, and processing. Also, the processor 10 may load data or the like from the memory 20 or store the data in the memory 20. In one embodiment, the processor 10 determines one or more contours of the object 2 on the one or more illumination images, determines the height value of the corner of the object's top surface based on the one or more contours, and based on the height value The angle ⁇ between the top surface and the reference surface can be determined.
  • software eg, instructions, programs, etc.
  • the processor 10 determines one or more contours representing the edges of the object 2 based on the one or more illumination images and / or one or more pattern images, and corresponds to the object top surface based on the one or more contours
  • the imaginary plane 3 is determined, and the angle between the imaginary plane 3 and the reference plane may be determined as an angle ⁇ of the object 2 inclined.
  • the memory 20 can store various data.
  • the data stored in the memory 20 is data acquired, processed, or used by at least one component of the device 1, and may include software (eg, instructions, programs, etc.).
  • the memory 20 may include volatile and / or non-volatile memory.
  • commands or programs are software stored in the memory 20, and various functions are applied so that an operating system, applications, and / or applications for controlling the resources of the device 1 can utilize the resources of the device 1 It may include middleware to provide.
  • the memory 20 may store instructions that cause the processor 10 to perform operations when executed by the processor 10.
  • the device 1 may further include a transceiver (not shown).
  • the transceiver may perform wireless or wired communication between the device 1 and the server or device 1 and other devices.
  • the transceiver is enhanced Mobile Broadband (eMBB), Ultra Reliable Low-Latency Communications (URLLC), Massive Machine Type Communications (MMTC), Long-Term Evolution (LTE), LTE Advance (LTE-A), New NR (NR).
  • eMBB enhanced Mobile Broadband
  • URLLC Ultra Reliable Low-Latency Communications
  • MMTC Massive Machine Type Communications
  • LTE Long-Term Evolution
  • LTE-A LTE Advance
  • NR New NR
  • the transceiver may perform wired communication according to a method such as Universal Serial Bus (USB), High Definition Multimedia Interface (HDMI), Recommended Standard-232 (RS-232), or Plain Old Telephone Service (POTS).
  • the processor 10 may control the transceiver to obtain information from the server. Information obtained from the server may be stored in the memory 20.
  • the information obtained from the server may include parameters or information necessary to extract a contour from an image, derive relationship information between the extracted contours, or generate a virtual three-dimensional model 3 have.
  • the information obtained from the server may include intrinsic or extrinsic parameter values of the camera 50 for calibration of the camera 50.
  • the device 1 may further include a user interface (not shown).
  • the user interface may receive input from the user and output (express) information to the user.
  • the user interface may include an input device and / or an output device.
  • the input device may be a device that receives data for transmission to at least one component of the device 1 from the outside.
  • the input device may include a mouse, a keyboard, and a touch pad.
  • the output device may be a device that provides various data of the device 1 in a visual form to the user.
  • the output device can include a display, a projector, a hologram, and the like.
  • the user interface may receive parameters that can be used to examine the object 2 from the user, or may display an inclined angle ⁇ of the object 2 derived from the user.
  • the device 1 can be of various types of devices.
  • the device 1 may be a portable communication device, a computer device, a portable multimedia device, or a device according to one or more combinations of the devices described above.
  • the device 1 of the present disclosure is not limited to the aforementioned devices.
  • Various embodiments of the device 1 according to the present disclosure can be combined with each other. Each of the embodiments can be combined according to the number of cases, and embodiments of the device 1 made in combination are also within the scope of the present disclosure.
  • the internal / external components of the device 1 according to the present disclosure described above may be added, changed, replaced or deleted according to embodiments.
  • the internal / external components of the above-described device 1 may be implemented as hardware components.
  • the process of generating the virtual plane 3 may include a calibration process, a contour extraction process, a process of deriving relationship information between the contours, and / or a process of creating a virtual plane.
  • the device 1 may perform calibration of the camera 50.
  • the device 1 may acquire basic information necessary to generate a virtual plane on the top surface of the object.
  • the device 1 may acquire location information of each of the cameras 50, that is, origin location information.
  • the origin position of the camera 50 may mean a position in the three-dimensional space of the point when the camera is viewed as a point.
  • the position of the camera 50 may appear as a position relative to the object 2 or as an absolute position on a three-dimensional spatial coordinate system.
  • the device 1 may acquire angle of view information and / or intrinsic parameters of each of the cameras 50.
  • Information obtained in the calibration process may be stored in the memory 20.
  • calibration related information may be obtained from a server through a transceiver.
  • the calibration process can be omitted as an optional process.
  • the processor 10 may extract contours from the upper image and the lateral image. Among the extracted contours, there may be contours showing the same one corner of the object 2 on different images. For example, the processor 10 extracts a contour (hereinafter, a first contour) representing one corner of the object 2 from the upper image, and extracts a contour (hereinafter, a second contour) indicating the same corresponding corner in the lateral image. Can be extracted.
  • a contour hereinafter, a first contour
  • a contour hereinafter, a second contour
  • the processor 10 may determine (derive) relationship information (hereinafter, first relationship information) between the first contour and the second contour.
  • first relationship information relationship information
  • the corners of the object 2 represented by the two outlines in common may be corners shared by two adjacent surfaces of the object 2.
  • one point on the first contour (hereinafter, the first point) and one point on the second contour (hereinafter, the second point), one point on the actual edge of the object (hereinafter, the target point) in common As they point, they can correspond to each other.
  • the target point When looking at the target point from the upward camera, the target point may be represented as the first point on the image of the upper surface.
  • the straight line may appear as a 2D straight line on the corresponding side image.
  • This two-dimensional straight line is called the epipolar line for the first point.
  • an intersection point between the epipolar line and the second contour line for the first point may be derived, and the intersection point may be the second point (ie, the point corresponding to the first point).
  • the conversion relationship from the first point to the epipolar line for the first point may be defined by a fundamental matrix, which is a concept according to epipolar geometry, and the above-mentioned camera calibration information Can be derived by
  • the first relationship information may include information on two corresponding points (first point and second point).
  • the first relationship information is a pair of two-dimensional pixel coordinates of the two points (first point, second point), a pair of three-dimensional spatial coordinates, or a transformation relational expression or transformation matrix between the two coordinates. You can.
  • the processor 10 may determine (create) the virtual plane 3 corresponding to the upper surface of the object using the determined first relationship information. Specifically, the processor 10 obtains a vector from the origin of the upper camera to the first point coordinates using the first relationship information, and obtains a vector from the origin of the side camera to the second point coordinates, where the two vectors meet Can be derived. Using the points derived in this way, 3D modeling of the entire upper surface of the object may be performed.
  • the processor 10 extracts a contour (hereinafter referred to as a third contour) representing one corner of the object 2 from one of the lateral images, and a contour (hereinafter referred to as a second) representing the same corresponding corner in the other of the lateral images. 4 contours).
  • the processor 10 may further obtain relationship information (hereinafter, second relationship information) indicating a correspondence relationship between the third and fourth contour lines.
  • the processor 10 may determine the virtual plane 3 based on the first relationship information and / or the second relationship information.
  • the process in which the processor 10 obtains relationship information from images (s3020) may be repeatedly performed multiple times.
  • the process of acquiring the relationship information may be repeatedly performed a plurality of times according to a combination of each upward image and side image.
  • the processor 10 may vary the image used for obtaining the relationship information for the same surface according to the type of the lighting image or the pattern image, and may perform the process of obtaining the relationship information multiple times.
  • the processor 10 may perform a process of acquiring relationship information multiple times on the same surface according to the irradiation angle and direction of the illumination light source or pattern light source.
  • the device 1 may acquire a plurality of images from an object.
  • the image that can be obtained may vary according to the type of light used, the direction of light irradiation, the angle of light irradiation, and the like.
  • the device 1 may acquire a plurality of illumination images or pattern images in one direction of an object, depending on whether the light used for capturing is illumination light or pattern light. That is, even on the same surface of the object, a plurality of images may be obtained according to the type of light used.
  • the device 1 may acquire a plurality of images in one direction of the object, depending on the direction or angle at which the pattern light source 30 or the illumination light source 40 irradiates light to the object.
  • the one or more pattern light sources 30 may be disposed at various positions (eg, 8-way) to irradiate the pattern light toward the object. The arrangement of the pattern light source 30 will be described later.
  • a plurality of pattern images may be obtained on the same one surface of the object.
  • the one or more illumination light sources 40 may irradiate the illumination light toward the object from various angles. The arrangement of the illumination light source 40 will be described later.
  • a plurality of illumination images may be obtained for the same one surface of the object.
  • the device 1 selects images for different directions (upper images, lateral images in each direction, etc.) from the illumination images or pattern images obtained for each direction of the object as described above, Relationship information between contours from two images can be derived.
  • the processor 10 may select an upper image and one side image, and derive first relationship information therefrom.
  • the upper image may represent the upper surface of the object
  • one side image may represent the upper surface and one or more sides of the object. Since the upper surface and the side surface of the object share an edge, first relationship information may be derived from the upper image and the lateral image. For example, when the object is in the form of a cuboid, four first relationship information may be derived.
  • the processor 10 may select side images from two different directions among one or more side images, and derive second relationship information therefrom.
  • the two lateral images can represent two adjacent sides of the object. Since the two adjacent sides share the edge of the object, the second relationship information can be derived from the two lateral images. For example, when the object is in the form of a cuboid, four second relationship information may be derived.
  • the processor 10 may select two lateral images representing two sides of an object that does not share an edge among one or more lateral images, and derive relationship information (hereinafter, third relationship information) from the two lateral images.
  • third relation information may be derived using the epipolar line.
  • the object is a cuboid
  • two parallel sides may have two parallel edges.
  • One point on one contour on one lateral image may appear as a straight line (epipolar line) on the other parallel lateral image.
  • the point where the epipolar line intersects the contour in another lateral image may correspond to a point in the first lateral image.
  • Third relationship information indicating the corresponding relationship may be derived.
  • two third relationship information may be derived.
  • the processor 10 may derive a virtual plane 3 for the upper surface of the object using at least one of the first relationship information, the second relationship information, and / or the third relationship information.
  • Various relationship information can be obtained according to a combination in which two images that are targets for deriving relationship information can be selected, an irradiation direction or angle, and a type of lighting, and the processor 10 utilizes various relationship information to create a virtual plane. Can be created more accurately.
  • the device 1 may include one or more pattern light sources 30.
  • the pattern light source 30 may be disposed at various positions around the object 2 to irradiate the pattern light toward the object 2.
  • the pattern light source 30 is located on the normal 4 of the upper surface of the object 2 and may be one light source that irradiates the pattern light toward the object 2. Specifically, a normal 4 perpendicular to the top surface of the object 2 may be drawn. One pattern light source 30 may be positioned at one point on the normal 4. The pattern light source 30 may irradiate the pattern light toward the upper surface of the object 2. In one embodiment, the normal 4 may be drawn in a semi-straight line that goes from the center of the top surface of the object 2 toward the opposite direction of the reference surface. Depending on the embodiment, the distance between this one pattern light source 30 and the object 2 may be changed. In one embodiment, this one pattern light source 30 changes the phase of the pattern and sequentially irradiates the pattern light to the object 2 several times.
  • the pattern light source 30 may be a plurality of pattern light sources 30 disposed on concentric circles 5 on the upper surface of the object. Specifically, a point on the normal 4 of the upper surface of the object may be assumed to be the center of the circle, and a concentric circle 5 parallel to the reference surface may be assumed. A plurality of pattern light sources 30 may be disposed on the circumference of the concentric circle 5. The plurality of pattern light sources 30 may irradiate pattern light toward the object 2. Depending on the embodiment, the radius of the concentric circles 5 can be changed. Depending on the embodiment, the spacing of the plurality of pattern light sources 30 arranged in the concentric circles 5 may be changed.
  • the plurality of pattern light sources 30 may be arranged on the circumference of the concentric circles 5 at equal intervals, or may be arranged on the circumference at different intervals arbitrarily set. In one embodiment, a plurality of pattern light sources 30 may be arranged in total at 45-degree intervals. The arrangement of the plurality of pattern light sources 30 in this case may be referred to as an 8-way arrangement. In one embodiment, the plurality of pattern light sources 30 may sequentially irradiate the pattern light toward the object 2. In one embodiment, the pattern of the pattern light irradiated by the plurality of pattern light sources 30 may have different phases, respectively.
  • the device 1 may include one or more illumination light sources 40.
  • the illumination light source 40 is disposed at various locations around the object, and can illuminate the illumination toward the object.
  • the illumination light source 40 may be a plurality of illumination light sources 40 disposed on a concentric circle 6 perpendicular to the reference plane.
  • the object 2 may be assumed to be the center of the circle, and a concentric circle 6 perpendicular to the reference plane may be assumed.
  • a plurality of illumination light sources 40 may be disposed on the circumference of the concentric circle 6. The plurality of illumination light sources 40 may irradiate illumination light toward an object.
  • the radius of the concentric circles 6 can be changed.
  • the spacing of the plurality of illumination light sources 40 disposed in the concentric circles 6 may be changed.
  • the plurality of illumination light sources 40 may be disposed on the circumference of the concentric circles 6 at equal intervals, or may be disposed on the circumference at randomly set different intervals.
  • the plurality of illumination light sources 40 may be disposed at any angle, respectively.
  • the angle may mean an angle of the position of the illumination light source 40 on the circumference with respect to the normal of the reference plane.
  • at least one of the plurality of illumination light sources 40 may be disposed at a high angle (low angle relative to the reference plane) of 70 degrees or more.
  • the plurality of illumination light sources 40 may be disposed at angles of 17 degrees, 40 degrees, 58 degrees, and 70 degrees, respectively. In one embodiment, the plurality of illumination light sources 40 may be disposed only above the reference plane. In one embodiment, the plurality of illumination light sources 40 may sequentially irradiate the illumination light toward the object 2. In one embodiment, the illumination light irradiated by the plurality of illumination light sources 40 may have different wavelengths. In one embodiment, each of the plurality of illumination light sources 40 may include a red light source, a green light source, and a blue light source capable of irradiating red light, green light, and blue light, respectively.
  • the plurality of illumination light sources 40 may first irradiate light of one wavelength (for example, red light) to an object sequentially for each angle. Thereafter, the plurality of illumination light sources 40 may sequentially irradiate light of different wavelengths (eg, green light) to the object by angle, and then sequentially irradiate light of different wavelengths (eg, blue light) to the object by angle. have. In one embodiment, the plurality of illumination light sources 40 may sequentially irradiate red light, green light, and blue light for one angle, and then sequentially red light, green light, and blue light for the next angle.
  • one wavelength for example, red light
  • the plurality of illumination light sources 40 may sequentially irradiate light of different wavelengths (eg, green light) to the object by angle, and then sequentially irradiate light of different wavelengths (eg, blue light) to the object by angle.
  • the plurality of illumination light sources 40 may sequentially irradiate red light, green light, and blue light for one angle
  • each of the illumination light sources 40 may irradiate all of the red light, the green light, and the blue light at the same time when irradiating the 2D illumination light to irradiate the mixed white light to the object.
  • each of the illumination light sources 40 may irradiate normal white light, not mixed white light, to an object.
  • the surface of the object may be saturated by irradiating white light in which each of the plurality of illumination light sources 40 arranged for each angle is simultaneously mixed. At this time, the reflected illumination light may be captured to obtain an illumination image of the object surface.
  • the processor 10 filters the image obtained according to various factors (type of light, irradiation direction, angle, etc.) according to a preset criterion, and then generates a virtual plane 3 using only the selected image can do.
  • the device 1 inspects an object (for example, a die) on a substrate, it may be affected by other elements and irregularities of the substrate. Distortion may occur in the images themselves obtained by the influence, or in the contour obtained from the images.
  • the virtual plane 3 is generated based on the distorted image or contour, accurate measurement or inspection of the object 2 may be difficult. In order to prevent this, only the filtered image according to a preset criterion can be selected and used to generate the virtual plane 3.
  • the processor 10 may perform filtering based on whether the contrast value of the surface of the object 2 appearing on the image is greater than or equal to a preset value.
  • the processor 10 may discard images whose contrast value is less than a preset value and select only images having a preset value or higher, to determine (derive) the above-mentioned relationship information.
  • the processor 10 may perform filtering based on whether or not the outline appearing on the image has continuity.
  • the processor 10 may select only the image in which the outline representing one corner of the object is represented by a line segment having continuity, and may determine the above-mentioned relationship information.
  • the processor 10 statistically calculates an average value or a median value of contour position coordinates extracted from a plurality of images, and excludes an image from which contours having position coordinates outside a predetermined ratio or more are extracted from these values. can do. In this case, the processor 10 may determine the above-mentioned relationship information only with an image that is not excluded.
  • the processor 10 may use the pre-stored specification information of the object 2 to determine one contour from the other.
  • the device 1 inspects an object of the substrate, it may be affected by other elements and irregularities of the substrate. Accordingly, it may not be possible to extract the outline necessary for determining the relationship information.
  • another contour may be derived from one contour using the previously stored standard information of the object 2.
  • the memory 20 may include specification information of the object 2.
  • the specification information may include width, width, and height information of the object 2.
  • the processor 10 may use standard information to predict and derive the position of the contour at a position parallel to the contour. For example, it can be assumed that the contour 8010 of the lower surface of the object 2 has been extracted, and the upper surface contour at a position parallel to the contour cannot be extracted due to a predetermined distortion. In this case, the processor 10 may obtain the height information of the corresponding object 2 based on the specification information, and apply the height information to the extracted lower surface contour, thereby predicting the position of the upper contour of the parallel position. In this way, the top contour can be extracted (8020).
  • the processor 10 first extracts the contour parallel to the required contour, and extracts the standard information as described above. It can be applied to extract the required contour.
  • the processor 10 may determine the relationship information using an outline necessary for determining the relationship information (8030).
  • the standard information may include information about the shape of the object.
  • the specification information may store information about the radius and height of the cylinder.
  • the processor 10 may derive another contour necessary for determining relationship information from one contour by using radius and height information.
  • the memory 20 may serve as a database that stores standard information of objects to be examined.
  • the memory 20 may store specification information about objects (eg, devices, chips, etc.) located on a substrate or commonly used.
  • the processor 10 may identify what an object is from the acquired images, and then read standard information corresponding to the identified object from the memory 20.
  • the processor 10 may derive another contour necessary for determining relationship information from one contour of the identified object based on the obtained standard information.
  • the processor 10 may control the transceiver to obtain specification information of objects from a server.
  • the obtained standard information may be stored in the memory 20.
  • FIG. 9 is a view showing an embodiment of a method for inspection, which can be performed by the device 1 according to the present disclosure.
  • the method for inspection according to the present disclosure may be a computer-implemented method.
  • each step of the method or algorithm according to the present disclosure has been described in a sequential order in the illustrated flow chart, each step may be performed in an order that can be arbitrarily combined by the present disclosure in addition to being performed sequentially.
  • the description according to this flow diagram does not exclude that any changes or modifications are made to the method or algorithm, and does not mean that any step is necessary or desirable.
  • at least some of the steps can be performed in parallel, iteratively or heuristically.
  • at least some of the steps may be omitted or other steps may be added.
  • the apparatus 1 may perform a method for inspection according to various embodiments of the present disclosure.
  • Method according to an embodiment of the present disclosure the step of irradiating the illumination light on the object located on the reference plane (S910), capturing one or more illumination images generated by the illumination light reflected from the object (S920), one or more illumination images Determining one or more contours representing the corners of the object on the basis (S930), determining the height value of the corners of the upper surface of the object relative to the reference surface based on the one or more contours (S940), and / or based on the height value
  • the operation may include determining a first angle between the object upper surface and the reference surface (S950).
  • the illumination light may be irradiated to the object 2 on which the at least one first light source (eg, the illumination light source 40) of the device 1 is located on the reference plane.
  • the one or more cameras 50 of the device 1 may capture one or more illumination images generated by the illumination light reflected from the object 2.
  • the one or more processors 10 of the device 1 may determine one or more contours representing edges of the object 2 on the one or more illumination images.
  • the processor 10 may determine the height value of the edge of the upper surface of the object relative to the reference surface, based on one or more contour lines.
  • the processor 10 may determine a first angle (eg, angle ⁇ ) between the object upper surface and the reference surface based on the height value.
  • a method comprises: at least one second light source (eg, pattern light source 30) of the device 1 irradiating the object 2 with pattern light, one or more cameras 50 ) Capturing one or more pattern images generated by reflecting the pattern light from the object 2, the processor 10, one or more representing an edge of the object 2 based on the one or more illumination images and the one or more pattern images Determining the contour, the processor 10 determining the virtual plane 3 corresponding to the top surface of the object 2 based on the one or more contours, and / or the processor 10 determining the virtual plane 3 ) And determining the second angle between the reference plane as the first angle.
  • the second light source eg, pattern light source 30
  • determining the imaginary plane comprises: extracting a first contour in an upper image representing the same one corner of the object 2 and a second contour in one or more lateral images, and / or And determining the virtual plane 3 based on the first contour and the second contour.
  • determining the virtual plane may include determining first relationship information indicating a corresponding relationship between the first contour line and the second contour line, and / or based on the first relationship information.
  • the step (3) may be further included.
  • determining a virtual plane extracting a third contour from one lateral image representing the same one corner of the object among the one or more lateral images and a fourth contour from the other lateral image, the third The method further includes determining second relationship information indicating a corresponding relationship between the contour and the fourth contour, and / or determining the virtual plane 3 based on the first relationship information and the second relationship information. You can.
  • the step of determining the virtual plane may include selecting one of the one or more illumination images and one or more pattern images whose contrast value is greater than or equal to a preset value to determine the virtual plane 3 It may include steps.
  • the software may be software for implementing various embodiments of the present disclosure described above.
  • Software may be inferred from various embodiments of the present disclosure by programmers in the art to which this disclosure pertains.
  • the software may be instructions (eg, code or code segments) or programs that the device can read.
  • the device is an apparatus operable according to instructions called from a recording medium, and may be, for example, a computer.
  • the device may be an electronic device 1 according to embodiments of the present disclosure.
  • the processor of the device may execute the called command, causing the components of the device to perform a function corresponding to the command.
  • the processor may be one or more processors 10 according to embodiments of the present disclosure.
  • a recording medium can mean any kind of recording medium in which data is stored, which can be read by a device.
  • the recording medium may include, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the recording medium may be one or more memories 20.
  • the recording medium may be embodied as a distributed form in a computer system connected to a network.
  • the software may be distributed and stored in a computer system or the like and executed.
  • the recording medium may be a non-transitory recording medium.
  • a non-transitory recording medium means a tangible medium irrespective of whether data is stored semi-permanently or temporarily, and does not include a signal propagated in transitory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 개시는 장치를 제안한다. 본 개시에 따른 장치는, 기준면 상에 위치한 대상체에 조명광을 조사하는 적어도 하나의 제1 광원; 상기 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐(capture)하는 하나 이상의 카메라; 및 하나 이상의 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 조명 이미지 상에서 상기 대상체의 모서리(edge)를 나타내는 하나 이상의 윤곽선을 결정하고, 상기 하나 이상의 윤곽선에 기초하여, 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하고, 상기 높이값에 기초하여, 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정할 수 있다.

Description

검사를 위한 장치, 방법 및 명령을 기록한 기록 매체
본 개시는 검사를 위한 기술에 관한 것이다.
반도체의 제조 공정 상에서, 반도체에 대한 각종 처리, 공정 등이 적절하게 수행되었는지에 대한 다양한 검사가 이루어 진다. 예를 들어, 반도체 기판 상에 설치되는 다이(die) 등의 소자가, 반도체 기판 상 위치해야 될 곳에 위치되었는지 등에 대한 검사가 수행될 수 있다.
특히, 반도체 기판에 실장되는 다이에 있어서, 실장된 다이와 기판 사이의 기울임(tilt)은 없는지에 대한 검사가 수행될 수 있다. 일반적으로, 기판에 솔더 또는 솔더볼이 도포된 상태에서 다이가 솔더 또는 솔더볼 상부에 실장될 수 있다. 이 때, 다이의 하면이 반도체 기판의 기준면에 평행하도록 실장되어야 하나, 소정의 요인(예를 들어 솔더 또는 솔더볼의 도포 상태)에 의해 다이가 반도체 기판에 대하여 일정 각도 이상 기울어진 형태로 실장될 수도 있다. 이는 반도체 장치의 불량을 일으킬 수 있는 요소이므로, 반도체에 대한 검사 과정에서, 다이가 기울어졌는지, 기울어졌다면 어느 각도 이상 기울어졌는지를 확인할 수 있어야 한다.
이러한 기울어짐에 대한 검사를 수행하기 위하여, 반도체 다이에 대해 3차원 조명을 조사하는 3차원 검사기가 활용될 수 있다. 그러나 이러한 방식으로는 검사의 대상이 되는 다이에 대한 3차원 형상 획득이 어렵다는 문제가 있다. 이는 일반적으로 반도체 다이의 상면이 반사체로 되어 있어, 조사되는 3차원 조명이 반도체 다이의 상면에서 전반사를 일으킬 수 있고, 이에 따라 반도체 다이에 대한 촬상이 잘 이루어지지 않을 수 있기 때문이다.
또한 상술한 기울어짐에 대한 검사를 수행하기 위하여, 백색광 주사 간섭계(White Light Scanning Interferometry)를 활용한 장비가 사용될 수 있다. 그러나, 이러한 방식에서는, 반도체 다이가 기준면에 대하여 특정 각도(예: 1.2도) 이상 기울어지게 되는 경우, 해당 다이에 대한 상이 맺히지 않는 문제가 있다.
또한, 상술한 기울어짐에 대한 검사를 수행하기 위하여, 2차원 방식의 면적 검사가 활용될 수 있다. 기울어진 사각형의 반도체 다이를 촬영하는 경우 기울어진 정도에 따라 평행 사변형 꼴로 보이는데, 2차원 방식의 면적 검사는 이 평행 사변형의 형태를 통해 기울어진 정도가 도출하는 방식이다. 그러나, 이러한 방식 역시 반도체 다이의 상면이 반사체로 되어 있는 경우, 정확한 평행 사변형 형태를 획득할 수 없어, 대상체의 기울어진 정도를 정확히 예측할 수 없다는 문제가 있다.
본 개시는, 상술한 종래 기술의 결함을 해결하기 위한 것으로, 검사를 위한 기술을 제공한다.
본 개시의 한 측면으로서, 검사를 위한 장치가 제안될 수 있다. 본 개시의 한 측면에 따른 장치는, 기준면 상에 위치한 대상체에 조명광을 조사하는 적어도 하나의 제1 광원; 상기 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐(capture)하는 하나 이상의 카메라; 및 하나 이상의 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 조명 이미지 상에서 상기 대상체의 모서리(edge)를 나타내는 하나 이상의 윤곽선을 결정하고, 상기 하나 이상의 윤곽선에 기초하여, 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하고, 상기 높이값에 기초하여, 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정할 수 있다.
일 실시예에서, 상기 대상체에 패턴광을 조사하는 적어도 하나의 제2 광원을 더 포함하고, 상기 하나 이상의 카메라는 상기 패턴광이 상기 대상체로부터 반사되어 생성된 하나 이상의 패턴 이미지를 캡쳐하고, 상기 프로세서는, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지에 기초하여, 상기 대상체의 모서리를 나타내는 상기 하나 이상의 윤곽선을 결정하고, 상기 하나 이상의 윤곽선에 기초하여, 상기 대상체의 상면에 대응되는 가상의 평면을 결정하고, 상기 가상의 평면과 상기 기준면 사이의 제2 각도를 상기 제1 각도로 결정할 수 있다.
일 실시예에서, 상기 하나 이상의 카메라는, 상기 대상체의 상방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 상방 카메라 및 상기 대상체의 하나 이상의 측방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 하나 이상의 측방 카메라를 포함할 수 있다.
일 실시예에서, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 일부는 상기 상방 카메라에 의해 상기 대상체의 상방으로부터 캡쳐된 상방 이미지이고, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 다른 일부는 상기 하나 이상의 측방 카메라에 의해 상기 대상체의 하나 이상의 측방으로부터 캡쳐된 측방 이미지일 수 있다.
일 실시예에서, 상기 프로세서는, 상기 대상체의 동일한 한 모서리를 나타내는 상기 상방 이미지에서의 제1 윤곽선 및 상기 하나 이상의 측방 이미지에서의 제2 윤곽선을 추출하고, 상기 제1 윤곽선 및 상기 제2 윤곽선에 기초하여, 상기 가상의 평면을 결정할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 윤곽선 및 상기 제2 윤곽선 사이의 대응 관계를 지시하는 제1 관계 정보를 결정하고, 상기 제1 관계 정보에 기초하여, 상기 가상의 평면을 결정할 수 있다.
일 실시예에서, 상기 제1 윤곽선 상의 제1 점은 상기 제2 윤곽선 상의 제2 점에 대응되고, 상기 제1 관계 정보는, 상기 상방 이미지 상에서 상기 제1 점이 가지는 좌표 정보 및 상기 하나 이상의 측방 이미지 상에서 상기 제2 점이 가지는 좌표 정보의 쌍을 포함할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 하나 이상의 측방 이미지 중, 상기 대상체의 동일한 한 모서리를 나타내는 한 측방 이미지에서의 제3 윤곽선 및 다른 한 측방 이미지에서의 제4 윤곽선을 추출하고, 상기 제3 윤곽선 및 상기 제4 윤곽선 사이의 대응 관계를 지시하는 제2 관계 정보를 결정하고, 상기 제1 관계 정보 및 상기 제2 관계 정보에 기초하여, 상기 가상의 평면을 결정할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중, 상기 대상체 표면의 대비(contrast) 값이 미리 설정된 값 이상인 이미지를 선택하여 상기 가상의 평면을 결정할 수 있다.
일 실시예에서, 상기 대상체는 복수의 층이 적층된 형태를 가지고, 상기 하나 이상의 윤곽선은 상기 복수의 층 각각의 모서리를 지시하고, 상기 프로세서는, 상기 하나 이상의 윤곽선에 기초하여, 상기 복수의 층 각각에 대응되는 복수의 가상의 평면을 결정하고, 상기 복수의 층 각각에 대응되는 복수의 가상의 평면에 기초하여, 상기 복수의 층 각각 사이의 간격을 결정할 수 있다.
본 개시의 한 측면으로서, 검사를 위한 방법이 제안될 수 있다. 본 개시의 한 측면에 따른 방법은, 적어도 하나의 제1 광원이, 기준면 상에 위치한 대상체에 조명광을 조사하는 단계; 하나 이상의 카메라가, 상기 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐(capture)하는 단계; 하나 이상의 프로세서가, 상기 하나 이상의 조명 이미지 상에서 상기 대상체의 모서리를 나타내는 하나 이상의 윤곽선을 결정하는 단계; 상기 프로세서가, 상기 하나 이상의 윤곽선에 기초하여 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하는 단계; 및 상기 프로세서가, 상기 높이값에 기초하여 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정하는 단계를 포함할 수 있다.
일 실시예에서 방법은, 적어도 하나의 제2 광원이, 상기 대상체에 패턴광을 조사하는 단계; 상기 하나 이상의 카메라가, 상기 패턴광이 상기 대상체로부터 반사되어 생성된 하나 이상의 패턴 이미지를 캡쳐하는 단계; 상기 프로세서가, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지에 기초하여, 상기 대상체의 모서리를 나타내는 상기 하나 이상의 윤곽선을 결정하는 단계; 상기 프로세서가, 상기 하나 이상의 윤곽선에 기초하여 상기 대상체의 상면에 대응되는 가상의 평면을 결정하는 단계; 및 상기 프로세서가, 상기 가상의 평면과 상기 기준면 사이의 제2 각도를 상기 제1 각도로 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 하나 이상의 카메라는, 상기 대상체의 상방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 상방 카메라 및 상기 대상체의 하나 이상의 측방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 하나 이상의 측방 카메라를 포함할 수 있다.
일 실시예에서, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 일부는 상기 상방 카메라에 의해 상기 대상체의 상방으로부터 캡쳐된 상방 이미지이고, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 다른 일부는 상기 하나 이상의 측방 카메라에 의해 상기 대상체의 하나 이상의 측방으로부터 캡쳐된 측방 이미지일 수 있다.
일 실시예에서, 상기 가상의 평면을 결정하는 단계는: 상기 대상체의 동일한 한 모서리를 나타내는 상기 상방 이미지에서의 제1 윤곽선 및 상기 하나 이상의 측방 이미지에서의 제2 윤곽선을 추출하는 단계; 및 상기 제1 윤곽선 및 상기 제2 윤곽선에 기초하여, 상기 가상의 평면을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 가상의 평면을 결정하는 단계는: 상기 제1 윤곽선 및 상기 제2 윤곽선 사이의 대응 관계를 지시하는 제1 관계 정보를 결정하는 단계; 및 상기 제1 관계 정보에 기초하여, 상기 가상의 평면을 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 제1 윤곽선 상의 제1 점은 상기 제2 윤곽선 상의 제2 점에 대응되고, 상기 제1 관계 정보는, 상기 상방 이미지 상에서 상기 제1 점이 가지는 좌표 정보 및 상기 하나 이상의 측방 이미지 상에서 상기 제2 점이 가지는 좌표 정보의 쌍을 포함할 수 있다.
일 실시예에서, 상기 가상의 평면을 결정하는 단계는: 상기 하나 이상의 측방 이미지 중, 상기 대상체의 동일한 한 모서리를 나타내는 한 측방 이미지에서의 제3 윤곽선 및 다른 한 측방 이미지에서의 제4 윤곽선을 추출하는 단계; 상기 제3 윤곽선 및 상기 제4 윤곽선 사이의 대응 관계를 지시하는 제2 관계 정보를 결정하는 단계; 및 상기 제1 관계 정보 및 상기 제2 관계 정보에 기초하여, 상기 가상의 평면을 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 가상의 평면을 결정하는 단계는: 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중, 상기 대상체 표면의 대비(contrast) 값이 미리 설정된 값 이상인 이미지를 선택하여 상기 가상의 평면을 결정하는 단계를 포함할 수 있다.
본 개시의 한 측면으로서, 검사를 위한 명령들을 기록한 비일시적 컴퓨터 판독 가능 기록 매체가 제안될 수 있다. 본 개시의 한 측면에 따른 기록 매체에 기록된 명령들은, 컴퓨터 상에서 수행되기 위한 명령들로서, 하나 이상의 프로세서에 의한 실행시, 하나 이상의 프로세서가, 기준면 상에 위치한 대상체에 조사된 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지 상에서, 상기 대상체의 모서리를 나타내는 하나 이상의 윤곽선을 결정하는 단계; 상기 하나 이상의 윤곽선에 기초하여 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하는 단계; 및 상기 높이값에 기초하여 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정하는 단계를 수행하도록 하는 실행 가능한 명령을 포함할 수 있다.
본 개시의 다양한 실시예들에 의하면, 대상체의 상면이 반사체로 되어 있는 경우에도, 해당 대상체의 기울어진 각도를 측정해 낼 수 있다.
본 개시의 다양한 실시예들에 의하면, 대상체가 기판의 기준면에 대하여 특정 각도(예: 1.2도) 이상으로 기울어진 경우에 대해서도, 그 기울어진 정도를 도출해 낼 수 있다.
본 개시의 다양한 실시예들에 의하면, 기판의 다른 방해물에 의해 대상체의 명확한 이미지 획득이 어려운 경우에도 해당 대상체의 기울어진 각도를 측정해 낼 수 있다.
본 개시의 다양한 실시예들에 의하면, 다양한 각도 및 방향에서 다양한 종류의 광원들로부터 조사된 광을 이용하여 이미지를 획득함으로써, 대상체에 대한 정확한 가상의 3차원 모델을 생성할 수 있다.
도 1은 본 개시에 따른 장치가 동작하는 과정을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 장치의 블록도를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른, 대상체 상면에 대한 가상의 평면을 생성하는 과정을 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른, 다양한 이미지의 획득 및 관계 정보 결정을 위한 이미지들의 조합을 설명하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 하나 이상의 패턴광원이 배치되는 형태를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 하나 이상의 조명광원이 배치되는 형태를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 이미지의 필터링 과정을 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 이미지의 한 윤곽선으로부터 다른 윤곽선을 도출하는 과정을 도시한 도면이다.
도 9는 본 개시에 따른 장치에 의해 수행될 수 있는, 검사를 위한 방법의 일 실시예를 나타낸 도면이다.
본 문서에 기재된 다양한 실시예들은, 본 개시의 기술적 사상을 명확히 설명하기 위한 목적으로 예시된 것이며, 이를 특정한 실시 형태로 한정하려는 것이 아니다. 본 개시의 기술적 사상은, 본 문서에 기재된 각 실시예의 다양한 변경(modifications), 균등물(equivalents), 대체물(alternatives) 및 각 실시예의 전부 또는 일부로부터 선택적으로 조합된 실시예를 포함한다. 또한 본 개시의 기술적 사상의 권리 범위는 이하에 제시되는 다양한 실시예들이나 이에 대한 구체적 설명으로 한정되지 않는다.
기술적이거나 과학적인 용어를 포함해서, 본 문서에서 사용되는 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 가질 수 있다.
본 문서에서 사용되는 "포함한다", "포함할 수 있다", "구비한다", "구비할 수 있다", "가진다", "가질 수 있다" 등과 같은 표현들은, 대상이 되는 특징(예: 기능, 동작 또는 구성요소 등)이 존재함을 의미하며, 다른 추가적인 특징의 존재를 배제하지 않는다. 즉, 이와 같은 표현들은 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 문서에서 사용되는 단수형의 표현은, 문맥상 다르게 뜻하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 문서에서 사용되는 "제1", "제2", 또는 "첫째", "둘째" 등의 표현은, 문맥상 다르게 뜻하지 않는 한, 복수의 동종 대상들을 지칭함에 있어 한 대상을 다른 대상과 구분하기 위해 사용되며, 해당 대상들간의 순서 또는 중요도를 한정하는 것은 아니다.
본 문서에서 사용되는 "A, B, 및 C", "A, B, 또는 C", "A, B, 및/또는 C" 또는 "A, B, 및 C 중 적어도 하나", "A, B, 또는 C 중 적어도 하나", "A, B, 및/또는 C 중 적어도 하나" 등의 표현은, 각각의 나열된 항목 또는 나열된 항목들의 가능한 모든 조합들을 의미할 수 있다. 예를 들어, "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A, (2) 적어도 하나의 B, (3) 적어도 하나의 A 및 적어도 하나의 B를 모두 지칭할 수 있다.
본 문서에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되고, 이 표현은 해당 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 문서에서 사용되는, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "연결되어" 있다거나 "접속되어" 있다는 표현은, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결 또는 접속되는 것뿐 아니라, 새로운 다른 구성요소(예: 제3 구성요소)를 매개로 하여 연결 또는 접속되는 것을 의미할 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(configured to)"은 문맥에 따라, "~하도록 설정된", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는" 등의 의미를 가질 수 있다. 해당 표현은, "하드웨어적으로 특별히 설계된"의 의미로 제한되지 않으며, 예를 들어 특정 동작을 수행하도록 구성된 프로세서란, 소프트웨어를 실행함으로써 그 특정 동작을 수행할 수 있는 범용 프로세서(generic-purpose processor)를 의미할 수 있다.
본 개시에서 대상체는 소정의 표면 상에 위치되고, 장치의 검사 대상이 되는 물체를 의미할 수 있다. 일 실시예에서 대상체는 반도체 기판 상에 위치된 다이, 반도체 소자 또는 칩일 수 있다. 대상체는 반도체 기판 상에 실장될 수 있다. 전술한 바와 같이, 대상체는 대상체의 하면이 기판의 기준면과 일정 각도를 가지고 기울어지도록 실장될 수도 있다.
본 개시에서 기판은 대상체가 위치된 소정의 표면일 수 있다. 일 실시예에서, 기판은 반도체 기판일 수 있다. 기판의 기준면은 기판의 표면을 의미할 수 있으며, 전술한 대상체의 하면과의 기울어진 각도를 측정하는 기준이 되는 면일 수 있다.
이하, 첨부된 도면들을 참조하여, 본 개시의 다양한 실시예들을 설명한다. 첨부된 도면 및 도면에 대한 설명에서, 동일하거나 실질적으로 동등한(substantially equivalent) 구성요소에는 동일한 참조부호가 부여될 수 있다. 또한, 이하 다양한 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있으나, 이는 해당 구성요소가 그 실시예에 포함되지 않는 것을 의미하지는 않는다.
도 1은 본 개시에 따른 장치가 동작하는 과정을 나타낸 도면이다. 본 개시에 따른 장치(1)는 대상체(2)가 기준면(예: 기판 등)에 대해 기울어진 각도(θ)를 측정할 수 있다. 대상체(2)(예: 다이 등)는 기준면 상에 배치될 수 있다. 경우에 따라 대상체(2)는 기준면에 대해 소정의 각도(θ)로 기울어진 상태로 배치될 수 있다(100). 본 개시에 따른 장치(1)는 이 기울어진 각도를 측정(결정)함으로써 해당 대상체(2)의 설치가 불량인지 아닌지를 검사할 수 있다.
구체적으로 장치(1)의 조명광원은 기준면 상에 위치한 대상체(2)에 2차원 조명광을 조사할 수 있다. 조명광은 대상체(2)의 표면들, 즉 상면 또는 하나 이상의 측면으로부터 반사될 수 있다. 장치(1)의 하나 이상의 카메라(50)는 조명광이 대상체(2)로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐(capture)할 수 있다.
장치(1)는 획득한 하나 이상의 조명 이미지 상에서 대상체(2)의 모서리(edge)를 나타내는 하나 이상의 윤곽선을 결정할 수 있다. 조명 이미지 각각은 대상체(2) 내지 대상체(2)의 모서리를 나타내는 2차원 사진일 수 있다. 본 개시에서 대상체의 모서리란, 실제 3차원 공간 상에 존재하는 대상체가 가지는 형상의 각 변을 의미할 수 있다(예: 정육면체의 각 변). 한편 본 개시에서 윤곽선이란 대상체를 촬영한 이미지 상에서 나타나는 대상체의 모서리를 의미할 수 있다(즉, 이미지 상에서 나타나는 선). 본 개시에서 윤곽선은 경계선이라 불릴 수도 있다.
장치(1)는 결정된 하나 이상의 윤곽선에 기초하여, 대상체(2)의 상면의 모서리가 기준면에 대하여 가지는 높이값을 결정할 수 있다. 또한 장치(1)는 해당 높이값에 기초하여 대상체(2)의 상면과 기준면 사이의 기울어진 각도(θ)를 결정할 수 있다. 대상체 상면의 모서리 높이는, 해당 모서리의 각 점이 기준면에 대해 떨어져 있는 길이를 나타낼 수 있다. 따라서 대상체 상면의 모서리 높이를 결정하면, 해당 모서리가 기준면에 대해 가지는 각도를 알 수 있고, 이에 따라 대상체 상면이 기준면에 대해 어느 정도의 각도로 기울어져 있는 지가 결정될 수 있다.
일 실시예에서, 장치(1)는 조명광에 외에 패턴광을 추가적으로 이용하여 대상체의 기울어진 각도를 결정할 수도 있다. 구체적으로 장치(1)의 패턴광원은 대상체(2)를 향해 패턴광을 조사할 수 있다. 패턴광은 대상체(2)의 표면들, 즉 상면 또는 하나 이상의 측면으로부터 반사될 수 있다. 장치(1)의 하나 이상의 카메라(50)는 패턴광이 대상체(2)로부터 반사되어 생성된 하나 이상의 패턴 이미지를 캡쳐할 수 있다.
이 경우 장치(1)는 하나 이상의 조명 이미지 및/또는 하나 이상의 패턴 이미지에 기초하여, 대상체(2)의 모서리를 나타내는 하나 이상의 윤곽선을 결정할 수 있다. 장치(1)는 결정된 하나 이상의 윤곽선에 기초하여, 대상체(2)의 상면에 대응되는 가상의 평면(3)을 결정할 수 있다(110). 가상의 평면(3)은 컴퓨터 그래픽을 이용해 실제 3차원 공간 상의 대상체(2)가 가지는 상면을 가상으로 구현해 낸 평면일 수 있다. 장치(1)는 가상의 평면(3)과 기준면 사이의 각도를, 대상체(2)와 기준면 사이의 각도(θ)로 결정할 수 있다(110).
일 실시예에서, 대상체(2)는 복수의 층이 적층된 형태를 가지는 적층 메모리일 수 있다. 이 경우 추출되는 하나 이상의 윤곽선은 대상체(2)의 복수의 층 각각의 모서리를 지시할 수 있다. 장치(1)는 적층된 구조의 대상체(2)를 촬영한 이미지로부터 획득된 하나 이상의 윤곽선에 기초하여 복수의 가상의 평면을 결정할 수 있다. 가상의 평면을 결정하는 과정은 전술한 바와 같다. 결정된 복수의 가상의 평면 각각은 적층 구조의 대상체(2)의 복수의 층 각각에 대응될 수 있다. 즉, 하나의 가상의 평면은 복수의 층 중 한 층을 나타낼 수 있다. 장치(1)는 결정된 복수의 가상의 평면 각각에 기초하여, 적층 구조의 대상체(2)의 복수의 층 각각 사이의 간격(gap)을 결정할 수 있다. 일 실시예에서, 이 과정은 장치(1)의 프로세서에 의해 수행될 수 있다.
본 개시의 다양한 실시예들에 따르면, 검사의 대상이 되는 대상체(2)의 상면이 반사체로 되어 있어 상면에 대해 검사를 위한 이미지를 획득하기 어려운 경우에도, 장치(1)는 해당 대상체(2)에 대한 가상의 평면을 활용함으로써 대상체(2)의 기울어진 각도를 측정해 낼 수 있다. 또한 본 개시의 다양한 실시예들에 따르면, 장치(1)는 대상체가 기준면에 대하여 특정 각도(예: 1.2도) 이상으로 기울어진 경우에 대해서도, 가상의 평면을 생성하여 그 기울어진 정도를 도출해 낼 수 있다. 또한 본 개시의 다양한 실시예들에 따르면, 기판에 위치된 다양한 반도체 소자 및 구조물 등에 의하여, 검사의 대상이 되는 대상체(2)의 명확한 이미지 또는 윤곽선 추출이 어려운 경우에도, 필요한 관련 정보들을 획득해 해당 대상체(2)에 대한 검사를 수행할 수 있다. 또한 본 개시의 다양한 실시예들에 따르면, 다양한 각도 및 방향에서 다양한 종류의 광원들로부터 조사된 광을 이용하여 이미지를 획득함으로써, 해당 대상체에 대한 정확한 측정을 수행할 수 있다.
도 2는 본 개시의 일 실시예에 따른 장치의 블록도를 나타낸 도면이다. 일 실시예에서, 장치(1)는 하나 이상의 프로세서(10), 하나 이상의 메모리(20), 하나 이상의 패턴광원(30), 하나 이상의 조명광원(40) 및/또는 하나 이상의 카메라(50)를 포함할 수 있다. 일 실시예에서, 장치(1)의 이러한 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 장치(1)에 추가될 수 있다. 일 실시예에서, 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 본 개시에서, 하나 이상의 구성요소(예: 하나 이상의 프로세서(10))라는 개념은 구성요소(예: 프로세서(10))라고 표현될 수 있으며, 이는 문맥상 명백히 다르게 표현하지 않는 이상 하나 또는 그 이상의 구성요소의 집합을 의미할 수 있다. 일 실시예에서, 장치(1) 내/외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고 받을 수 있다.
조명광원(40)은 대상체(2)에 2차원 조명광을 조사할 수 있다. 일 실시예에서 조명광은 RGB 광일 수 있고, 각각의 조명광원(40)은 적색(Red)광을 조사하는 적색광원, 녹색(Green)광을 조사하는 녹색광원, 및 청색(Blue)광을 조사하는 청색광원을 포함할 수 있다. 일 실시예에서, 조명광원(40) 각각은 조명광을 조사할 때, 적색광, 녹색광 및 청색광 모두를 조사하여 대상체의 표면을 포화(saturation)시킬 수 있다.
패턴광원(30)은 대상체(2)에 패턴광을 조사할 수 있다. 일 실시예에서 패턴광은 구조광, 격자무늬광(광도가 사인파 패턴으로 변화하는 광), 라인광 등등일 수 있다. 일 실시예에서, 패턴광원(30)은 PZT(piezo actuator)와 같은 격자이송기구에 의해 위상 천이된 패턴광을 조사하거나, DLP(Digital Light Processing) 방식 또는 LCoS(Liquid Crystal on Silicon) 방식에 의하여 패턴광을 조사할 수 있다. 일 실시예에서, 하나 이상의 패턴광원(30) 각각은 PZT를 이용한 방식, DLP 방식 및 LCoS 방식 중에서 선택된 하나의 방식에 따라 패턴광을 조사할 수 있다. 일 실시예에서, 대상체(2)의 상방에서 서로 다른 방향으로 패턴광을 조사하는 하나 이상(예: 8개)의 패턴광원(30)이 사용될 수 있다.
카메라(50)는 전술한 바와 같이 조명 이미지 및/또는 패턴 이미지를 캡쳐할 수 있다. 일 실시예에서, 카메라(50)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라로 구현될 수 있다. 일 실시예에서, 하나 이상의 카메라(50)는 상방 카메라(top camera) 및/또는 하나 이상의 측방 카메라(side camera)를 포함할 수 있다. 상방 카메라는 대상체(2)의 상방에서, 대상체(2)로부터 반사되는 조명 이미지 또는 패턴 이미지를 캡쳐할 수 있다. 하나 이상의 측방 카메라 각각은 대상체(2)의 측방 내지 상측방에서, 대상체(2)로부터 반사되는 조명 이미지 또는 패턴 이미지를 캡쳐할 수 있다. 일 실시예에서, 하나 이상의 측방 카메라는 대상체(2)의 앞면(front), 뒷면(rear), 좌측면(left) 및 우측면(right)에 대응되는 4개의 카메라를 포함할 수 있다. 일 실시예에서, 상방 카메라에 의해 대상체(2)의 상방으로부터 캡쳐된 조명 이미지 또는 패턴 이미지를 상방 이미지라고 할 수 있다. 또한 하나 이상의 측방 카메라에 의해 대상체(2)의 하나 이상의 측방으로부터 캡쳐된 조명 이미지 또는 패턴 이미지를 측방 이미지라고 할 수 있다. 즉, 상술한 하나 이상의 조명 이미지 및 하나 이상의 패턴 이미지 중 일부는 상방 이미지이고, 다른 일부는 측방 이미지일 수 있다.
프로세서(10)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(10)에 연결된 장치(1)의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(10)는 본 개시와 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한 프로세서(10)는 데이터 등을 메모리(20)로부터 로드하거나, 메모리(20)에 저장할 수 있다. 일 실시예에서, 프로세서(10)는 하나 이상의 조명 이미지 상에서 대상체(2)의 하나 이상의 윤곽선을 결정하고, 하나 이상의 윤곽선에 기초하여 대상체 상면의 모서리의 높이값을 결정하며, 높이값에 기초하여 대상체 상면과 기준면 사이의 각도(θ)를 결정할 수 있다. 또한 일 실시예에서, 프로세서(10)는 하나 이상의 조명 이미지 및/또는 하나 이상의 패턴 이미지에 기초하여 대상체(2)의 모서리를 나타내는 하나 이상의 윤곽선을 결정하고, 하나 이상의 윤곽선에 기초하여 대상체 상면에 대응되는 가상의 평면(3)을 결정하며, 가상의 평면(3)과 기준면 사이의 각도를 대상체(2)가 기울어진 각도(θ)로 결정할 수 있다.
메모리(20)는 다양한 데이터를 저장할 수 있다. 메모리(20)에 저장되는 데이터는, 장치(1)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(20)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 개시에서, 명령 내지 프로그램은 메모리(20)에 저장되는 소프트웨어로서, 장치(1)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 장치(1)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다. 일 실시예에서, 메모리(20)는 프로세서(10)에 의한 실행 시 프로세서(10)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.
일 실시예에서, 장치(1)는 송수신기(미도시)를 더 포함할 수 있다. 송수신기는, 장치(1)와 서버 또는 장치(1)와 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기는 eMBB(enhanced Mobile Broadband),　URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(Long-Term Evolution), LTE-A(LTE Advance), NR(New Radio), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), WiBro(Wireless Broadband), WiFi(Wireless Fidelity), 블루투스(Bluetooth), NFC(Near Field Communication), GPS(Global Positioning System) 또는 GNSS(Global Navigation Satellite System) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기는 USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), RS-232(Recommended Standard-232) 또는 POTS(Plain Old Telephone Service) 등의 방식에 따른 유선 통신을 수행할 수 있다. 일 실시예에서, 프로세서(10)는 송수신기를 제어하여 서버로부터 정보를 획득할 수 있다. 서버로부터 획득된 정보는 메모리(20)에 저장될 수 있다. 일 실시예에서, 서버로부터 획득되는 정보는 이미지로부터 윤곽선을 추출하거나, 추출된 윤곽선들 사이의 관계 정보를 도출하거나, 가상의 3차원 모델(3)을 생성하는 데 필요한 파라미터 내지 정보들을 포함할 수 있다. 일 실시예에서, 서버로부터 획득되는 정보는 카메라(50)의 캘리브레이션을 위한 카메라(50)의 내부(intrinsic) 또는 외부(extrinsic) 파라미터 값을 포함할 수 있다.
일 실시예에서, 장치(1)는 사용자 인터페이스(미도시)를 더 포함할 수 있다. 사용자 인터페이스는 사용자로부터 입력을 받고, 사용자에게 정보를 출력(표출)할 수 있다. 일 실시예에서, 사용자 인터페이스는 입력 장치 및/또는 출력 장치를 포함할 수 있다. 입력 장치는 외부로부터 장치(1)의 적어도 하나의 구성요소에 전달하기 위한 데이터를 입력 받는 장치일 수 있다. 예를 들어, 입력 장치는 마우스, 키보드, 터치 패드 등을 포함할 수 있다. 출력 장치는 장치(1)의 다양한 데이터를 사용자에게 시각적 형태로 제공하는 장치일 수 있다. 예를 들어, 출력 장치는 디스플레이, 프로젝터, 홀로그램 등을 포함할 수 있다. 일 실시예에서, 사용자 인터페이스는 사용자로부터 대상체(2) 검사에 사용될 수 있는 파라미터들을 입력받거나, 사용자에게 도출된 대상체(2)의 기울어진 각도(θ) 등을 표출할 수 있다.
일 실시예에서, 장치(1)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 장치(1)는 휴대용 통신 장치, 컴퓨터 장치, 휴대용 멀티미디어 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 다만 본 개시의 장치(1)는 전술한 장치들에 한정되지 않는다.
본 개시에 따른 장치(1)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 장치(1)의 실시예 역시 본 개시의 범위에 속한다. 또한 전술한 본 개시에 따른 장치(1)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 장치(1)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.
도 3은 본 개시의 일 실시예에 따른, 대상체 상면에 대한 가상의 평면을 생성하는 과정을 도시한 도면이다. 가상의 평면(3)을 생성하는 과정은 캘리브레이션 과정, 윤곽선 추출 과정, 윤곽선 사이의 관계 정보 도출 과정 및/또는 가상의 평면 생성 과정을 포함할 수 있다.
캘리브레이션 과정(도시되지 않음)에서, 장치(1)는 카메라(50)의 캘리브레이션을 수행할 수 있다. 캘리브레이션 과정을 통해 장치(1)는 대상체 상면에 대한 가상의 평면을 생성하는 데에 필요한 기본적인 정보들을 획득할 수 있다. 구체적으로 이 과정에서, 장치(1)는 카메라(50) 각각의 위치 정보, 즉 원점 위치 정보를 획득할 수 있다. 여기서 카메라(50)의 원점 위치란, 그 카메라를 한 점으로 보았을 때 그 점의 3차원 공간 상의 위치를 의미할 수 있다. 실시예에 따라, 카메라(50)의 위치는 대상체(2)에 대한 상대적인 위치로 나타날 수도 있고, 3차원 공간 좌표계 상의 절대적인 위치로 나타날 수도 있다. 또한 캘리브레이션 과정에서, 장치(1)는 카메라(50) 각각의 화각 정보 및/또는 내부 파라미터(intrinsic parameters)를 획득할 수 있다. 캘리브레이션 과정에서 획득되는 정보는 메모리(20)에 저장될 수 있다. 일 실시예에서, 캘리브레이션 관련 정보들은 송수신기를 통해 서버로부터 획득될 수 있다. 일 실시예에서, 캘리브레이션 과정은 선택적(optional) 과정으로서 생략될 수 있다.
이하 윤곽선 추출 과정, 윤곽선 사이의 관계 정보 도출 과정 및 가상의 평면 생성 과정에 대해 설명한다. 이 과정들은 조명 이미지 및 패턴 이미지 중에서 선택된 두 임의의 이미지를 이용해 수행될 수 있지만, 설명의 편의를 위하여 상방 이미지(top) 및 한 측방 이미지(left)를 기준으로 설명한다.
윤곽선 추출 과정(s3010)에서, 프로세서(10)는 상방 이미지 및 측방 이미지로부터 윤곽선들을 추출할 수 있다. 추출되는 윤곽선들 중에는, 대상체(2)의 동일한 한 모서리를 서로 다른 이미지 상에서 나타내고 있는 윤곽선들도 있을 수 있다. 예를 들어 프로세서(10)는 상방 이미지에서 대상체(2)의 한 모서리를 나타내는 윤곽선(이하, 제1 윤곽선)을 추출하고, 측방 이미지에서 동일한 해당 모서리를 나타내고 있는 윤곽선(이하, 제2 윤곽선)을 추출할 수 있다.
윤곽선 사이의 관계 정보 도출 과정(s3020)에서, 프로세서(10)는 제1 윤곽선 및 제2 윤곽선 사이의 관계 정보(이하, 제1 관계 정보)를 결정(도출)할 수 있다. 여기서 두 윤곽선이 공통으로 나타내는 대상체(2)의 모서리는 대상체(2)의 인접한 두 표면이 공유하는 모서리일 수 있다. 구체적으로, 제1 윤곽선 위의 한 점(이하, 제1 점) 및 제2 윤곽선 위의 한 점(이하, 제2 점)은, 대상체의 실제 모서리 상의 한 점(이하, 대상점)을 공통으로 가리켜므로, 서로 대응될 수 있다. 상방 카메라에서 대상점을 바라보면, 대상점은 상면 이미지 상에서 제1 점으로 나타내어질 수 있다. 상방 카메라의 원점에서 대상점을 잇는 3차원 공간 상의 직선이 있다고 가정하였을 때, 이 직선을 측방 카메라에서 바라보면, 해당 직선은 해당 측방 이미지 상에서 2차원 직선으로 나타날 수 있다. 이 2차원 직선을 제1 점에 대한 에피폴라 선(epipolar line)이라고 한다. 해당 측방 이미지 상에서, 제1 점에 대한 에피폴라 선 및 제2 윤곽선 사이의 교차점이 도출될 수 있는데, 이 교차점이 제2 점(즉, 제1 점에 대응되는 점)일 수 있다. 제1 점에서 제1 점에 대한 에피폴라 선으로의 변환 관계는 기본 행렬(fundamental matrix)에 의해 정의될 수 있는데, 기본 행렬은 에피폴라 기하학(epipolar geometry)에 따른 개념으로서, 전술한 카메라 캘리브레이션 정보들에 의해 도출될 수 있다.
일 실시예에서, 제1 관계 정보는 대응되는 두 점(제1 점, 제2 점)에 대한 정보를 포함할 수 있다. 일 실시예에서, 제1 관계 정보는 이 두 점(제1 점, 제2 점)의 2차원 픽셀 좌표의 쌍이거나, 3차원 공간 좌표의 쌍이거나, 두 좌표들 사이의 변환 관계식 또는 변환 행렬일 수 있다.
가상의 평면 생성 과정(s3030)에서, 프로세서(10)는 결정된 제1 관계 정보를 이용하여 대상체 상면에 대응되는 가상의 평면(3)을 결정(생성)할 수 있다. 구체적으로 프로세서(10)는 제1 관계 정보를 이용하여 상방 카메라의 원점에서 제1 점 좌표로의 벡터를 획득하고, 측방 카메라의 원점에서 제2 점 좌표로의 벡터를 획득하여 두 벡터가 만나는 점을 도출해 낼 수 있다. 이러한 방식으로 도출되는 점들을 이용하여 대상체 상면 전체에 대한 3차원 모델링이 수행될 수 있다.
상방 이미지(top) 및 한 측방 이미지(left)를 기준으로 가상의 평면(3)의 생성과정을 설명했지만, 전술한 바와 같이, 복수의 측방 이미지 중에서 서로 다른 두 측방 이미지를 이용해 가상의 평면(3)을 생성하는 것도 가능하다. 이 경우 프로세서(10)는 측방 이미지 중 하나에서 대상체(2)의 한 모서리를 나타내는 윤곽선(이하, 제3 윤곽선)을 추출하고, 측방 이미지 중 다른 하나에서 동일한 해당 모서리를 나타내고 있는 윤곽선(이하, 제4 윤곽선)을 추출할 수 있다. 프로세서(10)는 제3 윤곽선 및 제4 윤곽선 사이의 대응 관계를 지시하는 관계 정보(이하, 제2 관계 정보)를 더 획득할 수 있다. 프로세서(10)는 제1 관계 정보 및/또는 제2 관계 정보에 기초하여, 가상의 평면(3)을 결정할 수 있다.
일 실시예에서, 프로세서(10)가 이미지들로부터 관계 정보를 획득하는 과정(s3020)은 복수 회 반복하여 실시될 수 있다. 관계 정보를 획득하는 과정은, 각각의 상방 이미지, 측방 이미지 등의 조합에 따라 복수 회 반복하여 실시될 수 있다. 일 실시예에서, 프로세서(10)는 조명 이미지 또는 패턴 이미지의 종류에 따라 같은 표면에 대해 관계 정보 획득에 사용되는 이미지를 달리해가며, 관계 정보 획득 과정을 복수 회 실시할 수 있다. 일 실시예에서, 프로세서(10)는 조명광원 또는 패턴광원의 조사 각도 및 방향에 따라, 같은 표면에 대해 관계 정보 획득 과정을 복수 회 실시할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 다양한 이미지의 획득 및 관계 정보 결정을 위한 이미지들의 조합을 설명하는 도면이다. 장치(1)는 대상체로부터 복수의 이미지를 획득할 수 있다. 획득될 수 있는 이미지는, 사용되는 광의 종류, 광의 조사 방향, 광의 조사 각도 등에 따라 다양할 수 있다.
일 실시예에서, 장치(1)는 캡쳐에 사용되는 광이 조명광 또는 패턴광인지에 따라, 대상체의 일 방향에 대해 복수의 조명 이미지 또는 패턴 이미지를 획득할 수 있다. 즉, 대상체의 같은 한 표면에 대해서도, 사용되는 광의 종류에 따라 복수 의 이미지가 획득될 수 있다.
일 실시예에서, 장치(1)는 패턴광원(30) 또는 조명광원(40)이 대상체에 광을 조사하는 방향 내지 각도에 따라, 대상체의 일 방향에 대해 복수의 이미지를 획득할 수 있다. 예를 들어 하나 이상의 패턴광원(30)은 다양한 위치(예: 8 방향(8-way))에 배치되어 대상체를 향하여 패턴광을 조사할 수 있다. 패턴광원(30)의 배치에 대해서는 후술한다. 조사되는 패턴광의 방향에 따라서, 대상체의 같은 한 표면에 대해 복수의 패턴 이미지가 획득될 수 있다. 또한 예를 들어, 하나 이상의 조명광원(40)은 다양한 각도에서 대상체를 향하여 조명광을 조사할 수 있다. 조명광원(40)의 배치에 대해서는 후술한다. 조사되는 조명광의 각도에 따라서, 대상체의 같은 한 표면에 대해 복수의 조명 이미지가 획득될 수 있다.
일 실시예에서, 장치(1)는 상술한 바와 같이 대상체의 각 방향에 대해 획득된 조명 이미지 또는 패턴 이미지 중에서, 서로 다른 방향에 대한 이미지(상방 이미지, 각 방향의 측방 이미지 등)를 선택하여, 두 이미지로부터의 윤곽선들 간의 관계 정보를 도출할 수 있다. 첫 번째로 프로세서(10)는 상방 이미지와 한 측방 이미지를 선택하고, 이로부터 제1 관계 정보를 도출할 수 있다. 상방 이미지는 대상체의 상면을 나타낼 수 있고, 한 측방 이미지는 대상체의 상면 및 하나 이상의 측면을 나타낼 수 있다. 대상체의 상면과 측면은 모서리를 공유하므로, 상방 이미지와 측방 이미지로부터 제1 관계 정보가 도출될 수 있다. 예를 들어, 대상체가 직육면체 형태인 경우, 제1 관계 정보는 각각 4개가 도출될 수 있다.
두 번째로 프로세서(10)는 하나 이상의 측방 이미지 중 서로 다른 두 방향에서의 측방 이미지를 선택하고, 이로부터 제2 관계 정보를 도출할 수 있다. 두 측방 이미지는 대상체의 인접한 두 측면을 나타낼 수 있다. 인접하는 두 측면은 대상체의 모서리를 공유하므로, 두 측방 이미지로부터 제2 관계 정보가 도출될 수 있다. 예를 들어 대상체가 직육면체 형태인 경우, 제2 관계 정보는 각각 4개가 도출될 수 있다.
세 번째로 프로세서(10)는 하나 이상의 측방 이미지 중, 모서리를 공유하지 않는 대상체의 두 측면을 나타내는 두 측방 이미지를 선택하고, 이로부터 관계 정보(이하, 제3 관계 정보)를 도출할 수도 있다. 이 경우에도 마찬가지로 에피폴라 선을 이용하여 제3 관계 정보가 도출될 수 있다. 구체적으로, 대상체가 직육면체라고 할 때, 평행한 두 측면은 평행한 두 모서리를 가질 수 있다. 한 측방 이미지 상의 한 윤곽선 위의 한 점은, 평행한 다른 측방 이미지 상에서 직선(에피폴라 선)으로 나타날 수 있다. 이 에피폴라 선이 다른 측방 이미지에서의 윤곽선과 교차하는 점이, 처음 측방 이미지에서의 한 점과 서로 대응될 수 있다. 이러한 대응 관계를 지시하는 제3 관계 정보가 도출될 수 있다. 예를 들어 대상체가 직육면체 형태인 경우, 제3 관계 정보는 각각 2개가 도출될 수 있다.
프로세서(10)는 전술한 제1 관계 정보, 제2 관계 정보 및/또는 제3 관계 정보 중 적어도 하나를 이용하여 대상체 상면에 대한 가상의 평면(3)을 도출할 수 있다. 관계 정보의 도출의 대상이 되는 두 이미지가 선택될 수 있는 조합, 조사 방향 내지 각도, 및 조명의 종류 등에 따라 다양한 관계 정보 획득이 가능하며, 프로세서(10)는 다양한 관계 정보를 활용하여 가상의 평면을 보다 정확히 생성할 수 있다.
도 5는 본 개시의 일 실시예에 따른 하나 이상의 패턴광원(30)이 배치되는 형태를 도시한 도면이다. 전술한 바와 같이, 장치(1)는 하나 이상의 패턴광원(30)을 포함할 수 있다. 패턴광원(30)은 대상체(2) 주변의 다양한 위치에 배치되어, 대상체(2)를 향하여 패턴광을 조사할 수 있다.
도시된 실시예(5010)에서, 패턴광원(30)은 대상체(2)의 상면의 법선(4) 상에 위치하고, 대상체(2)를 향하여 패턴광을 조사하는 하나의 광원일 수 있다. 구체적으로, 대상체(2)의 상면에 수직인 법선(4)이 그려질 수 있다. 이 법선(4) 상의 한 점에 하나의 패턴광원(30)이 위치될 수 있다. 이 패턴광원(30)은 대상체(2)의 상면을 향하여 패턴광을 조사할 수 있다. 일 실시예에서, 법선(4)은 대상체(2)의 상면의 중심에서 기준면의 반대 방향을 향하여 나아가는 반 직선으로 그려질 수 있다. 실시예에 따라, 이 하나의 패턴광원(30)과 대상체(2)와의 거리는 변경될 수 있다. 일 실시예에서, 이 하나의 패턴광원(30)은 패턴의 위상(phase)를 달리해가며, 순차적으로 여러 번 대상체(2)로 패턴광을 조사할 수 있다.
도시된 실시예(5020)에서, 패턴광원(30)은 대상체 상면의 동심원(5) 상에 배치되는 복수의 패턴광원(30)일 수 있다. 구체적으로, 대상체 상면의 법선(4) 상의 한 점을 원의 중심으로 하고, 기준면에 평행인 동심원(5)을 가정할 수 있다. 이 동심원(5)의 원주 상에 복수의 패턴광원(30)이 배치될 수 있다. 이 복수의 패턴광원(30)은 대상체(2)를 향하여 패턴광을 조사할 수 있다. 실시예에 따라, 동심원(5)의 반지름은 변경될 수 있다. 실시예에 따라, 동심원(5)에 배열되는 복수의 패턴광원(30)의 간격은 변경될 수 있다. 일 실시예에서, 복수의 패턴광원(30)은 등 간격으로 동심원(5)의 원주 상에 배치되거나, 임의로 설정된 서로 다른 간격으로 원주 상에 배치될 수 있다. 일 실시예에서, 복수의 패턴광원(30)은 45도 간격으로 총 8개 배열될 수 있다. 이 경우의 복수의 패턴광원(30)의 배치를 8방향(8-way) 배치라 부를 수 있다. 일 실시예에서, 복수의 패턴광원(30)은 순차적으로 대상체(2)를 향해 패턴광을 조사할 수 있다. 일 실시예에서, 복수의 패턴광원(30)이 조사하는 패턴광의 패턴은 각각 다른 위상(phase)을 가질 수 있다.
도 6은 본 개시의 일 실시예에 따른 하나 이상의 조명광원이 배치되는 형태를 도시한 도면이다. 전술한 바와 같이, 장치(1)는 하나 이상의 조명광원(40)을 포함할 수 있다. 조명광원(40)은 대상체 주변의 다양한 위치에 배치되어, 대상체를 향하여 조명광을 조사할 수 있다.
도시된 실시예에서, 조명광원(40)은 기준면에 수직인 동심원(6) 상에 배치되는 복수의 조명광원(40)일 수 있다. 구체적으로, 대상체(2)를 원의 중심으로 하고, 기준면에 수직인 동심원(6)을 가정할 수 있다. 이 동심원(6)의 원주 상에 복수의 조명광원(40)이 배치될 수 있다. 이 복수의 조명광원(40)은 대상체를 향하여 조명광을 조사할 수 있다.
실시예에 따라, 동심원(6)의 반지름은 변경될 수 있다. 실시예에 따라, 동심원(6)에 배치되는 복수의 조명광원(40)의 간격은 변경될 수 있다. 일 실시예에서, 복수의 조명광원(40)은 등 간격으로 동심원(6)의 원주 상에 배치되거나, 임의로 설정된 서로 다른 간격으로 원주 상에 배치될 수 있다. 일 실시예에서, 복수의 조명광원(40)은 각각 임의의 각도로 배치될 수 있다. 여기서 각도란 기준면의 법선에 대하여 원주 상의 조명광원(40)의 위치가 가지는 각도를 의미할 수 있다. 일 실시예에서, 복수의 조명광원(40) 중 적어도 하나는 70도 이상의 높은 각도(기준면을 기준으로 낮은 각도)로 배치될 수 있다. 일 실시예에서, 복수의 조명광원(40)은 각각 17도, 40도, 58도, 70도의 각도로 배치될 수 있다. 일 실시예에서, 복수의 조명광원(40)은 기준면 위쪽으로만 배치될 수 있다. 일 실시예에서, 복수의 조명광원(40)은 순차적으로 대상체(2)를 향해 조명광을 조사할 수 있다. 일 실시예에서, 복수의 조명광원(40)이 조사하는 조명광을 각각 다른 파장을 가질 수 있다. 일 실시예에서, 복수의 조명광원(40) 각각은 적색광, 녹색광, 청색광을 각각 조사할 수 있는 적색광원, 녹색광원, 청색광원을 포함할 수 있다. 일 실시예에서, 복수의 조명광원(40)은 먼저 한 파장의 광(예: 적색광)을, 배치된 각도별로 순차적으로 대상체에 조사할 수 있다. 이 후 복수의 조명광원(40)은 다른 파장의 광(예: 녹색광)을 각도별로 순차적으로 대상체에 조사하고, 그 후 나머지 파장의 광(예: 청색광)을 각도별로 순차적으로 대상체에 조사할 수 있다. 일 실시예에서, 복수의 조명광원(40)은 하나의 각도에 대하여 적색광, 녹색광, 청색광을 순차적으로 조사하고, 그 다음 각도에 대하여 다시 적색광, 녹색광, 청색광을 순차적으로 조사할 수도 있다. 일 실시예에서, 적색광, 녹색광, 청색광이 개별적으로 조사될 때, 조사되는 순서는 설계자의 의도에 따라 변경될 수 있다. 일 실시예에서, 조명광원(40) 각각은 2차원 조명광을 조사할 때, 적색광, 녹색광, 청색광 모두를 동시에 조사하여 혼합된 백색광을 대상체로 조사할 수 있다. 일 실시예에서, 조명광원(40) 각각은 혼합된 백색광이 아닌 일반 백색광을 대상체로 조사할 수도 있다. 일 실시예에서, 각 각도별로 배치된 복수의 조명광원(40) 각각이 동시에 혼합된 백색광을 조사하여, 대상체의 표면을 포화(saturation)시킬 수도 있다. 이 때 반사되는 조명광을 캡쳐하여 대상체 표면에 대한 조명 이미지가 획득될 수도 있다.
도 7은 본 개시의 일 실시예에 따른 이미지의 필터링 과정을 도시한 도면이다. 일 실시예에서, 프로세서(10)는 다양한 요인(광의 종류, 조사 방향, 각도 등)에 따라 획득된 이미지를 미리 설정된 기준에 따라 필터링한 후, 선별된 이미지만을 이용해 가상의 평면(3)을 생성할 수 있다. 장치(1)가 기판 상의 대상체(예: 다이)를 검사할 때에는, 기판의 다른 소자 및 요철 등에 의한 영향을 받을 수 있다. 이러한 영향에 의해 획득된 이미지들 자체에 왜곡이 생기거나, 이미지들로부터 획득되는 윤곽선에 왜곡이 생길 수 있다. 왜곡된 이미지 내지 윤곽선에 기초하여 가상의 평면(3)을 생성하는 경우 대상체(2)에 대한 정확한 측정 내지 검사가 어려울 수 있다. 이러한 점을 방지하기 위하여, 미리 설정된 기준에 따라 필터링된 이미지만을 선별해, 가상의 평면(3) 생성에 사용할 수 있다.
일 실시예에서, 프로세서(10)는 이미지 상에 나타나는 대상체(2) 표면의 대비(contrast) 값이 미리 설정된 값 이상인지 여부를 기준으로 필터링을 수행할 수 있다. 프로세서(10)는 대비값이 미리 설정된 값 미만인 이미지들은 폐기하고, 미리 설정된 값 이상인 이미지들만을 선택하여, 이들로부터 전술한 관계 정보를 결정(도출)할 수 있다.
일 실시예에서, 프로세서(10)는 이미지 상에 나타나는 윤곽선이 연속성을 가지는지 여부를 기준으로 필터링을 수행할 수 있다. 프로세서(10)는 대상체의 한 모서리를 나타내는 윤곽선이 연속성을 가지는 선분으로 나타나는 이미지만을 선별하고, 이들로부터 전술한 관계 정보를 결정할 수 있다. 또한 일 실시예에서, 프로세서(10)는 통계적으로 복수의 이미지로부터 추출된 윤곽선 위치 좌표의 평균값 또는 중간값을 계산하고, 이들 값으로부터 미리 설정된 비율 이상 벗어나는 위치 좌표를 가지는 윤곽선이 추출되는 이미지를 배제할 수 있다. 이 경우 프로세서(10)는 배제되지 않은 이미지만으로 전술한 관계 정보를 결정할 수 있다.
도 8은 본 개시의 일 실시예에 따른 이미지의 한 윤곽선으로부터 다른 윤곽선을 도출하는 과정을 도시한 도면이다. 일 실시예에서, 프로세서(10)는 미리 저장된 대상체(2)의 규격 정보를 이용하여, 한 윤곽선으로부터 다른 한 윤곽선을 결정할 수 있다. 전술한 바와 같이, 장치(1)가 기판의 대상체를 검사할 때, 기판의 다른 소자 및 요철 등에 의한 영향을 받을 수 있다. 이에 따라 관계 정보 결정에 필요한 윤곽선을 추출하지 못할 수도 있다. 이러한 경우 윤곽선 추출 과정을 보완하기 위하여, 미리 저장된 대상체(2)의 규격 정보를 이용해 한 윤곽선으로부터 다른 윤곽선이 도출될 수 있다.
구체적으로, 메모리(20)는 대상체(2)의 규격 정보를 포함할 수 있다. 규격 정보는 대상체(2)의 폭, 너비 및 높이 정보를 포함할 수 있다. 프로세서(10)가 한 윤곽선을 이미지로부터 추출하면, 프로세서(10)는 규격 정보를 이용하여 해당 윤곽선에 평행한 위치에 있는 윤곽선의 위치를 예측하고 도출해 낼 수 있다. 예를 들어 대상체(2) 하면의 윤곽선(8010)이 추출되었고, 소정의 왜곡에 의하여 하면 윤곽선에 평행한 위치의 상면 윤곽선이 추출되지 못하였다고 가정할 수 있다. 이 경우 프로세서(10)는 규격 정보에 기초하여 해당 대상체(2)의 높이 정보를 획득하고, 추출된 하면 윤곽선에 높이 정보를 적용하여, 평행한 위치의 상면 윤곽선의 위치를 예측해 낼 수 있다. 이러한 방식으로 상면 윤곽선이 추출될 수 있다(8020).
이미지 내지 윤곽선 상의 왜곡으로 인해, 도출하고자 하는 관계 정보의 결정에 필요한 윤곽선을 추출해 내지 못하는 경우에 있어, 프로세서(10)는 그 필요한 윤곽선에 평행한 윤곽선을 먼저 추출하고, 상술한 바와 같이 규격 정보를 적용하여 필요한 윤곽선을 추출해 낼 수 있다. 프로세서(10)는 관계 정보 결정에 필요한 윤곽선을 이용하여, 관계 정보를 결정할 수 있다(8030).
일 실시예에서, 대상체(2)가 직육면체가 아닌 경우에도 규격 정보는 해당 대상체의 형상에 대한 정보를 포함할 수 있다. 예를 들어 대상체가 원기둥 형태인 경우, 규격 정보는 원기둥의 반지름 및 높이에 대한 정보를 저장하고 있을 수 있다. 프로세서(10)는 반지름 및 높이 정보를 활용하여, 한 윤곽선으로부터 관계 정보 결정에 필요한 다른 윤곽선을 도출할 수 있다.
일 실시예에서, 메모리(20)는 검사의 대상이 되는 대상체들의 규격 정보를 저장하는 데이터 베이스의 역할을 수행할 수 있다. 메모리(20)는 기판 상에 위치하는, 또는 일반적으로 사용되는 대상체(예: 소자, 칩 등)들에 대한 규격 정보를 저장할 수 있다. 일 실시예에서, 프로세서(10)는 획득된 이미지들로부터 대상체가 무엇인지 식별한 후, 식별된 대상체에 해당되는 규격 정보를 메모리(20)로부터 읽어들일 수 있다. 프로세서(10)는 획득된 규격 정보에 기초하여, 식별된 대상체의 한 윤곽선으로부터 관계 정보 결정에 필요한 다른 윤곽선을 도출할 수 있다. 일 실시예에서, 프로세서(10)는 송수신기를 제어하여 서버로부터 대상체들의 규격 정보를 획득할 수 있다. 획득된 규격 정보는 메모리(20)에 저장될 수 있다.
도 9는 본 개시에 따른 장치(1)에 의해 수행될 수 있는, 검사를 위한 방법의 일 실시예를 나타낸 도면이다. 본 개시에 따른 검사를 위한 방법은 컴퓨터로 구현된 방법일 수 있다. 도시된 흐름도에서 본 개시에 따른 방법 또는 알고리즘의 각 단계들이 순차적인 순서로 설명되었지만, 각 단계들은 순차적으로 수행되는 것 외에, 본 개시에 의해 임의로 조합될 수 있는 순서에 따라 수행될 수도 있다. 본 흐름도에 따른 설명은, 방법 또는 알고리즘에 변화 또는 수정을 가하는 것을 제외하지 않으며, 임의의 단계가 필수적이거나 바람직하다는 것을 의미하지 않는다. 일 실시예에서, 적어도 일부의 단계가 병렬적, 반복적 또는 휴리스틱하게 수행될 수 있다. 일 실시예에서, 적어도 일부의 단계가 생략되거나, 다른 단계가 추가될 수 있다.
본 개시에 따른 장치(1)는, 본 개시의 다양한 실시예에 따른 검사를 위한 방법을 수행할 수 있다. 본 개시의 일 실시예에 따른 방법은, 기준면 상에 위치한 대상체에 조명광을 조사하는 단계(S910), 조명광이 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐하는 단계(S920), 하나 이상의 조명 이미지 상에서 대상체의 모서리를 나타내는 하나 이상의 윤곽선을 결정하는 단계(S930), 하나 이상의 윤곽선에 기초하여, 대상체 상면의 모서리가 기준면에 대해 가지는 높이값을 결정하는 단계(S940), 및/또는 높이값에 기초하여 대상체 상면과 기준면 사이의 제1 각도를 결정하는 단계(S950)를 포함할 수 있다.
단계 S910에서, 장치(1)의 적어도 하나의 제1 광원(예: 조명광원(40))이 기준면 상에 위치한 대상체(2)에 조명광을 조사할 수 있다. 단계 S920에서, 장치(1)의 하나 이상의 카메라(50)는 조명광이 대상체(2)로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐할 수 있다.
단계 S930에서, 장치(1)의 하나 이상의 프로세서(10)는, 하나 이상의 조명 이미지 상에서 대상체(2)의 모서리를 나타내는 하나 이상의 윤곽선을 결정할 수 있다. 단계 S940에서, 프로세서(10)는 하나 이상의 윤곽선에 기초하여, 대상체 상면의 모서리가 기준면에 대하여 가지는 높이값을 결정할 수 있다. 단계 S950에서, 프로세서(10)는 높이값에 기초하여 대상체 상면과 기준면 사이의 제1 각도(예: 각도(θ))를 결정할 수 있다.
일 실시예에서, 본 개시에 따른 방법은, 장치(1)의 적어도 하나의 제2 광원(예: 패턴광원(30))이 대상체(2)에 패턴광을 조사하는 단계, 하나 이상의 카메라(50)가 패턴광이 대상체(2)로부터 반사되어 생성된 하나 이상의 패턴 이미지를 캡쳐하는 단계, 프로세서(10)가 하나 이상의 조명 이미지 및 하나 이상의 패턴 이미지에 기초하여 대상체(2)의 모서리를 나타내는 하나 이상의 윤곽선을 결정하는 단계, 프로세서(10)가 하나 이상의 윤곽선에 기초하여 대상체(2)의 상면에 대응되는 가상의 평면(3)을 결정하는 단계, 및/또는 프로세서(10)가 가상의 평면(3)과 기준면 사이의 제2 각도를 제1 각도로 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 가상의 평면을 결정하는 단계는, 대상체(2)의 동일한 한 모서리를 나타내는 상방 이미지에서의 제1 윤곽선 및 하나 이상의 측방 이미지에서의 제2 윤곽선을 추출하는 단계, 및/또는 제1 윤곽선 및 제2 윤곽선에 기초하여 가상의 평면(3)을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 가상의 평면을 결정하는 단계는, 제1 윤곽선 및 제2 윤곽선 사이의 대응 관계를 지시하는 제1 관계 정보를 결정하는 단계, 및/또는 제1 관계 정보에 기초하여 가상의 평면(3)을 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 가상의 평면을 결정하는 단계, 하나 이상의 측방 이미지 중 대상체의 동일한 한 모서리를 나타내는 한 측방 이미지에서의 제3 윤곽선 및 다른 한 측방 이미지에서의 제4 윤곽선을 추출하는 단계, 제3 윤곽선 및 제4 윤곽선 사이의 대응 관계를 지시하는 제2 관계 정보를 결정하는 단계, 및/또는 제1 관계 정보 및 제2 관계 정보에 기초하여 가상의 평면(3)을 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 가상의 평면을 결정하는 단계는, 하나 이상의 조명 이미지 및 하나 이상의 패턴 이미지 중 대상체 표면의 대비(contrast) 값이 미리 설정된 값 이상인 이미지를 선택하여 가상의 평면(3)을 결정하는 단계를 포함할 수 있다.
본 개시의 다양한 실시예들은 기기(machine)가 읽을 수 있는 기록 매체(machine-readable recording medium)에 기록된 소프트웨어로 구현될 수 있다. 소프트웨어는 상술한 본 개시의 다양한 실시예들을 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 개시가 속하는 기술분야의 프로그래머들에 의해 본 개시의 다양한 실시예들로부터 추론될 수 있다. 예를 들어 소프트웨어는 기기가 읽을 수 있는 명령(예: 코드 또는 코드 세그먼트) 또는 프로그램일 수 있다. 기기는 기록 매체로부터 호출된 명령어에 따라 동작이 가능한 장치로서, 예를 들어 컴퓨터일 수 있다. 일 실시예에서, 기기는 본 개시의 실시예들에 따른 전자 장치(1)일 수 있다. 일 실시예에서, 기기의 프로세서는 호출된 명령을 실행하여, 기기의 구성요소들이 해당 명령에 해당하는 기능을 수행하게 할 수 있다. 일 실시예에서, 프로세서는 본 개시의 실시예들에 따른 하나 이상의 프로세서(10)일 수 있다. 기록 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체(recording medium)를 의미할 수 있다. 기록 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다. 일 실시예에서, 기록 매체는 하나 이상의 메모리(20)일 수 있다. 일 실시예에서, 기록 매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수도 있다. 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 기록 매체는 비일시적(non-transitory) 기록 매체일 수 있다. 비일시적 기록 매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(tangible medium)를 의미하며, 일시적(transitory)으로 전파되는 신호(signal)를 포함하지 않는다.
이상 다양한 실시예들에 의해 본 개시의 기술적 사상이 설명되었지만, 본 개시의 기술적 사상은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 이해되어야 한다.

Claims (20)

  1. 기준면 상에 위치한 대상체에 조명광을 조사하는 적어도 하나의 제1 광원;
    상기 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐(capture)하는 하나 이상의 카메라; 및
    하나 이상의 프로세서를 포함하고,
    상기 프로세서는,
    상기 하나 이상의 조명 이미지 상에서 상기 대상체의 모서리(edge)를 나타내는 하나 이상의 윤곽선을 결정하고,
    상기 하나 이상의 윤곽선에 기초하여, 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하고,
    상기 높이값에 기초하여, 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정하는, 장치.
  2. 제1항에 있어서,
    상기 대상체에 패턴광을 조사하는 적어도 하나의 제2 광원을 더 포함하고,
    상기 하나 이상의 카메라는 상기 패턴광이 상기 대상체로부터 반사되어 생성된 하나 이상의 패턴 이미지를 캡쳐하고,
    상기 프로세서는,
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지에 기초하여, 상기 대상체의 모서리를 나타내는 상기 하나 이상의 윤곽선을 결정하고,
    상기 하나 이상의 윤곽선에 기초하여, 상기 대상체의 상면에 대응되는 가상의 평면을 결정하고,
    상기 가상의 평면과 상기 기준면 사이의 제2 각도를 상기 제1 각도로 결정하는, 장치.
  3. 제2항에 있어서,
    상기 하나 이상의 카메라는, 상기 대상체의 상방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 상방 카메라 및 상기 대상체의 하나 이상의 측방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 하나 이상의 측방 카메라를 포함하는, 장치.
  4. 제3항에 있어서,
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 일부는 상기 상방 카메라에 의해 상기 대상체의 상방으로부터 캡쳐된 상방 이미지이고,
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 다른 일부는 상기 하나 이상의 측방 카메라에 의해 상기 대상체의 하나 이상의 측방으로부터 캡쳐된 측방 이미지인, 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 대상체의 동일한 한 모서리를 나타내는 상기 상방 이미지에서의 제1 윤곽선 및 상기 하나 이상의 측방 이미지에서의 제2 윤곽선을 추출하고,
    상기 제1 윤곽선 및 상기 제2 윤곽선에 기초하여, 상기 가상의 평면을 결정하는, 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 윤곽선 및 상기 제2 윤곽선 사이의 대응 관계를 지시하는 제1 관계 정보를 결정하고,
    상기 제1 관계 정보에 기초하여, 상기 가상의 평면을 결정하는, 장치.
  7. 제6항에 있어서,
    상기 제1 윤곽선 상의 제1 점은 상기 제2 윤곽선 상의 제2 점에 대응되고,
    상기 제1 관계 정보는, 상기 상방 이미지 상에서 상기 제1 점이 가지는 좌표 정보 및 상기 하나 이상의 측방 이미지 상에서 상기 제2 점이 가지는 좌표 정보의 쌍을 포함하는, 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 측방 이미지 중, 상기 대상체의 동일한 한 모서리를 나타내는 한 측방 이미지에서의 제3 윤곽선 및 다른 한 측방 이미지에서의 제4 윤곽선을 추출하고,
    상기 제3 윤곽선 및 상기 제4 윤곽선 사이의 대응 관계를 지시하는 제2 관계 정보를 결정하고,
    상기 제1 관계 정보 및 상기 제2 관계 정보에 기초하여, 상기 가상의 평면을 결정하는, 장치.
  9. 제2항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중, 상기 대상체 표면의 대비(contrast) 값이 미리 설정된 값 이상인 이미지를 선택하여 상기 가상의 평면을 결정하는, 장치.
  10. 제2항에 있어서,
    상기 대상체는 복수의 층이 적층된 형태를 가지고, 상기 하나 이상의 윤곽선은 상기 복수의 층 각각의 모서리를 지시하고,
    상기 프로세서는,
    상기 하나 이상의 윤곽선에 기초하여, 상기 복수의 층 각각에 대응되는 복수의 가상의 평면을 결정하고,
    상기 복수의 층 각각에 대응되는 복수의 가상의 평면에 기초하여, 상기 복수의 층 각각 사이의 간격을 결정하는, 장치.
  11. 적어도 하나의 제1 광원이, 기준면 상에 위치한 대상체에 조명광을 조사하는 단계;
    하나 이상의 카메라가, 상기 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지를 캡쳐(capture)하는 단계;
    하나 이상의 프로세서가, 상기 하나 이상의 조명 이미지 상에서 상기 대상체의 모서리를 나타내는 하나 이상의 윤곽선을 결정하는 단계;
    상기 프로세서가, 상기 하나 이상의 윤곽선에 기초하여 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하는 단계; 및
    상기 프로세서가, 상기 높이값에 기초하여 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정하는 단계를 포함하는, 방법.
  12. 제11항에 있어서,
    적어도 하나의 제2 광원이, 상기 대상체에 패턴광을 조사하는 단계;
    상기 하나 이상의 카메라가, 상기 패턴광이 상기 대상체로부터 반사되어 생성된 하나 이상의 패턴 이미지를 캡쳐하는 단계;
    상기 프로세서가, 상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지에 기초하여, 상기 대상체의 모서리를 나타내는 상기 하나 이상의 윤곽선을 결정하는 단계;
    상기 프로세서가, 상기 하나 이상의 윤곽선에 기초하여 상기 대상체의 상면에 대응되는 가상의 평면을 결정하는 단계; 및
    상기 프로세서가, 상기 가상의 평면과 상기 기준면 사이의 제2 각도를 상기 제1 각도로 결정하는 단계를 더 포함하는, 방법.
  13. 제12항에 있어서,
    상기 하나 이상의 카메라는, 상기 대상체의 상방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 상방 카메라 및 상기 대상체의 하나 이상의 측방으로부터 조명 이미지 또는 패턴 이미지를 캡쳐하는 하나 이상의 측방 카메라를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 일부는 상기 상방 카메라에 의해 상기 대상체의 상방으로부터 캡쳐된 상방 이미지이고,
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중 다른 일부는 상기 하나 이상의 측방 카메라에 의해 상기 대상체의 하나 이상의 측방으로부터 캡쳐된 측방 이미지인, 방법.
  15. 제14항에 있어서, 상기 가상의 평면을 결정하는 단계는:
    상기 대상체의 동일한 한 모서리를 나타내는 상기 상방 이미지에서의 제1 윤곽선 및 상기 하나 이상의 측방 이미지에서의 제2 윤곽선을 추출하는 단계; 및
    상기 제1 윤곽선 및 상기 제2 윤곽선에 기초하여, 상기 가상의 평면을 결정하는 단계를 포함하는, 방법.
  16. 제15항에 있어서, 상기 가상의 평면을 결정하는 단계는:
    상기 제1 윤곽선 및 상기 제2 윤곽선 사이의 대응 관계를 지시하는 제1 관계 정보를 결정하는 단계; 및
    상기 제1 관계 정보에 기초하여, 상기 가상의 평면을 결정하는 단계를 더 포함하는, 방법.
  17. 제16항에 있어서,
    상기 제1 윤곽선 상의 제1 점은 상기 제2 윤곽선 상의 제2 점에 대응되고,
    상기 제1 관계 정보는, 상기 상방 이미지 상에서 상기 제1 점이 가지는 좌표 정보 및 상기 하나 이상의 측방 이미지 상에서 상기 제2 점이 가지는 좌표 정보의 쌍을 포함하는, 방법.
  18. 제16항에 있어서, 상기 가상의 평면을 결정하는 단계는:
    상기 하나 이상의 측방 이미지 중, 상기 대상체의 동일한 한 모서리를 나타내는 한 측방 이미지에서의 제3 윤곽선 및 다른 한 측방 이미지에서의 제4 윤곽선을 추출하는 단계;
    상기 제3 윤곽선 및 상기 제4 윤곽선 사이의 대응 관계를 지시하는 제2 관계 정보를 결정하는 단계; 및
    상기 제1 관계 정보 및 상기 제2 관계 정보에 기초하여, 상기 가상의 평면을 결정하는 단계를 더 포함하는, 방법.
  19. 제12항에 있어서, 상기 가상의 평면을 결정하는 단계는:
    상기 하나 이상의 조명 이미지 및 상기 하나 이상의 패턴 이미지 중, 상기 대상체 표면의 대비(contrast) 값이 미리 설정된 값 이상인 이미지를 선택하여 상기 가상의 평면을 결정하는 단계를 포함하는, 방법.
  20. 컴퓨터 상에서 수행되기 위한 프로그램을 기록한 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 프로그램은, 하나 이상의 프로세서에 의한 실행 시, 상기 프로세서가,
    기준면 상에 위치한 대상체에 조사된 조명광이 상기 대상체로부터 반사되어 생성된 하나 이상의 조명 이미지 상에서, 상기 대상체의 모서리를 나타내는 하나 이상의 윤곽선을 결정하는 단계;
    상기 하나 이상의 윤곽선에 기초하여 상기 대상체 상면의 모서리가 상기 기준면에 대해 가지는 높이값을 결정하는 단계; 및
    상기 높이값에 기초하여 상기 대상체 상면과 상기 기준면 사이의 제1 각도를 결정하는 단계를 수행하도록 하는 실행 가능한 명령을 포함하는, 컴퓨터 판독 가능한 기록 매체.
PCT/KR2019/013396 2018-10-15 2019-10-11 검사를 위한 장치, 방법 및 명령을 기록한 기록 매체 WO2020080758A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980065992.7A CN112805816A (zh) 2018-10-15 2019-10-11 用于检查的装置、方法及记录命令的记录介质
EP19873586.2A EP3869542B1 (en) 2018-10-15 2019-10-11 Device and method for inspection
US17/280,037 US11694916B2 (en) 2018-10-15 2019-10-11 Apparatus, method and recording medium storing command for inspection
EP23197893.3A EP4269940A3 (en) 2018-10-15 2019-10-11 Device and method for inspection
US18/316,413 US20230282499A1 (en) 2018-10-15 2023-05-12 Apparatus, method and recording medium storing command for inspection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0122323 2018-10-15
KR20180122323 2018-10-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/280,037 A-371-Of-International US11694916B2 (en) 2018-10-15 2019-10-11 Apparatus, method and recording medium storing command for inspection
US18/316,413 Continuation US20230282499A1 (en) 2018-10-15 2023-05-12 Apparatus, method and recording medium storing command for inspection

Publications (1)

Publication Number Publication Date
WO2020080758A1 true WO2020080758A1 (ko) 2020-04-23

Family

ID=70284709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013396 WO2020080758A1 (ko) 2018-10-15 2019-10-11 검사를 위한 장치, 방법 및 명령을 기록한 기록 매체

Country Status (5)

Country Link
US (2) US11694916B2 (ko)
EP (2) EP4269940A3 (ko)
KR (2) KR102264682B1 (ko)
CN (1) CN112805816A (ko)
WO (1) WO2020080758A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001308594A (ja) * 2000-04-24 2001-11-02 Sony Corp 位置調整装置及び方法
KR20090062027A (ko) * 2007-12-12 2009-06-17 삼성전기주식회사 3차원자세측정장치 및 이를 이용한 3차원자세측정방법
KR101081538B1 (ko) * 2009-02-25 2011-11-08 주식회사 고영테크놀러지 3차원 형상 측정장치 및 측정방법
KR20170036222A (ko) * 2015-09-24 2017-04-03 세메스 주식회사 다이 검사 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11166818A (ja) * 1997-12-04 1999-06-22 Suzuki Motor Corp 三次元形状計測装置の校正方法及び校正装置
JP2961264B1 (ja) 1998-09-21 1999-10-12 工業技術院長 ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体
DE19963345A1 (de) * 1999-12-27 2001-07-05 Leica Microsystems Optische Messanordnung und Verfahren zur Neigungsmessung
JP3609325B2 (ja) 2000-06-08 2005-01-12 シーケーディ株式会社 三次元計測装置
JP3878023B2 (ja) 2002-02-01 2007-02-07 シーケーディ株式会社 三次元計測装置
US7193728B2 (en) * 2002-08-07 2007-03-20 Advantest Corporation Processing apparatus, processing method and position detecting device
CH697278B1 (de) * 2003-09-12 2008-07-31 Oerlikon Assembly Equipment Ag Einrichtung und Verfahren für die Montage oder Verdrahtung von Halbleiterchips.
SG138491A1 (en) * 2006-06-21 2008-01-28 Generic Power Pte Ltd Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
CN101553705A (zh) * 2006-12-07 2009-10-07 Esec公司 用于测量高度差的方法和装置
CN103134446B (zh) 2008-02-26 2017-03-01 株式会社高永科技 三维形状测量装置及测量方法
JP2010071782A (ja) 2008-09-18 2010-04-02 Omron Corp ３次元計測装置およびその方法
JP2010091338A (ja) * 2008-10-06 2010-04-22 Nec Electronics Corp 傾き検査装置および傾き検査方法
KR101237497B1 (ko) * 2009-03-30 2013-02-26 주식회사 고영테크놀러지 검사영역의 설정방법
JP4715944B2 (ja) 2009-04-03 2011-07-06 オムロン株式会社 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
US9091725B2 (en) * 2009-07-03 2015-07-28 Koh Young Technology Inc. Board inspection apparatus and method
JP5471356B2 (ja) * 2009-11-24 2014-04-16 オムロン株式会社 ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2012002780A (ja) * 2010-06-21 2012-01-05 Shinko Electric Ind Co Ltd 形状計測装置、形状計測方法、および半導体パッケージの製造方法
GB201019537D0 (en) * 2010-11-18 2010-12-29 20X20 Vision Ltd PCB reflow inspection angled measurement
JP5912553B2 (ja) * 2012-01-12 2016-04-27 ヤマハ発動機株式会社 プリント基板の複合検査装置
TWI475597B (zh) * 2012-02-08 2015-03-01 Hitachi High Tech Corp Pattern evaluation method and pattern evaluation device
WO2014017977A1 (en) * 2012-07-24 2014-01-30 Generic Power Pte Ltd Method and apparatus for determining coplanarity in integrated circuit packages
JP5843241B2 (ja) 2013-11-26 2016-01-13 レーザーテック株式会社 検査装置、及び検査方法
JP6424020B2 (ja) * 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6303867B2 (ja) 2014-06-27 2018-04-04 オムロン株式会社 基板検査装置及びその制御方法
JP2016021514A (ja) * 2014-07-15 2016-02-04 キヤノンマシナリー株式会社 半導体チップ姿勢検出装置及び半導体チップ姿勢検出方法
KR102178978B1 (ko) * 2014-07-31 2020-11-13 한국전자통신연구원 스테레오 매칭 방법 및 이를 수행하는 장치
KR101628158B1 (ko) * 2014-12-05 2016-06-09 주식회사 미르기술 3차원 형상 측정 장치
EP3232211A4 (en) * 2014-12-08 2018-01-03 Koh Young Technology Inc. Method for inspecting terminal of component formed on substrate and substrate inspection apparatus
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
KR101659302B1 (ko) * 2015-04-10 2016-09-23 주식회사 고영테크놀러지 3차원 형상 측정장치
KR101639227B1 (ko) * 2015-06-08 2016-07-13 주식회사 고영테크놀러지 3차원 형상 측정장치
KR101705762B1 (ko) * 2015-09-02 2017-02-14 주식회사 미르기술 3차원 형상 측정 장치의 틸트 교정 방법
CN109073371B (zh) * 2016-04-19 2020-06-02 Abb瑞士股份有限公司 倾斜检测的设备及方法
KR101809558B1 (ko) 2016-05-20 2017-12-22 이동현 3차원 모델 생성 시스템 및 그 방법
JP6691838B2 (ja) * 2016-06-27 2020-05-13 株式会社キーエンス 測定装置
US10458912B2 (en) * 2016-08-31 2019-10-29 Kla-Tencor Corporation Model based optical measurements of semiconductor structures with anisotropic dielectric permittivity
US10841561B2 (en) * 2017-03-24 2020-11-17 Test Research, Inc. Apparatus and method for three-dimensional inspection
KR20170124509A (ko) * 2017-10-31 2017-11-10 주식회사 고영테크놀러지 검사 시스템 및 검사 방법
WO2020003384A1 (ja) * 2018-06-26 2020-01-02 株式会社Ｆｕｊｉ 平坦度取得システムおよび実装機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001308594A (ja) * 2000-04-24 2001-11-02 Sony Corp 位置調整装置及び方法
KR20090062027A (ko) * 2007-12-12 2009-06-17 삼성전기주식회사 3차원자세측정장치 및 이를 이용한 3차원자세측정방법
KR101081538B1 (ko) * 2009-02-25 2011-11-08 주식회사 고영테크놀러지 3차원 형상 측정장치 및 측정방법
KR20170036222A (ko) * 2015-09-24 2017-04-03 세메스 주식회사 다이 검사 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANG, MING: "Nondestructive measurement of bond line thickness and die tilt in the die attach for semiconductor packaging", NONDESTRUCTIVE TESTING AND EVALUATION, vol. 23, no. 2, June 2008 (2008-06-01), pages 89 - 98, XP055702704, DOI: 10.1080/10589750701775700 *
HUBBLE, NEIL: "Measuring Die Tilt Using Shadow Moire Optical Measurements; New Techniques for Discontinuous and Semi-Reflective Surfaces", INTERNATIONAL SYMPOSIUM ON MICROELECTRONICS, 2016, XP055702709 *

Also Published As

Publication number Publication date
US20230282499A1 (en) 2023-09-07
CN112805816A (zh) 2021-05-14
KR102264682B1 (ko) 2021-06-15
EP3869542C0 (en) 2023-12-13
EP4269940A3 (en) 2023-11-29
KR20200042422A (ko) 2020-04-23
EP3869542B1 (en) 2023-12-13
EP3869542A4 (en) 2021-11-24
US11694916B2 (en) 2023-07-04
KR102382769B1 (ko) 2022-04-08
EP3869542A1 (en) 2021-08-25
US20220037175A1 (en) 2022-02-03
KR20210071899A (ko) 2021-06-16
EP4269940A2 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
TW201802770A (zh) 用於檢測晶圓上缺陷之系統
TW201418665A (zh) 用於檢查測量物件之方法(一)
KR20140120821A (ko) 기판의 이물질 검사방법
US10841561B2 (en) Apparatus and method for three-dimensional inspection
WO2021029625A1 (ko) 투과영상 기반의 비파괴검사 방법, 비파괴검사 기능을 제공하는 방법 및 이를 위한 장치
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
WO2016099154A1 (ko) 부품이 실장된 기판 검사방법 및 검사장치
KR101261016B1 (ko) 평판패널 기판의 자동광학검사 방법 및 그 장치
TW201516397A (zh) 玻璃氣泡瑕疵檢測系統
Wang et al. Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production.
JP2012194030A (ja) 画像の検査方法および装置
WO2020080758A1 (ko) 검사를 위한 장치, 방법 및 명령을 기록한 기록 매체
CN206945041U (zh) 多目同轴结构光3d检测装置
WO2019117802A1 (en) A system for obtaining 3d images of objects and a process thereof
JP7266070B2 (ja) 基板用の配線計測システム及びその方法
TWI490463B (zh) 檢測二工件之差異性的檢測方法及檢測系統
KR102015620B1 (ko) 금속입자 검출 시스템 및 방법
WO2020263054A1 (ko) 대상체의 3차원 형상을 결정하기 위한 장치 및 방법
WO2016093597A1 (ko) 기판 상에 형성된 부품의 터미널 검사방법 및 기판 검사장치
TW201514474A (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置
TWI747500B (zh) 自動物件取像方法及裝置
KR20110012965A (ko) 와이어 검사 장치
CN110009603A (zh) 高压电缆绝缘检测方法及高压电缆维护方法
TW202117282A (zh) 結合物體二維和高度資訊的量測方法及其裝置
CN114648589A (zh) 相位高度转换映射模型参数的确定方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19873586

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019873586

Country of ref document: EP

Effective date: 20210517