JP7486715B1

JP7486715B1 - Appearance inspection device and appearance inspection method

Info

Publication number: JP7486715B1
Application number: JP2023010586A
Authority: JP
Inventors: 啓順北田; 拓也立澤; 達也山口
Original assignee: ダイトロン株式会社
Priority date: 2023-01-27
Filing date: 2023-01-27
Publication date: 2024-05-20
Anticipated expiration: 2043-01-27

Abstract

【課題】複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価する手段の提供。【解決手段】撮像駆動部５０は、チップ４の第１側面５及び第２側面６に沿って側面撮像部３０を移動させる。側面撮像部３０は、撮像駆動部５０による移動の前後において、チップ４の第１側面５及び第２側面６をそれぞれ撮像し、第１側面５及び第２側面６の異なる領域にピントが合った複数の評価用画像を生成する。制御部６０は、複数の評価用画像のフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３を結合して、第１側面５及び第２側面６の形状が復元された結合画像ＣＩ１を生成する。【選択図】図６[Problem] To provide a means for accurately evaluating abnormalities in a workpiece based on fine captured images without requiring a complex mechanism. [Solution] An imaging drive unit 50 moves a side imaging unit 30 along a first side 5 and a second side 6 of a chip 4. The side imaging unit 30 captures images of the first side 5 and the second side 6 of the chip 4 before and after movement by the imaging drive unit 50, respectively, and generates a plurality of evaluation images focused on different areas of the first side 5 and the second side 6. A control unit 60 combines focus areas FR1, FR2, FR3 of the multiple evaluation images to generate a combined image CI1 in which the shapes of the first side 5 and the second side 6 are restored. [Selected Figure] Figure 6

Description

本発明は、ワークの外観検査のための装置及び方法に関する。 The present invention relates to an apparatus and method for visual inspection of a workpiece.

レーザーダイオード等の光学素子の外観検査工程においては、発光面を精細に撮像した画像に基づいて異常の評価を行うことが重要となる。光学素子においては、発光面の状態が光の照射特性に影響するためである。 In the visual inspection process for optical elements such as laser diodes, it is important to evaluate for abnormalities based on high-resolution images of the light-emitting surface. This is because the condition of the light-emitting surface of an optical element affects its light irradiation characteristics.

レーザーダイオードの共振器の構成法として、主に、共振器を半導体基板面と平行に構成し、へき開面から光を取り出す端面発光型、又は共振器を半導体基板面と垂直に構成した面発光型が用いられている。このうち、端面発光型のレーザーダイオードは、載置状態における側面が発光面となるため、外観検査においては、発光面である側面を精細に撮像することが求められる。 The main methods of constructing the resonator of a laser diode are either the edge-emitting type, in which the resonator is constructed parallel to the semiconductor substrate surface and light is extracted from the cleavage plane, or the surface-emitting type, in which the resonator is constructed perpendicular to the semiconductor substrate surface. Of these, edge-emitting laser diodes have a light-emitting surface on the side when placed, so during visual inspection, it is necessary to precisely image the light-emitting side surface.

半導体デバイスの外観検査工程は、分割後のチップがダイシングシートに貼着された状態において行われることが多い。この場合、ダイシングシートの上方に設けられたカメラにより、チップが順次撮像される。生成された画像データに画像処理技術が適用されて、チップの異常が評価される。 The visual inspection process for semiconductor devices is often carried out with the separated chips attached to a dicing sheet. In this case, the chips are sequentially imaged by a camera installed above the dicing sheet. Image processing techniques are applied to the generated image data to evaluate the chips for abnormalities.

例えば、特許文献１には、チップの側面を撮像するために、カメラが撮像可能な位置まで、シート越しにチップを押し上げる方法が開示されている。 For example, Patent Document 1 discloses a method of pushing the chip up through a sheet to a position where the camera can capture an image of the side of the chip.

特開２０１０－１４１２０８号公報JP 2010-141208 A

ダイシングシート上のチップの側面を正面から撮像するためには、カメラのレンズをチップと同じ高さ位置に配する必要があるが、この場合、ダイシングシートやその支持部材とカメラとの干渉が発生しやすい。また、ダイシングシートには多数のチップが存在しているため、チップの側面を正面から撮像しようとすると、カメラから見て奥側のチップを撮像する際に手前側のチップが障害となる。 To capture images of the side of a chip on a dicing sheet from the front, the camera lens must be positioned at the same height as the chip, but in this case, interference between the dicing sheet and its supporting member and the camera is likely to occur. Also, because there are many chips on a dicing sheet, when attempting to capture images of the side of a chip from the front, the chips at the front get in the way when attempting to capture images of the chips at the back as viewed from the camera.

一方、チップの側面を斜め方向から撮像すると、チップの側面の一部の領域にしかピントを合わせることができず、チップの側面全体を精細に撮像することが難しくなる。 On the other hand, when imaging the side of a chip from an oblique direction, it is only possible to bring a portion of the chip's side into focus, making it difficult to capture a detailed image of the entire chip's side.

特許文献１に開示された発明は、チップをシート越しに押し上げることで正面からの撮像を可能としたものであるが、チップやシートに負荷が掛かるため、意図せずチップがシートから剥離したり、チップ割れの可能性が推認される。また、チップをシート越しに押し上げるための機構が複雑となる。 The invention disclosed in Patent Document 1 makes it possible to image the chip from the front by pushing it up through a sheet, but because load is placed on the chip and sheet, it is suspected that the chip may unintentionally peel off from the sheet or the chip may crack. In addition, the mechanism for pushing the chip up through the sheet is complex.

本発明は上記事情に鑑みてなされたものであり、複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価する手段を提供することにある。 The present invention was made in consideration of the above circumstances, and aims to provide a means for accurately evaluating abnormalities in a workpiece based on high-resolution captured images without requiring a complex mechanism.

本発明に係る外観検査装置は、ワークの底面を支持する支持面を有した支持部と、前記ワークの側面における異なる領域にピントが合った複数回の撮像を実行して複数の評価用画像を生成する側面撮像部と、前記側面撮像部と前記支持部とを、前記ワークの側面に沿って相対移動させる撮像駆動部と、複数の前記評価用画像に基づいて前記ワークの異常を評価する評価部と、を備えている。前記側面撮像部は、前記ワークの第１側面を撮像する第１撮像装置、及び前記ワークの第２側面を撮像する第２撮像装置を有し、前記撮像駆動部は、前記第１撮像装置及び前記第２撮像装置を一体として、前記第１側面及び前記第２側面のいずれにも沿う方向に向けて、前記支持部に対して相対移動させ、前記第１撮像装置は、前記相対移動の前後において前記第１側面をそれぞれ撮像して、複数の前記評価用画像を生成し、前記第２撮像装置は、前記相対移動の前後において前記第２側面をそれぞれ撮像して、複数の前記評価用画像を生成する。
The appearance inspection device according to the present invention includes a support section having a support surface for supporting a bottom surface of a workpiece, a side surface imaging section for generating a plurality of evaluation images by performing a plurality of imaging operations focused on different regions on a side surface of the workpiece, an imaging drive section for relatively moving the side surface imaging section and the support section along the side surface of the workpiece, and an evaluation section for evaluating an abnormality of the workpiece based on the plurality of evaluation images. The side surface imaging section has a first imaging device for imaging a first side surface of the workpiece and a second imaging device for imaging a second side surface of the workpiece, the imaging drive section moves the first imaging device and the second imaging device together relative to the support section in a direction along both the first side surface and the second side surface, the first imaging device respectively images the first side surface before and after the relative movement to generate a plurality of the evaluation images, and the second imaging device respectively images the second side surface before and after the relative movement to generate a plurality of the evaluation images.

なお、上記において、「底面」や「側面」等の表現は便宜的な物に過ぎず、「底面」が必ずしも水平方向に沿っており、「側面」が必ずしも鉛直方向に沿っていることを意味しない。支持部が設置される向きによって、ワークの「底面」又は「側面」が上記の向きとは異なる向きとなることもある。 In the above, expressions such as "bottom surface" and "side surface" are merely for convenience, and do not necessarily mean that the "bottom surface" is horizontal and the "side surface" is vertical. Depending on the direction in which the support is installed, the "bottom surface" or "side surface" of the workpiece may be oriented in a direction different from that described above.

上述したような構成においては、ワークの側面における異なる領域にピントが合った評価用画像が複数生成されるため、評価部は、各々の評価用画像におけるピントが合った領域をそれぞれ評価することで、ワークの側面に対して斜め方向から撮像が行われた場合であっても、ワークの側面全体を精細な画像に基づいて評価することができる。これにより、ワークの異常を正確に評価することが可能となる。また、ワークに外力を加える必要が無いため複雑な機構を必要とせず、外力によってワークに異常が発生するおそれも無い。 In the configuration described above, multiple evaluation images focused on different areas on the side of the workpiece are generated, and the evaluation unit evaluates the focused area in each evaluation image, so that even if the side of the workpiece is imaged from an oblique direction, the entire side of the workpiece can be evaluated based on a fine image. This makes it possible to accurately evaluate abnormalities in the workpiece. Furthermore, since there is no need to apply external force to the workpiece, no complex mechanism is required, and there is no risk of abnormalities occurring in the workpiece due to external force.

本発明によると、複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価することが可能となる。 The present invention makes it possible to accurately evaluate workpiece abnormalities based on high-resolution captured images without the need for complex mechanisms.

図１は、本発明の第１の実施形態に係る外観検査装置１０のうち、側面撮像部３０及び上面撮像部４０周辺を示した正面図である。FIG. 1 is a front view showing the periphery of a side image capturing unit 30 and a top image capturing unit 40 in a visual inspection apparatus 10 according to a first embodiment of the present invention. 図２は、図１におけるチップ４周辺の拡大図である。FIG. 2 is an enlarged view of the periphery of the chip 4 in FIG. 図３は、外観検査装置１０における制御部６０と各部との繋がりを示した機能ブロック図である。FIG. 3 is a functional block diagram showing connections between the control unit 60 and each unit in the visual inspection apparatus 10. As shown in FIG. 図４は、チップ４の外観検査の流れを示したフローチャートである。FIG. 4 is a flow chart showing the flow of the visual inspection of the chip 4. 図５は、チップ４の外観検査の中で実行されるチップ４の撮像処理を示したフローチャートである。FIG. 5 is a flow chart showing the imaging process of the chip 4 executed during the visual inspection of the chip 4. In FIG. 図６は、チップ４の第１側面５の撮像の様子を側方から示した図である。FIG. 6 is a side view showing how the first side surface 5 of the chip 4 is imaged. 図７は、チップ４の第１側面５の撮像の様子を正面から示した図である。FIG. 7 is a front view showing how the first side surface 5 of the chip 4 is imaged. 図８は、複数の評価用画像からフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３をそれぞれ切り出して生成された領域画像ＲＩ１，ＲＩ２，ＲＩ３を示した図である。FIG. 8 is a diagram showing region images RI1, RI2, and RI3 generated by cutting out focus regions FR1, FR2, and FR3, respectively, from a plurality of evaluation images. 図９は、結合画像ＣＩ１を生成する様子を示した図である。FIG. 9 is a diagram showing how the combined image CI1 is generated. 図１０は、本発明の第２の実施形態に係る外観検査装置７０のうち、側面撮像装置７２及び上面撮像装置４１周辺を示した正面図である。FIG. 10 is a front view showing the periphery of a side image pickup device 72 and a top image pickup device 41 in a visual inspection apparatus 70 according to the second embodiment of the present invention. 図１１は、図１０に対応する平面図であり、チップ４周辺を拡大して示したものである。なお、上面撮像装置４１は省略されている。Fig. 11 is a plan view corresponding to Fig. 10, and shows an enlarged view of the periphery of the chip 4. Note that the top surface imaging device 41 is omitted. 図１２は、チップ４の側面を複数回撮像して得られた評価用画像Ｉ１～５を示した図である。FIG. 12 shows evaluation images I1 to I5 obtained by capturing images of the side surface of the chip 4 multiple times. 図１３は、結合画像ＣＩ２を生成する様子を示した図である。FIG. 13 is a diagram showing how the combined image CI2 is generated.

［１．第１の実施形態］
以下、本発明の第１の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。また、以下の説明では、外観検査装置１０が設置された状態において、鉛直方向に沿って上下方向１が定義され、水平方向に沿って前後方向２及び左右方向３がそれぞれ定義されている。また、上下方向１と前後方向２と左右方向３とは、互いに直交している。 [1. First embodiment]
A first embodiment of the present invention will be described below. Note that the embodiment described below is merely one example of the present invention, and it goes without saying that the embodiment of the present invention can be modified as appropriate without departing from the gist of the present invention. In the following description, when the visual inspection device 10 is installed, the up-down direction 1 is defined along the vertical direction, and the front-rear direction 2 and the left-right direction 3 are defined along the horizontal direction. The up-down direction 1, the front-rear direction 2, and the left-right direction 3 are also perpendicular to each other.

［１－１．外観検査装置１０の概要と全体構成］
図１～３に示される外観検査装置１０は、ダイシングシート２２の上面に貼着されたチップ４（特許請求の範囲における「ワーク」に相当。）を撮像し、得られた画像に基づいて、チップ４の異常を評価するものである。チップ４は光学素子であり、一般的には端面発光型のレーザーダイオードチップである。 [1-1. Overview and Overall Configuration of Visual Inspection Apparatus 10]
1 to 3 captures an image of a chip 4 (corresponding to the "work" in the claims) attached to the upper surface of a dicing sheet 22, and evaluates the chip 4 for abnormalities based on the image obtained. The chip 4 is an optical element, and is generally an edge-emitting laser diode chip.

外観検査装置１０は、シート支持部２０（図１）、側面撮像部３０、上面撮像部４０、撮像駆動部５０、及び制御部６０（図３）等を備えている。外観検査装置１０は、他にも種々の構成要素を有していてもよいが、本発明の課題の解決に無関係の構成要素については省略する。上記各構成要素について、以下でより詳細に説明する。 The visual inspection device 10 includes a sheet support unit 20 (FIG. 1), a side image capturing unit 30, an upper image capturing unit 40, an image capturing drive unit 50, and a control unit 60 (FIG. 3). The visual inspection device 10 may include various other components, but components that are not related to solving the problem of the present invention will be omitted. Each of the above components will be described in more detail below.

［１－２．シート支持部２０］
シート支持部２０は、チップ４が貼着されたダイシングシート２２を支持するものである。シート支持部２０は、ダイシングシート２２を直接支持するシートリング２１を備えている。シートリング２１は２つの枠体２１ａ，２１ｂから成り、２つの枠体２１ａ，２１ｂが上下からダイシングシート２２を挟み込むように結合することで、シートリング２１の内方にダイシングシート２２が張られた状態で支持される。このとき、ダイシングシート２２は、水平方向（即ち前後方向２及び左右方向３）に沿った状態となる。シート支持部２０は、後述されるシート回転機構５１と機械的に結合されている。ここで、ダイシングシート２２及びシート支持部２０を合わせたものが、特許請求の範囲における「支持部」に相当し、ダイシングシート２２の上面が特許請求の範囲における「支持面」に相当するものである。 [1-2. Seat support part 20]
The sheet support part 20 supports the dicing sheet 22 to which the chips 4 are attached. The sheet support part 20 includes a sheet ring 21 that directly supports the dicing sheet 22. The sheet ring 21 is made up of two frame bodies 21a and 21b, and the two frame bodies 21a and 21b are joined so as to sandwich the dicing sheet 22 from above and below, so that the dicing sheet 22 is supported in a stretched state inside the sheet ring 21. At this time, the dicing sheet 22 is in a state along the horizontal direction (i.e., the front-rear direction 2 and the left-right direction 3). The sheet support part 20 is mechanically coupled to a sheet rotation mechanism 51, which will be described later. Here, the combination of the dicing sheet 22 and the sheet support part 20 corresponds to the "support part" in the claims, and the upper surface of the dicing sheet 22 corresponds to the "support surface" in the claims.

［１－３．側面撮像部３０］
側面撮像部３０は、チップ４の側面を撮像するものである。側面撮像部３０は、チップ４の第１側面５を撮像する第１撮像装置３１、及びチップ４の第２側面６を撮像する第２撮像装置３２からなる。第１撮像装置３１及び第２撮像装置３２は、撮像素子としてのＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサーを内蔵した産業用カメラである。なお、第１側面５及び第２側面６は、互いにチップ４の反対側に位置し、チップ４の発光面を成すものである。 [1-3. Side imaging unit 30]
The side imaging unit 30 images the side of the chip 4. The side imaging unit 30 is composed of a first imaging device 31 that images the first side 5 of the chip 4, and a second imaging device 32 that images the second side 6 of the chip 4. The first imaging device 31 and the second imaging device 32 are industrial cameras with built-in CMOS (Complementary Metal-Oxide-Semiconductor) image sensors as imaging elements. The first side 5 and the second side 6 are located on opposite sides of the chip 4 and form the light emitting surface of the chip 4.

第１撮像装置３１は、右斜め上方からチップ４の第１側面５を撮像可能な位置に配置されている。撮像時には、光軸Ｌ１（図２）が右斜め上方からチップ４の第１側面５に入射する。この時の光軸Ｌ１の入射角θ１（図２）は調整可能とされている。 The first imaging device 31 is positioned in a position where it can image the first side surface 5 of the chip 4 from diagonally above and to the right. When imaging, the optical axis L1 (Fig. 2) is incident on the first side surface 5 of the chip 4 from diagonally above and to the right. The incidence angle θ1 (Fig. 2) of the optical axis L1 at this time is adjustable.

第２撮像装置３２は、撮像状態においてチップ４を跨いで第１撮像装置３１と左右対称となるように配置されている。つまり、第２撮像装置３２は、左斜め上方からチップ４の第２側面６を撮像可能な位置に配置されている。撮像時には、光軸Ｌ２（図２）が左斜め上方からチップ４の第２側面６に入射する。この時の光軸Ｌ２の入射角θ２（図２）は調整可能とされている。 The second imaging device 32 is positioned so as to be symmetrical to the first imaging device 31 across the chip 4 in the imaging state. In other words, the second imaging device 32 is positioned in a position where it can image the second side surface 6 of the chip 4 from diagonally above and to the left. When imaging, the optical axis L2 (Figure 2) is incident on the second side surface 6 of the chip 4 from diagonally above and to the left. The incidence angle θ2 (Figure 2) of the optical axis L2 at this time is adjustable.

第１撮像装置３１及び第２撮像装置３２は、後述される上面撮像装置４１と共に撮像ベース５７（図１）に結合されて支持されている。 The first imaging device 31 and the second imaging device 32 are connected to and supported by the imaging base 57 (Figure 1) together with the upper surface imaging device 41 described below.

［１－４．上面撮像部４０］
上面撮像部４０は、チップ４の上面を撮像する上面撮像装置４１を備える。上面撮像装置４１は、撮像素子としてＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサーを内蔵した産業用カメラである。 [1-4. Top imaging unit 40]
The top surface imaging section 40 includes a top surface imaging device 41 that images the top surface of the chip 4. The top surface imaging device 41 is an industrial camera that incorporates a complementary metal-oxide-semiconductor (CMOS) image sensor as an imaging element.

上面撮像装置４１は、左右方向３において第１撮像装置３１と第２撮像装置３２との間に設けられ、撮像ベース５７に結合されて支持されている。上面撮像装置４１のレンズは下方に向けられており、撮像時にはレンズがチップ４の上面と対向することで、上方からチップ４の上面を撮像可能とされている。 The top surface imaging device 41 is provided between the first imaging device 31 and the second imaging device 32 in the left-right direction 3, and is connected to and supported by the imaging base 57. The lens of the top surface imaging device 41 faces downward, and when imaging, the lens faces the top surface of the chip 4, making it possible to image the top surface of the chip 4 from above.

［１－５．撮像駆動部５０］
撮像駆動部５０（図３）は、チップ４の撮像時に、チップ４と側面撮像部３０及び上面撮像部４０との相対位置及び向きを調整するものである。撮像駆動部５０は、シート支持部２０を回転させてチップ４の向きを変えるシート回転機構５１、及び撮像ベース５７を移動させて側面撮像部３０及び上面撮像部４０の位置を変えるカメラ移動機構５２からなる。 [1-5. Imaging driver 50]
The imaging drive unit 50 (FIG. 3) adjusts the relative positions and orientations of the chip 4 and the side imaging unit 30 and top imaging unit 40 when imaging the chip 4. The imaging drive unit 50 is made up of a sheet rotation mechanism 51 that rotates the sheet support unit 20 to change the orientation of the chip 4, and a camera movement mechanism 52 that moves the imaging base 57 to change the positions of the side imaging unit 30 and top imaging unit 40.

シート回転機構５１は、正方向及び逆方向に回転可能なモータ５３を備えている。モータ５３の回転駆動力は、ギア・プーリ・ベルト等の複数の機械要素から成る駆動伝達機構（不図示）を介してシート支持部２０に伝達される。これにより、シートリング２１は、ダイシングシート２２及びチップ４と一体に、上下方向１に沿った軸線周りに回転する。例えば、モータ５３が正方向に回転した時にシートリング２１は上方から見て時計回りに回転し、モータ５３が逆方向に回転した時にシートリング２１は反時計回りに回転する。 The sheet rotation mechanism 51 is equipped with a motor 53 that can rotate in both forward and reverse directions. The rotational drive force of the motor 53 is transmitted to the sheet support part 20 via a drive transmission mechanism (not shown) consisting of multiple mechanical elements such as gears, pulleys, and belts. As a result, the sheet ring 21 rotates integrally with the dicing sheet 22 and chips 4 around an axis along the vertical direction 1. For example, when the motor 53 rotates in the forward direction, the sheet ring 21 rotates clockwise as viewed from above, and when the motor 53 rotates in the reverse direction, the sheet ring 21 rotates counterclockwise.

カメラ移動機構５２は、３つのアクチュエータ５４，５５，５６を備えている。アクチュエータ５４，５５，５６の駆動力は、シート回転機構のものとは別の駆動伝達機構を介して撮像ベース５７に伝達される。これにより、撮像ベース５７は側面撮像部３０及び上面撮像部４０と一体に移動する。例えば、アクチュエータ５４が駆動することによって撮像ベース５７は上下方向１に沿って移動し、アクチュエータ５５が駆動することによって撮像ベース５７は前後方向２に沿って移動し、アクチュエータ５６が駆動することによって撮像ベース５７は左右方向３に沿って移動する。 The camera movement mechanism 52 is equipped with three actuators 54, 55, and 56. The driving force of the actuators 54, 55, and 56 is transmitted to the imaging base 57 via a drive transmission mechanism separate from that of the seat rotation mechanism. This causes the imaging base 57 to move integrally with the side imaging section 30 and the top imaging section 40. For example, when the actuator 54 is driven, the imaging base 57 moves along the up-down direction 1, when the actuator 55 is driven, the imaging base 57 moves along the front-rear direction 2, and when the actuator 56 is driven, the imaging base 57 moves along the left-right direction 3.

［１－６．制御部６０］
制御部６０（図３）は、外観検査装置１０の全体動作を制御するコンピュータである。制御部６０は、ＣＰＵ（Central Processing Unit）６１、メインメモリ６２、補助記憶装置としてのＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）６３、及びこれらの間でデータ伝送を行うための内部バス６４等を最低限の構成として含んでいる。制御部６０は、他にも入出力インターフェイスやネットワークインターフェイス等を備えているが、ここでは省略する。ＥＥＰＲＯＭ６３には、外観検査装置１０の動作を制御するための各種のプログラムが記憶されている。これらのプログラムが内部バス６４を通じてメインメモリ６２にロードされ、ＣＰＵ６１によって実行される。その結果生成された制御信号が、外部バス６５を通じて外観検査装置１０の各部にそれぞれ送信されて、外観検査装置１０の全体動作が制御されている。 [1-6. Control unit 60]
The control unit 60 (FIG. 3) is a computer that controls the overall operation of the visual inspection device 10. The control unit 60 includes, as a minimum configuration, a CPU (Central Processing Unit) 61, a main memory 62, an EEPROM (Electrically Erasable Programmable Read-Only Memory) 63 as an auxiliary storage device, and an internal bus 64 for data transmission between them. The control unit 60 also includes an input/output interface and a network interface, but these are omitted here. The EEPROM 63 stores various programs for controlling the operation of the visual inspection device 10. These programs are loaded into the main memory 62 through the internal bus 64 and executed by the CPU 61. The control signals generated as a result are transmitted to each part of the visual inspection device 10 through an external bus 65, and the overall operation of the visual inspection device 10 is controlled.

ＥＥＰＲＯＭ６３には、シート回転機構５１のモータ５３、カメラ移動機構のアクチュエータ５４，５５，５６、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置４１の動作を制御するドライバプログラムが記憶されている。また、ＥＥＰＲＯＭ６３には、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置４１が生成した画像データを処理するための画像処理プログラムの他、これらの画像データに基づいてチップ４の異常を評価する評価プログラムが記憶されている。また、ＥＥＰＲＯＭ６３には、上記の各種プログラムをサブルーチンとしてロードして、チップ４の外観検査に係る全体シーケンスを実行するためのプログラムが記憶されている。 EEPROM 63 stores a driver program that controls the operation of motor 53 of seat rotation mechanism 51, actuators 54, 55, 56 of the camera movement mechanism, first imaging device 31, second imaging device 32, and top surface imaging device 41. EEPROM 63 also stores an image processing program for processing image data generated by first imaging device 31, second imaging device 32, and top surface imaging device 41, as well as an evaluation program for evaluating abnormalities in chip 4 based on this image data. EEPROM 63 also stores a program for loading the above various programs as subroutines and executing the entire sequence for visual inspection of chip 4.

ここで、制御部６０が、特許請求の範囲における「評価部」に相当するものである。また、側面撮像部３０、第１撮像装置３１、第２撮像装置３２、上面撮像部４０、及び撮像駆動部５０は、制御部６０の制御に基づき、それぞれ特許請求の範囲における「側面撮像部」、「第１撮像装置」、「第２撮像装置」、「上面撮像部」、及び「撮像駆動部」として動作するものである。 Here, the control unit 60 corresponds to the "evaluation unit" in the claims. Also, the side imaging unit 30, the first imaging device 31, the second imaging device 32, the top imaging unit 40, and the imaging drive unit 50 operate as the "side imaging unit," "first imaging device," "second imaging device," "top imaging unit," and "imaging drive unit" in the claims, respectively, based on the control of the control unit 60.

［１－７．チップ４の外観検査の概要］
チップ４の外観検査の詳細を説明する前に、その概要を説明する。図２に示されるように、第１撮像装置３１及び第２撮像装置３２の光軸Ｌ１，Ｌ２は、チップ４の第１側面５及び第２側面６に対して斜めに入射するため、第１側面５及び第２側面６をそれぞれ一度撮像しただけでは、第１側面５及び第２側面６全体にピントが合った評価用画像を得ることは難しい。そのため、本実施形態では、第１撮像装置３１及び第２撮像装置３２を上下方向１に移動させながら、チップ４の第１側面５及び第２側面６を複数回撮像する。その結果、第１撮像装置３１及び第２撮像装置３２の移動量に応じて上下に所定画素ずつずれた複数の評価用画像が生成される。複数の評価用画像は、第１側面５及び第２側面６の異なる領域にピントが合った画像であるため、制御部６０は、各評価用画像におけるピントが合った領域を組み合わせて、第１側面５及び第２側面６の異常を評価することができる。 [1-7. Overview of visual inspection of chip 4]
Before describing the details of the appearance inspection of the chip 4, the outline of the inspection will be described. As shown in FIG. 2, the optical axes L1 and L2 of the first imaging device 31 and the second imaging device 32 are obliquely incident on the first side surface 5 and the second side surface 6 of the chip 4, so it is difficult to obtain an evaluation image in which the entire first side surface 5 and the second side surface 6 are in focus by only imaging the first side surface 5 and the second side surface 6 once. Therefore, in this embodiment, the first side surface 5 and the second side surface 6 of the chip 4 are imaged multiple times while moving the first imaging device 31 and the second imaging device 32 in the vertical direction 1. As a result, multiple evaluation images are generated that are shifted by a predetermined number of pixels up and down according to the amount of movement of the first imaging device 31 and the second imaging device 32. Since the multiple evaluation images are images in focus on different areas of the first side surface 5 and the second side surface 6, the control unit 60 can evaluate abnormalities of the first side surface 5 and the second side surface 6 by combining the areas in focus in each evaluation image.

［１－８．チップ４の外観検査の詳細］
以下、ダイシングシート２２上の複数のチップ４の外観検査の詳細を説明する。なお、以下で説明される外観検査装置１０の各部の動作は、制御部６０がＥＥＰＲＯＭ６３に記憶された各種のプログラムを実行することで制御されている。 [1-8. Details of visual inspection of chip 4]
The following describes in detail the visual inspection of the multiple chips 4 on the dicing sheet 22. Note that the operation of each part of the visual inspection device 10 described below is controlled by the control unit 60 executing various programs stored in the EEPROM 63.

事前準備として、作業者は、検査対象のチップ４を外観検査装置１０にセットする。外観検査工程は、一般的にダイシング装置によるチップ４のダイシング工程に続いて行われる。ダイシングシート２２上にはダイシング工程により分割された複数のチップ４が存在している。作業者は、ダイシングシート２２が張られたシートリング２１をダイシング装置から取り外し、外観検査装置１０のシート支持部２０に取り付ける（図１の状態）。作業者は、その状態で外観検査装置１０を操作することで、制御部６０に外観検査シーケンスを実行させる。 As a preliminary step, an operator sets the chip 4 to be inspected in the visual inspection device 10. The visual inspection process is generally performed following the dicing process of the chip 4 using a dicing device. On the dicing sheet 22, there are multiple chips 4 that have been divided by the dicing process. The operator removes the sheet ring 21 with the dicing sheet 22 attached from the dicing device and attaches it to the sheet support part 20 of the visual inspection device 10 (the state shown in Figure 1). In this state, the operator operates the visual inspection device 10 to cause the control part 60 to execute the visual inspection sequence.

なお、ダイシング工程と外観検査工程とを連続して実行する場合、ダイシング工程を経たシートリング２１がシート支持部２０に自動でセットされる構成が採用されてもよい。また、ダイシング装置と外観検査装置１０とが一体の装置として構成され、シートリング２１を取り外すことなく外観検査工程を実行可能な構成が採用されてもよい。 When the dicing process and the visual inspection process are performed consecutively, a configuration may be adopted in which the sheet ring 21 that has undergone the dicing process is automatically set on the sheet support unit 20. Also, a configuration may be adopted in which the dicing device and the visual inspection device 10 are configured as an integrated device, and the visual inspection process can be performed without removing the sheet ring 21.

制御部６０が実行する外観検査の処理の流れを示すフローチャートが図４に示されている。まず、制御部６０がカメラ移動機構５２のアクチュエータ５４，５５，５６を駆動することで撮像ベース５７が移動を開始する。そして、上面撮像装置４１がダイシングシート２２の上面全体を撮像可能となるように、撮像ベース５７の上下方向１、前後方向２、及び左右方向３の位置が調整される。このときの撮像ベース５７の移動先の目標位置として、ＥＥＰＲＯＭ６３に記憶された既定の位置情報が使用されてもよい。あるいは、上面撮像装置４１がリアルタイムに生成する動画像に基づいて、制御部６０が好適な位置を決定してもよい。 Figure 4 shows a flowchart showing the flow of the appearance inspection process executed by the control unit 60. First, the control unit 60 drives the actuators 54, 55, and 56 of the camera moving mechanism 52 to start moving the imaging base 57. Then, the positions of the imaging base 57 in the up-down direction 1, the front-back direction 2, and the left-right direction 3 are adjusted so that the top surface imaging device 41 can image the entire top surface of the dicing sheet 22. At this time, the default position information stored in the EEPROM 63 may be used as the target position to which the imaging base 57 is moved. Alternatively, the control unit 60 may determine a suitable position based on the moving image generated in real time by the top surface imaging device 41.

撮像ベース５７の移動の後、ダイシングシート２２の上面全体が撮像範囲に収まるように、上面撮像装置４１による撮像が行われる（ステップＳ１０）。制御部６０は、上面撮像装置４１が生成した画像を処理して、ダイシングシート２２上に存在するチップ４の個数及び配置を認識する（ステップＳ２０）。この処理には、エッジ認識やパターンマッチング等の既知の画像処理アルゴリズムが使用可能である。 After the imaging base 57 is moved, the top surface imaging device 41 captures an image so that the entire top surface of the dicing sheet 22 fits within the imaging range (step S10). The control unit 60 processes the image generated by the top surface imaging device 41 to recognize the number and arrangement of the chips 4 present on the dicing sheet 22 (step S20). For this process, known image processing algorithms such as edge recognition and pattern matching can be used.

続けて、制御部６０は、ダイシングシート２２上のチップ４の配置に基づいて、全てのチップ４を撮像するための撮像順序を決定する（ステップＳ３０）。撮像順序の決定に際して、制御部６０は、全てのチップ４を撮像するために必要な撮像ベース５７の総移動量を算出し、撮像ベース５７の総移動量が最短となる撮像順序を採用する。あるいは、制御部６０は、撮像ベース５７の総移動量に加えて、例えばシート回転機構５１によるチップ４の向きの変更が必要となる回数、又はシート回転機構５１の駆動量といった他の条件を考慮してもよい。そして、それらの条件を複合した上で全てのチップ４を撮像するための所要時間を算出し、この所要時間が最短となる撮像順序を採用してもよい。 Next, the control unit 60 determines the imaging order for imaging all the chips 4 based on the arrangement of the chips 4 on the dicing sheet 22 (step S30). When determining the imaging order, the control unit 60 calculates the total movement amount of the imaging base 57 required to image all the chips 4, and adopts the imaging order that minimizes the total movement amount of the imaging base 57. Alternatively, in addition to the total movement amount of the imaging base 57, the control unit 60 may take into account other conditions, such as the number of times the orientation of the chips 4 needs to be changed by the sheet rotation mechanism 51, or the drive amount of the sheet rotation mechanism 51. Then, the control unit 60 may calculate the time required to image all the chips 4 by combining these conditions, and adopt the imaging order that minimizes this required time.

続けて、制御部６０は、最初のチップ４を撮像可能となるように、側面撮像部３０及び上面撮像部４０とチップ４との相対位置及び向きを調整する（ステップＳ４０）。具体的には、制御部６０は、シート回転機構５１のモータ５３の駆動によってシートリング２１を回転させ、チップ４の向きを変更する。また、カメラ移動機構５２のアクチュエータ５４，５５，５６の駆動によって撮像ベース５７を移動させ、側面撮像部３０及び上面撮像部４０の位置を変更する。このとき、制御部６０は、上面撮像装置４１、第１撮像装置３１、又は第２撮像装置３２がリアルタイムに生成する動画像に基づいて、側面撮像部３０及び上面撮像部４０とチップ４との相対位置及び向きを調整してもよい。その結果、図２に示されるように、上面撮像装置４１がチップ４の真上に位置し、第１撮像装置３１及び第２撮像装置３２がチップ４を挟んで左右方向３の両側に位置した状態となる。このとき、チップ４の発光面である第１側面５が第１撮像装置３１のレンズに向けられ、同じくチップ４の発光面である第２側面６が第２撮像装置３２のレンズに向けられている。 Next, the control unit 60 adjusts the relative positions and orientations of the side imaging unit 30 and the top imaging unit 40 and the chip 4 so that the first chip 4 can be imaged (step S40). Specifically, the control unit 60 rotates the sheet ring 21 by driving the motor 53 of the sheet rotation mechanism 51 to change the orientation of the chip 4. In addition, the control unit 60 moves the imaging base 57 by driving the actuators 54, 55, and 56 of the camera movement mechanism 52 to change the positions of the side imaging unit 30 and the top imaging unit 40. At this time, the control unit 60 may adjust the relative positions and orientations of the side imaging unit 30 and the top imaging unit 40 and the chip 4 based on the moving images generated in real time by the top imaging device 41, the first imaging device 31, or the second imaging device 32. As a result, as shown in FIG. 2, the top imaging device 41 is located directly above the chip 4, and the first imaging device 31 and the second imaging device 32 are located on both sides of the chip 4 in the left-right direction 3. At this time, the first side 5, which is the light-emitting surface of the chip 4, faces the lens of the first imaging device 31, and the second side 6, which is also the light-emitting surface of the chip 4, faces the lens of the second imaging device 32.

この状態で、制御部６０は、対象のチップ４を撮像するための「撮像処理」のシーケンスを実行する（ステップＳ５０）。撮像処理の詳細を示すフローチャートが図５に示されている。まず、制御部６０は、チップ４の第１側面５及び第２側面６の撮像回数、及び各撮像における第１撮像装置３１及び第２撮像装置３２の上下方向１の撮像位置を決定する（ステップＳ５１）。以下でこの撮像回数と撮像位置について説明する。 In this state, the control unit 60 executes a sequence of "imaging processing" for imaging the target chip 4 (step S50). A flowchart showing the details of the imaging processing is shown in FIG. 5. First, the control unit 60 determines the number of times to image the first side surface 5 and the second side surface 6 of the chip 4, and the imaging positions in the vertical direction 1 of the first imaging device 31 and the second imaging device 32 for each image (step S51). The number of times to image and the imaging positions are explained below.

第１撮像装置３１及び第２撮像装置３２は、第１側面５及び第２側面６を斜め上方から撮像するため、撮像範囲ＰＲ１，ＰＲ２，ＰＲ３（図７参照）におけるフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３（外観検査に必要な鮮明度が得られる領域。）は横方向よりも縦方向に狭くなる。第１側面５及び第２側面６の撮像回数が少ないと、各撮像の間における撮像ベース５７の上下方向１への移動量を大きくする必要があり、各撮像におけるフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３に隙間ができてしまう。複数回の撮像によって第１側面５及び第２側面６の全域をフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３でカバーするためには、チップ４の高さ（上下方向１の寸法）が高いほど、撮像回数を多くすることが望ましい。 Because the first imaging device 31 and the second imaging device 32 image the first side 5 and the second side 6 from diagonally above, the focus areas FR1, FR2, and FR3 (areas that provide the required clarity for visual inspection) in the imaging ranges PR1, PR2, and PR3 (see FIG. 7) are narrower in the vertical direction than in the horizontal direction. If the number of times that the first side 5 and the second side 6 are imaged is small, the amount of movement of the imaging base 57 in the vertical direction 1 between each image capture must be large, resulting in gaps in the focus areas FR1, FR2, and FR3 in each image capture. In order to cover the entire area of the first side 5 and the second side 6 with the focus areas FR1, FR2, and FR3 by multiple image captures, it is desirable to increase the number of images captured as the height (dimension in the vertical direction 1) of the chip 4 increases.

制御部６０は、第１撮像装置３１又は第２撮像装置３２を制御して第１側面５又は第２側面６の全体を撮像し、第１側面５又は第２側面６の全体画像を生成する。続けて、制御部６０は、第１側面５又は第２側面６の全体画像からエッジ検出等の画像処理アルゴリズムを用いて第１側面５又は第２側面６の外縁を認識し、チップ４の高さを算出する。制御部６０は、チップ４の高さに基づいて、第１側面５及び第２側面６の撮像回数、及び各撮像における第１側面５及び第２側面６の上下方向１の撮像位置（特許請求の範囲の「相対位置」に相当。）を決定する。あるいは、撮像回数及び撮像位置は、使用するチップ４に応じて作業者によって事前に設定され、ＥＥＰＲＯＭ６３に記憶されていてもよい。 The control unit 60 controls the first imaging device 31 or the second imaging device 32 to capture an image of the entire first side 5 or the second side 6, and generates an overall image of the first side 5 or the second side 6. The control unit 60 then recognizes the outer edge of the first side 5 or the second side 6 from the overall image of the first side 5 or the second side 6 using an image processing algorithm such as edge detection, and calculates the height of the chip 4. Based on the height of the chip 4, the control unit 60 determines the number of times the first side 5 and the second side 6 are captured, and the image positions (corresponding to the "relative position" in the claims) of the first side 5 and the second side 6 in the vertical direction 1 in each image. Alternatively, the number of times the images are captured and the image positions may be set in advance by the operator according to the chip 4 to be used and stored in the EEPROM 63.

続けて、制御部６０は、チップ４を撮像するための撮像パラメタ等の調整を行う（ステップＳ５２）。具体的には、側面撮像部３０及び上面撮像部４０とチップ４との相対位置及び向きの微調整や、焦点距離等の各撮像装置の内部設定値の調整を行う。 The control unit 60 then adjusts the imaging parameters for imaging the chip 4 (step S52). Specifically, it fine-tunes the relative positions and orientations of the side imaging unit 30 and the top imaging unit 40 with respect to the chip 4, and adjusts the internal settings of each imaging device, such as the focal length.

制御部６０は、上面撮像装置４１にチップ４の上面を撮像させ、チップ４の上面の評価用画像を生成させる（ステップＳ５３）。制御部６０は、この評価用画像を、ＥＥＰＲＯＭ６３に記憶させる。 The control unit 60 causes the top surface imaging device 41 to image the top surface of the chip 4 and generate an evaluation image of the top surface of the chip 4 (step S53). The control unit 60 stores this evaluation image in the EEPROM 63.

制御部６０は、カメラ移動機構５２のアクチュエータ５４の駆動により撮像ベース５７を上下方向１に移動させ、第１撮像装置３１及び第２撮像装置３２を第１回目の撮像位置に移動させる（ステップＳ５４）。制御部６０は、第１回目の撮像位置において、第１撮像装置３１及び第２撮像装置３２にチップ４の第１側面５及び第２側面６を撮像させ、第１側面５及び第２側面６の１つ目の評価用画像をそれぞれ生成させる（ステップＳ５５）。制御部６０は、これらの評価用画像を、ＥＥＰＲＯＭ６３に記憶させる。 The control unit 60 drives the actuator 54 of the camera movement mechanism 52 to move the imaging base 57 in the vertical direction 1, and moves the first imaging device 31 and the second imaging device 32 to the first imaging position (step S54). The control unit 60 causes the first imaging device 31 and the second imaging device 32 to image the first side 5 and the second side 6 of the chip 4 at the first imaging position, and generates first evaluation images of the first side 5 and the second side 6, respectively (step S55). The control unit 60 stores these evaluation images in the EEPROM 63.

続けて、制御部６０は、第１撮像装置３１及び第２撮像装置３２を第２回目の撮像位置に移動させ（特許請求の範囲の「相対移動」に相当。）、第１回目の撮像と同様に、第１撮像装置３１及び第２撮像装置３２に第１側面５及び第２側面６を撮像させ、評価用画像をＥＥＰＲＯＭ６３に記憶させる。 The control unit 60 then moves the first imaging device 31 and the second imaging device 32 to the second imaging position (corresponding to "relative movement" in the claims), and causes the first imaging device 31 and the second imaging device 32 to capture images of the first side 5 and the second side 6 in the same manner as in the first imaging, and stores the evaluation images in the EEPROM 63.

制御部６０は、各撮像位置における第１側面５及び第２側面６の撮像、及び評価用画像のＥＥＰＲＯＭ６３への記憶が完了したタイミングで、予定された撮像が全て完了しているか否かを確認する。予定された撮像が完了していない場合（ステップＳ５６：ＮＯ）、第１撮像装置３１及び第２撮像装置３２を次の撮像位置に移動させ、第１撮像装置３１及び第２撮像装置３２に第１側面５及び第２側面６を撮像させ、評価用画像をＥＥＰＲＯＭ６３に記憶させる。予定された撮像が全て完了している場合（ステップＳ５６：ＹＥＳ）、当該チップ４に対する撮像処理を終了する。 The control unit 60 checks whether all planned imaging has been completed when imaging of the first side 5 and the second side 6 at each imaging position and storage of the evaluation image in the EEPROM 63 is completed. If the planned imaging has not been completed (step S56: NO), the control unit 60 moves the first imaging device 31 and the second imaging device 32 to the next imaging position, causes the first imaging device 31 and the second imaging device 32 to image the first side 5 and the second side 6, and stores the evaluation image in the EEPROM 63. If all planned imaging has been completed (step S56: YES), the imaging process for the chip 4 is terminated.

上述した第１側面５の撮像の様子が図６，７に示されている。なお、第２側面６については、第１側面５と同様であるため省略されている。また、図６，７においては、第１側面５及び第２側面６の撮像回数が３回の例が示されている。図６における光軸Ｌ１ａ，Ｌ１ｂ，Ｌ１ｃは、それぞれ第１，２，３回目の撮像位置における第１撮像装置３１の光軸Ｌ１である。上下方向１において各撮像位置におけるフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３の一部が重複するように、各撮像位置が設定されている。 The above-mentioned imaging of the first side surface 5 is shown in Figures 6 and 7. Note that the second side surface 6 is omitted as it is similar to the first side surface 5. Also, Figures 6 and 7 show an example in which the first side surface 5 and the second side surface 6 are imaged three times. Optical axes L1a, L1b, and L1c in Figure 6 are the optical axis L1 of the first imaging device 31 at the first, second, and third imaging positions, respectively. Each imaging position is set so that a portion of the focus regions FR1, FR2, and FR3 at each imaging position overlap in the vertical direction 1.

図７に示されるように、フォーカス領域ＦＲ１，ＦＲ２，ＦＲ３は、上下方向１における撮像範囲ＰＲ１，ＰＲ２，ＰＲ３の中央に位置しているが、第１撮像装置３１の焦点距離等の設定によって異なる位置にすることもできる。図７（Ａ），（Ｂ），（Ｃ）は、それぞれ、第１，２，３回目の撮像位置において、チップ４の第１側面５と撮像範囲ＰＲ１，ＰＲ２，ＰＲ３との対応を示している。第１回目の撮像範囲ＰＲ１（図７（Ａ））と第２回目の撮像範囲ＰＲ２（図７（Ｂ））は、各撮像位置の差に対応する高さＨ１だけずれている。同様に、第２回目の撮像範囲ＰＲ２と第３回目の撮像範囲ＰＲ３（図７（Ｃ））は、各撮像位置の差に対応する高さＨ２だけずれている。一般的に、Ｈ１とＨ２が等しくなるように撮像位置を設定することが望ましい。 As shown in FIG. 7, the focus regions FR1, FR2, and FR3 are located in the center of the imaging ranges PR1, PR2, and PR3 in the vertical direction 1, but they can be located in different positions depending on the setting of the focal length of the first imaging device 31, etc. FIGS. 7(A), (B), and (C) respectively show the correspondence between the first side surface 5 of the chip 4 and the imaging ranges PR1, PR2, and PR3 at the first, second, and third imaging positions. The first imaging range PR1 (FIG. 7(A)) and the second imaging range PR2 (FIG. 7(B)) are shifted by a height H1 corresponding to the difference between the imaging positions. Similarly, the second imaging range PR2 and the third imaging range PR3 (FIG. 7(C)) are shifted by a height H2 corresponding to the difference between the imaging positions. In general, it is desirable to set the imaging positions so that H1 and H2 are equal.

撮像処理（ステップＳ５０）のシーケンスを終了後、制御部６０は、第１側面５及び第２側面６の複数の評価用画像をそれぞれ結合して、第１側面５及び第２側面６の結合画像ＣＩ１（図９）を生成する（ステップＳ６０）。以下、第１側面５の結合画像ＣＩ１を生成する手順について説明する。 After completing the sequence of the imaging process (step S50), the control unit 60 combines the multiple evaluation images of the first side 5 and the second side 6, respectively, to generate a combined image CI1 (FIG. 9) of the first side 5 and the second side 6 (step S60). The procedure for generating the combined image CI1 of the first side 5 will be described below.

まず、制御部６０は、第１側面５の各評価用画像から、フォーカス領域ＦＲ１，ＦＲ２，ＦＲ３に対応する画素領域をそれぞれ切り出し、領域画像ＲＩ１，ＲＩ２，ＲＩ３（図８）を生成する。図８（Ａ），（Ｂ），（Ｃ）の領域画像ＲＩ１，ＲＩ２，ＲＩ３は、それぞれ、第１，２，３回目の撮像位置での撮像によって生成された評価用画像から、フォーカス領域ＦＲ１，ＦＲ２，ＦＲ３に対応する画素領域を切り出したものである。なお、斜め方向からの撮像のために評価用画像に歪みが発生する場合、撮像角度や他の撮像条件に基づき、評価用画像に写った第１側面５を矩形形状に補正するための射影変換（ホモグラフィ変換）が行われてもよい。 First, the control unit 60 cuts out pixel regions corresponding to the focus regions FR1, FR2, and FR3 from each evaluation image of the first side surface 5, and generates region images RI1, RI2, and RI3 (FIG. 8). The region images RI1, RI2, and RI3 in FIGS. 8(A), (B), and (C) are cut out pixel regions corresponding to the focus regions FR1, FR2, and FR3 from the evaluation images generated by capturing images at the first, second, and third capturing positions, respectively. If distortion occurs in the evaluation images due to capturing images from an oblique direction, a projective transformation (homography transformation) may be performed to correct the first side surface 5 captured in the evaluation images to a rectangular shape based on the capturing angle and other capturing conditions.

続けて、制御部６０は、領域画像ＲＩ１，ＲＩ２，ＲＩ３を上下に結合する。このとき、領域画像ＲＩ１，ＲＩ２，ＲＩ３から元の第１側面５の形状が再現されるように、３つの領域画像ＲＩ１，ＲＩ２，ＲＩ３の相対位置を撮像位置に対応させる。例えば、図７のように後の撮像ほど撮像位置が下方に位置している場合、結合画像ＣＩ１でも、後の撮像に対応する領域画像ＲＩ１，ＲＩ２，ＲＩ３ほど下方に位置するようにする。また、制御部６０は、その際の画素のずれ量を、各撮像位置の高低差、すなわち各撮像の間における撮像ベース５７の移動量に基づいて算出する。例えば、第１回目の撮像位置に対応する領域画像ＲＩ１と第２回目の撮像位置に対応する領域画像ＲＩ２とを結合する際の画素のずれをｎ１（図９）とした場合、ｎ１は、第１回目の撮像位置と第２回目の撮像位置との差である高さＨ１と所定の係数ａとの積で表すことができ、ｎ１＝ａ×Ｈ１と表すことができる。また、第２回目の撮像位置に対応する領域画像ＲＩ２と第３回目の撮像位置に対応する領域画像ＲＩ３とを結合する際の画素のずれをｎ２（図９）とした場合、同様に、ｎ２＝ａ×Ｈ２と表すことができる。 Next, the control unit 60 combines the region images RI1, RI2, and RI3 vertically. At this time, the relative positions of the three region images RI1, RI2, and RI3 are made to correspond to the imaging positions so that the shape of the original first side surface 5 is reproduced from the region images RI1, RI2, and RI3. For example, in the case where the imaging position is located lower as the imaging is performed later as shown in FIG. 7, the combined image CI1 is also made to be located lower as the region images RI1, RI2, and RI3 corresponding to the later imaging are performed later. In addition, the control unit 60 calculates the amount of pixel shift at that time based on the height difference between the imaging positions, that is, the amount of movement of the imaging base 57 between each imaging. For example, if the pixel shift when combining the region image RI1 corresponding to the first imaging position and the region image RI2 corresponding to the second imaging position is n1 (FIG. 9), n1 can be expressed as the product of the height H1, which is the difference between the first imaging position and the second imaging position, and a predetermined coefficient a, and can be expressed as n1=a×H1. Similarly, if the pixel shift when combining the regional image RI2 corresponding to the second imaging position and the regional image RI3 corresponding to the third imaging position is n2 (Figure 9), then n2 can be expressed as a x H2.

上述したような方法でｎ１，ｎ２の値を決定すると、上下に隣接する領域画像ＲＩ１，ＲＩ２，ＲＩ３の間で画素が重なる重複領域ＤＥ１，ＤＥ２が現れる。図９においては、領域画像ＲＩ１と領域画像ＲＩ２とが重複した重複領域ＤＥ１、及び領域画像ＲＩ２と領域画像ＲＩ３とが重複した重複領域ＤＥ２が現れている。この重複領域ＤＥ１，ＤＥ２においては、重複する２つの領域画像の何れか一方の画素の輝度値を結合画像ＣＩ１の対応する画素の輝度値としてもよい。あるいは、重複する２つの領域画像の対応する画素の輝度値を平均した値を結合画像ＣＩ１の対応する画素の輝度値としてもよい。 When the values of n1 and n2 are determined by the method described above, overlapping regions DE1 and DE2 appear where pixels overlap between vertically adjacent region images RI1, RI2, and RI3. In FIG. 9, overlapping region DE1 appears where region image RI1 overlaps with region image RI2, and overlapping region DE2 appears where region image RI2 overlaps with region image RI3. In these overlapping regions DE1 and DE2, the luminance value of a pixel in one of the two overlapping region images may be used as the luminance value of the corresponding pixel in combined image CI1. Alternatively, the luminance value of the corresponding pixel in combined image CI1 may be the average value of the luminance values of the corresponding pixels in the two overlapping region images.

上述した処理が、同様に第２側面６の複数の評価用画像に対しても適用され、第１側面５及び第２側面６それぞれについて、結合画像ＣＩ１が生成される。制御部６０は、結合画像ＣＩ１をＥＥＰＲＯＭ６３に記憶させる。なお、複数の評価用画像がそれぞれカラー画像であり、ＲＧＢ、ＨＳＬ、又はＣＭＹＫ等の複数のカラーチャネルから構成されている場合、制御部６０は、上述した結合処理をカラーチャネルごとに行うことで、結合画像ＣＩ１をカラー画像として生成してもよい。あるいは、評価用画像のいずれか１つのカラーチャネルのみを使用して結合画像ＣＩ１を生成してもよいし、各カラーチャネルの対応する画素の輝度値の平均値から結合画像ＣＩ１を生成してもよい。 The above-mentioned process is similarly applied to the multiple evaluation images of the second side 6, and a combined image CI1 is generated for each of the first side 5 and the second side 6. The control unit 60 stores the combined image CI1 in the EEPROM 63. Note that if each of the multiple evaluation images is a color image and is composed of multiple color channels such as RGB, HSL, or CMYK, the control unit 60 may generate the combined image CI1 as a color image by performing the above-mentioned combining process for each color channel. Alternatively, the combined image CI1 may be generated using only one of the color channels of the evaluation images, or the combined image CI1 may be generated from the average brightness value of the corresponding pixels of each color channel.

制御部６０は、チップ４の上面の評価用画像に基づいてチップ４の上面の異常を評価し、第１側面５及び第２側面６からそれぞれ生成された結合画像ＣＩ１に基づいて第１側面５及び第２側面６の異常をそれぞれ評価する（ステップＳ７０）。この異常の一例として、チップ４に付着した異物やチップ４の欠け等がある。制御部６０は、例えばルールベースや深層学習を用いた評価アルゴリズムにより、チップ４の異常を評価し、その評価結果をＥＥＰＲＯＭ６３に記憶させる。この評価結果としては、チップ４が製品として許容可能なものであるか否かの判断のみでもよいし、より詳細な評価項目が作成されてもよい。 The control unit 60 evaluates the upper surface of the chip 4 for abnormalities based on the evaluation image of the upper surface of the chip 4, and evaluates the first side 5 and the second side 6 for abnormalities based on the combined image CI1 generated from the first side 5 and the second side 6, respectively (step S70). Examples of such abnormalities include foreign matter attached to the chip 4 and chipping of the chip 4. The control unit 60 evaluates the abnormalities of the chip 4 using an evaluation algorithm that uses, for example, a rule base or deep learning, and stores the evaluation results in the EEPROM 63. The evaluation results may be merely a determination of whether the chip 4 is acceptable as a product, or more detailed evaluation items may be created.

制御部６０は、ダイシングシート２２の全てのチップ４に対して撮像処理及び評価が完了したか否かを確認し、完了していない場合（ステップＳ８０：Ｎｏ）、次のチップ４に対して撮像処理を行うべく、側面撮像部３０及び上面撮像部４０と次のチップ４との相対位置及び向きを調整する（ステップＳ４０）。それ以降の処理は、上述した最初のチップ４に対するものと同様であるため、省略する。一方、全てのチップ４に対して撮像処理と評価が完了している場合（ステップＳ８０：Ｙｅｓ）、制御部６０は、全てのチップ４についての評価結果を集約した情報を外部に出力する（ステップＳ９０）。例えば、制御部６０は、外観検査装置１０に設けられた表示画面に評価結果を表示させてもよいし、通信ネットワークを介して外観検査装置１０と接続されたコンピュータに評価結果を送信し、当該コンピュータの表示画面に評価結果を表示させてもよい。作業者は、この評価結果を確認し、製品として許容できないチップ４をダイシングシート２２から取り除く等の対応を行う。あるいは、チップ４のダイシングシート２２からの剥離と併せて、製品として許容可能なチップ４と許容できないチップ４とが装置によって自動で分別される構成が採用されてもよい。 The control unit 60 checks whether the imaging process and evaluation have been completed for all the chips 4 on the dicing sheet 22. If not (step S80: No), the control unit 60 adjusts the relative positions and orientations of the side imaging unit 30 and the top imaging unit 40 and the next chip 4 in order to perform imaging process for the next chip 4 (step S40). The subsequent processes are the same as those for the first chip 4 described above, and are therefore omitted. On the other hand, if the imaging process and evaluation have been completed for all the chips 4 (step S80: Yes), the control unit 60 outputs information that consolidates the evaluation results for all the chips 4 to the outside (step S90). For example, the control unit 60 may display the evaluation results on a display screen provided in the appearance inspection device 10, or may transmit the evaluation results to a computer connected to the appearance inspection device 10 via a communication network and display the evaluation results on the display screen of the computer. The worker checks the evaluation results and takes measures such as removing the chips 4 that are not acceptable as products from the dicing sheet 22. Alternatively, a configuration may be adopted in which, in addition to peeling the chips 4 from the dicing sheet 22, the device automatically separates the chips 4 that are acceptable as products from those that are not.

［１－９．本実施形態の作用効果］
本実施形態においては、チップ４の第１側面５及び第２側面６における異なる領域にピントが合った複数の評価用画像から結合画像ＣＩ１が生成されるため、第１側面５及び第２側面６を斜め方向から撮像する状況においても、制御部６０は、結合画像ＣＩ１を評価するだけで、第１側面５及び第２側面６全体を精細な画像に基づいて評価することができる。また、チップ４に外力を加える必要が無いため複雑な機構を必要とせず、外力によってチップ４に異常が発生するおそれも無い。 [1-9. Effects of this embodiment]
In this embodiment, since the combined image CI1 is generated from a plurality of evaluation images focused on different regions on the first side surface 5 and the second side surface 6 of the chip 4, even in a situation where the first side surface 5 and the second side surface 6 are imaged from an oblique direction, the control unit 60 can evaluate the entire first side surface 5 and the second side surface 6 based on a fine image by simply evaluating the combined image CI1. Furthermore, since there is no need to apply an external force to the chip 4, no complicated mechanism is required, and there is no risk of abnormalities occurring in the chip 4 due to an external force.

また、第１撮像装置３１及び第２撮像装置３２がカメラ移動機構５２によって上下方向１に移動させられて、各撮像位置ごとに撮像が行われるため、第１撮像装置３１及び第２撮像装置３２の焦点距離を変化することなく、第１側面５及び第２側面６の異なる領域にピントが合った複数の評価用画像を生成することができる。 In addition, the first imaging device 31 and the second imaging device 32 are moved in the vertical direction 1 by the camera movement mechanism 52, and imaging is performed at each imaging position, so that multiple evaluation images focused on different areas of the first side surface 5 and the second side surface 6 can be generated without changing the focal length of the first imaging device 31 and the second imaging device 32.

また、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置が撮像ベース５７に支持された状態で、カメラ移動機構５２によって一体に移動させられるため、各撮像装置とチップ４との相対位置及び向きの調整を一括に行うことができる。さらに、制御部６０は、各撮像装置がリアルタイムに生成する動画像に基づいて、各撮像装置とチップ４との相対位置及び向きの調整を容易に行うことができる。さらに、第１撮像装置３１と第２撮像装置３２とが左右対称となるように設けられているため、各撮像位置において、チップ４の発光面である第１側面５及び第２側面６を同時に撮像することができ、タクトタイムの短縮を図ることができる。 In addition, since the first imaging device 31, the second imaging device 32, and the top surface imaging device are supported by the imaging base 57 and moved together by the camera moving mechanism 52, the relative position and orientation of each imaging device and the chip 4 can be adjusted all at once. Furthermore, the control unit 60 can easily adjust the relative position and orientation of each imaging device and the chip 4 based on the moving images generated in real time by each imaging device. Furthermore, since the first imaging device 31 and the second imaging device 32 are arranged symmetrically, the first side 5 and the second side 6, which are the light-emitting surfaces of the chip 4, can be imaged simultaneously at each imaging position, thereby shortening the tact time.

また、第１側面５又は第２側面６の全体画像から算出されたチップ４の高さに基づいて、第１側面５及び第２側面６の撮像回数及び撮像位置が決定されるため、チップ４の高さに応じて適切な撮像回数及び撮像位置を採用することができる。つまり、全高の高いチップ４においては、撮像回数を多くすることで、第１側面５及び第２側面６の全範囲がいずれかの撮像のフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３によってカバーされるように撮像範囲ＰＲ１，ＰＲ２，ＰＲ３を設定することができ、逆に、全高の低いチップ４においては、撮像回数を少なくすることで、タクトタイムの短縮を図ることができる。 In addition, the number of times and the imaging positions of the first side surface 5 and the second side surface 6 are determined based on the height of the chip 4 calculated from the overall image of the first side surface 5 or the second side surface 6, so that an appropriate number of times and imaging positions can be adopted according to the height of the chip 4. In other words, for a chip 4 with a high overall height, the number of times of imaging can be increased to set the imaging ranges PR1, PR2, PR3 so that the entire range of the first side surface 5 and the second side surface 6 is covered by the focus areas FR1, FR2, FR3 of one of the images. Conversely, for a chip 4 with a low overall height, the number of times of imaging can be decreased to shorten the takt time.

また、制御部６０は、複数の領域画像ＲＩ１，ＲＩ２，ＲＩ３を結合する際の画素のずれ量を、各撮像位置の高低差、すなわち各撮像の間における撮像ベース５７の移動量に基づいて容易に算出する。チップ４の側面のように撮像対象が平坦で特徴のない場合、２つの撮像画像の対応点を画像間の相関に基づいて見つけることは困難であるが、本実施形態においては、画像間の相関を使用することなく、各領域画像ＲＩ１，ＲＩ２，ＲＩ３を結合する際の画素のずれ量（相対位置）を容易に決定することができる。 The control unit 60 also easily calculates the amount of pixel shift when combining multiple area images RI1, RI2, and RI3 based on the elevation difference between each imaging position, i.e., the amount of movement of the imaging base 57 between each imaging. When the imaging subject is flat and featureless, such as the side of the chip 4, it is difficult to find corresponding points in two captured images based on the correlation between the images. However, in this embodiment, the amount of pixel shift (relative position) when combining each area image RI1, RI2, and RI3 can be easily determined without using the correlation between the images.

また、結合画像ＣＩ１の重複領域ＤＥ１，ＤＥ２について、重複する２つの領域画像の対応する画素の輝度値を平均した値を結合画像ＣＩ１の対応する画素の輝度値とすることで、一方の領域画像にのみ存在するノイズを減衰することができる。これにより、撮像時に予期しないノイズが混入した場合にも、ノイズが異常と誤認される可能性を低くすることができる。 In addition, for the overlapping regions DE1 and DE2 of the combined image CI1, the average brightness value of the corresponding pixels in the two overlapping region images is set as the brightness value of the corresponding pixel in the combined image CI1, thereby reducing noise that is present only in one of the region images. This makes it possible to reduce the possibility that the noise will be mistaken for an abnormality even if unexpected noise is mixed in during imaging.

［１－９．本実施形態の変形例］
上述した実施形態においては、シート回転機構５１によってシートリング２１の向きが変更可能であり、カメラ移動機構５２によって撮像ベース５７（側面撮像部３０及び上面撮像部４０）が上下方向１、前後方向２、及び左右方向３に移動可能であった。しかしながら、シートリング２１と撮像ベース５７とは、相対的に移動可能かつ向き変更可能であればよく、どちらが移動しどちらが向き変更してもよい。例えば、シートリング２１が移動可能に構成され、撮像ベース５７が向き変更可能に構成されていてもよい。あるいは、シートリング２１又は撮像ベース５７の一方が完全に固定され、他方が移動可能かつ向き変更可能に構成されていてもよい。あるいは、シートリング２１が平面移動（前後方向２及び左右方向３に沿った移動）及び向き変更可能に構成され、撮像ベース５７が上下動可能に構成されていてもよい。 [1-9. Modifications of this embodiment]
In the above-described embodiment, the seat rotation mechanism 51 can change the orientation of the seat ring 21, and the camera movement mechanism 52 can move the imaging base 57 (the side imaging unit 30 and the top imaging unit 40) in the up-down direction 1, the front-back direction 2, and the left-right direction 3. However, the seat ring 21 and the imaging base 57 may be configured to be movable relative to each other and change their orientation, and which one may move and which one may change its orientation. For example, the seat ring 21 may be configured to be movable, and the imaging base 57 may be configured to be changeable in orientation. Alternatively, one of the seat ring 21 or the imaging base 57 may be completely fixed, and the other may be configured to be movable and changeable in orientation. Alternatively, the seat ring 21 may be configured to be movable in a plane (movement along the front-back direction 2 and the left-right direction 3) and changeable in orientation, and the imaging base 57 may be configured to be movable up and down.

また、上述した実施形態は、制御部６０が、第１側面５及び第２側面６の複数の評価用画像から結合画像ＣＩ１をそれぞれ生成するものであった。しかしながら、制御部６０は、結合画像ＣＩ１を生成することなく、複数の評価用画像のフォーカス領域ＦＲ１，ＦＲ２，ＦＲ３をそれぞれ評価することで、第１側面５及び第２側面６の異常を評価してもよい。 In the above-described embodiment, the control unit 60 generates the combined image CI1 from multiple evaluation images of the first side 5 and the second side 6. However, the control unit 60 may evaluate abnormalities in the first side 5 and the second side 6 by evaluating the focus regions FR1, FR2, and FR3 of the multiple evaluation images, respectively, without generating the combined image CI1.

また、上述した実施形態は、第１撮像装置３１、第２撮像装置３２、及び上面撮像装置４１が撮像ベース５７によって支持され、カメラ移動機構５２によって一体に移動可能な物であった。しかしながら、側面撮像部３０は、撮像ベース５７によって支持されたさらに多くの撮像装置を備えていてもよく、例えば４つの撮像装置によってチップ４の４側面を同時に撮像可能な物であってもよい。あるいは、側面撮像部３０は、第１撮像装置３１のみを備えていてもよく、シート回転機構５１がチップ４の向きを変更することで、複数回に亘って異なる側面を撮像する物であってもよい。また、チップ４の上面の評価が不要な場合には、上面撮像部４０（上面撮像装置４１）は省略されてもよく、第１撮像装置３１及び第２撮像装置３２が生成する画像に基づいて、第１撮像装置３１及び第２撮像装置３２とチップ４との相対位置及び向きの調整が行われてもよい。 In the above-described embodiment, the first imaging device 31, the second imaging device 32, and the top surface imaging device 41 are supported by the imaging base 57 and can be moved together by the camera movement mechanism 52. However, the side surface imaging unit 30 may be provided with more imaging devices supported by the imaging base 57, and may be capable of simultaneously imaging four sides of the chip 4 using, for example, four imaging devices. Alternatively, the side surface imaging unit 30 may be provided with only the first imaging device 31, and may be capable of imaging different sides multiple times by changing the orientation of the chip 4 using the sheet rotation mechanism 51. In addition, if evaluation of the top surface of the chip 4 is not required, the top surface imaging unit 40 (top surface imaging device 41) may be omitted, and the relative positions and orientations of the first imaging device 31 and the second imaging device 32 and the chip 4 may be adjusted based on the images generated by the first imaging device 31 and the second imaging device 32.

［２．第２の実施形態］
以下、本発明の第２の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。なお、以下の説明において、第１の実施形態と同様の内容については記載を省略し、異なる点についてのみ記載する。また、第１の実施形態のものと同様の構成要素については同じ参照符号を付すものとする。 [2. Second embodiment]
A second embodiment of the present invention will be described below. Note that the embodiment described below is merely one example of the present invention, and it goes without saying that the embodiment of the present invention can be modified as appropriate without changing the gist of the present invention. Note that in the following description, the same contents as those in the first embodiment will be omitted, and only the differences will be described. Also, the same reference symbols will be used for the same components as those in the first embodiment.

図１０に示されるように、本実施形態における外観検査装置７０は、例えばチップ４の搬送過程において、検査台７１に一時的に載置されたチップ４を撮像し、その異常を評価する物である。検査台７１に同時に載置されるチップ４の数は限られるため、一般に検査台７１の外径は第１の実施形態におけるシートリング２１よりも小さい。そのため、検査台７１に干渉することなく、側面撮像装置７２をチップ４と同じ高さ位置に配することができる。チップ４の側面を正面から撮像するため、側面撮像装置７２の光軸Ｌ３がチップ４と同じ高さに位置して検査台７１の上面に沿うように、側面撮像装置７２の位置及び向きが調整されている。 As shown in FIG. 10, the appearance inspection device 70 in this embodiment images the chip 4 temporarily placed on the inspection table 71, for example, during the chip 4 transport process, and evaluates the chip 4 for abnormalities. Since the number of chips 4 simultaneously placed on the inspection table 71 is limited, the outer diameter of the inspection table 71 is generally smaller than the seat ring 21 in the first embodiment. Therefore, the side image capturing device 72 can be placed at the same height as the chip 4 without interfering with the inspection table 71. To capture an image of the side of the chip 4 from the front, the position and orientation of the side image capturing device 72 are adjusted so that the optical axis L3 of the side image capturing device 72 is at the same height as the chip 4 and aligned along the top surface of the inspection table 71.

上面撮像装置４１は、チップ４の上面を撮像する物である。側面撮像装置７２及び上面撮像装置４１は、上下方向１、前後方向２、及び左右方向３に沿って移動可能である。これにより、側面撮像装置７２及び上面撮像装置４１とチップ４とは相対位置が調整可能とされている。また、検査台７１は、上下方向１に沿った軸線周りに回転可能とされている。これにより、側面撮像装置７２及び上面撮像装置４１とチップ４とは相対的な向きが調整可能とされている。側面撮像装置７２及び上面撮像装置を移動させる機構には、第１の実施形態におけるカメラ移動機構５２と同様の構成を使用可能である。検査台７１を回転させる機構には、第１の実施形態におけるシート回転機構５１と同様の構成を使用可能である。チップ４の撮像時、制御部６０は、上面撮像装置４１及び側面撮像装置７２がチップ４を撮像できるように、上面撮像装置４１及び側面撮像装置７２とチップ４との相対位置及び向きを調整する。以下で、特にチップ４の向きの調整について詳細に説明する。 The top surface imaging device 41 is an object that images the top surface of the chip 4. The side surface imaging device 72 and the top surface imaging device 41 can move along the up-down direction 1, the front-back direction 2, and the left-right direction 3. This allows the relative positions of the side surface imaging device 72 and the top surface imaging device 41 and the chip 4 to be adjusted. The inspection table 71 can also rotate around an axis along the up-down direction 1. This allows the relative orientations of the side surface imaging device 72 and the top surface imaging device 41 and the chip 4 to be adjusted. A mechanism for moving the side surface imaging device 72 and the top surface imaging device can use a configuration similar to the camera movement mechanism 52 in the first embodiment. A mechanism for rotating the inspection table 71 can use a configuration similar to the sheet rotation mechanism 51 in the first embodiment. When imaging the chip 4, the control unit 60 adjusts the relative positions and orientations of the top surface imaging device 41 and the side surface imaging device 72 and the chip 4 so that the top surface imaging device 41 and the side surface imaging device 72 can image the chip 4. The adjustment of the orientation of the chip 4 will be described in detail below.

上述したように側面撮像装置７２の光軸Ｌ３が検査台７１の上面に沿うように調整されているため、図１０に示されるような側方からの平面視においては、側面撮像装置７２の光軸Ｌ３とチップ４の側面とは概ね直交する。一方で、図１１に破線で示されるように、上方からの平面視においては、側面撮像装置７２の光軸Ｌ３とチップ４の側面とが為す角θ３は、チップ４が検査台７１に載置される向きに応じて都度変化する。制御部６０は、検査台７１を回転させることで、上方からの平面視においても側面撮像装置７２の光軸Ｌ３とチップ４の側面とが直交するように（即ち角θ３が９０°となるように）、チップ４の向きを調整する。向き調整後のチップ４が図１１に実線で表されている。 As described above, the optical axis L3 of the side imager 72 is adjusted to be aligned with the upper surface of the inspection table 71, so that in a plan view from the side as shown in FIG. 10, the optical axis L3 of the side imager 72 and the side of the chip 4 are generally perpendicular to each other. On the other hand, as shown by the dashed line in FIG. 11, in a plan view from above, the angle θ3 between the optical axis L3 of the side imager 72 and the side of the chip 4 changes each time depending on the orientation of the chip 4 placed on the inspection table 71. The control unit 60 rotates the inspection table 71 to adjust the orientation of the chip 4 so that the optical axis L3 of the side imager 72 and the side of the chip 4 are perpendicular to each other (i.e., the angle θ3 is 90°) even in a plan view from above. The chip 4 after the orientation adjustment is shown by a solid line in FIG. 11.

上面撮像装置４１及び側面撮像装置７２とチップ４との相対位置及び向きの調整後、制御部６０は、上面撮像装置４１及び側面撮像装置７２にチップ４を撮像させ、チップ４の上面及び側面の評価用画像を生成する。その際、制御部６０は、側面撮像装置７２の撮像範囲を固定した状態で焦点距離を微小ピッチずつ変化させ、チップ４の側面全体を複数回撮像させる。つまり、チップ４の側面については複数の評価用画像を生成する。ここでは、１０回の撮像により、１０の評価用画像Ｉ１～Ｉ１０（図１２参照。ただしＩ６～Ｉ１０は省略。）が生成されたものとして説明を行う。 After adjusting the relative positions and orientations of the top surface imaging device 41 and side surface imaging device 72 and the chip 4, the control unit 60 causes the top surface imaging device 41 and side surface imaging device 72 to image the chip 4 and generate evaluation images of the top and side surfaces of the chip 4. In this case, the control unit 60 changes the focal length by small increments while keeping the imaging range of the side surface imaging device 72 fixed, and causes the entire side surface of the chip 4 to be imaged multiple times. In other words, multiple evaluation images are generated for the side surface of the chip 4. Here, the explanation will be given assuming that 10 evaluation images I1 to I10 (see FIG. 12, but I6 to I10 are omitted) are generated by imaging 10 times.

図１２に示されるように、制御部６０は、チップ４の側面を撮像して得られた複数の評価用画像Ｉ１～Ｉ１０それぞれに対して、複数の評価領域ＥＲ１，ＥＲ２，ＥＲ３を設定する。評価領域ＥＲ１，ＥＲ２，ＥＲ３は、評価用画像を横方向に分割するように並んで設定された領域であり、隣接する評価領域ＥＲ１，ＥＲ２，ＥＲ３は一部が重複している。全ての評価用画像Ｉ１～Ｉ１０に対して同じ位置及び範囲に評価領域ＥＲ１，ＥＲ２，ＥＲ３が設定される。各評価領域ＥＲ１，ＥＲ２，ＥＲ３の位置及び範囲をどのように設定するかについては、作業者によって事前に設定され、設定値がＥＥＰＲＯＭ６３に記憶されていてもよいし、側面撮像装置７２が生成した画像から判断されるチップ４の側面のサイズに応じて制御部６０が決定してもよい。また、本実施形態では評価領域ＥＲ１，ＥＲ２，ＥＲ３が３つである例を説明するが、各評価用画像Ｉ１～Ｉ１０はさらに多くの評価領域に分けられてもよい。 As shown in FIG. 12, the control unit 60 sets multiple evaluation areas ER1, ER2, ER3 for each of the multiple evaluation images I1 to I10 obtained by imaging the side of the chip 4. The evaluation areas ER1, ER2, ER3 are areas set side by side so as to divide the evaluation image horizontally, and adjacent evaluation areas ER1, ER2, ER3 partially overlap. The evaluation areas ER1, ER2, ER3 are set in the same position and range for all evaluation images I1 to I10. The position and range of each evaluation area ER1, ER2, ER3 may be set in advance by the operator and the set value may be stored in the EEPROM 63, or the control unit 60 may determine it according to the size of the side of the chip 4 determined from the image generated by the side image capture device 72. In addition, in this embodiment, an example in which there are three evaluation areas ER1, ER2, ER3 will be described, but each evaluation image I1 to I10 may be divided into more evaluation areas.

続けて、制御部６０は、全ての評価用画像Ｉ１～Ｉ１０の各評価領域ＥＲ１，ＥＲ２，ＥＲ３についてそれぞれ鮮明度を評価する。そして、各評価領域ＥＲ１，ＥＲ２，ＥＲ３それぞれについて、全ての評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高い（ピントが合った）評価用画像を決定する。制御部６０は、全ての評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高い評価領域ＥＲ１，ＥＲ２，ＥＲ３を結合し、結合画像ＣＩ２を生成する。この処理の一例を以下に説明する。 The control unit 60 then evaluates the sharpness of each of the evaluation areas ER1, ER2, and ER3 of all of the evaluation images I1 to I10. Then, for each of the evaluation areas ER1, ER2, and ER3, the evaluation image with the highest sharpness (best focus) among all of the evaluation images I1 to I10 is determined. The control unit 60 combines the evaluation areas ER1, ER2, and ER3 with the highest sharpness among all of the evaluation images I1 to I10 to generate a combined image CI2. An example of this process is described below.

例えば、鮮明度の評価の結果、評価領域ＥＲ１については評価用画像Ｉ３、評価領域ＥＲ２については評価用画像Ｉ７、評価領域ＥＲ３については評価用画像Ｉ１０の鮮明度が最も高かったとする。この場合、制御部６０は、評価用画像Ｉ３の評価領域ＥＲ１と評価用画像Ｉ７の評価領域ＥＲ２と評価用画像Ｉ１０の評価領域ＥＲ３とをそれぞれ切り出し、これらを対応する相対位置において結合し、結合画像ＣＩ２（図１３）を生成する。このとき、隣接する評価領域ＥＲ１，ＥＲ２，ＥＲ３が重複する重複領域ＤＥ３，ＤＥ４においては、重複する２つの評価領域の何れか一方の画素の輝度値を結合画像ＣＩ２の対応する画素の輝度値としてもよい。あるいは、重複する２つの評価領域の対応する画素の輝度値を平均した値を結合画像ＣＩ２の対応する画素の輝度値としてもよい。結合画像ＣＩ２の生成の後、制御部６０は、チップ４の上面の評価用画像からチップ４の上面の異常を評価し、結合画像ＣＩ２からチップ４の側面の異常を評価する。この評価については第１の実施形態と同様であるため省略する。 For example, the evaluation results show that the evaluation image I3 has the highest clarity for the evaluation area ER1, the evaluation image I7 for the evaluation area ER2, and the evaluation image I10 for the evaluation area ER3. In this case, the control unit 60 cuts out the evaluation area ER1 of the evaluation image I3, the evaluation area ER2 of the evaluation image I7, and the evaluation area ER3 of the evaluation image I10, respectively, and combines them at the corresponding relative positions to generate a combined image CI2 (FIG. 13). At this time, in the overlapping areas DE3 and DE4 where the adjacent evaluation areas ER1, ER2, and ER3 overlap, the brightness value of one of the pixels in the two overlapping evaluation areas may be set as the brightness value of the corresponding pixel in the combined image CI2. Alternatively, the average value of the brightness values of the corresponding pixels in the two overlapping evaluation areas may be set as the brightness value of the corresponding pixel in the combined image CI2. After generating the combined image CI2, the control unit 60 evaluates the upper surface of the chip 4 for abnormalities from the evaluation image of the upper surface of the chip 4, and evaluates the side surface of the chip 4 for abnormalities from the combined image CI2. This evaluation is omitted because it is the same as in the first embodiment.

なお、本実施形態において、結合画像ＣＩ２を生成することは必須ではなく、評価領域ＥＲ１，ＥＲ２，ＥＲ３それぞれについて、複数の評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高いものを使用してチップ４の側面の異常を評価してもよい。また、本実施形態において、第１の実施形態と同様に、チップ４の側面を撮像する撮像装置を複数設けることでチップ４の複数の側面を同時に撮像してもよい。 In this embodiment, it is not essential to generate a combined image CI2, and an abnormality in the side of the chip 4 may be evaluated using the image with the highest definition among the multiple evaluation images I1 to I10 for each of the evaluation areas ER1, ER2, and ER3. Also, in this embodiment, similar to the first embodiment, multiple imaging devices that image the side of the chip 4 may be provided to simultaneously image multiple side surfaces of the chip 4.

チップ４の側面全体にピントが合った撮像を行うためには、チップ４（検査台７１）の向きの調整を正確に行う必要があるが、チップ４の搬送中に限られた時間の中でこれを行うことは困難な場合がある。また、チップ４の側面に欠け等があり平坦でない場合、チップ４の向きを調整してもその側面全体にピントが合った撮像を行うことが困難な場合もある。本実施形態においては、評価領域ＥＲ１，ＥＲ２，ＥＲ３それぞれについて、複数の評価用画像Ｉ１～Ｉ１０の中で最も鮮明度が高いものを使用してチップ４の側面の異常を評価するため、上記のような状況においても、複雑な機構を必要とせず、精細な撮像画像に基づいてワークの異常を正確に評価することが可能となる。 To capture an image in focus of the entire side of the chip 4, it is necessary to accurately adjust the orientation of the chip 4 (inspection table 71), but this may be difficult to do within the limited time while the chip 4 is being transported. Also, if the side of the chip 4 is not flat due to chipping or the like, it may be difficult to capture an image in focus of the entire side even if the orientation of the chip 4 is adjusted. In this embodiment, for each of the evaluation areas ER1, ER2, and ER3, the image with the highest definition among the multiple evaluation images I1 to I10 is used to evaluate abnormalities in the side of the chip 4. Therefore, even in the above-mentioned situation, it is possible to accurately evaluate abnormalities in the workpiece based on fine captured images without requiring a complex mechanism.

４・・・チップ（ワーク）
５・・・第１側面
６・・・第２側面
１０・・・外観検査装置
２０・・・シート支持部（支持部）
３０・・・側面撮像部
３１・・・第１撮像装置
３２・・・第２撮像装置
４０・・・上面撮像部
５０・・・撮像駆動部
６０・・・制御部（評価部）
７０・・・外観検査装置
７１・・・検査台（支持部）
７２・・・側面撮像装置
ＣＩ１，ＣＩ２・・・結合画像
ＥＲ１，ＥＲ２，ＥＲ３・・・評価領域 4...Chip (work)
5: First side surface 6: Second side surface 10: Visual inspection device 20: Sheet support portion (support portion)
30: Side imaging section 31: First imaging device 32: Second imaging device 40: Top imaging section 50: Imaging driving section 60: Control section (evaluation section)
70: Visual inspection device 71: Inspection table (support part)
72 ... Side image pickup device CI1, CI2 ... Combined image ER1, ER2, ER3 ... Evaluation area

Claims

ワークの底面を支持する支持面を有した支持部と、
前記ワークの側面における異なる領域にピントが合った複数回の撮像を実行して複数の評価用画像を生成する側面撮像部と、
前記側面撮像部と前記支持部とを、前記ワークの側面に沿って相対移動させる撮像駆動部と、
複数の前記評価用画像に基づいて前記ワークの異常を評価する評価部と、を備え、
前記側面撮像部は、前記ワークの第１側面を撮像する第１撮像装置、及び前記ワークの第２側面を撮像する第２撮像装置を有し、
前記撮像駆動部は、前記第１撮像装置及び前記第２撮像装置を一体として、前記第１側面及び前記第２側面のいずれにも沿う方向に向けて、前記支持部に対して相対移動させ、
前記第１撮像装置は、前記相対移動の前後において前記第１側面をそれぞれ撮像して、複数の前記評価用画像を生成し、
前記第２撮像装置は、前記相対移動の前後において前記第２側面をそれぞれ撮像して、複数の前記評価用画像を生成する、外観検査装置。 A support portion having a support surface that supports a bottom surface of the workpiece;
A side image capturing unit that captures images of the side surface of the workpiece multiple times with different areas in focus to generate multiple evaluation images;
An imaging drive unit that moves the side imaging unit and the support unit relatively along a side surface of the workpiece;
An evaluation unit that evaluates an abnormality of the work based on a plurality of the evaluation images ,
The side surface imaging unit has a first imaging device that images a first side surface of the workpiece and a second imaging device that images a second side surface of the workpiece,
the imaging drive unit moves the first imaging device and the second imaging device together relative to the support unit in a direction along both the first side surface and the second side surface,
the first imaging device captures images of the first side surface before and after the relative movement to generate a plurality of evaluation images;
The second imaging device images the second side surface before and after the relative movement, respectively, to generate a plurality of evaluation images .

前記第１撮像装置又は前記第２撮像装置は、前記評価用画像のための撮像を行う前に、前記ワークの前記第１側面又は前記第２側面全体を撮像して前記側面の全体画像を生成し、当該全体画像から判断される前記ワークのサイズに基づいて、前記評価用画像のための前記側面撮像部による撮像回数、又は当該撮像時における前記側面撮像部と前記支持部との相対位置が決定される、請求項１に記載の外観検査装置。 2. The appearance inspection device of claim 1, wherein the first imaging device or the second imaging device images the entire first side surface or the entire second side surface of the workpiece to generate an overall image of the side surface before capturing an image for the evaluation image, and the number of images captured by the side imaging unit for the evaluation image, or the relative position of the side imaging unit and the support unit during the imaging, is determined based on the size of the workpiece determined from the overall image.

前記第１撮像装置及び前記第２撮像装置は、前記支持面と間隔を隔てて配置され、前記ワークの側面を斜め方向から撮像する、請求項１に記載の外観検査装置。 The visual inspection device according to claim 1 , wherein the first imaging device and the second imaging device are disposed at an interval from the support surface and capture an image of the side surface of the workpiece from an oblique direction.

前記ワークの上面を撮像する上面撮像部をさらに備え、
前記撮像駆動部は、前記上面撮像部と前記側面撮像部とを一体に、前記支持部に対して相対移動させ、
前記撮像駆動部は、前記上面撮像部が生成した画像に基づいて前記ワークに対する前記側面撮像部の相対位置又は向きを調整する、請求項１に記載の外観検査装置。 Further comprising an upper surface imaging unit for imaging the upper surface of the workpiece,
the imaging drive unit moves the top imaging unit and the side imaging unit together relative to the support unit,
The visual inspection device according to claim 1 , wherein the imaging driver adjusts a relative position or orientation of the side imaging unit with respect to the workpiece based on the image generated by the top imaging unit.

前記評価部は、複数の前記評価用画像を、前記相対移動の方向と対応する方向に所定の画素分ずらして結合した結合画像を生成し、当該結合画像に基づいて前記ワークの異常を評価する、請求項１から４のいずれかに記載の外観検査装置。 An appearance inspection device as described in any one of claims 1 to 4, wherein the evaluation unit generates a combined image by combining multiple evaluation images by shifting them by a predetermined number of pixels in a direction corresponding to the direction of the relative movement, and evaluates abnormalities of the work based on the combined image.

前記評価部が複数の前記評価用画像を結合する際の画素のずれ量が、各撮像の間における前記相対移動の量に基づいて決定される、請求項５に記載の外観検査装置。 6. The visual inspection apparatus according to claim 5 , wherein an amount of pixel shift when the evaluation section combines the plurality of evaluation images is determined based on an amount of the relative movement between each image capture.

前記評価部は、前記結合画像における複数の前記評価用画像が重なる領域の画素の輝度値として、各評価用画像の対応する画素の輝度値の平均値を使用する、請求項５に記載の外観検査装置。
6. The visual inspection apparatus according to claim 5 , wherein the evaluation section uses an average value of luminance values of corresponding pixels in each of the evaluation images as the luminance value of a pixel in an area in the combined image where the plurality of evaluation images overlap.