JP6027717B2 - Visual inspection apparatus provided with gaze position specifying means - Google Patents

Visual inspection apparatus provided with gaze position specifying means Download PDF

Info

Publication number
JP6027717B2
JP6027717B2 JP2014500772A JP2014500772A JP6027717B2 JP 6027717 B2 JP6027717 B2 JP 6027717B2 JP 2014500772 A JP2014500772 A JP 2014500772A JP 2014500772 A JP2014500772 A JP 2014500772A JP 6027717 B2 JP6027717 B2 JP 6027717B2
Authority
JP
Japan
Prior art keywords
image
defective
line
inspection
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014500772A
Other languages
Japanese (ja)
Other versions
JPWO2013124958A1 (en
Inventor
昌年 笹井
昌年 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mega Trade Corp
Original Assignee
Mega Trade Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mega Trade Corp filed Critical Mega Trade Corp
Publication of JPWO2013124958A1 publication Critical patent/JPWO2013124958A1/en
Application granted granted Critical
Publication of JP6027717B2 publication Critical patent/JP6027717B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、例えば、プリント基板のパッドや配線パターンなどの形成状態を目視で検査できるようにした目視検査装置に関するものであり、より詳しくは、自動検査装置で検査された不良画像をディスプレイに表示させて目視で検査させるようにした目視検査装置に関するものである。   The present invention relates to a visual inspection apparatus capable of visually inspecting the formation state of, for example, pads and wiring patterns on a printed circuit board, and more specifically, displays a defective image inspected by an automatic inspection apparatus on a display. The present invention relates to a visual inspection apparatus that is visually inspected.

一般に、プリント基板のパッドや配線パターンなどの形成状態を検査する場合、カメラでプリント基板の画像を取得し、あらかじめ記憶手段に記憶されていた基準データと、カメラによって取得されたプリント基板の画像に基づく情報とを比較することによって検査を行う。このとき、不良と判定されたプリント基板については、その後、自動検査装置で取得された画像を目視検査装置のディスプレイに表示させ、検査員によって検査させるようにしている（特許文献１など）。   Generally, when inspecting the formation state of a printed circuit board pad or wiring pattern, a printed circuit board image is acquired by a camera, and the reference data stored in the storage unit in advance and the printed circuit board image acquired by the camera are used. Test by comparing with the information based on. At this time, for the printed circuit board determined to be defective, the image acquired by the automatic inspection apparatus is then displayed on the display of the visual inspection apparatus and inspected by an inspector (Patent Document 1, etc.).

特開２００７−６４６４２号公報JP 2007-64642 A

ところで、自動検査装置で厳格に検査しようにすると、不良と判断される箇所が多くなってしまう一方、検査基準を甘くすると不良と判断されるべきものが良品と判断されてしまう。このため、検査基準をある程度厳しくしておき、その後、検査員に目視で判断させるようにするのが好ましいが、それでも不良と判断された箇所が多くなってしまうと、検査員による検査漏れを生じてします可能性がある。   By the way, if an automatic inspection apparatus tries to perform a strict inspection, there are many places where it is determined to be defective. On the other hand, if the inspection standard is loosened, what is determined to be defective is determined to be a non-defective product. For this reason, it is preferable to make the inspection standard strict to some extent, and then let the inspector make a visual decision afterwards. However, if there are still many points judged to be defective, an inspection omission by the inspector will occur. There is a possibility.

そこで、本発明は、自動検査装置で不良と判定された画像を表示させて検査員に目視検査させる場合、検査員による画像の見落としをなくすようにした目視検査装置を提供することを目的とする。   SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a visual inspection apparatus that eliminates an oversight of an image by an inspector when displaying an image determined to be defective by an automatic inspection apparatus and causing an inspector to visually inspect the image. .

すなわち、本発明は上記課題を解決するために、検査対象物から画像を取得する画像取得手段と、当該画像取得手段によって取得された画像に基づいて検査対象物の形成状態の良否を判定する判定手段と、当該判定手段によって不良と判定された検査対象物の画像を記憶する記憶手段とを備えてなる自動検査装置に関連して設けられ、前記不良と判定された検査対象物の画像に基づいて当該検査対象物の良否を検査者に目視で判定させる目視検査装置において、前記記憶手段に記憶された不良と判定された検査対象物の画像を読み出し、不良箇所を含む部分画像を基準画像とともにディスプレイに表示させる不良画像表示手段と、当該表示された不良画像を目視検査する検査者のディスプレイ上における視線の位置を特定する視線位置特定手段と、当該視線位置特定手段によって不良画像の領域に視線が位置したことおよび基準画像と不良画像との間を視線が横切ることを条件に目視検査の良否結果を受け付けて記憶させる目視結果記憶手段とを設けるようにしたものである。 That is, in order to solve the above-described problems, the present invention determines an image acquisition unit that acquires an image from an inspection target, and determines whether the formation state of the inspection target is acceptable based on the image acquired by the image acquisition unit. Based on the image of the inspection object determined to be defective, provided in association with an automatic inspection apparatus comprising means and a storage means for storing an image of the inspection object determined to be defective by the determination means In the visual inspection apparatus that allows the inspector to visually determine whether the inspection object is good or bad, the image of the inspection object determined to be defective stored in the storage unit is read , and a partial image including the defective part is read together with the reference image Defective image display means to be displayed on the display, and sight line position specifying means for specifying the position of the sight line on the display of the inspector who visually inspects the displayed defective image When the visual result storage means for storing accepts the acceptability results of visual inspection on condition that crosses the line of sight between the line-of-sight position specifying means region poor and it and the reference image line of sight is positioned at the image of the defective image by Is provided.

また、このような発明において、基準画像と不良画像との間を視線が横切る回数、および、目視検査の良否結果を記憶させるようにしたものである。In such an invention, the number of times the line of sight crosses between the reference image and the defective image, and the result of the visual inspection are stored.

本発明によれば、基準画像と対比しながら不良画像を検査したと推測することができるため、より正確に検査していると推測することができるようになる。 According to the present invention, it can be estimated that the defective image is inspected while comparing with the reference image, so that it can be estimated that the defective image is inspected more accurately.

本発明の一実施の形態におけるプリント基板検査システムの概略図1 is a schematic diagram of a printed circuit board inspection system according to an embodiment of the present invention. 同形態における機能ブロック図Functional block diagram in the same form 同形態における目視検査装置の画面と視線の位置を示す図The figure which shows the screen of the visual inspection apparatus in the same form, and the position of a gaze 同形態における記憶手段および目視結果記憶手段に記憶された不良情報を示す図The figure which shows the defect information memorize | stored in the memory | storage means in the same form, and the visual result memory | storage means 同形態における処理のフローチャートを示す図The figure which shows the flowchart of the process in the form 他の実施形態における目視検査装置の検査フローを示す図The figure which shows the inspection flow of the visual inspection apparatus in other embodiment. 他の実施形態における記憶手段および目視結果記憶手段に記憶された不良情報を示す図The figure which shows the defect information memorize | stored in the memory | storage means in other embodiment, and the visual result memory | storage means

以下、本発明の一実施の形態について図面を参照しながら説明する。この実施の形態のプリント基板検査システム１は、図１に示すように、自動検査装置２と目視検査装置３を備えて構成されるものであって、自動検査装置２でプリント基板５の形成状態を自動で検査し、そこで不良と判断されたプリント基板５について、目視検査装置３を用いて検査員に目視で検査させるようにしたものである。そして、特徴的には、図３に示すように、不良箇所を含む部分画像と基準画像を目視検査装置３のディスプレイ４に表示させるとともに、ディスプレイ４上における検査員の視線Ｇの位置を特定し、検査員の視線Ｇの位置が不良画像の領域に視線が位置したこと、および、基準画像と不良画像との間を視線Ｇが横切ることを条件に目視検査の結果を受け付けるようにしたものである。以下、本実施の形態におけるプリント基板検査システム１の構成について、図１の機構概略図や図２の機能ブロック図などを用いて詳細に説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. As shown in FIG. 1, the printed circuit board inspection system 1 according to this embodiment includes an automatic inspection device 2 and a visual inspection device 3, and the automatic inspection device 2 forms a printed circuit board 5. Is automatically inspected, and the printed circuit board 5 determined to be defective is visually inspected by the inspector using the visual inspection device 3. And characteristically, as shown in FIG. 3, while displaying the partial image and reference | standard image containing a defect location on the display 4 of the visual inspection apparatus 3, the position of the gaze G of an inspector on the display 4 is pinpointed. The result of visual inspection is accepted on the condition that the line of sight G of the inspector is located in the area of the defective image and that the line of sight G crosses between the reference image and the defective image. is there. Hereinafter, the configuration of the printed circuit board inspection system 1 according to the present embodiment will be described in detail with reference to the schematic diagram of the mechanism in FIG. 1, the functional block diagram in FIG.

まず、プリント基板検査システム１の自動検査装置２は、図１に示すように、スタッカに集積されたプリント基板５を一枚ずつピックアップして自動で検査できるようにしたものであって、図２に示すような画像取得手段２１や記憶手段２２、判定手段２３などを備えている。   First, as shown in FIG. 1, the automatic inspection apparatus 2 of the printed circuit board inspection system 1 picks up the printed circuit boards 5 collected in the stacker one by one and automatically inspects them. The image acquisition means 21, the storage means 22, the determination means 23, etc. are provided.

このうち、画像取得手段２１は、ステージ２４に載置されたプリント基板５に光を照射する照明装置２５や、その照射された光のうちプリント基板５によって反射された光を受光する受光装置２６などによって構成され、照明装置２５から斜め方向から光を照射させて、その反射光を受光装置２６で受光する。   Among these, the image acquisition means 21 includes an illumination device 25 that irradiates light onto the printed circuit board 5 placed on the stage 24, and a light receiving device 26 that receives light reflected by the printed circuit board 5 among the irradiated light. The illumination device 25 irradiates light from an oblique direction, and the reflected light is received by the light receiving device 26.

一方、記憶手段２２は、あらかじめ基準となるプリント基板５の画像や、検査に際して必要となる基準データ（例えば、検査領域内の平均輝度やパターンの幅などのデータ）などを記憶させるもので、また、判定手段２３によって良否判定された結果を記憶させる。ここで、良否判定された結果を記憶させる場合、図４に示すように、不良と判定された箇所の座標のほか、その不良原因、その部分の拡大画像をも記憶させておく。なお、ここでは不良箇所の拡大画像を記憶させるようにしているが、先の画像取得手段２１で取得された画像から事後的にその不良箇所の画像を切り出すようにしてもよい。   On the other hand, the storage means 22 stores an image of the printed circuit board 5 serving as a reference in advance, reference data necessary for inspection (for example, data such as average brightness and pattern width in the inspection area), and the like. The result determined by the determination means 23 is stored. Here, when the result determined to be good or bad is stored, as shown in FIG. 4, in addition to the coordinates of the portion determined to be defective, the cause of the failure and the enlarged image of the portion are also stored. Although an enlarged image of the defective part is stored here, the image of the defective part may be cut out from the image acquired by the previous image acquisition unit 21 later.

判定手段２３は、画像取得手段２１によって取得された画像に基づく情報と、あらかじめ記憶手段２２に記憶されていた基準データとを比較することによって検査対象物のプリント基板５の良否を判定する。この判定方法については、種々の方法を用いることができ、例えば、検査対象物を矩形領域に細かく分割して平均輝度を算出し、この矩形領域に対応する平均輝度と比較することによってその領域の良否を判定する方法や、あるいは、画素毎に良否を判定を行う方法などを用いることができる。この画素毎に良否を判定する方法については、例えば、本出願人が提案する日本国特許公開公報第２００６−１７０８９０号に示されるように、検査対象物のある座標位置の画素の輝度を読み出すとともに、基準画像のその座標位置から所定距離内にその輝度から許容輝度幅内の輝度の画素が存在するかを判断し、そのような輝度の画素が存在している場合は、検査対象物のその画素を良画素と判定する方法などを用いる。もちろん、これ以外の方法によってプリント基板５の良否を判定してもよく、不良箇所の座標位置を特定して記憶手段２２に記憶させるようにしておく。   The determination unit 23 determines whether the inspection target printed circuit board 5 is acceptable by comparing information based on the image acquired by the image acquisition unit 21 with reference data stored in advance in the storage unit 22. For this determination method, various methods can be used. For example, the inspection object is subdivided into rectangular areas, the average luminance is calculated, and the average luminance corresponding to the rectangular area is compared with the average luminance of the area. A method for determining pass / fail or a method for determining pass / fail for each pixel can be used. As for the method for determining pass / fail for each pixel, for example, as shown in Japanese Patent Publication No. 2006-170890 proposed by the present applicant, the luminance of a pixel at a certain coordinate position of the inspection object is read out. Determining whether there is a pixel having a luminance within the allowable luminance range from the luminance within a predetermined distance from the coordinate position of the reference image, and if there is a pixel having such a luminance, A method of determining a pixel as a good pixel is used. Of course, the quality of the printed circuit board 5 may be determined by other methods, and the coordinate position of the defective portion is specified and stored in the storage unit 22.

そして、このように不良と判定されたプリント基板５については、分別手段によって、不良と判定されたプリント基板５と良品と判定されたプリント基板５とに分けて回収部２７に回収される。   Then, the printed circuit board 5 determined to be defective in this way is collected by the collection unit 27 into a printed circuit board 5 determined to be defective and a printed circuit board 5 determined to be non-defective by the sorting unit.

一方、目視検査装置３は、この自動検査装置２と関連して設けられる。ここで、「関連して設けられる」とは、目視検査装置３と一つの筐体内に一体的に設けられる場合の他、ネットワークなどの通信回線網を通じて設けられる場合や、自動検査装置２の記憶手段２２に記憶された不良情報（不良箇所の座標画像など）を記憶媒体に記憶させて、その記憶媒体から読み取るようにする場合も含むものである。   On the other hand, the visual inspection device 3 is provided in association with the automatic inspection device 2. Here, “provided in association with” means that the visual inspection device 3 and the automatic inspection device 2 may be provided in a single housing, in addition to being provided through a communication line network such as a network, or the storage of the automatic inspection device 2. It also includes a case where defect information (such as a coordinate image of a defect location) stored in the means 22 is stored in a storage medium and read from the storage medium.

検査結果読取手段３１は、このように自動検査装置２の記憶手段２２からプリント基板５の不良箇所の座標や画像などを読み取るようにする。ここで前述のように目視検査装置３と一体的に設ける場合は、その自動検査装置２の記憶手段２２から不良箇所の座標と画像を読み出し、また、ネットワークなどを介して接続されている場合は、不良箇所の座標と画像を読み出すコマンドを送出して、記憶手段２２から不良箇所の座標と画像を読み出す。また、ＣＤやＵＳＢメモリーなどを介して不良箇所の座標や画像を読み出す場合は、それらの記憶媒体を自動検査装置２に取り入れ（あるいはＵＳＢメモリーを接続し）、不良箇所の座標や画像を読み出すようにする。 As described above, the inspection result reading unit 31 reads the coordinates and images of the defective portion of the printed circuit board 5 from the storage unit 22 of the automatic inspection apparatus 2. Here, when the visual inspection apparatus 3 is provided integrally as described above, the coordinates and image of the defective portion are read from the storage means 22 of the automatic inspection apparatus 2 and are connected via a network or the like. Then, a command for reading out the coordinates and image of the defective portion is sent out, and the coordinates and image of the defective portion are read out from the storage means 22. In the case of reading the coordinates and images of the defective portion via a CD or USB memory, their storage medium (connect or USB memory over) incorporated into automatic test equipment 2 reads the coordinates and images of the defective portion Like that.

不良画像表示手段３２は、この検査結果読取手段３１によって読み取られた不良箇所の座標や画像をディスプレイ４に表示させる。ここで検査結果の画像を表示させる場合は、例えば、図３に示すように、ディスプレイ４の左側にプリント基板の全体の画像領域４２に表示するとともに、右側に検査の結果不良と判定された箇所の矩形状の画像を不良画像領域４４に複数枚表示させ、これによって作業効率を向上させるようにする。このとき、その画像内に、不良と判断された座標を丸印などのマーキング４５を付けて表示させるようにしておくとともに、その不良画像の表示されたディスプレイ４上の各矩形状の領域（x0,y0）〜(x1,y1)を抽出しておく。 The defective image display unit 32 causes the display 4 to display the coordinates and image of the defective portion read by the inspection result reading unit 31. When displaying the image of the inspection result here, for example, as shown in FIG. 3, the image is displayed on the left side of the display 4 in the entire image area 42 of the printed circuit board, and on the right side is determined to be defective as a result of the inspection. A plurality of rectangular images are displayed in the defective image area 44, thereby improving work efficiency. At this time, the coordinates determined to be defective are displayed in the image with a marking 45 such as a circle, and each rectangular area (x in the display 4 on which the defective image is displayed) is displayed. 0, y 0) previously extracted ~ the (x 1, y 1).

また、この検査対象物の画像の隣に、その検査対象物の矩形状の画像に対応した位置の基準となる基準画像を基準画像領域４３に表示させる。このときも同様に、その基準画像を表示させたディスプレイ４上の各矩形状の領域（x'0,y'0）〜(x'1,y'1)を抽出しておく。 Further, a reference image serving as a reference of a position corresponding to the rectangular image of the inspection object is displayed in the reference image area 43 next to the image of the inspection object. At this time as well, each rectangular area (x ′ 0 , y ′ 0 ) to (x ′ 1 , y ′ 1 ) on the display 4 on which the reference image is displayed is extracted.

そして、このような構成において、本実施の形態では、特徴的に、検査者の視線Ｇの位置を特定できるようにした視線位置特定手段３３を設けている。   And in such a structure, in this Embodiment, the gaze position specific | specification means 33 which enabled it to identify the position of the examiner's gaze G was provided.

この視線位置特定手段３３は、ディスプレイ４上における検査者の視線Ｇの位置を特定できるようにしたものであって、現在各種研究されている視線入力装置を用いる。この検査者の視線Ｇの位置を特定する方法としては、例えば、頭部に装着するヘッドマウントディスプレイを用いて検査者の視線の位置を特定する方法（例えば、特開平１１−１８４６２２号公報など）や、机上のディスプレイ前に設置されたカメラによって検査者の顔や目の画像を取得し、検査者の瞳孔や顔の向きなどからディスプレイ内に向けられた視線の座標位置を特定する方法（特開２００４−１６７１５２号公報など）などを用いることができるが、ここでは後者のように、ディスプレイ４前に設置されたカメラ４１によって検査者の視線の位置を特定する方法を用いるものとする。そして、この視線位置特定手段３３から、ディスプレイ４上における検査者の視線の座標位置(x,y)を出力する。   The line-of-sight position specifying means 33 can specify the position of the examiner's line of sight G on the display 4 and uses a line-of-sight input device that is currently being studied in various ways. As a method for specifying the position of the inspector's line of sight G, for example, a method for specifying the position of the inspector's line of sight using a head-mounted display attached to the head (for example, Japanese Patent Laid-Open No. 11-184622). In addition, the image of the inspector's face and eyes is acquired by a camera installed in front of the display on the desk, and the coordinate position of the line of sight directed into the display is determined from the examiner's pupil and face orientation (special However, here, as in the latter case, a method of specifying the position of the line of sight of the examiner using the camera 41 installed in front of the display 4 is used. The line-of-sight position specifying means 33 outputs the coordinate position (x, y) of the examiner's line of sight on the display 4.

目視結果受付手段３４は、まず、不良画像を表示させる領域４４（x0,y0）〜(x1,y1)を検出し、その領域４４内に検査者の視線Ｇの座標位置が存在するか否かを判定する。このとき、検査者に確実に検査させるには、あらかじめ所定の時間を決めておき、その時間以上検査者の視線Ｇがその不良画像領域４４内に位置している場合に「視認している」と判定する。ここで、「所定の時間」については、その不良画像領域４４内の不良箇所の数に応じて、例えば、不良箇所1個につき0.5秒以上（n個の場合は0.5×n秒以上）というように決めておくこともできる。そして、不良画像領域４４に視線Ｇが位置していることを条件として、検査者によるその不良箇所の目視検査結果を受け付けるようにする。すなわち、検査者がその不良画像領域４４を視認していない場合には、目視検査結果の入力を受け付けないようにする。この目視検査結果の入力を受け付ける場合、「ＯＫ」「ＮＧ」を入力するためのキーをキーボードに割り当てておき、不良箇所における目視検査の結果を受け付けて記憶させる。なお、ここでは、不良画像領域４４に視線Ｇが位置した場合に、その領域内における不良箇所の目視検査結果を受け付けるようにしているが、高精度に視線の位置を特定できる場合は、その不良箇所の所定半径内に視線Ｇが位置したことを条件に、良否検査の結果を受け付けるようにしてもよい。 The visual result receiving means 34 first detects a region 44 (x 0 , y 0 ) to (x 1 , y 1 ) for displaying a defective image, and the coordinate position of the examiner's line of sight G exists in the region 44. It is determined whether or not to do. At this time, in order to make the inspector surely inspect, a predetermined time is determined in advance, and when the inspector's line of sight G is located in the defective image area 44 for the predetermined time or more, the “inspection” is made. Is determined. Here, the “predetermined time” is, for example, 0.5 seconds or more per defective portion (0.5 × n seconds or more in the case of n) depending on the number of defective portions in the defective image area 44. You can also decide. Then, on the condition that the line of sight G is located in the defective image area 44, a visual inspection result of the defective portion by the inspector is accepted. That is, when the inspector does not visually recognize the defective image area 44, the input of the visual inspection result is not accepted. When accepting the input of the visual inspection result, keys for inputting “OK” and “NG” are assigned to the keyboard, and the result of the visual inspection at the defective portion is received and stored. Here, when the line of sight G is located in the defective image area 44, the visual inspection result of the defective part in the area is received. However, when the position of the line of sight can be identified with high accuracy, the defect The result of the pass / fail inspection may be received on the condition that the line of sight G is located within a predetermined radius of the place.

目視検査の結果を記憶させる場合、前述のように自動検査装置２と一体的に設けられている場合は、記憶手段２２にその目視検査の結果を上書きし、あるいは、インターネットなどを通じて接続されている場合は、書き替えコマンドとその検査結果を送信することで自動検査装置２の記憶手段２２の情報を書き替える。また、記憶媒体を用いて自動検査装置２の情報を読み取った場合は、その記憶媒体に目視検査の結果を書き込むようにする。また、ここでは自動検査装置２の記憶手段２２などに目視検査の結果を記憶されるようにしているが、目視検査装置３に別途新たな目視結果記憶手段３５を設けておき、そこに記憶させるようにしてもよい。なお、本発明との関係において、これらの各種記憶手段（２２、３５）が本発明の目視結果記憶手段３５に相当する。   When storing the result of the visual inspection, if it is provided integrally with the automatic inspection apparatus 2 as described above, the result of the visual inspection is overwritten in the storage means 22 or connected via the Internet or the like. In this case, the information in the storage unit 22 of the automatic inspection apparatus 2 is rewritten by transmitting the rewrite command and the inspection result. Further, when the information of the automatic inspection apparatus 2 is read using a storage medium, the result of the visual inspection is written on the storage medium. Here, the result of the visual inspection is stored in the storage means 22 of the automatic inspection apparatus 2, but a new visual result storage means 35 is separately provided in the visual inspection apparatus 3 and stored therein. You may do it. In relation to the present invention, these various storage means (22, 35) correspond to the visual result storage means 35 of the present invention.

次に、このように構成された目視検査装置３における目視検査のフローチャートを図５を用いて説明する。   Next, the flowchart of the visual inspection in the visual inspection apparatus 3 configured as described above will be described with reference to FIG.

まず、プリント基板５の形成状態を検査する場合、自動検査装置２にセットし、一枚ずつピックアップして搬送させながらそのプリント基板５の画像を取得する（ステップＳ１）。   First, when the formation state of the printed circuit board 5 is inspected, it is set in the automatic inspection apparatus 2, and an image of the printed circuit board 5 is acquired while picking up and transporting them one by one (step S1).

そして、その取得された画像に基づいて自動検査装置２でパッドやパターンなどの形成状態を自動で判断し（ステップＳ２）、不良と判断された箇所については、その箇所の座標や画像などを記憶手段２２に記憶させ（ステップＳ３）、不良品用の回収部２７に回収する（ステップＳ４）。   Then, based on the acquired image, the automatic inspection apparatus 2 automatically determines the formation state of the pad, the pattern, etc. (step S2), and stores the coordinates, image, and the like of the portion determined to be defective. The data is stored in the means 22 (step S3) and collected in the defective product collecting unit 27 (step S4).

次に、このように自動検査装置２で検査された結果に基づいて、不良箇所を目視検査する場合、自動検査装置２の記憶手段２２から不良情報を読み出し（ステップＴ１）、その不良箇所を含む小さな矩形領域の拡大画像を不良画像領域４４に表示させる（ステップＴ２）。このとき、図３に示すように、その不良画像に対応させて基準画像を表示させるとともに、プリント基板全体のどの部分をチェックしているのかが分かるように、検査対象となるプリント基板５の全体画像を表示させるようにする。   Next, when the defective portion is visually inspected based on the result of the inspection by the automatic inspection device 2 as described above, the defect information is read from the storage unit 22 of the automatic inspection device 2 (step T1), and the defective portion is included. An enlarged image of a small rectangular area is displayed in the defective image area 44 (step T2). At this time, as shown in FIG. 3, the entire printed circuit board 5 to be inspected is displayed so that the reference image is displayed in correspondence with the defective image and the portion of the entire printed circuit board is checked. Display an image.

そして、このようにディスプレイ４に全体画像や基準画像、不良画像を表示させた状態で、視線位置特定手段３３を起動させ、ディスプレイ４の前に座っている検査者の視線Ｇの位置を特定する（ステップＴ３）。この視線Ｇの位置を特定する場合、視線位置特定手段３３から視線Ｇの位置の座標をコンピューターに出力し、その視線Ｇの位置をディスプレイ４上における座標位置に変換して、ディスプレイ４上における視線Ｇの位置を特定できるようにする。   Then, in the state where the entire image, the reference image, and the defective image are displayed on the display 4 as described above, the line-of-sight position specifying unit 33 is activated to specify the position of the line of sight G of the examiner sitting in front of the display 4. (Step T3). When specifying the position of the line of sight G, the coordinates of the position of the line of sight G are output from the line-of-sight position specifying means 33 to the computer, the position of the line of sight G is converted into the coordinate position on the display 4, and the line of sight on the display 4 is displayed. The position of G can be specified.

そして、検査者の視線Ｇがディスプレイ４上における特定の矩形状の不良画像領域４４に位置した場合（ステップＴ４）、その領域の不良画像を「視認した」と判断して目視検査による良否の検査結果を受け付けるようにする（ステップＴ５）。この良否の検査結果を受け付ける場合は、目視結果記憶手段３５に記憶させるが、自動検査装置２の記憶手段２２に記憶されている不良情報を上書きするか、あるいは、目視検査装置３に独自に設けられた目視結果記憶手段３５に書き込むようにする（ステップＴ６）。そして、そのディスプレイ４に表示されたすべての不良画像について目視検査結果を書き込んだ後、次の不良画像を表示させるようにする。   When the inspector's line of sight G is located in a specific rectangular defective image area 44 on the display 4 (step T4), it is determined that the defective image in the area is “viewed” and the quality is checked by visual inspection. The result is accepted (step T5). When accepting the pass / fail inspection result, it is stored in the visual result storage means 35, but the defect information stored in the storage means 22 of the automatic inspection apparatus 2 is overwritten or provided in the visual inspection apparatus 3 independently. The written visual result storage means 35 is written (step T6). And after writing a visual inspection result about all the defective images displayed on the display 4, the next defective image is displayed.

なお、ここでは、不良画像領域４４に視線Ｇが位置した場合に「視認した」と判断して目視検査結果を入力できるようにした場合について説明したが、図６のフローチャートに示すような方法で目視検査結果を入力できるようにする。なお、図６では、目視検査装置３における処理のフローチャートのみを説明する。 Here, a case has been described in which it is determined that the user has visually recognized the line of sight G in the defective image area 44 and the visual inspection result can be input. However, the method shown in the flowchart of FIG. you can enter visual inspection results. In FIG. 6, only the flowchart of the process in the visual inspection apparatus 3 will be described.

まず、図５におけるフローチャートと同様に記憶手段２２から不良画像を読み出してディスプレイ４に表示させ、その状態で、視線位置特定手段３３を起動させ、ディスプレイ４前に座っている検査者の視線Ｇの位置を特定する（ステップＵ１〜Ｕ３）。   First, as in the flowchart in FIG. 5, a defective image is read from the storage unit 22 and displayed on the display 4. In this state, the line-of-sight position specifying unit 33 is activated, and the line of sight G of the examiner sitting in front of the display 4 is displayed. The position is specified (steps U1 to U3).

そして、検査者の視線Ｇがディスプレイ４上における不良画像領域４４と基準画像領域４３の間４６（図３参照）の仮想ラインを視線Ｇが横切ったか否かを判断し（ステップＵ４）、視線Ｇがこれらの画像の間４６を横切った場合、その不良画像を「視認した」と判断して目視検査による良否の判断結果を受け付けるようにする（ステップＵ５）。このとき、不良画像領域４４を視認するとともに、少なくとも１回でも視線Ｇが横切れば「視認した」と判断するようにしてもよく、あるいは、不良画像領域４４を視認するとともに不良箇所の個数に応じた回数だけ視線Ｇが横切ったことを条件に「視認した」と判断するようにしてもよい。そして、視線Ｇが不良画像と基準画像領域４３の間４６を横切ったことを条件に、検査員の目視検査の結果を受け付け、その結果を書き込んで記憶させるようにする（ステップＵ６）。そして、そのディスプレイ４に表示されたすべての不良画像について目視検査結果を書き込んだ後、次の不良画像を表示させるようにする。   Then, it is determined whether the line of sight G crosses the virtual line 46 (see FIG. 3) between the defective image area 44 and the reference image area 43 on the display 4 (step U4). If the image crosses 46 between these images, it is determined that the defective image is “viewed”, and the result of the quality determination by visual inspection is accepted (step U5). At this time, the defective image area 44 is visually recognized, and if the line of sight G crosses at least once, it may be determined that the image is visually recognized. Alternatively, the defective image area 44 is visually recognized and the number of defective portions is determined. Alternatively, it may be determined that the user has visually recognized that the line of sight G has crossed a certain number of times. Then, on the condition that the line of sight G has crossed 46 between the defective image and the reference image area 43, the result of the visual inspection by the inspector is received, and the result is written and stored (step U6). And after writing a visual inspection result about all the defective images displayed on the display 4, the next defective image is displayed.

このように上記実施の形態によれば、プリント基板５から画像を取得する画像取得手段２１と、当該画像取得手段２１によって取得された画像に基づいてプリント基板５の形成状態の良否を判定する判定手段２３と、当該判定手段２３によって不良と判定されたプリント基板５の画像を記憶する記憶手段２２とを備えてなる自動検査装置２に関連して設けられ、前記不良と判定されたプリント基板５の画像に基づいて当該プリント基板５の良否を検査者に目視で判定させる目視検査装置３において、前記記憶手段２２に記憶された不良と判定されたプリント基板５の画像を読み出し、不良箇所を含む部分画像と基準画像とをディスプレイ４に表示させる不良画像表示手段３２と、当該表示された不良画像を目視検査する検査者のディスプレイ４上の視線Ｇの位置を特定する視線位置特定手段３３と、当該視線位置特定手段３３によって不良画像の領域に視線が位置したことおよび基準画像領域４３と不良画像との間４６の仮想ラインを視線Ｇが横切ることを条件に目視検査の良否結果を受け付けて記憶させる目視結果記憶手段３５（２２）とを設けるようにしたので、不良画像を視認することなく検査結果を入力させることができなくなり、人的な判断ミスを未然に防止することができるようになるとともに、基準画像と対比しながら不良画像を検査したと推測することができるため、より正確に検査していると推測することができるようになる。 As described above, according to the embodiment, the image acquisition unit 21 that acquires an image from the printed circuit board 5 and the determination for determining whether the formation state of the printed circuit board 5 is good or not based on the image acquired by the image acquisition unit 21. The printed circuit board 5 that is provided in association with the automatic inspection apparatus 2 including the means 23 and the storage unit 22 that stores the image of the printed circuit board 5 determined to be defective by the determination unit 23. In the visual inspection apparatus 3 that allows an inspector to visually determine whether the printed circuit board 5 is good or bad based on the image of the image, the image of the printed circuit board 5 determined to be defective stored in the storage unit 22 is read and includes a defective portion. partial image and the reference image and the defective image display unit 32 to be displayed on the display 4, the inspector display visually inspecting the displayed image defect A sight position specifying means 33 for specifying the position of the visual line G above, a virtual line between 46 and defective image and the reference image area 43 that line of sight to the region of the defective image by the gaze position determining means 33 is positioned gaze Since the visual result storage means 35 (22) for accepting and storing the result of the visual inspection on condition that G crosses is provided, the inspection result cannot be input without visually recognizing the defective image, In addition to being able to prevent human judgment mistakes, it can be assumed that the defective image has been inspected in comparison with the reference image. It becomes like this.

なお、本発明は上記実施の形態に限定されることなく種々の態様で実施することができる。   In addition, this invention can be implemented in various aspects, without being limited to the said embodiment.

例えば、上記実施の形態では、視線Ｇが不良画像に位置したか否かを判断するようにしているが、図７に示すように、その不良画像の領域に視線Ｇが位置した時間をも記憶させるようにしておくこともできる。このようにすれば、注視した箇所を事後的に判断することができ、視認時間の長い怪しい箇所を再検査させることができるようになる。 For example, in the above embodiment, it is determined whether or not the line of sight G is positioned on the defective image. However, as shown in FIG. 7, the time when the line of sight G is positioned in the area of the defective image is also stored. It can also be made to let you. In this way, the point of gaze can be determined afterwards, and a suspicious point with a long visual recognition time can be reinspected.

また、図６における実施の形態では、二つの画像の間を横切ったことを条件に目視検査の結果を受け付けるようにしているが、この条件にこだわることなく目視検査結果を受け付けられるようにしておき、二つの画像を横切ったか否か、あるいは、二つの画像を横切った回数と、目視検査の結果を目視結果記憶手段３５に記憶させるようにしてもよい。 Further, in the embodiment in FIG. 6 , the result of the visual inspection is accepted on condition that the two images are crossed. However, the result of the visual inspection can be accepted without sticking to this condition. The visual result storage unit 35 may store whether or not the two images have been crossed, or the number of times the two images have been crossed and the result of the visual inspection.

さらに、上記実施の形態では、プリント基板５の形成状態を検査する場合について説明したが、プリント基板５に限定されることなく液晶基板やその他の検査対象物を自動で検査し、その後、検査員に目視で検査させるような場合にも適用することができる。 Furthermore , although the case where the formation state of the printed circuit board 5 is inspected has been described in the above embodiment, the liquid crystal substrate and other inspection objects are automatically inspected without being limited to the printed circuit board 5, and then the inspector. The present invention can also be applied to cases in which a visual inspection is performed.

本発明は、物品の形成状態を自動検査装置で検査するとともに、そこで不良と判断された検査対象物を目視で検査して検査精度を向上させるような分野に利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be used in a field in which the formation state of an article is inspected by an automatic inspection apparatus, and an inspection object determined to be defective there is visually inspected to improve inspection accuracy.

２・・・自動検査装置
２１・・・画像取得手段
２２・・・記憶手段
２３・・・判定手段
３・・・目視検査装置
３１・・・検査結果読取手段
３２・・・不良画像表示手段
３３・・・視線位置特定手段
３４・・・目視結果受付手段
３５・・・目視結果記憶手段
４・・・ディスプレイ
４１・・・カメラ
４２・・・全体画像の表示領域
４３・・・基準画像の表示領域
４４・・・不良画像の表示領域
４５・・・マーク
４６・・・検査画像と基準画像の間（仮想ライン）
５・・・プリント基板
Ｇ・・・視線 2 ... Automatic inspection device 21 ... Image acquisition means 22 ... Storage means 23 ... Determination means 3 ... Visual inspection device 31 ... Inspection result reading means 32 ... Defective image display means 33 ... gaze position specifying means 34 ... visual result receiving means 35 ... visual result storage means 4 ... display 41 ... camera 42 ... display area 43 of the entire image ... display of the reference image Area 44... Defective image display area 45... Mark 46... Between inspection image and reference image (virtual line)
5 ... Printed circuit board G ... Line of sight

Claims (2)

検査対象物から画像を取得する画像取得手段と、当該画像取得手段によって取得された画像に基づいて検査対象物の形成状態の良否を判定する判定手段と、当該判定手段によって不良と判定された検査対象物の画像を記憶する記憶手段とを備えてなる自動検査装置に関連して設けられ、前記不良と判定された検査対象物の画像に基づいて当該検査対象物の良否を検査者に目視で判定させる目視検査装置において、
前記記憶手段に記憶された不良と判定された検査対象物の画像を読み出し、不良箇所を含む部分画像を基準画像とともにディスプレイに表示させる不良画像表示手段と、
当該表示された不良画像を目視検査する検査者のディスプレイ上における視線の位置を特定する視線位置特定手段と、
当該視線位置特定手段によって不良画像の領域に視線が位置したことおよび基準画像と不良画像との間を視線が横切ることを条件に目視検査の良否結果を受け付けて記憶させる目視結果記憶手段と、
を設けたことを特徴とする目視検査装置。 Image acquisition means for acquiring an image from the inspection object, determination means for determining the quality of the formation state of the inspection object based on the image acquired by the image acquisition means, and inspection determined to be defective by the determination means An automatic inspection apparatus comprising a storage means for storing an image of the object, and visually inspecting the inspector whether the inspection object is good or not based on the image of the inspection object determined to be defective. In the visual inspection device to be judged,
An image of the inspection object determined to be defective stored in the storage means, and a defective image display means for displaying a partial image including the defective portion on a display together with a reference image ;
Line-of-sight position specifying means for specifying the position of the line of sight on the display of the inspector who visually inspects the displayed defective image;
Visual result storage means for accepting and storing the result of the visual inspection on condition that the line of sight is located in the area of the defective image by the visual line position specifying means and the line of sight crosses between the reference image and the defective image ;
A visual inspection apparatus characterized by comprising: 前記目視結果記憶手段が、基準画像と不良画像との間を視線が横切る回数、および、目視検査の良否結果を記憶させるようにしたものである請求項１に記載の目視検査装置。The visual inspection apparatus according to claim 1, wherein the visual result storage means stores the number of times that the line of sight crosses between the reference image and the defective image, and the result of the visual inspection.
JP2014500772A 2012-02-20 2012-02-20 Visual inspection apparatus provided with gaze position specifying means Active JP6027717B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/054005 WO2013124958A1 (en) 2012-02-20 2012-02-20 Visual inspection device equipped with eye position identification means

Publications (2)

Publication Number Publication Date
JPWO2013124958A1 JPWO2013124958A1 (en) 2015-05-21
JP6027717B2 true JP6027717B2 (en) 2016-11-16

Family

ID=49005181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014500772A Active JP6027717B2 (en) 2012-02-20 2012-02-20 Visual inspection apparatus provided with gaze position specifying means

Country Status (2)

Country Link
JP (1) JP6027717B2 (en)
WO (1) WO2013124958A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015155843A1 (en) * 2014-04-08 2015-10-15 富士通株式会社 Visual inspection support device, visual inspection support method and visual inspection support program
CN105894170A (en) * 2015-01-26 2016-08-24 香港纺织及成衣研发中心有限公司 Rapid response management system and method for clothing production
JP6904722B2 (en) * 2017-02-15 2021-07-21 アンリツ株式会社 Goods inspection equipment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4392392B2 (en) * 2005-08-29 2009-12-24 株式会社メガトレード Visual inspection device
JP2007163380A (en) * 2005-12-15 2007-06-28 Denso Corp Visual inspection work management system
JP4994738B2 (en) * 2006-07-28 2012-08-08 アイホン株式会社 Mounting component inspection equipment
JP5537008B2 (en) * 2007-11-29 2014-07-02 株式会社東芝 Appearance inspection device

Also Published As

Publication number Publication date
JPWO2013124958A1 (en) 2015-05-21
WO2013124958A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
CN109690570B (en) Computer room management method and dynamic loop system
CN110579479A (en) PCB maintenance system and maintenance method based on false point defect detection
US20190164270A1 (en) System and method for combined automatic and manual inspection
CN108683907A (en) Optics module picture element flaw detection method, device and equipment
US20130010068A1 (en) Augmented reality system
CN100361136C (en) Evaluation method and system for face detection system
US20210216062A1 (en) System and Method for Intelligently Monitoring the Production Line
JP6027717B2 (en) Visual inspection apparatus provided with gaze position specifying means
JP2010117285A (en) Defect inspection device for substrate
JP4970852B2 (en) Visual inspection device
JP4392392B2 (en) Visual inspection device
CN111062941B (en) Point light source fault detection device and method
CN107132233B (en) Method and system for verifying bad coordinate position in display panel
JP2005128016A (en) Inspection system and method
CN104390982A (en) Test method for SMT first article inspection
JP2006251561A (en) Defective pixel repairing method
TW200815746A (en) System and method for optical inspection of electrical circuit devices
TW201018886A (en) Automatic test system and method thereof
JP2003065959A (en) Nondestructive inspection apparatus
KR101523512B1 (en) Automatic optical inspection system, apparatus and method thereof
JP2001077600A (en) Inspection system
CN110658197A (en) Efficiency evaluation method and system for manually detecting defect pattern
JP2008218737A (en) Image processing device
RU2424570C1 (en) Method of detecting differences in like digital graphic images
JP2003139720A (en) Verifying device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161016

R150 Certificate of patent or registration of utility model

Ref document number: 6027717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250