JP2013130541A - Bonding inspection device - Google Patents
Bonding inspection device Download PDFInfo
- Publication number
- JP2013130541A JP2013130541A JP2011281875A JP2011281875A JP2013130541A JP 2013130541 A JP2013130541 A JP 2013130541A JP 2011281875 A JP2011281875 A JP 2011281875A JP 2011281875 A JP2011281875 A JP 2011281875A JP 2013130541 A JP2013130541 A JP 2013130541A
- Authority
- JP
- Japan
- Prior art keywords
- thermal image
- image acquisition
- inspection object
- inspection
- adhesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、接着検査装置に関する。 The present invention relates to an adhesion inspection apparatus.
近年、各種包装用のパッケージ等の形成に、ホットメルト接着剤が多用されている。ホットメルト接着剤を使用する場合には、実際にホットメルトが確実に接着されたかどうかを正確に判定する必要がある。そのために、接着部分からの放射エネルギーを赤外線放射温度計で検出して、その温度の高低からホットメルト接着剤が正しく塗布されているかどうかの判定を行う装置や方法が提案されている。 In recent years, hot melt adhesives are frequently used to form various packaging packages. When a hot melt adhesive is used, it is necessary to accurately determine whether or not the hot melt is actually bonded. For this purpose, an apparatus and a method have been proposed in which the radiant energy from the bonded portion is detected by an infrared radiation thermometer, and whether or not the hot melt adhesive is correctly applied is determined based on the temperature level.
このようなものとして、例えば、包装容器の移動方向と直交する方向に走査できるサーモトレーサ光学系を備えた赤外線放射温度計と画像処理装置とを備え、包装容器の移動と赤外線の走査とを同期させて熱画像の静止画像を取得し、周囲温度に対応して設定されたスレッショルレベルとの比較で接着の良否を判定する装置がある（例えば、特許文献１参照）。また、測定物の存在を光電スイッチ等のセンサで検知すると、熱画像カメラで接着部を有する側面を撮影し、画像処理によって温度分布を一定値以上（高温部）と一定値以下（低温部）とに二値化して画像出力し、所定の領域で高温部と表示された部分の個数や面積で接着の良否を判定する装置もある（例えば、特許文献２参照）。 As such, for example, an infrared radiation thermometer equipped with a thermotracer optical system capable of scanning in a direction orthogonal to the moving direction of the packaging container and an image processing device are provided, and the movement of the packaging container and the scanning of infrared rays are synchronized. There is an apparatus that acquires a still image of a thermal image and determines whether the adhesion is good or bad by comparing with a threshold level set corresponding to the ambient temperature (see, for example, Patent Document 1). Also, when the presence of the object to be measured is detected by a sensor such as a photoelectric switch, the thermal image camera is used to photograph the side surface with the adhesive part, and the temperature distribution is more than a certain value (high temperature part) and less than a certain value (low temperature part) by image processing. There is also an apparatus that binarizes and outputs an image, and determines whether the adhesion is good or not based on the number and area of portions displayed as a high-temperature part in a predetermined region (see, for example, Patent Document 2).
さらに、熱画像カメラで撮影した複数のホットメルト塗布位置について、定められた一つの基準位置に対する他のホットメルトの相対的位置を検出することにより、季節やダンボールの厚みの違いによって左右され易いホットメルト部分の面積変動に対して、安定して接着の良否の判定を行うことができる方法もある（例えば、特許文献３参照）。 Furthermore, by detecting the relative position of other hot melts with respect to a predetermined reference position for a plurality of hot melt application positions photographed with a thermal image camera, it is easily affected by differences in season and cardboard thickness. There is also a method that can stably determine whether the adhesion is good or not with respect to fluctuations in the area of the melt portion (see, for example, Patent Document 3).
また、ホットメルト接着剤に対して使用されるものではないが、熱画像と可視画像とを組み合わせて画像の視認性を改善する装置や方法も提案されている。このようなものとして、例えば、一つのレンズ系に入る光軸から、分光手段で遠赤外カメラと可視画像カメラとにより同一撮影範囲の画像を取得し、両画像に特定の画像処理を施した後、遠赤外カメラ部から前後して得た複数の撮影画像を、被検体の移動方向に沿って画像方向にずらして重畳させて平均化し、合成画像の鮮明化を図り、視認性を改善する装置がある（例えば、特許文献４参照）。 Also, although not used for hot melt adhesives, an apparatus and a method for improving image visibility by combining a thermal image and a visible image have been proposed. As such, for example, from the optical axis entering one lens system, the image of the same shooting range is acquired by the far-infrared camera and the visible image camera by the spectroscopic means, and specific image processing is performed on both images. Later, multiple captured images obtained before and after from the far-infrared camera unit are shifted and superimposed in the image direction along the direction of movement of the subject and averaged to sharpen the composite image and improve visibility. There is an apparatus which performs (for example, refer to patent documents 4).
また、外部からリアルタイムで得られる熱画像と、あらかじめ内蔵しているカラー画像との合成により、赤外線画像における被写体の背景の相対的位置を明確に特定できるようにした装置もある（例えば、特許文献５参照）。さらに、遠赤外カメラ画像と可視画像カメラとの組み合わせから得られる合成画像に、周囲の明るさに応じた画像処理を加えて画像合成を行い、昼夜視認性の良い画像を得ることができる方法もある（例えば、特許文献６参照）。 In addition, there is an apparatus that can clearly identify the relative position of the background of the subject in the infrared image by synthesizing a thermal image obtained in real time from the outside and a color image built in in advance (for example, Patent Documents). 5). Further, a method capable of obtaining an image with good visibility by performing image composition by adding image processing according to ambient brightness to a composite image obtained from a combination of a far-infrared camera image and a visible image camera. (For example, refer to Patent Document 6).
しかしながら、特許文献１に記載の接着検査装置では、包装容器の移動手段としてパルスジェネレータの出力で駆動されるモータを必要とし、サーモトレーサ光学系もメカニカルなミラーの回転を伴うものが必要であり、全体として大掛かりで高価な設備にならざるを得ないという課題があった。また、特許文献２に記載の装置では、赤外線カメラの単位時間当たりの撮像回数によっては、包装容器などの移動速度との関係で画像がずれて判別が曖昧になり易いという課題があった。また、特許文献２および３に記載のものは、熱画像のみの情報で判断するため、複数のホットメルトの塗布位置に並行したずれなどが生じた場合も良品と判定されてしまうという課題があった。 However, the adhesion inspection apparatus described in Patent Document 1 requires a motor driven by the output of the pulse generator as the moving means of the packaging container, and the thermotracer optical system also requires a mechanical mirror rotation, As a whole, there was a problem that the equipment had to be large and expensive. Further, the apparatus described in Patent Document 2 has a problem that the image is easily misaligned depending on the moving speed of the packaging container or the like depending on the number of times of imaging per unit time of the infrared camera. Moreover, since the thing of patent document 2 and 3 is judged only by the information of a thermal image, when the shift | offset | difference etc. in parallel to the application position of several hot melt generate | occur | produced, there existed a subject that it will be determined as a good product. It was.
特許文献４に記載の装置では、プリズムなどの特定の光学的な構成を付加する必要があり、装置全体が複雑で高価になるという課題があった。また、特許文献４に記載の装置では、被検体の移動方向に沿って画像をずらして重畳させることにより、合成画像の鮮明化を図ることができるが、低画素数の熱画像を使用したときの解像度の低下を改善することはできないという課題もあった。また、特許文献５および６記載のものは、建物内で搬送されている検査対象物に対する検査では、昼夜で明るさが変化せず、背景が移動するため、特に利点を有するものではないという課題があった。 In the apparatus described in Patent Document 4, it is necessary to add a specific optical configuration such as a prism, and there is a problem that the entire apparatus is complicated and expensive. Further, in the apparatus described in Patent Document 4, the synthesized image can be sharpened by shifting and superimposing the images along the moving direction of the subject. However, when a thermal image having a low number of pixels is used. There was also a problem that it was not possible to improve the decrease in resolution. Moreover, the thing of patent document 5 and 6 has the problem that in the test | inspection with respect to the test target object currently conveyed in a building, since a brightness does not change day and night, and a background moves, it does not have an advantage especially. was there.
本発明は、このような課題に着目してなされたもので、比較的単純で安価な構成で、搬送される検査対象物のホットメルト接着状況を高精度で検査することができる接着検査装置を提供することを目的としている。 The present invention has been made paying attention to such a problem, and has a relatively simple and inexpensive configuration, and an adhesion inspection apparatus capable of inspecting the hot melt adhesion state of an object to be conveyed with high accuracy. It is intended to provide.
上記目的を達成するために、本発明に係る接着検査装置は、ホットメルト接着剤による接着部位を有し、所定の方向に搬送される検査対象物の接着状況を検査するための接着検査装置であって、前記検査対象物の熱画像を取得する熱画像取得手段と、前記熱画像取得手段と同期して前記検査対象物の可視画像を取得する可視画像取得手段と、あらかじめ設定されたモデル座標系と前記可視画像取得手段で取得された可視画像の座標系との関係と、前記熱画像取得手段と前記可視画像取得手段との位置関係とに基づいて、前記可視画像で設定された複数の注目点について、前記熱画像取得手段で取得された熱画像中での座標を求め、各注目点の座標が求められた前記熱画像に基づいて前記検査対象物の接着状況を検査する検査手段とを、有することを特徴とする。 In order to achieve the above object, an adhesion inspection apparatus according to the present invention is an adhesion inspection apparatus for inspecting the adhesion state of an object to be inspected which has an adhesion site by a hot melt adhesive and is conveyed in a predetermined direction. A thermal image acquisition means for acquiring a thermal image of the inspection object; a visible image acquisition means for acquiring a visible image of the inspection object in synchronization with the thermal image acquisition means; and preset model coordinates Based on the relationship between the system and the coordinate system of the visible image acquired by the visible image acquisition means, and the positional relationship between the thermal image acquisition means and the visible image acquisition means, a plurality of sets set in the visible image Inspecting means for determining the coordinates in the thermal image acquired by the thermal image acquisition means for the attention point, and inspecting the adhesion state of the inspection object based on the thermal image in which the coordinates of each attention point are determined; Have And wherein the door.
本発明に係る接着検査装置は、熱画像取得手段で取得された熱画像と、それと同期して可視画像取得手段で取得された可視画像とを併用して、熱画像中の各注目点の座標を求めるため、従来の熱画像情報のみから判断する場合に比べて、熱画像中での検査対象物に対するホットメルトの位置を正確に把握することができる。このため、熱画像に基づいて、ホットメルトが検査対象物の正しい位置に、必要な量だけ塗布されているかどうか等の接着状況を高精度で検査することができる。また、高価で複雑な光学系等の構成を用いておらず、比較的単純で安価な構成で接着状況の検査を行うことができる。 The adhesion inspection apparatus according to the present invention uses the thermal image acquired by the thermal image acquisition unit and the visible image acquired by the visible image acquisition unit in synchronization therewith, and coordinates of each point of interest in the thermal image. Therefore, the position of the hot melt relative to the inspection object in the thermal image can be accurately grasped as compared with the case where the determination is made only from the conventional thermal image information. For this reason, based on the thermal image, it is possible to inspect with high accuracy the bonding situation such as whether or not a necessary amount of hot melt is applied to the correct position of the inspection object. In addition, the configuration of an expensive and complicated optical system or the like is not used, and the adhesion state can be inspected with a relatively simple and inexpensive configuration.
本発明に係る接着検査装置では、熱画像取得手段と可視画像取得手段との位置関係については、特に限定はなく、あらかじめその関係が求められていればよい。また、あらかじめ設定されたモデル座標系と可視画像取得手段で取得された可視画像の座標系との関係も、可視画像から容易に求めることができる。このため、これらの関係に基づいて、熱画像中の各注目点の座標を、比較的簡単な演算で容易に求めることができる。なお、熱画像取得手段は、例えば、パソコンに直結して熱画像を表示できる、市販の低画素数の小型熱画像センサから成っていてもよく、この場合、安価に構成することができる。 In the adhesion inspection apparatus according to the present invention, the positional relationship between the thermal image acquisition unit and the visible image acquisition unit is not particularly limited, and it is sufficient that the relationship is obtained in advance. In addition, the relationship between the model coordinate system set in advance and the coordinate system of the visible image acquired by the visible image acquisition unit can be easily obtained from the visible image. For this reason, based on these relationships, the coordinates of each point of interest in the thermal image can be easily obtained by a relatively simple calculation. The thermal image acquisition means may be composed of, for example, a commercially available small thermal image sensor with a low number of pixels that can be directly connected to a personal computer and display a thermal image. In this case, the thermal image acquisition means can be configured at low cost.
本発明に係る接着検査装置で、前記検査手段は、前記熱画像取得手段で取得された熱画像を二値化して二値化画像を作成し、前記二値化画像の高温部の分布から、高温部の領域数、高温部の面積および高温部の各領域の重心位置のうち少なくとも一つに基づいて、前記検査対象物の接着状況の良否を判定することが好ましい。この場合、簡便かつ高精度で接着状況を検査することができる。 In the adhesion inspection apparatus according to the present invention, the inspection unit binarizes the thermal image acquired by the thermal image acquisition unit to create a binarized image, and from the distribution of the high temperature part of the binarized image, It is preferable to determine the quality of the state of adhesion of the inspection object based on at least one of the number of regions in the high temperature portion, the area of the high temperature portion, and the center of gravity of each region in the high temperature portion. In this case, the adhesion state can be inspected simply and with high accuracy.
本発明に係る接着検査装置で、前記熱画像取得手段および前記可視画像取得手段は、前記検査対象物の搬送方向に所定の速度で平行に移動可能、または、前記検査対象物の搬送方向に所定の速度で平行に移動すると同時に前記検査対象物の搬送方向に垂直に移動可能に構成されていることが好ましい。熱画像取得手段として、例えば応答速度が遅い安価な熱画像センサを使用したとき、熱画像取得手段を固定した状態で検査対象物を撮影すると、撮影画像が検査対象物の移動方向に流れ、検査能力が低下してしまう。これに対し、本発明に係る接着検査装置では、熱画像取得手段および可視画像取得手段を検査対象物の搬送方向に所定の速度で平行に移動させることにより、撮影画像が移動方向に流れるのを防ぐことができ、検査精度を高めることができる。なお、熱画像取得手段および可視画像取得手段の移動速度は、検査対象物の搬送速度とほぼ同じ速度であることが好ましい。 In the adhesion inspection apparatus according to the present invention, the thermal image acquisition unit and the visible image acquisition unit are movable in parallel at a predetermined speed in the conveyance direction of the inspection object, or are predetermined in the conveyance direction of the inspection object. It is preferable that it is configured to be movable in parallel with the speed of the inspection object and at the same time perpendicular to the conveying direction of the inspection object. For example, when an inexpensive thermal image sensor with a low response speed is used as the thermal image acquisition means, if the inspection object is imaged with the thermal image acquisition means fixed, the captured image flows in the moving direction of the inspection object, The ability will be reduced. On the other hand, in the adhesion inspection apparatus according to the present invention, the thermal image acquisition means and the visible image acquisition means are moved in parallel in the conveyance direction of the inspection object at a predetermined speed so that the photographed image flows in the movement direction. Can be prevented and the inspection accuracy can be increased. In addition, it is preferable that the moving speed of a thermal image acquisition means and a visible image acquisition means is a speed substantially the same as the conveyance speed of a test target object.
また、熱画像取得手段および可視画像取得手段を、検査対象物の搬送方向に所定の速度で平行に移動すると同時に、検査対象物の搬送方向に垂直に移動させることにより、検査対象物に対して複数の箇所を撮影することができ、できるだけ多くの接着箇所の接着状況を検査することができる。 Further, the thermal image acquisition means and the visible image acquisition means are moved parallel to the inspection object conveyance direction at a predetermined speed, and at the same time, the thermal image acquisition means and the visible image acquisition means are moved perpendicularly to the inspection object conveyance direction. A plurality of locations can be photographed, and the adhesion status of as many adhesion locations as possible can be inspected.
本発明に係る接着検査装置で、前記熱画像取得手段および前記可視画像取得手段は、前記検査対象物の搬送方向に、前記検査対象物の搬送速度とは異なる速度で平行に移動しながら、それぞれ複数の熱画像および可視画像を取得可能に構成され、前記検査手段は、取得された各可視画像について、前記検査対象物に対する互いの位置のずれを求め、対応する可視画像の位置のずれに基づいて、各注目点の座標が求められた各熱画像を合成して超解像処理を行い、超解像処理後の熱画像に基づいて前記検査対象物の接着状況を検査することが好ましい。 In the adhesion inspection apparatus according to the present invention, the thermal image acquisition unit and the visible image acquisition unit move in parallel in the conveyance direction of the inspection object at a speed different from the conveyance speed of the inspection object, respectively. A plurality of thermal images and visible images can be acquired, and the inspection means obtains a positional shift of each acquired visual image with respect to the inspection object, and is based on a positional shift of the corresponding visible image Thus, it is preferable to superimpose the thermal images for which the coordinates of the respective attention points have been obtained, perform super-resolution processing, and inspect the adhesion state of the inspection object based on the thermal image after the super-resolution processing.
この場合、熱画像取得手段として、例えば画素数が少ない安価な熱画像センサを使用したときであっても、対応する可視画像の位置のずれに基づいて、各熱画像を重ね合わせて合成し、超解像処理を行うことにより、熱画像の解像度を高めると同時に、移動平均の効果によりノイズを低減することができる。これにより、ノイズ除去を含めた熱画像の鮮明化を図ることができ、接着状況の検査精度をより高めることができる。なお、熱画像取得手段および可視画像取得手段の移動速度は、取得された各熱画像が１ピクセルより小さいサブピクセル単位でずれるよう設定されていることが好ましい。 In this case, as the thermal image acquisition means, for example, even when an inexpensive thermal image sensor with a small number of pixels is used, each thermal image is superimposed and synthesized based on the shift in the position of the corresponding visible image, By performing the super-resolution processing, it is possible to increase the resolution of the thermal image and at the same time reduce noise due to the moving average effect. Thereby, the thermal image including noise removal can be clarified, and the inspection accuracy of the adhesion state can be further increased. In addition, it is preferable that the moving speeds of the thermal image acquisition unit and the visible image acquisition unit are set so that the acquired thermal images are shifted in sub-pixel units smaller than one pixel.
本発明によれば、比較的単純で安価な構成で、搬送される検査対象物のホットメルト接着状況を高精度で検査することができる接着検査装置を提供することができる。 According to the present invention, it is possible to provide an adhesion inspection apparatus capable of inspecting a hot melt adhesion state of an object to be conveyed with high accuracy with a relatively simple and inexpensive configuration.
以下、図面に基づき、本発明の実施の形態について説明する。
図１乃至図４は、本発明の実施の形態の接着検査装置を示している。
図１に示すように、接着検査装置１０は、ホットメルト接着剤による接着部位１ａを有し、ベルトコンベア２などで所定の方向に搬送される検査対象物１の接着状況を検査するための接着検査装置１０であって、熱画像取得手段１１と可視画像取得手段１２と水平移動機構１３と垂直移動機構１４と検査手段１５とを有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1 to 4 show an adhesion inspection apparatus according to an embodiment of the present invention.
As shown in FIG. 1, the adhesion inspection apparatus 10 has an adhesion portion 1 a made of hot melt adhesive, and is used for inspecting the adhesion state of an inspection object 1 conveyed in a predetermined direction by a belt conveyor 2 or the like. The inspection apparatus 10 includes a thermal image acquisition unit 11, a visible image acquisition unit 12, a horizontal movement mechanism 13, a vertical movement mechanism 14, and an inspection unit 15.
熱画像取得手段１１は、検査対象物１の熱画像を取得可能に設けられた、市販の低画素数の小型熱画像センサから成っている。熱画像取得手段１１は、フレームレートが３〜６ｆｐｓ、画素数が４８×４７程度で、赤外線を検出可能な二次元アレイ型の半導体素子とレンズ系とから構成されている。可視画像取得手段１２は、検査対象物１の可視画像を取得可能に設けられた可視カメラから成っている。可視画像取得手段１２は、画素数が概ね１００万画素以上で、フレームレートが３０ｆｐｓ程度である。可視画像取得手段１２は、熱画像取得手段１１と同期して撮影可能に構成されている。 The thermal image acquisition means 11 is composed of a commercially available small thermal image sensor with a low pixel count provided so as to be able to acquire a thermal image of the inspection object 1. The thermal image acquisition means 11 is composed of a two-dimensional array type semiconductor element capable of detecting infrared rays and a lens system having a frame rate of 3 to 6 fps and a number of pixels of about 48 × 47. The visible image acquisition means 12 is composed of a visible camera provided so that a visible image of the inspection object 1 can be acquired. The visible image acquisition means 12 has about 1 million pixels or more and a frame rate of about 30 fps. The visible image acquisition unit 12 is configured to be able to take a picture in synchronization with the thermal image acquisition unit 11.
水平移動機構１３および垂直移動機構１４は、熱画像取得手段１１および可視画像取得手段１２が設置されている。水平移動機構１３は、熱画像取得手段１１および可視画像取得手段１２を、一定区間、検査対象物１の搬送方向に沿って水平かつ平行に移動可能に構成されている。また、垂直移動機構１４は、熱画像取得手段１１および可視画像取得手段１２を、一定区間、検査対象物１の搬送方向に垂直に移動可能に構成されている。水平移動機構１３および垂直移動機構１４は、それぞれ往復移動可能かつ移動速度を制御可能になっている。 The horizontal movement mechanism 13 and the vertical movement mechanism 14 are provided with a thermal image acquisition unit 11 and a visible image acquisition unit 12. The horizontal movement mechanism 13 is configured to be able to move the thermal image acquisition unit 11 and the visible image acquisition unit 12 horizontally and in parallel along a conveyance direction of the inspection object 1 in a certain section. The vertical movement mechanism 14 is configured to be able to move the thermal image acquisition unit 11 and the visible image acquisition unit 12 perpendicularly to the conveyance direction of the inspection object 1 in a certain section. The horizontal moving mechanism 13 and the vertical moving mechanism 14 can reciprocate and control the moving speed.
検査手段１５は、コンピュータから成り、熱画像取得手段１１および可視画像取得手段１２に接続されている。図２に示すように、検査手段１５は、可視画像入力部Ａ１と熱画像入力部Ａ２と簡易三次元計測部Ｂと熱画像正規化部Ｃと接着良否判定部Ｄとを有している。検査手段１５は、以下のＳｔｅｐ１〜Ｓｔｅｐ４に沿って、検査対象物１の接着部位１ａの接着状況を検査するよう構成されている。 The inspection unit 15 includes a computer and is connected to the thermal image acquisition unit 11 and the visible image acquisition unit 12. As shown in FIG. 2, the inspection unit 15 includes a visible image input unit A1, a thermal image input unit A2, a simple three-dimensional measurement unit B, a thermal image normalization unit C, and an adhesion quality determination unit D. The inspection means 15 is configured to inspect the adhesion state of the adhesion part 1 a of the inspection object 1 along the following Step 1 to Step 4.
［Ｓｔｅｐ１］
まず、可視画像取得手段１２で取得された可視画像Ｐｉｊ、および、熱画像取得手段１１で取得された熱画像Ｐ’ｉｊが、それぞれ可視画像入力部Ａ１および熱画像入力部Ａ２により、同期して入力される。ここで、添え字のｉは、ｉ番目の検査対象物１に関するものであることを表し、その次の添え字ｊは、同じ検査対象物１のｊ番目の画像であることを表している。
[Step 1]
First, the visible image P ij acquired by the visible image acquiring unit 12 and the thermal image P ′ ij acquired by the thermal image acquiring unit 11 are synchronized by the visible image input unit A1 and the thermal image input unit A2, respectively. Is input. Here, the subscript i indicates that it is related to the i-th inspection object 1, and the next subscript j indicates that it is the j-th image of the same inspection object 1.
［Ｓｔｅｐ２］
次に、簡易三次元計測部Ｂにより、入力された可視画像Ｐｉｊと、あらかじめ設定された検査対象物１のテンプレート画像とを対比して、基準となる検査対象物１の４つの注目点の、可視画像Ｐｉｊにおける座標（ｕｉｊｋ，ｖｉｊｋ）を決定する。ここで、添え字のｋは、ｋ番目の注目点であることを表しており、ｋ＝１〜４である。さらに、簡易三次元計測部Ｂにより、あらかじめ決定されている可視画像取得手段１２の内部パラメータと、あらかじめ設定された三次元のモデル座標系と可視画像取得手段１２の座標系とにおける対応する点の関係とから、可視画像取得手段１２の座標系とモデル座標系との間の剛体変換行列Ｒｔ１を決定する。
[Step 2]
Next, the simple three-dimensional measurement unit B compares the input visible image P ij with the template image of the inspection object 1 set in advance, and compares the four attention points of the inspection object 1 serving as a reference. Then, coordinates (u ijk , v ijk ) in the visible image P ij are determined. Here, the subscript k represents the k-th attention point, and k = 1 to 4. Further, the internal parameters of the visible image acquisition unit 12 determined in advance by the simple three-dimensional measurement unit B and the corresponding points in the preset three-dimensional model coordinate system and the coordinate system of the visible image acquisition unit 12 are set. From the relationship, the rigid transformation matrix Rt 1 between the coordinate system of the visible image acquisition means 12 and the model coordinate system is determined.
［Ｓｔｅｐ３］
熱画像および可視画像に関しては、内部パラメータでそれぞれの座標系との関係が、次式のように、あらかじめキャリブレーション作業により明らかにされている。
Regarding the thermal image and the visible image, the relationship between the internal parameters and the respective coordinate systems is clarified in advance by a calibration operation as shown in the following equation.
さらに、熱画像取得手段１１と可視画像取得手段１２との位置関係等から、事前のキャリブレーション作業により、熱画像取得手段１１のカメラ座標系（ｘ’，ｙ’，ｚ’）と可視画像取得手段１２のカメラ座標系（ｘ，ｙ，ｚ）との間の剛体変換行列Ｒｔ０が確定される。従って、熱画像取得手段１１のカメラ座標系（ｘ’，ｙ’，ｚ’）とモデル座標系（Ｘ，Ｙ，Ｚ）との間は、次式のように、剛体変換行列Ｒｔ２＝Ｒｔ０×Ｒｔ１の関係で結びつけることが可能である。 Furthermore, the camera coordinate system (x ′, y ′, z ′) of the thermal image acquisition unit 11 and the visible image acquisition are performed by a prior calibration work based on the positional relationship between the thermal image acquisition unit 11 and the visible image acquisition unit 12. A rigid transformation matrix Rt 0 with the camera coordinate system (x, y, z) of the means 12 is determined. Therefore, between the camera coordinate system (x ′, y ′, z ′) of the thermal image acquisition means 11 and the model coordinate system (X, Y, Z), the rigid transformation matrix Rt 2 = Rt It is possible to connect them with a relationship of 0 × Rt 1 .
このことから、熱画像正規化部Ｃにより、モデル座標系に設定された各注目点の座標（ｘｉｊｋ，ｙｉｊｋ，ｚｉｊｋ）から、可視画像上の各注目点の座標（ｕｉｊｋ，ｖｉｊｋ）と熱画像上の各注目点の座標（ｕ’ｉｊｋ，ｖ’ｉｊｋ）との対応関係を決定する。これにより、モデル座標系で設定された任意の点の座標から、可視画像中の対応点と熱画像中の対応点とを決定することができる。また、可視画像で設定された各注目点について、モデル座標系を介して、熱画像中での座標を求めることができる。 From this, the coordinates (u ijk , v) of each point of interest on the visible image are obtained from the coordinates (x ijk , y ijk , z ijk ) of each point of interest set in the model coordinate system by the thermal image normalization unit C. ijk ) and the coordinates (u ′ ijk , v ′ ijk ) of each point of interest on the thermal image are determined. Thereby, the corresponding point in the visible image and the corresponding point in the thermal image can be determined from the coordinates of an arbitrary point set in the model coordinate system. Further, for each attention point set in the visible image, the coordinates in the thermal image can be obtained via the model coordinate system.
［Ｓｔｅｐ４］
次に、接着良否判定部Ｄにより、熱画像中での各注目点の座標を求め、各注目点の座標が求められた熱画像に基づいて、検査対象物１の接着状況について検査を行う。このとき、例えば、検査対象物１の矩形状の側面の４隅を各注目点に設定した場合、その各注目点の熱画像中での座標を求めることにより、注目点の４隅を画像の４隅にした熱画像（正規化熱画像）を作成することができる。このように作成された画像に基づいて、あらかじめ設けられた温度の閾値から、温度分布を二値化して二値化画像を作成する。その二値化画像の高温部の分布から、高温部の領域数、高温部の各領域の面積、高温部の各領域の重心位置を求め、あらかじめ設定した良否判定基準に照らし合わせて判定信号を発する。
[Step4]
Next, the adhesion quality determination unit D obtains the coordinates of each point of interest in the thermal image, and inspects the adhesion state of the inspection object 1 based on the thermal image from which the coordinates of each point of interest are obtained. At this time, for example, when the four corners of the rectangular side surface of the inspection object 1 are set as the attention points, the coordinates of the attention points in the thermal image are obtained to obtain the four corners of the attention point of the image. A thermal image having four corners (normalized thermal image) can be created. Based on the image created in this way, a binarized image is created by binarizing the temperature distribution from a preset temperature threshold. From the distribution of the high-temperature part of the binarized image, the number of areas in the high-temperature part, the area of each area in the high-temperature part, and the barycentric position of each area in the high-temperature part are obtained, and the judgment signal is compared with a predetermined pass / fail judgment criterion. To emit.
こうして、検査手段１５は、検査対象物１の接着部位１ａの接着状況を検査するようになっている。なお、検査手段１５は、水平移動機構１３および垂直移動機構１４にも接続され、移動の開始や停止、移動方向、移動速度等を制御可能になっていてもよい。 Thus, the inspection means 15 inspects the adhesion state of the adhesion site 1a of the inspection object 1. The inspection unit 15 may be connected to the horizontal movement mechanism 13 and the vertical movement mechanism 14 so as to be able to control the start and stop of movement, the movement direction, the movement speed, and the like.
次に、作用について説明する。
接着検査装置１０は、熱画像取得手段１１で取得された熱画像と、それと同期して可視画像取得手段１２で取得された可視画像とを併用し、モデル座標系を介することにより、熱画像中の各注目点の座標を、比較的簡単な演算で容易に求めることができる。このため、従来の熱画像情報のみから判断する場合に比べて、熱画像中での検査対象物１に対するホットメルトの位置を正確に把握することができる。このため、熱画像に基づいて、ホットメルトが検査対象物１の正しい位置に、必要な量だけ塗布されているかどうか等の接着状況を高精度で検査することができる。また、高価で複雑な光学系等の構成を用いておらず、比較的単純で安価な構成で接着状況の検査を行うことができる。
Next, the operation will be described.
The adhesion inspection apparatus 10 uses a thermal image acquired by the thermal image acquisition unit 11 and a visible image acquired by the visible image acquisition unit 12 in synchronization with the thermal image. The coordinates of each point of interest can be easily obtained by a relatively simple calculation. For this reason, compared with the case where it judges only from the conventional thermal image information, the position of the hot melt with respect to the test object 1 in a thermal image can be grasped | ascertained correctly. For this reason, based on the thermal image, it is possible to inspect the bonding state such as whether or not the necessary amount of hot melt is applied to the correct position of the inspection object 1 with high accuracy. In addition, the configuration of an expensive and complicated optical system or the like is not used, and the adhesion state can be inspected with a relatively simple and inexpensive configuration.
接着検査装置１０は、熱画像取得手段１１が、市販の低画素数の小型熱画像センサから成るため、安価に構成することができる。しかし、熱画像取得手段１１のフレームレートが小さく応答速度が遅いため、熱画像取得手段１１を固定した状態で検査対象物１を撮影すると、検査対象物１の搬送速度によっては、撮影画像が検査対象物１の移動方向に流れ、検査能力が低下してしまう。このような場合には、水平移動機構１３により、熱画像取得手段１１および可視画像取得手段１２を検査対象物１の搬送方向に平行に、検査対象物１の搬送速度と同じ速度で移動させる。これにより、熱画像取得手段１１および可視画像取得手段１２から見て検査対象物１が静止した状態にすることができ、撮影画像が移動方向に流れるのを防ぐことができる。このため、検査精度を高く維持することができる。 Since the thermal image acquisition means 11 is composed of a commercially available small thermal image sensor having a low number of pixels, the adhesion inspection apparatus 10 can be configured at low cost. However, since the frame rate of the thermal image acquisition unit 11 is small and the response speed is slow, if the inspection object 1 is imaged with the thermal image acquisition unit 11 fixed, the captured image may be inspected depending on the conveyance speed of the inspection object 1. It flows in the moving direction of the object 1 and the inspection ability is reduced. In such a case, the horizontal movement mechanism 13 moves the thermal image acquisition unit 11 and the visible image acquisition unit 12 in parallel with the conveyance direction of the inspection object 1 at the same speed as the conveyance speed of the inspection object 1. Thereby, the inspection object 1 can be brought into a stationary state when viewed from the thermal image acquisition unit 11 and the visible image acquisition unit 12, and the captured image can be prevented from flowing in the movement direction. For this reason, high inspection accuracy can be maintained.
また、垂直移動機構１４により、熱画像取得手段１１および可視画像取得手段１２を検査対象物１の搬送方向に垂直に移動させることにより、検査対象物１に対して複数の箇所を撮影することができ、できるだけ多くの接着箇所の接着状況を検査することができる。 In addition, by moving the thermal image acquisition unit 11 and the visible image acquisition unit 12 perpendicularly to the conveyance direction of the inspection object 1 by the vertical movement mechanism 14, a plurality of locations can be imaged with respect to the inspection object 1. It is possible to inspect the bonding state of as many bonding points as possible.
なお、熱画像取得手段１１を構成する小型熱画像センサは、温度分解能が高い反面、計測精度が低いという性質のため、測定値に±１℃程度のノイズが恒常的に重なることや、４８×４７程度と画素数が低いことから、検査対象物１によっては判定精度が低下することがある。そこで、検査対象物１の搬送速度Ｖ１と、検査対象物１の搬送方向への熱画像取得手段１１および可視画像取得手段１２の移動速度Ｖ２との間に一定の差を設け、図３に示すＳｔｅｐ１〜Ｓｔｅｐ１０の処理を行うことにより、この判定精度の低下を防ぐことができる。 The small thermal image sensor constituting the thermal image acquisition means 11 has high temperature resolution but low measurement accuracy. Therefore, a noise of about ± 1 ° C. constantly overlaps the measured value, or 48 × Since the number of pixels is as low as about 47, the determination accuracy may be lowered depending on the inspection object 1. Therefore, a certain difference is provided between the conveyance speed V 1 of the inspection object 1 and the moving speed V 2 of the thermal image acquisition means 11 and the visible image acquisition means 12 in the conveyance direction of the inspection object 1, and FIG. By performing the processing of Step 1 to Step 10 shown in FIG.
すなわち、図３に示すように、検査手段１５は、可視画像入力部Ａ１と熱画像入力部Ａ２と簡易三次元計測部Ｂと熱画像正規化部Ｃ０と入力可視画像平行化部Ｃ１と入力可視画像補正部Ｃ２と位置ずれ量算出部Ｃ３と熱画像補正部Ｃ４と熱画像超解像処理部Ｃ５と熱画像正規化部Ｃ６と接着良否判定部Ｄとを有している。ここで、可視画像入力部Ａ１、熱画像入力部Ａ２および簡易三次元計測部Ｂは、図２に示すものと同じであり、熱画像正規化部Ｃ０は、図２に示す熱画像正規化部Ｃと同じである。また、図３に示すＳｔｅｐ１〜Ｓｔｅｐ３は、図２に示すＳｔｅｐ１〜Ｓｔｅｐ３と同じであり、説明を省略する。 That is, as shown in FIG. 3, the inspection means 15 includes a visible image input unit A1, a thermal image input unit A2, a simple three-dimensional measurement unit B, a thermal image normalization unit C0, an input visible image parallelization unit C1, and an input visible image. The image correction unit C2, the misregistration amount calculation unit C3, the thermal image correction unit C4, the thermal image super-resolution processing unit C5, the thermal image normalization unit C6, and the adhesion quality determination unit D are provided. Here, the visible image input unit A1, the thermal image input unit A2, and the simple three-dimensional measurement unit B are the same as those shown in FIG. 2, and the thermal image normalization unit C0 is the thermal image normalization unit shown in FIG. Same as C. Also, Step 1 to Step 3 shown in FIG. 3 are the same as Step 1 to Step 3 shown in FIG.
［Ｓｔｅｐ４］
Ｓｔｅｐ１で熱画像と同期して取り込まれた可視画像Ｐｉ０について、入力可視画像平行化部Ｃ１により、検査対象物１が平行移動となって現れるような射影変換行列Ｈを、各注目点を用いて決定する。
[Step4]
For the visible image P i0 captured in synchronism with the thermal image at Step 1, a projection transformation matrix H such that the inspection object 1 appears as a parallel movement by the input visible image parallelizing unit C 1 is used for each attention point. To decide.
［Ｓｔｅｐ５］
射影変換行列Ｈを用いて、入力可視画像補正部Ｃ２により、入力された可視画像Ｐｉ０から基準画像Ｐｉ０ｓｔ．を決定する。
[Step 5]
Using the projective transformation matrix H, the input visible image correction unit C2 converts the input visible image P i0 to the reference image P i0st. To decide.
［Ｓｔｅｐ６］
位置ずれ量算出部Ｃ３により、入力される可視画像Ｐｉｊについて、射影変換行列Ｈを用いて画像を修整する。さらに、その修整画像および基準画像Ｐｉ０ｓｔ．について、熱画像中の各注目点の座標（ｕ’ｉｊｋ，ｖ’ｉｊｋ）に対応する点を、位相限定相関法を用いて求め、可視画像Ｐｉｊについてずれ量δｉｊを決定する。このとき、基準画像Ｐｉ０ｓｔ．と修整画像との間のずれは、平行移動に制限する。
[Step 6]
The positional deviation amount calculation unit C3 modifies the image of the input visible image P ij using the projection transformation matrix H. Further, the modified image and the reference image P i0st. , The point corresponding to the coordinates (u ′ ijk , v ′ ijk ) of each point of interest in the thermal image is obtained using the phase-only correlation method, and the shift amount δ ij is determined for the visible image P ij . At this time, the reference image P i0st. Deviation between the image and the modified image is limited to translation.
［Ｓｔｅｐ７］
熱画像補正部Ｃ４により、熱画像中の各注目点の座標（ｕ’ｉｊｋ，ｖ’ｉｊｋ）と、位置ずれ量δｉｊと、Ｓｔｅｐ１で取り込まれた熱画像Ｐ’ｉｊとから、修整された可視画像と重なる一次修整熱画像Ｐ’ｉＡｊを合成する。この時点で、可視画像上の位置ずれ量と熱画像上の位置ずれ量とが一致する。
[Step 7]
The image is corrected from the coordinates (u ′ ijk , v ′ ijk ) of each attention point in the thermal image, the positional deviation amount δ ij, and the thermal image P ′ ij captured in Step 1 by the thermal image correction unit C4. A primary modified thermal image P ′ iAj that overlaps the visible image is synthesized. At this point, the amount of positional deviation on the visible image matches the amount of positional deviation on the thermal image.
熱画像取得手段１１および可視画像取得手段１２により、相対的に微小移動する一つの検査対象物１に対して、それぞれｎ個の熱画像および可視画像を取得し、各画像に対して以上のＳｔｅｐ１〜Ｓｔｅｐ７を順次繰り返し、一次修整熱画像Ｐ’ｉＡｊをｊ＝１〜ｎまで蓄積する。 With the thermal image acquisition means 11 and the visible image acquisition means 12, n thermal images and visible images are acquired for one inspection object 1 that moves relatively minutely, and the above Step 1 is performed for each image. Step 7 is sequentially repeated to accumulate primary modified thermal images P ′ iAj from j = 1 to n.
［Ｓｔｅｐ８］
蓄積されたｎ個の一次修整熱画像Ｐ’ｉＡｊは、ずれ量δｉｊの情報を伴っており、熱画像超解像処理部Ｃ５により、そのｎ個の画像だけを用いて超解像処理を行い、解像度の高い二次修整熱画像Ｐ’ｉＢを合成する。
[Step 8]
The accumulated n primary modified thermal images P ′ iAj are accompanied by information on the shift amount δ ij , and the thermal image super-resolution processing unit C5 performs super-resolution processing using only the n images. Then, a high-resolution secondary modified thermal image P ′ iB is synthesized.
［Ｓｔｅｐ９］
熱画像正規化部Ｃ６により、二次修整熱画像Ｐ’ｉＢについて、正規化熱画像Ｐ’ｉＣを合成する。このとき、例えば、検査対象物１の矩形状の側面の４隅を各注目点に設定した場合、注目点の４隅を画像の４隅にした正規化熱画像Ｐ’ｉＣを作成することができる。
[Step 9]
The thermal image normalization unit C6 synthesizes the normalized thermal image P ′ iC with respect to the secondary modified thermal image P ′ iB . At this time, for example, when the four corners of the rectangular side surface of the inspection object 1 are set as the attention points, the normalized thermal image P ′ iC in which the four corners of the attention point are the four corners of the image may be created. it can.
［Ｓｔｅｐ１０］
このように作成された正規化熱画像Ｐ’ｉＣに基づいて、接着良否判定部Ｄにより、あらかじめ設けられた温度の閾値から、温度分布を二値化して二値化画像を作成する。その二値化画像の高温部の分布から、高温部の領域数、高温部の各領域の面積、高温部の各領域の重心位置を求め、あらかじめ設定した良否判定基準に照らし合わせて判定信号を発する。
[Step 10]
Based on the normalized thermal image P ′ iC created in this way, the adhesion quality determination unit D creates a binarized image by binarizing the temperature distribution from a preset temperature threshold. From the distribution of the high-temperature part of the binarized image, the number of areas in the high-temperature part, the area of each area in the high-temperature part, and the barycentric position of each area in the high-temperature part are obtained, and the judgment signal is compared with the predetermined quality judgment criteria To emit.
こうして、熱画像取得手段１１として、画素数が少ない安価な熱画像センサを使用したときであっても、熱画像の解像度を高めると同時に、移動平均の効果によりノイズを低減することができる。これにより、ノイズ除去を含めた熱画像の鮮明化を図ることができ、接着状況の検査精度をより高めることができる。なお、熱画像取得手段１１および可視画像取得手段１２の移動速度は、取得された各熱画像が１ピクセルより小さいサブピクセル単位でずれるよう設定されていることが好ましい。 In this way, even when an inexpensive thermal image sensor with a small number of pixels is used as the thermal image acquisition means 11, it is possible to increase the resolution of the thermal image and reduce noise due to the moving average effect. Thereby, the thermal image including noise removal can be clarified, and the inspection accuracy of the adhesion state can be further increased. In addition, it is preferable that the moving speed of the thermal image acquisition unit 11 and the visible image acquisition unit 12 is set so that each acquired thermal image is shifted in sub-pixel units smaller than one pixel.
超画像処理を行う場合の具体的な実施例を以下に示す。
関連する諸ファクターの具体的な数値は以下の通りである。
１）検査対象の移動速度：１０００ｍｍ／ｓ
２）熱画像撮影周波数（フレームレート）：６Ｈｚ（６ｆｐｓ）
３）撮影距離： ６００ｍｍ
４）視野係数（視野幅／撮影距離）： １．４
５）視野幅： ６００×１．４＝８４０ｍｍ
６）画素数： ４８×４７
７）水平方向 １画素（ピクセル）当たりの視野：８４０÷４８＝１７．５ｍｍ
８）垂直方向 １画素（ピクセル）当たりの視野：８４０÷４７＝１７．９ｍｍ
９）１撮影毎に１／２ピクセル移動する画像を撮影する場合の、相対速度は
水平方向： １７．５（ｍｍ）／２÷１／６（ｓ）＝５２．５ｍｍ／ｓ
垂直方向： １７．９（ｍｍ）／２÷１／６（ｓ）＝５３．７ｍｍ／ｓ
１０）カメラ系（熱画像取得手段１１および可視画像取得手段１２）の設定移動速度：
対象物が水平方向に１０００ｍｍ／ｓで移動し、垂直方向に移動はしていないため、
カメラ系は水平方向に、１０００±５２．５ｍｍ／ｓの速度で移動、
垂直方向に、５３．７ｍｍの速度で移動
Specific examples in the case of performing super image processing will be described below.
Specific numerical values of related factors are as follows.
1) Moving speed of inspection object: 1000 mm / s
2) Thermal image shooting frequency (frame rate): 6 Hz (6 fps)
3) Shooting distance: 600mm
4) Field of view coefficient (field width / shooting distance): 1.4
5) Field width: 600 × 1.4 = 840mm
6) Number of pixels: 48 × 47
7) Horizontal direction Field of view per pixel (pixel): 840 ÷ 48 = 17.5 mm
8) Vertical field of view per pixel: 840 ÷ 47 = 17.9mm
9) When shooting an image that moves 1/2 pixel for each shooting, the relative speed is horizontal: 17.5 (mm) / 2 ÷ 1/6 (s) = 52.5 mm / s
Vertical direction: 17.9 (mm) / 2 ÷ 1/6 (s) = 53.7 mm / s
10) Set moving speed of the camera system (thermal image acquisition means 11 and visible image acquisition means 12):
Since the object is moving at 1000mm / s in the horizontal direction and not moving in the vertical direction,
The camera system moves in the horizontal direction at a speed of 1000 ± 52.5 mm / s.
Moves at a speed of 53.7 mm vertically
以上の設定で、カメラ系を検査対象物１に沿って１秒間、水平方向に約１０００ｍｍ、垂直方向に５４ｍｍの移動を行うと、水平および垂直方向に１／２ピクセルずつ、ずれた６枚の熱画像の撮影が可能となる。 With the above settings, if the camera system is moved along the inspection object 1 by about 1000 mm in the horizontal direction and 54 mm in the vertical direction for six seconds, the six images are shifted by 1/2 pixel in the horizontal and vertical directions. Thermal images can be taken.
図４（Ａ）〜（Ｅ）に、それぞれ、カメラ系を固定した場合の熱画像、カメラ系を検査対象物１と同速度で水平方向に移動させて撮影した場合の熱画像、得られる画像が０．５ピクセルずつ、ずれるようカメラ系を移動させたときの６枚の画像を用いて超解像処理を行った場合の熱画像、得られる画像が０．３ピクセルずつ、ずれるようカメラ系を移動させたときの６枚の画像を用いて超解像処理を行った場合の熱画像、得られる画像が０．２ピクセルずつ、ずれるようカメラ系を移動させたときの６枚の画像を用いて超解像処理を行った場合の熱画像を示す。 4A to 4E, respectively, a thermal image when the camera system is fixed, a thermal image when the camera system is photographed while moving in the horizontal direction at the same speed as the inspection object 1, and an image obtained. Is a thermal image when super-resolution processing is performed using six images when the camera system is moved so that the image is shifted by 0.5 pixels, and the camera system is shifted by 0.3 pixels. 6 images when the camera system is moved so that the obtained image is shifted by 0.2 pixels by the thermal image when the super-resolution processing is performed using the 6 images when the image is moved The thermal image at the time of performing a super-resolution process using is shown.
図４（Ａ）に示すように、カメラ系を固定した状態で検査対象物１を撮影すると、熱画像が検査対象物１の移動方向に流れることが確認された。また、図４（Ｂ）に示すように、カメラ系を検査対象物１と同速度で水平方向に移動させた場合、熱画像が移動方向に流れるのを防ぐことができ、図４（Ａ）と比べて、熱画像が鮮明になっていることが確認された。さらに、図４（ｃ）〜（Ｅ）に示すように、カメラ系の移動速度と検査対象部の搬送速度との間に一定の差を設け、超解像処理を行った場合、図４（Ｂ）と比べて、さらに熱画像の解像度が高くなり、熱画像が鮮明になっていることが確認された。 As shown in FIG. 4A, when the inspection object 1 is photographed with the camera system fixed, it is confirmed that the thermal image flows in the moving direction of the inspection object 1. As shown in FIG. 4B, when the camera system is moved in the horizontal direction at the same speed as that of the inspection object 1, it is possible to prevent the thermal image from flowing in the moving direction. It was confirmed that the thermal image was clearer than Further, as shown in FIGS. 4C to 4E, when a certain difference is provided between the moving speed of the camera system and the conveyance speed of the inspection target portion and the super-resolution processing is performed, FIG. Compared with B), it was confirmed that the resolution of the thermal image was higher and the thermal image was clearer.
本発明は、ホットメルトを用いて接着が行われ、生産物が連続的にベルトコンベアによって移動するような生産形態が用いられている電子製品、薬品、食料品など、あらゆる分野での活用が可能である。また、ホットメルトの接着の検査に限定する必要はなく、生産ラインでの熱に係わるあらゆる検査に対して、本発明の基本的な原理を応用した活用が可能である。 The present invention can be used in various fields such as electronic products, chemicals, foodstuffs, etc. in which production forms are used in which bonding is performed using hot melt and the product is continuously moved by a belt conveyor. It is. Moreover, it is not necessary to limit to the inspection of hot melt adhesion, and the basic principle of the present invention can be applied to all inspections relating to heat in the production line.
１ 検査対象物
１ａ 接着部位
２ ベルトコンベア
１０ 接着検査装置
１１ 熱画像取得手段
１２ 可視画像取得手段
１３ 水平移動機構
１４ 垂直移動機構
１５ 検査手段
DESCRIPTION OF SYMBOLS 1 Inspection object 1a Adhesion site | part 2 Belt conveyor 10 Adhesion inspection apparatus 11 Thermal image acquisition means 12 Visible image acquisition means 13 Horizontal movement mechanism 14 Vertical movement mechanism 15 Inspection means
Claims (4)
前記検査対象物の熱画像を取得する熱画像取得手段と、
前記熱画像取得手段と同期して前記検査対象物の可視画像を取得する可視画像取得手段と、
あらかじめ設定されたモデル座標系と前記可視画像取得手段で取得された可視画像の座標系との関係と、前記熱画像取得手段と前記可視画像取得手段との位置関係とに基づいて、前記可視画像で設定された複数の注目点について、前記熱画像取得手段で取得された熱画像中での座標を求め、各注目点の座標が求められた前記熱画像に基づいて前記検査対象物の接着状況を検査する検査手段とを、
有することを特徴とする接着検査装置。 An adhesion inspection apparatus for inspecting the adhesion state of an inspection object having an adhesion site by a hot melt adhesive and transported in a predetermined direction,
Thermal image acquisition means for acquiring a thermal image of the inspection object;
Visible image acquisition means for acquiring a visible image of the inspection object in synchronization with the thermal image acquisition means;
Based on the relationship between the model coordinate system set in advance and the coordinate system of the visible image acquired by the visible image acquisition unit, and the positional relationship between the thermal image acquisition unit and the visible image acquisition unit, the visible image With respect to a plurality of attention points set in step 1, the coordinates in the thermal image acquired by the thermal image acquisition means are obtained, and the adhesion state of the inspection object is based on the thermal image from which the coordinates of each attention point are obtained Inspection means for inspecting
An adhesion inspection apparatus comprising:
前記検査手段は、取得された各可視画像について、前記検査対象物に対する互いの位置のずれを求め、対応する可視画像の位置のずれに基づいて、各注目点の座標が求められた各熱画像を合成して超解像処理を行い、超解像処理後の熱画像に基づいて前記検査対象物の接着状況を検査することを
特徴とする請求項１乃至３のいずれか１項に記載の接着検査装置。
The thermal image acquisition unit and the visible image acquisition unit acquire a plurality of thermal images and visible images while moving in parallel in the conveyance direction of the inspection object at a speed different from the conveyance speed of the inspection object. Configured and possible
The inspecting means obtains each other's position shift with respect to the inspection object for each acquired visible image, and each thermal image in which the coordinates of each attention point are obtained based on the corresponding position shift of the visible image The super-resolution processing is performed by combining the two, and the adhesion state of the inspection object is inspected based on the thermal image after the super-resolution processing. Adhesion inspection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011281875A JP2013130541A (en) | 2011-12-22 | 2011-12-22 | Bonding inspection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011281875A JP2013130541A (en) | 2011-12-22 | 2011-12-22 | Bonding inspection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013130541A true JP2013130541A (en) | 2013-07-04 |
Family
ID=48908193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011281875A Pending JP2013130541A (en) | 2011-12-22 | 2011-12-22 | Bonding inspection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013130541A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015209862A1 (en) * | 2015-05-29 | 2016-12-01 | Bayerische Motoren Werke Aktiengesellschaft | Method for analyzing a functional area of a workpiece and using IR thermography |
| WO2017183554A1 (en) * | 2016-04-19 | 2017-10-26 | 日立マクセル株式会社 | Work support device and work support system |
| WO2021039160A1 (en) * | 2019-08-30 | 2021-03-04 | パナソニックＩｐマネジメント株式会社 | Stress analysis device |
| WO2023135468A1 (en) * | 2022-01-11 | 2023-07-20 | Nemak. S.A.B. De C.V. | Method for producing a core packet segment for a casting mold |
| WO2024085061A1 (en) * | 2022-10-20 | 2024-04-25 | 株式会社荏原製作所 | Substrate processing apparatus and substrate processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001311709A (en) * | 2000-04-28 | 2001-11-09 | Mitsubishi Heavy Ind Ltd | Structure inspection device and structure inspection method |
| JP2002132341A (en) * | 2000-10-26 | 2002-05-10 | Toshiba Corp | Field inspection device |
| JP2006140886A (en) * | 2004-11-15 | 2006-06-01 | Olympus Corp | Imaging apparatus, and method for enhancing resolution of image |
| JP2011107021A (en) * | 2009-11-19 | 2011-06-02 | Mitsubishi Heavy Industries Food & Packaging Machinery Co Ltd | Inspection method and device of hot-melt adhesion section |
-
2011
- 2011-12-22 JP JP2011281875A patent/JP2013130541A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001311709A (en) * | 2000-04-28 | 2001-11-09 | Mitsubishi Heavy Ind Ltd | Structure inspection device and structure inspection method |
| JP2002132341A (en) * | 2000-10-26 | 2002-05-10 | Toshiba Corp | Field inspection device |
| JP2006140886A (en) * | 2004-11-15 | 2006-06-01 | Olympus Corp | Imaging apparatus, and method for enhancing resolution of image |
| JP2011107021A (en) * | 2009-11-19 | 2011-06-02 | Mitsubishi Heavy Industries Food & Packaging Machinery Co Ltd | Inspection method and device of hot-melt adhesion section |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015209862A1 (en) * | 2015-05-29 | 2016-12-01 | Bayerische Motoren Werke Aktiengesellschaft | Method for analyzing a functional area of a workpiece and using IR thermography |
| DE102015209862B4 (en) | 2015-05-29 | 2022-03-03 | Bayerische Motoren Werke Aktiengesellschaft | Method for analyzing a functional area of a workpiece and using IR thermography |
| WO2017183554A1 (en) * | 2016-04-19 | 2017-10-26 | 日立マクセル株式会社 | Work support device and work support system |
| US10565450B2 (en) | 2016-04-19 | 2020-02-18 | Maxell, Ltd. | Work supporting apparatus and work supporting system |
| US11380095B2 (en) | 2016-04-19 | 2022-07-05 | Maxell, Ltd. | Work supporting apparatus and work supporting system |
| US11676379B2 (en) | 2016-04-19 | 2023-06-13 | Maxell, Ltd. | Work supporting apparatus and work supporting system |
| WO2021039160A1 (en) * | 2019-08-30 | 2021-03-04 | パナソニックＩｐマネジメント株式会社 | Stress analysis device |
| JPWO2021039160A1 (en) * | 2019-08-30 | 2021-03-04 | ||
| JP7209398B2 (en) | 2019-08-30 | 2023-01-20 | パナソニックＩｐマネジメント株式会社 | stress analyzer |
| WO2023135468A1 (en) * | 2022-01-11 | 2023-07-20 | Nemak. S.A.B. De C.V. | Method for producing a core packet segment for a casting mold |
| WO2024085061A1 (en) * | 2022-10-20 | 2024-04-25 | 株式会社荏原製作所 | Substrate processing apparatus and substrate processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9135708B2 (en) | Gaze point detection method and gaze point detection device | |
| US8233041B2 (en) | Image processing device and image processing method for performing three dimensional measurements | |
| JP6124780B2 (en) | Method for producing glass product from glass product material and assembly apparatus for carrying out the method | |
| WO2010016137A1 (en) | Inspection system | |
| JP2013130541A (en) | Bonding inspection device | |
| KR102030543B1 (en) | Appearance inspection apparatus | |
| JP6382074B2 (en) | Appearance inspection apparatus, appearance inspection system, and appearance inspection method | |
| JP2015175629A (en) | Distance measuring apparatus, and distance measuring system | |
| US20160364851A1 (en) | Defect inspection method and apparatus | |
| CN106918306A (en) | Industrial products three-dimensional appearance real-time detecting system based on light field one camera | |
| JP2007322162A (en) | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method | |
| TWI490481B (en) | On - line Inspection Method for Panel 3D Defects | |
| KR20160022044A (en) | Inspection device for optical film | |
| KR20150054663A (en) | Appearance inspection apparatus | |
| TW201135609A (en) | Appearance inspection device | |
| TW201140043A (en) | End face inspection method for light-pervious rectangular sheets and end face inspection apparatus | |
| JP6092602B2 (en) | Defect inspection apparatus and defect inspection method | |
| JP5824278B2 (en) | Image processing device | |
| CN111146105A (en) | Defect inspection device and method | |
| JP4783650B2 (en) | PTP seal inspection device | |
| TW201520511A (en) | 3D measurement device, 3D measurement method, and manufacturing method of substrate | |
| JP5359038B2 (en) | Line sensor elevation angle measuring device by image processing | |
| KR20190011199A (en) | System for defect inspection and method for defect inspection | |
| JPH08313454A (en) | Image processing equipment | |
| EP1676238B1 (en) | A method for measuring dimensions by means of a digital camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20111226 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140918 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140916 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140916 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140917 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20141215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160322 |