JP6451980B2 - Image generation device - Google Patents
Image generation device Download PDFInfo
- Publication number
- JP6451980B2 JP6451980B2 JP2014236358A JP2014236358A JP6451980B2 JP 6451980 B2 JP6451980 B2 JP 6451980B2 JP 2014236358 A JP2014236358 A JP 2014236358A JP 2014236358 A JP2014236358 A JP 2014236358A JP 6451980 B2 JP6451980 B2 JP 6451980B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- polarizer
- light
- density
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、食品や工業製品等の検査対象物に光を照射し、検査対象物の内部を撮像した画像を用いて内部構造を可視化して、検査対象物中の内部情報を表示した画像を得る画像生成装置に関する。 The present invention irradiates inspection objects such as food and industrial products with light, visualizes the internal structure using an image obtained by imaging the inside of the inspection object, and displays an image displaying internal information in the inspection object. The present invention relates to an image generating apparatus.
物体の内部または裏側にある構造、欠陥または異物などの検知対象を非破壊・非接触で検知するために、物体に光を照射して透過光の陰影に含まれる情報を利用する方法が採られる。その際、陰影にノイズとして現れる物体の不均一性や、構造、模様などの光学的不均一性に基づく情報を低減してSN比を向上させる工夫が種々なされている。 In order to detect non-destructive and non-contact detection targets such as structures, defects, or foreign objects inside or behind the object, a method is used in which information contained in the shadow of transmitted light is used by irradiating the object with light. . At that time, various ideas have been made to improve the S / N ratio by reducing information based on the non-uniformity of the object appearing as noise in the shadow and the optical non-uniformity of the structure and pattern.
例えば、特許文献1には、検査対象物を撮影し、画像処理することで異物を判別する異物検査方法において、検査対象物に赤外光を照射する第1のステップと、該検査対象物を透過した光のうち、赤外光のみを抽出する第2のステップと、該抽出された赤外光を撮影する第3のステップと、を有することを特徴とする異物検査方法が開示されている。 For example, Patent Document 1 discloses a first step of irradiating an inspection target with infrared light in a foreign object inspection method for determining a foreign object by photographing an image of the inspection object and performing image processing. Disclosed is a foreign substance inspection method characterized by having a second step of extracting only infrared light out of transmitted light and a third step of photographing the extracted infrared light. .
この方法によれば、印刷を施された検査対象物において、混入した異物を高精度に判別すること、印刷部の画像処理を行うことなく高速に異物検査を行うことができる。 According to this method, it is possible to determine the foreign matter mixed in the printed inspection object with high accuracy and to perform the foreign matter inspection at high speed without performing image processing of the printing unit.
また、食品中の異物を検査する装置として、特許文献2には、近赤外領域において中心波長を有する第1検査光と、近赤外領域において前記第1検査光とは別の中心波長を有する第2検査光とを検査対象である食品に照射する面光源と、前記第1検査光および第2検査光が食品を透過した光によって当該食品を撮像し、前記第1検査光に基づいて撮像された第1画像および第2検査光に基づいて撮像された第2画像を出力する撮像機構と、第1画像および前記第2画像の差分画像を生成する差分画像生成部とを備えた検査装置が開示されている。 As an apparatus for inspecting foreign matter in food, Patent Document 2 discloses a first inspection light having a central wavelength in the near infrared region and a central wavelength different from the first inspection light in the near infrared region. A surface light source that irradiates the food to be inspected with the second inspection light, and the first inspection light and the second inspection light are imaged by the light transmitted through the food, and based on the first inspection light An inspection including an imaging mechanism that outputs a captured first image and a second image captured based on the second inspection light, and a difference image generation unit that generates a difference image between the first image and the second image An apparatus is disclosed.
また、特許文献3には、植物または植物加工品に混在する異物の検出を非破壊にて精度よく行う方法として、植物または植物加工品を撮像して得られたハイパースペクトル画像に基づいて、該検査対象物中に混在する異物を検出する植物または植物加工品の異物検出方法であって、検査対象物に対して近赤外領域の測定光を照射する照射ステップと、照射ステップにおいて照射された光による検査対象物からの散乱光を受光することで、検査対象物を撮像してハイパースペクトル画像を得る撮像ステップと、撮像ステップにおいて得られたハイパースペクトル画像に含まれて互いに異なる2つの画素間でのスペクトル形状に基づいて、検査対象物に混在する異物を検出する分析ステップと、を備える方法が開示されている。 Further, in Patent Document 3, as a method for accurately detecting non-destructive foreign matters mixed in plants or plant processed products, based on a hyperspectral image obtained by imaging plants or plant processed products, A foreign matter detection method for a plant or a processed plant product that detects foreign matter mixed in an inspection object, the irradiation step of irradiating measurement light in the near-infrared region to the inspection target, and the irradiation step An imaging step that captures the inspection object by receiving scattered light from the inspection object by light to obtain a hyperspectral image, and between two different pixels included in the hyperspectral image obtained in the imaging step And an analysis step of detecting foreign matter mixed in the inspection object based on the spectrum shape in the above.
上述の特許文献1に記載の検査方法では、照射する赤外光の波長域で、インクに吸収や反射がないことを前提として、印刷された模様等によるノイズを消去して異物のみが写った画像を生成し、異物の判定を行う。したがって、該波長域で吸収や反射があるインクを使用した場合や、検知対象である異物に該波長域での吸収や反射がない場合には、発明の効果を奏し得ない。 In the inspection method described in the above-mentioned Patent Document 1, in the wavelength range of the infrared light to be irradiated, it is assumed that the ink has no absorption or reflection, and noise due to the printed pattern or the like is erased so that only foreign matters are shown. An image is generated and foreign matter is determined. Therefore, the effect of the invention cannot be achieved when ink having absorption or reflection in the wavelength range is used, or when a foreign substance to be detected does not have absorption or reflection in the wavelength range.
また、特許文献2および3で検査対象とする食品、植物または植物加工品等は、光学的に均質ではなく、凹凸もあるため、撮像された画像には、検査対象物と異物の光学的な差異とともに、検査対象物の光学的不均質性や凹凸の影響がノイズとして現れる。 In addition, since foods, plants, processed plant products, and the like to be inspected in Patent Documents 2 and 3 are not optically uniform and have irregularities, the captured image includes optical inspection objects and foreign objects. Along with the difference, the optical inhomogeneity of the inspection object and the influence of unevenness appear as noise.
すなわち、特許文献2に記載の装置および特許文献3に記載の方法は、いずれも検査対象物と異物の吸収波長の差異を検出することによってノイズの影響を除去して、検査対象物と異物とを判別するものである。 That is, both the apparatus described in Patent Document 2 and the method described in Patent Document 3 remove the influence of noise by detecting the difference in the absorption wavelength between the inspection object and the foreign object, and the inspection object and the foreign object. Is to discriminate.
しかし、検査対象物と異物とで吸収波長に明確な差異がない場合には、十分にノイズを除去することができない。 However, if there is no clear difference in absorption wavelength between the inspection object and the foreign object, noise cannot be sufficiently removed.
本発明は上述の問題点に鑑みて成されたもので、模様等のノイズの原因が検査波長で吸収や反射がある場合や、検査対象物と検知対象の検査波長の変化に対する吸光度または透過度の変化率の差異が明確でない場合でも、検査対象物の光学的不均一性等に起因するノイズを低減して、異物等の検知対象を鮮明に表示した画像を生成できる画像生成装置を提供することを目的とする。 The present invention has been made in view of the above-described problems. When the cause of noise such as a pattern is absorption or reflection at the inspection wavelength, or the absorbance or transmittance with respect to changes in the inspection wavelength of the inspection object and the detection object. Provided is an image generation device capable of generating an image in which a detection target such as a foreign object is clearly displayed by reducing noise caused by optical non-uniformity of an inspection target even when the difference in change rate of the test object is not clear For the purpose.
上記目的を達成するために、本発明にかかる画像生成装置は、
検査光を検査対象物に照射する光源と、
前記検査対象物を透過した透過光および散乱光を受光して画像データを生成する受像器と、
前記光源と前記検査対象物との間の光路上に配置され、前記検査光を直線偏光させる第1の偏光子と、
前記検査対象物と前記受像器との間の光路上に配置され、前記透過光を直線偏光させる第2の偏光子と、
前記第1の偏光子の透過軸と前記第2の偏光子の透過軸とのなす相対角を変更可能な偏光方向制御手段と、を備え、
前記受像器を用いて相対角が小さい第1画像と相対角が大きい第2画像とを撮像すると共に、当該第1画像および第2画像を用いて前記検査対象物の内部構造を可視化して、検査対象物中に存在する検知対象を表示した画像を得る画像生成装置であって、
前記第2画像のコントラストを増大、および/または前記第1画像のコントラストを低下させる濃度調整を行う濃度調整手段を有することを特徴とする。
In order to achieve the above object, an image generation apparatus according to the present invention includes:
A light source for irradiating the inspection object with inspection light;
A receiver that receives the transmitted light and scattered light transmitted through the inspection object and generates image data;
A first polarizer disposed on an optical path between the light source and the inspection object to linearly polarize the inspection light;
A second polarizer disposed on an optical path between the inspection object and the receiver, and linearly polarizes the transmitted light;
Polarization direction control means capable of changing a relative angle between the transmission axis of the first polarizer and the transmission axis of the second polarizer,
Taking the first image having a small relative angle and the second image having a large relative angle using the receiver, and visualizing the internal structure of the inspection object using the first image and the second image, An image generating device for obtaining an image displaying a detection target present in an inspection object ,
It is characterized by having density adjusting means for performing density adjustment for increasing the contrast of the second image and / or decreasing the contrast of the first image .
もしくは本発明にかかる画像生成装置は、
検査光を検査対象物に照射する光源と、
前記検査対象物を透過した透過光および散乱光を受光して画像データを生成する受像器と、
前記光源と前記検査対象物との間の光路上に配置され、前記検査光を円偏光に変換する第1の偏光子と、
前記検査対象物と前記受像器との間の光路上に配置され、円偏光を直線偏光に変換して透過させる第2の偏光子と、
前記第1の偏光子が変換する円偏光の回転方向、または前記第2の偏光子が透過させる円偏光の回転方向が切り替え可能な偏光方向制御手段と、を備え、
前記受像器を用いて前記第1の偏光子が変換する円偏光の回転方向と前記第2の偏光子が透過させる円偏光の回転方向とが同一方向となる第1画像と逆方向となる第2画像とを撮像すると共に、当該第1画像および第2画像を用いて前記検査対象物の内部構造を可視化して、検査対象物中に存在する検知対象を表示した画像を得る画像生成装置であって、
前記第2画像のコントラストを増大、および/または前記第1画像のコントラストを低下させる濃度調整を行う濃度調整手段を有することを特徴とする。
Alternatively, the image generation apparatus according to the present invention is
A light source for irradiating the inspection object with inspection light;
A receiver that receives the transmitted light and scattered light transmitted through the inspection object and generates image data;
A first polarizer disposed on an optical path between the light source and the inspection object and converting the inspection light into circularly polarized light;
A second polarizer disposed on an optical path between the inspection object and the receiver, and converts circularly polarized light into linearly polarized light and transmits the second polarizer;
A polarization direction control unit capable of switching a rotation direction of circularly polarized light converted by the first polarizer or a rotation direction of circularly polarized light transmitted by the second polarizer,
A first direction in which the rotation direction of the circularly polarized light converted by the first polarizer and the rotation direction of the circularly polarized light transmitted by the second polarizer are the same direction as the first image using the receiver is opposite to the first image. while imaging the two images, the image generation apparatus of the internal structure to visualize, obtain an image displaying the detection target present in the test object of the test object by using the first image and the second image There,
It is characterized by having density adjusting means for performing density adjustment for increasing the contrast of the second image and / or decreasing the contrast of the first image .
本発明にかかる画像生成装置は、前記濃度調整手段による濃度調整が行われた第1画像と第2画像との差分画像を生成する画像処理手段を有することが好ましい。 The image generation apparatus according to the present invention preferably includes image processing means for generating a difference image between the first image and the second image on which density adjustment has been performed by the density adjustment means .
本発明にかかる画像生成装置では、第1画像に異物等の検知対象の影と検査対象物の光学的不均一性によるノイズが比較的鮮明に写る。一方、第2画像には、検知対象の影と検査対象物の光学的不均一性によるノイズは見た目には不鮮明であるが、第1画像に含まれるノイズと同じ原因によるノイズ成分(以下「共通ノイズ」という。)が含まれていると考えられる。 In the image generating apparatus according to the present invention, the shadow of the detection target such as a foreign object and the noise due to the optical non-uniformity of the inspection target appear relatively clearly in the first image. On the other hand, in the second image, the noise due to the shadow of the detection target and the optical non-uniformity of the inspection target is visually unclear, but the noise component due to the same cause as the noise included in the first image (hereinafter “common”) "Noise")).
従って、第2画像の濃度値を利用すれば、第1画像から共通ノイズをキャンセルして、ノイズを低減した画像が得られる。 Therefore, if the density value of the second image is used, common noise is canceled from the first image, and an image with reduced noise is obtained.
さらに、第2画像の濃度コントラストを増大、および/または第1画像のコントラストを低下させる濃度調整を行うことで、第1画像と第2画像に含まれる共通ノイズによる濃度の変化率を近似させることができる。 Further, by performing density adjustment that increases the density contrast of the second image and / or decreases the contrast of the first image, the density change rate due to the common noise included in the first image and the second image is approximated. Can do.
よって、濃度調整後に第1画像と第2画像の差分を取れば、第1画像に含まれる共通ノイズをキャンセルでき、検知対象とノイズ成分を判別しやすい差分画像データを生成できる。そしてノイズ成分を消去または低減した画像データには検知対象だけが鮮明に表れる。 Therefore, if the difference between the first image and the second image is obtained after the density adjustment, the common noise included in the first image can be canceled, and difference image data that can easily distinguish the detection target and the noise component can be generated. Only the detection target appears clearly in the image data from which the noise component has been eliminated or reduced.
以下、本発明の実施の形態にかかる画像生成装置について、図面を参照して説明する。本発明の実施の形態にかかる画像生成装置は、主として食品や工業製品の内部構造の検査に用いられる。 Hereinafter, an image generation apparatus according to an embodiment of the present invention will be described with reference to the drawings. An image generation apparatus according to an embodiment of the present invention is mainly used for inspection of internal structures of foods and industrial products.
<実施の形態1>
図1に、本発明の実施の形態1にかかる画像生成装置100の基本的な構成を示す。また図2に、画像生成装置100の制御系の構成を示す。
<Embodiment 1>
FIG. 1 shows a basic configuration of an image generation apparatus 100 according to the first embodiment of the present invention. FIG. 2 shows the configuration of the control system of the image generation apparatus 100.
(画像生成装置の構成と機能)
画像生成装置100は、光源1、受像器2、透明板3、第1および第2の偏光子4、5、リニアモータ6、レール7ならびにコントローラ8(図2参照)で構成されている。
(Configuration and function of image generation device)
The image generating apparatus 100 includes a light source 1, an image receiver 2, a transparent plate 3, first and second polarizers 4, 5, a linear motor 6, a rail 7, and a controller 8 (see FIG. 2).
光源1は、検査光を検査対象物に照射する。検査対象物を透過しやすい波長帯域を含むものであれば、白熱灯やハロゲンランプなどの光源を用いても良い。本実施の形態では、基板上にLED(発光ダイオード)を多数配置したLEDパネルを光源1として用いている。 The light source 1 irradiates the inspection object with inspection light. A light source such as an incandescent lamp or a halogen lamp may be used as long as it includes a wavelength band that easily transmits the inspection object. In the present embodiment, an LED panel in which a number of LEDs (light emitting diodes) are arranged on a substrate is used as the light source 1.
光源1は、透明板3上に載置された検査対象物に光を照射する向きに配置されている。光源1の波長は、検査対象物を透過しやすい波長であれば良く、検査対象物の種類や厚さによって波長200nmの近紫外光から1800nmの近赤外光の範囲で適宜選択できる。好ましくは、380nmの可視光から1100nmの近赤外光の範囲であれば、光が検査対象物を透過しやすい。また、この領域では、一般的なCCDセンサーやCMOSセンサーのSi系撮像素子の波長範囲内であることから、容易にシステムを構築できる。 The light source 1 is arranged in a direction to irradiate light on the inspection object placed on the transparent plate 3. The wavelength of the light source 1 should just be a wavelength which is easy to permeate | transmit a test subject, and can be suitably selected in the range of near-infrared light of wavelength 1200nm to near-ultraviolet light of wavelength 200nm according to the kind and thickness of a test subject. Preferably, light is easily transmitted through the inspection object in the range of visible light of 380 nm to near infrared light of 1100 nm. Also, in this area, the system can be easily constructed because it is within the wavelength range of the Si-type image sensor of a general CCD sensor or CMOS sensor.
さらに好ましくは600nm〜1100nmである。この領域では、観測される吸収バンドが非常に弱いことで透過性に優れる。また600nm以上では、比較的散乱の影響を受けにくくなる。特に、農産物やその加工品、その他食品等を検査対象物とする場合には、水の吸収が小さい600nmから900nmの近赤外光を選択することが好ましい。 More preferably, it is 600 nm to 1100 nm. In this region, the observed absorption band is very weak, and the transmission is excellent. Also, at 600 nm or more, it becomes relatively less susceptible to scattering. In particular, when agricultural products, processed products thereof, other foods, and the like are used as inspection objects, it is preferable to select near-infrared light having a water absorption of 600 nm to 900 nm.
受像器2は、光源1から照射され、透明板3上に載置された検査対象物を透過した光を受光する向きに配置され、検査対象物に焦点が合うように前部円筒部にレンズが取り付けられている。受像器2としては、CCD、CMOSなどのイメージセンサを搭載したデジタルカメラを使用でき、光源1の波長領域で好感度であることが好ましい。画素数は、検査対象物と異物の大きさや検査の目的に応じて選択できる。分解能は、256階調(8ビット)以上であることが好ましい。 The image receiver 2 is arranged in a direction to receive light irradiated from the light source 1 and transmitted through the inspection object placed on the transparent plate 3, and has a lens on the front cylindrical portion so that the inspection object is in focus. Is attached. As the receiver 2, a digital camera equipped with an image sensor such as a CCD or CMOS can be used, and it is preferable that the receiver 2 has good sensitivity in the wavelength region of the light source 1. The number of pixels can be selected according to the size of the inspection object and the foreign matter and the purpose of the inspection. The resolution is preferably 256 gradations (8 bits) or more.
光源1と透明板3との間には、第1の偏光子4が光源1および透明板3と平行に配置されており、光源1から照射された光を、図中y方向に偏光させる(すなわち透過軸がy方向)。図中、偏光子の縞模様は偏光方向を理解しやすくするために付けたもので、実際には肉眼で目視できない。 Between the light source 1 and the transparent plate 3, the 1st polarizer 4 is arrange | positioned in parallel with the light source 1 and the transparent plate 3, and the light irradiated from the light source 1 is polarized in the y direction in a figure ( That is, the transmission axis is in the y direction). In the figure, the stripe pattern of the polarizer is attached to make it easy to understand the polarization direction, and is not actually visible with the naked eye.
偏光子には、ガラス板や熱可塑性樹脂フィルム等の基材に偏光フィルムを貼った偏光板、同様の基材に二色性染料等を塗布した偏光板等の公知の偏光光学素子を用いることができる。なお、光源1が近赤外光である場合には、可視光用の偏光フィルムでは十分な偏光性能が得られないため、ワイヤグリッド方式の偏光フィルム(例えば、旭化成イーマテリアルズ製WGF(商標))を使用することが好ましい。 For the polarizer, use a known polarizing optical element such as a polarizing plate obtained by pasting a polarizing film on a substrate such as a glass plate or a thermoplastic resin film, or a polarizing plate obtained by applying a dichroic dye or the like to a similar substrate. Can do. When the light source 1 is near-infrared light, a polarizing film for visible light cannot provide sufficient polarization performance, so a wire grid type polarizing film (for example, WGF (trademark) manufactured by Asahi Kasei E-Materials). ) Is preferably used.
さらに、透明板3と受像器2の間には、第2の偏光子5が光源1、透明板3および第1の偏光子4と平行に配置されている。第2の偏光子5は、測定対象を透過した光を図中のy方向に偏光させるy方向偏光部51と、x方向に偏光させるx方向偏光部52が隣接して配置されたもので、フレーム53で一体化されている。 Further, a second polarizer 5 is disposed between the transparent plate 3 and the image receiver 2 in parallel with the light source 1, the transparent plate 3, and the first polarizer 4. The second polarizer 5 includes a y-direction polarization unit 51 that polarizes light transmitted through a measurement object in the y-direction in the drawing and an x-direction polarization unit 52 that polarizes light in the x-direction adjacent to each other. The frame 53 is integrated.
y方向偏光部51とx方向偏光部52は、第1の偏光子4と同様にガラス板や熱可塑性樹脂フィルムなどに偏光膜を貼った偏光板や、ガラス板や熱可塑性樹脂フィルムなどに二色性染料などを塗布した偏光板、ワイヤグリッド方式の偏光板等の公知の偏光光学素子を用いることができ、第1の偏光子4と同一の偏光特性を有することが好ましい。 Similarly to the first polarizer 4, the y-direction polarizing part 51 and the x-direction polarizing part 52 are provided on a polarizing plate in which a polarizing film is pasted on a glass plate or a thermoplastic resin film, or on a glass plate or a thermoplastic resin film. A known polarizing optical element such as a polarizing plate coated with a chromatic dye or a wire grid type polarizing plate can be used, and it preferably has the same polarization characteristics as the first polarizer 4.
リニアモータ6とレール7は偏光方向制御手段を構成しており、第2の偏光子5は、当該偏光方向制御手段により、y方向偏光部51を透過した光を受像器2が受光できる位置(以降、「平行位置」という)と、x方向偏光部52を透過した光を受像器2が受光できる位置(以降、「直交位置」という)との間で移動できるようになっている。 The linear motor 6 and the rail 7 constitute a polarization direction control means, and the second polarizer 5 has a position where the image receiver 2 can receive the light transmitted through the y-direction polarization section 51 by the polarization direction control means ( Hereinafter, it is movable between a “parallel position” and a position where the light transmitted through the x-direction polarization unit 52 can be received by the receiver 2 (hereinafter referred to as “orthogonal position”).
すなわち、フレーム53はリニアモータ6に結合されており、リニアモータ6は、コントローラ8の偏光子駆動部82(図2参照)からの命令により、レール7に沿って、矢印で示す方向に往復運動できる。往復運動の範囲は、一端が平行位置であり、他端が直交位置である。 That is, the frame 53 is coupled to the linear motor 6, and the linear motor 6 reciprocates in the direction indicated by the arrow along the rail 7 in accordance with a command from the polarizer driving unit 82 (see FIG. 2) of the controller 8. it can. The range of the reciprocating motion is such that one end is a parallel position and the other end is an orthogonal position.
従って、リニアモータ6を駆動して第2の偏光子5を右側に位置させたときは、受像器2は、第2の偏光子5のy方向偏光部51を透過した偏光を受光することとなり、第1の偏光子4の透過軸と第2の偏光子の透過軸とのなす相対角が0°となる。 Accordingly, when the linear motor 6 is driven and the second polarizer 5 is positioned on the right side, the image receiver 2 receives the polarized light that has passed through the y-direction polarization unit 51 of the second polarizer 5. The relative angle between the transmission axis of the first polarizer 4 and the transmission axis of the second polarizer is 0 °.
一方、第2の偏光子5を左側に位置させたときは、受像器2は、第2の偏光子5のx方向偏光部52を透過した偏光を受光することとなり、第1の偏光子4の透過軸と第2の偏光子の透過軸とのなす相対角が90°となる。 On the other hand, when the second polarizer 5 is positioned on the left side, the image receiver 2 receives the polarized light that has passed through the x-direction polarization unit 52 of the second polarizer 5, and thus the first polarizer 4. The relative angle between the transmission axis of the second polarizer and the transmission axis of the second polarizer is 90 °.
従って、受像器2は、同一の検査対象物について、第1の偏光子4の透過軸と第2の偏光子5の透過軸とのなす相対角が小さいとき(0°)と大きいとき(90°)の透過光および散乱光を受光して撮像できる。リニアモータ6の動作および受像器2が2種類の画像を撮像するタイミングの制御には、後述するコントローラ8(図2参照)を用いる。 Therefore, the receiver 2 has the same inspection object when the relative angle between the transmission axis of the first polarizer 4 and the transmission axis of the second polarizer 5 is small (0 °) and large (90 °) transmitted light and scattered light can be received and imaged. A controller 8 (see FIG. 2), which will be described later, is used to control the operation of the linear motor 6 and the timing at which the receiver 2 captures two types of images.
以後の説明では、第1の偏光子4の透過軸と第2の偏光子5の透過軸とのなす相対角が小さいときに受像器2によって撮像された画像を「平行画像」、相対角が大きいときに撮像された画像を「直交画像」という。 In the following description, an image captured by the receiver 2 when the relative angle between the transmission axis of the first polarizer 4 and the transmission axis of the second polarizer 5 is small is referred to as “parallel image”, and the relative angle is An image captured when it is large is called an “orthogonal image”.
図1に示す画像生成装置100は、外光の影響を防ぐために、コントローラ8を除いて筐体(図示せず)で遮光することが好ましい。また、筐体の内面、並びにリニアモータ6およびレール7の表面には、光の反射を防ぐ塗料などで塗装すれば、反射光が撮像に与える影響を防ぎやすい。 The image generating apparatus 100 shown in FIG. 1 is preferably shielded by a casing (not shown) except for the controller 8 in order to prevent the influence of external light. Further, if the inner surface of the housing and the surfaces of the linear motor 6 and the rail 7 are painted with a paint that prevents reflection of light, it is easy to prevent the influence of reflected light on imaging.
また光源1、受像器2、第1の偏光子4、透明板3およびレール7は、直接的に、または取り付け部品を用いた間接的な方法より筐体に固定されている。 The light source 1, the image receiver 2, the first polarizer 4, the transparent plate 3, and the rail 7 are fixed to the housing directly or by an indirect method using attachment parts.
次に、コントローラ8について説明する。コントローラ8は、リニアモータ6および受像器2の動作を制御すると共に、受像器2で撮像した画像データを処理するものである。図2に示すように、コントローラ8は、主制御部81、偏光子駆動部82、受像器制御部83、画像データ記憶部84および画像処理部85で構成されている。 Next, the controller 8 will be described. The controller 8 controls the operations of the linear motor 6 and the image receiver 2 and processes image data captured by the image receiver 2. As shown in FIG. 2, the controller 8 includes a main control unit 81, a polarizer driving unit 82, an image receiver control unit 83, an image data storage unit 84, and an image processing unit 85.
主制御部81は、産業用コンピュータやプログラマブルコントローラなどの既知のコントローラで構成され、装置全体をシーケンス制御する。 The main control unit 81 includes a known controller such as an industrial computer or a programmable controller, and performs sequence control on the entire apparatus.
偏光子駆動部82は、主制御部81からの指令により、リニアモータ6を設定された速度で右方向または左方向に移動させる。位置決めは、例えば、リニアモータ6が所定の停止位置にあるときにオンとなるリミットスイッチ(図示せず)をレール7に取り付け、偏光子駆動部82がリミットスイッチの信号を検知したときにリニアモータ6を停止させる。 The polarizer driving unit 82 moves the linear motor 6 in the right direction or the left direction at a set speed in accordance with a command from the main control unit 81. For positioning, for example, a limit switch (not shown) that is turned on when the linear motor 6 is at a predetermined stop position is attached to the rail 7, and the linear motor is detected when the polarizer driving unit 82 detects a signal of the limit switch. 6 is stopped.
受像器制御部83は、主制御部81からの指令により、受像器2の撮像タイミングを制御し、撮像された画像データを受像器2から取得し、さらに画像データ記憶部84に格納する。画像データ記憶部84は、さらに、濃度調整後の画像データ、差分画像データおよびノイズ成分を閾値で消去した画像データを格納する領域を有する。 The image receiver control unit 83 controls the image capturing timing of the image receiver 2 according to a command from the main control unit 81, acquires the captured image data from the image receiver 2, and further stores the image data in the image data storage unit 84. The image data storage unit 84 further includes an area for storing image data after density adjustment, difference image data, and image data obtained by erasing noise components with a threshold value.
画像データ記憶部84に格納された画像データは、画像処理手段85での画像処理演算に供される。画像処理手段を構成する画像処理部85は、濃度調整部86、差分演算部87およびノイズ消去部88を有する。 The image data stored in the image data storage unit 84 is used for image processing calculation in the image processing unit 85. The image processing unit 85 constituting the image processing unit includes a density adjustment unit 86, a difference calculation unit 87, and a noise elimination unit 88.
濃度調整部86は、受像器2により撮像され、画像データ記憶部84に格納された直交画像を読み出して、線形濃度変換を行う。変換に必要な定数は、あらかじめ実験によって適切な値が決められている。差分演算部87は、濃度調整部86で濃度変換された直交画像と平行画像との差分画像を生成する。 The density adjusting unit 86 reads the orthogonal image captured by the receiver 2 and stored in the image data storage unit 84, and performs linear density conversion. Appropriate values for constants necessary for conversion are determined in advance by experiments. The difference calculation unit 87 generates a difference image between the orthogonal image and the parallel image whose density has been converted by the density adjustment unit 86.
ノイズ消去部88は、差分画像に濃度閾値を適用して異物とノイズを切り分け、異物が鮮明に写った画像データを生成する。さらに、収縮、膨張、または、これらを組み合わせたモルフォロジー変換や平滑化処理等の既知のノイズ処理を必要に応じて追加しても良い。 The noise erasure unit 88 applies a density threshold to the difference image to separate foreign matter and noise, and generates image data in which the foreign matter is clearly visible. Furthermore, you may add known noise processing, such as shrinkage | contraction, expansion | swelling, or the morphological transformation combining these, smoothing processing, etc. as needed.
ノイズ消去部88で生成された画像をモニタに出力すれば、ノイズが低減し、異物が鮮明に写った画像を検査員が目視することができるため、容易に異物の有無と、異物が存在する場合は、その位置を確認することができる。 If the image generated by the noise erasing unit 88 is output to the monitor, the noise is reduced, and the inspector can visually observe the image in which the foreign matter is clearly seen. Therefore, the presence or absence of the foreign matter and the foreign matter are easily present. If so, you can check its position.
(可視化画像生成の原理)
次に、上述の画像生成装置100において検査対象物の内部構造を可視化した画像を生成する原理について説明する。最初に、撮像された平行画像と直交画像の特徴について説明する。
(Principle of visualization image generation)
Next, the principle of generating an image that visualizes the internal structure of the inspection object in the above-described image generation apparatus 100 will be described. First, the characteristics of the captured parallel image and orthogonal image will be described.
平行画像では、第1の偏光子4の透過軸(測定対象に入射する偏光方向)と第2の偏光子5の透過軸が同一方向であるため、検査対象物に入射した光のうち、散乱による偏光の乱れがない光の成分を多く含む。すなわち、検査対象物に入射した偏光は、検査対象物の内部構造によって散乱し偏光が乱れるが、一部の入射光は散乱することなく検査対象物を透過する。 In parallel image, because the transmission axis of the transmission axis of the first polarizer 4 (polarization direction is incident on the measurement object) the second polarizer 5 are the same direction, of the light incident on the test object, scattering It contains a lot of light components that are not disturbed by polarization. That is, the polarized light incident on the inspection object is scattered by the internal structure of the inspection object and the polarization is disturbed, but a part of the incident light passes through the inspection object without being scattered.
従って、第1の偏光子4と第2の偏光子5の透過軸を平行にすれば、偏光が乱れた散乱光の一部を第2の偏光子5で遮断できるため、受像器2に到達する光は、散乱せずに透過した光を多くの割合で受光することができる。散乱せずに透過した光は、異物の影や、検査対象物内部の光学的不均一性に起因するノイズなどの内部情報が多く含まれるため、平行画像はこれらの形状や大きさが鮮明な画像となる。 Accordingly, if the transmission axes of the first polarizer 4 and the second polarizer 5 are made parallel, a part of the scattered light whose polarization is disturbed can be blocked by the second polarizer 5, so that it reaches the receiver 2. The transmitted light can receive a large amount of transmitted light without scattering. Light that is transmitted without being scattered contains a lot of internal information such as shadows of foreign matter and noise caused by optical non-uniformity inside the inspection object, so the parallel image has a clear shape and size. It becomes an image.
ここで、光学的不均一性とは、果皮と果実などの生体組織の光学的な差異、混合物の各成分の光学的差異などのことであり、光の反射や吸収に差異があることにより、撮像した平行画像に濃度むらを生じさせる原因となるものをいう。なお、本発明においては、検査対象となる工業製品や、その包装等に印刷された模様も光学的不均一性に含まれる。 Here, the optical non-uniformity is an optical difference between living tissues such as pericarp and fruit, an optical difference of each component of the mixture, etc., and due to a difference in reflection and absorption of light, This is what causes density unevenness in a captured parallel image. In the present invention, industrial products to be inspected and patterns printed on the packaging thereof are also included in the optical nonuniformity.
一方、直交画像では、第2の偏光子5の透過軸を散乱せずに透過する光を遮断する方向にしているので、散乱光の割合が多い画像が得られる。直交画像には、異物の影やノイズによる細かい影がほとんど写らないか、または不鮮明な画像となる。 On the other hand, in the orthogonal image, the transmission axis of the second polarizer 5 is set in the direction of blocking the transmitted light without being scattered, so that an image having a high ratio of scattered light can be obtained. In the orthogonal image, a shadow of a foreign matter or a fine shadow due to noise hardly appears or is an unclear image.
このように、見た目に異なる平行画像と直交画像ではあるが、両画像には、同じ原因によるノイズが含まれるものと推測される。また、検査対象物の厚さは、両画像のノイズに同じ傾向の影響を与えるものと推測される。これは、後述する濃度調整と、平行画像と直交画像との差分を算出した後、差分画像の濃度値に閾値を設けてノイズをキャンセルすると、同一設定で検査対象物の厚さによらず、ノイズを低減した異物の鮮明な画像が得られる実験からの帰結である。 Thus, although it is the parallel image and orthogonal image which are visually different, it is estimated that both images contain the noise by the same cause. The thickness of the inspection object is presumed to have the same tendency on the noise of both images. This is the density adjustment described below, and after calculating the difference between the parallel image and the orthogonal image, canceling noise by setting a threshold value for the density value of the difference image, regardless of the thickness of the inspection object with the same setting, This is a result of an experiment in which a clear image of a foreign object with reduced noise can be obtained.
上述したように、検査対象物の厚さの影響を受けるノイズは、平行画像と直交画像のいずれにも表れるが、直交画像では、その濃度変化率(コントラスト)は小さい。本発明にかかる画像生成装置は、平行画像から厚さの影響を受けるノイズを取り除くための前処理として濃度調整を行っており、具体的には、直交画像のコントラストを増加させるか、平行画像のコントラストを低下させている。 As described above, noise affected by the thickness of the inspection object appears in both the parallel image and the orthogonal image, but the density change rate (contrast) is small in the orthogonal image. The image generation apparatus according to the present invention performs density adjustment as preprocessing for removing noise affected by thickness from a parallel image. Specifically, the image generation apparatus increases the contrast of an orthogonal image or increases the contrast of a parallel image. The contrast is lowered.
直交画像のコントラストを増加させる方法としては、例えば、直交画像の各画素の濃度値に1より大きな定数を乗算して、濃度変化率を増加させても良いが、直交画像全体の濃度の平均値が併せて増加するので、平均値を別にコントロールできる線形濃度変換等を使用することが好ましい。 As a method for increasing the contrast of the orthogonal image, for example, the density change rate may be increased by multiplying the density value of each pixel of the orthogonal image by a constant larger than 1, but the average value of the density of the entire orthogonal image may be increased. Therefore, it is preferable to use linear density conversion or the like that can control the average value separately.
上述した濃度調整は直交画像に対して行うが、平行画像と直交画像に含まれる検査対象物の厚さの影響を受けるノイズの濃度変化率を両画像で近似させる濃度調整であればよく、平行画像に対してコントラストを低下させる濃度調整を行っても良い。また、平行画像と直交画像の両方を濃度調整してもよい。 The above-described density adjustment is performed on the orthogonal image. However, any density adjustment that approximates the density change rate of noise affected by the thickness of the inspection object included in the parallel image and the orthogonal image may be used. You may perform density adjustment which reduces contrast with respect to an image. Further, the density of both the parallel image and the orthogonal image may be adjusted.
濃度調整が終了した平行画像と直交画像の差分画像を生成すれば、検査対象物の厚さの影響を受けるノイズをキャンセルできるので、差分画像の濃度に閾値を設けて異物とノイズを区別しやすい。 If a difference image between a parallel image and an orthogonal image after density adjustment is generated, noise affected by the thickness of the inspection object can be canceled. Therefore, it is easy to distinguish a foreign object from noise by providing a threshold value for the density of the difference image. .
ここで、差分画像とは、平行画像(または直交画像)の各画素の濃度値から直交画像(または平行画像)の対応する画素の濃度値を引いた値を対応する画素の濃度値として持つ画像である。 Here, the difference image is an image having, as the density value of the corresponding pixel, a value obtained by subtracting the density value of the corresponding pixel of the orthogonal image (or parallel image) from the density value of each pixel of the parallel image (or orthogonal image). It is.
なお、画像の濃度値の型は、通常符号なし整数型であるが、差分を取ると、濃度値が負の値となり、演算でエラーが生じたり、求める結果が得られない場合がある。この場合、処理プログラムで変数を符号付整数型や浮動小数点型に型変換すれば、エラーを生じずに求める演算結果を得ることができる。演算結果を画像データとして保存するには、例えば、負の値を有する演算結果について、濃度値の最低値が0以上となる定数を全画素の濃度値に加えるなどして、再度符号なし整数型に変換する。 Note that the density value type of an image is usually an unsigned integer type. However, if the difference is taken, the density value becomes a negative value, and an error may occur in the calculation or the obtained result may not be obtained. In this case, if the variable is converted into a signed integer type or floating point type by the processing program, the calculated result can be obtained without causing an error. In order to save the calculation result as image data, for example, for a calculation result having a negative value, an unsigned integer type is added again by adding a constant having a minimum density value of 0 or more to the density value of all pixels. Convert to
異物のみの鮮明な画像を生成するためには、差分画像について、あらかじめ適切に定めた閾値より高い(または低い)濃度値の画素のみを、例えば濃度値255(白色)に置き換え、その他の画素を0(黒色)に置き換えれば、異物のみが鮮明な2値化画像が得られる。 In order to generate a clear image of only foreign matter, in the difference image, only pixels having a density value higher (or lower) than a predetermined threshold value are replaced with, for example, density value 255 (white), and other pixels are replaced. If it is replaced with 0 (black), a binarized image in which only foreign matter is clear can be obtained.
濃度調整や閾値は、検査対象物や異物の種類および光源の波長等の条件によって異なるため、実験により適切な値を求めて設定すれば、一定条件下で、厚さに変化がある検査対象物から異物を検出するための鮮明な画像が得られる。 Concentration adjustment and threshold value vary depending on conditions such as the type of inspection object and foreign matter, and the wavelength of the light source. Therefore, if an appropriate value is obtained through experimentation and set, the inspection object varies in thickness under certain conditions. A clear image for detecting foreign matter can be obtained.
さらに、適切に濃度調整された直交画像の濃度値をそのまま閾値とし、平行画像の濃度値が直交画像の濃度値より高い画素の濃度値を0とし、低い画素の濃度値を255とする処理を行っても、異物のみの鮮明な画像が得られる。 Further, processing is performed in which the density value of the orthogonal image whose density is appropriately adjusted is set as a threshold value, the density value of the pixel whose density value of the parallel image is higher than the density value of the orthogonal image is set to 0, and the density value of the low pixel is set to 255. Even if it goes, a clear image of only foreign matters can be obtained.
上述した濃度調整とノイズ低減処理について、図面を用いて具体的に説明する。濃度調整とノイズ低減処理には4種類の形態がある。ただし、これらの形態に限られるわけではない。 The density adjustment and noise reduction processing described above will be specifically described with reference to the drawings. There are four types of density adjustment and noise reduction processing. However, it is not necessarily limited to these forms.
濃度調整とノイズ低減処理の第1の形態について、図3を用いて説明する。図3(a)は、受像器で撮像された平行画像と直交画像の任意の1行(横方向)の画素の濃度値を表したグラフ(生波形)である。図中、縦軸は濃度値、横軸は画素の座標を表す。なお、グラフに表した画素の縦方向の座標は、平行画像と直交画像で同一とする。図中、実線が平行画像、破線が直交画像の濃度値を表す。また、丸印は、異物の影響により平行画像の濃度値が落ち込んだ部分を示す。 A first form of density adjustment and noise reduction processing will be described with reference to FIG. FIG. 3A is a graph (raw waveform) representing the density values of pixels in an arbitrary row (horizontal direction) of the parallel image and the orthogonal image captured by the receiver. In the figure, the vertical axis represents density values, and the horizontal axis represents pixel coordinates. Note that the vertical coordinates of the pixels shown in the graph are the same for the parallel image and the orthogonal image. In the figure, the solid line represents the density value of the parallel image, and the broken line represents the density value of the orthogonal image. A circle indicates a portion where the density value of the parallel image has fallen due to the influence of foreign matter.
平行画像の濃度値には、異物の影響の他に、検査対象物の光学的不均一性に基づく細かなノイズが表れているが、直交画像の濃度値にはほとんど表れない。一方、両画像には、周期が比較的大きく位相が一致するノイズが表れている。 In the density value of the parallel image, fine noise based on the optical non-uniformity of the inspection object appears in addition to the influence of the foreign matter, but hardly appears in the density value of the orthogonal image. On the other hand, both images show noise with a relatively large period and in phase.
平行画像の生波形中にある2つの異物の影響は、前記した周期の大きなノイズのため、その濃度レベルが異なり、異物と細かなノイズを分離する閾値を設定することは困難である。そこで本発明では、同様に大きな周期のノイズを有する直交画像の濃度値に基づいて閾値を決定することで、2つの異物と細かなノイズを分離できるようにしている。 The influence of the two foreign matters in the raw waveform of the parallel image is noise with a large period as described above, so that the density level thereof is different, and it is difficult to set a threshold value for separating the foreign matters from fine noise. Therefore, in the present invention, two foreign objects and fine noise can be separated by determining a threshold value based on the density value of an orthogonal image having a large period of noise.
図3(b)は、直交画像の濃度値に1以上の定数を乗算して濃度調整を行ったときの濃度値を表したグラフである。なお、平行画像の濃度値は、図3(a)と同一である。直交画像の濃度値は1以上の濃度値を乗算したことにより、周期の大きなノイズの振幅が、平行画像と同程度に増幅されている。 FIG. 3B is a graph showing the density value when the density adjustment is performed by multiplying the density value of the orthogonal image by one or more constants. The density value of the parallel image is the same as that in FIG. By multiplying the density value of the orthogonal image by one or more density values, the amplitude of the noise having a large period is amplified to the same extent as that of the parallel image.
濃度調整後の直交画像と平行画像の濃度値の差分を取った結果を、図3(c)と(d)に示す。図3(c)は、平行画像の濃度値から直交画像の濃度値を引いた差分結果、図3(d)は、逆に直交画像の濃度値から平行画像の濃度値を引いた差分結果である。図中、破線で一定値の閾値を示している。差分を取ったことにより、2つの異物の影響による濃度の落ち込みが同レベルになり、1つの閾値で細かなノイズと異物を分離できることが分かる。 FIGS. 3C and 3D show the results of obtaining the difference between the density values of the orthogonal image and the parallel image after the density adjustment. 3C is a difference result obtained by subtracting the density value of the orthogonal image from the density value of the parallel image, and FIG. 3D is a difference result obtained by subtracting the density value of the parallel image from the density value of the orthogonal image. is there. In the figure, a constant value threshold is indicated by a broken line. By taking the difference, it can be seen that the drop in density due to the influence of two foreign substances is at the same level, and fine noise and foreign substances can be separated with one threshold.
図3(c)および(d)の波形を閾値で2値化すると、図4(a)および(b)に示す2値化画像が得られ、ノイズを消去し、異物のみが鮮明になった画像となる。 When the waveforms in FIGS. 3C and 3D are binarized with a threshold value, the binarized images shown in FIGS. 4A and 4B are obtained, noise is eliminated, and only the foreign matters become clear. It becomes an image.
次に、濃度調整に線形濃度変換を用いた第2の形態について、図5を用いて説明する。図5(a)は、図3(a)に示した波形と同一の生波形である。直交画像の濃度調整に線形濃度変換を用いた結果が図5(b)である。線形濃度変換では、定数を乗算する方法とは異なり、ノイズの振幅を増加させつつ、その平均値を独立に制御できる。よって、図5(b)に示すように、直交画像の濃度値より低い濃度に平行画像中の細かいノイズが表れないように制御して濃度調整ができる。 Next, a second embodiment using linear density conversion for density adjustment will be described with reference to FIG. FIG. 5A is the same raw waveform as the waveform shown in FIG. FIG. 5B shows the result of using linear density conversion for density adjustment of an orthogonal image. In the linear density conversion, unlike the method of multiplying by a constant, the average value can be controlled independently while increasing the amplitude of noise. Therefore, as shown in FIG. 5B, density adjustment can be performed by controlling so that fine noise in the parallel image does not appear at a density lower than the density value of the orthogonal image.
この状態で、直交画像の濃度値から平行画像の濃度値を引く差分を行うと、図5(c)に示す結果が得られ、閾値を濃度0とすれば、異物とノイズを分離できる。その後、差分結果について、0未満の濃度値をすべて0に置き換える処理を行うと図5(d)に示すようにノイズが消去され、異物が鮮明になった画像が得られる。 In this state, if the difference obtained by subtracting the density value of the parallel image from the density value of the orthogonal image is obtained, the result shown in FIG. 5C is obtained. If the threshold value is set to 0, foreign matter and noise can be separated. Thereafter, when the difference result is subjected to a process of replacing all density values less than 0 with 0, noise is eliminated and an image with clear foreign matters is obtained as shown in FIG.
第2の形態の変形として、線形濃度変換による濃度調整を行った後、飽和演算処理を付加した差分処理を行えば、図5(c)の状態を経由することなく、直接図5(d)に示す状態とすることができる。これが第3の形態である。 As a modification of the second embodiment, if density processing is performed by linear density conversion and then difference processing with addition of saturation calculation processing is performed, the state shown in FIG. The state shown in FIG. This is the third form.
ここで、飽和演算処理とは、画像処理を行うことにより、濃度値が画像のレンジ(8ビットでは0〜255)外の値を取るときは、自動的にレンジの最小値または最大値に置き換える処理である。市販の画像処理ソフトウエアでは、画像処理コマンドに飽和演算処理を付加したものが多く、差分演算を行うと、0未満の濃度値はすべて0に置き換えられる。 Here, in the saturation calculation process, when the density value takes a value outside the image range (0 to 255 in 8 bits) by performing image processing, it is automatically replaced with the minimum value or the maximum value of the range. It is processing. In many commercially available image processing software, a saturation calculation process is added to an image processing command, and when a difference calculation is performed, all density values less than 0 are replaced with 0.
次に、濃度調整とノイズ低減処理の第4の形態について、図6を用いて説明する。図6(a)の生波形と、線形濃度変換を行った図6(b)は、図5(a)(b)と同一の図面である。 Next, a fourth embodiment of density adjustment and noise reduction processing will be described with reference to FIG. The raw waveform of FIG. 6 (a) and FIG. 6 (b) after linear density conversion are the same as FIG. 5 (a) and FIG. 5 (b).
第4の形態では、全体の差分をとることなく、直交画像の濃度値を直接閾値として適用する。すなわち、平行画像の濃度値が直交画像の濃度値より大きい画素の濃度値を0とし、平行画像の濃度値が直交画像の濃度値以下の画素では、直交画像の濃度値から平行画像の濃度値を引いた差分を濃度値として設定する。 In the fourth mode, the density value of the orthogonal image is directly applied as a threshold without taking the overall difference. That is, the density value of a pixel in which the density value of the parallel image is greater than the density value of the orthogonal image is set to 0, and the density value of the parallel image is changed from the density value of the orthogonal image in a pixel whose density value of the parallel image is equal to or less than the density value of the orthogonal image The difference obtained by subtracting is set as the density value.
そうすると、図6(c)のようにノイズが消去された結果が得られる。この図は、図5(d)と同一である。しかし、これらの図が示す状態ではノイズが消去されているものの、異物の明度(濃度値)が低いため、明度を上げる処理を行うことが好ましい。濃度値に定数を乗算すると、図6(d)に示すように異物の明度が高くなり、画像をモニタに投影する場合には、目視で判別しやすい。 Then, the result of eliminating the noise is obtained as shown in FIG. This figure is the same as FIG. However, in the state shown in these figures, although noise is eliminated, the brightness (density value) of the foreign matter is low, so it is preferable to perform a process of increasing the brightness. When the density value is multiplied by a constant, the brightness of the foreign matter is increased as shown in FIG. 6D, and when the image is projected on the monitor, it is easy to visually discriminate.
上述したように、コントラストを増加させる濃度調整を行った直交画像の濃度値に基づいて、平行画像からノイズを消去することができる。その際、閾値で異物とノイズを分離する方法として、2値化する方法と、異物をグレースケール(平行と直交の差分)として残す方法がある。 As described above, the noise can be eliminated from the parallel image based on the density value of the orthogonal image that has been subjected to the density adjustment for increasing the contrast. At this time, there are a method of binarizing and a method of separating the foreign matter and noise by a threshold value and a method of leaving the foreign matter as a gray scale (difference between parallel and orthogonal).
どちらの方法でも、異物とノイズを分離してノイズを消去することは可能であるが、ノイズが取り切れない場合もあるため、さらにモルフォロジー変換、平滑化処理等の既知のノイズ処理を行ってノイズを消去することができる。この場合、2値化するより、異物をグレースケールで残す処理の方が、残ったノイズを処理しやすい。 With either method, it is possible to separate the noise from the foreign object and eliminate the noise. However, since the noise may not be completely removed, the noise is further reduced by performing known noise processing such as morphological transformation and smoothing processing. Can be erased. In this case, the remaining noise is easier to process than the binarization process in which the foreign matter is left in grayscale.
上述の処理について図7を用いて説明する。2値化する場合は、残ったノイズの濃度は異物と同じ(第1の形態の場合255)となり、図7(a)に示すようにサイズも大きい。一方、異物をグレースケールで残す方法では、図7(b)、(c)に示すようにノイズの濃度は低く、高い濃度になるほどサイズは小さくなる。よって、エロージョン(収縮に続き膨張)処理により、容易にノイズを消去できる。 The above process will be described with reference to FIG. In the case of binarization, the density of the remaining noise is the same as that of a foreign object (255 in the first embodiment), and the size is large as shown in FIG. On the other hand, in the method of leaving foreign matter in gray scale, as shown in FIGS. 7B and 7C, the density of noise is low, and the size becomes smaller as the density becomes higher. Therefore, noise can be easily eliminated by erosion (expansion following contraction) processing.
また、異物をグレースケールで残す方法では、図7(c)に示すように各画素の濃度値を定数倍する明度調整を行っても、ノイズが暗いままなので、モニタでも異物を視認しやすい。明度調整にγ<1であるガンマ補正を適用すると、さらにこの効果は大きくなる。 Further, in the method of leaving the foreign matter in gray scale, the noise remains dark even if the brightness adjustment is performed by multiplying the density value of each pixel by a constant as shown in FIG. This effect is further enhanced when gamma correction with γ <1 is applied to the brightness adjustment.
濃度調整方法は、撮像された画像データの調整に限られない。すなわち、撮像時に受像器2が受光する光量を制御して、画像データに対する濃度調整と同様の効果を得ることが可能である。例えば、直交画像撮像時の光量を平行画像撮像時の光量より増加させれば、検査対象物の厚さの影響を受けるノイズの濃度変化率を増加させて平行画像に近づけることができる。 The density adjustment method is not limited to adjustment of captured image data. That is, it is possible to obtain the same effect as the density adjustment for the image data by controlling the amount of light received by the receiver 2 during imaging. For example, if the amount of light at the time of orthogonal image capturing is increased from the amount of light at the time of parallel image capturing, the density change rate of noise affected by the thickness of the inspection object can be increased to approximate the parallel image.
受像器2が受光する光量を制御する方法としては、光源1の出力を制御する方法と、受像器のシャッタースピードを制御する方法がある。光源1の出力を制御するには、例えば、コントローラ8に光源制御部を設けて、光源のLEDに流す電流値を制御すればよい。シャッタースピードの制御については、例えば、平行画像の撮像前と、直交画像の撮像前に、受像器制御部83から受像器2にシャッタースピードを切り替えるコマンドを送ることで制御できる。 As a method for controlling the amount of light received by the image receiver 2, there are a method for controlling the output of the light source 1 and a method for controlling the shutter speed of the image receiver. In order to control the output of the light source 1, for example, a light source control unit may be provided in the controller 8 to control the value of a current flowing through the LED of the light source. The shutter speed can be controlled, for example, by sending a command for switching the shutter speed from the receiver control unit 83 to the receiver 2 before capturing a parallel image and before capturing an orthogonal image.
平行画像と直交画像とで、それぞれの撮像時に流す電流値またはシャッタースピードは、画像データに対する濃度調整で、線形濃度変換の定数を決める場合と同様にあらかじめ実験を行って求めた数値を適用すれば良い。 For the parallel image and the orthogonal image, the current value or shutter speed to be passed at the time of each image capture can be adjusted by adjusting the density of the image data and applying a numerical value obtained by conducting an experiment in advance as in the case of determining the linear density conversion constant. good.
(可視化画像生成における処理の流れ)
次に、本実施の形態において検査対象物の内部構造を可視化した画像を生成する際の処理の流れについて、図8のフローチャートを用いて説明する。
(Processing flow in visualization image generation)
Next, the flow of processing when generating an image in which the internal structure of the inspection object is visualized in the present embodiment will be described with reference to the flowchart of FIG.
最初に、偏光子駆動部82が第2の偏光子5の位置を確認し(ステップS1)、右端(平行位置)以外の位置にあるときには、リニアモータ6を右方向に移動させる(ステップS2)。 First, the polarizer driving unit 82 confirms the position of the second polarizer 5 (step S1), and when it is at a position other than the right end (parallel position), the linear motor 6 is moved to the right (step S2). .
第2の偏光子5が右端にあることを検出するまで右方向への移動を繰り返し(ステップS2)、検出した段階でリニアモータ6を停止させる(ステップS3)。 The movement in the right direction is repeated until it is detected that the second polarizer 5 is at the right end (step S2), and the linear motor 6 is stopped at the detected stage (step S3).
次に、受像器制御部83から受像器2に指令して第1画像(平行画像)を撮像し(ステップS4)、第1画像の画像データを画像データ記憶部84に格納する。(ステップS5) Next, the receiver control unit 83 instructs the receiver 2 to take a first image (parallel image) (step S4), and the image data of the first image is stored in the image data storage unit 84. (Step S5)
続いて、偏光子駆動部82が第2の偏光子5の位置を確認する(ステップS6)。第2の偏光子5が左端(直交位置)以外の位置にあるので、リニアモータ6を左方向に移動させる(ステップS7)。 Subsequently, the polarizer driving unit 82 confirms the position of the second polarizer 5 (step S6). Since the second polarizer 5 is at a position other than the left end (orthogonal position), the linear motor 6 is moved to the left (step S7).
ステップS6において、第2の偏光子5が左端にあることを検出するまでは、ステップS7の処理を繰り返し、検出した段階でリニアモータ6を停止する(ステップS8)。 In step S6, the process of step S7 is repeated until it is detected that the second polarizer 5 is at the left end, and the linear motor 6 is stopped at the detected stage (step S8).
次に、受像器制御部83から受像器2に指令して第2画像(直交画像)を撮像し(ステップS9)、続いて第2画像の画像データを画像データ記憶部84に格納する(ステップS10)。 Next, the receiver control unit 83 instructs the receiver 2 to capture a second image (orthogonal image) (step S9), and subsequently stores the image data of the second image in the image data storage unit 84 (step S9). S10).
続いて、画像処理部85での処理に進み、濃度調整部86において第2画像(直交画像)の濃度値を調整する(ステップS11)。濃度調整は、第2画像の濃度の変化率(コントラスト)を増加させる処理であれば、上述したいずれの形態を採用しても良い。例えば、第2画像の濃度値に1より大きな定数を乗算する方法を用いても良いが、濃度の平均値を制御できる線形濃度変換を行うことが好ましい。 Subsequently, the process proceeds to the processing in the image processing unit 85, and the density adjustment unit 86 adjusts the density value of the second image (orthogonal image) (step S11). As long as the density adjustment is a process for increasing the density change rate (contrast) of the second image, any of the above-described forms may be employed. For example, a method of multiplying the density value of the second image by a constant larger than 1 may be used, but it is preferable to perform linear density conversion that can control the average density value.
最後に、ステップS11で濃度調整を行った第2画像の濃度値に基づいて、第1画像のノイズを低減する処理を行う(ステップS12)。 Finally, processing for reducing noise in the first image is performed based on the density value of the second image whose density has been adjusted in step S11 (step S12).
第2画像の濃度値に基づいて、第1画像のノイズを低減する処理として、例えば、差分演算部87で線形濃度変換後の第2画像と第1画像との差分画像を生成し、ノイズ消去部88で差分画像に閾値を適用して異物とノイズを切り分け、ノイズが低減して異物が鮮明に写った画像を生成する。なお、ステップS12では、第2画像の濃度値を閾値として、直接第1画像からノイズを低減した画像を取得することもできる。 As a process for reducing the noise of the first image based on the density value of the second image, for example, a difference image between the second image after the linear density conversion and the first image is generated by the difference calculation unit 87, and noise elimination is performed. The unit 88 applies a threshold value to the difference image to separate the foreign object and the noise, and generates an image in which the foreign object is clearly seen with the noise reduced. In step S12, it is also possible to obtain an image with reduced noise directly from the first image using the density value of the second image as a threshold value.
(実験例1)
次に、本実施の形態にかかる画像生成装置100を用いて実験を行った結果について説明する。
(Experimental example 1)
Next, a result of an experiment performed using the image generation apparatus 100 according to the present embodiment will be described.
本実験では、細かく刻んだ梅肉を検査対象物とした。この梅肉は、ペースト状の果肉と繊維質を含む果皮が混在して光学的に不均一な状態である。透明板3の上には、中央部に長方形(18mm×22mm)の窓部を設けた黒いゴム板を受像器2の受光軸が窓部中央を通る位置に載置した。 In this experiment, finely chopped plum meat was used as an inspection object. This plum meat is in an optically non-uniform state with a paste-like pulp and a fiber-containing skin. On the transparent plate 3, a black rubber plate having a rectangular (18 mm × 22 mm) window at the center was placed at a position where the light receiving axis of the image receiver 2 passes through the center of the window.
ゴム板の窓部の透明板3上に異物として、アカマダラケシキスイの幼虫、ゴム手袋の破片およびアルミ箔片を載置し、その上に前記梅肉を厚さが5mmとなるように重置した。なお、黒色のゴム板は、光源1から出射され検査体操物を透過せずに受像器2に到達する光を遮蔽するために設けてある。 On the transparent plate 3 in the window of the rubber plate, the red larvae of red snapper, a piece of rubber glove and an aluminum foil piece were placed as foreign matters, and the plum meat was placed thereon so that the thickness was 5 mm. . The black rubber plate is provided to shield light emitted from the light source 1 and reaching the image receiver 2 without passing through the inspection object.
光源1は、波長が850nmのLED(ROHM製SIR-568ST3F)を1平方cm当り3個の面密度になるように6.53m×7.6cmの基板上に配置してLEDパネルとし、各LEDに0.1Aの電流を印加し点灯させた。 The light source 1 is an LED panel in which LEDs with a wavelength of 850 nm (ROHM SIR-568ST3F) are arranged on a 6.53 m x 7.6 cm substrate so that the surface density is 3 per square centimeter. A current of 0.1 A was applied to light up.
受像器2には、WATEC製のモノクロCCDカメラ(WAT-910HX)を使用し、TAMRON製のIR(赤外線)対応バリフォーカルレンズ(12VM412ASIR)を取り付け、検査体操物に焦点を合わせた。シャッタースピードは、1msecに固定した。 The receiver 2 uses a WATEC monochrome CCD camera (WAT-910HX), a TAMRON IR (infrared) compatible varifocal lens (12VM412ASIR), and focuses on the examination object. The shutter speed was fixed at 1 msec.
第1の偏光子4、ならびに第2の偏光子5のy方向偏光部51およびx方向偏光部52は、すべて旭化成イーマテリアルズ製のワイヤグリッド偏光フィルム(WGF-HTU)を貼付したガラス板とした。 The first polarizer 4 and the y-direction polarization part 51 and the x-direction polarization part 52 of the second polarizer 5 are all glass plates with a wire grid polarization film (WGF-HTU) made by Asahi Kasei E-Materials. did.
各部品の位置関係は、光源1と第1の偏光子4の間が50mm、第1の偏光子4と透明板3との間が50mm、透明板3と第2の偏光子5との間が25mm、および第2の偏光子5と受像器2に取り付けたレンズの間が20mmであり、すべての部品は、下から上に一直線の光路上に配置してある。 The positional relationship of each component is 50 mm between the light source 1 and the first polarizer 4, 50 mm between the first polarizer 4 and the transparent plate 3, and between the transparent plate 3 and the second polarizer 5. Is 25 mm, and the distance between the second polarizer 5 and the lens attached to the receiver 2 is 20 mm, and all the components are arranged on a straight optical path from bottom to top.
図9(a)は、第2の偏光子5を、受像器2がy方向偏光部51を通して受光できる位置にセットして撮像した平行画像(相対角0°)の写真である。一方、図9(b)は、第2の偏光子5を、受像器2がx方向偏光部52を通して受光できる位置にセットして撮像した直交画像(相対角90°)の写真である。 FIG. 9A is a photograph of a parallel image (relative angle 0 °) captured by setting the second polarizer 5 at a position where the receiver 2 can receive light through the y-direction polarization unit 51. On the other hand, FIG. 9B is a photograph of an orthogonal image (relative angle 90 °) captured by setting the second polarizer 5 at a position where the receiver 2 can receive light through the x-direction polarization unit 52.
図9(b)に示す直交画像の全画素の濃度値を1.4倍する濃度調整を行い、濃度調整後の直交画像の濃度値から図9(a)に示す平行画像の濃度値を引いて差分画像を生成した。図9(c)は、この差分画像の全画素の濃度値を5倍にして濃度調整した画像の写真である。 The density adjustment of 1.4 times the density value of all the pixels of the orthogonal image shown in FIG. 9B is performed, and the density value of the parallel image shown in FIG. 9A is subtracted from the density value of the orthogonal image after the density adjustment. A difference image was generated. FIG. 9C is a photograph of an image obtained by adjusting the density by increasing the density value of all the pixels of the difference image by five times.
なお、差分演算実行時に、濃度値が0以下となる場合は、値を0に置き換える処理を行っているので、ノイズを閾値で消去する処理を同時に行っている。以降の差分演算も同様である。 Note that when the difference value is executed, if the density value is 0 or less, the process of replacing the value with 0 is performed, so the process of erasing noise with the threshold value is simultaneously performed. The same applies to the subsequent difference calculation.
また、同じ直交画像(図9(b))に対して、線形濃度変換による濃度調整を行い、同様に平行画像(図9(a))との差分画像を生成した。なお、線形濃度変換は、元画像の濃度値下限Aを生成画像の濃度値0に、元画像の濃度値上限Bを生成画像の濃度値255に対応するように、元画像の濃度値A〜Bの区間の濃度値を線形的に変換する。濃度値下限Aを10、上限Bを150として、線形濃度変換を行った。図9(d)は、この差分画像の全画素の濃度値を10倍にして濃度調整した画像の写真である。 Further, density adjustment by linear density conversion was performed on the same orthogonal image (FIG. 9B), and similarly, a difference image from the parallel image (FIG. 9A) was generated. In the linear density conversion, the density value A to the original image is set so that the density value lower limit A of the original image corresponds to the density value 0 of the generated image and the density value upper limit B of the original image corresponds to the density value 255 of the generated image. The density value in the B section is converted linearly. Linear density conversion was performed with the density value lower limit A being 10 and the upper limit B being 150. FIG. 9D is a photograph of an image obtained by adjusting the density by increasing the density value of all the pixels of the difference image 10 times.
図9(c)、(d)ともに、平行画像に写っている梅の皮や繊維質の影響によるノイズが大幅に低減された。しかし、定数を乗じる濃度調整を行った写真(図9(c))では左側に梅の皮のノイズが若干残ったが、線形濃度変換を行った写真(図9(d))では消えている。 9 (c) and 9 (d), the noise due to the influence of plum skin and fiber in the parallel image was greatly reduced. However, in the photo (Fig. 9 (c)) in which the density was adjusted by multiplying by a constant, a little ume peel noise remained on the left side, but it disappeared in the photo (Fig. 9 (d)) after the linear density conversion. .
(実験例2)
次に、アカマダラケシキスイの幼虫を異物とし、実験例1と同じ梅肉を検査対象として、検査対象物の厚さが変わった場合の効果確認を行った。
(Experimental example 2)
Next, the effect was confirmed when the thickness of the test object was changed, with the red larvae of the red spotted larvae as foreign substances and the same plum meat as in Experimental Example 1 as the test object.
波長850nmのLED(OSRAM,SFH4550)を1平方cm当り3個の面密度になるように6.53m×7.6cmの基板上に配置したLEDパネルを光源1とし、各LEDに印加する電流値を0.1Aとし、シャッタースピードを4msecとし、差分演算後の濃度調整を20倍としたことを除き、実験例1と同様の撮像条件とした。 An LED panel in which an LED (OSRAM, SFH4550) with a wavelength of 850 nm is arranged on a 6.53 m x 7.6 cm substrate so that the surface density is 3 per square centimeter is the light source 1, and the current value applied to each LED is The imaging conditions were the same as those in Experimental Example 1, except that 0.1 A was set, the shutter speed was 4 msec, and the density adjustment after the difference calculation was 20 times.
図10(a)、(b)に梅肉の厚さ2mmの平行画像と直交画像を、図10(c)、(d)に厚さ5mmの平行画像と直交画像を示す。また図11(a)、(b)に濃度値下限Aを25、上限Bを170として、線形濃度変換を行い、実験例1と同様の方法により差分画像を生成した結果を示す。図11(a)が2mm、(b)が5mmの厚さである。 10 (a) and 10 (b) show a parallel image and an orthogonal image with a thickness of 2 mm, and FIGS. 10 (c) and 10 (d) show a parallel image and an orthogonal image with a thickness of 5 mm. Further, FIGS. 11A and 11B show the results of generating a difference image by the same method as in Experimental Example 1 by performing linear density conversion with the density value lower limit A being 25 and the upper limit B being 170. FIG. FIG. 11A shows a thickness of 2 mm and FIG. 11B shows a thickness of 5 mm.
図11(c)、(d)に濃度値下限Aを30、上限Bを165として、線形濃度変換を行い、実験例1と同様の方法により差分画像を生成した結果を示す。図11(c)が2mm、(d)が5mmの厚さである。いずれも、ほとんどノイズが消え、異物だけが鮮明になっている。 11 (c) and 11 (d) show the results of generating a difference image using the same method as in Experimental Example 1 by performing linear density conversion with the density value lower limit A being 30 and the upper limit B being 165. FIG. FIG. 11C shows a thickness of 2 mm, and FIG. 11D shows a thickness of 5 mm. In both cases, the noise is almost gone, and only the foreign objects are clear.
(比較例1)
比較例として、実験例2と同一の平行画像と、一定の濃度値で全画素を塗りつぶした画像との差分演算を実行した。塗りつぶした画像の濃度値を閾値として、平行画像のこれより高い濃度値を有する画素を一色に塗りつぶすことでノイズを消去するのと同じ効果がある。塗りつぶし画像の濃度値を以下に示す通りとし、濃度変換を行っていないことを除き、実験例2と同様に処理を行った。
(Comparative Example 1)
As a comparative example, a difference calculation was performed between the same parallel image as in experimental example 2 and an image in which all pixels were filled with a constant density value. Using the density value of the filled image as a threshold value, the same effect is obtained as eliminating noise by painting a pixel having a higher density value of the parallel image with one color. Processing was performed in the same manner as in Experimental Example 2 except that the density value of the filled image was as shown below and density conversion was not performed.
図12(a)、(b)に塗りつぶし画像の濃度値を155として生成した差分画像を示す。図12(a)が2mm、(b)が5mmの厚さである。また図12(c)、(d)に塗りつぶし画像の濃度値を160として生成した差分画像を示す。図12(c)が2mm、(d)が5mmの厚さである。 FIGS. 12A and 12B show difference images generated by setting the density value of the filled image as 155. FIG. FIG. 12A shows a thickness of 2 mm, and FIG. 12B shows a thickness of 5 mm. FIGS. 12C and 12D show difference images generated with the density value of the filled image as 160. FIG. FIG. 12C shows a thickness of 2 mm, and FIG. 12D shows a thickness of 5 mm.
図12(a)に示すように、塗りつぶし画像の濃度値が155の場合は、厚さ2mmでは異物が不鮮明である。これに対し、厚さ5mmでは異物は鮮明であるが、ノイズが若干残る。 As shown in FIG. 12A, when the density value of the filled image is 155, the foreign matter is unclear when the thickness is 2 mm. On the other hand, the foreign matter is clear at a thickness of 5 mm, but some noise remains.
一方、塗りつぶし画像の濃度値が160の場合は、厚さ2mmで異物が鮮明になるが、厚さ5mmではノイズが増加する。よって、厚さ2mmと5mmで異物が鮮明で、ノイズが残らない条件は見いだせないことが分かる。この結果より、単に平行画像に閾値を適用する比較例1に対し、直交画像との差分を取る実験例2の有効性が分かる。 On the other hand, when the density value of the filled image is 160, foreign matters become clear when the thickness is 2 mm, but noise increases when the thickness is 5 mm. Therefore, it can be seen that the thickness is 2 mm and 5 mm, the foreign matter is clear, and the condition in which noise does not remain cannot be found. From this result, it can be seen that the effectiveness of the experimental example 2 in which a difference from the orthogonal image is obtained, as compared with the comparative example 1 in which the threshold value is simply applied to the parallel image.
(実験例3)
直交画像の濃度調整に替えて、光源1の光量を電流値を変更することにより、平行画像と直交画像のコントラストを調整して本発明の効果を確認した。電流値を変更したこと、および濃度調整を行わずに演算処理を実施し、差分演算後の濃度調整を10倍としたことを除き、実験例2と同一条件で撮像し、差分画像を生成した。なお、電流値は、差分画像を確認しながら、平行画像で0.06A、直交画像で0.1Aとした。
(Experimental example 3)
The effect of the present invention was confirmed by adjusting the contrast between the parallel image and the orthogonal image by changing the current value of the light amount of the light source 1 instead of adjusting the density of the orthogonal image. An arithmetic process was performed without changing the current value, and the density adjustment after the difference calculation was performed 10 times except that the image was taken under the same conditions as in Experimental Example 2 to generate a difference image. . The current value was set to 0.06 A for the parallel image and 0.1 A for the orthogonal image while checking the difference image.
図13(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。直交画像に濃度変換を実施したときと同様、ノイズが消え、鮮明な異物の画像が得られた。 13A shows a parallel image, FIG. 13B shows an orthogonal image, and FIG. 13C shows a difference image. The noise disappeared and a clear image of foreign matter was obtained as in the case of density conversion on the orthogonal image.
(実験例4)
直交画像の濃度調整に替えて、受像器2の受光量をシャッタースピードを変更することにより、平行画像と直交画像のコントラストを調整して本発明の効果を確認した。シャッタースピードを変更したこと、および濃度調整を行わずに演算処理を実施し、差分演算後の濃度調整を10倍としたことを除き、実験例2と同一条件で撮像し、差分画像を生成した。なお、シャッタースピードは、差分画像を確認しながら、平行画像で1msec、直交画像で2msecとした。
(Experimental example 4)
The effect of the present invention was confirmed by adjusting the contrast between the parallel image and the orthogonal image by changing the shutter speed of the received light amount of the receiver 2 instead of adjusting the density of the orthogonal image. An arithmetic process was performed without changing the shutter speed, and the density adjustment after the difference calculation was performed 10 times, and the image was taken under the same conditions as in Experimental Example 2 to generate a difference image. . The shutter speed was set to 1 msec for the parallel image and 2 msec for the orthogonal image while checking the difference image.
図14(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。直交画像に濃度変換を実施したときと同様、ノイズが消え、鮮明な異物の画像が得られた。 14A shows a parallel image, FIG. 14B shows an orthogonal image, and FIG. 14C shows a difference image. The noise disappeared and a clear image of foreign matter was obtained as in the case of density conversion on the orthogonal image.
(実験例5)
検査対象を梅肉からいちごジャムに替え、ゴム手袋の破片を異物として本発明の効果を確認した。本実験例では、濃度調整にシャッタースピードの変更と、直交画像に対する線形濃度変換を併用した。ジャムの厚さは4mmとした。シャッタースピードを平行画像で0.01msec、直交画像で0.2msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A4、上限B212とする線形濃度変換を行った。その他の条件は、実験例2と同一である。
(Experimental example 5)
The inspection object was changed from plum meat to strawberry jam, and the effect of the present invention was confirmed using a piece of rubber glove as a foreign object. In this experimental example, the change of the shutter speed and the linear density conversion for the orthogonal image are used together for the density adjustment. The thickness of the jam was 4 mm. The shutter speed was set to 0.01 msec for the parallel image and 0.2 msec for the orthogonal image, the amount of light received by the receiver 2 was adjusted, and linear density conversion with the lower limit A4 and the upper limit B212 was performed on the orthogonal image. The other conditions are the same as in Experimental Example 2.
図15(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。差分画像では、平行画像にある繊維質によるノイズは消えているが、いちごの種が異物とともに鮮明に写っている。しかし、種は小さいため、後にモルフォロジー変換、平滑化処理等のノイズ処理で、異物のみを残した画像を取得可能である。また、種に着目すれば、異物検査以外に、種の有無や分散状況を確認するためにも、本発明を適用し得る。 FIG. 15A shows a parallel image, FIG. 15B shows an orthogonal image, and FIG. 15C shows a difference image. In the difference image, the noise due to the fibers in the parallel image disappears, but the strawberry seeds are clearly visible along with the foreign matter. However, since the seeds are small, it is possible to acquire an image in which only foreign matters are left later by noise processing such as morphological conversion and smoothing processing. If attention is paid to the seeds, the present invention can be applied to confirm the presence / absence of the seeds and the state of dispersion in addition to the foreign substance inspection.
(実験例6)
検査対象を梅肉から梅果肉入りゼリーに替え、ゴム手袋の破片を異物として本発明の効果を確認した。本実験例では、濃度調整にシャッタースピードの変更と、直交画像に対する線形濃度変換を併用した。ゼリーの厚さは4mmとした。シャッタースピードを平行画像で0.1msec、直交画像で0.5msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A8、上限B173とする線形濃度変換を行った。その他の条件は、実験例2と同一である。
(Experimental example 6)
The test object was changed from plum meat to jelly containing plum pulp, and the effect of the present invention was confirmed using a piece of rubber glove as a foreign object. In this experimental example, the change of the shutter speed and the linear density conversion for the orthogonal image are used together for the density adjustment. The thickness of the jelly was 4 mm. The shutter speed was set to 0.1 msec for the parallel image and 0.5 msec for the orthogonal image, and the amount of light received by the receiver 2 was adjusted, and linear density conversion with the lower limit A8 and the upper limit B173 was performed on the orthogonal image. The other conditions are the same as in Experimental Example 2.
図16(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。差分画像では、平行画像にある繊維質によるノイズが消え、鮮明な異物の画像が得られた。 FIG. 16A shows a parallel image, FIG. 16B shows an orthogonal image, and FIG. 16C shows a difference image. In the difference image, the noise due to the fiber in the parallel image disappeared, and a clear image of the foreign matter was obtained.
(実験例7)
検査対象を梅肉から白菜キムチに替え、ゴム手袋の破片を異物として本発明の効果を確認した。白菜キムチの厚さは4mmとした。シャッタースピードを0.5msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A13、上限B196とする線形濃度変換を行った。また、差分演算後の濃度調整を20倍とした。その他の条件は、実験例2と同一である。
(Experimental example 7)
The test object was changed from plum meat to Chinese cabbage kimchi, and the effect of the present invention was confirmed using a piece of rubber glove as a foreign object. The thickness of Chinese cabbage kimchi was 4 mm. The shutter speed was set to 0.5 msec, the amount of light received by the image receiver 2 was adjusted, and linear density conversion was performed on the orthogonal image with a lower limit A13 and an upper limit B196. Further, the density adjustment after the difference calculation is set to 20 times. The other conditions are the same as in Experimental Example 2.
図17(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。ノイズが消え、鮮明な異物の画像が得られた。 FIG. 17A shows a parallel image, FIG. 17B shows an orthogonal image, and FIG. 17C shows a difference image. Noise disappeared and a clear image of foreign matter was obtained.
(実験例8)
検査対象を、工業製品の一種であるポリエステル織物に替え、ゴム片を異物として本発明の効果を確認した。ポリエステル織物の厚さは1mmで、生地を2枚重ねたものである。シャッタースピードを1msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A3、上限B225とする線形濃度変換を行った。また、差分演算後の濃度調整を20倍とした。その他の条件は、実験例2と同一である。
(Experimental example 8)
The inspection object was changed to a polyester fabric which is a kind of industrial product, and the effect of the present invention was confirmed using a rubber piece as a foreign substance. The thickness of the polyester fabric is 1 mm, and two fabrics are stacked. The shutter speed was set to 1 msec, the amount of light received by the receiver 2 was adjusted, and linear density conversion was performed on the orthogonal image with the lower limit A3 and the upper limit B225. Further, the density adjustment after the difference calculation is set to 20 times. The other conditions are the same as in Experimental Example 2.
図18(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。異物であるゴム片の鮮明な画像が得られた。 FIG. 18A shows a parallel image, FIG. 18B shows an orthogonal image, and FIG. 18C shows a difference image. A clear image of the rubber piece as a foreign material was obtained.
(実験例9)
検査対象を、工業製品の一種であるウレタンベルトに替え、ゴム片を異物として本発明の効果を確認した。ウレタンベルトの厚さは3mmである。シャッタースピードを0.2msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A13、上限B106とする線形濃度変換を行った。また、差分演算後の濃度調整を20倍とした。その他の条件は、実験例2と同一である。
(Experimental example 9)
The inspection object was changed to a urethane belt which is a kind of industrial product, and the effect of the present invention was confirmed using a rubber piece as a foreign substance. The thickness of the urethane belt is 3 mm. The shutter speed was set to 0.2 msec, the amount of light received by the receiver 2 was adjusted, and linear density conversion was performed on the orthogonal image with the lower limit A13 and the upper limit B106. Further, the density adjustment after the difference calculation is set to 20 times. The other conditions are the same as in Experimental Example 2.
図19(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。実験例8と同様に、異物であるゴム片の鮮明な画像が得られた。 FIG. 19A shows a parallel image, FIG. 19B shows an orthogonal image, and FIG. 19C shows a difference image. Similar to Experimental Example 8, a clear image of a rubber piece as a foreign material was obtained.
(実験例10)
検査対象を、工業製品の一種であるポリプロピレン成形品に替え、ゴム片を異物として本発明の効果を確認した。ポリプロピレン成形品の厚さは2mmである。シャッタースピードを4msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A8、上限B218とする線形濃度変換を行った。また、差分演算後の濃度調整を20倍とした。その他の条件は、実験例2と同一である。
(Experimental example 10)
The inspection object was changed to a polypropylene molded product which is a kind of industrial product, and the effect of the present invention was confirmed using a rubber piece as a foreign substance. The thickness of the polypropylene molded product is 2 mm. The shutter speed was set to 4 msec, the amount of light received by the receiver 2 was adjusted, and linear density conversion was performed on the orthogonal image with the lower limit A8 and the upper limit B218. Further, the density adjustment after the difference calculation is set to 20 times. The other conditions are the same as in Experimental Example 2.
図20(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。異物であるゴム片の鮮明な画像が得られた。 FIG. 20A shows a parallel image, FIG. 20B shows an orthogonal image, and FIG. 20C shows a difference image. A clear image of the rubber piece as a foreign material was obtained.
(実験例11)
検査対象を、工業製品の一種である金属メッシュフィルターに替え、ゴム片を異物として本発明の効果を確認した。金属メッシュフィルターは周囲を金属製のリングで支持したもので、フィルターの厚さは1mmである。シャッタースピードを4msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A13、上限B74とする線形濃度変換を行った。また、差分演算後の濃度調整を20倍とした。その他の条件は、実験例2と同一である。
(Experimental example 11)
The inspection object was changed to a metal mesh filter which is a kind of industrial product, and the effect of the present invention was confirmed using a rubber piece as a foreign substance. The metal mesh filter has a periphery supported by a metal ring, and the thickness of the filter is 1 mm. The shutter speed was set to 4 msec, the amount of light received by the receiver 2 was adjusted, and linear density conversion was performed on the orthogonal image with the lower limit A13 and the upper limit B74. Further, the density adjustment after the difference calculation is set to 20 times. The other conditions are the same as in Experimental Example 2.
図21(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。異物であるゴム片の鮮明な画像が得られた。 FIG. 21A shows a parallel image, FIG. 21B shows an orthogonal image, and FIG. 21C shows a difference image. A clear image of the rubber piece as a foreign material was obtained.
(実験例12)
検査対象を市販飲料(サントリー食品インターナショナル社製緑茶)のPETボトルから取り外したラベルフィルムとし、ゴム片を異物としてラベルフィルムの下に挿入し、本発明の効果を確認した。シャッタースピードを0.2msecとして、受像器2の受光量を調整するとともに、直交画像に対して、下限A8、上限B94とする線形濃度変換を行った。また、差分演算後の濃度調整を20倍とした。その他の条件は、実験例2と同一である。
(Experimental example 12)
The test object was a label film removed from a PET bottle of a commercial beverage (Suntory Foods International, Inc., green tea), and a rubber piece was inserted as a foreign object under the label film to confirm the effect of the present invention. The shutter speed was set to 0.2 msec, the amount of light received by the receiver 2 was adjusted, and linear density conversion with a lower limit A8 and an upper limit B94 was performed on the orthogonal image. Further, the density adjustment after the difference calculation is set to 20 times. The other conditions are the same as in Experimental Example 2.
図22(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。異物であるゴム片の鮮明な画像が得られた。 FIG. 22A shows a parallel image, FIG. 22B shows an orthogonal image, and FIG. 22C shows a difference image. A clear image of the rubber piece as a foreign material was obtained.
この場合、光学的不均一性はラベルフィルタに印刷された模様(文字を含む)である。この模様は、濃度に差があるが偏光画像と直交画像の双方に現れている。一方、異物の影は平行画像のみに現れている。従って、直行画像に対して濃度調整を行った後に差分画像を生成することにより、模様が消去され異物のみが鮮明な画像を得ることができた。 In this case, the optical non-uniformity is a pattern (including characters) printed on the label filter. Although this pattern has a difference in density, it appears in both the polarization image and the orthogonal image. On the other hand, the shadow of the foreign object appears only in the parallel image. Therefore, by generating the difference image after adjusting the density of the direct image, it is possible to obtain an image in which the pattern is erased and only the foreign matter is clear.
平行画像と直交画像との双方に現れるノイズは、上述した梅肉を検査対象物とした場合には、検査対象物の厚さの影響であった。本実験例では、印刷された模様等も平行画像と直交画像の双方に現れ、適切な濃度調整と、差分画像を生成することにより、ノイズを消去できることがわかった。 The noise appearing in both the parallel image and the orthogonal image was the influence of the thickness of the inspection object when the above-described plum meat was used as the inspection object. In this experimental example, the printed pattern or the like appears in both the parallel image and the orthogonal image, and it was found that noise can be eliminated by generating an appropriate density adjustment and a difference image.
(実験例13)
実験例2の光源1を近赤外線から可視光線に替えて本発明の効果を確認した。光源を白色LED(モノタロウ24LED丸形ライト)とした。また、シャッタースピードを333msecとし、濃度調整の条件は、線形濃度変換(下限Aを10、上限Bを191)とした。また、梅肉の厚さを4mmとし、その他の条件は、実験例2と同一とした。
(Experimental example 13)
The effect of the present invention was confirmed by changing the light source 1 of Experimental Example 2 from near infrared to visible light. The light source was a white LED (Monotaro 24LED round light). The shutter speed was 333 msec, and the density adjustment conditions were linear density conversion (lower limit A was 10 and upper limit B was 191). Moreover, the thickness of plum meat was 4 mm, and the other conditions were the same as in Experimental Example 2.
図23(a)に平行画像、(b)に直交画像、(c)に差分画像を示す。光源を近赤外線としたときと同様、ノイズが消え、鮮明な異物の画像が得られた。 FIG. 23A shows a parallel image, FIG. 23B shows an orthogonal image, and FIG. 23C shows a difference image. The noise disappeared and a clear image of the foreign matter was obtained as when the light source was near infrared.
上述したように本発明にかかる画像生成装置では、第1画像に異物の影と検査対象物の光学的不均一性によるノイズが比較的鮮明に写る。一方、第2画像には、異物の影と検査対象物の光学的不均一性によるノイズは見た目には不鮮明であるが、第1画像に含まれるノイズと同じ原因によるノイズ成分(以下「共通ノイズ」という。)が含まれていると考えられる。 As described above, in the image generating apparatus according to the present invention, noise due to the shadow of the foreign matter and the optical non-uniformity of the inspection object is relatively clearly shown in the first image. On the other hand, in the second image, the noise due to the shadow of the foreign matter and the optical non-uniformity of the inspection object is visually unclear, but the noise component due to the same cause as the noise included in the first image (hereinafter “common noise”). ")").
したがって、第2画像の濃度値を利用すれば、第1画像から共通ノイズをキャンセルして、ノイズを低減した画像が得られる。この画像に対して異物判定を行うことで、誤判定を防ぐことができる。 Therefore, if the density value of the second image is used, common noise is canceled from the first image, and an image with reduced noise is obtained. By performing foreign object determination on this image, erroneous determination can be prevented.
さらに、第2画像の濃度コントラストを増大、および/または第1画像のコントラストを低下させる濃度調整を行う濃度調整手段を有するので、第1画像と第2画像に含まれる共通ノイズによる濃度の変化率を近似させることができる。 Further, since the apparatus has density adjusting means for performing density adjustment for increasing the density contrast of the second image and / or reducing the contrast of the first image, the rate of change in density due to common noise included in the first image and the second image Can be approximated.
よって、濃度調整後に第1画像と第2画像の差分を取れば、第1画像に含まれる共通ノイズをキャンセルでき、異物とノイズ成分を判別しやすい差分画像データを生成できる。その結果、ノイズ成分を消去または低減した画像データには異物だけが鮮明に表れるため、精度よく異物の有無を判定でき、異物が存在する場合には、その位置を特定できる。 Therefore, if the difference between the first image and the second image is obtained after the density adjustment, the common noise included in the first image can be canceled, and difference image data that can easily distinguish foreign substances and noise components can be generated. As a result, since only foreign matters appear clearly in the image data from which noise components have been eliminated or reduced, the presence or absence of foreign matters can be accurately determined, and the location of foreign matters can be identified.
<実施の形態2>
図24に、本発明の実施の形態2にかかる画像生成装置100の基本的な構成を示す。図中、図1の部材と同一の部材には同一の符号を付して説明を省略する。またコントローラについては、偏光子駆動部82の制御対象がステッピングモータ9であることを除いて、図2に示したコントローラ8と変わりがない。
<Embodiment 2>
FIG. 24 shows a basic configuration of the image generation apparatus 100 according to the second embodiment of the present invention. In the figure, the same members as those shown in FIG. The controller is the same as the controller 8 shown in FIG. 2 except that the control target of the polarizer driving unit 82 is the stepping motor 9.
本実施の形態では、図1に示した実施の形態1の第2の偏光子5を構成するy方向偏光子51、x方向偏光子52、フレーム53、リニアモータ6およびレール7に替えて、円形偏光子54、プーリ付フレーム55、ステッピングモータ9、サポート板10、モータプーリ11およびプーリベルト12を用いる。 In the present embodiment, instead of the y-direction polarizer 51, the x-direction polarizer 52, the frame 53, the linear motor 6 and the rail 7 constituting the second polarizer 5 of the first embodiment shown in FIG. A circular polarizer 54, a pulley-equipped frame 55, a stepping motor 9, a support plate 10, a motor pulley 11 and a pulley belt 12 are used.
プーリ付フレーム55は、サポート板10の穴部に回転自在に係合され、サポート板10から脱落しないように上部と下部にフランジが設けられている。円形偏光子54は、プーリ付フレーム55に外周で固定されており、プーリ付フレーム55が回転するとともに回転し、透過軸の方向を変えることができるようになっている。 The pulley-equipped frame 55 is rotatably engaged with the hole portion of the support plate 10, and flanges are provided at the upper and lower portions so as not to fall off the support plate 10. The circular polarizer 54 is fixed on the outer periphery of the pulley-equipped frame 55 so that the direction of the transmission axis can be changed as the pulley-equipped frame 55 rotates.
また、サポート板10には、ステッピングモータ9のケースが固定されており、ステッピングモータ9の回転軸には、モータプーリ11が取り付けられている。プーリ付フレーム55は、外周にプーリ溝が設けられており、モータプーリ11とプーリベルト12で係合され、ステッピングモータ9からの動力が伝達されるようになっている。 Further, a case of the stepping motor 9 is fixed to the support plate 10, and a motor pulley 11 is attached to the rotating shaft of the stepping motor 9. The pulley-equipped frame 55 is provided with a pulley groove on the outer periphery, and is engaged by the motor pulley 11 and the pulley belt 12 so that power from the stepping motor 9 is transmitted.
よって、ステッピングモータ9の回転を制御すれば、円形偏光子54を回転させることができ、第1の偏光子4の透過軸と第2の偏光子5の透過軸との相対角を変更することができる。 Therefore, if the rotation of the stepping motor 9 is controlled, the circular polarizer 54 can be rotated, and the relative angle between the transmission axis of the first polarizer 4 and the transmission axis of the second polarizer 5 can be changed. Can do.
図24に示す構成を採用することにより、偏光方向制御における機械的動作を搖動から回転運動に替えることができるため、振動の低減が可能である。また、円形偏光子は、180°回転するごとに相対角が0°から90°まで変化するため、一方向の回転で、平行画像と直交画像の撮像が可能になる。 By adopting the configuration shown in FIG. 24, the mechanical operation in the polarization direction control can be changed from peristaltic to rotational motion, so that vibration can be reduced. In addition, since the relative angle of the circular polarizer changes from 0 ° to 90 ° every rotation of 180 °, parallel images and orthogonal images can be captured by rotating in one direction.
(実験例14)
本実施の形態にかかる画像生成装置を用いて実験を行った結果を説明する。実施の形態1では、第1の偏光子と第2の偏光子との相対角が0°のときに撮像した画像を平行画像、90°のときに撮像した画像を直交画像として扱ったが、平行画像の相対角が直交画像の相対角より小さければ、これに限らず本発明の効果を奏することができる。そこで、本発明の範囲を明確にするために、平行画像と直交画像の相対角の有効範囲を調べた。
(Experimental example 14)
A result of an experiment performed using the image generation apparatus according to the present embodiment will be described. In the first embodiment, an image captured when the relative angle between the first polarizer and the second polarizer is 0 ° is treated as a parallel image, and an image captured when the relative angle is 90 ° is treated as an orthogonal image. If the relative angle of the parallel image is smaller than the relative angle of the orthogonal image, the present invention is not limited to this, and the effects of the present invention can be achieved. Therefore, in order to clarify the scope of the present invention, the effective range of the relative angle between the parallel image and the orthogonal image was examined.
図25に、第1の偏光子4と第2の偏光子5との相対角を10°ごとに変更して撮像した写真を示す。撮像条件は前述の実験例2と同一とし、梅肉の厚さは5mmとした。図26は、図25の画像を組み合わせて生成した差分画像である。これまでと同様、差分演算時には、0以下となる濃度値を0に置き換えた。線形濃度変換の下限値Aと上限値Bは、それぞれの写真の上部に記載した通りである。 FIG. 25 shows a photograph taken by changing the relative angle between the first polarizer 4 and the second polarizer 5 every 10 °. The imaging conditions were the same as in Experimental Example 2 described above, and the thickness of plum meat was 5 mm. FIG. 26 is a difference image generated by combining the images of FIG. As before, the density value that is 0 or less was replaced with 0 in the difference calculation. The lower limit value A and the upper limit value B of the linear density conversion are as described in the upper part of each photograph.
図26の上段の写真は、平行画像と直交画像をともに相対角を10°ずつ変更したときの差分画像である。平行画像の相対角20°、直交画像の相対角70°の組み合わせでも、ノイズが消去され異物が鮮明になる差分画像が得られた。また、平行画像の相対角30°、直交画像の相対角60°の組み合わせでは、異物の鮮明度が若干低下するが、後の画像認識には十分使用できる鮮明度を有している。 The upper photograph in FIG. 26 is a difference image when the relative angle is changed by 10 ° for both the parallel image and the orthogonal image. Even when the parallel image has a relative angle of 20 ° and the orthogonal image has a relative angle of 70 °, a difference image in which the noise is eliminated and the foreign matter becomes clear is obtained. Further, when the parallel image has a relative angle of 30 ° and the orthogonal image has a relative angle of 60 °, the sharpness of the foreign matter slightly decreases, but the sharpness can be sufficiently used for subsequent image recognition.
図26の中段に示すように、直交画像の相対角を90°で固定した場合は、平行画像の相対角を50°としても、ノイズがなく鮮明な異物の画像が得られる。この場合、画像認識で使用可能な平行画像の相対角の上限は70°となる。 As shown in the middle of FIG. 26, when the relative angle of the orthogonal image is fixed at 90 °, a clear foreign object image without noise can be obtained even if the relative angle of the parallel image is 50 °. In this case, the upper limit of the relative angle of parallel images that can be used for image recognition is 70 °.
図26の下段に示すように、平行画像の相対角を0°で固定した場合は、直交画像の相対角を70°としても、ノイズがなく鮮明な異物の画像が得られる。この場合、画像認識で使用可能な直交画像の相対角の下限は50°となる。 As shown in the lower part of FIG. 26, when the relative angle of the parallel image is fixed at 0 °, a clear foreign object image without noise can be obtained even if the relative angle of the orthogonal image is set to 70 °. In this case, the lower limit of the relative angle of the orthogonal image that can be used for image recognition is 50 °.
(比較例2)
図27は、実験例14と同様に平行画像と直交画像の相対角の範囲を調べた結果、本発明の効果を奏しない範囲の差分画像である。平行画像と直交画像の相対角の差が20°を下回るとノイズが消去できず、異物も視認できない。また、直交画像の相対角が50°を下回った場合も同様である。
(Comparative Example 2)
FIG. 27 is a difference image in a range in which the effect of the present invention is not obtained as a result of examining the range of the relative angle between the parallel image and the orthogonal image as in Experimental Example 14. If the difference between the relative angles of the parallel image and the orthogonal image is less than 20 °, the noise cannot be erased and the foreign matter cannot be visually recognized. The same applies when the relative angle of the orthogonal image is less than 50 °.
以上の結果から、平行画像の相対角は70°以下、直交画像の相対角は50°以上であり、かつ直交画像の相対角は、平行画像の相対角に対して20°以上大きくなければならない。好ましくは、平行画像の相対角を50°以下、直交画像の相対角を70°以上、かつ直交画像の相対角を平行画像の相対角に対して50°以上大きくすると、ノイズを消去しつつ、より異物が鮮明な画像が得られるため、後の画像認識の精度が向上する。 From the above results, the relative angle of the parallel image must be 70 ° or less, the relative angle of the orthogonal image must be 50 ° or more, and the relative angle of the orthogonal image must be 20 ° or more larger than the relative angle of the parallel image. . Preferably, when the relative angle of the parallel image is 50 ° or less, the relative angle of the orthogonal image is 70 ° or more, and the relative angle of the orthogonal image is increased by 50 ° or more with respect to the relative angle of the parallel image, the noise is eliminated, Since an image with clearer foreign matters can be obtained, the accuracy of subsequent image recognition is improved.
<実施の形態3>
実施の形態1および2は、いずれも直線偏光を利用するものであるが、本発明にかかる画像生成装置では、円偏光を利用することもできる。本実施の形態では、実施の形態1の第1の偏光子4と第2の偏光子5を円偏光板で構成している。
<Embodiment 3>
The first and second embodiments both use linearly polarized light, but the image generating apparatus according to the present invention can also use circularly polarized light. In the present embodiment, the first polarizer 4 and the second polarizer 5 of the first embodiment are configured by circularly polarizing plates.
第1の偏光子4は、光を右回りの円偏光に変換する。第2の偏光子5は、図示しないが、y方向偏光部51が、右回りの円偏光を直線偏光に変換して透過させる右回転透過部に替わり、x方向偏光部52が、左回りの円偏光を直線偏光に変換して透過させる左回転透過部に替わっている。 The first polarizer 4 converts light into clockwise circularly polarized light. Although the second polarizer 5 is not shown, the y-direction polarization unit 51 is replaced with a right-handed rotation transmission unit that converts clockwise circularly polarized light into linearly polarized light and transmits it, and an x-direction polarization unit 52 is counterclockwise. It is replaced with a counterclockwise transmission part that converts circularly polarized light into linearly polarized light and transmits it.
そして偏光方向制御手段が、右回転透過部を通して検査対象物からの光を受光できる正転透過位置と、左回転透過部を通して受光できる逆転透過位置とを切り替える。さらに、受像器2により、正転透過位置における第1画像と逆転透過位置における第2画像とを撮像し、画像データを画像データ記憶部84に格納する。 The polarization direction control means switches between a normal transmission position where light from the inspection object can be received through the right rotation transmission section and a reverse transmission position where light can be received through the left rotation transmission section. Further, the image receiver 2 captures the first image at the forward transmission position and the second image at the reverse transmission position, and stores the image data in the image data storage unit 84.
第1画像は、実施の形態1における平行画像と同様に、異物やノイズの影が鮮明な画像となる。また、第2画像は、直交画像と同様に異物やノイズの影が不鮮明な画像となる。 Similar to the parallel image in the first embodiment, the first image is a clear image of foreign matter and noise. In addition, the second image is an image in which the shadows of foreign matter and noise are unclear as in the orthogonal image.
実施の形態1と同様に、濃度調整手段による濃度調整および差分画像を取得して、閾値によりノイズを消去すれば、精度よく異物を検知することができる。 As in the first embodiment, if the density adjustment by the density adjustment unit and the difference image are acquired and the noise is eliminated by the threshold value, the foreign object can be detected with high accuracy.
(実験例15)
本実施の形態にかかる画像生成装置を用いて実験を行った結果を説明する。前述の実験例13の偏光子を円偏光板に替えて効果を確認した。第1の偏光子4を左回りの円偏光子(株式会社美舘イメージング製TCPL)とし、第1画像用の第2の偏光子5には、同じく左回りの円偏光板を用い、検査対象である梅肉を設置しない状態で第1の偏光子4を透過した光を受像器2が受光できるように配置した。
(Experimental example 15)
A result of an experiment performed using the image generation apparatus according to the present embodiment will be described. The effect was confirmed by replacing the polarizer of Experimental Example 13 with a circularly polarizing plate. The first polarizer 4 is a counterclockwise circular polarizer (TCPL manufactured by Biei Imaging Co., Ltd.), and the second polarizer 5 for the first image is also a counterclockwise circularly polarizing plate. That is, the light receiving device 2 is arranged so that the light transmitted through the first polarizer 4 can be received in a state where the plum meat is not installed.
また、第2画像用の第2の偏光子5には、右回りの円偏光板(株式会社美舘イメージング製TCPR)を用いて、検査対象である梅肉を設置しない状態で第1の偏光子4を透過した光を受像器が受光できないように配置した。その他の条件は、実験例8と同一である。なお、濃度調整は第2画像に対して線形濃度変換(下限Aを20、上限Bを216)を行い、差分演算では第2画像の濃度値から第1画像の濃度値を差し引いた。 The second polarizer 5 for the second image uses a clockwise circularly polarizing plate (TCPR manufactured by Biei Imaging Co., Ltd.) and the first polarized light in a state where the plum meat to be inspected is not installed. The light was transmitted through the child 4 so that the receiver could not receive the light. Other conditions are the same as in Experimental Example 8. In the density adjustment, linear density conversion (lower limit A is 20 and upper limit B is 216) is performed on the second image, and in the difference calculation, the density value of the first image is subtracted from the density value of the second image.
図28(a)に第1画像、(b)に第2画像、(c)に差分画像を示す。図23に示す実験例13の直線偏光と比較すると効果は低下するが、円偏光であっても、ノイズを低減して異物を鮮明化する効果を有する。 FIG. 28A shows the first image, FIG. 28B shows the second image, and FIG. 28C shows the difference image. Compared with the linearly polarized light of Experimental Example 13 shown in FIG. 23, the effect is reduced, but even circularly polarized light has the effect of reducing noise and clarifying foreign matters.
実施の形態1〜3で説明した本発明にかかる画像生成装置は、農産物、農産物加工品その他の食品や、ポリエステル織物、ウレタンベルト、ポリプリピレン成形品、金属メッシュ等の工業製品を検査対象とすることができる。また、これに限らず、検査対象物が光学的に不均一な特性を有するものであれば、一定条件下、この不均一性に基づくノイズを低減する本発明の効果を奏する。 The image generation apparatus according to the present invention described in the first to third embodiments is intended for inspection of agricultural products, processed agricultural products and other food products, and industrial products such as polyester fabrics, urethane belts, polypropylene molded products, and metal meshes. Can do. In addition, the present invention is not limited to this, and the effect of the present invention that reduces noise based on this non-uniformity under certain conditions is exhibited as long as the inspection object has optically non-uniform characteristics.
例えば、印刷された模様を有するフィルムに包まれたPETボトルを検査対象物とすることができる。この場合には、光学的不均一性に基づくノイズである印刷された模様が、本発明の効果により消去された画像が得られる。 For example, a PET bottle wrapped in a film having a printed pattern can be used as an inspection object. In this case, an image in which the printed pattern, which is noise based on optical non-uniformity, is erased by the effect of the present invention can be obtained.
また、これまでの説明では、検知対象を異物とした場合の実施形態を用いたが、これに限らず、例えば、FRPの強化繊維を検知対象として、その分散具合を可視化することにも用いることができる。 In the description so far, the embodiment in which the detection target is a foreign object has been used. However, the present invention is not limited to this. For example, the FRP reinforcing fiber is used as a detection target, and it is also used to visualize the degree of dispersion. Can do.
目的とする検査対象物が、本発明にかかる画像生成装置を適用できるか否かについて、簡単に確認するためには、検査対象物の最下層(光源側)に異物を仕込んで平行画像と直交画像を撮像すれば良い。平行画像で検知対象の部分の濃度が低下し、直交画像で異物の部分の濃度低下がないか、平行画像と比較して濃度の落ち込みがはっきりしないようであれば、本発明にかかる画像生成装置を適用できる。 In order to easily confirm whether or not the object to be inspected is applicable to the image generating apparatus according to the present invention, a foreign object is charged in the lowest layer (light source side) of the object to be inspected and orthogonal to the parallel image. What is necessary is just to image. If the density of the detection target portion is reduced in the parallel image and there is no decrease in the density of the foreign matter portion in the orthogonal image, or if the density drop is not clear as compared with the parallel image, the image generating apparatus according to the present invention is used. Can be applied.
検査対象物の厚さの最大値は、検査対象物の透明度、検査光の波長や、検出する異物の種類および大きさ等の条件によって異なるため、上述した簡単な確認により、予め効果を確認して定めればよい。 The maximum value of the thickness of the inspection object varies depending on conditions such as the transparency of the inspection object, the wavelength of the inspection light, and the type and size of the foreign matter to be detected. Can be determined.
なお、上述の実施の形態における偏光方向制御手段は、いずれも機械制御であるため、偏光方向の切り替えに時間を要する。代替手段として、電気式の偏光方向制御手段を採用することもできる。すなわち、出射側の偏光板を削除した液晶パネルを第1の偏光子として電圧制御することにより、直線偏光の偏光方向を90°変えられる。この場合、第2の偏光子は固定のままで使用できる。 In addition, since all the polarization direction control means in the above-mentioned embodiment are machine control, it takes time to switch the polarization direction. As an alternative, electric polarization direction control means can also be employed. That is, the polarization direction of linearly polarized light can be changed by 90 ° by controlling the voltage of the liquid crystal panel from which the polarizing plate on the emission side is eliminated as the first polarizer. In this case, the second polarizer can be used while being fixed.
ちなみに、TN型液晶パネルは、液晶セルの入射側に偏光板が貼られており、入射光を直線偏光にする。液晶セルには、互いに直交した溝を有する配向膜が2枚上下に配置されている。その間に挟持された液晶分子は、配向膜間で90°ねじれて配向する。従って、偏光板を通過した偏光は、配向膜間を通過する間に、液晶分子の配向のねじれに沿って、90°偏光方向が変えられる。 Incidentally, the TN liquid crystal panel has a polarizing plate attached to the incident side of the liquid crystal cell, and makes incident light linearly polarized light. In the liquid crystal cell, two alignment films having grooves orthogonal to each other are arranged above and below. The liquid crystal molecules sandwiched between them are twisted by 90 ° between the alignment films and aligned. Accordingly, the polarization direction of the polarized light that has passed through the polarizing plate is changed by 90 ° along the twist of the alignment of the liquid crystal molecules while passing between the alignment films.
ここで、配向膜間に電圧をかけると、液晶分子は、配向膜の法線方向に並び方を変えるので、偏光板で偏光された方向を維持したまま出射する。液晶パネルでは、通常、液晶セルの出射側にも偏光板が貼り合わされており、上述した偏光方向の制御で、偏光の透過と遮断を制御できる構造となっている。 Here, when a voltage is applied between the alignment films, the liquid crystal molecules change their alignment in the normal direction of the alignment film, and thus emit while maintaining the direction polarized by the polarizing plate. In a liquid crystal panel, a polarizing plate is usually bonded to the emission side of the liquid crystal cell, and the structure allows the transmission and blocking of polarized light to be controlled by controlling the polarization direction described above.
本発明では、偏光方向を制御することが目的であるので、出射側の偏光板を削除した液晶パネルを用いる。偏光方向の制御に機構部は不要であり、迅速な制御が可能であるため、検査速度の向上に資する。 In the present invention, since the purpose is to control the polarization direction, a liquid crystal panel from which the output side polarizing plate is removed is used. No mechanism is required for controlling the polarization direction, and rapid control is possible, which contributes to an increase in inspection speed.
また、検査対象物を載置する透明板を透明なコンベアベルトに変えれば、コンベア上で連続的に検査が可能である。機械的な偏光方向制御手段を用いる場合でも、透明なコンベアベルトを使用してコンベア上で検査を行えば、検査速度の向上は可能である。 Further, if the transparent plate on which the inspection object is placed is changed to a transparent conveyor belt, the inspection can be continuously performed on the conveyor. Even when mechanical polarization direction control means is used, the inspection speed can be improved by performing inspection on the conveyor using a transparent conveyor belt.
例えば、実施の形態1では、偏光方向制御に、第2の偏光子5を並進運動させるため、コンベアの運動を間欠式にして、コンベアの停止中に平行画像と直交画像を撮像しなければ、画像データの処理で、画像の位置修正が必要になる。しかし、実施の形態2では、第2の偏光子は回転式であるため、一定速度で回転中に撮像すれば、両画像の撮像間隔は短くでき、コンベアを停止させなくても、画像間の位置ずれは大きくならない。よって、画像の位置修正なしで画像処理が行える。 For example, in Embodiment 1, in order to translate the second polarizer 5 for polarization direction control, the motion of the conveyor is intermittent, and a parallel image and an orthogonal image are not captured while the conveyor is stopped. Image image processing requires image position correction. However, in the second embodiment, since the second polarizer is a rotary type, if an image is taken while rotating at a constant speed, the imaging interval between both images can be shortened, and the interval between images can be reduced without stopping the conveyor. Misalignment does not increase. Therefore, image processing can be performed without correcting the position of the image.
また、第1の偏光子4の透過軸と第2の偏光子5の透過軸との相対角について、平行画像では0°、直交画像では90°と説明してきたが、直交画像の相対角が平行画像の相対角よりも大きければ、一定条件下で本発明の効果を奏する。 Further, the relative angle between the transmission axis of the first polarizer 4 and the transmission axis of the second polarizer 5 has been described as 0 ° for the parallel image and 90 ° for the orthogonal image, but the relative angle of the orthogonal image is If it is larger than the relative angle of the parallel image, the effect of the present invention is exhibited under a certain condition.
すなわち、平行画像の相対角が70°以下、直交画像の相対角が50°以上、かつ直交画像の相対角が平行画像の相対角に対して20°以上大きければ、ノイズを低減して、異物が写った画像が得られる。 That is, if the relative angle of the parallel image is 70 ° or less, the relative angle of the orthogonal image is 50 ° or more, and the relative angle of the orthogonal image is 20 ° or more larger than the relative angle of the parallel image, the noise is reduced and the foreign matter is reduced. You can get an image with.
好ましくは、平行画像の相対角を50°以下、直交画像の相対角を70°以上、かつ直交画像の相対角を平行画像の相対角に対して50°以上大きくすれば、ノイズを消去しつつより鮮明な異物の写った画像が得られる。 Preferably, when the relative angle of the parallel image is 50 ° or less, the relative angle of the orthogonal image is 70 ° or more, and the relative angle of the orthogonal image is increased by 50 ° or more with respect to the relative angle of the parallel image, the noise is eliminated. A clearer image of foreign matter can be obtained.
1 光源
2 受像器
3 透明板
4、5 偏光子
6 リニアモータ
7 レール
8 コントローラ
9 ステッピングモータ
10 サポート板
11 モータプーリ
12 プーリベルト
51 y方向偏光部
52 x方向偏光部
53、55 フレーム
54 円形偏光子
55 プーリ付フレーム
81 主制御部
82 偏光子駆動部
83 受像器制御部
84 画像データ記憶部
85 画像処理部
86 濃度調整部
87 差分演算部
88 ノイズ消去部
100 画像生成装置
DESCRIPTION OF SYMBOLS 1 Light source 2 Receiver 3 Transparent plate 4, 5 Polarizer 6 Linear motor 7 Rail 8 Controller 9 Stepping motor 10 Support plate 11 Motor pulley 12 Pulley belt 51 Y direction polarizing part 52 X direction polarizing part 53, 55 Frame 54 Circular polarizer 55 Frame 81 with pulley Main control unit 82 Polarizer driving unit 83 Receiver control unit 84 Image data storage unit 85 Image processing unit 86 Density adjustment unit 87 Difference calculation unit 88 Noise elimination unit 100 Image generation device
Claims (3)
前記検査対象物を透過した透過光および散乱光を受光して画像データを生成する受像器と、
前記光源と前記検査対象物との間の光路上に配置され、前記検査光を直線偏光させる第1の偏光子と、
前記検査対象物と前記受像器との間の光路上に配置され、前記透過光を直線偏光させる第2の偏光子と、
前記第1の偏光子の透過軸と前記第2の偏光子の透過軸とのなす相対角を変更可能な偏光方向制御手段と、を備え、
前記受像器を用いて相対角が小さい第1画像と相対角が大きい第2画像とを撮像すると共に、当該第1画像および第2画像を用いて前記検査対象物の内部構造を可視化して、検査対象物中に存在する検知対象を表示した画像を得る画像生成装置であって、
前記第2画像のコントラストを増大、および/または前記第1画像のコントラストを低下させる濃度調整を行う濃度調整手段を有することを特徴とする画像生成装置。 A light source for irradiating the inspection object with inspection light;
A receiver that receives the transmitted light and scattered light transmitted through the inspection object and generates image data;
A first polarizer disposed on an optical path between the light source and the inspection object to linearly polarize the inspection light;
A second polarizer disposed on an optical path between the inspection object and the receiver, and linearly polarizes the transmitted light;
Polarization direction control means capable of changing a relative angle between the transmission axis of the first polarizer and the transmission axis of the second polarizer,
Taking the first image having a small relative angle and the second image having a large relative angle using the receiver, and visualizing the internal structure of the inspection object using the first image and the second image, An image generating device for obtaining an image displaying a detection target present in an inspection object ,
An image generation apparatus comprising density adjusting means for performing density adjustment for increasing the contrast of the second image and / or decreasing the contrast of the first image .
前記検査対象物を透過した透過光および散乱光を受光して画像データを生成する受像器と、
前記光源と前記検査対象物との間の光路上に配置され、前記検査光を円偏光に変換する第1の偏光子と、
前記検査対象物と前記受像器との間の光路上に配置され、円偏光を直線偏光に変換して透過させる第2の偏光子と、
前記第1の偏光子が変換する円偏光の回転方向、または前記第2の偏光子が透過させる円偏光の回転方向が切り替え可能な偏光方向制御手段と、を備え、
前記受像器を用いて前記第1の偏光子が変換する円偏光の回転方向と前記第2の偏光子が透過させる円偏光の回転方向とが同一方向となる第1画像と逆方向となる第2画像とを撮像すると共に、当該第1画像および第2画像を用いて前記検査対象物の内部構造を可視化して、検査対象物中に存在する検知対象を表示した画像を得る画像生成装置であって、
前記第2画像のコントラストを増大、および/または前記第1画像のコントラストを低下させる濃度調整を行う濃度調整手段を有することを特徴とする画像生成装置。 A light source for irradiating the inspection object with inspection light;
A receiver that receives the transmitted light and scattered light transmitted through the inspection object and generates image data;
A first polarizer disposed on an optical path between the light source and the inspection object and converting the inspection light into circularly polarized light;
A second polarizer disposed on an optical path between the inspection object and the receiver, and converts circularly polarized light into linearly polarized light and transmits the second polarizer;
A polarization direction control unit capable of switching a rotation direction of circularly polarized light converted by the first polarizer or a rotation direction of circularly polarized light transmitted by the second polarizer,
A first direction in which the rotation direction of the circularly polarized light converted by the first polarizer and the rotation direction of the circularly polarized light transmitted by the second polarizer are the same direction as the first image using the receiver is opposite to the first image. while imaging the two images, the image generation apparatus of the internal structure to visualize, obtain an image displaying the detection target present in the test object of the test object by using the first image and the second image There,
An image generation apparatus comprising density adjusting means for performing density adjustment for increasing the contrast of the second image and / or decreasing the contrast of the first image .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014236358A JP6451980B2 (en) | 2014-11-21 | 2014-11-21 | Image generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014236358A JP6451980B2 (en) | 2014-11-21 | 2014-11-21 | Image generation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099227A JP2016099227A (en) | 2016-05-30 |
JP6451980B2 true JP6451980B2 (en) | 2019-01-16 |
Family
ID=56076855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014236358A Expired - Fee Related JP6451980B2 (en) | 2014-11-21 | 2014-11-21 | Image generation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6451980B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022004232A1 (en) * | 2020-06-30 | 2022-01-06 | 株式会社ヴィーネックス | Foreign substance/defect inspection device, image generation device in foreign substance/defect inspection, and foreign substance/defect inspection method |
WO2022034736A1 (en) * | 2020-08-11 | 2022-02-17 | 株式会社ヴィーネックス | Foreign substance/defect inspection device, image generation device in foreign substance/defect inspection, and foreign substance/defect inspection method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6831991B2 (en) * | 2016-08-29 | 2021-02-24 | 株式会社フタミ企画 | Printed matter inspection equipment, printed matter inspection methods, and programs |
JP6949538B2 (en) * | 2017-04-20 | 2021-10-13 | 株式会社カネカ | Defect inspection equipment, defect inspection method, and method for manufacturing balloon catheters |
JP7250545B2 (en) * | 2019-02-05 | 2023-04-03 | アヲハタ株式会社 | food inspection equipment |
FR3132352A1 (en) * | 2022-01-28 | 2023-08-04 | Tiama | Methods and opto-computer systems for through-light inspection of a glass container |
WO2023154256A1 (en) * | 2022-02-08 | 2023-08-17 | Amgen Inc. | Visual inspection systems for containers of liquid pharmaceutical products |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08201307A (en) * | 1995-01-26 | 1996-08-09 | Fujikura Ltd | Void inspection method |
JP2003215057A (en) * | 2001-11-15 | 2003-07-30 | Matsushita Electric Works Ltd | Method and apparatus for detecting foreign object of container |
JP5446232B2 (en) * | 2008-04-10 | 2014-03-19 | 凸版印刷株式会社 | Defect inspection apparatus and defect inspection method for color filter substrate |
JP2010151802A (en) * | 2008-11-20 | 2010-07-08 | Asahi Glass Co Ltd | Device and method for inspection of transparent body |
WO2010058759A1 (en) * | 2008-11-20 | 2010-05-27 | 旭硝子株式会社 | Transparent body inspecting device |
JP2012185091A (en) * | 2011-03-07 | 2012-09-27 | Mitsubishi Electric Corp | Device and method for inspecting silicon substrate |
-
2014
- 2014-11-21 JP JP2014236358A patent/JP6451980B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022004232A1 (en) * | 2020-06-30 | 2022-01-06 | 株式会社ヴィーネックス | Foreign substance/defect inspection device, image generation device in foreign substance/defect inspection, and foreign substance/defect inspection method |
KR20220165784A (en) | 2020-06-30 | 2022-12-15 | 가부시키가이샤 비넥스 | Foreign material/defect inspection apparatus, image generating apparatus in foreign material/defect inspection, and foreign material/defect inspection method |
WO2022034736A1 (en) * | 2020-08-11 | 2022-02-17 | 株式会社ヴィーネックス | Foreign substance/defect inspection device, image generation device in foreign substance/defect inspection, and foreign substance/defect inspection method |
KR20230021745A (en) | 2020-08-11 | 2023-02-14 | 가부시키가이샤 비넥스 | Foreign material/defect inspection apparatus, image generating apparatus in foreign material/defect inspection, and foreign material/defect inspection method |
Also Published As
Publication number | Publication date |
---|---|
JP2016099227A (en) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6451980B2 (en) | Image generation device | |
JP6454923B2 (en) | Food inspection equipment | |
JP7317702B2 (en) | Food Inspection Auxiliary System, Food Inspection Auxiliary Device, and Computer Program | |
JP5615096B2 (en) | Apparatus and method for inspecting labeled containers | |
JP5884144B1 (en) | Packaging inspection equipment | |
US20130293706A1 (en) | Optical analysis method for liquid in a sample container and analysis device for carrying out the method | |
JP6924002B2 (en) | Inspection equipment and inspection method | |
WO2008102143A1 (en) | Quality control of meat products and the like | |
US10922810B2 (en) | Automated visual inspection for visible particulate matter in empty flexible containers | |
JP2018146251A (en) | Foreign matter detection system, foreign matter detection method and program thereof | |
JP6616658B2 (en) | Inspection method of conveyed object | |
CN214097211U (en) | Transparent plate glass's defect detecting device | |
JP2008008787A (en) | Inspection method of transparent solid and inspection device of transparency solid | |
JP2017134032A (en) | Image inspection system, imaging system, and imaging method | |
JP2015014527A (en) | Abnormality detection device and abnormality detection method | |
JP2003279503A (en) | X-ray inspection apparatus | |
JPH09113245A (en) | Device for detecting abnormality of belt-shaped surface on web material | |
JP2021092439A (en) | Illumination optimization method, control device, and program | |
EP4130725A1 (en) | Foreign matter inspection device | |
JP2014106141A (en) | Defect inspection device and defect inspection method | |
CN103196837A (en) | Image-type device and method for quantitative determination of infrared reflectivity and transmissivity | |
JP2014010138A (en) | Inspection device and inspection method | |
CN113256552A (en) | System and method for visual inspection using multiple types of light | |
NO320064B1 (en) | imaging system | |
JP2024008452A (en) | Foreign body inspection device and foreign body inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6451980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |