JP6973742B2 - Inspection method for metal processed surface, inspection device for metal processed surface - Google Patents
Inspection method for metal processed surface, inspection device for metal processed surface Download PDFInfo
- Publication number
- JP6973742B2 JP6973742B2 JP2017117379A JP2017117379A JP6973742B2 JP 6973742 B2 JP6973742 B2 JP 6973742B2 JP 2017117379 A JP2017117379 A JP 2017117379A JP 2017117379 A JP2017117379 A JP 2017117379A JP 6973742 B2 JP6973742 B2 JP 6973742B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspected
- illumination
- acquired
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、金属加工面の検査方法、金属加工面の検査装置に関するものである。 The present invention relates to a method for inspecting a metal processed surface and an apparatus for inspecting a metal processed surface.
ダイカストやアルミ鋳造などで造られた粗形材の内部には、アルミ溶湯を固める際に生じる空洞（以下鋳巣と呼ぶ）が生じている。これら鋳巣が発生する原因は空気の巻き込みや離型材が高温に晒されることで発生するガス、アルミが凝固する時のヒケなどである。粗形材は、その後の工程で、その一部が機械加工によって切削されて最終製品となるが、機械加工の切削面にこれらの鋳巣が現われることや、切削時に欠けが生じることがある。加工面上に現れた鋳巣や欠けは、他の部品と組み上げた最終アッセンブリーの状態とした際に、油やエア、冷却水のリークを発生させる要因となる。つまり、加工面上に現れた鋳巣や欠けは、最終アッセンブリーにおける不良品の原因となってしまう。 Inside the rough-shaped material made by die-casting or aluminum casting, cavities (hereinafter referred to as cavities) formed when the molten aluminum is hardened are formed. The causes of these cavities are the entrainment of air, the gas generated when the mold release material is exposed to high temperatures, and the sink marks when the aluminum solidifies. In the subsequent process, a part of the rough shape material is cut by machining to become a final product, but these cavities may appear on the cutting surface of the machining and chipping may occur during cutting. The cavities and chips that appear on the machined surface cause leaks of oil, air, and cooling water when the final assembly is assembled with other parts. That is, the cavities and chips that appear on the machined surface cause defective products in the final assembly.
このため機械加工を行った後、加工面の検査が行われている。図１７に示すように、一般的な加工面検査は作業員の目視によるものである。自動化が難しい大きな理由は、機械加工時に発生する切削痕やクーラント液、切子、切削油などの誤認要素が加工面上に残っているためである。切削痕は品質上問題ないものであり、またクーラント液や切子、切削油は後に拭取ることができる。つまり、図１８に示すような鋳巣や欠けを備えていれば製品の不良と判定すべきであるが、切削痕や切子、クーラント液が付着しているだけでは製品の不良と判定すべきではない。したがって、検査の際には、これらの誤認要素と欠陥である鋳巣や欠け（これらをまとめて違和点と呼ぶ）から、欠陥のみを分類する必要がある。 Therefore, after machining, the machined surface is inspected. As shown in FIG. 17, a general machined surface inspection is performed visually by an operator. The main reason why automation is difficult is that cutting marks, coolant liquid, cutting fluid, cutting oil, and other misidentified elements generated during machining remain on the machined surface. The cutting marks are not a problem in terms of quality, and the coolant, facets, and cutting oil can be wiped off later. That is, it should be judged that the product is defective if it has cavities or chips as shown in FIG. 18, but it should be judged that the product is defective only if cutting marks, cut pieces, or coolant are attached. No. Therefore, at the time of inspection, it is necessary to classify only defects from these misidentified elements and defects such as cavities and chips (collectively referred to as discomfort points).
一般的に、誤認要素は上に凸であり、欠陥である鋳巣や欠けは下に凹であるという特徴があるものの、真上からの画像では、両者の違いは非常に小さく識別することが難しい。そのため、これらを生産ラインのコンベア上で限られた時間内で見分けるためには、熟練した技能を持った作業員が必要であった。 In general, the misidentified elements are convex upwards, and the defects such as cavities and chips are concave downwards, but in the image from directly above, the difference between the two can be distinguished very small. difficult. Therefore, in order to distinguish these on the conveyor of the production line within a limited time, a skilled worker was required.
また、生産ライン上での何時間もの連続した確認作業は、集中力を要する重労働であるため、機械化による検査が望まれている。しかし、画像撮影や画像処理技術が進んで来た現在でも、この違いを瞬時に、しかも製品の加工面全体を広範囲に判定できる自動化は困難である。なお、自動化を行った事例もあるが、NG品を後工程に流さないようにするために安全サイドに閾値を下げた設定で行われているため、本来、問題が無い製品であっても、誤認要素の存在により、不良製品として判定されてしまうような、いわゆるうそつき判定が多く発生している。 In addition, since the continuous confirmation work for hours on the production line is a heavy labor that requires concentration, inspection by mechanization is desired. However, even now that image shooting and image processing technologies have advanced, it is difficult to automate this difference instantly and in a wide range of the entire processed surface of the product. In addition, although there are cases of automation, it is set to lower the threshold value on the safety side in order to prevent NG products from flowing to the subsequent process, so even if there is no problem originally, even if it is a product that has no problem. Due to the presence of misidentification factors, so-called liar judgments that are judged as defective products often occur.
ところで、特許文献１に記載されているようなスリットレーザーを使用した三次元測定機を用いれば、凹凸を精度よく測定できるため、加工面の鋳巣や欠陥を検出することは可能である。しかし0.5mmレベルの微小な鋳巣や欠陥を見つけるためには高い分解能が必要であり、スリットレーザーの幅が限られる。そのため加工面全体を検査するためには、狭い範囲の測定を何往復も繰り返さねばならず、長い検査時間が必要なため、生産工程上のネックとなる。なお、図１９に示すことから理解されるように、カメラ１０２とスリットレーザー１０３を備えた三次元測定器を使った場合、三次元データを測定した後、三次元データの処理をし、更に欠陥検出の計算を行った後、製品が不良であるか否かを判定する。
By the way, if a three-dimensional measuring machine using a slit laser as described in Patent Document 1 is used, unevenness can be measured with high accuracy, so that it is possible to detect cavities and defects on the machined surface. However, high resolution is required to find minute cavities and defects at the 0.5 mm level, and the width of the slit laser is limited. Therefore, in order to inspect the entire machined surface, it is necessary to repeat measurements in a narrow range many times, which requires a long inspection time, which is a bottleneck in the production process. As can be understood from FIG. 19, when a three-dimensional measuring instrument equipped with a
このように、従来の技術では、金属加工面の欠陥の有無を迅速的確に判別するのは困難であった。 As described above, with the conventional technique, it is difficult to quickly and accurately determine the presence or absence of defects on the metal machined surface.
本件の発明者は、この点について鋭意検討することにより、解決を試みた。本発明の課題は、金属加工面の欠陥の有無を迅速的確に判定できるようにすることである。 The inventor of this case tried to solve this problem by diligently examining this point. An object of the present invention is to make it possible to quickly and accurately determine the presence or absence of defects on a metal machined surface.
上記課題を解決するため、第一の画像と、第一の画像とは照明の照射方向若しくはカメラの位置が異なるように撮影された第二の画像と、を含んだセット画像を、検査対象となる金属加工面に対して取得し、参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報とを含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、検査対象となる金属加工面に対して取得されたセット画像から得られる情報に基づいて、検査対象となる金属加工面が欠陥を含んでいるか否かを判定する金属加工面の検査方法とする。 In order to solve the above problem, a set image including the first image and the second image taken so that the irradiation direction of the illumination or the position of the camera is different from that of the first image is used as an inspection target. Information obtained from a large number of set images acquired for a plurality of reference metalworked surfaces and having defects to be referred to, and a plurality of reference metalworked surfaces having no defects. Acquired for the metalworked surface to be inspected using a classifier that learned the characteristics of defects using deep learning from a group of information including information obtained from a large number of set images acquired for. Based on the information obtained from the set image, the method for inspecting the metalworked surface is to determine whether or not the metalworked surface to be inspected contains defects.
また、検査対象となる金属加工面に対して取得されたセット画像には、特定の方向から照明を照射することにより得られた画像と、先の方向とは異なる方向から照明を照射することにより得られた画像を含むものとする。 In addition, the set image acquired for the metalworked surface to be inspected is illuminated by irradiating the image obtained by irradiating the image from a specific direction and the illumination from a direction different from the previous direction. It shall include the obtained image.
また、特定の方向から照射される照明のカラーと、先の方向とは異なる方向から照射される照明のカラーが各々異なるものとすることが好ましい。 Further, it is preferable that the color of the illumination emitted from a specific direction and the color of the illumination emitted from a direction different from the previous direction are different from each other.
また、検査対象となる金属加工面に対して取得されたセット画像は、複数の画像を歪み、倍率などを補正した上で、位置を合わせて重ねるもしくは並列に並べることで得られたものとする。 In addition, the set image acquired for the metal machined surface to be inspected shall be obtained by distorting a plurality of images, correcting the magnification, etc., and then superimposing them in alignment or arranging them in parallel. ..
また、検査対象となる金属加工面に対して取得されたセット画像には、特定の方向から検査対象を撮影するカメラで取得した画像と、先の方向とは異なる方向から検査対象を撮影する第二のカメラで取得した画像を含むものとする。 In addition, the set image acquired for the metal machined surface to be inspected includes the image acquired by the camera that captures the inspection target from a specific direction and the inspection target from a direction different from the previous direction. It shall include images acquired by the second camera.
また、第一の画像と、第一の画像とは照明の照射方向若しくはカメラの位置が異なるように撮影された第二の画像と、を含んだセット画像として、検査対象となる金属加工面について取得されたものから得られる情報を、他の情報から事前に学習を行った分類器を用いて分類する演算部と、演算部により導き出される結果により、検査対象となる金属加工面に欠陥を含んでいるか否かを判定する判定部と、を備え、前記演算部は、参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、を含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、当該特徴情報に基づいて、検査対象となる金属加工面に対して取得されたセット画像を分類する金属加工面の検査装置とする。 Further, as a set image including the first image and the second image taken so that the irradiation direction of the illumination or the position of the camera is different from the first image, the metal processed surface to be inspected. A calculation unit that classifies the information obtained from the acquired information using a classifier that has been learned in advance from other information, and the results derived by the calculation unit include defects in the metalworked surface to be inspected. The calculation unit includes a determination unit for determining whether or not the result is obtained, and the calculation unit includes information obtained from a large number of set images acquired for a plurality of reference metal processed surfaces having defects to be referred to, and defects. Using a classifier that learned the features of the defect using deep learning from a group of information containing information obtained from a large number of set images acquired for multiple reference metalworked surfaces that do not have the feature. Based on the information, it is an inspection device for the metal processing surface that classifies the set images acquired for the metal processing surface to be inspected.
また、この検査装置は、特定の方向から照射する第一の照明と、先の方向とは異なる方向から照射する第二の照明と、を備え、検査対象となる金属加工面に対して取得されたセット画像には、第一の照明を照射することにより得られた画像と、第二の照明を照射することにより得られた画像を含むものとする。 In addition, this inspection device includes a first illumination that irradiates from a specific direction and a second illumination that irradiates from a direction different from the previous direction, and is acquired for the metal processed surface to be inspected. The set image shall include an image obtained by irradiating the first illumination and an image obtained by irradiating the second illumination.
また、この検査装置は、第一照明のカラーと、第二の照明のカラーが各々異なるものとすることが好ましい。 Further, in this inspection device, it is preferable that the color of the first illumination and the color of the second illumination are different from each other.
また、検査対象となる金属加工面に対して取得されたセット画像は、複数の画像を歪み、倍率などを補正した上で、位置を合わせて重ねるもしくは並列に並べることで得られたものとする。 In addition, the set image acquired for the metal machined surface to be inspected shall be obtained by distorting a plurality of images, correcting the magnification, etc., and then superimposing them in alignment or arranging them in parallel. ..
また、この検査装置は、特定の方向から検査対象を撮影する第一のカメラと、先の方向とは異なる方向から検査対象を撮影する第二のカメラを備え、検査対象となる金属加工面に対して取得されたセット画像には、第一のカメラで取得した画像と、第二のカメラで取得した画像を含むものとする。 In addition, this inspection device is equipped with a first camera that shoots the inspection target from a specific direction and a second camera that shoots the inspection target from a direction different from the previous direction, and is provided on the metal processed surface to be inspected. On the other hand, the set image acquired shall include the image acquired by the first camera and the image acquired by the second camera.
本発明では、金属加工面の欠陥の有無を迅速的確に判定できるようにすることが可能となる。 In the present invention, it is possible to quickly and accurately determine the presence or absence of defects on the metal machined surface.
以下に発明を実施するための形態を示す。本実施形態の金属加工面９の検査方法では、第一の画像と、第一の画像とは照明３の照射方向若しくはカメラ２の位置が異なるように撮影された第二の画像と、を含んだセット画像を、検査対象となる金属加工面９に対して取得する。そして、「欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報から深層学習を用いて欠陥の特徴を学習した分類器」を用いて、「検査対象となる金属加工面９に対して取得されたセット画像」を基に、検査対象となる金属加工面に欠陥を含んでいるか否かを判定する。このため、金属加工面９の欠陥の有無を精度よく判定できるようにすることが可能となる。なお、セット画像は、第一の画像とは照明３の照射方向若しくはカメラ２の位置が異なるように撮影された第三の画像を含んだり、更に第四の画像を含んだりするなど、三つ以上の画像を含んだものとしてよいことは当然のことである。
The embodiment for carrying out the invention is shown below. The method for inspecting the metal processed
また、本実施形態の金属加工面９の検査装置は、「第一の画像と、第一の画像とは照明３の照射方向若しくはカメラ２の位置が異なるように撮影された第二の画像と、を含んだセット画像として、検査対象となる金属加工面について取得されたものから得られる情報」と、「他の情報」から事前に学習を行った分類器を用いて分類する演算部を備えている。また、この演算部により導き出される結果により、検査対象となる金属加工面９に欠陥を含んでいるか否かを判定する判定部を備えている。演算部は、参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報とを含む情報群から深層学習を用いて分類器に欠陥の特徴を学習させる。また、この欠陥の特徴を学習した分類器を用いて検査対象となる金属加工面９に対して取得されたセット画像から得られる情報に基づいて、検査対象となる金属加工面９に欠陥が含まれているかを分類する。このため、金属加工面９の欠陥の有無を精度よく判定できるようにすることが可能となる。
Further, the inspection device for the metal processed
ここで、実施形態について詳しく説明する。この実施形態では、ダイカストや鋳造の粗形材の表面を加工した際に生じる鋳巣や欠陥を、画像を用いて検出する。また、ディープラーニング（深層学習）による学習を用いて、これらの鋳巣や欠陥の検出を行う。なお、ディープラーニングによる機械学習を用いると、選定対象の有無などの情報を付しておけば、選定対象の特徴を人が定義せずとも、人工知能が学習データから当該特徴を抽出し、特定の結果を得ることができる。 Here, the embodiment will be described in detail. In this embodiment, cavities and defects generated when the surface of a die-cast or cast rough-shaped material is processed are detected by using an image. In addition, learning by deep learning is used to detect these cavities and defects. If machine learning by deep learning is used, if information such as the presence or absence of a selection target is attached, artificial intelligence will extract the feature from the learning data and specify it even if the feature of the selection target is not defined by a person. The result of can be obtained.
実施形態では、検査対象の金属加工面９が欠陥を含む若しくは欠陥を含まないという判定を行うため、学習要素となるデータベース内の情報は欠陥を有する参照金属加工面、欠陥を含まない参照金属加工面の両方が必要となる。なお、データベースに保管される、これらのセット画像には、欠陥を含むか含まないかなどの情報が付される。
In the embodiment, since it is determined that the
ディープラーニングで学習させる画像はOKとNGそれぞれが持つ特徴が際立っていれば、学習が容易になり、少ない画像枚数でより高精度に欠陥の検出が可能となる。しかし、加工面の鋳巣や欠陥は、汚れやクーラント液、切削痕などとよく似ており、単に真上から撮影した画像だけでは、ONとNGの間の特徴差が非常に小さく、人間でも識別が難しい。そのため、高精度での欠陥検出には学習に膨大な枚数の画像が必要であり、非常に困難である。 If the images to be learned by deep learning have distinctive characteristics of OK and NG, learning will be easy, and defects can be detected with higher accuracy with a small number of images. However, the cavities and defects on the machined surface are very similar to dirt, coolant, cutting marks, etc., and the feature difference between ON and NG is very small just by taking an image taken from directly above, even for humans. Difficult to identify. Therefore, high-precision defect detection requires a huge number of images for learning, which is extremely difficult.
そこで、画像を取得する際に違和点の特徴が際立つような以下の手法を用いて画像を取得する。図１や図２に示すように、第一の手法は複数の照明３を用いた撮影である。このようにするのは、特定の方向から照明３を照射することにより得られた画像に対して現れる影と、先の方向とは異なる方向から照明３を照射することにより得られた画像に対して現れる影の違いが、違和点の特徴を際立たせる場合があるからである。このことを可能とするため、実施形態では、特定の方向から照射する第一の照明３と、先の方向とは異なる方向から照射する第二、第三・・・の照明３と、を備えた検査装置としている。また、検査対象となる金属加工面９に対して取得されたセット画像には、第一の照明３を照射することにより得られた画像と、第二、第三・・・の照明３を照射することにより得られた画像を含むものとしている。なお、先の方向とは異なる方向から照明３を照射することにより得られた画像を複数含むものとすれば、特徴部分を際立たせ易くなる場合がある。
Therefore, when the image is acquired, the image is acquired by using the following method in which the characteristics of the discomfort are conspicuous. As shown in FIGS. 1 and 2, the first method is photography using a plurality of
このようなことを行うには、例えば、加工面の面直方向に設置されるカメラ２に対して同軸の照明３、およびそれと異なった２方向以上からの別の照明３をそれぞれ照射することで加工面の同じ部位の影の様子の異なった複数枚の画像を撮影すれば良い。これによって得られたセット画像を用いてディープラーニングによる学習及び判定を行うことができる。
To do this, for example, the
この手法をより詳しく説明する。先ず、検査されるワークの加工面に対して、面直方向にカメラ２を設置し、それに対して複数の照明３を設置する。1台目の照明３はカメラ２に対して同軸になるようなリング状、板状の照明３もしくは、非常に近い位置におかれた照明３である。2台目以降の照明３はカメラ２の軸線に対して30度〜75度程度の位置に、面のX方向およびY方向、または、その両方に設置する。使用する照明３は2台でも3台以上でも構わないが、画像の色情報のチャンネルの数に等しい合計3台とすることが望ましく、各照明３は白色照明、または照明３ごとに異なった赤緑青3色のカラー照明を用いる。
This technique will be described in more detail. First, the
従来の撮影手法では、主に一台のカメラとそれに同軸の照明一台で行われているため、違和点を一方向から画像で判断することになる。これでは違和点の凹凸の違いの差異が出にくく、図３に示すような違和点を撮影すると、図１６に示すように、凹である鋳巣などの欠陥と、凸である切子やクーラント液、切削油などを判別しづらくなっている。 In the conventional shooting method, since one camera and one coaxial lighting are mainly used, the discomfort point is judged from one direction by the image. With this, it is difficult to make a difference in the unevenness of the discomfort point, and when the discomfort point as shown in FIG. 3 is photographed, as shown in FIG. 16, defects such as concave cavities and convex facets and coolant liquid are present. , It is difficult to distinguish cutting oil, etc.
ディープラーニングによる画像分類では、学習に多くの画像を必要とするが、このような分類したい画像間で差異が無い場合、特徴量を学習させるためには膨大な画像が必要となり、自動検査装置に利用することは難しい。 Image classification by deep learning requires many images for learning, but if there is no difference between the images to be classified, a huge number of images are required to learn the features, and the automatic inspection device It's difficult to use.
一方、図３に示すような違和点について、第一の手法を用いて、真上、正面、真横と互いに異なる方向から照明３を照射し、第一の画像、第二の画像及び第三の画像を取得すると、図４に示すような結果を得ることができるようになる。つまり、違和点の物質の違いや凹凸度合いの違いが大きく現われた複数の画像を得ることができる。
On the other hand, regarding the discomfort as shown in FIG. 3, the first method is used to irradiate the
たとえば、加工面に対して凸の方向にあるクーラント液や切子、切削油では、材質によって、影の形状や表面の反射度合い、透明度が異なっている。そのため、照明３の角度の違いによってその特性が大きく現われた、異なった画像が得られる。
For example, in the case of coolant, facets, and cutting oil that are convex with respect to the machined surface, the shape of the shadow, the degree of reflection on the surface, and the transparency differ depending on the material. Therefore, it is possible to obtain different images in which the characteristics are largely exhibited by the difference in the angle of the
一方で加工面に対して凹の方向にある鋳巣や欠けなどの欠陥は、凸の方向にある場合とは異なった、影の形状や表面の反射度合いを持っている。そのため、照明３の角度の違いで、その特性が大きく現れ、異なった画像が得られる。
On the other hand, defects such as cavities and chips in the concave direction with respect to the machined surface have a shadow shape and a degree of surface reflection different from those in the convex direction. Therefore, the characteristics of the
また、加工面上で凹凸がほとんど無い切削痕は、照明３の角度の違いでは影などに差がほとんど表れず、どの照明３でも同じような模様の画像が得られる。このため、鋳巣や欠陥といった欠陥と、それ以外の汚れなどとの差異を際立たせることができる。したがって、ディープラーニングでの学習が容易になり、少ない画像枚数でより高精度に欠陥の検出が可能となる。
Further, the cutting marks having almost no unevenness on the machined surface show almost no difference in shadows or the like due to the difference in the angle of the
第二の手法は、複数のカメラ２を用いた撮影である。例えば、図５に示すように、加工面の面直方向に設置されるカメラ２と照明３に対して、それと異なった２方向以上から別のカメラ２を用いることで、加工面の同じ部位の角度の異なった複数枚の画像を撮影する。これらの画像を補正し、角度や向き、大きさをそろえたセット画像を用いてディープラーニングによる学習及び判定を行う。このような手法でも、鋳巣や欠陥といった欠陥と、それ以外の汚れなどとの差異を際立たせることができるため、ディープラーニングでの学習が容易になり、少ない画像枚数でより高精度に欠陥の検出が可能となる。
The second method is shooting using a plurality of
この手法をより詳しく説明する。先ず、検査されるワークの加工面に対して、面直方向にカメラ２を一台設置する。また、カメラ２に対して同軸になるようなリング状か板状の照明３を設置するか、カメラ２に対して非常に近い位置に照明３を設置する。二台目以降のカメラ２は、一台目のカメラ２の軸線に対して30度〜75度程度の位置に、面のX方向およびY方向、または、その両方に設置する。使用するカメラ２は2台でも3台以上でも構わないが、画像の色情報のチャンネルの数に等しい合計3台とすることが望ましい。
This technique will be described in more detail. First, one
第一の手法と第二に手法のいずれにおいても、撮影で用いるカメラ２の種類はエリアカメラやラインカメラなどを用いることが可能である。なお、照明３は各カメラ２に対応した種類のものを用いる。
In both the first method and the second method, it is possible to use an area camera, a line camera, or the like as the type of
ここで、画像処理プロセスについて説明する。図６に示すように、先ず、加工面を撮影する（STEP1）。その後、図７に示すように、得られた複数の画像から違和点を切り出してセット画像を作成する（STEP2）。そして、図８に示すように、それをディープラーニングの学習や判定に用いる（STEP3）。画像処理プロセスは概略このような流れである。次に各ステップについて説明する。 Here, the image processing process will be described. As shown in FIG. 6, first, the machined surface is photographed (STEP 1). Then, as shown in FIG. 7, a set image is created by cutting out the discomfort points from the obtained plurality of images (STEP2). Then, as shown in FIG. 8, it is used for learning and determination of deep learning (STEP3). The image processing process is generally such a flow. Next, each step will be described.
先ず、ステップ１の加工面の撮影を、複数の照明３を用いて行った場合について説明する。図９は3台の白色光照明を用いた場合の照明３の照射方向と位置関係を示す。ワークを設置した後、まず、真上の照明３のみを照射し加工面を撮影する。次に、正面の照明３のみを照射し、加工面を撮影する。最後に横の照明３のみを照射し、加工面を撮影する。これによって3枚の加工面の画像を取得する。なお、撮影の順番はこれに限る必要は無い。
First, a case where the photographed surface of step 1 is photographed using a plurality of
このように撮影した3枚の画像を図１０に示す。照明３の位置の違いによって、同一の違和点で影の向きなどが画像ごとに異なった画像を得ることができる。
The three images taken in this way are shown in FIG. Due to the difference in the position of the
特定の方向から照射される照明３のカラーと、先の方向とは異なる方向から照射される照明３のカラーが各々異なるように構成することもできる。このようにすれば、カラーの差に基づいて識別することも可能となる。このようなことを可能とするためには第一の照明のカラーと、第二の照明のカラーが各々異なるものとすればよい。例えば、3台のカラー照明を用いた場合の照明３の照射方向と位置関係を図１１に示す。この図では、赤緑青の3色のカラー照明をそれぞれ、真上、正面、横に配置している。ワークを設置した後、すべての照明３を照射し加工面を撮影し、1枚の加工面の画像を取得する。
It is also possible to configure the color of the
それぞれ色の異なる3台のカラー照明を用い、3台の照明３を同時に照射し撮影した1枚の画像を図１２に示す。これを色ごとにRGBの3つチャンネルに分解することで、照明３の色の違いによって、チャンネルごとに影の向きなどが異なった3枚の画像を得ることができる。これらの3枚の画像は、同じカメラ２で撮影しているため、位置関係や拡大率、傾きなどは同じである。
FIG. 12 shows one image taken by simultaneously irradiating three
ステップ２では、これらの画像から、鋳巣や欠けなどの欠陥、及び切削痕やクーラント液、切子、切削油などの誤認要素をまとめて違和点として発見し、発見した違和点の切り出しを行う。ここでは3枚の画像それぞれに違和点の切り出しを行い、どれか1枚の画像で発見された違和点は3枚すべて同じ位置を切り出すことで、3枚セットの違和点切り出し画像を生成する。なお、違和点の発見、切り出しの手法についての説明は省略する。
In
その後、図１３に示すように、取得した3枚の切り出し画像から、以下の2通りの手法のどちらかを選択すれば、セット画像を生成することができる。図１３の左下側に表したのは、一つ目の手法であり、３枚の切り出し画像をそれぞれRGBのチャンネルに割り当て、一枚の画像とする方法である。このようにすれば、演算部などを用いて、複数の画像の各々の位置情報をあわせて重ねることでセット画像とすることが可能となる。また、図１３の右下側に表したのは、二つ目の手法であり、複数の切り出し画像を各々が重ならないように並べて、一枚のセット画像とする方法である。ここでは、３枚の切り出し画像を各々が重ならないように一列に並べて、一枚のセット画像としている。 After that, as shown in FIG. 13, a set image can be generated by selecting one of the following two methods from the acquired three cut-out images. The lower left side of FIG. 13 is the first method, in which three cut-out images are assigned to RGB channels to form one image. By doing so, it is possible to obtain a set image by superimposing the position information of each of the plurality of images together using a calculation unit or the like. Further, what is shown on the lower right side of FIG. 13 is the second method, in which a plurality of cut-out images are arranged so as not to overlap each other to form a single set image. Here, three cut-out images are arranged in a row so that they do not overlap each other to form one set image.
ステップ３では、生成したセット画像でディープラーニングによる学習や分類を行う。使用する違和点のセット画像は、違和点を真上から撮影した画像のみよりも、鋳巣や欠陥と誤認要素との差異が際立っている。このため、ディープラーニングでそれらを分類するための学習に必要な画像の枚数が少なくなり、学習が容易になる。
In
次に、ステップ１の加工面の撮影を、複数のカメラ２を用いて行った場合について説明する。このようにするのは、特定の方向から検査対象を撮影するカメラ２で取得した画像と、先の方向とは異なる方向から検査対象を撮影するカメラ２で取得した画像の違いが、違和点の特徴を際立たせる場合があるからである。このようなことを可能とするため、特定の方向から検査対象を撮影する第一のカメラ２と、先の方向とは異なる方向から検査対象を撮影する第二、第三・・・のカメラ２を備えた検査装置としている。また、検査対象となる金属加工面９に対して取得されたセット画像には、第一のカメラ２で取得した画像と、第二、第三・・・のカメラ２で取得した画像を含むものとしている。なお、先の方向とは異なる方向から検査対象を撮影するカメラ２で取得した画像を複数含むものとすれば、特徴部分を際立たせ易くなる場合がある。
Next, a case where the processed surface of step 1 is photographed using a plurality of
図１４は3台のカメラ２を用いた場合のカメラ２の撮影方向と設置位置の関係を示す。ワークを設置した後、真上の照明３を照射し、真上に設置された第一のカメラ２と正面に設置された第二のカメラ２と横に設置された第三のカメラ２の計3台で同時に加工面を撮影する。これによって3枚の加工面の画像を取得する。
FIG. 14 shows the relationship between the shooting direction of the
図１５では、異なる位置に設置された3台のカメラ２を用い、同時に撮影された3枚の画像を示す。カメラ２の位置、角度の違いによって、同一の違和点で影の向きや拡大率、傾きが異なった画像を得ることができる。次に、これらの画像を画像補正によって拡大率、傾きなどを補正して、真上から撮影した画像と同じ位置関係、拡大率、傾きの画像とする。これは公知のキャリブレーションの手法、たとえばマーカードットなどを用いる方法によって行う。これによって、同じ位置関係、拡大率、傾きであるが、撮影方向の違いによって影などの向きが異なった3枚の画像を得ることができる。ステップ２以降については、先に説明したものと同様であるため、説明を省略する。
FIG. 15 shows three images taken at the same time using three
以上、いくつかの実施形態を中心として説明してきたが、本発明は上記実施形態に限定されることはなく、各種の態様とすることが可能である。例えば、実施形態では、固定式の照明やカメラを用いたが、照明やカメラを可動式としても良い。 Although the above description has focused on some embodiments, the present invention is not limited to the above embodiments and can be various embodiments. For example, in the embodiment, fixed lighting and a camera are used, but the lighting and the camera may be movable.
また、カメラは固定し、検査対象となる金属加工面を動かして、異なる画像を取得するようにしても良い。 Alternatively, the camera may be fixed and the metalworked surface to be inspected may be moved to acquire different images.
また、データベースに保管される画像に付される情報は、判定結果と直結するように、単に「欠陥がある」や「欠陥が無い」としても良いが、欠陥の有無の判断要素になる鋳巣があるか否かの情報を付したり、クーラント液があるか否かなどの情報を付したりすることも可能である。 In addition, the information attached to the image stored in the database may be simply "defective" or "no defect" so as to be directly linked to the determination result, but it is a casting cavity that is a factor for determining the presence or absence of a defect. It is also possible to attach information such as whether or not there is a coolant, or whether or not there is a coolant.
また、セット画像は、二枚以上の画像を用いて作られるものであればよい。つまり、セット画像を作る際に基にする画像は、二枚でも、三枚でも、四枚以上でも良い。 Further, the set image may be created by using two or more images. That is, the image to be used as a base when creating a set image may be two, three, or four or more.
２ カメラ
３ 照明
９ 金属加工面
2
Claims (10)
参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報とを含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、
検査対象となる金属加工面に対して取得されたセット画像から得られる情報に基づいて、検査対象となる金属加工面が欠陥を含んでいるか否かを判定する金属加工面の検査方法。 A set image including the first image and the second image taken so that the irradiation direction of the illumination or the position of the camera is different from that of the first image is the metalworked surface to be inspected. Get against
Information obtained from a large number of set images acquired for multiple reference metalworked surfaces with defects to be referenced, and a large number of set images acquired for multiple reference metalworked surfaces without defects. Using a classifier that learned the characteristics of defects using deep learning from a group of information containing information obtained from
A method for inspecting a metalworked surface to be inspected, based on information obtained from a set image acquired for the metalworked surface to be inspected, to determine whether or not the metalworked surface to be inspected contains defects.
演算部により導き出される結果により、検査対象となる金属加工面に欠陥を含んでいるか否かを判定する判定部と、を備え、
前記演算部は、参照対象となる欠陥を有する多数の参照金属加工面に対して取得されたセット画像から得られた情報と、欠陥を有しない多数の参照金属加工面に対して取得されたセット画像から得られた情報とを含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、
検査対象となる金属加工面に対して取得されたセット画像から得られる情報を分類する金属加工面の検査装置。 A metal to be inspected, which is generated as a set image including the first image and the second image taken so that the irradiation direction of the illumination or the position of the camera is different from the first image. An arithmetic unit that classifies information obtained from what is acquired about the machined surface using a classifier that has been learned in advance from other information.
A determination unit for determining whether or not the metal machined surface to be inspected contains a defect based on the result derived from the calculation unit is provided.
The calculation unit includes information obtained from a set image acquired for a large number of reference metal processed surfaces having defects to be referred to, and a set acquired for a large number of reference metal processed surfaces having no defects. Using a classifier that learned the characteristics of defects using deep learning from a group of information including information obtained from images,
An inspection device for metalworked surfaces that classifies information obtained from set images acquired for metalworked surfaces to be inspected.
検査対象となる金属加工面に対して取得されたセット画像には、第一の照明を照射することにより得られた画像と、第二の照明を照射することにより得られた画像を含む請求項６に記載の金属加工面の検査装置。 It is equipped with a first light that illuminates from a specific direction and a second light that irradiates from a direction different from the previous direction.
A claim that the set image acquired for the metalworked surface to be inspected includes an image obtained by irradiating the first illumination and an image obtained by irradiating the second illumination. 6. The device for inspecting a metal processed surface according to 6.
検査対象となる金属加工面に対して取得されたセット画像には、第一のカメラで取得した画像と、第二のカメラで取得した画像を含む請求項６に記載の金属加工面の検査装置。 It is equipped with a first camera that shoots the inspection target from a specific direction and a second camera that shoots the inspection target from a direction different from the previous direction.
The device for inspecting a metal processed surface according to claim 6, wherein the set image acquired for the metal processed surface to be inspected includes an image acquired by the first camera and an image acquired by the second camera. ..
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017117379A JP6973742B2 (en) | 2017-06-15 | 2017-06-15 | Inspection method for metal processed surface, inspection device for metal processed surface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017117379A JP6973742B2 (en) | 2017-06-15 | 2017-06-15 | Inspection method for metal processed surface, inspection device for metal processed surface |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019002788A JP2019002788A (en) | 2019-01-10 |
| JP6973742B2 true JP6973742B2 (en) | 2021-12-01 |
Family
ID=65005683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017117379A Active JP6973742B2 (en) | 2017-06-15 | 2017-06-15 | Inspection method for metal processed surface, inspection device for metal processed surface |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6973742B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7100571B2 (en) * | 2018-12-13 | 2022-07-13 | 株式会社荏原製作所 | A method of building a predictive model that predicts the number of plates that can be plated, a method of building a selection model for predicting the components that cause defects, and a method of predicting the number of boards that can be plated. |
| CN113287030A (en) | 2019-01-10 | 2021-08-20 | 株式会社小糸制作所 | LiDAR sensor unit and vehicle anti-theft system |
| KR102601135B1 (en) * | 2019-01-15 | 2023-11-13 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
| TWI694250B (en) * | 2019-03-20 | 2020-05-21 | 英業達股份有限公司 | Surface defect detection system and method thereof |
| CN110009617A (en) * | 2019-04-02 | 2019-07-12 | 浙江大学 | A kind of shaft forgings online quality control method |
| JPWO2021010181A1 (en) * | 2019-07-17 | 2021-01-21 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000163582A (en) * | 1998-11-26 | 2000-06-16 | Dainippon Printing Co Ltd | Method and device for inspecting defect on metallic sample surface |
| JP4216007B2 (en) * | 2002-06-26 | 2009-01-28 | 三菱原子燃料株式会社 | Inspection device, signal processing device, and program |
| JP2011191252A (en) * | 2010-03-16 | 2011-09-29 | Nippon Steel Engineering Co Ltd | Surface quality evaluation method of metal and surface quality evaluation apparatus of metal |
| JP5514161B2 (en) * | 2011-07-20 | 2014-06-04 | 本田技研工業株式会社 | Belt inspection device |
| JP2015135253A (en) * | 2014-01-16 | 2015-07-27 | アイシン精機株式会社 | Fault detecting apparatus |
| JP6486050B2 (en) * | 2014-09-29 | 2019-03-20 | 株式会社Ｓｃｒｅｅｎホールディングス | Inspection apparatus and inspection method |
| JP2016142601A (en) * | 2015-01-30 | 2016-08-08 | 前田建設工業株式会社 | Construction quality evaluation program, construction quality evaluation method, and construction quality evaluation device |
| JP2017067633A (en) * | 2015-09-30 | 2017-04-06 | キヤノン株式会社 | Checkup apparatus, and manufacturing method |
| US9965901B2 (en) * | 2015-11-19 | 2018-05-08 | KLA—Tencor Corp. | Generating simulated images from design information |
-
2017
- 2017-06-15 JP JP2017117379A patent/JP6973742B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019002788A (en) | 2019-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6973742B2 (en) | Inspection method for metal processed surface, inspection device for metal processed surface | |
| EP3495077B1 (en) | Powder spreading quality test method and additive manufacturing device | |
| US10949963B2 (en) | System and method for inspection of wet ophthalmic lens | |
| JP6945245B2 (en) | Visual inspection equipment | |
| US7570794B2 (en) | System and method for evaluating a machined surface of a cast metal component | |
| KR101832081B1 (en) | Surface defect detection method and surface defect detection device | |
| US9709390B2 (en) | Method and a device for the inspection of surfaces of an examined object | |
| US9207188B2 (en) | System and method for monitoring painting quality of components, in particular of motor-vehicle bodies | |
| CN109030498B (en) | Visual detection device and method for blade knife lines and surface defects | |
| US9140546B2 (en) | Apparatus and method for three dimensional inspection of wafer saw marks | |
| JP7076747B2 (en) | Classifier learning support system, learning data collection method, inspection system | |
| KR20200028940A (en) | Inspection device | |
| CA2969834C (en) | Defect inspection method and apparatus therefor | |
| JP4760029B2 (en) | Defect inspection method and defect inspection apparatus | |
| CA2968843A1 (en) | Defect inspection method and apparatus therefor | |
| US7636466B2 (en) | System and method for inspecting workpieces having microscopic features | |
| TW201405120A (en) | Appearance inspection device and appearance inspection method | |
| TWI550526B (en) | Method of setting the check condition of the sprocket and the method of checking the sprocket | |
| JP2005265661A (en) | Image processing method and image processing device | |
| JP2007278915A (en) | Device and method for inspecting defect of tool | |
| JP2006266780A (en) | Flaw inspection device and flaw inspection method | |
| JP2009236760A (en) | Image detection device and inspection apparatus | |
| JP2005283267A (en) | Through hole measuring device, method, and program for through hole measurement | |
| US11756186B2 (en) | Workpiece inspection and defect detection system utilizing color channels | |
| JP2022105581A (en) | Method of detecting molding failure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6973742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |