JP6628180B2 - Surface damage detection method and surface damage detection device - Google Patents
Surface damage detection method and surface damage detection device Download PDFInfo
- Publication number
- JP6628180B2 JP6628180B2 JP2015212250A JP2015212250A JP6628180B2 JP 6628180 B2 JP6628180 B2 JP 6628180B2 JP 2015212250 A JP2015212250 A JP 2015212250A JP 2015212250 A JP2015212250 A JP 2015212250A JP 6628180 B2 JP6628180 B2 JP 6628180B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- value
- hole
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 45
- 238000007689 inspection Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 5
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、板面の表面損傷を検出する技術に係り、特に平坦部材はもちろん、規則的な凹凸を持つような部材における表面損傷の有無を検出するのに好適な技術に関する。 The present invention relates to a technique for detecting surface damage on a plate surface, and more particularly to a technique suitable for detecting the presence or absence of surface damage on a member having regular irregularities as well as a flat member.
鋼板等の板面における凹凸や傷を検出する技術としては、例えば特許文献1や特許文献2に開示されているものが知られている。特許文献1、2に開示されている技術は、可視光の波長程度の粗度を有する板面に生じた凹凸欠陥や傷を発見するためのものであり、被検査体である板面に反射させたレーザー光の干渉縞の現れ方に基づいて、凹凸欠陥や傷の有無を判定するというものである。
As a technique for detecting irregularities and scratches on a plate surface of a steel plate or the like, for example, those disclosed in
しかし、特許文献1、2に開示されている技術は、検査面が平坦である事を前提に成り立つ技術であり、既に使用状態にあり、ある程度の傷みが生じている板面、例えば工場設備の屋根や、格納施設の外壁、あるいは物流に用いられるコンテナの外装等において、傷や穴の有無を検査する場合には不向きである。
However, the technologies disclosed in
これに対し、特許文献3に開示されている技術は、港湾においてコンテナ上面における亀裂や貫通孔の有無を検査する技術である。すなわち、検査表面における凹凸や汚れと、亀裂や貫通孔との違いを識別するための技術である。
On the other hand, the technology disclosed in
特許文献3に開示されている技術では、検査表面を強い光で照らし、この照射部分にレーザー光を当てた上で、その反射光の強度に応じて、亀裂や貫通孔と汚れ、凹みなどの違いを判断するというものである。
According to the technology disclosed in
確かに、特許文献3に開示されている技術は、既設板面における亀裂や貫通孔の検査に有効であると考えられる。しかし、特許文献3に開示されている技術では、レーザー光の反射の有無(僅かでも反射があるか、あるいは無いか)のみによって、亀裂や貫通孔の有無を判定している。このため、傷の形態等により、反射光が得られない場合には、実際には貫通孔が生じていなくても、貫通孔が有ると判定してしまう可能性がある。
Certainly, the technique disclosed in
そこで本発明では、検査対象面の表面状態に関わらず、また、検査範囲の広狭に関わらず、その表面の損傷の有無を効率的に検査し、損傷の虞を示すことのできる表面損傷検出方法および表面損傷検出装置を提供することを目的とする。 Therefore, in the present invention, a surface damage detection method capable of efficiently inspecting the presence or absence of damage on the surface regardless of the surface condition of the inspection target surface and regardless of the size of the inspection range, and indicating the possibility of damage. And a surface damage detection device.
上記目的を達成するための本発明に係る表面損傷検出方法は、検査対象物の表面にレーザー光をライン状に照射し、前記表面に対する前記レーザー光の照射範囲における前記表面の凹凸形状に沿ったレーザー光の軌跡を、前記凹凸形状の高低変化を階調の変化として表した表面形状画像を用いた表面損傷検出方法であって、前記レーザー光の軌跡を捉えることができないことにより、前記凹凸形状の高低情報を得ることができず、前記階調が定義不能となる場合に、前記階調として極値を設定して前記表面形状画像を作成し、前記表面形状画像において前記階調が極値を表す領域を抽出し、抽出した前記領域の周囲において、前記領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、抽出した前記領域に貫通孔が存在すると判定することを特徴とする。 The surface damage detection method according to the present invention for achieving the above object, irradiates the surface of the inspection object with a laser beam in a line, and along the uneven shape of the surface in the irradiation range of the laser beam on the surface. A trajectory of laser light, a surface damage detection method using a surface shape image representing the change in height of the uneven shape as a change in gradation, wherein the trajectory of the laser light can not be captured, When it is not possible to obtain the height information, and the gradation cannot be defined, an extreme value is set as the gradation to create the surface shape image, and in the surface shape image, the gradation is an extreme value. Is extracted, and, around the extracted area, the absolute value of the difference between the gray level detected from a part close to the area and the average value of the gray levels indicating the unevenness state of the surface of the inspection object And a first threshold value determined in advance as a value of the gradation change. If the absolute value of the difference exceeds the first threshold value, it is determined that a through hole exists in the extracted area. It is characterized by the following.
また、上記のような特徴を有する表面損傷検出方法において抽出する前記領域は、一定の基準面積以下の領域を候補領域として抽出し、当該候補領域の周囲において、前記候補領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、前記候補領域に貫通孔が存在すると判定することができる。このような方法を採用することによれば、一見して貫通孔であると判るものを検出対象から除外することができる。よって、検出処理に要する時間を短縮することができる。 Further, the area to be extracted in the surface damage detection method having the above-described features is such that an area having a certain reference area or less is extracted as a candidate area, and the area around the candidate area is detected from a part close to the candidate area. The absolute value of the difference between the gradation to be performed and the average value of the gradation indicating the unevenness state of the surface of the inspection object is compared with a first threshold value which is predetermined as a value of the gradation change. When the absolute value exceeds the first threshold, it can be determined that a through hole exists in the candidate region. According to such a method, it is possible to exclude at a glance what is apparently a through hole from detection targets. Therefore, the time required for the detection processing can be reduced.
また、上記のような特徴を有する表面損傷検出方法では、前記候補領域についての前記貫通孔の有無についての判定が成された後、前記表面形状画像を複数のエリアに分割し、前記表面形状画像において前記階調が極値を表す領域から前記基準面積よりも大きい面積の領域を抽出し、各エリア毎に抽出した前記基準面積よりも大きい面積の領域の面積の総和を算出し、前記面積の総和が予め定めた第2の閾値を超えた場合に前記エリアを貫通孔が存在する可能性がある要注意領域として検出するようにしても良い。このような方法を採ることにより、視認し難い小さな候補領域のみならず、基準面積よりも大きい面積を持つ領域や、その集合領域についての注意すべき範囲を絞り込むことができ、検査表面全体についての貫通孔の有無についての検査の効率を向上させることができる。 In the surface damage detection method having the above-described features, after the determination as to the presence or absence of the through-hole in the candidate area is made, the surface shape image is divided into a plurality of areas, and the surface shape image is divided into a plurality of areas. In the region, the area having the area larger than the reference area is extracted from the area in which the gradation represents the extreme value, and the sum of the areas of the areas larger than the reference area extracted for each area is calculated. When the sum exceeds a second threshold value, the area may be detected as a caution area where there is a possibility that a through-hole exists. By employing such a method, it is possible to narrow not only a small candidate region that is difficult to visually recognize, but also a region having an area larger than the reference area, and a range to be careful about the aggregated region. The efficiency of the inspection for the presence or absence of the through hole can be improved.
また、上記目的を達成するための本発明に係る表面損傷検出装置は、検査対象物の表面にレーザー光をライン状に照射するレーザーライン光源と、前記表面に対する前記レーザー光の照射範囲における前記表面の凹凸形状に基づいて変化するレーザー光の軌跡形状をとらえるレーザーセンサーと、前記レーザーセンサーを介して得られる前記レーザー光の軌跡を、前記凹凸形状の高低変化を階調の変化として表した表面形状画像を生成する制御手段を有する表面損傷検出装置であって、前記制御手段は、前記レーザー光の軌跡を捉えることができないことにより、前記凹凸形状の高低情報を得ることができず、前記階調が定義不能となる場合に、前記階調として極値を設定して前記表面形状画像を作成し、前記表面形状画像において前記階調が極値を表す領域を抽出し、抽出した前記領域の周囲において、前記領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、前記領域に貫通孔が存在すると判定することを特徴とする。 Further, a surface damage detection device according to the present invention for achieving the above object, a laser line light source that irradiates a laser beam to the surface of the inspection object in a line, and the surface in an irradiation range of the laser beam on the surface A laser sensor that captures the trajectory shape of the laser light that changes based on the unevenness of the surface, and the trajectory of the laser light obtained through the laser sensor, and the surface shape that expresses the change in the height of the unevenness as a change in gradation. A surface damage detection device having control means for generating an image, wherein the control means cannot obtain the height information of the uneven shape due to the inability to capture the trajectory of the laser light, When it becomes impossible to define, the surface shape image is created by setting an extreme value as the gradation, and the gradation is set in the surface shape image. An area representing an extreme value is extracted, and around the extracted area, the difference between the average value of the gray level detected from a portion close to the area and the average value of the gray level indicating the unevenness state of the surface of the inspection object. The absolute value is compared with a first threshold value determined in advance as a value of the gradation change, and when the absolute value of the difference exceeds the first threshold value, it is determined that a through hole exists in the region. It is characterized by the following.
また、上記のような特徴を有する表面損傷検出装置において前記制御手段は、前記領域を抽出する際、一定の基準面積以下の領域を候補領域として抽出し、当該候補領域の周囲において、前記候補領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、前記候補領域に貫通孔が存在すると判定することもできる。このような構成によれば、一見して貫通孔であると判るものを検出対象から除外することができる。よって、検出処理に要する時間を短縮することができる。 In the surface damage detection device having the above-described features, the control unit, when extracting the region, extracts a region having a certain reference area or less as a candidate region, and surrounds the candidate region around the candidate region. The absolute value of the difference between the gray level detected from the part close to the target and the average value of the gray levels indicating the unevenness state of the surface of the inspection object, and a first threshold value determined in advance as the value of the gray level change In comparison, when the absolute value of the difference exceeds the first threshold, it can be determined that a through hole exists in the candidate region. According to such a configuration, it is possible to exclude at a glance what is apparently a through-hole from detection targets. Therefore, the time required for the detection processing can be reduced.
さらに、上記のような特徴を有する表面損傷検出装置では、前記制御手段は、前記候補領域についての前記貫通孔の有無についての判定が成された後、前記表面形状画像を複数のエリアに分割し、前記表面形状画像において階調が極値を表す領域から前記基準面積よりも大きい面積の領域を抽出し、各エリア毎に抽出した前記基準面積よりも大きい面積の領域の面積の総和を算出し、前記面積の総和が予め定めた第2の閾値を超えた場合に前記エリアを貫通孔が存在する可能性がある要注意領域として検出するものであっても良い。このような特徴を有することによれば、視認し難い小さな候補領域のみならず、基準面積よりも大きい面積を持つ領域や、その集合領域についての注意すべき範囲を絞り込むことができ、検査表面全体についての貫通孔の有無についての検査の効率を向上させることができる。 Further, in the surface damage detection device having the above-described features, the control unit divides the surface shape image into a plurality of areas after the determination as to whether or not the through-hole exists in the candidate area. In the surface shape image, a region having an area larger than the reference area is extracted from a region in which the gradation represents an extreme value, and the total area of the areas having an area larger than the reference area extracted for each area is calculated. When the sum of the areas exceeds a predetermined second threshold value, the area may be detected as a caution area in which a through-hole may exist. According to such a feature, not only a small candidate region that is difficult to visually recognize, but also a region having an area larger than the reference area and a range to be noted about the aggregated region can be narrowed, and the entire inspection surface can be narrowed down. The efficiency of the inspection for the presence or absence of a through hole can be improved.
上記のような特徴を有する表面損傷検出方法、および表面損傷検出装置によれば、検査対象面の表面状態に関わらず、また、検査範囲の広狭に関わらず、その表面の損傷の有無を効率的に検査し、損傷の虞を示すことが可能となる。 According to the surface damage detection method and the surface damage detection device having the features as described above, regardless of the surface condition of the inspection target surface, and regardless of the width of the inspection range, it is possible to efficiently determine whether or not the surface is damaged. Inspection to show the possibility of damage.
以下、図に示した実施形態を用いて本発明に係る表面損傷検出方法および表面損傷検出装置について、詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。 Hereinafter, a surface damage detection method and a surface damage detection device according to the present invention will be described in detail with reference to the embodiment shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are not merely intended to limit the scope of the present invention but are merely illustrative examples unless otherwise specified. .
図1に、本実施形態の表面損傷検出装置10の側面構成を示し、図2に、同装置における平面構成を示す。
実施形態に係る表面損傷検出装置10は、レーザーライン光源12と、レーザーセンサー14、および制御手段18を基本として構成されている。
FIG. 1 shows a side configuration of a surface damage detection device 10 according to the present embodiment, and FIG. 2 shows a plan configuration of the device.
The surface damage detection device 10 according to the embodiment is basically configured with a laser
レーザーライン光源12は、検査対象物20の板面に、その幅方向に延びるライン状のレーザー光を照射する役割を担う。本実施形態では、レーザーライン光源12は、検査対象物20の板面に対して、垂直方向上面から、扇状にレーザー光を照射し、ライン状の照射範囲(軌跡)を得るようにしている。
The laser
レーザーセンサー14は、検査対象物20の板面に照射されたレーザー光の軌跡、すなわち、照射表面の凹凸形状に沿って現れる軌跡を検出する役割を担う。本実施形態では、レーザーセンサー14は、照射面に対して斜めから、反射光の検出を行うことで、軌跡の凹凸(変化)を検出可能な構成としている。
The
制御手段18は、レーザーセンサー14によって検出された軌跡の高低を解析し、これを階調の変化に置き換えた表面形状画像22を作成する役割の他、詳細を後述するように、損傷の有無や損傷が存在する危険性(要注意領域)の有無などの判定を行う役割を担う。制御手段18をパーソナルコンピュータとした場合には、これらの制御を行うためのプログラムがインストールされており、図示しないインターフェースを介して接続機器(レーザーライン光源12、レーザーセンサー14など)との連携が図られるように構成されている。
The
このような基本構成を有する表面損傷検出装置10では、検査対象物20、あるいはレーザー光源12およびレーザーセンサー14を有するレーザーセンサーユニット16の双方、または一方が相対的に移動することにより、移動方向における検査対象物20の表面形状の凹凸に沿って現れるレーザー光の軌跡を、レーザーセンサー14が連続的にとらえることができる。検査対象物20とレーザーセンサーユニット16との相対的な移動速度を一定とした場合には、予め定められた間隔でレーザーセンサー14による軌跡の検出を行うことで、移動方向(図5におけるY軸方向)における検出間隔を一定とすることができる。なお、レーザーセンサー14による軌跡の検出は、制御手段18からの検出パルスの出力を受けることによれば良い。
In the surface damage detection device 10 having such a basic configuration, the
レーザーセンサー14によって検出されたレーザー光の軌跡に基づく凹凸情報は、制御手段18に入力され、凹凸の変化を階調の変化として表現した階調データに変換される。軌跡に基づく凹凸情報は、制御手段18に対して、検出パルスのタイミングに合わせた時系列に従って連続的に入力される。制御手段18では、入力された凹凸情報を逐次階調データに変換し、時系列に並べる。
The unevenness information based on the trajectory of the laser light detected by the
ここで、階調データは、検査対象物20の幅方向(図5におけるX軸方向)における照射範囲上の位置(x)と、その位置における階調(z)と、を(x、z)のように関連付けたものであり、例えば階調(z)は、0〜255(8ビット)の数値により表現することができる。そして、階調0を黒色、階調255を白色とした場合、連続して取得された階調データを時系列に並べることで、図5に示すような表面形状画像22が形成されることとなる。階調が255とされる個所は、照射されたレーザー光が反射や散乱をせず、軌跡を捉えることができないことを意味し、一般的には、階調が不連続なっている=貫通孔を有すると認識することができる。
Here, the gradation data is obtained by calculating the position (x) on the irradiation range in the width direction (X-axis direction in FIG. 5) of the
このことから、単純に貫通孔の有無を判定する場合には、検査対象物が平坦面である場合、階調データは、図3に示すように、階調が一定のグラフを示すこととなり、貫通孔が存在する場合には、図4に示すように、一部階調が255(=定義不能)となり、表面形状画像22には、白抜き部位が現れることとなる。
From this, when the presence or absence of a through-hole is simply determined, when the inspection object is a flat surface, the gradation data shows a graph having a constant gradation as shown in FIG. When there is a through-hole, as shown in FIG. 4, a part of the gradation becomes 255 (= cannot be defined), and an outline portion appears in the
しかし、実際に検査対象物22の板面を検査してみると、照射面の錆や汚れ等により、貫通孔が生じていない場合であっても、レーザー光が吸収され、軌跡の一部が欠落する場合もある。
However, when actually inspecting the plate surface of the
本実施形態に係る表面損傷検出装置10によれば、このような条件下においても、貫通孔の存在を検出、あるいは示唆することができる。 The surface damage detection device 10 according to the present embodiment can detect or suggest the presence of a through hole even under such conditions.
例えば図6に示す階調データは、図5に示したラインLにおける反射光のものである。図6では、図5において一見して貫通孔と判るaの部分(円で囲った部分)の他に、bとcの部分において階調が定義不能(=階調255)となっている。単純判定では、bとcは、両者とも貫通孔と判定されてしまうが、実際には、cの部分は、油や錆による汚れであり、貫通孔は存在しない。 For example, the gradation data shown in FIG. 6 is that of the reflected light on the line L shown in FIG. In FIG. 6, the gradation cannot be defined (= gradation 255) in the parts b and c in addition to the part a (circled part) which is apparently a through hole in FIG. In the simple determination, b and c are both determined to be through holes, but in reality, the portion c is stained by oil or rust, and there is no through hole.
検査対象物20の板面に形成される貫通孔は通常、その板面に対して押圧を受けて形成されることとなる。このため、実際の貫通孔の周囲には、多くの場合凹凸が形成されることとなる。よって、階調データが定義不能となる部位の周囲に凹凸が存在する場合には、階調データが定義不能となっている部位(=白抜き部位)に貫通孔が存在すると判定することができる。
The through-hole formed in the plate surface of the
その具体的な手法について、図7を参照しつつ説明する。まず、階調データが定義不能となっている部位(=白抜き部位)を検出する(ステップ10)。次に、幅方向(X軸方向)において、階調データが不連続となる部位、すなわち、階調データが定義不能となっている部位と、階調データが定義されている部位との境界部を検出し、(図8、図9に示すX1とX2(X1<X2))この境界部にあたるX1、X2についての階調データをそれぞれ得るようにする(ステップ20)。 The specific method will be described with reference to FIG. First, a part where the gradation data cannot be defined (= white part) is detected (step 10). Next, in the width direction (X-axis direction), a portion where the gradation data is discontinuous, that is, a boundary portion between a portion where the gradation data cannot be defined and a portion where the gradation data is defined. detects, (FIG. 8, X 1 and X 2 shown in FIG. 9 (X 1 <X 2)) for the gray level data for X 1, X 2 corresponding to the boundary portion to obtain respectively (step 20).
次に、X1、X2のそれぞれについて、階調データの平均値であるAとの差分を求め、この差分の絶対値が予め定めた値(閾値)を超えているか否かの判定をする(ステップ30)。そして、差分の絶対値が閾値を超えている場合には、白抜き部位の周囲に凹部、あるいは凸部が存在すると判断し(ステップ40)、白抜き部位には貫通孔が存在すると判定される(ステップ50)。 Next, for each of X 1 and X 2 , the difference from A, which is the average value of the gradation data, is determined, and it is determined whether or not the absolute value of the difference exceeds a predetermined value (threshold). (Step 30). If the absolute value of the difference exceeds the threshold value, it is determined that a concave portion or a convex portion exists around the white portion (step 40), and it is determined that a through hole exists in the white portion. (Step 50).
一方、差分の絶対値が閾値以下である場合には、白抜き部位の周囲には、貫通孔の形成に起因する凹凸が無いと判断し(ステップ60)、白抜き部位は、錆や汚れに起因するものであると判定される(ステップ70)。 On the other hand, if the absolute value of the difference is equal to or smaller than the threshold value, it is determined that there is no irregularity due to the formation of the through-hole around the white portion (step 60). It is determined that the error is caused (step 70).
ここで、閾値の絶対値をdとした場合、図8に示すb部拡大図では、差分の絶対値がdの範囲を超えているため、貫通孔が存在すると判定されることとなる。一方、図9に示すc部拡大図では、差分の絶対値がd以下であるため、貫通孔は存在しない=汚れ等である可能性が高いと判定されることとなる。 Here, when the absolute value of the threshold value is d, in the enlarged view of the part b shown in FIG. 8, since the absolute value of the difference exceeds the range of d, it is determined that a through hole exists. On the other hand, in the enlarged view of the portion c shown in FIG. 9, since the absolute value of the difference is equal to or less than d, it is determined that there is no through hole = the possibility of contamination is high.
判定における他の手法として、X1、X2を基点として、順次手前側、後側の階調データを取得するというものも上げることができる。このような手法を採用する場合には図10に示すように、取得された階調データ(X1、X1−1、X1−2、X1−3、・・・X1−n、X2、X2+1、X2+2、X2+3、・・・X2+n)について、それぞれ平均値Aとの差分の絶対値を求めることにより、その差分の絶対値が段階的に減少する場合には、白抜き部位の周囲に凹部、あるいは凸部が存在すると判断することができ、白抜き部位には貫通孔が存在すると判定することができる。 As another method of the determination, a method of sequentially acquiring the front side and rear side gradation data based on X 1 and X 2 can be used. As is shown in Figure 10 when such a method is employed, the obtained gray level data (X 1, X 1 -1, X 1 -2, X 1 -3, ··· X 1 -n, X 2 , X 2 +1, X 2 +2, X 2 +3,... X 2 + n), by calculating the absolute value of the difference from the average value A, the absolute value of the difference gradually decreases. In this case, it can be determined that a concave portion or a convex portion exists around the white portion, and it can be determined that a through hole exists in the white portion.
上述したような手法での貫通孔判定は、いずれも貫通孔の周囲に生じる凹凸が単純な形状であった場合には、有効である。しかし、例えば図11に示すように、貫通孔の周囲に連続的な凹凸が繰り返されるような複雑な形状であった場合には、判定が困難となる可能性がある。このような複雑な形態の貫通孔に対応するためには、例えば次のような方法を採るようにすると良い。すなわち、図10に示す例と同様に、X1、X2を基点として、順次手前側、後側の階調データを取得する。そして、取得した各点(X1、X1−1、X1−2、X1−3、・・・X1−n、X2、X2+1、X2+2、X2+3、・・・X2+n)の階調データと平均値Aとの差分の絶対値を求め、この各点の差分の絶対値の総和が予め定めた値以上であった場合に、白抜き部位の周囲には、平均して凹部と認められるもの、あるいは平均して凸部と認められるものが存在すると判断するというものである。このような判断が成される事により、白抜き部位には、貫通孔が存在すると判定することができるからである。
The through-hole determination by the above-described method is effective when the unevenness generated around the through-hole has a simple shape. However, for example, as shown in FIG. 11, if the shape has a complicated shape in which continuous irregularities are repeated around the through hole, the determination may be difficult. In order to cope with such a complicated form of through hole, for example, the following method may be adopted. That is, similarly to the example shown in FIG. 10, the tone data on the front side and the rear side are sequentially acquired with X 1 and X 2 as base points. Then, the points acquired (X 1, X 1 -1, X 1 -2, X 1 -3, ··· X 1 -n,
ところで、亀裂や貫通孔の検査を行う上で、実際に貫通孔が存在しない場合であっても、凹部が生じている部分などには、表面の荒れや塗装剥がれなどに起因して、レーザー光の乱反射により階調データが定義不能となる部位が無数に表れることがある。そこでまずは、肉眼で見つけ難い小さな孔である可能性が高い部位を抽出し、貫通孔であるか否かについての判定処理を行う。 By the way, when inspecting for cracks and through-holes, even if there is no actual through-hole, laser light may be applied to parts where there are recesses due to surface roughness or paint peeling. In some cases, parts where gradation data cannot be defined due to irregular reflection may appear innumerably. Therefore, first, a portion that is likely to be a small hole that is difficult to find with the naked eye is extracted, and a determination process is performed as to whether or not the hole is a through hole.
その具体的な手法としては、例えば、白抜き部位単体の面積Sが一定の値以下であるオブジェクトを抽出するというもので良い。ここで、該当する白抜き部位の抽出は、表面形状画像に対して、条件指定によるオブジェクト抽出処理を施せば良い。なお、検出値から数値的に導き出す場合には、次のような方法とすることもできる。すなわち、各白抜き部位の面積については、階調検出点の間隔(幅:X軸方向)と、検出パルスの間隔(長さ:Y軸方向)に基づいて求められる単位面積の和を求めるようにすれば良い。 As a specific method, for example, an object in which the area S of a single white portion is equal to or smaller than a predetermined value may be extracted. Here, the extraction of the corresponding white part may be performed by subjecting the surface shape image to an object extraction process by specifying conditions. When numerically deriving from the detected value, the following method may be used. That is, as for the area of each white portion, the sum of the unit area obtained based on the interval (width: X-axis direction) between the gradation detection points and the interval (length: Y-axis direction) between the detection pulses is calculated. You can do it.
このような処理を簡略化して説明すると、図12に示すような流れとなる。すなわち、図7に示したフローと同様に、最初に、表面形状画像に表示された白抜き部位の抽出を行う(ステップ10)。次に、各白抜き部位の面積Sと基準面積(閾値(第1の閾値):例えば1cm2)とを比較する(ステップ12)。この時、白抜き部位の面積Sが閾値以下である場合には、該当する白抜き部位を候補領域として認定する。このような処理を行う事で、肉眼では見つけ難い、基準面積よりも面積が小さい白抜き部位b、cのみが、候補領域として抽出される(ステップ14)。逆に、白抜き部位の面積Sが基準面積よりも大きな面積を持つ白抜き部位aについては個別の貫通孔判定処理の対象から除外される(ステップ16)。 A simplified description of such processing results in a flow as shown in FIG. That is, similarly to the flow shown in FIG. 7, first, a white portion displayed on the surface shape image is extracted (step 10). Next, the area S of each white part is compared with a reference area (threshold (first threshold): for example, 1 cm 2 ) (step 12). At this time, if the area S of the blank portion is equal to or smaller than the threshold, the corresponding blank portion is recognized as a candidate region. By performing such processing, only the white portions b and c, which are hard to find with the naked eye and have an area smaller than the reference area, are extracted as candidate areas (step 14). Conversely, the hollow part a having the area S of the white part larger than the reference area is excluded from the target of the individual through-hole determination processing (step 16).
そして、抽出された候補領域についてのみ、上述した白抜き部位の周囲における凹凸部の有無についての判断、および貫通孔が存在するか否かの判定を行うようにすれば良い(図7、図12におけるステップ20〜ステップ70)。肉眼では見つけ難い大きさの損傷の有無を優先して自動判定することで、白抜き部全体の損傷についての判定時間を短縮することができる。
Then, only for the extracted candidate region, the determination as to whether there is an uneven portion around the above-described white portion and the determination as to whether or not a through-hole exists may be performed (FIGS. 7 and 12).
また、上記実施形態では、貫通孔の有無の判定において、X1とX2の双方の平均値Aとの差分の絶対値が、閾値を超える事で、白抜き部位に貫通孔が存在する旨の判定を行う旨説明した。しかしながら、本発明を適用するにあたっては、X1と平均値Aの差分の絶対値、あるいはX2と平均値Aの差分の絶対値の少なくとも一方が閾値を超える事により、白抜き部位に貫通孔が存在する旨の判定をするように設定しても良い。貫通孔の形成状態に傾きがある場合には、いずれか一方の縁のみが撓んでいる可能性があるからである。 Moreover, that in the above embodiment, in determination of the presence or absence of the through hole, the absolute value of the difference between the average value A of both X 1 and X 2 are, by exceeding a threshold value, there is a through hole in white site Has been described. However, when applying the present invention, the absolute value of the difference of the average value A and X 1, or by more than at least one of the threshold of the absolute value of the difference between X 2 and the average value A, the through-holes in a hollow portion May be set so as to judge that there exists. This is because if there is an inclination in the formation state of the through hole, only one of the edges may be bent.
また、貫通孔の有無の判定においては、X1とX2の平均値と、平均値Aとの差分の絶対値を求め、この値と閾値とを比較するようにしても良い。貫通孔の周囲において、一方の縁と他方の縁の凹凸が逆になる可能性は低いからである。 In the determination of the presence or absence of the through hole, and the average value of X 1 and X 2, the absolute value of the difference between the average value A, may be comparing the value with a threshold value. This is because it is unlikely that the irregularities of one edge and the other edge are reversed around the through hole.
次に、ステップ16で個別の貫通孔判定処理の対象から除外された白抜き部について、ひどい錆等で貫通孔が発生している可能性のあるレベルまで腐食しているような要注意領域として、領域指定を行う判定をする。要注意領域とは、白抜き部の面積が所定の大きさ以上の面積を持っている場合、あるいは、上述した閾値以上の面積を持つ白抜き部が集中している場合、それぞれの単位領域について、貫通孔が存在する可能性があるとして指定するものである。なお、錆等により貫通孔が生じる場合、貫通孔の周囲に凹凸が発生しないため、個別の貫通孔判定処理では判定できない貫通孔の検出も可能となる。
Next, the white area excluded from the target of the individual through-hole determination processing in
具体的な手法について、図14を参照して説明する。まず、図13に示すように表面形状画像を複数のエリアに区画する(ステップ110)。次に、図12のステップ16で個別の貫通孔判定処理の対象から除外された白抜き部、すなわち、閾値よりも大きな面積を持つ白抜き部を抽出する(ステップ120)。
A specific method will be described with reference to FIG. First, as shown in FIG. 13, the surface shape image is partitioned into a plurality of areas (step 110). Next, the blank portions excluded from the targets of the individual through-hole determination processing in
閾値よりも大きな面積を持つ白抜き部の存在する各エリアについて、エリア毎に白抜き部の面積の総和を求める(ステップ130)。 For each area having a white portion having an area larger than the threshold value, the total sum of the white portions is obtained for each area (step 130).
算出された白抜き部位の総和と、要注意領域の判定基準として予め定められた値(第2の閾値)とを比較し(ステップ140)、白抜き部位の総和≧第2の閾値となった場合には、当該エリアを要注意領域として示すようにする(ステップ150)。
例えば、図13では、αとβの2箇所の領域が要注意領域として指定されていることになる。
The calculated total sum of the white portions is compared with a predetermined value (second threshold value) as a criterion of the area requiring attention (step 140), and the sum of the white portions ≧ the second threshold value is satisfied. In this case, the area is indicated as a caution area (step 150).
For example, in FIG. 13, two areas α and β are designated as areas requiring attention.
なお、要注意領域として指定されなかった領域については、比較的安全な領域(貫通孔が存在する可能性が低い領域)として認定することができる。 Note that an area that is not designated as a caution area can be recognized as a relatively safe area (an area in which there is a low possibility that a through hole exists).
このような表面損傷検出装置10では、表示画面に表面形状画像を表示する際に、貫通孔、あるいは要注意領域が存在する事を視覚的に把握しやすくして表示することもできる。具体的な一例として、図12に示すフローにおいて、貫通孔が存在すると判定された白抜き部の存在箇所については、該当部位を赤で囲い、図14に示すフローにおいて、要注意領域であると指定された領域を緑で囲うといった方法で表示することができる。なお、図13に示す例では、囲い込み部分の色を変える代わりに、線種を変えている。すなわち、貫通孔存在箇所については、太実線による囲い箇所とし(図13中Γで示す部位)、要注意領域については、太破線による囲い箇所としている(図13中α、βで示す箇所)。 In such a surface damage detection device 10, when a surface shape image is displayed on a display screen, the presence of a through-hole or a caution area can be displayed so as to be easily visually grasped. As a specific example, in the flow illustrated in FIG. 12, the location where the white portion is determined to have the through-hole is surrounded by red, and in the flow illustrated in FIG. The specified area can be displayed in such a manner as to be surrounded by green. In the example shown in FIG. 13, instead of changing the color of the enclosed portion, the line type is changed. That is, the location of the through hole is defined by a thick solid line (the area indicated by Γ in FIG. 13), and the area requiring attention is defined by a thick broken line (the areas indicated by α and β in FIG. 13).
このような表面損傷検出装置10によれば、検査対象物20の表面状態に関わらず、また、検査範囲の広狭に関わらず、その表面の損傷の有無を効率的に検査し、損傷の虞を示すことができる。
According to such a surface damage detection device 10, regardless of the surface condition of the
また、上記実施形態では、階調データの取得に関し、検査対象物20とレーザーセンサーユニット16の相対的移動速度を一定とし、検出パルスを一定とすることで、等距離検出を行う旨説明した。しかしながら、変位センサ(非接触)やロータリーエンコーダ(接触)を用いて検査対象物20とレーザーセンサーユニット16との相対的な移動距離を計測することで、検出パルスの出力タイミングを自動制御するようにしても良い。
Further, in the above-described embodiment, regarding the acquisition of the gradation data, the equidistant detection is performed by setting the relative movement speed of the
このような構成とした場合には、検査対象物20の移動速度が不明である場合でも、表面損傷の検出を行うことができる。
With such a configuration, surface damage can be detected even when the moving speed of the
上記のような上面損傷検出方法は、その大きさ等に関わらず、孔や亀裂の周囲に部分的な凹凸が生じる部材であれば、適用することができる。 The above-described method of detecting damage to the upper surface can be applied to any member that has partial unevenness around a hole or a crack regardless of the size or the like.
また、検査対象物の移動速度が変化するような場合、例えば港湾などにおいてトレーラに搭載されたコンテナなどの上面部の検査や、トラックの荷台部分における損傷の有無などにも適用することができる。 Further, when the moving speed of the inspection object changes, the present invention can be applied to, for example, inspection of an upper surface portion of a container mounted on a trailer in a harbor or the like, presence or absence of damage to a truck bed part, and the like.
10………表面損傷検出装置、12………レーザーライン光源、14………レーザーセンサー、16………レーザーセンサーユニット、18………制御手段、20………検査対象物、22………表面形状画像。 10 surface damage detection device, 12 laser line light source, 14 laser sensor, 16 laser sensor unit, 18 control means, 20 inspection object, 22 ... Surface shape image.
Claims (6)
前記レーザー光の軌跡を捉えることができないことにより、前記凹凸形状の高低情報を得ることができず、前記階調が定義不能となる場合に、前記階調として極値を設定して前記表面形状画像を作成し、
前記表面形状画像において前記階調が極値を表す領域を抽出し、
抽出した前記領域の周囲において、前記領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、抽出した前記領域に貫通孔が存在すると判定することを特徴とする表面損傷検出方法。 The surface of the object to be inspected is irradiated with laser light in a line, and the trajectory of the laser light along the uneven shape of the surface in the irradiation range of the laser light with respect to the surface is changed by changing the level of the uneven shape. A surface damage detection method using a surface shape image represented as
By not being able to capture the trajectory of the laser light, it is not possible to obtain height information of the uneven shape, and when the gradation cannot be defined, an extreme value is set as the gradation and the surface shape is set. Create an image,
In the surface shape image, extract a region where the gradation represents an extreme value,
Around the extracted area, an absolute value of a difference between a gray level detected from a part close to the area and an average gray level indicating the unevenness state of the surface of the inspection object, and a value of a gray level change Comparing a first threshold value determined in advance as a predetermined threshold value, and determining that a through hole is present in the extracted area when the absolute value of the difference exceeds the first threshold value. Detection method.
当該候補領域の周囲において、前記候補領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、前記候補領域に貫通孔が存在すると判定することを特徴とする請求項1に記載の表面損傷検出方法。 The region to be extracted is to extract a region having a certain reference area or less as a candidate region,
Around the candidate area, an absolute value of a difference between a gray level detected from a part close to the candidate area and an average gray level indicating the unevenness state of the surface of the inspection object, and a value of a gray level change 2. A method according to claim 1, further comprising: comparing with a first threshold value determined in advance as a predetermined threshold value; and determining that a through hole exists in said candidate region when an absolute value of said difference exceeds said first threshold value. The method for detecting surface damage according to 1.
前記表面形状画像を複数のエリアに分割し、
前記表面形状画像において前記階調が極値を表す領域から前記基準面積よりも大きい面積の領域を抽出し、
各エリア毎に抽出した前記基準面積よりも大きい面積の領域の面積の総和を算出し、
前記面積の総和が予め定めた第2の閾値を超えた場合に前記エリアを貫通孔が存在する可能性がある要注意領域として検出することを特徴とする請求項2に記載の表面損傷検出方法。 After the determination regarding the presence or absence of the through hole for the candidate area is made,
Dividing the surface shape image into a plurality of areas,
In the surface shape image, extracting a region having an area larger than the reference area from a region in which the gradation represents an extreme value,
Calculate the sum of the areas of the areas larger than the reference area extracted for each area,
The surface damage detection method according to claim 2, wherein when the sum of the areas exceeds a second predetermined threshold, the area is detected as a caution area in which a through-hole may exist. .
前記制御手段は、前記レーザー光の軌跡を捉えることができないことにより、前記凹凸形状の高低情報を得ることができず、前記階調が定義不能となる場合に、前記階調として極値を設定して前記表面形状画像を作成し、
前記表面形状画像において前記階調が極値を表す領域を抽出し、
抽出した前記領域の周囲において、前記領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、前記領域に貫通孔が存在すると判定することを特徴とする表面損傷検出装置。 A laser line light source that irradiates the surface of the inspection object with laser light in a linear manner, and a laser sensor that captures a trajectory shape of the laser light that changes based on the uneven shape of the surface in an irradiation range of the laser light on the surface, A trajectory of the laser light obtained through the laser sensor, a surface damage detection device having a control unit that generates a surface shape image representing a change in height of the uneven shape as a change in gradation,
The control means sets an extreme value as the gray scale when the gray scale cannot be defined because the trajectory of the laser light cannot be captured and thus the height information of the uneven shape cannot be obtained. To create the surface shape image,
In the surface shape image, extract a region where the gradation represents an extreme value,
Around the extracted area, an absolute value of a difference between a gray level detected from a part close to the area and an average gray level indicating the unevenness state of the surface of the inspection object, and a value of a gray level change A surface damage detection device characterized in that when the absolute value of the difference exceeds the first threshold, it is determined that a through hole exists in the region. .
当該候補領域の周囲において、前記候補領域に近接する部位から検出される階調と前記検査対象物の表面の凹凸状態を示す階調の平均値との差分の絶対値と、階調変化の値として予め定めた第1の閾値とを比較し、前記差分の絶対値が前記第1の閾値を超えている場合に、前記候補領域に貫通孔が存在すると判定することを特徴とする請求項4に記載の表面損傷検出装置。 The control means, when extracting the region, extracts a region having a certain reference area or less as a candidate region,
Around the candidate area, an absolute value of a difference between a gray level detected from a part close to the candidate area and an average gray level indicating the unevenness state of the surface of the inspection object, and a value of a gray level change 5. A method according to claim 4, wherein a comparison is made with a first threshold value determined in advance, and when the absolute value of the difference exceeds the first threshold value, it is determined that a through hole exists in the candidate region. A surface damage detection device according to item 1.
前記表面形状画像を複数のエリアに分割し、
前記表面形状画像において前記階調が極値を表す領域から前記基準面積よりも大きい面積の領域を抽出し、
各エリア毎に抽出した前記基準面積よりも大きい面積の領域の面積の総和を算出し、
前記面積の総和が予め定めた第2の閾値を超えた場合に前記エリアを貫通孔が存在する可能性がある要注意領域として検出することを特徴とする請求項5に記載の表面損傷検出装置。 The control means, after the determination regarding the presence or absence of the through hole for the candidate area,
Dividing the surface shape image into a plurality of areas,
In the surface shape image, extracting a region having an area larger than the reference area from a region in which the gradation represents an extreme value,
Calculate the sum of the areas of the areas larger than the reference area extracted for each area,
The surface damage detection apparatus according to claim 5, wherein the area is detected as a caution area where a through-hole may exist when the sum of the areas exceeds a predetermined second threshold value. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212250A JP6628180B2 (en) | 2015-10-28 | 2015-10-28 | Surface damage detection method and surface damage detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015212250A JP6628180B2 (en) | 2015-10-28 | 2015-10-28 | Surface damage detection method and surface damage detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017083312A JP2017083312A (en) | 2017-05-18 |
JP6628180B2 true JP6628180B2 (en) | 2020-01-08 |
Family
ID=58712860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015212250A Active JP6628180B2 (en) | 2015-10-28 | 2015-10-28 | Surface damage detection method and surface damage detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6628180B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101966813B1 (en) * | 2017-06-09 | 2019-04-08 | 세메스 주식회사 | Measuring apparatus and measuring method |
CN107561092A (en) * | 2017-07-26 | 2018-01-09 | 天津大学 | A kind of surface quality of steel detection method |
WO2019022253A1 (en) * | 2017-07-27 | 2019-01-31 | バンドー化学株式会社 | Wear determination method and wear visualization device |
JP7028091B2 (en) * | 2018-07-11 | 2022-03-02 | 日本製鉄株式会社 | Surface defect detection device and surface defect detection method |
CN111562273A (en) * | 2020-06-05 | 2020-08-21 | 大连工业大学 | Hyperspectrum-based fish water jet descaling slight damage visualization method |
CN115308216B (en) * | 2022-10-12 | 2023-03-10 | 山东创新精密科技有限公司 | Device and method for online detection of aluminum profile surface defects |
CN116051541B (en) * | 2023-03-06 | 2023-07-18 | 杭州深度视觉科技有限公司 | Bearing end face gentle abrasion detection method and device based on stroboscopic light source |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07306160A (en) * | 1994-05-11 | 1995-11-21 | Datsuku Eng Kk | Method for inspecting quality of plain material |
JP3107071B2 (en) * | 1998-11-27 | 2000-11-06 | 日本電気株式会社 | Electronic component appearance inspection method, appearance inspection apparatus, and recording medium storing a program for causing a computer to execute the appearance inspection process |
JP4798819B2 (en) * | 2000-01-14 | 2011-10-19 | 株式会社Ihi | Damage detection apparatus and method |
JP2004012365A (en) * | 2002-06-10 | 2004-01-15 | Nikon Corp | Substrate inspection system and substrate inspection method |
JP6028919B2 (en) * | 2013-01-29 | 2016-11-24 | 富士電機株式会社 | Foreign matter inspection device |
-
2015
- 2015-10-28 JP JP2015212250A patent/JP6628180B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017083312A (en) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6628180B2 (en) | Surface damage detection method and surface damage detection device | |
Iglesias et al. | Automated vision system for quality inspection of slate slabs | |
Landstrom et al. | Morphology-based crack detection for steel slabs | |
Thakre et al. | Measurements of tool wear parameters using machine vision system | |
JP5676387B2 (en) | Appearance inspection method and apparatus | |
US7012701B2 (en) | Measuring for device for contactless measurement of tires | |
KR101730787B1 (en) | Defect detection device and production system | |
RU2764644C1 (en) | Method for detecting surface defects, device for detecting surface defects, method for producing steel materials, method for steel material quality control, steel materials production plant, method for generating models for determining surface defects and a model for determining surface defects | |
JP6264132B2 (en) | Inspection device and inspection method for painted surface of vehicle body | |
JP6756417B1 (en) | Work surface defect detection device and detection method, work surface inspection system and program | |
JP2006010392A (en) | Through hole measuring system, method, and through hole measuring program | |
CN114486732B (en) | Ceramic tile defect online detection method based on line scanning three-dimension | |
Xia et al. | An automatic machine vision-based algorithm for inspection of hardwood flooring defects during manufacturing | |
JP6040215B2 (en) | Inspection method | |
JP6357046B2 (en) | Work item identification device | |
JP4346379B2 (en) | Defect inspection method | |
JP3223414B2 (en) | Object shape detection method and apparatus, and automatic processing system | |
JP2006118913A (en) | Method of detecting crack and crack detector | |
JP2019215206A (en) | Surface inspection device and surface inspection method | |
JP4797568B2 (en) | Slab vertical crack detection method and apparatus | |
TWI638992B (en) | Method for detecting defect at painting | |
Wang et al. | Robust and automatic segmentation of a class of fuzzy edge images | |
JP2008058150A (en) | Marking inspection apparatus | |
JP2008185510A (en) | Crack detection method | |
JP2008203168A (en) | Visual inspection method for belt |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180510 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20180815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6628180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |