JP7453848B2 - Face image processing device, face image processing method - Google Patents
Face image processing device, face image processing method Download PDFInfo
- Publication number
- JP7453848B2 JP7453848B2 JP2020089125A JP2020089125A JP7453848B2 JP 7453848 B2 JP7453848 B2 JP 7453848B2 JP 2020089125 A JP2020089125 A JP 2020089125A JP 2020089125 A JP2020089125 A JP 2020089125A JP 7453848 B2 JP7453848 B2 JP 7453848B2
- Authority
- JP
- Japan
- Prior art keywords
- crack
- image
- face image
- face
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 53
- 238000003672 processing method Methods 0.000 title claims description 5
- 239000011378 shotcrete Substances 0.000 claims description 48
- 239000002131 composite material Substances 0.000 claims description 34
- 238000002372 labelling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 22
- 238000012549 training Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000009412 basement excavation Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000004567 concrete Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Landscapes
- Lining And Supports For Tunnels (AREA)
- Image Processing (AREA)
Description
本発明は、切羽画像加工装置、切羽画像加工方法に関する。 The present invention relates to a face image processing device and a face image processing method.
山岳トンネルの切羽周辺にカメラを設置し、切羽を監視するシステムがある(例えば、特許文献1)。このようなシステムでは、切羽をカメラで監視するシステムにおいて、切羽で発生する切羽崩落や肌落ちの予兆である鏡吹付けコンクリートのクラックを検知している。また、このようなシステムにおいて、AI(artificial intelligence;人工知能)を用いて検知しようとする場合には、切羽の鏡吹付けコンクリートに発生するクラックの画像が必要であり、検知する精度を高めるためには、多様なクラック発生パターンや、重機や人などのノイズが含まれた教師データを大量に集める必要がある。 There is a system in which a camera is installed around the face of a mountain tunnel to monitor the face (for example, Patent Document 1). In such a system, the working face is monitored with a camera to detect cracks in mirror shotcrete, which are a sign of face collapse or skin fall that occurs at the working face. In addition, in such a system, when attempting to detect using AI (artificial intelligence), images of cracks that occur in the mirror shotcrete of the face are required, and in order to improve the detection accuracy. , it is necessary to collect a large amount of training data that includes various crack occurrence patterns and noise from heavy machinery and people.
しかしながら、実際のトンネル切羽において鏡吹付けコンクリートにクラックが発生する頻度は低いため、多種多様な教師データを大量に集めることは非常に難しい。
また、ブレーカーなどの重機を用いて実験的に鏡吹付けコンクリートにクラックを発生させることは可能であるが、得られるクラックパターンは限られてしまうという課題がある。
However, since cracks rarely occur in mirror shotcrete in actual tunnel faces, it is extremely difficult to collect a large amount of diverse training data.
Furthermore, although it is possible to experimentally generate cracks in mirror shotcrete using heavy equipment such as breakers, there is a problem in that the crack patterns that can be obtained are limited.
本発明は、このような事情に鑑みてなされたもので、その目的は、切羽の鏡吹付コンクリートに発生するクラックの画像を効率よく収集することが可能な切羽画像加工装置、切羽画像加工方法を提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a face image processing device and a face image processing method that can efficiently collect images of cracks occurring in mirror shotcrete of the face. It is about providing.
上述した課題を解決するために、本願発明の一態様は、吹付コンクリートが施工された切羽を撮像した切羽画像を取得する取得部と、クラックの種類を選択する指示を入力するクラック種類入力部と、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成するデータ加工部と、前記合成画像を出力する加工データ出力部と、を有し、前記クラック種類入力部は、クラックの幅を指定するクラック幅、クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、のうち少なくともいずれか1つを取得し、前記データ加工部は、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成する切羽画像加工装置である。 In order to solve the above-mentioned problems, one aspect of the present invention includes an acquisition unit that acquires a face image of a face on which shotcrete has been applied, and a crack type input unit that inputs an instruction to select the type of crack. , a data processing unit that generates a composite image by compositing a crack image indicating that there is a crack in the shotcrete with the face image, and a processed data output unit that outputs the composite image , The crack type input section indicates the crack width that specifies the width of the crack, the crack density that specifies the degree of darkness of the shadow of the crack, and the crack in the image of the crack that actually occurred. The data processing section acquires at least one of the crack colors corresponding to the pixel values of the pixels constituting the image, and the data processing section converts the crack image into the crack image according to the type of crack selected by the crack type input section. This is a face image processing device that synthesizes a face image .
また、本発明の一態様は、取得部が、吹付コンクリートが施工された切羽を撮像した切羽画像を取得し、クラック種類入力部が、クラックの種類を選択する指示を入力し、データ加工部が、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成し、加工データ出力部が、前記合成画像を出力し、前記クラックの種類を選択する指示を入力することは、クラックの幅を指定するクラック幅、クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、のうち少なくともいずれか1つを取得することを含み、前記合成画像を生成することは、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成することを含む切羽画像加工方法である。 Further, in one aspect of the present invention, the acquisition unit acquires a face image obtained by capturing a face on which shotcrete has been applied, the crack type input unit inputs an instruction to select the type of crack, and the data processing unit inputs an instruction to select the type of crack. , a composite image is generated by combining a crack image indicating that there is a crack in the shotcrete with the face image, and a processed data output unit outputs the composite image and selects the type of the crack. Inputting instructions includes crack width to specify the width of the crack, crack density to specify the degree of darkness of the shadow of the crack, and an image showing the crack in which the crack actually occurred. Generating the composite image includes obtaining at least one of the crack colors corresponding to the pixel values of the pixels constituting the image, and generating the composite image includes obtaining at least one crack color corresponding to the pixel value of the pixels constituting the image, and generating the composite image includes obtaining the crack color according to the crack type selected by the crack type input section. This is a face image processing method including composing a corresponding crack image with the face image .
以上説明したように、この発明によれば、切羽の鏡吹付コンクリートに発生するクラックの画像を効率よく収集することができる。 As described above, according to the present invention, images of cracks occurring in the mirror shotcrete of the face can be efficiently collected.
以下、本発明の一実施形態による切羽画像加工装置を用いた切羽監視システムについて図面を参照して説明する。
図1は、この発明の一実施形態による切羽監視システム1の構成を示す概略ブロック図である。
切羽監視システム1は、カメラ10と、端末装置20(端末装置20a、端末装置20b)と、操作端末30と、切羽画像加工装置40と、クラック検出装置50を有する。
EMBODIMENT OF THE INVENTION Hereinafter, a face monitoring system using a face image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram showing the configuration of a face monitoring system 1 according to an embodiment of the present invention.
The face monitoring system 1 includes a
カメラ10は、トンネルの切羽よりも後方側に所定の距離(例えば10メートル程度)の位置におけるトンネルの側壁に設置され、切羽Fを撮像する。カメラ10は、撮像結果を切羽画像としてクラック検出装置50に出力する。カメラ10は、1秒間に数フレームから十数フレーム程度となるタイミングで撮像し、順次クラック検出装置50に切羽画像を出力する。
ここで、切羽Fは、トンネルの掘削が行われることによって露出する地山に対して、厚みが数cm(センチメートル)程度となるようにコンクリートが吹付けられる「鏡吹付けコンクリート」が施工される。
カメラ10は、鏡吹付けコンクリートが施工された切羽を撮像し、切羽画像を出力する。また、カメラ10は、地山掘削、吹付けコンクリート、鋼製支保工建込などの、切羽施工の各種サイクル毎に切羽画像を撮像するようにしてもよい。
The
Here, for the face F, "mirror shotcrete" is constructed, in which concrete is sprayed to a thickness of several centimeters (centimeters) onto the ground that is exposed when the tunnel is excavated. Ru.
The
端末装置20は、切羽に対する掘削施工する現場において複数台(例えば、端末装置20a、端末装置20b等。特に識別しない場合には単に端末装置20と称する。)用いられる。この端末装置20としては、例えば、スマートフォンやタブレット等のいずれかを用いることができる。端末装置20は、掘削等の作業を行う作業者に携帯される。端末装置20は、クラック検出装置50に対し、無線または有線によって接続され、クラック検出装置50と通信を行う機能を有する。また、端末装置20は、スピーカやタッチパネル等を備える。
なお、ここでは端末装置20が2台(端末装置20a、端末装置20b)である場合について説明するが、1台のみであってもよいし、3台以上であってもよい。
A plurality of terminal devices 20 (for example, a
Although a case will be described here in which there are two terminal devices 20 (
操作端末30は、マウスやキーボード等の入力装置と、ディスプレイ等の表示装置を有する。技術者等のユーザから各種操作を受け付けることができる。この操作端末30としては、コンピュータを用いてもよい。
The
切羽画像加工装置40は、画像取得部400、記憶部401、切羽画像選択部402、クラック種類入力部403、色抽出部404、データ加工部405、ラベル付与部406、教師データ生成部407、出力部408とを有する。
The face
ここで、切羽画像加工装置40において、教師データは大きく分けて2種類ある。第1の教師データは、鏡吹付けコンクリートの施工がなされた切羽においてクラックが発生した状態を撮影した画像を用いた教師データであり、第2の教師データは、鏡吹付けコンクリートの施工がなされた切羽を撮像した画像において、クラックが発生していない箇所に対して、クラックを表す画像であるクラック画像が合成された合成画像を用いた教師データである。このようなクラックの形状は、概ね線状である。
Here, in the face
第1の教師データは、実際に切羽の施工現場において鏡吹付けコンクリートにクラックが発生している切羽を撮像した切羽画像を用いることができる。
第2の教師データは、鏡吹付けコンクリートの施工がなされた切羽を撮像した画像に対して、クラックが発生した場合にはどのような状態であるかを、経験や知識をもとに、技術者によって、クラック画像を操作端末30が操作されることで切羽画像に描画された合成画像を用いることができる。
図2は、鏡吹付けコンクリートの施工がなされた切羽を撮像した切羽画像にクラック画像を合成した場合の一例を示す図である。ここでは、クラック画像201、202、203、204、205、206、207、208、209に示すように複数のクラック画像が鏡吹付コンクリートの表面に対して合成される。ここでは、1つの切羽画像に対して複数のクラック画像が合成された場合が図示されているが、1つのみ合成するようにしてもよい。
As the first training data, a face image obtained by capturing an image of a face in which cracks have occurred in mirror shotcrete at an actual face construction site can be used.
The second training data is an image of a face where mirror shotcrete has been constructed, and is based on technical knowledge and experience to determine what the condition would be like if cracks occurred. A composite image drawn on the face image can be used by a person who operates the crack image on the
FIG. 2 is a diagram showing an example of a case where a crack image is synthesized with a face image obtained by capturing an image of a face where mirror shotcrete has been applied. Here, a plurality of crack images as shown in crack images 201, 202, 203, 204, 205, 206, 207, 208, and 209 are synthesized on the surface of mirror shotcrete. Although a case is shown in which a plurality of crack images are combined with one face image, only one may be combined.
第1の教師データを用いる場合、鏡吹付けコンクリートに実際に発生したクラックを撮像した画像を用いるため、学習によって得られる学習済みモデルによるクラック判定の精度が高いというメリットがある。一方で、学習に必要な枚数の画像を準備することが容易ではない場合がある。
第2の教師データを用いる場合、実際に発生したクラックを撮像した画像ではないものの、種々のクラックのパターンを描画することができ、学習に必要な枚数の画像を準備しやすいメリットがある。ここでは、合成画像におけるクラック画像は、技術者の経験や知識を反映させた上で描画することで、実際に発生したクラックを高い精度で再現するように描画することも可能である。また、クラックを表す画像は、鏡吹付けコンクリートの施工がなされた切羽が撮像された画像に対し、操作端末30から技術者によって操作入力されることで描画される。クラック画像は、切羽の状態や施工現場の環境を考慮して形状や色味等によって表現される。
When using the first teacher data, an image of a crack that actually occurs in mirror shotcrete is used, so there is an advantage that the accuracy of crack determination by the trained model obtained through learning is high. On the other hand, it may not be easy to prepare the necessary number of images for learning.
When using the second teacher data, although it is not an image of an actually generated crack, various crack patterns can be drawn, and there is an advantage that it is easy to prepare the number of images necessary for learning. Here, by drawing the crack image in the composite image after reflecting the experience and knowledge of the engineer, it is also possible to draw it so as to reproduce the crack that actually occurred with high precision. Further, the image representing the crack is drawn by an engineer inputting an operation from the
画像取得部400は、吹付コンクリートが施工された切羽を撮像した切羽画像を取得する。例えば、画像取得部400は、カメラ10によって生成される切羽画像を取得する。
The
記憶部401は、各種データを記憶する。例えば記憶部401は、カメラ10によって撮像され画像取得部400によって取得された複数の切羽画像や、後述する合成画像等を記憶する。
The
切羽画像選択部402は、取得された切羽画像のうち、加工対象とする切羽画像を選択する指示を入力する。
クラック種類入力部403は、クラックの種類を選択する指示を入力する。
The face
A crack
色抽出部404は、吹付コンクリートに対して実際にクラックが生じている切羽を撮像した切羽画像において当該クラックに対して生じた影の表す画像領域の色を抽出する。
ここで、クラックが発生するとその部分に影が生じる。これを利用し、実際に発生したクラックを撮影した画像において、クラックの影の部分の色を抽出し、その抽出された色でクラックを描写し、クラック画像を生成することができる。
The
Here, if a crack occurs, a shadow will appear in that area. Using this, it is possible to extract the color of the shadow part of the crack in an image of an actually generated crack, depict the crack with the extracted color, and generate a crack image.
データ加工部405は、吹付けコンクリートにクラックがあることを示すクラック画像を切羽画像に対して合成することで合成画像を生成する。このようにして得られた合成画像は、クラック検出装置50の学習部501において学習を行うために必要な教師データとして用いることができる。
データ加工部405は、切羽画像に対してクラックを表す画像を操作端末30のキーボードやマウス等から入力される操作内容に応じて合成する。操作内容としては、クラック画像を合成する際の条件、クラックそのものを描画するための操作、等であってもよい。
データ加工部405が合成画像を生成する機能は、例えば、画像処理ソフトウェアを実行することで実現してもよい。切羽画像に対してクラック画像を合成する処理を行う画像処理ソフトウェアとしては、アドビシステムズ社(Adobe Systems Incorporated)のPhotoshop(登録商標)を用いてもよい。
The
The
The function of the
データ加工部405は、切羽画像選択部402によって選択された切羽画像に対してクラック画像を合成する。例えば、記憶部401に記憶される複数の切羽画像のうち、操作端末30のマウス等を用いて選択された切羽画像を、クラック画像を合成する対象の切羽画像として決定し、合成を行う(加工対象選択機能)。
データ加工部405は、クラック種類入力部403によって選択されたクラックの種類に応じたクラック画像を切羽画像に対して合成する。例えば、クラック画像の態様の選択肢を複数のパターンについて予め記憶部401に記憶しておき、そのクラック画像の態様のうち、操作端末30のマウス等を用いて選択されたパターンのクラック画像を用いて切羽画像に対して合成を行う(クラックパターン選択機能)。
The
The
クラック画像の態様としては、例えば、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ(不透明度)、クラックの色がある。クラックの幅は、鏡吹付けコンクリートに対して実験によって発生させたクラックの場合、最大幅4ピクセル程度(実寸25mm程度)であった。このため、データ加工部405は、4ピクセルを最大幅として、1ピクセルから4ピクセルの間のうちいずれの値にするかを操作端末30からの操作入力を受け付け、指定された幅に従ってクラック画像を生成する。ここではクラックの幅は最大幅4ピクセル程度(実寸25mm程度)としたが、鏡吹付けコンクリートに生じ売るクラックを考慮し、他の値を用いるようにしてもよい。
また、クラックの長さについては、長さの最小値と最大値とを、実験結果を基に予め決めており、その長さの範囲のうちいずれの値にするかを操作端末30からの操作入力を受け付け、指定された長さに従ってクラック画像を生成する。
また、クラックの形状については、直線状、W字状(ジグザグ状)等、形状の特徴に応じた分類であってもよい。データ加工部405は、この分類のいずれにするかについて操作端末30からの操作入力を受け付け、指定された長さに従ってクラック画像を生成することができる。
また、クラックの影の濃さは、実験の結果、様々な場合があった。そのため、データ加工部405は、クラックの影の濃さ(不透明度)について、70%、50%、30%のように、複数の濃さのパターンのうち、いずれにするかについて操作端末30から操作入力を受け付け、指定されたクラックの影の濃さに基づいてクラック画像を生成する。
クラックの色は、色抽出部404によって抽出された色を適用することができる。ここでは、データ加工部405は、実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値を取得し、この画素値に応じてクラック画像を生成する。これにとり、実際に生じ得るクラックの色を元に、クラック画像を生成することができる。
The aspects of the crack image include, for example, the width of the crack, the length of the crack, the shape of the crack, the darkness (opacity) of the shadow of the crack, and the color of the crack. In the case of cracks experimentally generated in mirror shotcrete, the maximum width of the crack was about 4 pixels (actual size of about 25 mm). For this reason, the
Regarding the length of the crack, the minimum and maximum lengths are predetermined based on experimental results, and it is possible to decide which value to use within the length range by operating the
Moreover, the shape of the crack may be classified according to the characteristics of the shape, such as a straight line or a W-shape (zigzag shape). The
Moreover, the density of the shadow of the crack varied in various cases as a result of the experiment. Therefore, the
The color extracted by the
データ加工部405は、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色について、操作端末30から入力される操作内容に応じて決定することができる。また、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色については、少なくともいずれか1つについて指定されるようにし、指定されなかった項目については、過去に生成したクラック画像の値を用いるようにしてもよい。また、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ、クラックの色のそれぞれの項目の選択肢の中から選択するようにしてもよいし、操作端末30がマニュアルでクラック画像を任意に描くようにしてもよい。
また、このようにして生成されたクラック画像を、切羽画像のどの位置に配置するかについては、操作端末30から入力される配置する位置を指定する操作入力に応じて決定するようにしてもよい。
The
Further, the position in the face image at which the crack image generated in this manner is to be placed may be determined in accordance with an operation input input from the
このようにしてデータ加工部405によって生成される合成画像は、教師データとして用いることができる。
The composite image thus generated by the
また、データ加工部405は、切羽画像に対してクラック画像を合成する場合、切羽画像におけるクラックに対応する領域に含まれる画素の画素値(RGB画像の場合にはRGBの各値)を書き換えることで合成画像を生成するようにしてもよいし、切羽画像のレイヤとは別のレイヤにクラック画像を描画し、これらのレイヤを重ね合わせることで合成画像を生成するようにしてもよい。ここで、クラック画像が切羽画像とは別のレイヤとして生成されている場合には、クラック画像に対応するレイヤに基づいて、クラックである領域を示す座標データも関連付けすることができる。
Furthermore, when synthesizing a crack image with the face image, the
ラベル付与部406は、合成された画像に基づいて、クラック画像に対応する画素についてクラックを表すラベル(アノテーション)を付与する。例えば、ラベル付与部406は、合成画像に含まれる各画素において、クラック画像に対応する画素であるか否かを判定し、クラック画像である場合には、ラベルを付与する。クラック画像であるか否かについては、データ加工部405によって加えられた画素であるか否かについて判定するようにしてもよい。
ラベル付与部406は、合成画像のうち、クラック画像に該当する画素のそれぞれに対して、「クラック」を表すラベルを付与するようにしてもよいし、クラック画像を構成する画像の領域に対してラベルを付与してもよい。
The
The
なお、鏡吹付けコンクリートに実際にクラックが発生した切羽を撮像した切羽画像についてラベルを付与する場合、どの部分がクラック画像であるかを特定する必要がある。ここでは、例えば、技術者が操作端末30を操作することで、切羽画像のうちクラックに対応する箇所に対して、クラックであることを指定することで、クラック画像を特定するようにしてもよい。
Note that when labeling a face image obtained by capturing an image of a face where cracks have actually occurred in mirror shotcrete, it is necessary to specify which part is the crack image. Here, for example, the crack image may be specified by the engineer operating the operating
このように、ラベル付与部406が「クラック」を示すラベルを画素毎に付与することで、切羽画像や合成画像において、「クラック」を示すラベルが付与された画素が隣接している画像の領域をクラックが存在する領域として特定することが可能となる。
In this way, the
教師データ生成部407は、合成画像に対してラベル付与部406によって画素にラベルが付与されたデータを、教師データとして得る。例えば、教師データ生成部407は、ラベルが付与された切羽画像または合成画像を教師データとして得ることで、教師データを生成する。
The teacher
出力部408は、合成画像を出力する。出力先としては、記憶部401に書き込むことでもよいし、クラック検出装置50の学習部501に対して出力してもよい。
The
次に、クラック検出装置50について説明する。
クラック検出装置50は、教師データ取得部500、学習部501、記憶部502、検出部503を含む。
Next, the
The
教師データ取得部500は、切羽画像加工装置40によって生成された教師データを取得する。
学習部501は、鏡吹付けコンクリートが施工された切羽が撮像された切羽画像における画素のうち、吹付けコンクリートに存在するクラックに対応する画素に対してクラックを表すラベルが付与された教師データを用いて、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習する。この教師データは、教師データ取得部500によって、切羽画像加工装置40から得られた教師データを利用することができる。
この学習には、AI(artificial intelligence:人工知能)技術を用いる。例えば、この学習には、セマンティックセグメンテーション(Semantic Segmentation)を用いる。セマンティックセグメンテーション(Semantic Segmentation)は、画像内の全画素にそれぞれラベルを付与するディープラーニング(Deep Learning)を用いたアルゴリズムである。
このセマンティックセグメンテーションでは、対象物を画素単位で検出できることから、線状に多数発生するクラックに対しても認識分解能が高く、また、施工時の作業者や重機の移動によって生じる画像の変化であるノイズに対しても高い識別性能を持っている。そのため、施工中の切羽をカメラ10によって動画撮影をするような条件下であっても効率的にクラックを識別することが可能となる。
セマンティックセグメンテーションでは、例えば、クラックに対応する画素の情報と、その画素の周辺の画素の情報との関係を学習する。
学習部501は、学習を行うことで、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習した学習済モデルを生成する。
The teacher
The
This learning uses AI (artificial intelligence) technology. For example, this learning uses semantic segmentation. Semantic segmentation is an algorithm using deep learning that assigns labels to all pixels in an image.
Since this semantic segmentation can detect objects pixel by pixel, it has a high recognition resolution even for cracks that occur in many linear shapes. It also has high discrimination performance. Therefore, it is possible to efficiently identify cracks even under conditions where the face under construction is photographed as a moving image using the
In semantic segmentation, for example, the relationship between information on a pixel corresponding to a crack and information on pixels surrounding that pixel is learned.
The
記憶部502は、学習部501によって得られた学習済みモデルを記憶する。記憶部502は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部502は、例えば、不揮発性メモリを用いることができる。
The
This
検出部503は、吹付けコンクリートが施工された切羽が撮像された切羽画像における画素のうち、吹付けコンクリートに存在するクラックに対応する画素に対してクラックを表すラベルが付与された教師データを用いて、切羽画像と当該切羽画像に含まれるクラックに対応する画素との関係を学習した学習済みモデルに対し、判定対象である切羽画像を入力し、判定対象の切羽画像に対してセグメンテーションすることでクラックに対応する領域があるか否かを検出する。
出力部504は、検出部503によって、切羽画像にクラックに対応する領域があることを検出した場合には、クラックが検出されたことを示す情報を出力する。この出力としては、例えば、端末装置20a、端末装置20b等であってもよいし、切羽施工の現場を管理する管理者の端末装置に対して出力してもよい。これにより、これら端末装置からクラックが生じたことを示す警報音を出力したり、クラックが発生したことを示す警告メッセージを画面上に表示したりすることができる。出力部408は、クラックがあると検出された結果を端末装置20に送信することで、切羽崩落発生前に作業者に対して避難を促すことができる。
The
When the
上述したこのクラック検出装置50において、画像取得部400、切羽画像選択部402、クラック種類入力部403、色抽出部404、データ加工部405、ラベル付与部406、教師データ生成部407、出力部408は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。
また、クラック検出装置50において、教師データ取得部500、学習部501、検出部503、出力部504は、CPU等の処理装置若しくは専用の電子回路で構成されてもよい。
In this
Furthermore, in the
次に、切羽画像加工装置40における動作を説明する。図3は、切羽画像加工装置40の動作を説明するフローチャートである。
切羽画像加工装置40の画像取得部400は、カメラ10によって撮像された切羽画像を取得し(ステップS101)、記憶部401に記憶する。ここで撮影される切羽については、施工された鏡吹付けコンクリートにおいてクラックが発生していない状態が撮像された切羽画像である。なお、鏡吹付けコンクリートにおいてクラックが発生している状態が撮像された切羽画像であってもよい。また、画像取得部400は、カメラ10によって撮影が行われる毎に切羽画像を取得し、記憶部401に記憶する。
Next, the operation of the face
The
次に、切羽画像選択部402は、操作端末30からの操作入力に基づいて、記憶部401に記憶された切羽画像の中から、加工する対象である切羽画像を読み出す(ステップS102)。ここで選択される切羽画像は、クラックが生じていない状態の鏡吹付けコンクリートが撮像された切羽画像とクラックが生じている状態の鏡吹付けコンクリートが撮像された切羽画像とのうちいずれであってもよいが、クラックが生じていない状態の鏡吹付けコンクリートが撮像された切羽画像を対象として選択された場合には、クラックがない状態の鏡吹付けコンクリートの施工状態を考慮し、この施工状態であればどのようなクラックが発生し得るかを検討した結果を基に得られるクラック画像を合成した教師データを得ることができる。
一方、クラックが生じている状態の鏡吹付けコンクリートが撮像された切羽画像を対象として選択された場合には、既に発生しているクラックの状態を考慮し、さらにクラックが発生した場合には、どのようなクラックが発生しうるかを検討した結果を基に得られるクラック画像を合成した教師データを得ることができる。
Next, the face
On the other hand, when a face image of mirror shotcrete with cracks is selected as the target, the state of the cracks that have already occurred is taken into consideration, and if further cracks occur, the Training data can be obtained by combining crack images obtained based on the results of examining what kind of cracks may occur.
色抽出部404は、記憶部401に記憶された切羽画像のうち、クラックが生じている鏡吹付けコンクリートが撮像された切羽画像におけるクラックを示す画素から、色を示す画素値を取得する(ステップS103)。色を抽出する対象の切羽画像は、ステップS102において選択された切羽画像とは異なる切羽画像であって、クラックが発生した状態の鏡吹付けコンクリートが撮像された切羽画像が操作端末30によって選択され、この切羽画像からクラックの色を抽出するようにしてもよい。また、色を抽出する対象の切羽画像は、操作端末30からの選択入力に従って選択されてもよい。
The
次に、クラック種類入力部403は、クラックの態様を指定する入力を操作端末30から受け付ける(ステップS104)。ここでは、クラック種類入力部403は、クラックの幅、クラックの長さ、クラックの形状、クラックの影の濃さ(不透明度)等について指定する入力を受け付ける。
クラックの色が抽出され、クラックの態様の指定入力を受け付けると、データ加工部405は、抽出された色、指定入力されたクラックの態様に応じたクラック画像を生成し(ステップS105)、生成されたクラック画像を切羽画像に合成する(ステップS106)。なお、クラック画像を切羽画像のどの位置に配置するかについては、操作端末30から指定される。
Next, the crack
When the color of the crack is extracted and the specified input of the form of the crack is received, the
合成画像が生成されると、ラベル付与部406は、合成画像におけるクラック画像に対してラベルを付与する(ステップS107)。ラベルが付与されると、教師データ生成部407は、ラベルが付与された合成画像を教師データとして取得し、クラック検出装置50に教師データとして出力する(ステップS108)。
When the composite image is generated, the
なお、上述した処理において、1つの切羽画像に対して、クラック画像を変えた合成画像を複数種類生成するようにしてもよい。 In addition, in the above-described process, a plurality of types of composite images with different crack images may be generated for one face image.
以上説明した実施形態においては、クラックが発生していない状態の鏡吹付けコンクリートを撮像した切羽画像であっても、写真合成によって人為的に疑似クラックを作成することでクラック画像を切羽画像に合成するようにしたので、実際にクラックが発生している鏡吹付けコンクリートを撮像した切羽画像がなくても、クラックを含む切羽画像を準備することができ、これを教師データとして用いることができる。これにより、鏡吹付けコンクリートにクラックが発生している状態の切羽画像を効率的に大量に作成することが可能となる。 In the embodiment described above, even if the face image is taken of mirror-shot concrete with no cracks, the crack image is synthesized with the face image by artificially creating pseudo-cracks through photo synthesis. Therefore, even if there is no face image taken of mirror-shot concrete in which cracks have actually occurred, a face image containing cracks can be prepared, and this can be used as training data. This makes it possible to efficiently create a large number of face images showing cracks in mirror shotcrete.
実際のトンネル切羽において、鏡吹付けコンクリートにクラックが発生する頻度は低く、また実験によって得られるクラックパターンは限られている。そのため、実際にクラックが発生した切羽の画像を大量に準備することが容易ではないが、本実施形態によれば、写真合成等によって人為的にクラックを表現した合成画像を用いるようにしたので、大量のクラックパターンやノイズパターンを学習用データとして作成することができ、AIの学習効率および判定精度の向上を実現することが可能となる。 In actual tunnel faces, cracks occur less frequently in mirror shotcrete, and the crack patterns that can be obtained through experiments are limited. Therefore, it is not easy to prepare a large number of images of faces where cracks have actually occurred, but according to this embodiment, a composite image in which cracks are artificially expressed by photo composition etc. is used. A large amount of crack patterns and noise patterns can be created as learning data, making it possible to improve AI learning efficiency and judgment accuracy.
また、クラック画像を合成する対象の切羽画像や、合成するクラックの態様を任意に選択することができるため、選択された内容に応じて、多様かつ大量の教師データを効率的に作成することができる。 In addition, since it is possible to arbitrarily select the face image on which the crack image is to be synthesized and the aspect of the crack to be synthesized, it is possible to efficiently create a large amount of diverse training data according to the selected content. can.
また、実際に発生していなければ取得できない態様のクラックについても、上述のようにクラック画像を生成し合成することで、教師データとして作成することができるため、AIが検知可能なパターンを大幅に増やすことができる。すなわち、実際に発生しうる態様のクラックについて実際に撮影した切羽画像を準備できなかったとしても、技術者の知識や経験を活かして合成画像として生成することで準備することができる。
また、上述の実施形態によれば、ラベル付与部406がラベルを付与するようにしたので、本来必要なアノテーション作業(クラック部分を画像処理ソフトで選択し正解ラベルを付与する作業)を人手によって行う必要がないので、アノテーション作業にかかる時間を大幅に削減することができる。
また、上述した実施形態によれば、教師データの作成から学習済みモデルの作成までにかかる時間を大幅に短縮することができる。
In addition, even for cracks that cannot be obtained unless they actually occur, by generating and compositing crack images as described above, it is possible to create training data, greatly increasing the number of patterns that AI can detect. can be increased. That is, even if it is not possible to prepare a face image actually taken of a type of crack that may actually occur, it can be prepared by generating a composite image by utilizing the knowledge and experience of an engineer.
Further, according to the above-described embodiment, since the
Further, according to the embodiment described above, the time required from creating teacher data to creating a trained model can be significantly reduced.
また、以上説明した実施形態において、クラック検出装置50が、教師データ取得部500、学習部501を有する場合について説明したが、これら教師データ取得部500、学習部501の機能を、クラック検出装置50とは別の装置に設け、当該別の装置を学習装置として構成するようにしてもよい。そして学習装置において学習することで得られた学習済モデルをクラック検出装置50の記憶部502に書き込むようにしてもよい。
Furthermore, in the embodiment described above, a case has been described in which the
上述した実施形態における切羽画像加工装置40とクラック検出装置50とをそれぞれコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
The face
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described above in detail with reference to the drawings, the specific configuration is not limited to these embodiments, and includes designs within the scope of the gist of the present invention.
1…切羽監視システム、10…カメラ、20,20a,20b…端末装置、30…操作端末,40…切羽画像加工装置、50…クラック検出装置、400…画像取得部、401…記憶部、402…切羽画像選択部、403…クラック種類入力部、404…色抽出部、405…データ加工部、406…ラベル付与部、407…教師データ生成部、408…出力部、500…教師データ取得部、501…学習部、502…記憶部、503…検出部、504…出力部 1... Face monitoring system, 10... Camera, 20, 20a, 20b... Terminal device, 30... Operation terminal, 40... Face image processing device, 50... Crack detection device, 400... Image acquisition section, 401... Storage section, 402... Face image selection section, 403...Crack type input section, 404...Color extraction section, 405...Data processing section, 406...Labeling section, 407...Teacher data generation section, 408...Output section, 500...Teacher data acquisition section, 501 ...learning section, 502...storage section, 503...detection section, 504...output section
Claims (7)
クラックの種類を選択する指示を入力するクラック種類入力部と、
吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成するデータ加工部と、
前記合成画像を出力する加工データ出力部と、
を有し、
前記クラック種類入力部は、
クラックの幅を指定するクラック幅、
クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、
実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、
のうち少なくともいずれか1つを取得し、
前記データ加工部は、前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成する
切羽画像加工装置。 an acquisition unit that acquires a face image of a face on which shotcrete has been applied;
a crack type input section for inputting instructions for selecting a crack type;
a data processing unit that generates a composite image by combining a crack image indicating that there is a crack in the shotcrete with the face image;
a processed data output unit that outputs the composite image;
has
The crack type input section is
crack width, which specifies the width of the crack;
Crack density, which specifies the degree of darkness of the crack shadow;
A crack color corresponding to the pixel value of the pixels that make up the image showing the crack in the image of the crack that actually occurred;
Obtain at least one of the following,
The data processing unit synthesizes a crack image according to the type of crack selected by the crack type input unit with the face image.
Face image processing device.
前記クラック幅、
前記クラック濃さ、
前記クラック色、
クラックの長さを指定するクラック長さ、
クラックの形状の特徴に応じた分類のいずれであるかを指定するクラック形状、
のうち少なくともいずれか1つを取得する
請求項1に記載の切羽画像加工装置。 The crack type input section is
the crack width;
the crack density;
said crack color;
crack length, which specifies the length of the crack;
Crack shape, which specifies which classification it is in according to the characteristics of the crack shape;
Get at least one of
The face image processing device according to claim 1 .
前記クラック種類入力部によって入力可能な複数の項目のうち、前記クラック種類入力部によって指示されたクラックの種類と、前記クラック種類入力部によって指示されなかった項目については過去に生成したクラック画像の値とを用いて、前記切羽画像に対してクラック画像を合成する
請求項1または請求項2に記載の切羽画像加工装置。 The data processing section is
Among the plurality of items that can be input using the crack type input section, the crack type specified by the crack type input section and the values of crack images generated in the past for items not specified by the crack type input section. A crack image is synthesized with the face image using
The face image processing device according to claim 1 or 2 .
前記データ加工部は、前記切羽画像選択部によって選択された切羽画像に対してクラック画像を合成する
請求項1に記載の切羽画像加工装置。 a face image selection unit for inputting an instruction to select a face image to be processed from among the acquired face images;
The face image processing device according to claim 1, wherein the data processing unit synthesizes a crack image with the face image selected by the face image selection unit.
を有する請求項1から請求項4のうちいずれか1項に記載の切羽画像加工装置。 The face image processing device according to any one of claims 1 to 4 , further comprising a labeling section that adds a label indicating a crack to the crack image processed by the data processing section.
前記データ加工部は、前記切羽画像に対して、前記色抽出部によって抽出された色によってクラックを表したクラック画像を合成する
請求項1から請求項5のうちいずれか1項に記載の切羽画像加工装置。 a color extraction unit that extracts the color of an image area represented by a shadow caused by the crack in a face image taken of a face where a crack has actually occurred in the shotcrete;
The face image according to any one of claims 1 to 5 , wherein the data processing unit synthesizes a crack image representing a crack with the color extracted by the color extraction unit, with the face image. Processing equipment.
クラック種類入力部が、クラックの種類を選択する指示を入力し、
データ加工部が、吹付けコンクリートにクラックがあることを示すクラック画像を前記切羽画像に対して合成することで合成画像を生成し、
加工データ出力部が、前記合成画像を出力し、
前記クラックの種類を選択する指示を入力することは、
クラックの幅を指定するクラック幅、
クラックの影の濃さの度合いがいずれであるかを指定するクラック濃さ、
実際に生じたクラックが撮像された画像のクラックを示す画像を構成する画素の画素値に応じたクラック色、
のうち少なくともいずれか1つを取得することを含み、
前記合成画像を生成することは、
前記クラック種類入力部によって選択されたクラックの種類に応じたクラック画像を前記切羽画像に対して合成することを含む
切羽画像加工方法。 The acquisition unit acquires a face image of a face on which shotcrete has been applied,
The crack type input section inputs an instruction to select the type of crack,
a data processing unit generates a composite image by combining a crack image indicating that there is a crack in the shotcrete with the face image;
a processed data output unit outputs the composite image;
Entering instructions to select the type of crack is
crack width, which specifies the width of the crack;
Crack density, which specifies the degree of darkness of the crack shadow;
A crack color corresponding to the pixel value of the pixels that make up the image showing the crack in the image of the crack that actually occurred;
including acquiring at least one of the following;
Generating the composite image includes:
The method includes composing a crack image corresponding to the type of crack selected by the crack type input section with the face image.
Face image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020089125A JP7453848B2 (en) | 2020-05-21 | 2020-05-21 | Face image processing device, face image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020089125A JP7453848B2 (en) | 2020-05-21 | 2020-05-21 | Face image processing device, face image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021183773A JP2021183773A (en) | 2021-12-02 |
JP7453848B2 true JP7453848B2 (en) | 2024-03-21 |
Family
ID=78767166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020089125A Active JP7453848B2 (en) | 2020-05-21 | 2020-05-21 | Face image processing device, face image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7453848B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018088630A (en) | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | Fire monitoring system |
JP2018207194A (en) | 2017-05-31 | 2018-12-27 | 株式会社大林組 | Working place monitoring system |
JP2019023392A (en) | 2017-07-24 | 2019-02-14 | 株式会社大林組 | Working face evaluation support system, working face evaluation support method and working face evaluation support program |
JP2019114238A (en) | 2017-12-25 | 2019-07-11 | キヤノン株式会社 | Image processing device and control method of the same |
JP2020027424A (en) | 2018-08-10 | 2020-02-20 | 東京エレクトロンデバイス株式会社 | Learning data generating device, discrimination model generating device, and program |
JP2020038227A (en) | 2016-06-14 | 2020-03-12 | 富士フイルム株式会社 | Image processing method, image processing device, and image processing program |
JP6675691B1 (en) | 2019-01-22 | 2020-04-01 | 日本金銭機械株式会社 | Learning data generation method, program, learning data generation device, and inference processing method |
US20200142052A1 (en) | 2018-06-04 | 2020-05-07 | Shandong University | Automatic wall climbing type radar photoelectric robot system for non-destructive inspection and diagnosis of damages of bridge and tunnel structure |
-
2020
- 2020-05-21 JP JP2020089125A patent/JP7453848B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020038227A (en) | 2016-06-14 | 2020-03-12 | 富士フイルム株式会社 | Image processing method, image processing device, and image processing program |
JP2018088630A (en) | 2016-11-29 | 2018-06-07 | ホーチキ株式会社 | Fire monitoring system |
JP2018207194A (en) | 2017-05-31 | 2018-12-27 | 株式会社大林組 | Working place monitoring system |
JP2019023392A (en) | 2017-07-24 | 2019-02-14 | 株式会社大林組 | Working face evaluation support system, working face evaluation support method and working face evaluation support program |
JP2019114238A (en) | 2017-12-25 | 2019-07-11 | キヤノン株式会社 | Image processing device and control method of the same |
US20200142052A1 (en) | 2018-06-04 | 2020-05-07 | Shandong University | Automatic wall climbing type radar photoelectric robot system for non-destructive inspection and diagnosis of damages of bridge and tunnel structure |
JP2020027424A (en) | 2018-08-10 | 2020-02-20 | 東京エレクトロンデバイス株式会社 | Learning data generating device, discrimination model generating device, and program |
JP6675691B1 (en) | 2019-01-22 | 2020-04-01 | 日本金銭機械株式会社 | Learning data generation method, program, learning data generation device, and inference processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2021183773A (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263807B2 (en) | Method for the automatic material classification and texture simulation for 3D models | |
CN110678901B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
US20030156739A1 (en) | Rock fragmentation analysis system | |
JP2008245719A (en) | Object area extracting method, apparatus, and program | |
JP2019207535A (en) | Information processing apparatus, information processing method, and program | |
JP2008052602A (en) | Image density conversion method, image enhancement processor, and its program | |
JP7374847B2 (en) | Face evaluation system, face evaluation learning system, face evaluation method, face evaluation learning method, computer program | |
CN110302536A (en) | A kind of method for checking object and relevant apparatus based on interactive application | |
CN111461070B (en) | Text recognition method, device, electronic equipment and storage medium | |
CN115862113A (en) | Stranger abnormity identification method, device, equipment and storage medium | |
US20180039715A1 (en) | System and method for facilitating an inspection process | |
JP7453848B2 (en) | Face image processing device, face image processing method | |
JP7186821B2 (en) | Bar arrangement inspection device, bar arrangement inspection method and program | |
JP7078295B2 (en) | Deformity detection device, deformation detection method, and program | |
CN110852172B (en) | Method for expanding crowd counting data set based on Cycle Gan picture collage and enhancement | |
JP2021184163A (en) | Learning device, crack detection device, learning method, and crack detection method | |
JP6744237B2 (en) | Image processing device, image processing system and program | |
JP2005241886A (en) | Extraction method of changed area between geographical images, program for extracting changed area between geographical images, closed area extraction method and program for extracting closed area | |
US20020158972A1 (en) | Method of image processing an animated figure | |
CN114529714A (en) | Unmanned aerial vehicle detection method and device, computer equipment and storage medium | |
CN116862920A (en) | Portrait segmentation method, device, equipment and medium | |
AU2015275308B2 (en) | A method for automatic material classification and texture simulation for 3d models | |
JP2008079897A (en) | Medical image processing system | |
CN110264491A (en) | Passenger flow statistical method, device, computer equipment and readable storage medium storing program for executing | |
JP6670918B2 (en) | Generation device, generation method, and generation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |