JP6890193B1 - Joint discrimination method and joint discrimination device - Google Patents
Joint discrimination method and joint discrimination device Download PDFInfo
- Publication number
- JP6890193B1 JP6890193B1 JP2020059906A JP2020059906A JP6890193B1 JP 6890193 B1 JP6890193 B1 JP 6890193B1 JP 2020059906 A JP2020059906 A JP 2020059906A JP 2020059906 A JP2020059906 A JP 2020059906A JP 6890193 B1 JP6890193 B1 JP 6890193B1
- Authority
- JP
- Japan
- Prior art keywords
- joint
- image
- pipe
- discrimination
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】配管を構成する継手の判別作業の効率化および継手の判別基準や精度の平準化を図りつつ、継手の判別精度のさらなる向上を図ることができる継手判別方法および継手判別装置を提供する。【解決手段】本開示の一態様として、継手判別方法において、画像処理を行った学習用画像を用いて機械学習を行うことにより、直管継手判別モデルを構築する判別モデル学習行程（ステップＳ１，２）と、画像処理を行った配管内画像を直管継手判別モデルに入力して、配管内画像が直管画像であるか継手画像であるかを判別する直管継手判別行程（ステップＳ３，４）と、直管継手判別行程（ステップＳ４）における判別結果に基づいて、継手部分画像群ＩＧを抽出する継手部分抽出行程（ステップＳ５）と、継手部分画像群ＩＧを構成する各々の継手画像について画像処理を行って継手の種類を判別する継手判別演算段階（ステップＳ６，７）と、を有する。【選択図】図１PROBLEM TO BE SOLVED: To provide a joint discriminating method and a joint discriminating device capable of further improving the discriminating accuracy of the joint while improving the efficiency of the discriminating work of the joint constituting the pipe and leveling the discriminating standard and the accuracy of the joint. .. SOLUTION: In one aspect of the present disclosure, a discriminant model learning process (step S1,) for constructing a straight pipe joint discriminating model by performing machine learning using an image-processed learning image in a joint discriminating method. 2) and the image-processed image inside the pipe are input to the straight pipe joint discrimination model, and the straight pipe joint discrimination process (step S3,) for discriminating whether the image inside the pipe is a straight pipe image or a joint image. 4), the joint portion extraction process (step S5) for extracting the joint portion image group IG based on the discrimination result in the straight pipe joint discrimination process (step S4), and each joint image constituting the joint portion image group IG. It has a joint discrimination calculation step (steps S6 and 7) for discriminating the type of the joint by performing image processing on the above. [Selection diagram] Fig. 1
Description
本開示は、配管を構成する継手を判別する継手判別方法および継手判別装置に関するものである。 The present disclosure relates to a joint discriminating method and a joint discriminating device for discriminating joints constituting a pipe.
地中の配管（例えば、ガス管など）を非掘削で更生させる配管の更生修理工法がある。この更生修理工法においては、まず、ライニング（すなわち、配管の更生）に必要な樹脂（例えば、エポキシ樹脂やウレタン樹脂）を配管内に注入し、水圧流で所定の箇所まで送り込む。具体的には、図２４に示すように、配管Ｐ内において、ライニングピグＰＩＧ１と遮水ピグＰＩＧ２との間にゲル状の樹脂ＲＥを充填した状態で、遮水ピグＰＩＧ２により樹脂ＲＥとの間で遮断されるようにして充填される水ＷＡに圧力を加えて、ライニングピグＰＩＧ１を配管Ｐの先端Ｐａまで送り込む。 There is a pipe rehabilitation repair method for rehabilitating underground pipes (for example, gas pipes) without excavation. In this rehabilitation repair method, first, a resin (for example, epoxy resin or urethane resin) required for lining (that is, rehabilitation of a pipe) is injected into the pipe and sent to a predetermined place by a hydraulic flow. Specifically, as shown in FIG. 24, in the pipe P, a gel-like resin RE is filled between the lining pig PIG1 and the impermeable pig PIG2, and the impermeable pig PIG2 is used between the lining pig PIG1 and the impermeable pig PIG2. Pressure is applied to the water WA filled so as to be cut off by, and the lining pig PIG1 is sent to the tip Pa of the pipe P.
次に、真空ポンプで吸引して排水およびライニングを行う。具体的には、図２５に示すように、真空ポンプＶＰの吸引により水ＷＡを配管Ｐ外に排出し、これに伴い、ライニングピグＰＩＧ１と遮水ピグＰＩＧ２を配管Ｐの入口Ｐｂ側へ戻す。すると、このとき、ライニングピグＰＩＧ１は、配管Ｐの内面に樹脂ＲＥの膜を形成しながら戻る。このようにして、配管Ｐの内面に樹脂ＲＥの膜が形成されて、ライニングが行われる。 Next, suction is performed with a vacuum pump for drainage and lining. Specifically, as shown in FIG. 25, the water WA is discharged to the outside of the pipe P by suction of the vacuum pump VP, and the lining pig PIG1 and the impermeable pig PIG2 are returned to the inlet Pb side of the pipe P accordingly. Then, at this time, the lining pig PIG1 returns while forming a resin RE film on the inner surface of the pipe P. In this way, a resin RE film is formed on the inner surface of the pipe P, and lining is performed.
このような更生修理工法において、配管Ｐの内面に精度よく樹脂ＲＥの膜を形成してライニングを行うためには、図２４に示すようにライニングピグＰＩＧ１を配管Ｐの先端Ｐａまで送り込む作業において、ライニングピグＰＩＧ１の到達位置の精度向上を図る必要がある。ここで、配管Ｐをストレート管ＳＴのみで構成する場合と、配管Ｐをストレート管ＳＴと継手の組み合わせで構成する場合とでは、配管Ｐの容積が異なる。また、継手の種類によっても、その容積が異なるので、配管Ｐの容積が異なる。そのため、ライニングピグＰＩＧ１を配管Ｐの先端Ｐａまで送り込む作業において、ライニングピグＰＩＧ１の到達位置の精度向上を図るためには、配管Ｐの容積を正確に把握しておくため、予め配管Ｐを構成する継手の種類と数を判別しておく必要がある。 In such a rehabilitation repair method, in order to accurately form a resin RE film on the inner surface of the pipe P and perform lining, as shown in FIG. 24, in the work of feeding the lining pig PIG1 to the tip Pa of the pipe P, It is necessary to improve the accuracy of the arrival position of the lining pig PIG1. Here, the volume of the pipe P is different between the case where the pipe P is composed of only the straight pipe ST and the case where the pipe P is composed of the combination of the straight pipe ST and the joint. Further, the volume of the pipe P is different because the volume is different depending on the type of the joint. Therefore, in order to improve the accuracy of the arrival position of the lining pig PIG1 in the work of feeding the lining pig PIG1 to the tip Pa of the pipe P, the pipe P is configured in advance in order to accurately grasp the volume of the pipe P. It is necessary to determine the type and number of joints.
また、ライニングを行う前に予め必要な樹脂ＲＥの量（すなわち、ライニングピグＰＩＧ１と遮水ピグＰＩＧ２との間に充填する樹脂ＲＥの必要量）を把握しておく必要もある。ここで、配管Ｐを構成する管のうち、ストレート管ＳＴと継手とでは、内部の形状（例えば、内径など）が異なるので、樹脂ＲＥの膜を形成するために必要な樹脂ＲＥの量が異なる。さらに、継手の種類によって、内部の形状が異なるので、樹脂ＲＥの膜を形成するために必要な樹脂ＲＥの量が異なる。そのため、ライニングを行うために必要な樹脂ＲＥの量を正確に把握しておくためにも、予め配管Ｐを構成する継手の種類と数を判別しておく必要がある。 It is also necessary to know in advance the amount of resin RE required before lining (that is, the required amount of resin RE to be filled between the lining pig PIG1 and the impermeable pig PIG2). Here, among the pipes constituting the pipe P, the straight pipe ST and the joint have different internal shapes (for example, inner diameter), so that the amount of resin RE required to form the resin RE film is different. .. Further, since the internal shape differs depending on the type of joint, the amount of resin RE required to form the resin RE film differs. Therefore, in order to accurately grasp the amount of resin RE required for lining, it is necessary to determine in advance the type and number of joints constituting the pipe P.
そこで、更生修理工法を行う前に、配管Ｐ内をカメラで撮影し、撮影した配管Ｐ内の画像をもとに継手の種類と数を判別することが行われている。このとき、従来より、作業者が配管Ｐ内の画像をそのまま目視して継手の種類と数を判別している。しかしながら、目視による継手の判別では、判別作業に時間を要するとともに、目視を行う作業者によって継手の判別基準や精度が異なるおそれがあるので、継手の判別作業の効率化および継手の判別基準や精度の平準化を図ることができない。 Therefore, before performing the rehabilitation repair method, the inside of the pipe P is photographed with a camera, and the type and number of joints are determined based on the photographed image in the pipe P. At this time, conventionally, the operator visually observes the image in the pipe P as it is to determine the type and number of joints. However, in the visual discrimination of the joint, it takes time for the discrimination work, and the judgment standard and accuracy of the joint may differ depending on the operator who performs the visual inspection. Therefore, the efficiency of the joint discrimination work and the discrimination standard and accuracy of the joint may be improved. Cannot be leveled.
ここで、カメラで撮影した配管内の画像を用いた従来技術として、特許文献１には、カメラで撮影した配管内の画像から、当該画像中の２点間の距離を算出する技術が開示されている。また、特許文献２には、カメラで撮影した配管内の画像から、目視にて障害物を確認する技術が開示されている。
Here, as a conventional technique using an image in a pipe taken by a camera,
特許文献１に開示される技術は配管内の画像中の２点間の距離を算出するものに過ぎず、特許文献２に開示される技術は目視にて障害物を確認するものに過ぎない。このように、特許文献１，２には、配管を構成する継手の判別作業の効率化および継手の判別基準や精度の平準化を図る技術は何ら開示されていない。
The technique disclosed in
そこで、本開示は上記した問題点を解決するためになされたものであり、配管を構成する継手の判別作業の効率化および継手の判別基準や精度の平準化を図りつつ、継手の判別精度のさらなる向上を図ることができる継手判別方法および継手判別装置を提供することを目的とする。 Therefore, the present disclosure has been made in order to solve the above-mentioned problems, and while improving the efficiency of the discrimination work of the joints constituting the pipes and leveling the discrimination criteria and accuracy of the joints, the discrimination accuracy of the joints is improved. It is an object of the present invention to provide a joint discriminating method and a joint discriminating device capable of further improvement.
上記課題を解決するためになされた本開示の一形態は、配管を構成する継手の種類を判別する継手判別方法において、前記配管を構成する直管が撮影された直管画像と前記継手が撮影された継手画像とにラベル付けされた学習用画像に対して画像処理を行う学習用画像前処理行程と、前記学習用画像前処理行程にて画像処理を行った前記学習用画像を用いて機械学習を行うことにより、前記配管内を撮影した画像である配管内画像について前記直管画像であるか前記継手画像であるかの判別結果を出力する直管継手判別モデルを構築する判別モデル学習行程と、前記学習用画像とは異なる画像であって実際に前記継手の種類を判別するに当たって取得された前記配管内画像に対して画像処理を行う配管内画像前処理行程と、前記配管内画像前処理行程にて画像処理を行った前記配管内画像を前記直管継手判別モデルに入力して、前記配管内画像が前記直管画像であるか前記継手画像であるかを判別する直管継手判別行程と、前記直管継手判別行程における判別結果に基づいて、前記配管の軸方向について順に複数枚撮影した前記配管内画像中から、連続する複数の前記継手画像の集まりである継手部分画像群を抽出する継手部分抽出行程と、前記継手部分画像群を構成する各々の前記継手画像について画像処理を行い、当該画像処理を行った前記継手画像に基づいて前記継手の種類を判別する継手判別演算行程と、を有すること、を特徴とする。 One form of the present disclosure made to solve the above problems is a joint discriminating method for discriminating the type of a joint constituting a pipe, in which a straight pipe image of the straight pipe constituting the pipe and the joint are photographed. A machine using the learning image preprocessing process in which image processing is performed on the learning image labeled with the joint image and the learning image in which the image processing is performed in the learning image preprocessing process. Discrimination model learning process for constructing a straight pipe joint discrimination model that outputs the discrimination result of whether it is the straight pipe image or the joint image for the pipe inside image which is an image of the inside of the pipe by performing learning. An image before the image in the pipe that is different from the image for learning and that performs image processing on the image in the pipe acquired when actually determining the type of the joint, and an image in front of the image in the pipe. The straight pipe joint discrimination model is input to the straight pipe joint discrimination model, and the straight pipe joint discrimination is performed to discriminate whether the pipe internal image is the straight pipe image or the joint image. Based on the stroke and the discrimination result in the straight pipe joint discrimination stroke, a joint partial image group which is a collection of a plurality of continuous joint images from the images in the pipe taken in order in the axial direction of the pipe is obtained. An image processing is performed on the joint portion extraction process to be extracted and each of the joint images constituting the joint portion image group, and a joint discrimination calculation process for determining the type of the joint based on the image-processed joint image. It is characterized by having and.
この態様によれば、複数枚撮影した配管内画像の中から抽出した継手部分画像群を構成する各々の継手画像について画像処理を行い、当該画像処理を行った継手画像に基づいて継手の種類を判別する。そのため、作業者が配管内画像をそのまま目視で判別する場合にて生じていた作業者の違いによる判別結果の差異が無くなる。そのため、継手の判別時において、その判別基準および精度が平準化される。 According to this aspect, image processing is performed on each joint image constituting the joint partial image group extracted from a plurality of images in the pipe, and the type of joint is determined based on the image-processed joint image. Determine. Therefore, the difference in the discrimination result due to the difference in the worker, which occurs when the worker visually discriminates the image in the pipe as it is, is eliminated. Therefore, when discriminating the joint, the discriminant standard and accuracy are leveled.
また、作業者が配管内画像をそのまま目視で判別する場合よりも、短時間で継手の種類を判別できるので、継手の判別の効率化を図ることができる。また、作業者は、カメラの挿入と引抜きのみに専念でき、継手の判別を行う負担が軽減されるので、継手の判別時の作業負荷を軽減できる。 Further, since the type of the joint can be discriminated in a shorter time than when the operator visually discriminates the image in the pipe as it is, the efficiency of discriminating the joint can be improved. In addition, the operator can concentrate only on inserting and removing the camera, and the burden of discriminating the joint is reduced, so that the workload at the time of discriminating the joint can be reduced.
そのため、本態様によれば、配管を構成する継手の判別作業の効率化および継手の判別基準や精度の平準化を図ることができる。 Therefore, according to this aspect, it is possible to improve the efficiency of the discriminating work of the joints constituting the pipe and to equalize the discriminating criteria and the accuracy of the joints.
そして、さらに、本態様では、前記のように継手の種類を判別するに際して複数枚の配管内画像の中から継手部分画像群を抽出するが、このとき、画像処理の技術と機械学習の技術を活用して構築した直管継手判別モデルを用いて継手部分画像群を抽出する。 Further, in this embodiment, when determining the type of the joint as described above, the joint partial image group is extracted from a plurality of images in the pipe. At this time, the image processing technique and the machine learning technique are used. The joint part image group is extracted using the straight pipe joint discrimination model constructed by utilizing it.
これにより、カメラにより配管内画像を撮影するときに、任意の速度でカメラの挿入・引抜きが行われて画像のフレームレートが任意である複数の配管内画像が得られた場合でも、撮影された複数の配管内画像の中から継手部分画像群のみを抽出できる。そして、このようにして複数の配管内画像の中から継手画像のみを特定したうえで、特定した継手画像をもとに継手の種類を判別するので、継手の判別精度のさらなる向上を図ることができる。 As a result, when the in-pipe image is taken by the camera, even if the camera is inserted and pulled out at an arbitrary speed to obtain a plurality of in-pipe images having an arbitrary frame rate of the image, the images are taken. Only the joint part image group can be extracted from the images in a plurality of pipes. Then, in this way, only the joint image is specified from the plurality of images in the pipe, and then the type of the joint is determined based on the specified joint image, so that the accuracy of the joint identification can be further improved. it can.
上記の態様においては、前記継手部分抽出行程では、前記直管継手判別行程における判別結果に対して平滑化処理を行い、前記平滑化処理を行った前記判別結果に基づいて前記継手部分画像群を抽出し、前記平滑化処理として、前記配管内画像について当該画像を撮影した順に並べたときに、前記直管継手判別行程にて前記継手画像であるとの判別がなされた前記配管内画像の前後の所定枚数の前記配管内画像については、その判別結果を前記継手画像とする処理を行うこと、が好ましい。 In the above aspect, in the joint portion extraction stroke, a smoothing process is performed on the discrimination result in the straight pipe joint discrimination stroke, and the joint portion image group is displayed based on the discrimination result obtained by the smoothing treatment. Before and after the image in the pipe, which was determined to be the joint image in the straight pipe joint determination process when the images in the pipe were arranged in the order in which the images were taken as the smoothing process. It is preferable to perform a process of using the determination result as the joint image for the predetermined number of images in the pipe.
この態様によれば、例えば直管と継手の境界部分など、直管画像か継手画像かの判別がし難い部分が存在する場合であっても、継手部分画像群を精度よく抽出できる。そのため、より効果的に、継手の判別精度の向上を図ることができる。 According to this aspect, even when there is a portion where it is difficult to distinguish between the straight pipe image and the joint image, such as the boundary portion between the straight pipe and the joint, the joint portion image group can be accurately extracted. Therefore, it is possible to more effectively improve the discrimination accuracy of the joint.
上記の態様においては、前記画像処理として、グレースケール化と、ヒストグラム平坦化と、リサイズと、画像の輝度値の範囲を０から１とする０−１正規化と、を行うこと、が好ましい。 In the above aspect, it is preferable to perform grayscale, histogram flattening, resizing, and 0-1 normalization in which the range of the brightness value of the image is 0 to 1 as the image processing.
この態様によれば、直管継手判別モデルを構築し易くなり、また、直管継手判別モデルを用いて配管内画像が直管画像であるか継手画像であるかを判別し易くなる。そのため、より効果的に、継手の判別精度の向上を図ることができる。 According to this aspect, it becomes easy to construct a straight pipe joint discrimination model, and it becomes easy to discriminate whether the image in the pipe is a straight pipe image or a joint image by using the straight pipe joint discrimination model. Therefore, it is possible to more effectively improve the discrimination accuracy of the joint.
上記の態様においては、前記判別モデル学習行程では、前記機械学習の手法として、ディープラーニングを用いること、が好ましい。 In the above aspect, it is preferable to use deep learning as the machine learning method in the discrimination model learning process.
この態様によれば、直管継手判別モデルを精度よく構築できる。そのため、さらに、継手の判別精度が向上する。 According to this aspect, a straight pipe joint discrimination model can be constructed with high accuracy. Therefore, the accuracy of discriminating the joint is further improved.
上記課題を解決するためになされた本開示の他の形態は、配管を構成する継手の種類を判別する継手判別装置において、前記配管を構成する直管が撮影された直管画像と前記継手が撮影された継手画像とにラベル付けされた学習用画像に対して画像処理を行う学習用画像前処理部と、前記学習用画像前処理部にて画像処理を行った前記学習用画像を用いて機械学習を行うことにより、前記配管内を撮影した画像である配管内画像について前記直管画像であるか前記継手画像であるかの判別結果を出力する直管継手判別モデルを構築する判別モデル学習部と、前記学習用画像とは異なる画像であって実際に前記継手の種類を判別するに当たって取得された前記配管内画像に対して画像処理を行う配管内画像前処理部と、前記配管内画像前処理部にて画像処理を行った前記配管内画像を前記直管継手判別モデルに入力して、前記配管内画像が前記直管画像であるか前記継手画像であるかを判別する直管継手判別部と、前記直管継手判別部における判別結果に基づいて、前記配管の軸方向について順に複数枚撮影した前記配管内画像中から、連続する複数の前記継手画像の集まりである継手部分画像群を抽出する継手部分抽出部と、前記継手部分画像群を構成する各々の前記継手画像について画像処理を行い、当該画像処理を行った前記継手画像に基づいて前記継手の種類を判別する継手判別演算部と、を有すること、を特徴とする。 In another form of the present disclosure made to solve the above problems, in a joint discriminating device for discriminating the type of a joint constituting a pipe, a straight pipe image of the straight pipe constituting the pipe and the joint are captured. Using the learning image preprocessing unit that performs image processing on the learning image labeled with the captured joint image and the learning image that has undergone image processing in the learning image preprocessing unit. Discrimination model learning to construct a straight pipe joint discrimination model that outputs the discrimination result of whether it is the straight pipe image or the joint image for the pipe inside image which is an image of the inside of the pipe by performing machine learning. An image in the pipe that is different from the image for learning and that performs image processing on the image in the pipe acquired when actually discriminating the type of the joint. The straight pipe joint that has been image-processed by the preprocessing unit is input to the straight pipe joint discrimination model to discriminate whether the image in the pipe is the straight pipe image or the joint image. A joint part image group which is a collection of a plurality of continuous images of the joint from the images in the pipe taken in order in the axial direction of the pipe based on the discrimination result of the discriminating unit and the straight pipe joint discriminating unit. A joint discrimination calculation that performs image processing on the joint partial extraction unit for extracting the image and each of the joint images constituting the joint partial image group, and discriminates the type of the joint based on the image-processed joint image. It is characterized by having a part and.
本開示の継手判別方法および継手判別装置によれば、配管を構成する継手の判別作業の効率化および継手の判別基準や精度の平準化を図りつつ、継手の判別精度のさらなる向上を図ることができる。 According to the joint discriminating method and the joint discriminating device of the present disclosure, it is possible to further improve the discriminating accuracy of the joint while improving the efficiency of the discriminating work of the joint constituting the pipe and leveling the discriminating standard and the accuracy of the joint. it can.
以下、本開示の継手判別方法および継手判別装置の実施形態について説明する。 Hereinafter, the joint discrimination method and the embodiment of the joint discrimination device of the present disclosure will be described.
＜継手判別装置の概要について＞
まず、本実施形態の継手判別方法により継手の判別を行う継手判別装置１について説明する。図１と図２に示すように、継手判別装置１は、通信部１２と、画像保存部１３と、学習部１４と、継手部分抽出部１５と、継手判別演算部１６と、表示部１７を有する。
<Overview of joint discriminator>
First, a
通信部１２は、配管Ｐ内においてカメラ１１（撮影部）が照明を当てながら撮影することにより得られた配管Ｐの内部の画像（以下、単に「配管内画像」という。）を画像保存部１３へ送信する通信機器である。画像保存部１３は、通信部１２から受信した配管内画像を保存する機器である。
The
学習部１４は、後述する直管継手判別モデルを構築する演算機器である。この学習部１４は、前処理部２１と判別モデル学習部２２を備えている。なお、前処理部２１は、本開示の「学習用画像前処理部」の一例である。
The
前処理部２１は、直管画像と継手画像とにラベル付けされた学習用画像に対して画像処理を行う。ここで使用する学習用画像は、後述する継手部分抽出部１５の前処理部３１が画像保存部１３から取得する配管内画像とは異なり、学習用に予め用意された直管画像と継手画像とにラベル付けされた学習用画像である。
The preprocessing
判別モデル学習部２２は、前処理部２１にて画像処理を行った学習用画像を用いて機械学習を行うことにより、直管継手判別モデルを構築する。なお、直管画像とは、配管Ｐを構成する直管、すなわち、ストレート管ＳＴが撮影された画像である。また、継手画像とは、配管Ｐを構成する継手（例えば、エルボＥＬやストリートエルボＳＥやソケットＳＯ）が撮影された画像である。さらに、直管継手判別モデルとは、詳しくは後述するように、配管内画像について直管画像であるか継手画像であるかの判別結果を出力する学習モデルである。
The discrimination
継手部分抽出部１５は、詳しくは後述するように、継手部分画像群ＩＧ（すなわち、継手候補画像群）を抽出する演算機器である。この継手部分抽出部１５は、前処理部３１と直管継手判別部３２と各種継手部分抽出部３３を備えている。なお、前処理部３１は、本開示の「配管内画像前処理部」の一例である。また、各種継手部分抽出部３３は、本開示の「継手部分抽出部」の一例である。
The joint
前処理部３１は、画像保存部１３（または、通信部１２）から取得した配管内画像に対して画像処理（具体的には、学習部１４の前処理部２１で行われる画像処理と共通した内容の画像処理）を行う。ここで、前処理部３１で使用される配管内画像（すなわち、評価用映像）は、学習部１４の前処理部２１で使用される学習用画像とは異なる画像であって、実際に継手の種類と数を判別するに当たって取得された配管内画像（すなわち、実際に継手の種類と数を判別するに当たってカメラ１１から通信部１２と画像保存部１３（または、通信部１２のみ）を介して得られた配管内画像）である。
The
このように、カメラ１１が撮影した各々の配管内画像は、前処理部３１にて画像処理を行う前に画像保存部１３に一旦保存された後に、前処理部３１にて画像処理が行われる（すなわち、バッチ処理が行われる）。
In this way, each image in the pipe taken by the camera 11 is temporarily stored in the
なお、本実施形態では、画像処理としてこのようなバッチ処理が行われることに限定されず、前処理部３１は、画像処理として、カメラ１１が撮影した各々の配管内画像について、リアルタイムに（画像保存部１３にて一旦保存されることなく）画像処理を行う処理を行ってもよい（すなわち、リアルタイム処理を行ってもよい）。
In the present embodiment, the image processing is not limited to such batch processing, and the
直管継手判別部３２は、前処理部３１にて画像処理を行った配管内画像を直管継手判別モデルに入力して、配管内画像が直管画像であるか継手画像であるかを判別する。各種継手部分抽出部３３は、直管継手判別部３２における判別結果に基づいて、配管Ｐの軸方向について順に複数枚撮影した配管内画像の中から、継手部分画像群ＩＧを抽出する。
The straight pipe joint discriminating unit 32 inputs the image in the pipe that has been image-processed by the preprocessing
継手判別演算部１６は、継手部分抽出部１５から取得した継手部分画像群ＩＧをもとに、配管Ｐを構成する継手の種類と数を判別する演算機器である。この継手判別演算部１６は、画像処理部４１と継手判別部４２を備えている。
The joint
画像処理部４１は、継手部分画像群ＩＧを構成する各々の継手画像について、当該画像の特徴を抽出する画像処理を行う。
The
また、継手判別部４２は、画像処理部４１が画像処理を行った継手画像をもとに、継手の種類と数を判別する。
Further, the joint discriminating
表示部１７は、継手判別演算部１６の継手判別部４２で行われた継手の判別結果を表示するモニタである。
The
このような構成の継手判別装置１において、カメラ１１は、配管Ｐの先端Ｐａまで挿入された後、図１に示すように配管Ｐの入口Ｐｂへ向かって戻されて配管Ｐから引き抜かれる時までに、配管内画像を配管Ｐの軸方向（すなわち、配管Ｐの中心軸方向）について順に複数枚撮影する。そして、カメラ１１が撮影した配管内画像は、通信部１２により画像保存部１３へ送信される。そして、継手部分抽出部１５は、学習部１４で構築された直管継手判別モデルを用いて、画像保存部１３から取得した複数の配管内画像の中から継手部分画像群ＩＧを抽出する。そして、継手判別演算部１６は、継手部分抽出部１５から取得した継手部分画像群ＩＧを用いて、継手の種類と数を判別する。そして、継手判別演算部１６で行われた継手の判別結果は、表示部１７に表示される。
In the
＜本実施形態で行われる継手判別方法について＞
次に、本実施形態で行われる継手判別方法について説明する。
<About the joint discrimination method performed in this embodiment>
Next, the joint discrimination method performed in the present embodiment will be described.
図３に示すように、本実施形態では、まず、学習段階として、前処理行程（ステップＳ１）と直管継手判別モデルの学習行程（ステップＳ２）が行われる。なお、前処理行程（ステップＳ１）は、本開示の「学習用画像前処理行程」の一例である。また、直管継手判別モデルの学習行程（ステップＳ２）は、本開示の「判別モデル学習行程」の一例である。 As shown in FIG. 3, in the present embodiment, first, as a learning step, a pretreatment process (step S1) and a learning process of the straight pipe joint discrimination model (step S2) are performed. The preprocessing process (step S1) is an example of the "learning image preprocessing process" of the present disclosure. Further, the learning process of the straight pipe joint discrimination model (step S2) is an example of the “discrimination model learning process” of the present disclosure.
前処理行程（ステップＳ１）において、学習部１４の前処理部２１は、事前に人手で直管画像と各種継手画像（本開示の「継手画像」）とにラベル付された学習用画像（すなわち、後述する継手部分抽出段階の前処理行程（ステップＳ３）で使用される配管内画像とは異なる画像であって、学習用に予め用意された直管画像と継手画像とにラベル付けされた学習用画像）に対して、画像処理を行う。
In the preprocessing process (step S1), the preprocessing
具体的には、図４に示すように、前処理部２１は、生画像、すなわち、学習用画像のＲＧＢ画像に対して、以下の数式を用いて、グレースケール化の画像処理を行う（ステップＳ１０１）。これにより、例えば図５に示すような学習用画像のＲＧＢ画像（カラー画像、前処理未実施の元画像）は、例えば図６に示すようなグレースケール画像（白黒画像）へと変換される。このようにして、ＲＧＢの画素値を輝度値に変換して得られたグレースケール画像より、輝度値ピークが抽出される。
次に、前処理部２１は、以下の数式を用いて、ヒストグラム平坦化の画像処理を行う（ステップＳ１０２）。これにより、例えば図７に示すように、グレースケール画像の輝度分布（すなわち、ヒストグラム）を一定にしたヒストグラム平坦化後画像が作成される。このようにして、輝度分布が一様にされることにより、カメラ１１の照明変化に対して頑健となる。
次に、前処理部２１は、以下の数式（すなわち、バイリニア補間）を用いて、リサイズの画像処理を行う（ステップＳ１０３）。これにより、ヒストグラム平坦化後画像から、例えば図８に示すようなリサイズ後画像が作成される。このようにして、機械学習モデル（すなわち、直管継手判別モデル）への入力次元数が固定される。
次に、前処理部２１は、以下の数式を用いて、リサイズ後画像の輝度値の範囲を０から１とする０−１正規化の画像処理を行う（ステップＳ１０４）。このようにして、機械学習モデルの学習の安定化・効率化を図ることができる。
以上のようにして、前処理部２１は、生画像（すなわち、直管画像と各種継手画像とにラベル付された学習用画像のＲＧＢ画像）に対して画像処理を行うことにより、前処理後画像（すなわち、０−１正規化の画像処理を行った後の画像）を作成する。
As described above, the preprocessing
そして、このように前処理部２１が前処理行程（ステップＳ１）を行うことにより、後述する直管継手判別モデルの学習行程（ステップＳ２）における学習の高精度化を図ることができる。例えば、直管継手判別モデルの学習行程（ステップＳ２）において、学習用画像のＲＧＢ画像をそのまま用いると、継手の内面の色や光沢等が錆や経年劣化等で変化している場合に、ストレート管ＳＴ（直管）か継手かの判別が難しくなり学習精度の低下が生じるおそれがある。これに対し、直管継手判別モデルの学習行程（ステップＳ２）において、前処理部２１で作成した前処理後画像を用いることにより、継手の内面の色や光沢等が錆や経年劣化等で変化している場合でも、安定してストレート管ＳＴか継手かの判別ができ学習精度の低下を抑制できる。
Then, by performing the pretreatment process (step S1) by the
次に、直管継手判別モデルの学習行程（ステップＳ２）において、学習部１４の判別モデル学習部２２は、前処理行程（ステップＳ１）にて画像処理を行った学習用画像（すなわち、前処理後画像）のデータを用いて機械学習を行うことにより、直管継手判別モデルを構築する。この直管継手判別モデルは、配管内画像について直管画像であるか継手画像であるかの判別結果を出力する学習モデルである。
Next, in the learning process (step S2) of the straight pipe joint discrimination model, the discrimination
具体的には、判別モデル学習部２２は、前処理行程（ステップＳ１）にて画像処理を行った学習用画像のデータをもとに、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、深層学習）などの機械学習の技術を用いて直管継手判別モデルを構築する。ここでは、判別モデル学習部２２は、ＡｌｅｘＮｅｔ（ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ａｌｅｘら、２０１２）という論文で発表されたモデル）をベースとしたモデルを構築する。
Specifically, the discrimination
詳しくは、判別モデル学習部２２は、例えば、図９に示すようにしてモデルを構築する。本実施形態では、前処理行程（ステップＳ１）において学習用画像のＲＧＢ画像をグレースケール画像へと変換することにより、入力するフィルタ枚数（すなわち、入力画像）を「１」としている。また、全結合層は、最終的には２個の出力（すなわち、直管画像であるか継手画像であるかの２種類の出力）を持つソフトマックス層に結合されるように構成されている。
Specifically, the discrimination
以上のような学習段階の次に、図２に示すように、継手部分抽出段階として、前処理行程（ステップＳ３）と、直管継手判別行程（ステップＳ４）と、各種継手部分抽出行程（ステップＳ５）が行われる。なお、前処理行程（ステップＳ３）は、本開示の「配管内画像前処理行程」の一例である。また、各種継手部分抽出行程（ステップＳ５）は、本開示の「継手部分抽出行程」の一例である。 After the learning stage as described above, as shown in FIG. 2, as a joint part extraction step, a pretreatment step (step S3), a straight pipe joint discrimination step (step S4), and various joint part extraction steps (steps). S5) is performed. The pretreatment process (step S3) is an example of the “in-pipe image preprocessing process” of the present disclosure. Further, the various joint portion extraction processes (step S5) are examples of the “joint portion extraction process” of the present disclosure.
前処理行程（ステップＳ３）において、継手部分抽出部１５の前処理部３１は、評価用映像、すなわち、継手の判別に用いる配管内画像（すなわち、学習段階の前処理行程（ステップＳ１）で使用される学習用画像とは異なる画像であって、実際に継手の種類と数を判別するに当たって取得された配管内画像（すなわち、実際に継手の種類と数を判別するに当たってカメラ１１から通信部１２と画像保存部１３（または、通信部１２のみ）を介して得られた配管内画像））に対して、画像処理を行う。
In the pretreatment process (step S3), the
具体的には、図１０に示すように、前処理部３１は、生の評価用映像、すなわち、画像保存部１３から取得した配管内画像に対して、図４に示す前処理行程（ステップＳ１）と共通した内容の画像処理を行う。このようにして、直管継手判別モデルの構築時と同様の前処理が評価用映像に対しても行われる。
Specifically, as shown in FIG. 10, the preprocessing
次に、直管継手判別行程（ステップＳ４）において、継手部分抽出部１５の直管継手判別部３２は、図１１に示すように、前処理後の評価用映像、すなわち、前処理行程（ステップＳ３）にて画像処理を行った後の配管内画像に対して、学習済みの直管継手判別モデルによる判別を行い、判別結果付き評価用映像（直管画像であるか継手画像であるかの判別結果が付された配管内画像）を作成する。このようにして、直管継手判別部３２は、前処理行程（ステップＳ３）にて画像処理を行った配管内画像を直管継手判別モデルに入力して、配管内画像が直管画像であるか継手画像であるかを判別する。
Next, in the straight pipe joint discrimination process (step S4), as shown in FIG. 11, the straight pipe joint discrimination unit 32 of the joint
次に、各種継手部分抽出行程（ステップＳ５）において、継手部分抽出部１５の各種継手部分抽出部３３は、判別結果付き評価用映像に基づいて、すなわち、直管継手判別行程（ステップＳ４）における判別結果に基づいて、配管Ｐの軸方向について順に複数枚撮影された配管内画像の中から継手部分画像群ＩＧを抽出する。なお、継手部分画像群ＩＧは、連続する複数の継手画像の集まりである。
Next, in the various joint portion extraction steps (step S5), the various joint portion extraction units 33 of the joint
具体的には、各種継手部分抽出行程（ステップＳ５）において、各種継手部分抽出部３３は、判別結果付き評価用映像に対して平滑化処理を行い、平滑化処理を行った判別結果付き評価用映像に基づいて継手部分画像群ＩＧを抽出する。ここで、各種継手部分抽出部３３は、平滑化処理として、配管内画像について当該画像を撮影した順に並べたときに、直管継手判別行程（ステップＳ４）にて継手画像であるとの判別がなされた配管内画像の前後の所定枚数の配管内画像については、その判別結果を直管画像と判別されたものから継手画像へと変換する処理を行う。 Specifically, in the various joint portion extraction steps (step S5), the various joint portion extraction units 33 perform a smoothing process on the evaluation image with the discrimination result, and perform the smoothing process for the evaluation with the discrimination result. The joint part image group IG is extracted based on the image. Here, as a smoothing process, the various joint portion extraction units 33 determine that the images in the pipe are joint images in the straight pipe joint determination process (step S4) when the images are arranged in the order in which they were taken. With respect to a predetermined number of in-pipe images before and after the made in-pipe image, a process is performed in which the determination result is converted from the image determined to be a straight pipe image into a joint image.
例えば、図１２に示すように、任意のフレーム（配管内画像）である当該フレームを含む１５個のフレーム（前後の７個のフレーム）の中で一つでも「各種継手」（継手画像）と判別されたフレームがあれば、当該フレームの判別結果がもともと「直管」であっても「各種継手」と処理される。そして、各種継手部分抽出部３３は、各種継手部分の抽出として、連続して「各種継手」と判別されたフレームを１つの群にまとめて、例えば図１３に示すように、「各種継手部分１」や「各種継手部分２」のような１つの継手部分画像群ＩＧを抽出する。なお、図１３に示す「直管部」は、連続する複数の直管画像の集まりである直管部分画像群である。
For example, as shown in FIG. 12, even one of the 15 frames (7 frames before and after) including the frame, which is an arbitrary frame (image in the pipe), is referred to as "various joints" (joint image). If there is a discriminated frame, even if the discriminant result of the frame is originally "straight pipe", it is treated as "various joints". Then, as an extraction of various joint portions, the various joint portion extraction units 33 continuously group the frames determined to be "various joints" into one group, and as shown in FIG. 13, for example, "various
以上のような継手部分抽出段階の次に、図２に示すように、継手判別演算段階として、特徴抽出行程（ステップＳ６）と継手判別行程（ステップＳ７）が行われる。この継手判別演算段階においては、継手部分画像群ＩＧを構成する各々の継手画像について画像処理を行い、当該画像処理を行った継手画像に基づいて継手の種類を判別する。なお、継手判別演算段階は、本開示の「継手判別演算行程」の一例である。 Following the joint partial extraction step as described above, as shown in FIG. 2, a feature extraction step (step S6) and a joint discrimination step (step S7) are performed as a joint discrimination calculation step. In this joint discrimination calculation stage, image processing is performed on each joint image constituting the joint partial image group IG, and the type of joint is discriminated based on the joint image after the image processing. The joint discrimination calculation stage is an example of the “joint discrimination calculation process” of the present disclosure.
特徴抽出行程（ステップＳ６）において、継手判別演算部１６の画像処理部４１は、継手部分画像群ＩＧを構成する継手画像について当該画像の特徴を抽出する画像処理を行う。
In the feature extraction process (step S6), the
次に、継手判別行程（ステップＳ７）において、継手判別演算部１６の継手判別部４２は、画像処理部４１にて画像処理を行った継手画像について当該画像を撮影した順に並べたときの継手画像の特徴の推移をもとに、継手の種類を判別する。
Next, in the joint discrimination process (step S7), the
ここで、継手判別演算段階において行われる継手判別方法について、詳しく説明する。本実施形態では、画像処理技術を活用し、画像の輝度変化や、各種継手形状に由来する配管内での見え方の違い等をもとに、配管Ｐを構成している継手の種類を判別する。 Here, the joint discrimination method performed in the joint discrimination calculation stage will be described in detail. In the present embodiment, the image processing technology is utilized to determine the type of the joint constituting the pipe P based on the change in the brightness of the image, the difference in the appearance in the pipe due to various joint shapes, and the like. To do.
まず、継手の種類として、エルボＥＬ（図１５参照）とストリートエルボＳＥ（図１６参照）を判別する方法について説明する。ここでは、例えば図１４に示すような配管Ｐの例を考える。図１４においては、配管Ｐの先端Ｐａ側から入口Ｐｂ側に向かって順に、ストレート管ＳＴ（直管）、エルボＥＬ、ストレート管ＳＴ、エルボＥＬ、ストレート管ＳＴ、ストリートエルボＳＥ、エルボＥＬ、ストレート管ＳＴが設けられている。 First, a method of discriminating between an elbow EL (see FIG. 15) and a street elbow SE (see FIG. 16) as a type of joint will be described. Here, for example, consider an example of the pipe P as shown in FIG. In FIG. 14, straight pipe ST (straight pipe), elbow EL, straight pipe ST, elbow EL, straight pipe ST, street elbow SE, elbow EL, straight pipe ST (straight pipe), elbow EL, straight pipe ST, elbow EL, straight pipe ST, street elbow SE, elbow EL, straight pipe P from the tip Pa side to the inlet Pb side. A tube ST is provided.
ここで、ストレート管ＳＴは、直線状に形成される円筒形状（以下、「直線円筒状」という。）の管である。また、図１５と図１６に示すように、エルボＥＬとストリートエルボＳＥは、直角または略直角に曲がっている管である。エルボＥＬは、配管Ｐを２次元的に曲げるときに使用される。その一方で、ストリートエルボＳＥは、配管Ｐを３次元的に曲げるときに使用され、エルボＥＬと組み合わせて使用される。 Here, the straight pipe ST is a cylindrical pipe (hereinafter, referred to as "straight cylindrical shape") formed in a straight line. Further, as shown in FIGS. 15 and 16, the elbow EL and the street elbow SE are tubes that are bent at right angles or substantially at right angles. The elbow EL is used when the pipe P is bent two-dimensionally. On the other hand, the street elbow SE is used when bending the pipe P three-dimensionally, and is used in combination with the elbow EL.
そこで、まず、画像処理部４１は、カメラ１１が撮影した各々の配管内画像、すなわち、継手部分抽出部１５にて抽出された継手部分画像群ＩＧを構成する各々の継手画像について、当該画像の特徴を抽出する画像処理を行う。
Therefore, first, the
具体的には、画像処理部４１は、画像処理を行うときに、継手画像の特徴として継手画像の輝度値を算出する処理を行う。なお、継手画像の輝度値は、画像中心部分の画素値の平均値である。また、継手画像の輝度値は、例えば、１枚の継手画像についてその全体の輝度の合計値または平均値であってもよい。
Specifically, the
次に、継手判別部４２は、画像処理部４１が画像処理を行った継手画像について当該画像を撮影した順に並べたときの継手画像の特徴の推移をもとに、継手の種類を判別する。
Next, the joint discriminating
ここで、エルボＥＬやストリートエルボＳＥにおいては、その内部の管路は、曲がって形成されている。そのため、カメラ１１がエルボＥＬやストリートエルボＳＥの内部を通過するときには、カメラ１１の撮影面がエルボＥＬやストリートエルボＳＥの内面に対向する。そして、このとき、カメラ１１の照明光がエルボＥＬやストリートエルボＳＥの内面に反射するので、エルボＥＬやストリートエルボＳＥの内面に反射した光が配管内画像に写り込む。したがって、カメラ１１がエルボＥＬやストリートエルボＳＥの内部を通過するときには、配管内画像が明るくなるので、配管内画像の輝度値が高くなる。 Here, in the elbow EL and the street elbow SE, the pipeline inside the elbow EL and the street elbow SE is formed by bending. Therefore, when the camera 11 passes through the inside of the elbow EL or the street elbow SE, the shooting surface of the camera 11 faces the inner surface of the elbow EL or the street elbow SE. At this time, since the illumination light of the camera 11 is reflected on the inner surface of the elbow EL or street elbow SE, the light reflected on the inner surface of the elbow EL or street elbow SE is reflected in the image inside the pipe. Therefore, when the camera 11 passes through the inside of the elbow EL or the street elbow SE, the image in the pipe becomes bright, so that the brightness value of the image in the pipe becomes high.
また、例えば図１４に示すように、配管Ｐにおいて、エルボＥＬは単独で設けられるが、ストリートエルボＳＥは単独で設けられておらずエルボＥＬとの組み合わせで設けられている。そのため、カメラ１１がエルボＥＬの内部を通過するときには一度だけ配管内画像が明るくなるが、カメラ１１がストリートエルボＳＥの内部を通過するときにはその後にエルボＥＬの内部を通過するため二度配管内画像が明るくなる。 Further, for example, as shown in FIG. 14, in the pipe P, the elbow EL is provided independently, but the street elbow SE is not provided independently but is provided in combination with the elbow EL. Therefore, when the camera 11 passes through the inside of the elbow EL, the image in the pipe becomes bright only once, but when the camera 11 passes through the inside of the street elbow SE, it passes through the inside of the elbow EL after that, so that the image in the pipe is twice. Becomes brighter.
具体的には、カメラ１１がエルボＥＬの内部を通過するときに撮影された配管内画像について、例えば図１７に示すように、図中（ｂ）〜（ｉ）の画像群において、配管内画像の輝度値が高くなる画像群が１つ（例えば、図中（ｄ）〜（ｇ）の画像群）である。そして、特に輝度値が高い配管内画像は、１枚である（例えば、図中（ｅ）の画像である）。 Specifically, regarding the image in the pipe taken when the camera 11 passes through the inside of the elbow EL, for example, as shown in FIG. 17, in the image group (b) to (i) in the figure, the image in the pipe There is one image group in which the brightness value of (for example, (d) to (g) in the figure is high). The image in the pipe having a particularly high brightness value is one (for example, the image (e) in the figure).
一方、カメラ１１がストリートエルボＳＥとエルボＥＬの組み合わせからなるものの内部を通過するときに撮影された配管内画像について、例えば図１８に示すように、図中（ｂ）〜（ｉ）の画像群において、配管内画像の輝度値が高くなる配管内画像の画像群が２つ（例えば、図中（ｂ）〜（ｄ）の画像群と図中（ｆ）〜（ｈ）の画像群）である。そして、特に輝度値が高い配管内画像は、２枚（例えば、図中（ｃ）と（ｇ）の画像）である。 On the other hand, with respect to the images in the pipe taken when the camera 11 passes through the inside of the combination of the street elbow SE and the elbow EL, for example, as shown in FIG. 18, the image groups (b) to (i) in the figure. In, there are two image groups of the in-pipe image in which the brightness value of the in-pipe image is high (for example, the image group of (b) to (d) in the figure and the image group of (f) to (h) in the figure). is there. The images in the pipe having a particularly high brightness value are two images (for example, the images (c) and (g) in the figure).
なお、図１７と図１８においては、（ａ）、（ｂ）、（ｃ）、・・・の順に、カメラ１１により撮影されたものとして示している。また、図１７と図１８の（ｂ）〜（ｉ）の画像群は、配管Ｐの軸方向について連続して撮影された所定枚数（図１７と図１８の例では、例えば８枚）の配管内画像を継手画像として選出した継手部分画像群ＩＧに相当する。 In addition, in FIG. 17 and FIG. 18, it is shown that the image was taken by the camera 11 in the order of (a), (b), (c), .... Further, in the image groups of FIGS. 17 and 18 (b) to 18 (i), a predetermined number of images (for example, 8 images in the examples of FIGS. 17 and 18) were continuously photographed in the axial direction of the pipe P. Corresponds to the joint partial image group IG in which the inner image is selected as the joint image.
そこで、本実施形態では、継手判別部４２は、継手部分画像群ＩＧにて、継手画像の輝度値の推移を確認したときに、輝度値が所定値α以上である継手画像の枚数が１枚であるときには、継手の種類はエルボＥＬであると判別する。一方、継手判別部４２は、前記の継手部分画像群ＩＧにて、継手画像の輝度値の推移を確認したときに、輝度値が所定値α以上である継手画像の枚数が２枚であるときには、継手の種類はストリートエルボＳＥとエルボＥＬの組み合わせからなるものであると判別する。
Therefore, in the present embodiment, when the
次に、継手の種類として、ソケットＳＯを判別する方法について説明する。この判別においては、画像処理部４１は、画像処理を行うときに、継手画像中の円形状部分の抽出を行う処理を行う。具体的には、画像処理部４１は、ハフ変換と呼ばれる画像中の円形状部分を抽出する処理を行う。なお、ソケットＳＯは、図１９に示すように直線円筒状の継手である。
Next, a method of determining the socket SO as a type of joint will be described. In this determination, the
そして、ソケットＳＯを判別する場合においても、継手判別部４２は、画像処理部４１が画像処理を行った継手画像について当該画像を撮影した順に並べたときの継手画像の特徴の推移をもとに継手の種類を判別する。
Then, even in the case of discriminating the socket SO, the joint discriminating
ここで、ソケットＳＯは、直線円筒状の管であり、同様に直線円筒状の管であるストレート管ＳＴと接続している。そのため、カメラ１１がソケットＳＯの内部を通過するときには、ストレート管ＳＴとソケットＳＯの接続部分、すなわち、円形状部分が配管内画像に写り込む。 Here, the socket SO is a straight cylindrical tube, and is also connected to a straight tube ST, which is also a straight cylindrical tube. Therefore, when the camera 11 passes through the inside of the socket SO, the connecting portion between the straight pipe ST and the socket SO, that is, the circular portion is reflected in the image inside the pipe.
そこで、本実施形態では、継手判別部４２は、継手画像の特徴の推移を確認したときに、継手画像の輝度値が小さい状態のまま、円形状部分が抽出されない継手画像（図２０参照）から円形状部分（図２１にて破線で示す部分）が抽出される継手画像（図２１参照）に変化したときには、継手の種類はソケットＳＯであると判別する。このようにして、継手判別部４２は、継手の種類としてソケットＳＯを判別する。
Therefore, in the present embodiment, when the joint discriminating
そこで、以上のような継手判別演算段階において行われる継手判別方法についてまとめると、継手判別部４２は、画像処理部４１にて抽出した特徴をもとに、図２２に示す手順に従って、継手の判別を行う。
Therefore, to summarize the joint discrimination method performed in the joint discrimination calculation stage as described above, the
図２２に示すように、継手部分映像、すなわち、継手部分画像群ＩＧにて、ピークが２つ以上、すなわち、輝度値が所定値α以上である継手画像の枚数が２枚以上である場合（ステップＳ２０１：ＹＥＳ）には、継手判別部４２は、継手の種類がストリートエルボＳＥとエルボＥＬの組み合わせからなるものであると判別する。例えば、図２３に示すように、ピークが２つである各種継手部分２，３については、ストリートエルボＳＥとエルボＥＬの組み合わせからなるものであると判別される。
As shown in FIG. 22, in the joint portion image, that is, in the joint portion image group IG, when the number of peaks is two or more, that is, the number of joint images having a brightness value of a predetermined value α or more is two or more ( In step S201: YES), the joint discriminating
また、継手部分画像群ＩＧにて、ピークが２つ未満である場合（ステップＳ２０１：ＮＯ）に、ピークが１つのみ、すなわち、輝度値が所定値α以上である継手画像の枚数が１枚である場合（ステップＳ２０２：ＹＥＳ）には、継手判別部４２は、継手の種類がエルボＥＬであると判別する。
Further, in the joint partial image group IG, when there are less than two peaks (step S201: NO), there is only one peak, that is, the number of joint images having a brightness value of a predetermined value α or more is one. In the case of (step S202: YES), the joint discriminating
また、継手部分画像群ＩＧにて、ピークが０である場合、すなわち、輝度値が所定値α以上である配管内画像の枚数が０枚である場合（ステップＳ２０２：ＮＯ）に、円形抽出数が１つ以上である場合、すなわち、継手画像において円形状部分が抽出された場合（ステップＳ２０３：ＹＥＳ）には、継手判別部４２は、継手の種類がソケットＳＯであると判別する。例えば、図２３に示すように、ピークが０で円形抽出が１つである各種継手部分４は、ソケットＳＯであると判別される。
Further, in the joint partial image group IG, when the peak is 0, that is, when the number of images in the pipe whose brightness value is a predetermined value α or more is 0 (step S202: NO), the number of circular extractions When there is one or more, that is, when the circular portion is extracted in the joint image (step S203: YES), the
なお、円形抽出数が０である場合、すなわち、継手画像において円形状部分が抽出されなかった場合（ステップＳ２０３：ＮＯ）には、継手判別部４２は、継手ではなくストレート管ＳＴであると判別する。例えば、図２３に示すように、ピークが０で円形抽出も０である各種継手部分１は、継手ではなくストレート管ＳＴであると判別される。
When the number of circular extractions is 0, that is, when the circular portion is not extracted in the joint image (step S203: NO), the
このようにして、継手判別部４２は、継手の種類として、エルボＥＬであるか、ストリートエルボＳＥ（詳しくは、ストリートエルボＳＥとエルボＥＬの組み合わせからなるもの）であるか、を判別する。
In this way, the joint discriminating
なお、継手判別部４２は、カメラ１１が配管Ｐの先端Ｐａから引き戻されて配管Ｐの入口Ｐｂから引き抜かれるまでの間に撮影した全ての配管内画像において、継手の種類としてエルボＥＬであると判別した回数、および、継手の種類としてストリートエルボＳＥとエルボＥＬの組み合わせからなるものであると判別した回数を集計することにより、継手の数として、エルボＥＬとストリートエルボＳＥの数を判別することができる。
The
同様に、継手判別部４２は、カメラ１１が配管Ｐの先端Ｐａから引き戻されて配管Ｐの入口Ｐｂから引き抜かれるまでの間に撮影した全ての配管内画像において、継手の種類がソケットＳＯであると判別した回数を集計することにより、ソケットＳＯの数を判別することもできる。
Similarly, in the joint discriminating
このようにして、継手判別演算部１６は、各種継手部分抽出行程（ステップＳ５）にて抽出した継手部分画像群ＩＧを用いて、継手の種類と数を判別する。
In this way, the joint
＜本実施形態の作用効果＞
以上のように本実施形態の継手判別方法および継手判別装置１において、学習段階として、まず、前処理部２１は、直管画像と各種継手画像とにラベル付けされた学習用画像に対して画像処理を行う（ステップＳ１の前処理行程）。次に、判別モデル学習部２２は、前処理部２１にて画像処理を行った学習用画像を用いて機械学習を行うことにより、直管継手判別モデルを構築する（ステップＳ２の直管継手判別モデルの学習行程）。
<Action and effect of this embodiment>
As described above, in the joint discriminating method and the
そして、このようにして学習段階にて直管継手判別モデルを構築したうえで、継手判別の実作業時に、継手部分抽出段階として、まず、前処理部３１は、配管内画像（すなわち、学習段階の前処理行程（ステップＳ１）で使用される学習用画像とは異なる画像であって、実際に継手の種類と数を判別するに当たって取得された配管内画像）に対して画像処理を行う（ステップＳ３の前処理行程）。次に、直管継手判別部３２は、前処理部３１にて画像処理を行った配管内画像を直管継手判別モデルに入力して、配管内画像が直管画像であるか継手画像であるかを判別する（ステップＳ４の直管継手判別行程）。次に、各種継手部分抽出部３３は、直管継手判別部３２における判別結果に基づいて、配管Ｐの軸方向について順に複数枚撮影した配管内画像の中から、継手部分画像群ＩＧを抽出する（ステップＳ５の各種継手部分抽出行程）。
Then, after constructing the straight pipe joint discrimination model in the learning stage in this way, at the time of the actual work of the joint discrimination, first, as the joint portion extraction step, the
そして、このようにして継手部分抽出段階にて継手部分画像群ＩＧを抽出したうえで、継手判別演算段階として、継手判別演算部１６は、継手部分画像群ＩＧを構成する各々の継手画像について画像処理を行い（ステップＳ６の特徴抽出行程）、当該画像処理を行った継手画像に基づいて継手の種類を判別する（ステップＳ７の継手判別行程）。
Then, after extracting the joint portion image group IG at the joint portion extraction stage in this way, the joint
このように、本実施形態では、複数枚撮影した配管内画像の中から抽出した継手部分画像群ＩＧを構成する各々の継手画像について画像処理を行い、当該画像処理を行った継手画像に基づいて継手の種類を判別する。そのため、作業者が配管内画像をそのまま目視で判別する場合にて生じていた作業者の違いによる判別結果の差異が無くなる。そのため、継手の判別時において、その判別基準および精度が平準化される。 As described above, in the present embodiment, image processing is performed on each joint image constituting the joint partial image group IG extracted from the images in the pipe taken by a plurality of images, and the image processing is performed based on the joint image. Determine the type of fitting. Therefore, the difference in the discrimination result due to the difference in the worker, which occurs when the worker visually discriminates the image in the pipe as it is, is eliminated. Therefore, when discriminating the joint, the discriminant standard and accuracy are leveled.
また、作業者が配管内画像をそのまま目視で判別する場合よりも、短時間で継手の種類を判別できるので、継手の判別の効率化を図ることができる。また、作業者は、カメラ１１の挿入と引抜きのみに専念でき、継手の判別を行う負担が軽減されるので、継手の判別時の作業負荷を軽減できる。 Further, since the type of the joint can be discriminated in a shorter time than when the operator visually discriminates the image in the pipe as it is, the efficiency of discriminating the joint can be improved. Further, the operator can concentrate only on inserting and pulling out the camera 11, and the burden of discriminating the joint is reduced, so that the work load at the time of discriminating the joint can be reduced.
そのため、本実施形態によれば、配管Ｐを構成する継手の判別作業の効率化および継手の判別基準や精度の平準化を図ることができる。 Therefore, according to the present embodiment, it is possible to improve the efficiency of the discriminating work of the joints constituting the pipe P and to standardize the discriminating criteria and the accuracy of the joints.
そして、さらに、本実施形態では、前記のように継手の種類を判別するに際して複数枚の配管内画像の中から継手部分画像群ＩＧを抽出するが、このとき、画像処理の技術と機械学習の技術を活用して構築した直管継手判別モデルを用いて継手部分画像群ＩＧを抽出する。 Further, in the present embodiment, the joint partial image group IG is extracted from a plurality of images in the pipe when determining the type of the joint as described above. The joint partial image group IG is extracted using the straight pipe joint discrimination model constructed by utilizing the technology.
すなわち、まず、画像処理の技術と機械学習の技術を活用し、配管Ｐを構成するストレート管ＳＴと継手について、その形状の違いに由来する配管内画像での見え方の違い等をもとに、直管継手判別モデルを構築する。ここで、配管内画像での見え方の違いとして、継手は、エルボＥＬやストリートエルボＳＥのように、湾曲形状のため壁面が大きく映りこむことや、ソケットＳＯのように直管同士をつなぐ部分が円形に映りこむなど、見え方の違いの変化が大きい。一方、ストレート管ＳＴは、形状が一様であり、見え方の違いの変化が小さい。次に、構築した直管継手判別モデルを用いて各配管内画像について直管画像か継手画像かを判別して、配管Ｐの軸方向について順に撮影した複数枚の配管内画像の中から継手部分画像群ＩＧを抽出する。 That is, first, utilizing image processing technology and machine learning technology, the straight pipe ST and the joint that make up the pipe P are based on the difference in appearance in the image inside the pipe due to the difference in shape. , Build a straight pipe joint discrimination model. Here, the difference in appearance in the image inside the pipe is that the joint has a curved shape like the elbow EL and street elbow SE, so the wall surface is greatly reflected, and the part connecting the straight pipes like the socket SO. There is a big change in the appearance, such as the reflection of the image in a circle. On the other hand, the straight tube ST has a uniform shape, and the change in appearance is small. Next, using the constructed straight pipe joint discrimination model, it is discriminated whether the image in each pipe is a straight pipe image or a joint image, and the joint portion is selected from a plurality of images in the pipe taken in order in the axial direction of the pipe P. Extract the image group IG.
これにより、カメラ１１により配管内画像を撮影するときに、任意の速度でカメラ１１の挿入・引抜きが行われて画像のフレームレートが任意である複数の配管内画像が得られた場合でも、撮影された複数の配管内画像の中から継手部分画像群ＩＧのみを精度よく抽出できる。そして、このようにして複数の配管内画像の中から継手画像のみを特定したうえで、特定した継手画像をもとに継手の種類を判別するので、継手の判別精度のさらなる向上を図ることができる。 As a result, when an image in the pipe is taken by the camera 11, even if the camera 11 is inserted / removed at an arbitrary speed and a plurality of images in the pipe having an arbitrary frame rate of the image are obtained, the image is taken. Only the joint part image group IG can be accurately extracted from the plurality of images in the pipe. Then, in this way, only the joint image is specified from the plurality of images in the pipe, and then the type of the joint is determined based on the specified joint image, so that the accuracy of the joint identification can be further improved. it can.
そして、本実施形態によれば、継手の種類と数を判別できるので、配管Ｐの容積を正確に推測でき、図２４に示すようにライニングピグＰＩＧ１を配管Ｐの先端Ｐａまで送り込む作業において、ライニングピグＰＩＧ１の到達位置の精度向上を図ることができる。また、継手の種類と数を判別できるので、配管Ｐの更生修理工法において必要な樹脂量を正確に推測できる。そのため、配管Ｐの更生修理工法において、配管Ｐの内面に精度よく樹脂の層を形成してライニングを行うことができる。 Then, according to the present embodiment, since the type and number of joints can be determined, the volume of the pipe P can be accurately estimated, and as shown in FIG. 24, the lining is used in the work of feeding the lining pig PIG1 to the tip Pa of the pipe P. It is possible to improve the accuracy of the arrival position of the pig PIG1. Further, since the type and number of joints can be determined, the amount of resin required in the rehabilitation repair method of the pipe P can be accurately estimated. Therefore, in the rehabilitation repair method of the pipe P, the resin layer can be accurately formed on the inner surface of the pipe P and the lining can be performed.
また、各種継手部分抽出行程（ステップＳ５）において、各種継手部分抽出部３３は、直管継手判別行程（ステップＳ４）における判別結果に対して平滑化処理を行い、当該平滑化処理を行った判別結果に基づいて継手部分画像群ＩＧを抽出する。そして、このとき、平滑化処理として、配管内画像について当該画像を撮影した順に並べたときに、直管継手判別行程（ステップＳ４）にて継手画像であるとの判別がなされた配管内画像の前後の所定枚数の配管内画像については、その判別結果を継手画像とする処理を行う。 Further, in the various joint partial extraction processes (step S5), the various joint partial extraction units 33 perform a smoothing process on the discrimination result in the straight pipe joint discrimination process (step S4), and perform the smoothing process. Based on the result, the joint partial image group IG is extracted. Then, at this time, as a smoothing process, when the images in the pipe are arranged in the order in which the images were taken, the image in the pipe determined to be the joint image in the straight pipe joint determination process (step S4). For a predetermined number of images in the pipe before and after, a process is performed in which the discrimination result is used as a joint image.
これにより、例えばストレート管ＳＴと継手の境界部分など、直管画像か継手画像かの判別がし難い部分が存在する場合であっても、継手部分画像群ＩＧを精度よく抽出できる。そのため、より効果的に、継手の判別精度の向上を図ることができる。 As a result, even when there is a portion where it is difficult to distinguish between the straight pipe image and the joint image, such as the boundary portion between the straight pipe ST and the joint, the joint portion image group IG can be accurately extracted. Therefore, it is possible to more effectively improve the discrimination accuracy of the joint.
また、前処理行程（ステップＳ１，Ｓ３）における画像処理として、前処理部２１，３１は、グレースケール化と、ヒストグラム平坦化と、リサイズと、画像の輝度値の範囲を０から１とする０−１正規化と、を行う。
Further, as image processing in the preprocessing steps (steps S1 and S3), the preprocessing
これにより、直管継手判別モデルを構築し易くなり、また、直管継手判別モデルを用いて配管内画像が直管画像であるか継手画像であるかを判別し易くなる。そのため、より効果的に、継手の判別精度の向上を図ることができる。 This makes it easier to build a straight pipe joint discrimination model, and also makes it easier to discriminate whether the in-pipe image is a straight pipe image or a joint image using the straight pipe joint discrimination model. Therefore, it is possible to more effectively improve the discrimination accuracy of the joint.
また、直管継手判別モデルの学習行程（ステップＳ２）では、判別モデル学習部２２は、機械学習の手法として、ディープラーニング（深層学習）を用いる。
Further, in the learning process of the straight pipe joint discrimination model (step S2), the discrimination
これにより、直管継手判別モデルを精度よく構築できる。そのため、さらに、継手の判別精度が向上する。 As a result, the straight pipe joint discrimination model can be constructed with high accuracy. Therefore, the accuracy of discriminating the joint is further improved.
なお、上記した実施の形態は単なる例示にすぎず、本開示を何ら限定するものではなく、その要旨を逸脱しない範囲内で種々の改良、変形が可能であることはもちろんである。 It should be noted that the above-described embodiment is merely an example and does not limit the present disclosure in any way, and it goes without saying that various improvements and modifications can be made without departing from the gist thereof.
例えば、本実施形態の継手判別方法や継手判別装置１は、配管Ｐとして、ガス管に限定されず、水道管などにも適用できる。
For example, the joint discrimination method and the
また、上記の説明では、カメラ１１を配管Ｐから引き抜く時にカメラ１１で撮影した配管内画像を使用したが、これに限定されず、カメラ１１を配管Ｐに挿入する時にカメラ１１で撮影した配管内画像を使用してもよい。 Further, in the above description, the image inside the pipe taken by the camera 11 when the camera 11 is pulled out from the pipe P is used, but the present invention is not limited to this, and the inside of the pipe taken by the camera 11 when the camera 11 is inserted into the pipe P is used. Images may be used.
また、継手判別部４２は、継手部分画像群ＩＧにて、継手画像の輝度値が所定値α以上である継手画像の枚数が、２枚以上の第１の所定枚数であるときに継手の種類はエルボＥＬであると判別し、第１の所定枚数よりも多い第２の所定枚数であるときに継手の種類はストリートエルボＳＥとエルボＥＬの組み合わせからなるものであると判別してもよい。
Further, the joint discriminating
また、画像処理部４１は、画像処理を行うときに、継手画像の特徴として継手画像内の円形状以外の所定形状部分（例えば、多角形の形状部分）を抽出する処理を行ってもよく。このとき、継手判別部４２は、継手画像の特徴の推移を確認したときに、所定形状部分が抽出されない継手画像から所定形状部分が抽出される継手画像に変化したときには、継手の種類は直線状の所定形状の筒状の継手であると判別してもよい。
Further, the
１ 継手判別装置
１１ カメラ
１２ 通信部
１３ 画像保存部
１４ 学習部
１５ 継手部分抽出部
１６ 継手判別演算部
１７ 表示部
２１ 前処理部
２２ 判別モデル学習部
３１ 前処理部
３２ 直管継手判別部
３３ 各種継手部分抽出部
４１ 画像処理部
４２ 継手判別部
Ｐ 配管
ＲＥ 樹脂
ＳＴ ストレート管（直管）
ＥＬ エルボ
ＳＥ ストリートエルボ
ＳＯ ソケット
ＩＧ 継手部分画像群
1 Fitting discriminating device 11
EL Elbow SE Street Elbow SO Socket IG Joint Part Image Group
Claims (5)
前記配管を構成する直管が撮影された直管画像と前記継手が撮影された継手画像とにラベル付けされた学習用画像に対して画像処理を行う学習用画像前処理行程と、
前記学習用画像前処理行程にて画像処理を行った前記学習用画像を用いて機械学習を行うことにより、前記配管内を撮影した画像である配管内画像について前記直管画像であるか前記継手画像であるかの判別結果を出力する直管継手判別モデルを構築する判別モデル学習行程と、
前記学習用画像とは異なる画像であって実際に前記継手の種類を判別するに当たって取得された前記配管内画像に対して画像処理を行う配管内画像前処理行程と、
前記配管内画像前処理行程にて画像処理を行った前記配管内画像を前記直管継手判別モデルに入力して、前記配管内画像が前記直管画像であるか前記継手画像であるかを判別する直管継手判別行程と、
前記直管継手判別行程における判別結果に基づいて、前記配管の軸方向について順に複数枚撮影した前記配管内画像中から、連続する複数の前記継手画像の集まりである継手部分画像群を抽出する継手部分抽出行程と、
前記継手部分画像群を構成する各々の前記継手画像について画像処理を行い、当該画像処理を行った前記継手画像に基づいて前記継手の種類を判別する継手判別演算行程と、
を有すること、
を特徴とする継手判別方法。 In the joint discrimination method for discriminating the types of fittings that make up piping,
A learning image preprocessing process in which image processing is performed on a learning image labeled with a straight pipe image in which the straight pipe constituting the pipe is photographed and a joint image in which the joint is photographed.
By performing machine learning using the learning image that has been image-processed in the learning image preprocessing process, the image inside the pipe, which is an image taken inside the pipe, is the straight pipe image or the joint. A discriminant model learning process for constructing a straight pipe joint discriminant model that outputs the discriminant result of whether it is an image,
An image preprocessing process in the pipe that performs image processing on the image in the pipe acquired when actually determining the type of the joint, which is an image different from the image for learning,
Image in pipe The image in pipe that has been image-processed in the preprocessing process is input to the straight pipe joint discrimination model to determine whether the image in pipe is the straight pipe image or the joint image. Straight pipe joint discrimination process and
Based on the discrimination result in the straight pipe joint discrimination stroke, a joint that extracts a joint partial image group which is a collection of a plurality of continuous joint images from the images in the pipe taken in order in the axial direction of the pipe. Partial extraction process and
An image processing is performed on each of the joint images constituting the joint partial image group, and a joint discrimination calculation process for determining the type of the joint based on the image-processed joint image.
To have
A joint discrimination method characterized by.
前記継手部分抽出行程では、
前記直管継手判別行程における判別結果に対して平滑化処理を行い、前記平滑化処理を行った前記判別結果に基づいて前記継手部分画像群を抽出し、
前記平滑化処理として、前記配管内画像について当該画像を撮影した順に並べたときに、前記直管継手判別行程にて前記継手画像であるとの判別がなされた前記配管内画像の前後の所定枚数の前記配管内画像については、その判別結果を前記継手画像とする処理を行うこと、
を特徴とする継手判別方法。 In the joint determination method of claim 1,
In the joint part extraction process,
A smoothing process is performed on the discrimination result in the straight pipe joint discrimination process, and the joint partial image group is extracted based on the discrimination result obtained by the smoothing treatment.
As the smoothing process, when the images in the pipe are arranged in the order in which the images are taken, a predetermined number of sheets before and after the image in the pipe that is determined to be the joint image in the straight pipe joint determination process. With respect to the image in the pipe, the determination result is used as the joint image.
A joint discrimination method characterized by.
前記画像処理として、グレースケール化と、ヒストグラム平坦化と、リサイズと、画像の輝度値の範囲を０から１とする０−１正規化と、を行うこと、
を特徴とする継手判別方法。 In the joint determination method of claim 1 or 2,
As the image processing, grayscale, histogram flattening, resizing, and 0-1 normalization in which the range of the brightness value of the image is 0 to 1 are performed.
A joint discrimination method characterized by.
前記判別モデル学習行程では、前記機械学習の手法として、ディープラーニングを用いること、
を特徴とする継手判別方法。 In the joint determination method according to any one of claims 1 to 3,
In the discriminant model learning process, deep learning is used as the machine learning method.
A joint discrimination method characterized by.
前記配管を構成する直管が撮影された直管画像と前記継手が撮影された継手画像とにラベル付けされた学習用画像に対して画像処理を行う学習用画像前処理部と、
前記学習用画像前処理部にて画像処理を行った前記学習用画像を用いて機械学習を行うことにより、前記配管内を撮影した画像である配管内画像について前記直管画像であるか前記継手画像であるかの判別結果を出力する直管継手判別モデルを構築する判別モデル学習部と、
前記学習用画像とは異なる画像であって実際に前記継手の種類を判別するに当たって取得された前記配管内画像に対して画像処理を行う配管内画像前処理部と、
前記配管内画像前処理部にて画像処理を行った前記配管内画像を前記直管継手判別モデルに入力して、前記配管内画像が前記直管画像であるか前記継手画像であるかを判別する直管継手判別部と、
前記直管継手判別部における判別結果に基づいて、前記配管の軸方向について順に複数枚撮影した前記配管内画像中から、連続する複数の前記継手画像の集まりである継手部分画像群を抽出する継手部分抽出部と、
前記継手部分画像群を構成する各々の前記継手画像について画像処理を行い、当該画像処理を行った前記継手画像に基づいて前記継手の種類を判別する継手判別演算部と、
を有すること、
を特徴とする継手判別装置。 In a fitting discriminating device that discriminates the types of fittings that make up a pipe
A learning image preprocessing unit that performs image processing on a learning image labeled with a straight pipe image in which the straight pipe constituting the pipe is photographed and a joint image in which the joint is photographed.
By performing machine learning using the learning image that has been image-processed by the learning image preprocessing unit, the image inside the pipe, which is an image taken inside the pipe, is the straight pipe image or the joint. A discrimination model learning unit that builds a straight pipe joint discrimination model that outputs the discrimination result of whether it is an image,
An in-pipe image preprocessing unit that performs image processing on the in-pipe image obtained when actually determining the type of the joint, which is an image different from the learning image,
The image inside the pipe image processed by the preprocessing unit is input to the straight pipe joint discrimination model to determine whether the image inside the pipe is the straight pipe image or the joint image. Straight pipe joint discriminating part and
Based on the discrimination result in the straight pipe joint discriminating portion, a joint that extracts a joint partial image group which is a collection of a plurality of continuous images of the joint from the images in the pipe taken in order in the axial direction of the pipe. Partial extraction part and
An image processing is performed on each of the joint images constituting the joint partial image group, and a joint discrimination calculation unit that determines the type of the joint based on the image of the joint that has undergone the image processing.
To have
A joint discriminating device characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020059906A JP6890193B1 (en) | 2020-03-30 | 2020-03-30 | Joint discrimination method and joint discrimination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020059906A JP6890193B1 (en) | 2020-03-30 | 2020-03-30 | Joint discrimination method and joint discrimination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6890193B1 true JP6890193B1 (en) | 2021-06-18 |
| JP2021156829A JP2021156829A (en) | 2021-10-07 |
Family
ID=76429574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020059906A Active JP6890193B1 (en) | 2020-03-30 | 2020-03-30 | Joint discrimination method and joint discrimination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6890193B1 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3802594B2 (en) * | 1995-11-01 | 2006-07-26 | オリンパス株式会社 | Wound inspection apparatus and endoscope apparatus provided with the same |
| JPH11223086A (en) * | 1998-02-06 | 1999-08-17 | Osaka Gas Co Ltd | Contact target identification method in work other than cut and cover tunneling work |
| JP2009250943A (en) * | 2008-04-11 | 2009-10-29 | Nec Corp | Method and system for lattice distortion measurement |
| JP6668106B2 (en) * | 2016-02-26 | 2020-03-18 | 株式会社水道技術開発機構 | In-pipe inspection method and flexible joint |
| JP6809689B2 (en) * | 2016-05-26 | 2021-01-06 | 桂川電機株式会社 | Transport device |
| JP7050470B2 (en) * | 2017-11-21 | 2022-04-08 | 千代田化工建設株式会社 | Inspection support system, learning device, and judgment device |
| JP2019138755A (en) * | 2018-02-09 | 2019-08-22 | オリンパス株式会社 | Tube traveling device |
-
2020
- 2020-03-30 JP JP2020059906A patent/JP6890193B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021156829A (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192198B (en) | Pipeline panoramic scanning method based on pipeline robot | |
| US10931871B2 (en) | Pipeline detection method and apparatus, and storage medium | |
| CN109829904B (en) | Method and device for detecting dust on screen, electronic equipment and readable storage medium | |
| CN113284109B (en) | Pipeline defect identification method, device, terminal equipment and storage medium | |
| CN110378884B (en) | Method for carrying out eccentricity correction and expansion transformation on in-tube visual detection video | |
| CN110598792B (en) | Drainage pipeline defect detection training data generation method based on PGGAN transfer learning | |
| JP2014006222A (en) | Method and apparatus for detecting change of concrete surface | |
| JP7412983B2 (en) | Information processing device, information processing method, and program | |
| CN104899891B (en) | A kind of method, apparatus and uterine cavity suction device identifying pregnant bursa tissue | |
| CN110473189A (en) | A kind of definition of text images judgment method and system | |
| CN110130987B (en) | Tunnel convergence deformation monitoring method based on image analysis | |
| JP2012202859A (en) | Method of detecting deformed area on concrete surface | |
| JP6890193B1 (en) | Joint discrimination method and joint discrimination device | |
| CN113763363A (en) | Drainage pipeline fracture defect detection and grade evaluation method | |
| CN109767426B (en) | Shield tunnel water leakage detection method based on image feature recognition | |
| CN114399505B (en) | Detection method and detection device in industrial detection | |
| CN116805416A (en) | Drainage pipeline defect identification model training method and drainage pipeline defect identification method | |
| JP6913782B1 (en) | Joint discrimination method and joint discrimination device | |
| CN112070748A (en) | Metal oil pipe defect detection method and device | |
| CN112285876A (en) | Camera automatic focusing method based on image processing and bubble detection | |
| CN116625249A (en) | Workpiece automatic detection method and device based on 2D and 3D vision and related medium thereof | |
| CN115234845A (en) | Oil-gas pipeline inner wall defect image visual detection method based on projection model | |
| CN110823920A (en) | Device, system and method for collecting surface defects of inner hole side wall | |
| CN110320211A (en) | Small-bore pipeline inner wall defect identification device based on digital picture | |
| GB2624002A (en) | Method and system for characterizing perforations in a tubular |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6890193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |