JP2021156654A - Device, method, and program for specifying sewer damage - Google Patents
Device, method, and program for specifying sewer damage Download PDFInfo
- Publication number
- JP2021156654A JP2021156654A JP2020055269A JP2020055269A JP2021156654A JP 2021156654 A JP2021156654 A JP 2021156654A JP 2020055269 A JP2020055269 A JP 2020055269A JP 2020055269 A JP2020055269 A JP 2020055269A JP 2021156654 A JP2021156654 A JP 2021156654A
- Authority
- JP
- Japan
- Prior art keywords
- damage
- image
- pipe
- peripheral surface
- inner peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 16
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 26
- 230000002093 peripheral effect Effects 0.000 claims description 116
- 238000011161 development Methods 0.000 claims description 51
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008595 infiltration Effects 0.000 claims description 6
- 238000001764 infiltration Methods 0.000 claims description 6
- 239000004570 mortar (masonry) Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000009545 invasion Effects 0.000 claims 2
- 230000018109 developmental process Effects 0.000 description 45
- 238000007689 inspection Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 239000010865 sewage Substances 0.000 description 9
- 239000000463 material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Pipeline Systems (AREA)
- Image Analysis (AREA)
- Sewage (AREA)
Abstract
Description
本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。 The present invention relates to a culvert damage identification device, a culvert damage identification method and a culvert damage identification program, and more particularly to a computer-embedded image analysis program and an apparatus for identifying culvert damage from identification results by artificial intelligence.
インフラ構造物の老朽化は加速度的に進んでおり,維持管理・更新の必要性は,今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているAIによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。 The aging of infrastructure structures is accelerating, and it is said that the need for maintenance and renewal will increase further in the future. As the working population continues to decline, improving the efficiency of labor related to maintenance and renewal has become an urgent issue. In order to improve the efficiency of labor related to maintenance and renewal, there are an increasing number of research cases in which AI-based image recognition technology, whose performance has improved significantly in recent years, is applied. By using an advanced neural network called deep learning, it is possible to realize image recognition that is close to human intuition, which was difficult in the past, and it can be expected to assist or replace the visual inspection of damaged parts.
一方、管渠などインフラ構造物の検査においては、例えば、特許文献1および特許文献2に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。 On the other hand, in the inspection of infrastructure structures such as pipes, for example, as in the techniques described in Patent Documents 1 and 2, a photographing device such as a television camera is used in the main body of the device to be inserted into the flow path tube to be investigated. A lighting device such as a fluorescent lamp was installed, and damage was investigated based on the in-tube image taken by the photographing device.
しかしながら、上記文献に記載の技術では、撮影した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管渠の損傷の特定を行うことができなかった。 However, in the technique described in the above document, the worker visually investigates the photographed in-pipe image, and it is easy for oversights and mistakes to occur, and the damage to the pipe can be identified with high accuracy. I couldn't.
上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得部と、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の任意の位置で切り開いて展開して得られる複数の第1平面画像を生成する第1平面画像生成部と、
複数の前記第1平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数の前記第1平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の任意の位置で切り開いて展開して得られる複数の第2平面画像を生成する第2平面画像生成部と、
複数の前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定部と、
を備えた。
In order to achieve the above object, the pipe damage identification device according to the present invention is
An image acquisition unit that acquires an image of the first inner peripheral surface that is an image of the inner peripheral surface of the first pipe, and
A first plane image generation unit that generates a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination unit that determines the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination unit.
Model generation that assigns an identifier that can identify the determined first damage and trains artificial intelligence together with the determined first damage together with a plurality of the first plane images to generate a trained damage specific model. Department and
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation unit that generates a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
Using the plurality of the second plane images and the learned damage identification model, a damage identification part for identifying the second damage occurring in the second pipe, and a damage identification portion.
Equipped with.
上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得ステップと、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の任意の位置で切り開いて展開して得られる複数の第1平面画像を生成する第1平面画像生成ステップと、
複数の前記第1平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の任意の位置で切り開いて展開して得られる複数の第2平面画像を生成する第2平面画像生成ステップと、
複数の前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
を含む。
In order to achieve the above object, the method for identifying pipe damage according to the present invention is:
An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
including.
上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第1管渠の内周面を撮像した第1内周面画像を取得する画像取得ステップと、
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の任意の位置で切り開いて展開して得られる複数の第1平面画像を生成する第1平面画像生成ステップと、
複数の前記第1平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の任意の位置で切り開いて展開して得られる複数の第2平面画像を生成する第2平面画像生成ステップと、
複数の前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。
In order to achieve the above object, the pipe damage identification program according to the present invention
An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
Let the computer run.
本発明の管渠損傷特定装置によれば、人工知能に効率的に学習させることができ、精度の高い学習済みモデルを生成できるので、精度の高い管渠の損傷の特定を行うことができる。 According to the culvert damage identification device of the present invention, artificial intelligence can be trained efficiently and a trained model with high accuracy can be generated, so that the culvert damage can be identified with high accuracy.
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 Hereinafter, embodiments for carrying out the present invention will be described in detail exemplarily with reference to the drawings. However, the configuration, numerical values, processing flow, functional elements, etc. described in the following embodiments are merely examples, and modifications and changes thereof are free, and the technical scope of the present invention is limited to the following description. It is not intended to be done.
[第1実施形態]
本発明の第1実施形態としての管渠損傷特定装置100について、図1〜図5Bを用いて説明する。管渠損傷特定装置100は、管渠に発生した損傷を特定するために用いられる。図1は、本実施形態に係る管渠損傷特定装置100による管渠損傷の特定の概要について説明するための図である。
[First Embodiment]
The pipe
ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。本実施形態においては、管渠として下水管150を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。
Here, the pipe is a general term for waterways, and refers to the entire waterway created for the purpose of water supply and drainage. For example, water pipes, sewer pipes, drain pipes, water supply pipes and the like are included. In the present embodiment, the
また、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。なお、以下の説明では、下水管150の直径は、作業員が下水管150内に入って作業することができない程度の大きさであり、例えば、φ200〜φ800の下水管150を想定して説明をするが、下水管150の直径は、これには限定されない。
Further, the damage includes cracks, cracks, scratches, etc. generated in the pipe, but also includes a state in which the performance expected of the pipe cannot be exhibited. In the following description, the diameter of the
下水管150の内部の検査においては、自走式検査ロボット140のカメラ142で撮像した下水管150の内周面の画像を用いた検査が行われている。作業員は、下水管150の外部に設置されたディスプレイなどを用いて、カメラ142で撮像した画像を確認し、下水管150に損傷が発生しているか否かの検査を行う。制御部141は、自走式検査ロボット140の自走速度や撮像スケジュール、撮像条件を制御したり、管渠損傷特定装置100や作業員が所持するタブレット端末130との間の通信を制御したりする。作業員は、例えば、タブレット端末130にインストールされた操作用アプリケーションを用いて、自走式検査ロボット140を操作する。なお、自走式検査ロボット140が入れないような、直径の小さな下水管150の場合、自走式検査ロボット140の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。
In the inspection of the inside of the
そして、制御部141は、カメラ142で撮像した内周面画像110(160)を、管渠損傷特定装置100に送信する。なお、内周面画像110は、人工知能による学習のための画像であり、内周面画像160は、損傷を特定したい画像である。また、カメラ142は、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、1周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで内周面画像110(160)を生成してもよい。
Then, the
また、内周面画像110(160)は、所定の間隔(例えば、0.1m)で輪切りにされる。例えば、下水管150の継手から継手の間を1ユニットとした場合に、1ユニットごとに撮像した画像(内周面画像110(160))を輪切りにして、輪切り画像143を得てもよい。また、例えば、下水管150の全長において撮像した画像(内周面画像110(160))を輪切りにして、輪切り画像143を得てもよい。
Further, the inner peripheral surface image 110 (160) is sliced at predetermined intervals (for example, 0.1 m). For example, when one unit is formed between the joints of the
次に、管渠損傷特定装置100による、学習済み損傷特定モデルの生成について説明する。管渠損傷特定装置100は、受信した内周面画像110(学習用画像)の輪切り画像143を、内周面画像110における下水管150の任意の位置で切り開いて展開して、2次元の平面画像を得る。すなわち、管渠損傷特定装置100は、内周面画像110を、下水管150の天井部分、底部部分および側部部分で切り開いて展開した、天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を生成する。
Next, the generation of the trained damage identification model by the conduit
天井展開平面画像101においては、下水管150の底部部分111が帯状の平面画像の中央に位置し、切開位置である天井部分112、113が左右両端に位置している。同様に、底部展開平面画像102においては、天井部分121が帯状の平面画像の中央に位置し、切開位置である底部部分122、123が左右両端に位置している。さらに、側部展開平面画像103においては、例えば、切開位置と線対称な位置に対応する部分131が帯状の平面画像の中央に位置し、切開位置の両端132、133が帯状の平面画像の左右両端に位置している。そして、管渠損傷特定装置100は、天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を用いて、下水管150に発生した損傷を特定し、損傷が特定されたこれらの画像(101〜103)を人工知能に学習させて、学習済み損傷特定モデルを生成する。
In the ceiling
次に、管渠損傷特定装置100による、損傷の特定について説明する。管渠損傷特定装置100は、損傷を特定したい下水管170の内周面画像160について、内周面画像110と同様に、天井展開平面画像161、底部展開平面画像162および側部展開平面画像163を生成する。そして、管渠損傷特定装置100は、生成した天井展開平面画像161、底部展開平面画像162および側部展開平面画像163と学習済み損傷特定モデルとを用いて、下水管170に発生している損傷を特定する。
Next, identification of damage by the pipe
特定された損傷は、例えば、作業員が所持するタブレット端末130などの携帯端末に出力される。作業員は、タブレット端末130のディスプレイに表示された特定結果を参照して、下水管170に発生している損傷を認識する。なお、管渠損傷特定装置100は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、管渠損傷特定装置100は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
The identified damage is output to a mobile terminal such as a
図2は、本実施形態に係る管渠損傷特定装置100の構成を説明するためのブロック図である。管渠損傷特定装置100は、画像取得部201、平面画像生成部202、損傷決定部203、モデル生成部204、画像受付部205、平面画像生成部206、損傷特定部207および出力部208を有する。
FIG. 2 is a block diagram for explaining the configuration of the pipe
ここで、管渠損傷特定装置100は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ネットワークインターフェース、およびストレージを有する。ここで、CPUは、演算制御用のプロセッサであり、プログラムを実行することで図2に示した管渠損傷特定装置100の各機能構成を実現する。CPUは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROMは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、CPUは、1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインターフェースは、CPUとは独立した他のCPUを有して、RAMの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAMとストレージとの間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい。さらに、CPUは、RAMにデータが受信あるいは転送されたことを認識してデータを処理する。また、CPUは、処理結果をRAMに準備し、後の送信あるいは転送はネットワークインターフェースやDMACに任せる。
Here, the conduit
RAMは、CPUが一時記憶のワークエリアとして使用するメモリである。RAMには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、管渠損傷特定装置100の全体を制御するための制御プログラムが記憶されている。
The RAM is a memory used by the CPU as a temporary storage work area. An area for storing data necessary for realizing the present embodiment is secured in the RAM. The storage stores a database, various parameters, modules, or data or programs necessary for realizing the present embodiment. For example, the storage stores a control program for controlling the entire pipe
さらに、管渠損傷特定装置100は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはGPS(Global Positioning System)位置判定部が接続されてもよい。なお、RAMやストレージには、管渠損傷特定装置100が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。
Further, the pipe
画像取得部201は、下水管150の内周面を撮像した内周面画像110を取得する。画像取得部201は、自走式検査ロボット140の制御部141から内周面画像110を取得してもよいし、作業員が所持するタブレット端末130を経由して取得してもよい。なお、内周面画像110は、後の人工知能による学習に用いられる画像である。
The
平面画像生成部202は、内周面画像110を、内周面画像110における任意の位置で切り開いて展開して得られる複数の平面画像を生成する。平面画像生成部202は、複数の平面画像の1つとして、内周面画像110における下水管150の天井部分から切り開いて展開して得られる天井展開平面画像101を生成する。
The plane
また、平面画像生成部202は、複数の平面画像の1つとして、内周面画像110における下水管150の底部部分から切り開いて展開して得られる底部展開平面画像102を生成する。さらに、平面画像生成部202は、複数の平面画像の1つとして、内周面画像110における下水管150の側部部分から切り開いて展開して得られる側部展開平面画像103を生成する。
Further, the plane
このように、平面画像生成部202は、3種類の平面画像として、天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を生成する。
In this way, the plane
ここで、図3Aを参照して、下水管150の内周面における損傷の発生傾向について説明する。図3Aは、本実施形態に係る管渠損傷特定装置100により特定される損傷の管渠内における発生位置の分布を説明するための図である。X軸は、左右方向の損傷の位置を示し、Y軸は、上下方向の損傷の位置を示している。
Here, with reference to FIG. 3A, the tendency of damage to occur on the inner peripheral surface of the
分布図301は、破損およびクラック、分布図302は、浸入水、分布図303は、取付管の突出し、分布図304は、その他の損傷を示している。各点が、各損傷の発生した位置を示している。また、点の密度が高い場所は、損傷の発生頻度が高いことを示している。
破損、クラックおよび浸入水(分布図301、分布図302)については、上下中央付近には分布が少ないことが分かる。すなわち、下水管150の天井部分および底部部分を除く部分、例えば、肩部分や側部部分、下部側部部分に多く分布していることが分かる。取付管の突出し(303)については、上下に分布が多いことが分かる。すなわち、下水管150の天井部分や底部部分に多く分布していることが分かる。
It can be seen that the distribution of breakage, cracks and infiltrated water (
このように、損傷の種類に応じて、出現位置に特徴があり、このような特徴を利用して輪切り画像143や内周面画像110を切り開いて展開すれば、切り口の位置に損傷が存在する可能性が著しく低下する。そのため、損傷が分断されることにより発生する不具合に対する手当をする手間を省くことが可能となるので、より早く、多く、効率的に画像を人工知能に学習させることができる。
As described above, there is a feature in the appearance position according to the type of damage, and if the
次に、図3Bを参照して、平面画像生成部202による内周面画像110の切開位置および展開について説明する。図3Bは、本実施形態に係る管渠損傷特定装置100の平面画像生成部による内周面画像の切開位置および展開について説明するための模式図である。図3(a)は、内周面画像110の正面図、図3(b)は、内周面画像110の斜視図を示している。なお、同図においては、図が煩雑になるのを避けるため、下水管150の厚みなどは省略している。
Next, with reference to FIG. 3B, the incision position and development of the inner
図3B(a)に示したように、損傷の種類に応じて、内周面画像110の切開位置が変化する。内周面画像110の切開位置は、天井部分311、底部部分312、左側側部部分313、右側側部部分314の4つの領域に分けられる。なお、左側側部部分313および右側側部部分314は、下水管150の中心軸に対して線対称な関係にある。
As shown in FIG. 3B (a), the incision position of the inner
図3B(b)に示したように、例えば、平面画像生成部202は、コンピュータ上において、ナイフ315などの切開ツールを用いて内周面画像110(輪切り画像143)を切開する。そして、平面画像生成部202は、切開された内周面画像110を矢印(316、317)方向に広げるように展開して、2次元の平面画像を得る。具体的には、平面画像生成部202は、例えば、下水管150に発生した損傷が破損である場合、底部部分312または左側側部部分313(右側側部部分314)で切り開いて展開した底部展開平面画像102、側部展開平面画像103を生成する。
As shown in FIG. 3B (b), for example, the plane
再び図2に戻り、損傷決定部203による損傷の決定について説明する。損傷決定部203は、天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を用いて、下水管150に発生している損傷を決定する。損傷の種類は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。なお、損傷決定部203は、物体検知(Object Detection)を用いて、損傷の発生している領域を検出する。物体検知のアルゴリズムとして、Faster R−CNN(Faster Region with Convolution Neural Network)を用いた。
Returning to FIG. 2 again, the damage determination by the
ここで、図4A〜図4Eを参照して、損傷決定部203による損傷の決定について具体的に説明する。図4Aを参照して、損傷が破損およびクラックの場合の損傷の検知について説明する。図4Aは、本実施形態に係る管渠損傷特定装置100における損傷(破損・クラック)の決定について説明するための図である。画像401は、下水管150の内周面に破損またはクラックが発生している状態を示している。ここで、破損は、横方向に入ったひびであり、クラックは、縦方向(周方向)に入ったひびである。
Here, with reference to FIGS. 4A to 4E, the damage determination by the
下水管150に発生している損傷が、破損およびクラックの場合、これらの損傷は、別事象の損傷としてラベル付けを行う。内周面画像110において、白または黒い筋を破損またはクラックとする。クラックの場合、ひび割れの方向が縦横混在している場合や、斜めにひび割れしている場合などには、破損として取り扱う。例えば、縦のひび割れの場合、概ね30°以内の傾きはクラックとして取り扱う。
If the damage occurring in the
破損個所またはクラック箇所が継手部411を跨いで左右に広がっている場合には、損傷決定部203は、1つのボックスで損傷を検知しない。損傷決定部203は、継手部411を境に、ボックスを2つに分割して、2つのボックス412、413を用いて、2つの損傷として検知する。
When the damaged portion or the cracked portion extends to the left and right across the
また、同様に、破損箇所またはクラック箇所が、流水部414(下水管150の底部)を跨いで上下に広がっている場合には、損傷決定部203は、1つのボックスで損傷を検知しない。損傷決定部203は、流水部414を境にボックスを2つに分割して、2つのボックス415、416を用いて、2つの損傷として検知し、損傷を決定する。
Similarly, when the damaged portion or the cracked portion extends vertically across the flowing water portion 414 (bottom of the sewer pipe 150), the
次に、図4Bを参照して、狭い範囲に小型の損傷が複数存在する場合の損傷の検知について説明する。図4Bは、本実施形態に係る管渠損傷特定装置100における損傷(破損・クラック)の決定について説明するための他の図である。画像402は、狭い範囲に小型の破損またはクラックが発生している状態を示している。
Next, with reference to FIG. 4B, damage detection when a plurality of small damages are present in a narrow range will be described. FIG. 4B is another diagram for explaining the determination of damage (damage / crack) in the pipe
狭い範囲に小型の破損等が複数発生している場合、損傷決定部203は、図4C左図に示したように、2つのボックス421、422を用いて、複数の損傷として取り扱わない。損傷決定部203は、図4C右図に示したように、複数の損傷を1つのボックス423で取り囲み、1つの損傷として取り扱う。このように、狭い領域に小型の損傷が複数存在する場合には、これらの損傷をまとめて取り扱うことにより、効率よく損傷を検知し、決定できる。
When a plurality of small damages or the like occur in a narrow range, the
次に、図4Cを参照して、損傷が浸入水の場合の損傷の検知について説明する。図4Cは、本実施形態に係る管渠損傷特定装置100における損傷(浸入水)の決定について説明するための図である。画像403は、浸入水が発生している状態を示している。画像403の上段は、左から順に、黒くにじんだ部分、茶色の部分(土の流出部分)、白色部分(遊離石灰)を示し、これら全てを浸入水として扱う。
Next, with reference to FIG. 4C, detection of damage when the damage is infiltrated water will be described. FIG. 4C is a diagram for explaining the determination of damage (infiltrated water) in the pipe
そして、画像403の下段に示したように、浸入水の場合、損傷決定部203は、浸入水の中心部分431から、同程度の色味が続いている部分までをボックス432で囲む。ただし、損傷決定部203は、土、遊離石灰の場合には、白色でない部分までをボックス432で囲む。より具体的には、損傷決定部203は、浸入水の原因となる継手部分や破損部分を中心にボックス432で損傷を囲み、物体検知する。例えば、損傷が原因となって浸入水が発生した場合、損傷決定部203は、破損および浸入水として決定する。
Then, as shown in the lower part of the
次に、図4Dを参照して、損傷が判別の難しい浸入水の場合の損傷の検知について説明する。図4Dは、本実施形態に係る管渠損傷特定装置100における損傷(浸入水)の決定について説明するための他の図である。画像404の上段は、左右の継手部分442、443から浸入水が流出し、2つの浸入水の境界がはっきりしない状態を示している。この場合、損傷決定部203は、1つのボックス441で浸入水を囲み、1つの損傷として取り扱う。また、画像404の下段の2枚の画像に示したように、浸入水のにじみと流水跡との見分けが困難な場合、浸入水の原因と考えられる継手部分または破損部分から延びる浸入水痕と流水跡とが接続しているか否かを判断基準として、ボックス444で損傷を取り囲む。
Next, with reference to FIG. 4D, the detection of damage in the case of infiltrated water whose damage is difficult to determine will be described. FIG. 4D is another diagram for explaining the determination of damage (infiltrated water) in the pipe
最後に、図4Eを参照して、小型の浸入水の検知について説明する。図4Eは、本実施形態に係る管渠損傷特定装置100における損傷(浸入水)の決定について説明するためのさらに他の図である。画像405は、小型の浸入水を示している。損傷決定部203は、小型の浸入水も検知対象とするが、例えば、流水路近辺の小さいもの(大きさから流水路からの這い上がり跡と推測されるもの)や、横幅が小さいものは検知の対象外とする。ただし、ある程度にじみが上に伸びている、またはにじみが分離しかかっているものは検知対象451とする。浸入水のような跡があるが、乾いてコントラストが低いものは対象外とする。
Finally, the detection of small infiltrated water will be described with reference to FIG. 4E. FIG. 4E is still another diagram for explaining the determination of damage (infiltrated water) in the pipe
再び図2に戻る。モデル生成部204は、決定された損傷を識別可能な識別子(ID:Identifier)を付与する。モデル生成部204は、識別子として、例えば、損傷の範囲(大きさ)、その損傷の名称、損傷の属性(古い、新しい、色)などを天井展開平面画像101、底部展開平面画像102および側部展開平面画像103に付与する。なお、この識別子は、天井展開平面画像101、底部展開平面画像102および側部展開平面画像103に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。
Return to FIG. 2 again. The
そして、モデル生成部204は、付与した識別子、決定された損傷とともに天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を人工知能(AI:Artificial Intelligence)に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部204は、学習済み損傷特定モデルを生成する。なお、モデル生成部204は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像(天井展開平面画像101、底部展開平面画像102および側部展開平面画像103)を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。
Then, the
また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部204は、人工知能による機械学習の精度を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内周面画像110の数を水増しする。モデル生成部204は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部204は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。
In addition, machine learning by artificial intelligence is performed using a known algorithm. In machine learning, the loss function is weighted and the reciprocal of the number of events is adopted. In addition, the
なお、生成された学習済み損傷特定モデルの評価には、再現率(Recall)および適合率(Precision)を用いた。再現率は、再現率=TP/(TP+FN)で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である(網羅性に関する指標)。適合率は、適合率=TP/(TP+FP)で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である(正確性に関する指標)なお、TP=真陽性(True Positive)、FP=偽陽性(False Positive)、FN=偽陰性(False Negative)である。 The recall rate (Recall) and precision rate (Precision) were used to evaluate the generated trained damage specific model. The recall rate is expressed as recall rate = TP / (TP + FN), and indicates the ratio of those that actually appeared among those that should appear as a result. In other words, it is an index related to whether or not there is any omission (index related to completeness). The conformance rate is represented by the conformance rate = TP / (TP + FP), and indicates the ratio of correct ones. It is an index showing the ratio of how many correct answers are included in all the results that came out (index related to accuracy). TP = True Positive, FP = False Positive. , FN = False Negative.
画像受付部205は、管渠としての下水管170の内周面を撮像した内周面画像160を受け付ける。つまり、画像受付部205は、制御部141が送信した自走式検査ロボット140が撮像した内周面画像160を受け付ける。内周面画像160は、検査対象となる下水管170の画像であり、発生している損傷を特定したい下水管である。
The
平面画像生成部206は、平面画像生成部202と同様に、平面画像を生成する。すなわち、平面画像生成部206は、内周面画像160を、内周面画像160における下水管170の天井部分から切り開いて展開して得られる天井展開平面画像161を生成する。同様に、平面画像生成部206は、内周面画像160における下水管170の底部部分から切り開いて展開して得られる底部展開平面画像162を生成する。さらに、平面画像生成部206は、内周面画像160における下水管170の側部部分から切り開いて展開して得られる側部展開平面画像163を生成する。
The plane
つまり、平面画像生成部206は、まず、画像受付部205が受け付けた内周面画像160から輪切り画像を生成する。そして、平面画像生成部206は、輪切り画像から天井展開平面画像161、底部展開平面画像162および側部展開平面画像163を生成する。なお、輪切り画像は、予め自走式検査ロボット140において生成しておき、画像受付部205は、自走式検査ロボット140により生成された輪切り画像を取得してもよい。
That is, the plane
損傷特定部207は、天井展開平面画像161、底部展開平面画像162、側部展開平面画像163および学習済み損傷特定モデルを用いて、下水管170に発生している損傷を特定する。損傷特定部207による損傷の特定方法は、例えば、図5Aに示す損傷特定テーブル500を参照して特定する方法がある。
The
図5Aは、本実施形態に係る管渠損傷特定装置100が有する損傷特定テーブル500の一例を説明するための図である。損傷特定テーブル500は、損傷の種類501に関連付けて管渠材質502を記憶する。損傷の種類501は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。
FIG. 5A is a diagram for explaining an example of a damage identification table 500 included in the pipe
管渠材質502は、コンクリートおよび陶器を含む。例えば、管渠材質502が、コンクリートの場合、すなわち、コンクリート管の場合、損傷の種類501にある破損として、内部構造の露出、鉄筋露出および錆汁などを含めてもよい。そして、損傷特定部207は、損傷特定テーブル500を参照して、下水管170に発生している損傷を特定する。損傷特定テーブル500に含まれる損傷の種類501は、発生頻度が高い損傷や見逃すことのできない損傷を含んでいる。このように、予め管渠の材質と発生する損傷との組み合わせを決めておくことにより、管渠の材質から考えて発生し得ない損傷を排除することができるので、効率的な損傷特定を行うことが可能となる。
図5Bは、本実施形態に係る管渠損傷特定装置100が有する切開位置テーブル510の一例を説明するための図である。切開位置テーブル510は、損傷の種類501に関連付けて切開位置512を記憶する。切開位置512は、内周面画像110、160において、これらの画像を切り開く位置を示している。平面画像生成部202、206は、切開位置テーブル510を参照して、内周面画像110、160の切開位置を決定する。
FIG. 5B is a diagram for explaining an example of the incision position table 510 included in the pipe
再び図2に戻る。出力部208は、特定された損傷をタブレット端末130などの携帯端末へ出力する。また、作業員は、タブレット端末130のディスプレイに表示された特定結果を参照することにより、下水管170に発生している損傷を認識できる。出力部208は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部208は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
Return to FIG. 2 again. The
図6Aは、本実施形態に係る管渠損傷特定装置100の処理手順を説明するためのフローチャートである。図6Bは、本実施形態に係る管渠損傷特定装置100の処理手順を説明するための他のフローチャートである。図6Aおよび図6Bに示したフローチャートは、管渠損傷特定装置100の不図示のCPU(Central Processing Unit)が、ROM(Read Only Memory)、RAM(Random Access Memory)を用いて実行し、図2に示した管渠損傷特定装置100の各機能構成を実現する。
FIG. 6A is a flowchart for explaining a processing procedure of the pipe
ステップS601において、画像取得部201は、機械学習用の画像として、下水管150の内周面画像110を取得する。ステップS603において、平面画像生成部202は、内周面画像110を下水管150の天井部分、底部部分および側部部分から切り開いて展開した天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を生成する。ステップS605において、損傷決定部203は、天井展開平面画像101、底部展開平面画像102および側部展開平面画像103を用いて、下水管150に発生している損傷を決定する。
In step S601, the
ステップS607において、モデル生成部204は、決定された損傷を識別可能な識別子を付与して、決定された損傷とともに天井展開平面画像101、底部展開平面画像102および側部展開平面画像103とともに人工知能に入力する。ステップS609において、モデル生成部204は、人工知能による機械学習が終了したか否かを判定する。人工知能による機械学習が終了していないと判定した場合(ステップS609のNO)、モデル生成部204は、人工知能による機械学習を継続させる。人工知能による機械学習が終了したと判定された場合(ステップS609のYES)、管渠損傷特定装置100は、ステップS611へ進む。ステップS611において、モデル生成部204は、学習済み損傷特定モデルを生成する。
In step S607, the
ステップS631において、画像受付部205は、下水管170の内周面を撮像した内周面画像160を受け付ける。ステップS633において、平面画像生成部206は、内周面画像160を下水管170の天井部分、底部部分および側部部分から切り開いて展開した天井展開平面画像161、底部展開平面画像162および側部展開平面画像163を生成する。ステップS635において、天井展開平面画像161、底部展開平面画像162、側部展開平面画像163および生成した学習済み損傷特定モデルを用いて、下水管170に発生している損傷を特定する。
In step S631, the
ステップS637において、出力部208は、特定結果を出力する。ステップS539において、管渠損傷特定装置100は、受付した全ての内周面画像160について、損傷の特定が終了しているか否かを判定する。受付した全ての内周面画像160の損傷の特定が終了していないと判定した場合(ステップS539のNO)、管渠損傷特定装置100は、ステップS533へ戻る。受付した全ての内周面画像160の損傷の特定が終了したと判定した場合(ステップS539のYES)、管渠損傷特定装置100は、処理を終了する。
In step S637, the
本実施形態によれば、損傷の種類に応じて、内周面画像の切り開き方を変え、人工知能に学習させるので、効率よく、短時間で学習ができ、精度の高い学習済み損傷特定モデルを生成でき、精度高く損傷を特定できる。 According to this embodiment, since the method of cutting the inner peripheral surface image is changed according to the type of damage and the artificial intelligence is trained, it is possible to learn efficiently and in a short time, and a highly accurate trained damage identification model can be obtained. It can be generated and damage can be identified with high accuracy.
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
[Other Embodiments]
Although the invention of the present application has been described above with reference to the embodiment, the invention of the present application is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the structure and details of the present invention. Also included in the scope of the present invention are systems or devices in which the different features contained in each embodiment are combined in any way.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。
Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when the information processing program that realizes the functions of the embodiment is supplied directly or remotely to the system or device. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium containing the program, and a WWW (World Wide Web) server for downloading the program are also included in the scope of the present invention. .. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the scope of the present invention.
Claims (11)
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の任意の位置で切り開いて展開して得られる複数の第1平面画像を生成する第1平面画像生成部と、
複数の前記第1平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定部と、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに複数の前記第1平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の任意の位置で切り開いて展開して得られる複数の第2平面画像を生成する第2平面画像生成部と、
複数の前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定部と、
を備えた管渠損傷特定装置。 An image acquisition unit that acquires an image of the first inner peripheral surface that is an image of the inner peripheral surface of the first pipe, and
A first plane image generation unit that generates a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination unit that determines the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination unit.
Model generation that assigns an identifier that can identify the determined first damage and trains artificial intelligence together with the determined first damage together with a plurality of the first plane images to generate a trained damage specific model. Department and
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation unit that generates a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
Using the plurality of the second plane images and the learned damage identification model, a damage identification part for identifying the second damage occurring in the second pipe, and a damage identification portion.
Ditch damage identification device equipped with.
前記損傷決定部は、前記第1天井展開平面画像、前記第1底部展開平面画像および前記第1側部展開平面画像の少なくともいずれかを用いて、前記第1管渠に発生している前記第1損傷を決定する、請求項1に記載の管渠損傷特定装置。 The first plane image generation unit is a first ceiling development plane image obtained by cutting open from the ceiling portion of the first pipe in the first inner peripheral surface image as a plurality of the first plane images. A first bottom unfolded plane image obtained by cutting open from the bottom portion of the first pipe in the first inner peripheral surface image, and a side portion of the first pipe opened in the first inner peripheral surface image. To generate the first side development plane image obtained by
The damage determining portion uses at least one of the first ceiling unfolded plane image, the first bottom unfolded plane image, and the first side unfolded plane image, and is generated in the first pipe. 1 The pipe damage identifying device according to claim 1, which determines damage.
前記第1天井展開平面画像または前記第1側部展開平面画像を用いて、浸入水およびモルタル付着の少なくともいずれかを含む前記第1損傷を特定し、
前記第1底部展開平面画像または前記第1側部展開平面画像を用いて、破損、クラック、取付管の突出しおよび木根侵入の少なくともいずれかを含む前記第1損傷を特定する、請求項2に記載の管渠損傷特定装置。 The damage determination part is
The first ceiling unfolded plane image or the first side unfolded plane image is used to identify the first damage, including at least one of infiltration water and mortar adhesion.
2. The first aspect of claim 2, wherein the first bottom unfolded plane image or the first side unfolded plane image is used to identify the first damage, including at least one of breakage, cracks, protrusions of attachment tubes and invasion of tree roots. Ditch damage identification device.
前記損傷特定部は、前記第2天井展開平面画像、前記第2底部展開平面画像および前記第2側部展開平面画像の少なくともいずれかを用いて、前記第2管渠に発生している前記第2損傷を特定する、請求項1〜3のいずれか1項に記載の管渠損傷特定装置。 The second plane image generation unit is a second ceiling development plane image obtained by cutting open from the ceiling portion of the second pipe in the second inner peripheral surface image and developing the second plane image as a plurality of the second plane images. In the second bottom unfolded plane image obtained by cutting open from the bottom portion of the second pipe in the second inner peripheral surface image and the side portion of the second pipe in the second inner peripheral surface image. Generate a second side unfolded plane image obtained by cutting open
The damage specific portion is generated in the second pipe using at least one of the second ceiling development plane image, the second bottom development plane image, and the second side development plane image. 2. The pipe damage identifying device according to any one of claims 1 to 3, which identifies damage.
前記第2天井展開平面画像または前記第2側部展開平面画像を用いて、浸入水およびモルタル付着の少なくともいずれかを含む前記第2損傷を特定し、
前記第2底部展開平面画像または前記第2側部展開平面画像を用いて、破損、クラック、取付管の突出しおよび木根侵入の少なくともいずれかを含む前記第2損傷を特定する、請求項4に記載の管渠損傷特定装置。 The damage specific part is
The second ceiling unfolded plane image or the second side unfolded plane image is used to identify the second damage, including at least one of infiltration water and mortar adhesion.
4. The second aspect of claim 4, wherein the second bottom unfolded plane image or the second side unfolded plane image is used to identify the second damage, including at least one of breakage, cracks, protrusions of attachment tubes and invasion of tree roots. Ditch damage identification device.
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の任意の位置で切り開いて展開して得られる複数の第1平面画像を生成する第1平面画像生成ステップと、
複数の前記第1平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の任意の位置で切り開いて展開して得られる複数の第2平面画像を生成する第2平面画像生成ステップと、
複数の前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
を含む管渠損傷特定方法。 An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
How to identify culvert damage, including.
前記第1内周面画像を、前記第1内周面画像における前記第1管渠の任意の位置で切り開いて展開して得られる複数の第1平面画像を生成する第1平面画像生成ステップと、
複数の前記第1平面画像を用いて、前記第1管渠に発生している第1損傷を決定する損傷決定ステップと、
決定された前記第1損傷を識別可能な識別子を付与して、決定された前記第1損傷とともに前記第1平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第2管渠の内周面を撮像した第2内周面画像を受け付ける画像受付部と、
前記第2内周面画像を、前記第2内周面画像における前記第2管渠の任意の位置で切り開いて展開して得られる複数の第2平面画像を生成する第2平面画像生成ステップと、
複数の前記第2平面画像および前記学習済み損傷特定モデルを用いて、前記第2管渠に発生している第2損傷を特定する損傷特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。
An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
Ditch damage identification program that causes the computer to run.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020055269A JP7356942B2 (en) | 2020-03-26 | 2020-03-26 | Pipe damage identification device, pipe damage identification method, and pipe damage identification program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020055269A JP7356942B2 (en) | 2020-03-26 | 2020-03-26 | Pipe damage identification device, pipe damage identification method, and pipe damage identification program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021156654A true JP2021156654A (en) | 2021-10-07 |
JP7356942B2 JP7356942B2 (en) | 2023-10-05 |
Family
ID=77918036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020055269A Active JP7356942B2 (en) | 2020-03-26 | 2020-03-26 | Pipe damage identification device, pipe damage identification method, and pipe damage identification program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7356942B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004509321A (en) * | 2000-05-30 | 2004-03-25 | オーヨー コーポレーション,ユーエスエー | Apparatus and method for detecting pipeline defects |
US20170323163A1 (en) * | 2016-05-06 | 2017-11-09 | City Of Long Beach | Sewer pipe inspection and diagnostic system and method |
KR102008973B1 (en) * | 2019-01-25 | 2019-08-08 | (주)나스텍이앤씨 | Apparatus and Method for Detection defect of sewer pipe based on Deep Learning |
JP2019138755A (en) * | 2018-02-09 | 2019-08-22 | オリンパス株式会社 | Tube traveling device |
-
2020
- 2020-03-26 JP JP2020055269A patent/JP7356942B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004509321A (en) * | 2000-05-30 | 2004-03-25 | オーヨー コーポレーション,ユーエスエー | Apparatus and method for detecting pipeline defects |
US20170323163A1 (en) * | 2016-05-06 | 2017-11-09 | City Of Long Beach | Sewer pipe inspection and diagnostic system and method |
JP2019138755A (en) * | 2018-02-09 | 2019-08-22 | オリンパス株式会社 | Tube traveling device |
KR102008973B1 (en) * | 2019-01-25 | 2019-08-08 | (주)나스텍이앤씨 | Apparatus and Method for Detection defect of sewer pipe based on Deep Learning |
Non-Patent Citations (1)
Title |
---|
頼光 拓真ら: "管内画像検査のAR表示のためのデプス情報を用いた検査カメラの姿勢補正", 土木学会論文集F3(土木情報学), vol. 72, no. 2, JPN6023026801, 2016, pages 40 - 46, ISSN: 0005138490 * |
Also Published As
Publication number | Publication date |
---|---|
JP7356942B2 (en) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Koo et al. | Innovative method for assessment of underground sewer pipe condition | |
CN111811420B (en) | Tunnel three-dimensional contour integral absolute deformation monitoring method and system | |
AU2019249431B2 (en) | System and method for early identification and monitoring of defects in transportation infrastructure | |
CN111126802A (en) | Highway inspection and evaluation method and system based on artificial intelligence | |
AU2020102181A4 (en) | An intelligent recognition system and method of tunnel structure health based on robot vision recognition | |
CN116822969B (en) | Water conservancy model cloud computing method and system based on model combination | |
JP7396944B2 (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
CN111168694A (en) | Tunnel structure health intelligent recognition system and method based on robot visual recognition | |
KR20200087330A (en) | State information analysis and modelling method of sewerage pipe | |
JP2021140435A (en) | Damage specification device, damage specification method, and damage specification program | |
JP7506624B2 (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
JP2021156654A (en) | Device, method, and program for specifying sewer damage | |
CN117151430B (en) | Small watershed soil and water conservation treatment priority remote sensing evaluation method | |
JP2022141531A (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
JP2021156653A (en) | Device, method, and program for specifying sewer damage | |
JP7320472B2 (en) | Structure damage identification device, structure damage identification method, and structure damage identification program | |
JP7465837B2 (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
JP2022141533A (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
CN113743015B (en) | Fire scene data acquisition method, medium and electronic equipment | |
JP7465838B2 (en) | Pipe joint identification device, pipe joint identification method, and pipe joint identification program | |
CN111985497B (en) | Crane operation identification method and system under overhead transmission line | |
CN115015264A (en) | Video processing method, pipeline defect information display method and corresponding device | |
CN111143459B (en) | Ground construction event detection system and detection method | |
KR20210076883A (en) | State analysis and risk analysis and modelling method of sewerage pipe | |
CN114234055B (en) | Method and system for rechecking optical fiber vibration alarm signal of oil and gas pipeline |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7356942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |