JP2021156654A - Device, method, and program for specifying sewer damage - Google Patents
Device, method, and program for specifying sewer damage Download PDFInfo
- Publication number
- JP2021156654A JP2021156654A JP2020055269A JP2020055269A JP2021156654A JP 2021156654 A JP2021156654 A JP 2021156654A JP 2020055269 A JP2020055269 A JP 2020055269A JP 2020055269 A JP2020055269 A JP 2020055269A JP 2021156654 A JP2021156654 A JP 2021156654A
- Authority
- JP
- Japan
- Prior art keywords
- damage
- image
- pipe
- peripheral surface
- inner peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 16
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 26
- 230000002093 peripheral effect Effects 0.000 claims description 116
- 238000011161 development Methods 0.000 claims description 51
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008595 infiltration Effects 0.000 claims description 6
- 238000001764 infiltration Methods 0.000 claims description 6
- 239000004570 mortar (masonry) Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000009545 invasion Effects 0.000 claims 2
- 230000018109 developmental process Effects 0.000 description 45
- 238000007689 inspection Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 239000010865 sewage Substances 0.000 description 9
- 239000000463 material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Pipeline Systems (AREA)
- Image Analysis (AREA)
- Sewage (AREA)
Abstract
Description
本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。 The present invention relates to a culvert damage identification device, a culvert damage identification method and a culvert damage identification program, and more particularly to a computer-embedded image analysis program and an apparatus for identifying culvert damage from identification results by artificial intelligence.
インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。 The aging of infrastructure structures is accelerating, and it is said that the need for maintenance and renewal will increase further in the future. As the working population continues to decline, improving the efficiency of labor related to maintenance and renewal has become an urgent issue. In order to improve the efficiency of labor related to maintenance and renewal, there are an increasing number of research cases in which AI-based image recognition technology, whose performance has improved significantly in recent years, is applied. By using an advanced neural network called deep learning, it is possible to realize image recognition that is close to human intuition, which was difficult in the past, and it can be expected to assist or replace the visual inspection of damaged parts.
一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。 On the other hand, in the inspection of infrastructure structures such as pipes, for example, as in the techniques described in Patent Documents 1 and 2, a photographing device such as a television camera is used in the main body of the device to be inserted into the flow path tube to be investigated. A lighting device such as a fluorescent lamp was installed, and damage was investigated based on the in-tube image taken by the photographing device.
しかしながら、上記文献に記載の技術では、撮影した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管渠の損傷の特定を行うことができなかった。 However, in the technique described in the above document, the worker visually investigates the photographed in-pipe image, and it is easy for oversights and mistakes to occur, and the damage to the pipe can be identified with high accuracy. I couldn't.
上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成部と、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数の前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成部と、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定部と、
を備えた。
In order to achieve the above object, the pipe damage identification device according to the present invention is
An image acquisition unit that acquires an image of the first inner peripheral surface that is an image of the inner peripheral surface of the first pipe, and
A first plane image generation unit that generates a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination unit that determines the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination unit.
Model generation that assigns an identifier that can identify the determined first damage and trains artificial intelligence together with the determined first damage together with a plurality of the first plane images to generate a trained damage specific model. Department and
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation unit that generates a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
Using the plurality of the second plane images and the learned damage identification model, a damage identification part for identifying the second damage occurring in the second pipe, and a damage identification portion.
Equipped with.
上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成ステップと、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成ステップと、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
を含む。
In order to achieve the above object, the method for identifying pipe damage according to the present invention is:
An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
including.
上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成ステップと、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成ステップと、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。
In order to achieve the above object, the pipe damage identification program according to the present invention
An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
Let the computer run.
本発明の管渠損傷特定装置によれば、人工知能に効率的に学習させることができ、精度の高い学習済みモデルを生成できるので、精度の高い管渠の損傷の特定を行うことができる。 According to the culvert damage identification device of the present invention, artificial intelligence can be trained efficiently and a trained model with high accuracy can be generated, so that the culvert damage can be identified with high accuracy.
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 Hereinafter, embodiments for carrying out the present invention will be described in detail exemplarily with reference to the drawings. However, the configuration, numerical values, processing flow, functional elements, etc. described in the following embodiments are merely examples, and modifications and changes thereof are free, and the technical scope of the present invention is limited to the following description. It is not intended to be done.
［第１実施形態］
本発明の第１実施形態としての管渠損傷特定装置１００について、図１〜図５Ｂを用いて説明する。管渠損傷特定装置１００は、管渠に発生した損傷を特定するために用いられる。図１は、本実施形態に係る管渠損傷特定装置１００による管渠損傷の特定の概要について説明するための図である。
[First Embodiment]
The pipe
ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。
Here, the pipe is a general term for waterways, and refers to the entire waterway created for the purpose of water supply and drainage. For example, water pipes, sewer pipes, drain pipes, water supply pipes and the like are included. In the present embodiment, the
また、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。なお、以下の説明では、下水管１５０の直径は、作業員が下水管１５０内に入って作業することができない程度の大きさであり、例えば、φ２００〜φ８００の下水管１５０を想定して説明をするが、下水管１５０の直径は、これには限定されない。
Further, the damage includes cracks, cracks, scratches, etc. generated in the pipe, but also includes a state in which the performance expected of the pipe cannot be exhibited. In the following description, the diameter of the
下水管１５０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０の内周面の画像を用いた検査が行われている。作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０に損傷が発生しているか否かの検査を行う。制御部１４１は、自走式検査ロボット１４０の自走速度や撮像スケジュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、直径の小さな下水管１５０の場合、自走式検査ロボット１４０の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。
In the inspection of the inside of the
そして、制御部１４１は、カメラ１４２で撮像した内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、内周面画像１１０は、人工知能による学習のための画像であり、内周面画像１６０は、損傷を特定したい画像である。また、カメラ１４２は、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで内周面画像１１０（１６０）を生成してもよい。
Then, the
また、内周面画像１１０（１６０）は、所定の間隔（例えば、０．１ｍ）で輪切りにされる。例えば、下水管１５０の継手から継手の間を１ユニットとした場合に、１ユニットごとに撮像した画像（内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得てもよい。また、例えば、下水管１５０の全長において撮像した画像（内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得てもよい。
Further, the inner peripheral surface image 110 (160) is sliced at predetermined intervals (for example, 0.1 m). For example, when one unit is formed between the joints of the
次に、管渠損傷特定装置１００による、学習済み損傷特定モデルの生成について説明する。管渠損傷特定装置１００は、受信した内周面画像１１０（学習用画像）の輪切り画像１４３を、内周面画像１１０における下水管１５０の任意の位置で切り開いて展開して、２次元の平面画像を得る。すなわち、管渠損傷特定装置１００は、内周面画像１１０を、下水管１５０の天井部分、底部部分および側部部分で切り開いて展開した、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を生成する。
Next, the generation of the trained damage identification model by the conduit
天井展開平面画像１０１においては、下水管１５０の底部部分１１１が帯状の平面画像の中央に位置し、切開位置である天井部分１１２、１１３が左右両端に位置している。同様に、底部展開平面画像１０２においては、天井部分１２１が帯状の平面画像の中央に位置し、切開位置である底部部分１２２、１２３が左右両端に位置している。さらに、側部展開平面画像１０３においては、例えば、切開位置と線対称な位置に対応する部分１３１が帯状の平面画像の中央に位置し、切開位置の両端１３２、１３３が帯状の平面画像の左右両端に位置している。そして、管渠損傷特定装置１００は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を用いて、下水管１５０に発生した損傷を特定し、損傷が特定されたこれらの画像（１０１〜１０３）を人工知能に学習させて、学習済み損傷特定モデルを生成する。
In the ceiling
次に、管渠損傷特定装置１００による、損傷の特定について説明する。管渠損傷特定装置１００は、損傷を特定したい下水管１７０の内周面画像１６０について、内周面画像１１０と同様に、天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３を生成する。そして、管渠損傷特定装置１００は、生成した天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３と学習済み損傷特定モデルとを用いて、下水管１７０に発生している損傷を特定する。
Next, identification of damage by the pipe
特定された損傷は、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照して、下水管１７０に発生している損傷を認識する。なお、管渠損傷特定装置１００は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、管渠損傷特定装置１００は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
The identified damage is output to a mobile terminal such as a
図２は、本実施形態に係る管渠損傷特定装置１００の構成を説明するためのブロック図である。管渠損傷特定装置１００は、画像取得部２０１、平面画像生成部２０２、損傷決定部２０３、モデル生成部２０４、画像受付部２０５、平面画像生成部２０６、損傷特定部２０７および出力部２０８を有する。
FIG. 2 is a block diagram for explaining the configuration of the pipe
ここで、管渠損傷特定装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワークインターフェース、およびストレージを有する。ここで、ＣＰＵは、演算制御用のプロセッサであり、プログラムを実行することで図２に示した管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、ＣＰＵは、１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ネットワークインターフェースは、ＣＰＵとは独立した他のＣＰＵを有して、ＲＡＭの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭとストレージとの間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい。さらに、ＣＰＵは、ＲＡＭにデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵは、処理結果をＲＡＭに準備し、後の送信あるいは転送はネットワークインターフェースやＤＭＡＣに任せる。
Here, the conduit
ＲＡＭは、ＣＰＵが一時記憶のワークエリアとして使用するメモリである。ＲＡＭには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、管渠損傷特定装置１００の全体を制御するための制御プログラムが記憶されている。
The RAM is a memory used by the CPU as a temporary storage work area. An area for storing data necessary for realizing the present embodiment is secured in the RAM. The storage stores a database, various parameters, modules, or data or programs necessary for realizing the present embodiment. For example, the storage stores a control program for controlling the entire pipe
さらに、管渠損傷特定装置１００は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、ＲＡＭやストレージには、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。
Further, the pipe
画像取得部２０１は、下水管１５０の内周面を撮像した内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０の制御部１４１から内周面画像１１０を取得してもよいし、作業員が所持するタブレット端末１３０を経由して取得してもよい。なお、内周面画像１１０は、後の人工知能による学習に用いられる画像である。
The
平面画像生成部２０２は、内周面画像１１０を、内周面画像１１０における任意の位置で切り開いて展開して得られる複数の平面画像を生成する。平面画像生成部２０２は、複数の平面画像の１つとして、内周面画像１１０における下水管１５０の天井部分から切り開いて展開して得られる天井展開平面画像１０１を生成する。
The plane
また、平面画像生成部２０２は、複数の平面画像の１つとして、内周面画像１１０における下水管１５０の底部部分から切り開いて展開して得られる底部展開平面画像１０２を生成する。さらに、平面画像生成部２０２は、複数の平面画像の１つとして、内周面画像１１０における下水管１５０の側部部分から切り開いて展開して得られる側部展開平面画像１０３を生成する。
Further, the plane
このように、平面画像生成部２０２は、３種類の平面画像として、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を生成する。
In this way, the plane
ここで、図３Ａを参照して、下水管１５０の内周面における損傷の発生傾向について説明する。図３Ａは、本実施形態に係る管渠損傷特定装置１００により特定される損傷の管渠内における発生位置の分布を説明するための図である。Ｘ軸は、左右方向の損傷の位置を示し、Ｙ軸は、上下方向の損傷の位置を示している。
Here, with reference to FIG. 3A, the tendency of damage to occur on the inner peripheral surface of the
分布図３０１は、破損およびクラック、分布図３０２は、浸入水、分布図３０３は、取付管の突出し、分布図３０４は、その他の損傷を示している。各点が、各損傷の発生した位置を示している。また、点の密度が高い場所は、損傷の発生頻度が高いことを示している。
破損、クラックおよび浸入水（分布図３０１、分布図３０２）については、上下中央付近には分布が少ないことが分かる。すなわち、下水管１５０の天井部分および底部部分を除く部分、例えば、肩部分や側部部分、下部側部部分に多く分布していることが分かる。取付管の突出し（３０３）については、上下に分布が多いことが分かる。すなわち、下水管１５０の天井部分や底部部分に多く分布していることが分かる。
It can be seen that the distribution of breakage, cracks and infiltrated water (
このように、損傷の種類に応じて、出現位置に特徴があり、このような特徴を利用して輪切り画像１４３や内周面画像１１０を切り開いて展開すれば、切り口の位置に損傷が存在する可能性が著しく低下する。そのため、損傷が分断されることにより発生する不具合に対する手当をする手間を省くことが可能となるので、より早く、多く、効率的に画像を人工知能に学習させることができる。
As described above, there is a feature in the appearance position according to the type of damage, and if the
次に、図３Ｂを参照して、平面画像生成部２０２による内周面画像１１０の切開位置および展開について説明する。図３Ｂは、本実施形態に係る管渠損傷特定装置１００の平面画像生成部による内周面画像の切開位置および展開について説明するための模式図である。図３（ａ）は、内周面画像１１０の正面図、図３（ｂ）は、内周面画像１１０の斜視図を示している。なお、同図においては、図が煩雑になるのを避けるため、下水管１５０の厚みなどは省略している。
Next, with reference to FIG. 3B, the incision position and development of the inner
図３Ｂ（ａ）に示したように、損傷の種類に応じて、内周面画像１１０の切開位置が変化する。内周面画像１１０の切開位置は、天井部分３１１、底部部分３１２、左側側部部分３１３、右側側部部分３１４の４つの領域に分けられる。なお、左側側部部分３１３および右側側部部分３１４は、下水管１５０の中心軸に対して線対称な関係にある。
As shown in FIG. 3B (a), the incision position of the inner
図３Ｂ（ｂ）に示したように、例えば、平面画像生成部２０２は、コンピュータ上において、ナイフ３１５などの切開ツールを用いて内周面画像１１０（輪切り画像１４３）を切開する。そして、平面画像生成部２０２は、切開された内周面画像１１０を矢印（３１６、３１７）方向に広げるように展開して、２次元の平面画像を得る。具体的には、平面画像生成部２０２は、例えば、下水管１５０に発生した損傷が破損である場合、底部部分３１２または左側側部部分３１３（右側側部部分３１４）で切り開いて展開した底部展開平面画像１０２、側部展開平面画像１０３を生成する。
As shown in FIG. 3B (b), for example, the plane
再び図２に戻り、損傷決定部２０３による損傷の決定について説明する。損傷決定部２０３は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を用いて、下水管１５０に発生している損傷を決定する。損傷の種類は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。なお、損傷決定部２０３は、物体検知（Object Detection）を用いて、損傷の発生している領域を検出する。物体検知のアルゴリズムとして、Ｆａｓｔｅｒ Ｒ−ＣＮＮ（Faster Region with Convolution Neural Network）を用いた。
Returning to FIG. 2 again, the damage determination by the
ここで、図４Ａ〜図４Ｅを参照して、損傷決定部２０３による損傷の決定について具体的に説明する。図４Ａを参照して、損傷が破損およびクラックの場合の損傷の検知について説明する。図４Ａは、本実施形態に係る管渠損傷特定装置１００における損傷（破損・クラック）の決定について説明するための図である。画像４０１は、下水管１５０の内周面に破損またはクラックが発生している状態を示している。ここで、破損は、横方向に入ったひびであり、クラックは、縦方向（周方向）に入ったひびである。
Here, with reference to FIGS. 4A to 4E, the damage determination by the
下水管１５０に発生している損傷が、破損およびクラックの場合、これらの損傷は、別事象の損傷としてラベル付けを行う。内周面画像１１０において、白または黒い筋を破損またはクラックとする。クラックの場合、ひび割れの方向が縦横混在している場合や、斜めにひび割れしている場合などには、破損として取り扱う。例えば、縦のひび割れの場合、概ね３０°以内の傾きはクラックとして取り扱う。
If the damage occurring in the
破損個所またはクラック箇所が継手部４１１を跨いで左右に広がっている場合には、損傷決定部２０３は、１つのボックスで損傷を検知しない。損傷決定部２０３は、継手部４１１を境に、ボックスを２つに分割して、２つのボックス４１２、４１３を用いて、２つの損傷として検知する。
When the damaged portion or the cracked portion extends to the left and right across the
また、同様に、破損箇所またはクラック箇所が、流水部４１４（下水管１５０の底部）を跨いで上下に広がっている場合には、損傷決定部２０３は、１つのボックスで損傷を検知しない。損傷決定部２０３は、流水部４１４を境にボックスを２つに分割して、２つのボックス４１５、４１６を用いて、２つの損傷として検知し、損傷を決定する。
Similarly, when the damaged portion or the cracked portion extends vertically across the flowing water portion 414 (bottom of the sewer pipe 150), the
次に、図４Ｂを参照して、狭い範囲に小型の損傷が複数存在する場合の損傷の検知について説明する。図４Ｂは、本実施形態に係る管渠損傷特定装置１００における損傷（破損・クラック）の決定について説明するための他の図である。画像４０２は、狭い範囲に小型の破損またはクラックが発生している状態を示している。
Next, with reference to FIG. 4B, damage detection when a plurality of small damages are present in a narrow range will be described. FIG. 4B is another diagram for explaining the determination of damage (damage / crack) in the pipe
狭い範囲に小型の破損等が複数発生している場合、損傷決定部２０３は、図４Ｃ左図に示したように、２つのボックス４２１、４２２を用いて、複数の損傷として取り扱わない。損傷決定部２０３は、図４Ｃ右図に示したように、複数の損傷を１つのボックス４２３で取り囲み、１つの損傷として取り扱う。このように、狭い領域に小型の損傷が複数存在する場合には、これらの損傷をまとめて取り扱うことにより、効率よく損傷を検知し、決定できる。
When a plurality of small damages or the like occur in a narrow range, the
次に、図４Ｃを参照して、損傷が浸入水の場合の損傷の検知について説明する。図４Ｃは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するための図である。画像４０３は、浸入水が発生している状態を示している。画像４０３の上段は、左から順に、黒くにじんだ部分、茶色の部分（土の流出部分）、白色部分（遊離石灰）を示し、これら全てを浸入水として扱う。
Next, with reference to FIG. 4C, detection of damage when the damage is infiltrated water will be described. FIG. 4C is a diagram for explaining the determination of damage (infiltrated water) in the pipe
そして、画像４０３の下段に示したように、浸入水の場合、損傷決定部２０３は、浸入水の中心部分４３１から、同程度の色味が続いている部分までをボックス４３２で囲む。ただし、損傷決定部２０３は、土、遊離石灰の場合には、白色でない部分までをボックス４３２で囲む。より具体的には、損傷決定部２０３は、浸入水の原因となる継手部分や破損部分を中心にボックス４３２で損傷を囲み、物体検知する。例えば、損傷が原因となって浸入水が発生した場合、損傷決定部２０３は、破損および浸入水として決定する。
Then, as shown in the lower part of the
次に、図４Ｄを参照して、損傷が判別の難しい浸入水の場合の損傷の検知について説明する。図４Ｄは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するための他の図である。画像４０４の上段は、左右の継手部分４４２、４４３から浸入水が流出し、２つの浸入水の境界がはっきりしない状態を示している。この場合、損傷決定部２０３は、１つのボックス４４１で浸入水を囲み、１つの損傷として取り扱う。また、画像４０４の下段の２枚の画像に示したように、浸入水のにじみと流水跡との見分けが困難な場合、浸入水の原因と考えられる継手部分または破損部分から延びる浸入水痕と流水跡とが接続しているか否かを判断基準として、ボックス４４４で損傷を取り囲む。
Next, with reference to FIG. 4D, the detection of damage in the case of infiltrated water whose damage is difficult to determine will be described. FIG. 4D is another diagram for explaining the determination of damage (infiltrated water) in the pipe
最後に、図４Ｅを参照して、小型の浸入水の検知について説明する。図４Ｅは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するためのさらに他の図である。画像４０５は、小型の浸入水を示している。損傷決定部２０３は、小型の浸入水も検知対象とするが、例えば、流水路近辺の小さいもの（大きさから流水路からの這い上がり跡と推測されるもの）や、横幅が小さいものは検知の対象外とする。ただし、ある程度にじみが上に伸びている、またはにじみが分離しかかっているものは検知対象４５１とする。浸入水のような跡があるが、乾いてコントラストが低いものは対象外とする。
Finally, the detection of small infiltrated water will be described with reference to FIG. 4E. FIG. 4E is still another diagram for explaining the determination of damage (infiltrated water) in the pipe
再び図２に戻る。モデル生成部２０４は、決定された損傷を識別可能な識別子（ＩＤ：Identifier）を付与する。モデル生成部２０４は、識別子として、例えば、損傷の範囲（大きさ）、その損傷の名称、損傷の属性（古い、新しい、色）などを天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３に付与する。なお、この識別子は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。
Return to FIG. 2 again. The
そして、モデル生成部２０４は、付与した識別子、決定された損傷とともに天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を人工知能（ＡＩ：Artificial Intelligence）に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部２０４は、学習済み損傷特定モデルを生成する。なお、モデル生成部２０４は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３）を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。
Then, the
また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０４は、人工知能による機械学習の精度を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内周面画像１１０の数を水増しする。モデル生成部２０４は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０４は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。
In addition, machine learning by artificial intelligence is performed using a known algorithm. In machine learning, the loss function is weighted and the reciprocal of the number of events is adopted. In addition, the
なお、生成された学習済み損傷特定モデルの評価には、再現率（Recall）および適合率（Precision）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）なお、ＴＰ＝真陽性（True Positive）、ＦＰ＝偽陽性（False Positive）、ＦＮ＝偽陰性（False Negative）である。 The recall rate (Recall) and precision rate (Precision) were used to evaluate the generated trained damage specific model. The recall rate is expressed as recall rate = TP / (TP + FN), and indicates the ratio of those that actually appeared among those that should appear as a result. In other words, it is an index related to whether or not there is any omission (index related to completeness). The conformance rate is represented by the conformance rate = TP / (TP + FP), and indicates the ratio of correct ones. It is an index showing the ratio of how many correct answers are included in all the results that came out (index related to accuracy). TP = True Positive, FP = False Positive. , FN = False Negative.
画像受付部２０５は、管渠としての下水管１７０の内周面を撮像した内周面画像１６０を受け付ける。つまり、画像受付部２０５は、制御部１４１が送信した自走式検査ロボット１４０が撮像した内周面画像１６０を受け付ける。内周面画像１６０は、検査対象となる下水管１７０の画像であり、発生している損傷を特定したい下水管である。
The
平面画像生成部２０６は、平面画像生成部２０２と同様に、平面画像を生成する。すなわち、平面画像生成部２０６は、内周面画像１６０を、内周面画像１６０における下水管１７０の天井部分から切り開いて展開して得られる天井展開平面画像１６１を生成する。同様に、平面画像生成部２０６は、内周面画像１６０における下水管１７０の底部部分から切り開いて展開して得られる底部展開平面画像１６２を生成する。さらに、平面画像生成部２０６は、内周面画像１６０における下水管１７０の側部部分から切り開いて展開して得られる側部展開平面画像１６３を生成する。
The plane
つまり、平面画像生成部２０６は、まず、画像受付部２０５が受け付けた内周面画像１６０から輪切り画像を生成する。そして、平面画像生成部２０６は、輪切り画像から天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３を生成する。なお、輪切り画像は、予め自走式検査ロボット１４０において生成しておき、画像受付部２０５は、自走式検査ロボット１４０により生成された輪切り画像を取得してもよい。
That is, the plane
損傷特定部２０７は、天井展開平面画像１６１、底部展開平面画像１６２、側部展開平面画像１６３および学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。損傷特定部２０７による損傷の特定方法は、例えば、図５Ａに示す損傷特定テーブル５００を参照して特定する方法がある。
The
図５Ａは、本実施形態に係る管渠損傷特定装置１００が有する損傷特定テーブル５００の一例を説明するための図である。損傷特定テーブル５００は、損傷の種類５０１に関連付けて管渠材質５０２を記憶する。損傷の種類５０１は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。
FIG. 5A is a diagram for explaining an example of a damage identification table 500 included in the pipe
管渠材質５０２は、コンクリートおよび陶器を含む。例えば、管渠材質５０２が、コンクリートの場合、すなわち、コンクリート管の場合、損傷の種類５０１にある破損として、内部構造の露出、鉄筋露出および錆汁などを含めてもよい。そして、損傷特定部２０７は、損傷特定テーブル５００を参照して、下水管１７０に発生している損傷を特定する。損傷特定テーブル５００に含まれる損傷の種類５０１は、発生頻度が高い損傷や見逃すことのできない損傷を含んでいる。このように、予め管渠の材質と発生する損傷との組み合わせを決めておくことにより、管渠の材質から考えて発生し得ない損傷を排除することができるので、効率的な損傷特定を行うことが可能となる。
図５Ｂは、本実施形態に係る管渠損傷特定装置１００が有する切開位置テーブル５１０の一例を説明するための図である。切開位置テーブル５１０は、損傷の種類５０１に関連付けて切開位置５１２を記憶する。切開位置５１２は、内周面画像１１０、１６０において、これらの画像を切り開く位置を示している。平面画像生成部２０２、２０６は、切開位置テーブル５１０を参照して、内周面画像１１０、１６０の切開位置を決定する。
FIG. 5B is a diagram for explaining an example of the incision position table 510 included in the pipe
再び図２に戻る。出力部２０８は、特定された損傷をタブレット端末１３０などの携帯端末へ出力する。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、下水管１７０に発生している損傷を認識できる。出力部２０８は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部２０８は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。
Return to FIG. 2 again. The
図６Ａは、本実施形態に係る管渠損傷特定装置１００の処理手順を説明するためのフローチャートである。図６Ｂは、本実施形態に係る管渠損傷特定装置１００の処理手順を説明するための他のフローチャートである。図６Ａおよび図６Ｂに示したフローチャートは、管渠損傷特定装置１００の不図示のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて実行し、図２に示した管渠損傷特定装置１００の各機能構成を実現する。
FIG. 6A is a flowchart for explaining a processing procedure of the pipe
ステップＳ６０１において、画像取得部２０１は、機械学習用の画像として、下水管１５０の内周面画像１１０を取得する。ステップＳ６０３において、平面画像生成部２０２は、内周面画像１１０を下水管１５０の天井部分、底部部分および側部部分から切り開いて展開した天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を生成する。ステップＳ６０５において、損傷決定部２０３は、天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３を用いて、下水管１５０に発生している損傷を決定する。
In step S601, the
ステップＳ６０７において、モデル生成部２０４は、決定された損傷を識別可能な識別子を付与して、決定された損傷とともに天井展開平面画像１０１、底部展開平面画像１０２および側部展開平面画像１０３とともに人工知能に入力する。ステップＳ６０９において、モデル生成部２０４は、人工知能による機械学習が終了したか否かを判定する。人工知能による機械学習が終了していないと判定した場合（ステップＳ６０９のＮＯ）、モデル生成部２０４は、人工知能による機械学習を継続させる。人工知能による機械学習が終了したと判定された場合（ステップＳ６０９のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ６１１へ進む。ステップＳ６１１において、モデル生成部２０４は、学習済み損傷特定モデルを生成する。
In step S607, the
ステップＳ６３１において、画像受付部２０５は、下水管１７０の内周面を撮像した内周面画像１６０を受け付ける。ステップＳ６３３において、平面画像生成部２０６は、内周面画像１６０を下水管１７０の天井部分、底部部分および側部部分から切り開いて展開した天井展開平面画像１６１、底部展開平面画像１６２および側部展開平面画像１６３を生成する。ステップＳ６３５において、天井展開平面画像１６１、底部展開平面画像１６２、側部展開平面画像１６３および生成した学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。
In step S631, the
ステップＳ６３７において、出力部２０８は、特定結果を出力する。ステップＳ５３９において、管渠損傷特定装置１００は、受付した全ての内周面画像１６０について、損傷の特定が終了しているか否かを判定する。受付した全ての内周面画像１６０の損傷の特定が終了していないと判定した場合（ステップＳ５３９のＮＯ）、管渠損傷特定装置１００は、ステップＳ５３３へ戻る。受付した全ての内周面画像１６０の損傷の特定が終了したと判定した場合（ステップＳ５３９のＹＥＳ）、管渠損傷特定装置１００は、処理を終了する。
In step S637, the
本実施形態によれば、損傷の種類に応じて、内周面画像の切り開き方を変え、人工知能に学習させるので、効率よく、短時間で学習ができ、精度の高い学習済み損傷特定モデルを生成でき、精度高く損傷を特定できる。 According to this embodiment, since the method of cutting the inner peripheral surface image is changed according to the type of damage and the artificial intelligence is trained, it is possible to learn efficiently and in a short time, and a highly accurate trained damage identification model can be obtained. It can be generated and damage can be identified with high accuracy.
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
[Other Embodiments]
Although the invention of the present application has been described above with reference to the embodiment, the invention of the present application is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the structure and details of the present invention. Also included in the scope of the present invention are systems or devices in which the different features contained in each embodiment are combined in any way.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when the information processing program that realizes the functions of the embodiment is supplied directly or remotely to the system or device. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium containing the program, and a WWW (World Wide Web) server for downloading the program are also included in the scope of the present invention. .. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the scope of the present invention.
Claims (11)
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成部と、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに複数の前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成部と、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定部と、
を備えた管渠損傷特定装置。 An image acquisition unit that acquires an image of the first inner peripheral surface that is an image of the inner peripheral surface of the first pipe, and
A first plane image generation unit that generates a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination unit that determines the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination unit.
Model generation that assigns an identifier that can identify the determined first damage and trains artificial intelligence together with the determined first damage together with a plurality of the first plane images to generate a trained damage specific model. Department and
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation unit that generates a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
Using the plurality of the second plane images and the learned damage identification model, a damage identification part for identifying the second damage occurring in the second pipe, and a damage identification portion.
Ditch damage identification device equipped with.
前記損傷決定部は、前記第１天井展開平面画像、前記第１底部展開平面画像および前記第１側部展開平面画像の少なくともいずれかを用いて、前記第１管渠に発生している前記第１損傷を決定する、請求項１に記載の管渠損傷特定装置。 The first plane image generation unit is a first ceiling development plane image obtained by cutting open from the ceiling portion of the first pipe in the first inner peripheral surface image as a plurality of the first plane images. A first bottom unfolded plane image obtained by cutting open from the bottom portion of the first pipe in the first inner peripheral surface image, and a side portion of the first pipe opened in the first inner peripheral surface image. To generate the first side development plane image obtained by
The damage determining portion uses at least one of the first ceiling unfolded plane image, the first bottom unfolded plane image, and the first side unfolded plane image, and is generated in the first pipe. 1 The pipe damage identifying device according to claim 1, which determines damage.
前記第１天井展開平面画像または前記第１側部展開平面画像を用いて、浸入水およびモルタル付着の少なくともいずれかを含む前記第１損傷を特定し、
前記第１底部展開平面画像または前記第１側部展開平面画像を用いて、破損、クラック、取付管の突出しおよび木根侵入の少なくともいずれかを含む前記第１損傷を特定する、請求項２に記載の管渠損傷特定装置。 The damage determination part is
The first ceiling unfolded plane image or the first side unfolded plane image is used to identify the first damage, including at least one of infiltration water and mortar adhesion.
2. The first aspect of claim 2, wherein the first bottom unfolded plane image or the first side unfolded plane image is used to identify the first damage, including at least one of breakage, cracks, protrusions of attachment tubes and invasion of tree roots. Ditch damage identification device.
前記損傷特定部は、前記第２天井展開平面画像、前記第２底部展開平面画像および前記第２側部展開平面画像の少なくともいずれかを用いて、前記第２管渠に発生している前記第２損傷を特定する、請求項１〜３のいずれか１項に記載の管渠損傷特定装置。 The second plane image generation unit is a second ceiling development plane image obtained by cutting open from the ceiling portion of the second pipe in the second inner peripheral surface image and developing the second plane image as a plurality of the second plane images. In the second bottom unfolded plane image obtained by cutting open from the bottom portion of the second pipe in the second inner peripheral surface image and the side portion of the second pipe in the second inner peripheral surface image. Generate a second side unfolded plane image obtained by cutting open
The damage specific portion is generated in the second pipe using at least one of the second ceiling development plane image, the second bottom development plane image, and the second side development plane image. 2. The pipe damage identifying device according to any one of claims 1 to 3, which identifies damage.
前記第２天井展開平面画像または前記第２側部展開平面画像を用いて、浸入水およびモルタル付着の少なくともいずれかを含む前記第２損傷を特定し、
前記第２底部展開平面画像または前記第２側部展開平面画像を用いて、破損、クラック、取付管の突出しおよび木根侵入の少なくともいずれかを含む前記第２損傷を特定する、請求項４に記載の管渠損傷特定装置。 The damage specific part is
The second ceiling unfolded plane image or the second side unfolded plane image is used to identify the second damage, including at least one of infiltration water and mortar adhesion.
4. The second aspect of claim 4, wherein the second bottom unfolded plane image or the second side unfolded plane image is used to identify the second damage, including at least one of breakage, cracks, protrusions of attachment tubes and invasion of tree roots. Ditch damage identification device.
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成ステップと、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成ステップと、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
を含む管渠損傷特定方法。 An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
How to identify culvert damage, including.
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の任意の位置で切り開いて展開して得られる複数の第１平面画像を生成する第１平面画像生成ステップと、
複数の前記第１平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１平面画像とともに人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の任意の位置で切り開いて展開して得られる複数の第２平面画像を生成する第２平面画像生成ステップと、
複数の前記第２平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。
An image acquisition step of acquiring an image of the first inner peripheral surface obtained by imaging the inner peripheral surface of the first pipe, and
A first plane image generation step of generating a plurality of first plane images obtained by cutting open the first inner peripheral surface image at an arbitrary position of the first pipe in the first inner peripheral surface image and developing the image. ,
A damage determination step for determining the first damage occurring in the first pipe using a plurality of the first plane images, and a damage determination step.
A model generation step of assigning an identifier that can identify the determined first damage and training the artificial intelligence together with the determined first damage together with the first plane image to generate a trained damage specific model. ,
An image reception unit that accepts an image of the inner peripheral surface of the second pipe, which is an image of the inner peripheral surface of the second pipe.
A second plane image generation step of generating a plurality of second plane images obtained by cutting open the second inner peripheral surface image at an arbitrary position of the second pipe in the second inner peripheral surface image and developing the second inner peripheral surface image. ,
A damage identification step for identifying the second damage occurring in the second pipe using the plurality of the second plane images and the trained damage identification model, and a damage identification step.
Ditch damage identification program that causes the computer to run.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020055269A JP7356942B2 (en) | 2020-03-26 | 2020-03-26 | Pipe damage identification device, pipe damage identification method, and pipe damage identification program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020055269A JP7356942B2 (en) | 2020-03-26 | 2020-03-26 | Pipe damage identification device, pipe damage identification method, and pipe damage identification program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021156654A true JP2021156654A (en) | 2021-10-07 |
| JP7356942B2 JP7356942B2 (en) | 2023-10-05 |
Family
ID=77918036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020055269A Active JP7356942B2 (en) | 2020-03-26 | 2020-03-26 | Pipe damage identification device, pipe damage identification method, and pipe damage identification program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7356942B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004509321A (en) * | 2000-05-30 | 2004-03-25 | オーヨー コーポレーション，ユーエスエー | Apparatus and method for detecting pipeline defects |
| US20170323163A1 (en) * | 2016-05-06 | 2017-11-09 | City Of Long Beach | Sewer pipe inspection and diagnostic system and method |
| KR102008973B1 (en) * | 2019-01-25 | 2019-08-08 | (주)나스텍이앤씨 | Apparatus and Method for Detection defect of sewer pipe based on Deep Learning |
| JP2019138755A (en) * | 2018-02-09 | 2019-08-22 | オリンパス株式会社 | Tube traveling device |
-
2020
- 2020-03-26 JP JP2020055269A patent/JP7356942B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004509321A (en) * | 2000-05-30 | 2004-03-25 | オーヨー コーポレーション，ユーエスエー | Apparatus and method for detecting pipeline defects |
| US20170323163A1 (en) * | 2016-05-06 | 2017-11-09 | City Of Long Beach | Sewer pipe inspection and diagnostic system and method |
| JP2019138755A (en) * | 2018-02-09 | 2019-08-22 | オリンパス株式会社 | Tube traveling device |
| KR102008973B1 (en) * | 2019-01-25 | 2019-08-08 | (주)나스텍이앤씨 | Apparatus and Method for Detection defect of sewer pipe based on Deep Learning |
Non-Patent Citations (1)
| Title |
|---|
| 頼光 拓真ら: "管内画像検査のAR表示のためのデプス情報を用いた検査カメラの姿勢補正", 土木学会論文集F3（土木情報学）, vol. 72, no. 2, JPN6023026801, 2016, pages 40 - 46, ISSN: 0005138490 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7356942B2 (en) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Koo et al. | Innovative method for assessment of underground sewer pipe condition | |
| CN111811420B (en) | Tunnel three-dimensional contour integral absolute deformation monitoring method and system | |
| AU2019249431B2 (en) | System and method for early identification and monitoring of defects in transportation infrastructure | |
| CN111126802A (en) | Highway inspection and evaluation method and system based on artificial intelligence | |
| AU2020102181A4 (en) | An intelligent recognition system and method of tunnel structure health based on robot vision recognition | |
| CN116822969B (en) | Water conservancy model cloud computing method and system based on model combination | |
| JP7396944B2 (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
| CN111168694A (en) | Tunnel structure health intelligent recognition system and method based on robot visual recognition | |
| KR20200087330A (en) | State information analysis and modelling method of sewerage pipe | |
| JP2021140435A (en) | Damage specification device, damage specification method, and damage specification program | |
| JP7506624B2 (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
| JP2021156654A (en) | Device, method, and program for specifying sewer damage | |
| CN117151430B (en) | Small watershed soil and water conservation treatment priority remote sensing evaluation method | |
| JP2022141531A (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
| JP2021156653A (en) | Device, method, and program for specifying sewer damage | |
| JP7320472B2 (en) | Structure damage identification device, structure damage identification method, and structure damage identification program | |
| JP7465837B2 (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
| JP2022141533A (en) | Pipe damage identification device, pipe damage identification method, and pipe damage identification program | |
| CN113743015B (en) | Fire scene data acquisition method, medium and electronic equipment | |
| JP7465838B2 (en) | Pipe joint identification device, pipe joint identification method, and pipe joint identification program | |
| CN111985497B (en) | Crane operation identification method and system under overhead transmission line | |
| CN115015264A (en) | Video processing method, pipeline defect information display method and corresponding device | |
| CN111143459B (en) | Ground construction event detection system and detection method | |
| KR20210076883A (en) | State analysis and risk analysis and modelling method of sewerage pipe | |
| CN114234055B (en) | Method and system for rechecking optical fiber vibration alarm signal of oil and gas pipeline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7356942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |