JP2021061709A - Facility construction inspection device, facility construction inspection method, and program - Google Patents
Facility construction inspection device, facility construction inspection method, and program Download PDFInfo
- Publication number
- JP2021061709A JP2021061709A JP2019185658A JP2019185658A JP2021061709A JP 2021061709 A JP2021061709 A JP 2021061709A JP 2019185658 A JP2019185658 A JP 2019185658A JP 2019185658 A JP2019185658 A JP 2019185658A JP 2021061709 A JP2021061709 A JP 2021061709A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- construction
- unit
- certainty
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 432
- 238000010276 construction Methods 0.000 title claims abstract description 198
- 238000000034 method Methods 0.000 title claims description 45
- 238000012545 processing Methods 0.000 claims description 43
- 239000012212 insulator Substances 0.000 description 44
- 238000009434 installation Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 29
- 238000009933 burial Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000004804 winding Methods 0.000 description 7
- 230000001681 protective effect Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000009430 construction management Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Electric Cable Installation (AREA)
Abstract
Description
本発明は、設備工事の検査装置、設備工事の検査方法、およびプログラムに関する。 The present invention relates to an inspection device for equipment construction, an inspection method for equipment construction, and a program.
従来より、電柱の状態を検出する技術が知られている。この種の技術は、例えば、下記の特許文献1−3に記載されている。特許文献1に記載された電柱位置検査装置は、カメラにより撮影された画像中から電柱を検出する電柱検出部を備え、カメラにより撮像された画像に基づいて電柱が建築限界の外にあるか否かを検査する。特許文献2に記載された点検システムは、情報端末が、巡視中に360度カメラの画像とGPS機能とを利用して通過しようとする電柱の電柱番号を特定し、その電柱に設置されている点検対象設備を画像から自動判別し、異常感知センサにより異常の有無を判定する。特許文献3に記載された支持物傾度異常判断装置は、電柱などの支持物の所定位置の三次元位置情報を作成し、三次元位置情報を経時的に比較し、その変動量を判定値として設定し、判定値が所定の値以上である場合に支持物の傾度異常を判定する。
Conventionally, a technique for detecting the state of a utility pole has been known. This type of technique is described, for example, in Patent Documents 1-3 below. The utility pole position inspection device described in
さらに、従来より、工事現場等において撮像された画像に基づいて検査等を行う技術が知られている。この種の技術は、例えば、下記の特許文献4−6に記載されている。特許文献4に記載された工事現場撮影システムは、各工程の作業が終了したときに、当該作業の出来栄えを示す工事現場写真を携帯端末により撮影し、携帯端末により、工事現場画像データと、工程毎の作業の結果を示す作業データとを関連付けてサーバへ送信している。特許文献5に記載された施工状況検査システムは、工事における施工状況の検査用画像を示す画像データを送信する場合にどの工事の検査用画像であるのかを特定している。特許文献6に記載された配管施工管理システムは、検査項目に対応した検査情報を入力する検査情報入力部と、検査情報に基づいて継手部の接合が適正に行なわれたか否かを評価する評価部とを備え、適正と評価されたときにのみ施工管理情報を外部に送信する。配管施工管理システムは、更に、撮像部で撮影された継手部の画像データに基づいて継手部の接合が適正に行なわれたか否かを評価する画像処理部を備えている。
Further, conventionally, a technique for performing an inspection or the like based on an image captured at a construction site or the like has been known. This type of technique is described, for example, in Patent Document 4-6 below. In the construction site photography system described in
しかしながら、上述した特許文献1−3に記載された電柱の状態を検出する技術は、既に工事が完了した電柱の状態を検出しているため、電柱の施行状態の検査を行うことができないという問題がある。また、上述した特許文献4−5に記載された技術は、画像データを送信しているものの、施工の検査に人手が必要であるという問題がある。さらに、上述した特許文献6に記載された技術では、多数の部材を含む工程の検査に適用した場合に、高い精度で評価をすることができない可能性がある。
However, the technique for detecting the state of utility poles described in Patent Documents 1-3 described above detects the state of utility poles for which construction has already been completed, so that there is a problem that it is not possible to inspect the state of execution of utility poles. There is. Further, although the technique described in Patent Document 4-5 described above transmits image data, there is a problem that manpower is required for inspection of construction. Further, the technique described in
本発明は、上記の課題に鑑みてなされたものであって、複数の部材を用いた施工状態を高い精度で検査することができる設備工事の検査装置、設備工事の検査方法、およびプログラムを提供することを目的としている。 The present invention has been made in view of the above problems, and provides an inspection device for equipment construction, an inspection method for equipment construction, and a program capable of inspecting a construction state using a plurality of members with high accuracy. The purpose is to do.
(1)本発明の一態様は、端末装置から、分線用金物を撮像した検査画像、および検査項目が分線用金物であることを示す検査項目情報を取得する取得部と、前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識する認識部と、前記検査画像に前記検査対象物が含まれる場合に、前記検査対象物の位置関係に基づいて前記分線用金物を用いた設備工事の検査を実施する検査部と、前記検査部により実施された検査の結果を前記端末装置に通知する通知部と、を備える、設備工事の検査装置である。 (1) One aspect of the present invention is an acquisition unit that acquires an inspection image obtained by imaging a wire-dividing hardware from a terminal device, and inspection item information indicating that the inspection item is a wire-dividing hardware, and the inspection image. A recognition unit that calculates the certainty indicating the certainty of the inspection object based on the above and recognizes whether or not the inspection object is included in the inspection image based on the certainty, and the inspection target in the inspection image. When an object is included, the inspection unit that inspects the equipment work using the wire branching hardware based on the positional relationship of the inspection object, and the terminal device that examines the result of the inspection performed by the inspection unit. It is an inspection device for equipment construction, which is provided with a notification unit for notifying the user.
(2)本発明の一態様は、上記の通信装置であって、前記認識部は、正常な検査対象物を含む学習画像を用いて学習された認識モデルであって、正常な検査対象物を含む検査画像が入力された場合に当該検査対象物が存在すると認識するように処理パラメータが学習された認識モデルを用いてよい。 (2) One aspect of the present invention is the above-mentioned communication device, and the recognition unit is a recognition model learned by using a learning image including a normal inspection object, and uses a normal inspection object. A recognition model in which the processing parameters are trained so as to recognize that the inspection object exists when the inspection image including the inspection image is input may be used.
(3)本発明の一態様は、上記の設備工事の検査装置であって、前記認識部は、前記検査対象物として複数の留め具、および外れ止め具が含まれるか否かを認識し、前記検査部は、前記分線用金物と前記外れ止め具と前記複数の留め具との位置関係に基づいて検査を実施してよい。 (3) One aspect of the present invention is the above-mentioned equipment construction inspection device, and the recognition unit recognizes whether or not a plurality of fasteners and detachment stoppers are included as the inspection target. The inspection unit may carry out an inspection based on the positional relationship between the wire-dividing hardware, the detachment stopper, and the plurality of fasteners.
(4)本発明の一態様は、上記の設備工事の検査装置であって、前記検査部は、前記分線用金物を含む画像領域を複数の部分領域に分割し、前記分線用金物における前記留め具の取付部を含む画像領域以外の部分領域に、前記複数の留め具が存在するか否かを検査してよい。 (4) One aspect of the present invention is the above-mentioned equipment construction inspection device, in which the inspection unit divides an image area including the above-mentioned wire-dividing hardware into a plurality of partial regions, and in the above-mentioned wire-dividing hardware. It may be inspected whether or not the plurality of fasteners are present in a partial region other than the image region including the attachment portion of the fasteners.
(5)本発明の一態様は、上記の設備工事の検査装置であって、前記検査部は、前記取付部から、前記外れ止め具、前記複数の留め具の順に存在するか否かを検査してよい。 (5) One aspect of the present invention is the above-mentioned equipment construction inspection device, and the inspection part inspects whether or not the attachment part, the detachment stopper, and the plurality of fasteners are present in this order. You can do it.
(6)本発明の一態様は、端末装置から、分線用金物を撮像した検査画像、および検査項目が分線用金物であることを示す検査項目情報を取得するステップと、前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出するステップと、前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識するステップと、前記検査画像に前記検査対象物が含まれる場合に、前記検査対象物の位置関係に基づいて前記分線用金物を用いた設備工事の検査を実施するステップと、検査の結果を前記端末装置に通知するステップと、を含む、設備工事の検査方法である。 (6) One aspect of the present invention includes a step of acquiring an inspection image obtained by capturing an image of a wire-dividing hardware and inspection item information indicating that the inspection item is a wire-dividing hardware from a terminal device, and the inspection image. Based on the step of calculating the certainty indicating the certainty of the inspection object, the step of recognizing whether or not the inspection object is included in the inspection image based on the certainty, and the inspection target in the inspection image. When an object is included, it includes a step of inspecting equipment work using the wire branching hardware based on the positional relationship of the inspection object, and a step of notifying the terminal device of the inspection result. , It is an inspection method of equipment construction.
(7)本発明の一態様は、コンピュータに、端末装置から、分線用金物を撮像した検査画像、および検査項目が分線用金物であることを示す検査項目情報を取得するステップと、前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出するステップと、前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識するステップと、前記検査画像に前記検査対象物が含まれる場合に、前記検査対象物の位置関係に基づいて前記分線用金物を用いた設備工事の検査を実施するステップと、検査の結果を前記端末装置に通知するステップと、を含む処理を実行させる、プログラムである。 (7) One aspect of the present invention includes a step of acquiring an inspection image obtained by capturing an image of a wire-dividing hardware and inspection item information indicating that the inspection item is a wire-dividing hardware from a terminal device on a computer. The step of calculating the certainty indicating the certainty of the inspection object based on the inspection image, the step of recognizing whether or not the inspection object is included in the inspection image based on the certainty, and the inspection image When the inspection target is included, a step of inspecting the equipment work using the branch line hardware based on the positional relationship of the inspection target, and a step of notifying the terminal device of the inspection result. It is a program that executes processing including ,.
本発明の一態様によれば、複数の部材を用いた施工状態を高い精度で検査することができる。 According to one aspect of the present invention, it is possible to inspect the construction state using a plurality of members with high accuracy.
以下、本発明を適用した設備工事の検査装置、設備工事の検査方法、およびプログラムを、図面を参照して説明する。 Hereinafter, an inspection device for equipment construction, an inspection method for equipment construction, and a program to which the present invention is applied will be described with reference to the drawings.
実施形態の設備工事検査システムは、電柱の施設工事の現場作業員により撮像された画像を用いて、当該設備工事の検査を行う。実施形態の設備工事検査システムは、現場作業員により撮像された画像が検査に適しているか否か、画像内に検査対象としての施工部材が存在しているか否か、施工部材が適切か否かを判定することによって、複数の施工部材を用いた施工状態を高い精度で検査するものである。また、実施形態の設備工事検査システムは、判定結果(画像の判定結果、施工部材の判定結果、および検査結果)を現場作業員に提示することによって、現場作業員による画像撮影の手間や、設備工事の検査者による検査の手間や、設備工事に不備がある場合の再施工などの手間を軽減することができる。 The facility construction inspection system of the embodiment inspects the facility construction using images captured by field workers of the facility construction of utility poles. In the equipment construction inspection system of the embodiment, whether or not the image captured by the field worker is suitable for inspection, whether or not the construction member to be inspected exists in the image, and whether or not the construction member is appropriate. By determining, the construction state using a plurality of construction members is inspected with high accuracy. In addition, the equipment construction inspection system of the embodiment presents the determination results (image determination result, construction member determination result, and inspection result) to the on-site worker, so that the on-site worker can take time and effort to take an image and the equipment. It is possible to reduce the labor of inspection by the construction inspector and the labor of re-construction when there is a defect in the equipment construction.
図1は、実施形態の設備工事検査システムの一構成例を示すブロック図である。設備工事検査システムは、例えば、一又は複数のユーザ端末装置100と、施工検査サーバ装置200と、管理端末300とを備える。ユーザ端末装置100、施工検査サーバ装置200、および管理端末300は、例えば、通信ネットワークNWに接続される。通信ネットワークNWに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェースを備えている(図1では不図示)。通信ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
FIG. 1 is a block diagram showing a configuration example of the equipment construction inspection system of the embodiment. The equipment construction inspection system includes, for example, one or more
ユーザ端末装置100は、例えばスマートフォンやタブレット端末などのカメラ装置を備えた携帯型端末装置である。ユーザ端末装置100は、ブラウザやアプリケーションプログラムなどのUA(User Agent)が起動する。UAは、例えば、施工検査サーバ装置200と通信等をするためのアプリケーションである。ユーザ端末装置100は、UAとしての施工検査用アプリケーションを利用し、施工検査サーバ装置200から受信したコンテンツを用いて表示処理や操作の受け付け処理などを行う。また、ユーザ端末装置100は、施工検査用アプリケーションを利用して、ユーザの操作に基づく操作情報や撮影画像等を施工検査サーバ装置200に提供する。
The
施工検査サーバ装置200は、設備工事の検査依頼を受け付け、設備工事の検査結果を提供する情報処理装置である。施工検査サーバ装置200は、例えば、連携API(Application Programming Interface)部210と、検査対象認識部220とを備える。連携API部210および検査対象認識部220といった機能部は、例えばCPU(Central Processing Unit)等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。
The construction
連携API部210は、例えば、API部212と、画像処理部214と、検査部216と、制御部218とを備える。API部212は、ユーザ端末装置100から各種の情報を受け付ける処理や、ユーザ端末装置100にコンテンツを提供する処理などを行う。画像処理部214は、ユーザ端末装置100から取得した画像データに対して所定の画像処理を施す。以下、検査に用いる画像を検査画像と記載する。検査部216は、API部212により取得した検査画像および/または画像処理部214により処理された検査画像を用いて設備工事の検査処理を行う。制御部218は、検査対象認識部220における画像認識エンジンの起動等の制御を行う。
The
検査対象認識部220は、例えば複数の画像認識エンジン222A、222B、・・・222N(Nは自然数)を備える。なお、複数の画像認識エンジンを総称する場合には単に画像認識エンジン222と記載する。各画像認識エンジン222は、複数の検査項目のうちの各検査項目に対応する。画像認識エンジン222は、検査項目における検査対象としての施工部材を認識する認識処理を行う。
The inspection
図2は、検査対象認識部の一例を示すブロック図である。検査対象認識部220は、例えば、学習画像データベース230と、学習処理部232と、認識処理部234と、結果出力部236とを備える。
FIG. 2 is a block diagram showing an example of the inspection target recognition unit. The inspection
学習画像データベース230は、例えば管理端末300から取得した画像を学習画像として記憶するデータベースである。学習画像データベース230は、学習画像として、例えば正例画像を記憶する。正例画像とは、正常な状態の対象物体を撮像した画像である。正例画像は、例えば、電柱の工事において使用される工事部材(電柱、根かせ、分線用金物、メジャー等)を撮像した画像である。正例画像は、工事部材名を含むタグ情報と対応付けられる。なお、正例画像には例えば工程名、検査項目名を示す情報が対応付けられてよい。なお、学習画像データベース230には、正例画像に限らず、学習画像として、工事部材とは異なる物体(異常状態の物体や不良品)を撮像した画像が記憶されてよい。
The
学習処理部232には、学習画像データベース230から学習画像が供給される。学習処理部232は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部232は、施工部材を検出したという判定結果となるように認識処理部234(認識モデル234A)の処理パラメータを学習し、学習結果データを生成する。認識処理部234(認識モデル234A)の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ(重み、バイアスともいう)である。学習結果データは、学習結果データ記憶部2341に記憶される。
The learning image is supplied to the
認識処理部234は、例えば、学習結果データ記憶部2341と、判定部2342とを有する。学習結果データ記憶部2341には、学習結果としての認識処理部234の処理パラメータが蓄積され、認識処理部234の処理パラメータは、学習処理部232によって更新される。認識処理部234は、検査画像を取得した場合、認識処理部234の処理パラメータに基づく認識モデル234Aを用いて特徴量を抽出する。判定部2342は、抽出した特徴量に基づいて、施工部材を検出する。認識処理部234は、判定部2342による判定結果を、認識結果として出力する。
The
以下、上述した設備工事検査システムにおいて電柱の工事における検査処理について説明する。
図3は、電柱の工事における工事箇所の一例を示す図である。電柱の工事において検査対象となる設備工事は、例えば、分線用金物を用いた分線工事(A1)と、電柱の埋設工事(A2)と、支線の取付工事(A3)と、支線への絶縁体取付工事(A4)と、支線への防護カバー取付工事(A5)と、支線の埋設工事(A6)と、電柱の標識板の取付工事(A7)とを含む。なお、図3中のA1〜A7は各工事の検査のために撮像されるエリアを示している。
Hereinafter, the inspection process in the construction of utility poles in the above-mentioned equipment construction inspection system will be described.
FIG. 3 is a diagram showing an example of a construction site in the construction of utility poles. Equipment work to be inspected in utility pole construction includes, for example, branch line construction using metal for branching (A1), utility pole burying construction (A2), branch line installation construction (A3), and branch line construction. Insulator installation work (A4), protective cover installation work on branch lines (A5), branch line burial work (A6), and utility pole sign board installation work (A7) are included. Note that A1 to A7 in FIG. 3 indicate areas to be imaged for inspection of each construction work.
ユーザ端末装置100は、設備工事の検査を依頼する場合、施工検査用アプリケーションを起動し、設備検査用操作画面を表示する。図4は、ユーザ端末装置における施工検査用操作画面の一例を示す図である。施工検査用操作画面には、図4(A)に示すように、設備工事における検査項目に対応したアイコン画像が含まれる。ユーザ端末装置100は、ユーザ操作に基づいてアイコン画像が選択された場合に、カメラ装置を起動する。ユーザ端末装置100は、「根かせ」のアイコン画像が選択された場合、図4(B)に示すように、カメラ装置による撮像画像と、撮影すべき施工部材を指定する案内メッセージとを含む画面を表示する。
When requesting an inspection of equipment construction, the
図5は、ガイド画像の一例を示す図である。ユーザ端末装置100は、施工検査用アプリケーションにより、カメラ装置により撮影している画像110に、ガイド画像を重畳させる。ガイド画像は、ユーザ端末装置100により施工部材を画像内の所定の範囲に含むように撮影させることを支援する画像である。ガイド画像は、例えば、ガイド枠画像120と、マスク画像122とを含む。ガイド枠画像120は、検査対象の施工部材が含まれることが望ましい領域を示す。マスク画像122は、施工検査サーバ装置200が施工部材を含む領域として認識しない領域を示す。
FIG. 5 is a diagram showing an example of a guide image. The
ガイド枠画像120により示される領域およびマスク画像122により示される領域は、学習画像に基づいて決定されることが望ましい。例えば、電柱の標識板を撮像した正例画像(学習画像)のうち多くの画像が、画像内中央に電柱の標識板を含む場合、ガイド枠画像120は、画像内左右方向における略中央の領域であって画像内上下方向の端部間に亘る領域を示し、マスク画像122は、ガイド枠画像120が示す領域以外を示していることが望ましい。これにより、施工検査サーバ装置200は、高い精度で検査することができる。なお、ガイド枠画像120は、設定ファイルにより変更可能であってもよい。これにより、ユーザ端末装置100によりカメラ装置や表示装置の設定に基づいてガイド枠画像120が示す領域を柔軟に変更し、施工部材が適切に含まれる画像を撮影することができる。
It is desirable that the region indicated by the
図6は、ガイド画像の他の例を示す図である。ユーザ端末装置100は、撮影画像のうちユーザの操作位置を中心とした円領域(操作領域)を含む画像を取得し、施工検査サーバ装置200に送信してよい。また、ユーザ端末装置100は、細長い支線防護カバーに沿って指をスライドさせた操作領域を含む画像を取得してもよい。ユーザ端末装置100は、ユーザの操作領域を施工部材が含まれる画像領域であることを示す座標情報を生成してもよい。ユーザ端末装置100は、撮影画像および座標情報を施工検査サーバ装置200に送信することができる。例えば、撮影画像に絶縁体および支線防護カバーが含まれる場合において、ユーザ端末装置100は、ユーザの操作位置に基づいて、絶縁体を含む画像領域の座標情報、支線防護カバーを含む画像領域の座標情報を生成する。
FIG. 6 is a diagram showing another example of the guide image. The
このように、ユーザ端末装置100は、ユーザの操作に基づいて検査項目名に対応した撮影画像を生成する。図3に示したように、分線用金物を用いた分線工事において、ユーザ端末装置100は、分線用金物を含む領域A1を撮像した画像を施工検査サーバ装置200に送信する。電柱の埋設工事において、ユーザ端末装置100は、電柱および支持部材を含む領域A2を撮像した画像を施工検査サーバ装置200に送信する。支線の取付工事において、ユーザ端末装置100は、分度器を含む領域A3を撮像した画像を施工検査サーバ装置200に送信する。支線への絶縁体取付工事において、ユーザ端末装置100は、支線および絶縁体を含む領域A4を撮像した画像を施工検査サーバ装置200に送信する。支線への防護カバー取付工事において、ユーザ端末装置100は、防護カバーを含む領域A5を撮像した画像を施工検査サーバ装置200に送信する。支線の埋設工事において、ユーザ端末装置100は、埋設箇所を含む領域A6を撮像した画像を施工検査サーバ装置200に送信する。電柱の標識板の取付工事において、ユーザ端末装置100は、電柱の標識板を含む領域A7を撮像した画像を施工検査サーバ装置200に送信する。
In this way, the
図7は、施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。まず、連携API部210は、ユーザ端末装置100から受信した情報に基づいて設備工事における検査項目名を取得する(ステップS100)。連携API部210は、検査項目名を取得した時点において検査対象認識部220の起動リストを取得する。連携API部210は、ステップS100において取得した検査項目名と起動リストとを比較し(ステップS104)、取得した検査項目名に対応する画像認識エンジン222が起動しているか否かを判定する(ステップS106)。連携API部210は、検査項目名に対応した画像認識エンジン222が起動していない場合(ステップS106:NO)、検査項目名に対応した画像認識エンジン222を起動するよう制御する(ステップS108)。
FIG. 7 is a flowchart showing an example of inspection processing of equipment construction in the construction inspection server device. First, the
連携API部210は、検査項目名に対応した画像認識エンジン222が起動している場合(ステップS106:YES)、またはステップS108において検査項目名に対応する画像認識エンジン222を起動した後、画像ファイルおよび検査情報ファイルを取得する(ステップS110)。次に連携API部210は、取得した画像ファイルに含まれる検査画像に所定の画像処理を施す(ステップS112)。所定の画像処理は、例えば、エッジ化(先鋭化)処理や、明るさ補正処理などがある。ユーザ端末装置100は、所定の画像処理を施した検査画像を、検査項目名に対応した画像認識エンジン222に受け渡す。
The linked
画像認識エンジン222は、連携API部210から取得した画像に基づいて検査項目名に対応した施工部材(検査対象)が存在するか否かを判定する認識処理を行う(ステップS114)。このとき、画像認識エンジン222は、施工部材ごとに確信度を算出する。また、画像認識エンジン222は、画像処理ごとに、施工部材の確信度を算出する。画像認識エンジン222は、施工部材の確信度が所定値以上である場合、当該施工部材が存在すると判定する。画像認識エンジン222は、施工部材が存在するという認識結果である場合(ステップS116:YES)、ステップS120に処理を進める。画像認識エンジン222は、施工部材が存在しないという認識結果である場合(ステップS116:NO)、検査画像を再取得する(ステップS118)。施工検査サーバ装置200は、検査画像を再取得する場合、ユーザ端末装置100に画像を再撮影する要求を送信する。
The image recognition engine 222 performs a recognition process for determining whether or not there is a construction member (inspection target) corresponding to the inspection item name based on the image acquired from the linked API unit 210 (step S114). At this time, the image recognition engine 222 calculates the certainty for each construction member. Further, the image recognition engine 222 calculates the certainty of the construction member for each image processing. The image recognition engine 222 determines that the construction member exists when the certainty of the construction member is equal to or higher than a predetermined value. When the image recognition engine 222 recognizes that the construction member exists (step S116: YES), the image recognition engine 222 proceeds to the process in step S120. When the image recognition engine 222 recognizes that the construction member does not exist (step S116: NO), the image recognition engine 222 reacquires the inspection image (step S118). When the construction
連携API部210は、画像認識エンジン222により算出された施工部材の確信度を比較する(ステップS120)。図8は、検査画像と、検査画像に含まれる施工部材a〜eと、確信度との関係を示す図である。連携API部210は、検査画像に部材a〜eが含まれる場合、検査画像に含まれる部材a〜eそれぞれについて確信度Ca1〜Ce1を算出し、確信度Ca1〜Ce1の合計値C1を算出する。連携API部210は、検査画像にエッジ処理を施した画像についても、部材a〜eそれぞれについて確信度Ca2〜Ce2を算出し、確信度Ca2〜Ce2の合計値C2を算出する。連携API部210は、検査画像に明るさ補正処理を施した画像についても、部材a〜eそれぞれについて確信度Ca3〜Ce3を算出し、確信度Ca3〜Ce3の合計値C3を算出する。
The
連携API部210は、複数の合計値のうち最も高い合計値に対応した画像を用いて、検査項目の判定処理を行う(ステップS122)。なお、検査項目の判定処理については後述する。連携API部210は、検査項目の判定処理の結果として、検査結果をユーザ端末装置100に送信する(ステップS124)。
The
以下、検査処理について説明する。
(分線用金物の取付工事)
図9は、分線用金物を含む検査画像の一例であり、図10は、分線用金物の取付工事における施工部材、タグ名および認識条件を示す図である。
連携API部210は、施工部材として分線用金物(項番1)、外れ止め具(項番2)、および2個の留め具(項番3)を含む検査画像を取得する。検査項目名としての分線用金物に対応した画像認識エンジン222は、施工部材として、検査画像内に分線用金物、外れ止め具、および留め具が存在するか否かを判定する。画像認識エンジン222は、検査画像のうち分線用金物と認識された施工部材が含まれる場合、当該検査画像に分線用金物が存在すると判定し、当該検査画像において分線用金物を含む領域に、分線用金物に対応したタグ情報を付与する。画像認識エンジン222は、検査画像のうち外れ止め具と認識された物体の確信度が所定値以上である場合、当該検査画像に外れ止め具が存在すると判定し、当該検査画像において外れ止め具を含む領域に、外れ止め具に対応したタグ情報を付与する。画像認識エンジン222は、検査画像のうち留め具と認識された物体の確信度が所定値以上である場合、分線用金物当該検査画像に留め具が存在すると判定し、当該検査画像において留め具を含む領域に、留め具に対応したタグ情報を付与する。
The inspection process will be described below.
(Installation work of hardware for branch line)
FIG. 9 is an example of an inspection image including the wire shunt metal fitting, and FIG. 10 is a diagram showing a construction member, a tag name, and recognition conditions in the installation work of the shunt wire hardware.
The
タグ情報は、画像認識エンジン222の認識結果としてのタグ名を含む。タグ名は、施工部材を示す情報である。タグ情報は、タグ名に加えて、検査画像内の座標情報を含んでいてもよい。タグ情報を付与する処理は、例えば、検査画像における領域にタグを対応付ける処理が含まれる。すなわち、画像認識エンジン222は、検査画像における領域を表す座標とタグ情報との対応関係を表す情報を生成してもよく、検査画像における領域を表す座標とタグ情報との対応関係を表すテーブルを更新してもよい。 The tag information includes a tag name as a recognition result of the image recognition engine 222. The tag name is information indicating a construction member. The tag information may include coordinate information in the inspection image in addition to the tag name. The process of assigning tag information includes, for example, a process of associating a tag with an area in an inspection image. That is, the image recognition engine 222 may generate information representing the correspondence between the coordinates representing the area in the inspection image and the tag information, and creates a table showing the correspondence between the coordinates representing the region in the inspection image and the tag information. You may update it.
タグ情報は、少なくともタグ名を含む。タグ情報は、認識された施工部材の画像内位置を示す座標情報を含んでよい。すなわち、タグ情報は、認識処理により認識された施工部材の画像内位置情報を含んでよい。画像内位置情報は、施工部材が画像内において占める領域(座標値、最高点、最低点、形状等)を示す情報であってよい。 The tag information includes at least the tag name. The tag information may include coordinate information indicating the position in the image of the recognized construction member. That is, the tag information may include the position information in the image of the construction member recognized by the recognition process. The position information in the image may be information indicating an area (coordinate value, highest point, lowest point, shape, etc.) occupied by the construction member in the image.
図11は、分線用金物における部分領域の一例を示す図である。連携API部210は、分線用金物の検査において、分線用金物の直線部分が画像内の水平方向に近づくように、検査画像を回転させる。連携API部210は、図11に示すような分線用金物を含む領域を抽出する。連携API部210は、分線用金物の存在を認識した後に検査画像を回転させてよい。連携API部210は、分線用金物を含む領域を8個の部分領域(1)〜(8)に分割する。連携API部210は、分線用金物が部分領域(1)〜(8)に亘って存在し、外れ止め具が部分領域(3)に存在し、2個のうち1個の留め具が部分領域(4)、(5)に亘り存在し、2個のうち1個の留め具が部分領域(7)に存在することを認識する。
FIG. 11 is a diagram showing an example of a partial region in the wire dividing hardware. In the inspection of the demarcation hardware, the
以上のように、施工検査サーバ装置200は、分線用金物の取付工事において、条件1:分線用金物、外れ止め具および複数の留め具が存在すること、条件2:外れ止め具の確信度が所定値以上であること、条件3:複数の留め具が存在する範囲が分線用金物の指定の部分に所定個数存在すること、の3つの条件を満たす場合に、検査結果が合格であると判定する。
As described above, in the construction
なお、ユーザ端末装置100は、留め具の取付総数を入力させる画面を表示し、ユーザの操作に基づいて留め具の設置総数を示す情報を施工検査サーバ装置200に送信してもよい。施工検査サーバ装置200は、ユーザ端末装置100から受信した情報に基づく留め具の総数と、画像認識エンジン222により認識した留め具の総数とが一致することを条件として、検査結果が合格であると判定する。これにより、検査結果の精度を更に向上させることができる。なお、設備工事検査システムは、留め具の数に限らず、他の施工部材の取付数についても、ユーザの操作に基づく取付数と、画像認識エンジン222により認識された取付数との比較を行ってもよい。
The
(根かせの取付工事)
図12は、根かせを含む検査画像の一例であり、図13は、根かせの取付工事における施工部材、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての根かせに対応した画像認識エンジン222は、検査画像に、施工部材としてメジャー、縦メジャーの外郭、横メジャーの外郭、横棒の外郭、根かせ、電柱断面、電柱、および張力方向を示す図板が含まれるか否かを判定する。画像認識エンジン222は、1つのメジャーが、各センチメートルを示すメジャーを含む特定個数の施工部材として存在するか否かを判定する。画像認識エンジン222は、各施工部材について確信度を算出する。画像認識エンジン222は、施工部材の確信度が所定値を超える場合、当該検査画像に当該施工部材が存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。なお、図12には横メジャーではなく、横棒が存在する一例を示しているが、画像認識エンジン222は、深さの基準部材としての横メジャーまたは横棒の少なくとも一方の存在を認識するものとする。
(Installation work of root skein)
FIG. 12 is an example of an inspection image including a root skein, and FIG. 13 is a diagram showing a construction member, a tag name, and recognition conditions in the root skein mounting work.
The
図14は、根かせの取付工事の検査において横棒または横メジャーの高さを検出する処理を示す図である。連携API部210は、電柱の埋設深さの計測のため、横棒または横メジャーの高さを検出する。横棒または横メジャーの高さを検出する前提条件として、画像認識エンジン222により、(条件1)メジャーに対応したタグ情報として表示されている数値全てが検出され、(条件2)横メジャーの外郭と横棒の外郭の何れか一方のタグ情報が検出されているものとする。
FIG. 14 is a diagram showing a process of detecting the height of a horizontal bar or a horizontal measure in an inspection of a root skein installation work. The
図14に示すように、縦メジャーは、画像内水平方向(X方向)に対して傾いて撮像される場合がある。連携API部210は、横棒とメジャーとの交点座標位置から縦メジャー領域の上端までの距離aと、横棒とメジャーとの交点座標位置から縦メジャー領域の下端までの距離bとの比例計算によって、横棒の高さを算出している。
As shown in FIG. 14, the vertical measure may be imaged at an angle with respect to the horizontal direction (X direction) in the image. The
図15は、電柱断面と根かせと張力方向を示す図板との位置関係を示す図である。連携API部210は、根かせ(支持部材)、電柱、および張力方向を示す図板の位置関係に基づいて、根かせを用いた設備工事の検査を実施する(検査部)。具体的には、連携API部210は、電柱断面の重心と、根かせの重心が、張力方向を示す図板が示す方向の順に配置されているか否かを判定する。連携API部210は、電柱に掛かる張力に抵抗するよう根かせが正しく施工されている場合、検査結果が合格と判定し、そうでない場合、根かせの取付工事の検査結果が不合格であると判定する。
FIG. 15 is a diagram showing the positional relationship between the cross section of the utility pole and the drawing plate showing the rooting and the tension direction. The
さらに、連携API部210は、矢印の向きを判定する。連携API部210は、根かせおよび張力方向を示す図板が検出されている場合において、根かせの長手方向が画像内水平方向と並行となるように検査画像を回転させる。連携API部210は、根かせの長手方向と張力方向を示す図板が示す矢印方向とのなす角度を算出する。連携API部210は、算出した角度が所定の範囲(例えば80度から100度)である場合には、根かせの取付工事の検査結果が合格であると判定し、そうでない場合、根かせの取付工事の検査結果が不合格であると判定する。
Further, the
(支線下部の取付工事)
図16は、支線下部を含む検査画像の一例であり、図17は、支線下部の取付工事における施工部材、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての支線下部に対応した画像認識エンジン222は、検査画像に、施工部材として縦メジャー、横メジャー、各高さを示すセンチメートルのメジャー、アンカー色(例えば黒色、赤色、茶色およびオレンジ色)が含まれるか否かを判定する。図16においては、施工部材に対応する項番3〜6のうち、何れかの項番に対応するアンカー色が認識された場合を示している。画像認識エンジン222は、各施工部材について確信度を算出する。画像認識エンジン222は、施工部材の確信度が所定値を超える場合、当該検査画像に当該施工部材が存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。
(Installation work at the bottom of the branch line)
FIG. 16 is an example of an inspection image including the lower part of the branch line, and FIG. 17 is a diagram showing a construction member, a tag name, and recognition conditions in the installation work of the lower part of the branch line.
The
図18は、支線下部の検査において支線の埋設深度を算出する処理を示す図である。連携API部210は、縦メジャーのタグが付加された領域と、横メジャーのタグが付加された領域との交点を算出する。連携API部210は、算出した交点のY方向における位置を支線下部の埋設深度として算出する。連携API部210は、当該交点が含まれる領域のタグ情報に基づいて、交点の画像内Y方向における位置を算出する。連携API部210は、支線下部の埋設深度が適切である場合には支線下部の検査結果が合格であり、そうでない場合には支線下部の検査結果が不合格であると判定する。
FIG. 18 is a diagram showing a process of calculating the burial depth of the branch line in the inspection of the lower part of the branch line. The
図19は、支線下部の埋設深度を算出する一例を説明するための図である。連携API部210は、支線下部の埋設深度を算出する場合、まず、図19(A)に示すように、縦メジャーの領域と、横メジャーの領域とが交差する領域を求める。次に連携API部210は、縦メジャーの領域のうち目盛りが0の位置を、埋設深度の画像内Y方向における最小値として取得する。次に連携API部210は、交差領域のうち画像内Y方向の最小値を、埋設深度のY方向における最大値として取得する。次に連携API部210は、埋設深度における最小値と最大値との画像内距離を計算する。次に連携API部210は、図19(B)に示すように、縦メジャーの領域における10センチメートルを示す位置から20センチメートルを示す位置までの画像内距離(aピクセル)と埋設深度における最小値と最大値との画像内距離(bピクセル)との比率から、埋設深度における最小値と最大値との画像内距離が示す実際の長さを算出する。すなわち、連携API部210は、10(cm):x(cm)=a(ピクセル):b(ピクセル)におけるxの値を求めることで、支線の埋設深度を計算する。
FIG. 19 is a diagram for explaining an example of calculating the burial depth of the lower part of the branch line. When calculating the burial depth of the lower part of the branch line, the
なお、連携API部210は、検査項目名として上部支線または土質区分が選択されている場合に、アンカー色のタグが複数検出された場合、黒、赤、茶、オレンジのうち最も確信度の高い色を検出する。連携API部210は、検出した色と、下部支線は施設場所の地況、経済性等によりアンカー色とを突合し、アンカー色が適切であるか否かを判定してもよい。
In addition, when the upper branch line or the soil classification is selected as the inspection item name and a plurality of anchor color tags are detected, the
(電柱下部の工事)
図20は、電柱下部を含む検査画像の一例であり、図21は、電柱下部の工事における施工部材、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての電柱下部に対応した画像認識エンジン222は、検査画像に、施工部材として足場、電柱の標識板、およびメジャーが含まれるか否かを判定する画像認識エンジン222は、複数の施工部材のうち電柱の標識板の確信度およびメジャーの確信度を算出する。画像認識エンジン222は、各確信度が所定値を超える場合、当該検査画像に当該施工部材が存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。画像認識エンジン222は、足場と認識される施工部材のうち設置位置が最も低い足場を採用する。
(Construction of the lower part of the utility pole)
FIG. 20 is an example of an inspection image including the lower part of the utility pole, and FIG. 21 is a diagram showing a construction member, a tag name, and recognition conditions in the construction of the lower part of the utility pole.
The
図22は、足場の高さを検査する処理を説明するための図である。連携API部210は、画像認識エンジン222によって認識されたメジャーの最低地点からメジャーの最高地点までの距離としてメジャーを認識し、最も低い位置に存在する足場を示すタグ情報を検出する。連携API部210は、検出した足場のタグ情報に基づいて、最も低い位置に存在する足場がメジャーから一定の高さより高い場合、足場の高さの検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。
FIG. 22 is a diagram for explaining a process of inspecting the height of the scaffold. The
図23は、電柱の標識板の高さを検査する処理を説明するための図である。連携API部210は、画像認識エンジン222によって認識されたメジャーの最低地点からメジャーの最高地点までの距離としてメジャーを有する高さを認識し、電柱の標識板を示すタグ情報を検出する。連携API部210は、電柱の標識板のタグ情報に基づいて、電柱の標識板の上端の高さが一定の高さより低い場合、電柱の標識板の高さの検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。連携API部210は、例えば、電柱の標識板の上端と下端の高さが一定の高さを満たした場合に電柱の標識板の高さの検査結果が合格であると判定してよい。
FIG. 23 is a diagram for explaining a process of inspecting the height of the sign plate of the utility pole. The
(絶縁体の取付工事)
図24は、絶縁体を含む検査画像の一例であり、図25は、絶縁体の取付工事における施工部材、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての絶縁体に対応した画像認識エンジン222は、検査画像に、施工部材として絶縁体、および、メジャーが含まれるか否かを判定する。画像認識エンジン222は、絶縁体およびメジャーの確信度を算出する。画像認識エンジン222は、各確信度が所定値を超える場合、当該検査画像に絶縁体およびメジャーが存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。画像認識エンジン222は、ユーザの指定した位置を含む所定領域に含まれる絶縁体を採用する。画像認識エンジン222は、ユーザ端末装置100における表示部におけるユーザ操作の検出位置を含む所定領域に、絶縁体と認識される施工部材がある場合、当該絶縁体を採用する。
(Insulator installation work)
FIG. 24 is an example of an inspection image including an insulator, and FIG. 25 is a diagram showing a construction member, a tag name, and recognition conditions in the installation work of the insulator.
The
図26は、絶縁体の高さを検査する処理を説明するための図である。連携API部210は、画像認識エンジン222によって認識されたメジャーの最低地点からメジャーの最高地点までの距離としてメジャーを有する高さを認識し、絶縁体を示すタグ情報を検出する。連携API部210は、検出した絶縁体のタグ情報に基づいて、絶縁体が一定の高さより高い場合、絶縁体の高さの検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。
FIG. 26 is a diagram for explaining a process of inspecting the height of the insulator. The
(支線の取付工事)
図27は、支線、および支線角度を計測するための分度器を含む撮影画像の一例であり、図28は、分度器の部材名、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての支線角度に対応した画像認識エンジン222は、検査画像に、分度器の部材として針、および角度表示(0度、10度、20度、30度、40度、50度、60度、70度、80度、および90度)が含まれるか否かを判定する。画像認識エンジン222は、角度表示の角度値ごとに、確度値を示す画像が検査画像に含まれているか否かを判定する。画像認識エンジン222は、針の確信度および角度表示(角度値ごと)の確信度を算出する。画像認識エンジン222は、各確信度が所定値を超える場合、当該検査画像に針および角度表示(角度値ごと)が存在すると判定し、当該検査画像において針および角度表示を含む領域に、分度器の針および角度表示(角度値ごと)に対応したタグ情報を付与する。
(Installation work of branch line)
FIG. 27 is an example of a photographed image including a branch line and a protractor for measuring the branch line angle, and FIG. 28 is a diagram showing a member name, a tag name, and a recognition condition of the protractor.
The
図29は、支線角度を検査する処理を説明するための図である。連携API部210は、画像認識エンジン222によって認識された針のうち半分位置から先端位置までの領域のうち、半分位置と先端位置との中間位置を針の基準座標にする。連携API部210は、針の基準座標から近い上位2箇所の角度表示(50度と30度)のタグ情報を取得する。連携API部210は、取得した2つの角度表示の画像間距離(ピクセル数)を算出し、算出したピクセル数を2つの角度表示の角度差(20度)で除算することで1度辺りのピクセル数を算出する。なお、連携API部210は、角度値ごとのタグ情報には角度値を含む領域情報が含まれるが、角度値を含む領域の重心同士の距離(画像内水平方向)を算出する。連携API部210は、画像内水平方向における針と角度表示(30度)との間のピクセル数、および角度表示が示す角度(30度)に基づいて、針が示す角度(支線角度)を算出する。連携API部210は、支線角度が所定の範囲内である場合、支線角度の検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。
FIG. 29 is a diagram for explaining a process of inspecting the branch line angle. The
(巻付グリップの取付工事)
図30は、巻付グリップを含む撮影画像の一例であり、図31は、巻付グリップの取付工事における部材名、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての巻付グリップに対応した画像認識エンジン222は、撮影画像に、施工部材として赤テープ、紫テープ、茶テープ、オレンジテープ、およびシンブルが含まれるか否かを判定する。画像認識エンジン222は、施工部材ごとに、当該施工部材の確信度を算出する。画像認識エンジン222は、各確信度が所定値を超える場合、当該検査画像に施工部材が存在すると判定し、検査画像における施工部材を含む領域に、施工部材に対応したタグ情報を付与する。
(Installation work of winding grip)
FIG. 30 is an example of a photographed image including the winding grip, and FIG. 31 is a diagram showing a member name, a tag name, and recognition conditions in the installation work of the winding grip.
The
連携API部210は、テープの色のうち、最も確信度が高い色を採用する。連携API部210は、採用したテープの色と施設場所の地況、経済性等によりに対応したテープ色とを突合する。連携API部210は、互いの色が一致している場合にはテープ色の検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。なお、連携API部210は、ユーザの操作を受け付け、検査画像における支線上部を選択している場合に、テープ色の検査を実施してよい。
The
連携API部210は、検査画像にシンブルに対応したタグ情報が付与されているか否かを判定し、シンブルに対応したタグ情報が付与されている場合にはシンブルについての検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。連携API部210は、施工部材についての検査の全てについて、検査結果が合格した場合、巻付グリップの工事の検査結果が合格であると判定する。
The
(下駄の取付工事)
図32は、下駄を含む検査画像の一例であり、図33は、下駄の取付工事における部材名、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての下駄に対応した画像認識エンジン222は、検査画像に、施工部材として下駄が含まれるか否かを判定する。画像認識エンジン222は、下駄が含まれる場合、検査画像における下駄を含む領域に、下駄に対応したタグ情報を付与する。連携API部210は、ユーザが選択した検査画像における領域に下駄のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。
(Geta installation work)
FIG. 32 is an example of an inspection image including a geta, and FIG. 33 is a diagram showing a member name, a tag name, and a recognition condition in the installation work of the geta.
The
(支線防護および絶縁体の取付工事)
図34は、支線防護および絶縁体を含む検査画像の一例であり、図35は、支線防護および絶縁体の取付工事における部材名、タグ名および認識条件を示す図である。
連携API部210は、検査画像を取得する。検査項目名としての支線防護および絶縁体に対応した画像認識エンジン222は、検査画像に、施工部材として支線防護および絶縁体が含まれるか否かを判定する。画像認識エンジン222は、施工部材が含まれる場合、検査画像における施工部材を含む領域に、施工部材に対応したタグ情報を付与する。連携API部210は、ユーザが選択した検査画像における領域に支線防護のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。連携API部210は、ユーザが選択した検査画像における領域に絶縁体のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。
(Branch line protection and insulator installation work)
FIG. 34 is an example of an inspection image including the branch line protection and the insulator, and FIG. 35 is a diagram showing a member name, a tag name, and a recognition condition in the branch line protection and the installation work of the insulator.
The
(絶縁体の取付工事)
図36は、絶縁体を含む検査画像の一例であり、図37は、絶縁体の取付工事における部材名、タグ名および認識条件を示す図である。絶縁体は、電柱に接続された線路(電力線、通信線等)に取り付けられた絶縁体である。
連携API部210は、検査画像を取得する。検査項目名としての絶縁体に対応した画像認識エンジン222は、検査画像に、施工部材として絶縁体が含まれるか否かを判定する。画像認識エンジン222は、絶縁体が含まれる場合、検査画像における絶縁体を含む領域に、絶縁体に対応したタグ情報を付与する。連携API部210は、ユーザが選択した検査画像における領域に絶縁体のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。
(Insulator installation work)
FIG. 36 is an example of an inspection image including an insulator, and FIG. 37 is a diagram showing a member name, a tag name, and recognition conditions in the installation work of the insulator. The insulator is an insulator attached to a line (power line, communication line, etc.) connected to a utility pole.
The
(留め具の取付工事)
図38は、留め具を含む検査画像の一例であり、図39は、留め具の取付工事における部材名、タグ名および認識条件を示す図である。留め具は、電柱に接続された線路(電力線、通信線等)を家屋内に引き入れるための施工部材である。
連携API部210は、検査画像を取得する。検査項目名としての留め具に対応した画像認識エンジン222は、検査画像に、施工部材として留め具が含まれるか否かを判定する。画像認識エンジン222は、留め具が含まれる場合、検査画像における留め具を含む領域に、留め具に対応したタグ情報を付与する。連携API部210は、ユーザが選択した検査画像における領域に留め具のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。
(Fastener installation work)
FIG. 38 is an example of an inspection image including the fastener, and FIG. 39 is a diagram showing a member name, a tag name, and a recognition condition in the attachment work of the fastener. The fastener is a construction member for drawing a line (power line, communication line, etc.) connected to a utility pole into the house.
The
以上説明した実施形態の設備工事検査システムによれば、ユーザ端末装置100から、分線用金物を撮像した検査画像、および検査項目が分線用金物であることを示す検査項目情報を取得し、検査画像に基づいて検査対象物の確からしさを示す確信度を算出し、確信度に基づいて検査画像に検査対象物が含まれるか否かを認識し、検査画像に検査対象物が含まれる場合に、検査対象物の位置関係に基づいて分線用金物を用いた設備工事の検査を実施し、検査部により実施された検査の結果を端末装置に通知する。この設備工事検査システムによれば、分線用金物の検査において、検査対象物の位置関係に基づいて検査を実施するので、複数の部材を用いた施工状態を高い精度で検査することができる。
According to the equipment construction inspection system of the embodiment described above, the inspection image obtained by capturing the image of the shunting hardware and the inspection item information indicating that the inspection item is the shunting hardware are acquired from the
また、実施形態の設備工事検査システムによれば、端末装置から、電柱の支持部材を撮像した検査画像、および検査項目が電柱の支持部材であることを示す検査項目情報を取得し、検査画像から支持部材、および支持部材周辺の検査対象物の確からしさを示す確信度を算出し、確信度に基づいて検査画像に支持部材および検査対象物が含まれるか否かを判定し、検査画像に支持部材および検査対象物が含まれる場合に、支持部材および検査対象物の位置関係に基づいて支持部材を用いた設備工事の検査を実施し、検査部により実施された検査の結果を端末装置に通知する。この設備工事検査システムによれば、電柱の支持部材の検査において、検査対象物の位置関係に基づいて検査を実施するので、複数の部材を用いた施工状態を高い精度で検査することができる。 Further, according to the equipment construction inspection system of the embodiment, an inspection image obtained by imaging the support member of the electric pole and inspection item information indicating that the inspection item is the support member of the electric pole are acquired from the terminal device, and the inspection item information is obtained from the inspection image. The certainty that indicates the certainty of the support member and the inspection object around the support member is calculated, and based on the certainty, it is determined whether or not the support member and the inspection object are included in the inspection image, and the inspection image is supported. When a member and an inspection object are included, an inspection of equipment work using the support member is carried out based on the positional relationship between the support member and the inspection object, and the result of the inspection carried out by the inspection department is notified to the terminal device. To do. According to this equipment construction inspection system, in the inspection of the support member of the utility pole, the inspection is carried out based on the positional relationship of the inspection object, so that the construction state using a plurality of members can be inspected with high accuracy.
さらに、実施形態の設備工事検査システムによれば、端末装置が、設備工事に含まれる複数の検査項目に対応した複数のアイコンを提示し、複数のアイコンのうちユーザの操作に基づいてアイコンが選択されたことに応じて前記端末装置のカメラ装置を起動し、選択されたアイコンに対応する検索項目における検査対象物のガイド枠、および検査対象物として認識されない領域を示すマスクを端末装置に表示し、カメラ装置により撮像された検査画像、および前記選択されたアイコンに対応する検査項目情報を、端末装置から情報処理装置に送信し、認識部により、端末装置から送信された検査画像に含まれる検査対象物の確からしさを示す確信度を算出し、確信度に基づいて前記検査対象物が含まれるか否かを判定し、認識部により検査対象物が含まれると判定された場合、情報処理装置の検査部により、検査対象物の位置関係に基づいて検査項目に対応した検査を行う。この設備工事検査システムによれば、検査対象物を撮像する際にガイド枠およびマスクを表示することにより適切な検査画像を取得することができ、複数の部材を用いた施工状態を高い精度で検査することができる。 Further, according to the equipment construction inspection system of the embodiment, the terminal device presents a plurality of icons corresponding to a plurality of inspection items included in the equipment construction, and the icon is selected from the plurality of icons based on the user's operation. In response to this, the camera device of the terminal device is activated, and the guide frame of the inspection target in the search item corresponding to the selected icon and the mask indicating the area not recognized as the inspection target are displayed on the terminal device. , The inspection image captured by the camera device, and the inspection item information corresponding to the selected icon are transmitted from the terminal device to the information processing device, and the recognition unit transmits the inspection image included in the inspection image transmitted from the terminal device. The certainty level indicating the certainty of the object is calculated, it is determined whether or not the inspection target object is included based on the certainty level, and when the recognition unit determines that the inspection target object is included, the information processing device. The inspection department of the above will perform inspections corresponding to the inspection items based on the positional relationship of the inspection objects. According to this equipment construction inspection system, an appropriate inspection image can be obtained by displaying a guide frame and a mask when imaging an inspection object, and the construction state using a plurality of members can be inspected with high accuracy. can do.
なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の1または複数の実施形態や他の1または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。 Although each embodiment and modification have been described, the present invention is not limited to these, and is not limited to these. For example, one of each embodiment or each modification, a part of each embodiment, or one of each modification. The unit may be combined with another one or more embodiments or other one or more modifications to realize one aspect of the invention.
なお、本実施形態におけるユーザ端末装置100や施工検査サーバ装置200の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置100や施工検査サーバ装置200に係る上述した種々の処理を行ってもよい。
A program for executing each process of the
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能な不揮発性メモリ、CD−ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。 The "computer system" referred to here may include hardware such as an OS and peripheral devices. Further, the "computer system" includes a homepage providing environment (or a display environment) if a WWW system is used. The "computer-readable recording medium" includes a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a CD-ROM, and a hard disk built in a computer system. It refers to the storage device of.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic
Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
Furthermore, the "computer-readable recording medium" is a volatile memory inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line (for example, DRAM (Dynamic)).
It also includes those that hold the program for a certain period of time, such as Random Access Memory)). Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned function in combination with a program already recorded in the computer system.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。例えば、本発明の実施形態として、ユーザ端末装置100だけで構成される場合もある。
Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and the design within a range not deviating from the gist of the present invention is also included. For example, as an embodiment of the present invention, it may be composed only of the
100 ユーザ端末装置
120 ガイド枠画像
122 マスク画像
200 施工検査サーバ装置
210 連携API部
212 API部
214 画像処理部
216 検査部
218 制御部
220 検査対象認識部
222 画像認識エンジン
100
Claims (7)
前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識する認識部と、
前記検査画像に前記検査対象物が含まれる場合に、前記検査対象物の位置関係に基づいて前記分線用金物を用いた設備工事の検査を実施する検査部と、
前記検査部により実施された検査の結果を前記端末装置に通知する通知部と、
を備える、設備工事の検査装置。 An acquisition unit that acquires an inspection image of the shunting hardware from the terminal device and inspection item information indicating that the inspection item is the shunting hardware.
A recognition unit that calculates the certainty indicating the certainty of the inspection object based on the inspection image and recognizes whether or not the inspection object is included in the inspection image based on the certainty.
When the inspection image includes the inspection object, an inspection unit that inspects the equipment work using the branch line hardware based on the positional relationship of the inspection object, and an inspection unit.
A notification unit that notifies the terminal device of the result of the inspection performed by the inspection unit, and
Equipment construction inspection equipment equipped with.
請求項1に記載の設備工事の検査装置。 The recognition unit is a recognition model learned using a learning image including a normal inspection object, and recognizes that the inspection object exists when an inspection image including a normal inspection object is input. Using a recognition model in which the processing parameters are trained,
The inspection device for equipment construction according to claim 1.
前記検査部は、前記分線用金物と前記外れ止め具と前記複数の留め具との位置関係に基づいて検査を実施する、
請求項1または2に記載の設備工事の検査装置。 The recognition unit recognizes whether or not the inspection target includes a plurality of fasteners and a stopper, and recognizes whether or not the inspection target includes a plurality of fasteners and a stopper.
The inspection unit carries out an inspection based on the positional relationship between the wire dividing hardware, the detachment stopper, and the plurality of fasteners.
The equipment construction inspection device according to claim 1 or 2.
請求項3に記載の設備工事の検査装置。 The inspection unit divides the image region including the wire dividing hardware into a plurality of partial regions, and the plurality of fasteners are formed in a partial region other than the image region including the attachment portion of the fastener in the wire dividing hardware. Check for the existence of,
The inspection device for equipment work according to claim 3.
請求項4に記載の設備工事の検査装置。 The inspection unit inspects whether or not the attachment portion, the stopper, and the plurality of fasteners are present in this order.
The inspection device for equipment construction according to claim 4.
前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出するステップと、
前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識するステップと、
前記検査画像に前記検査対象物が含まれる場合に、前記検査対象物の位置関係に基づいて前記分線用金物を用いた設備工事の検査を実施するステップと、
検査の結果を前記端末装置に通知するステップと、
を含む、設備工事の検査方法。 A step of acquiring an inspection image obtained by capturing an image of a wire branching hardware and inspection item information indicating that the inspection item is a branching hardware from a terminal device, and a step of acquiring the inspection item information.
A step of calculating the degree of certainty indicating the certainty of the inspection object based on the inspection image, and
A step of recognizing whether or not the inspection image contains an inspection object based on the certainty, and
When the inspection image includes the inspection target, the step of inspecting the equipment work using the branching hardware based on the positional relationship of the inspection target, and
The step of notifying the terminal device of the inspection result and
Inspection methods for equipment construction, including.
端末装置から、分線用金物を撮像した検査画像、および検査項目が分線用金物であることを示す検査項目情報を取得するステップと、
前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出するステップと、
前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識するステップと、
前記検査画像に前記検査対象物が含まれる場合に、前記検査対象物の位置関係に基づいて前記分線用金物を用いた設備工事の検査を実施するステップと、
検査の結果を前記端末装置に通知するステップと、
を含む処理を実行させる、プログラム。 On the computer
A step of acquiring an inspection image obtained by capturing an image of a wire branching hardware and inspection item information indicating that the inspection item is a branching hardware from a terminal device, and a step of acquiring the inspection item information.
A step of calculating the degree of certainty indicating the certainty of the inspection object based on the inspection image, and
A step of recognizing whether or not the inspection image contains an inspection object based on the certainty, and
When the inspection image includes the inspection target, the step of inspecting the equipment work using the branching hardware based on the positional relationship of the inspection target, and
The step of notifying the terminal device of the inspection result and
A program that executes processing including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185658A JP7217214B2 (en) | 2019-10-09 | 2019-10-09 | Facility construction inspection device, facility construction inspection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185658A JP7217214B2 (en) | 2019-10-09 | 2019-10-09 | Facility construction inspection device, facility construction inspection method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021061709A true JP2021061709A (en) | 2021-04-15 |
JP7217214B2 JP7217214B2 (en) | 2023-02-02 |
Family
ID=75380601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185658A Active JP7217214B2 (en) | 2019-10-09 | 2019-10-09 | Facility construction inspection device, facility construction inspection method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7217214B2 (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123589A (en) * | 2010-12-08 | 2012-06-28 | Kubota Corp | Piping construction management system, portable terminal and construction information management server |
JP2014197387A (en) * | 2013-03-04 | 2014-10-16 | 大和ハウス工業株式会社 | Construction state inspection system and construction state inspection method |
JP2015116916A (en) * | 2013-12-18 | 2015-06-25 | 株式会社明電舎 | Inspection device for position of utility pole in front of vehicle |
JP2017091495A (en) * | 2016-04-04 | 2017-05-25 | ギアヌーヴ株式会社 | Construction site photographing system, pile work inspection system, work data acquisition device and work data acquisition method |
JP2018017103A (en) * | 2016-07-29 | 2018-02-01 | エヌ・ティ・ティ・コムウェア株式会社 | Information processing apparatus, information processing method, and program |
JP2018074757A (en) * | 2016-10-28 | 2018-05-10 | 株式会社東芝 | Patrol inspection system, information processing apparatus, and patrol inspection control program |
JP2018087798A (en) * | 2016-11-30 | 2018-06-07 | 中国電力株式会社 | Supporting object tilt abnormality determination device |
JP2019032684A (en) * | 2017-08-08 | 2019-02-28 | 中国電力株式会社 | Patrol and inspection system |
JP2019066920A (en) * | 2017-09-28 | 2019-04-25 | オリンパス株式会社 | Construction information acquirement apparatus, construction information management system, and information terminal |
JP2020061601A (en) * | 2018-10-05 | 2020-04-16 | 東日本電信電話株式会社 | Photographic inspection support device and program of the same |
-
2019
- 2019-10-09 JP JP2019185658A patent/JP7217214B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123589A (en) * | 2010-12-08 | 2012-06-28 | Kubota Corp | Piping construction management system, portable terminal and construction information management server |
JP2014197387A (en) * | 2013-03-04 | 2014-10-16 | 大和ハウス工業株式会社 | Construction state inspection system and construction state inspection method |
JP2015116916A (en) * | 2013-12-18 | 2015-06-25 | 株式会社明電舎 | Inspection device for position of utility pole in front of vehicle |
JP2017091495A (en) * | 2016-04-04 | 2017-05-25 | ギアヌーヴ株式会社 | Construction site photographing system, pile work inspection system, work data acquisition device and work data acquisition method |
JP2018017103A (en) * | 2016-07-29 | 2018-02-01 | エヌ・ティ・ティ・コムウェア株式会社 | Information processing apparatus, information processing method, and program |
JP2018074757A (en) * | 2016-10-28 | 2018-05-10 | 株式会社東芝 | Patrol inspection system, information processing apparatus, and patrol inspection control program |
JP2018087798A (en) * | 2016-11-30 | 2018-06-07 | 中国電力株式会社 | Supporting object tilt abnormality determination device |
JP2019032684A (en) * | 2017-08-08 | 2019-02-28 | 中国電力株式会社 | Patrol and inspection system |
JP2019066920A (en) * | 2017-09-28 | 2019-04-25 | オリンパス株式会社 | Construction information acquirement apparatus, construction information management system, and information terminal |
JP2020061601A (en) * | 2018-10-05 | 2020-04-16 | 東日本電信電話株式会社 | Photographic inspection support device and program of the same |
Also Published As
Publication number | Publication date |
---|---|
JP7217214B2 (en) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021060888A (en) | Inspection method of utility work and inspection system of utility work | |
CN110807429A (en) | Construction safety detection method and system based on tiny-YOLOv3 | |
CN110142785A (en) | A kind of crusing robot visual servo method based on target detection | |
CN112232279B (en) | Personnel interval detection method and device | |
US10726262B2 (en) | Imaging support system, device and method, and imaging terminal | |
CN113167742B (en) | Point inspection support device, point inspection support method, and recording medium for concrete structure | |
JP2020027058A (en) | Bar arrangement make management system and bar arrangement make management method | |
CN111144372A (en) | Vehicle detection method, device, computer equipment and storage medium | |
KR20140093351A (en) | Investigation apparatus and method for sewer facility | |
JP2018084126A (en) | Road state management program, road state management device, and road state management method | |
JP2007243509A (en) | Image processing device | |
JP3776591B2 (en) | Map information updating method and apparatus | |
CN113223087A (en) | Target object geographic coordinate positioning method and device based on video monitoring | |
CN112001963A (en) | Fire fighting channel investigation method, system and computer equipment | |
CN107607397A (en) | Defect inspection method and device | |
JP2021061709A (en) | Facility construction inspection device, facility construction inspection method, and program | |
JP2021060887A (en) | Inspection device of utility work, inspection method of utility work, and program | |
US11748876B2 (en) | Joint surface safety evaluation apparatus | |
JP2003065959A (en) | Nondestructive inspection apparatus | |
JP2001314374A (en) | Corneal endothelial cell measuring apparatus | |
CN115690573A (en) | Base station acceptance method, device, equipment and storage medium | |
JP2023160059A (en) | Utility work inspection device, utility work inspection method, and program | |
JP2021085838A (en) | Bar arrangement inspection system, bar arrangement inspection method and bar arrangement inspection program | |
CN110991387A (en) | Distributed processing method and system for robot cluster image recognition | |
JP2016021725A (en) | Camera for damage diagnosis of civil engineering structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20191107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |