JP7214023B1 - 配筋検査装置、配筋検査方法およびプログラム - Google Patents
配筋検査装置、配筋検査方法およびプログラム Download PDFInfo
- Publication number
- JP7214023B1 JP7214023B1 JP2022016805A JP2022016805A JP7214023B1 JP 7214023 B1 JP7214023 B1 JP 7214023B1 JP 2022016805 A JP2022016805 A JP 2022016805A JP 2022016805 A JP2022016805 A JP 2022016805A JP 7214023 B1 JP7214023 B1 JP 7214023B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- reinforcing bar
- unit
- information
- dimensional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title description 19
- 230000003014 reinforcing effect Effects 0.000 claims abstract description 302
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000002787 reinforcement Effects 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 7
- 210000003205 muscle Anatomy 0.000 claims 1
- 238000010998 test method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 23
- 239000003550 marker Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【課題】複数段の平面のに鉄筋が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋の検査漏れを防止することができる配筋検査装置を提供する。【解決手段】配筋検査装置1は複数段の平面に鉄筋が配筋された構造体である検査領域を複数の撮影角度から連続して撮影された撮影画像を入力し、構造体の三次元情報を取得する三次元情報取得部11と、構造体の三次元情報を再構成する三次元情報再構成部12と、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定する平面特定部13と、構造体の撮影画像を構造体に正対化した正対化画像に変換する画像変換部14と、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する位置検出部15と、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するオクルージョン判定部16を備える。【選択図】図1
Description
本開示は、配筋検査装置、配筋検査方法およびプログラムに関する。
鉄筋コンクリート構造物の施工においては、鉄筋を組み上げる配筋を行った後に、鉄筋が設計通り配筋されているかを検査する配筋検査が行われる。例えば、特許文献1には、配筋状態を撮影した画像を認識して解析を行うことにより、配筋の出来形を管理する配筋出来形管理システムが記載されている。特許文献1に記載の配筋出来形管理システムは、鉄筋の長さおよび太さの基準となる基準データを付与して撮影範囲を設定し、設定された撮影範囲で配筋状態を撮影した撮影データから配筋状態を認識する。
複数段の平面のそれぞれに鉄筋が配筋された構造体を撮影した撮影画像では、上段側の鉄筋のオクルージョンによって下段側の鉄筋が隠れてしまう場合がある。この場合、特許文献1に記載された配筋出来形管理システムでは、オクルージョンによって隠れた下段側の鉄筋を撮影画像から特定できず、鉄筋の検査漏れが発生する可能性があるという課題があった。
本開示は上記課題を解決するものであり、複数段の平面のそれぞれに鉄筋が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋の検査漏れを防止することができる配筋検査装置、配筋検査方法およびプログラムを得ることを目的とする。
本開示に係る配筋検査装置は、複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに構造体の三次元情報を取得する三次元情報取得部と、撮影画像ごとに取得された三次元情報を用いて、構造体の三次元情報を再構成する三次元情報再構成部と、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定する平面特定部と、構造体の撮影画像を構造体に正対化した正対化画像に変換する画像変換部と、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する位置検出部と、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するオクルージョン判定部と、を備える。
本開示によれば、複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像ごとに構造体の三次元情報を取得し、取得した三次元情報を用いて構造体の三次元情報を再構成し、再構成した三次元情報を用いて各段の平面の特定と鉄筋の位置情報の検出とを行い、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定する。撮影画像において上段の鉄筋により隠される下段の鉄筋が判定されるので、本開示に係る配筋検査装置は、複数段の平面のそれぞれに鉄筋が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋の検査漏れを防止することができる。
実施の形態1.
図1は、実施の形態1に係る配筋検査装置1の構成を示すブロック図である。配筋検査装置1は、検査領域に配筋されている鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。検査領域とは、複数段の平面のそれぞれに鉄筋が配筋された構造体を上段の平面側からみた領域である。なお、当該構造体は、骨格として鉄筋が配筋された建築または土木の構造体である。
図1は、実施の形態1に係る配筋検査装置1の構成を示すブロック図である。配筋検査装置1は、検査領域に配筋されている鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。検査領域とは、複数段の平面のそれぞれに鉄筋が配筋された構造体を上段の平面側からみた領域である。なお、当該構造体は、骨格として鉄筋が配筋された建築または土木の構造体である。
配筋検査装置1は、タブレット端末、スマートフォンまたはノートタイプのパーソナルコンピュータ(PC)である。図1に示すように、配筋検査装置1には、有線または無線でステレオカメラ2が接続されている。ステレオカメラ2が外付けされた装置に限らず、配筋検査装置1は、ステレオカメラ2を内蔵する装置であってもよい。
例えば、検査者が、配筋検査装置1を携帯して検査領域の周辺を移動しながら、配筋検査装置1と接続されたステレオカメラ2で検査領域を撮影する。検査者とともにステレオカメラ2も移動するので、ステレオカメラ2は、検査領域を複数の撮影角度から連続して撮影することができる。なお、配筋検査装置1とともに検査領域の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
ステレオカメラ2は、左撮影部および右撮影部を有した撮影装置である。左撮影部は、左側から見た左視点画像を撮影する。右撮影部は、右側から見た右視点画像を撮影する。ステレオカメラ2は、左視点画像および右視点画像から構成される撮影画像を出力する。
配筋検査装置1は、ステレオカメラ2によって複数の撮影角度から連続して撮影された検査領域の撮影画像を入力し、これらの撮影画像を用いて上段の鉄筋により隠される下段の鉄筋を判定する。また、配筋検査装置1は、三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16を備える。
三次元情報取得部11は、複数段の平面のそれぞれに鉄筋が配筋された構造体である、検査領域が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに構造体の三次元情報を取得する。例えば、配筋検査装置1を携帯した検査者が検査領域の周辺を移動することにより、ステレオカメラ2は、検査領域を複数の撮影角度から予め定められたフレームレイト(例えば、30fps)で連続して撮影する。三次元情報取得部11は、検査領域の左視点画像および同検査領域の右視点画像(フレーム画像)の時系列データである撮影画像を、ステレオカメラ2から順次入力する。そして、三次元情報取得部11は、左視点画像と右視点画像とをステレオマッチングすることにより、検査領域の三次元画像である三次元情報を、撮影画像ごとに(フレーム画像ごとに)取得する。
三次元情報再構成部12は、撮影画像ごとに取得された三次元情報を用いて上記構造体の三次元情報を再構成する。撮影画像ごとに取得された三次元画像は、ステレオカメラ2の移動により異なる撮影角度から撮影されたものである。例えば、三次元情報再構成部12は、予め定められた検査周期ごとに取得された複数の撮影画像にそれぞれ対応する三次元画像を入力し、上記検査周期の期間に取得された各三次元画像から検査領域に存在する物体の特徴点(エッジ等)である三次元点を抽出して、これらの三次元画像において同一の三次元点がそれぞれの三次元画像においてどこに位置するのかを特定する。このようにして、三次元情報再構成部12は、上記検査期間ごとに、検査領域に存在する物体の三次元点群が特定された三次元画像を再構成する。
例えば、ある時刻の撮影点で撮影された検査領域の三次元画像において、上段の鉄筋によって下段の鉄筋が隠れるオクルージョンが発生していても、異なる時刻の撮影点で撮影された検査領域の三次元画像の中には、上段の同じ鉄筋によるオクルージョンが発生していないものが含まれる。このため、三次元情報再構成部12が、撮影画像ごとに得られた三次元情報を用いて三次元情報を再構成することにより、各段の平面に配筋された全ての鉄筋に対応する三次元点が特定された三次元情報が得られる。
平面特定部13は、三次元情報再構成部12が再構成した三次元情報を用いて上記構造体における複数段の平面をそれぞれ特定する。例えば、平面特定部13は、再構成された三次元画像における複数の三次元点が含まれる複数の平面候補を設定し、平面候補との距離が閾値以下である三次元点の個数を算出する。平面特定部13は、複数の平面候補のうち、算出した三次元点の個数が最も多い平面候補を、最上段の平面として特定する。同様に、平面特定部13は、平面ごとに設定された閾値を用いて各段の平面を特定する。
画像変換部14は、上記構造体である検査領域の撮影画像を当該検査領域に正対化した正対化画像に変換する。正対化画像は、ステレオカメラ2と検査領域との間の距離が一定であり、ステレオカメラ2が検査領域に正対している。例えば、画像変換部14は、各段の平面に格子状に配筋された鉄筋による任意の格子の矩形の4隅の点を指定し、指定した4点の位置座標を用いてホモグラフィ変換行列を推定する。画像変換部14は、推定したホモグラフィ変換行列に基づいて、撮影画像を、検査領域に正対化した正対化画像に変換する。
位置検出部15は、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する。例えば、位置検出部15は、正対化画像を二値化し、二値化された画像における鉄筋の画像部分以外がマスクされたマスク画像を生成し、鉄筋の画像部分の画素をカウントすることにより、正対化画像における各段の平面に配筋された鉄筋の位置を検出する。
オクルージョン判定部16は、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報とに基づいて、上段の鉄筋により隠される下段の鉄筋を判定する。例えば、オクルージョン判定部16は、検査領域が上段側から撮影された撮影画像における、上段の鉄筋の位置情報と下段の鉄筋の位置情報に基づく両者の位置関係を特定することにより、上段の鉄筋によって隠れる下段の鉄筋を判定する。
オクルージョン判定部16は、撮影画像ごとに、上段の鉄筋により隠されると判定した下段の鉄筋の位置情報を、オクルージョン判定結果として出力する。配筋検査装置1は、検査領域の撮影画像ごとのオクルージョン判定結果を用いて、上段の鉄筋により隠れた下段の鉄筋が視認可能となるように、撮影画像上に鉄筋の識別情報を表示することが可能である。
図2は、実施の形態1に係る配筋検査方法を示すフローチャートである。
三次元情報取得部11が、複数段の平面のそれぞれに鉄筋が配筋された構造体である、検査領域が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに検査領域の三次元情報を取得する(ステップST1)。続いて、三次元情報再構成部12が、撮影画像ごとに取得された三次元情報を用いて、検査領域の三次元情報を再構成する(ステップST2)。
三次元情報取得部11が、複数段の平面のそれぞれに鉄筋が配筋された構造体である、検査領域が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに検査領域の三次元情報を取得する(ステップST1)。続いて、三次元情報再構成部12が、撮影画像ごとに取得された三次元情報を用いて、検査領域の三次元情報を再構成する(ステップST2)。
平面特定部13が、再構成された三次元情報を用いて検査領域における複数段の平面をそれぞれ特定する(ステップST3)。次に、画像変換部14が、検査領域の撮影画像を検査領域に正対化させた正対化画像に変換する(ステップST4)。位置検出部15が、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する(ステップST5)。オクルージョン判定部16が、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定する(ステップST6)。
次に、検査領域の配筋検査の詳細について説明する。
図3は、検査領域4の撮影処理の概要を示す説明図である。また、図4は、マーカ7を配置したテープ6を示す正面図である。検査領域4の周辺には、図3に示すように、テープ6が敷設されており、テープ6上には複数のマーカ7が一定の間隔で並んで配置されている。マーカ7は、図4に示すように、正方形の下地7Aに識別形状7Bが描かれた識別子であり、例えば、AR(拡張現実)マーカである。
図3は、検査領域4の撮影処理の概要を示す説明図である。また、図4は、マーカ7を配置したテープ6を示す正面図である。検査領域4の周辺には、図3に示すように、テープ6が敷設されており、テープ6上には複数のマーカ7が一定の間隔で並んで配置されている。マーカ7は、図4に示すように、正方形の下地7Aに識別形状7Bが描かれた識別子であり、例えば、AR(拡張現実)マーカである。
配筋検査装置1を携帯した検査者が、テープ6に沿って移動すると、配筋検査装置1に接続されたステレオカメラ2も、検査領域4を撮影しながらテープ6に沿って移動する。三次元情報取得部11は、検査者とともにテープ6に沿って移動するステレオカメラ2によって予め定められたフレームレイトで撮影された撮影画像の時系列データを入力する。
なお、配筋検査には、ステレオカメラ2が備える左撮影部および右撮影部のうち、一方の撮影部が撮影した画像のみを用いてもよい。例えば、左視点画像のみを配筋検査に使用し、右視点画像は、左視点画像との視差をとるために使用される。三次元情報取得部11は、ステレオカメラ2から入力した撮影画像を、図1において図示していない表示装置に出力し、表示装置は、撮影画像を表示する。
三次元情報取得部11は、ステレオカメラ2から入力した撮影画像からマーカ7を検出する。例えば、三次元情報取得部11は、ステレオカメラ2が撮影した撮影画像(フレーム画像)を入力とし、マーカ7の検出データを出力する学習モデルを用いることにより、検査領域4の撮影画像からマーカ7を検出する。学習モデルは、テープ6を含む検査領域4の撮影画像を学習用データとして機械学習されたものであり、例えば、ニューラルネットワークモデルである。なお、三次元情報取得部11は、検査領域4の撮影画像に対してマーカ7のパターンマッチングを実施して、マーカ7を検出してもよい。
次に、三次元情報取得部11は、検出したマーカ7の位置情報を算出する。例えば、三次元情報取得部11は、ステレオカメラ2から入力した撮影画像を2値化し、マーカ7の下地7Aの輪郭線を検出して、検出した輪郭線に基づいて下地7Aが正方形であると判断されたときのマーカ7の位置を算出する。
例えば、図4に示すように、頂点P1と頂点P2とを結ぶ線分、頂点P2と頂点P3とを結ぶ線分、頂点P3と頂点P4とを結ぶ線分、および頂点P4と頂点P1とを結ぶ線分により構成される形状が正方形である場合は、撮影画像は、ステレオカメラ2が検査領域4を正面から撮影したものである。このときの撮影位置は、隣り合うマーカ7の間の位置である。下地7Aの形状の4つの頂点P1~P4のうち、いずれかの頂点が検出されないか、下地7Aの形状が歪んで正方形として検出されなかった場合は、このときの撮影画像は、ステレオカメラ2が検査領域4を斜め方向から撮影したものである。
三次元情報取得部11は、下地7Aの形状が歪んで正方形として検出されない撮影位置および下地7Aの形状が正方形として検出される撮影位置でそれぞれ撮影された撮影画像におけるマーカ7の位置情報を算出する。三次元情報取得部11は、マーカ7の位置情報を用いて、鉄筋5の計測を行う計測範囲8を特定する。例えば、図3に示すように、隣り合ったマーカ7の間に配筋検査装置1が位置したとき、すなわちフレーム画像に隣り合う2つのマーカ7が写ったときに、三次元情報取得部11は、隣り合うマーカ7同士を結ぶ線で区画される範囲を、計測範囲8として特定する。
図5は、時刻t-1におけるステレオカメラ2が備える左撮影部および右撮影部による検査領域4の撮影画像2Aおよび2Bを示す画面図である。図5において、撮影画像2Aは、時刻t-1に撮影された検査領域4の左視点画像であり、撮影画像2Bは、時刻t-1に撮影された検査領域4の右視点画像である。時刻t-1における撮影角度で検査領域4が撮影された場合、撮影画像2Aに、上段の平面にある鉄筋5A(図5において太線で示す鉄筋)によって下段の平面にある鉄筋5Bが隠れるオクルージョンが発生している。
例えば、配筋検査に左視点画像を用い、右視点画像は左視点画像との視差をとるために用いられる場合、図5に示すように、左視点画像である撮影画像2Aにオクルージョンが発生していると、左視点画像と右視点画像とをステレオマッチングした三次元画像には、下段の鉄筋5Bが隠れた状態となる。このため、配筋検査において下段の鉄筋5Bの検査漏れが発生する可能性がある。そこで、上段の鉄筋5Aによって隠れた下段の鉄筋5Bを三次元画像に表示する必要がある。
図6は、時刻tにおけるステレオカメラ2が備える左撮影部および右撮影部による検査領域4の撮影画像2Aおよび2Bを示す画面図である。図6において、撮影画像2Aは、時刻tに撮影された検査領域4の左視点画像であり、撮影画像2Bは、時刻tに撮影された検査領域4の右視点画像である。時刻t-1から単位時間進んだ時刻tまでにステレオカメラ2が移動して、時刻t-1における撮影角度とは異なる時刻tにおける撮影角度で検査領域4が撮影された場合、撮影画像2Aおよび2Bにオクルージョンが発生しない。
三次元情報再構成部12は、各時刻における撮影画像のそれぞれに対応する三次元画像を入力して、各三次元画像から検査領域4に存在する物体の特徴点である三次元点を抽出し、三次元点群が特定された三次元画像を再構成する。各時刻における撮影画像に対応する複数の三次元画像の中には、図6に示すように、オクルージョンが発生していない画像も含まれる。三次元情報再構成部12が三次元画像を再構成することにより、上段の鉄筋5Aにより隠された下段の鉄筋5Bが、オクルージョンが発生していない画像の鉄筋5Bによって補間される。
図7A、図7Bおよび図7Cは、検査領域4の構造体における各段の平面を示す関数とアウトライヤおよびインライヤとの関係を示すグラフである。各段の平面を示す関数P(1)、P(2)およびP(3)とアウトライヤ20およびインライヤ21との関係を示すグラフであり、XY座標系における三次元点を示している。アウトライヤ20は、許容可能な範囲に含まれない三次元点であり、インライヤ21は、許容可能な範囲に含まれる三次元点である。
RANSAC法では、関数P(1)、P(2)およびP(3)を表すパラメータごとにインライヤ21となる三次元点の数がカウントされ、カウント数が最も多いパラメータが最適なパラメータに決定される。すなわち、決定されたパラメータを適用した関数で表される平面候補が最上段の平面の推定結果とされる。図7A、図7Bおよび図7Cから明らかなように、関数P(3)を表すパラメータにおいて、インライヤ21となる三次元点の数が最も多いので、平面特定部13は、関数P(3)で表される平面候補を最上段の平面として特定する。
図8は、撮影画像2Cを正対化画像2Dに変換する処理を示す説明図である。撮影画像2Cは、三次元情報再構成部12により再構成された三次元画像である。図8に示すように、撮影画像2Cには、ステレオカメラ2に近いほど鉄筋5が大きく写り、ステレオカメラ2から遠くなると鉄筋5が小さく写る。すなわち、撮影画像2Cにおける下側の画像領域には、ステレオカメラ2に近い位置にある鉄筋5が写っており、上側の画像領域には、ステレオカメラ2から遠い位置にある鉄筋5が写っている。
画像変換部14は、撮影画像2Cに映る複数の鉄筋5のうち、任意の矩形の4隅の点を指定し、4隅の点を指定した矩形がステレオカメラ2の正面から見た形状となるホモグラフィ変換行列を推定する。次に、画像変換部14は、ホモグラフィ変換行列を用いて撮影画像2Cを正対化画像2Dに変換する。画像変換部14は、正対化画像2Dの全てのポイント(画素)を、ステレオカメラ2との距離が一定になるようにスケーリングする。これにより、正対化画像2Dでは、ステレオカメラ2と検査領域4との距離に応じた鉄筋5の大きさの違いが補正される。
図9は、上段の平面のマスク画像31A、下段の平面のマスク画像31Bおよび両者を重ね合わせたマスク画像31Cを示す画面図である。位置検出部15は、正対化画像2Dを鉄筋以外の部分がマスクされたマスク画像31Cに変換する。マスク画像31Cでは、正対化画像2Dにおける鉄筋を示す領域が「1」表され、それ以外の領域が「0」で表された二値の画素値を有した画像である。画素値が「1」の領域は、白画素の領域となり、画素値が「0」の領域は、黒画素の領域となる。
マスク画像31Cには、例えば、最上段の平面のマスク画像31Aとその直下の平面のマスク画像31Bとが含まれている。マスク画像31Aには、最上段の平面における鉄筋強調画像5Cのみが表示され、マスク画像31Bには、その直下の平面における鉄筋強調画像5Dのみが表示されている。位置検出部15は、マスク画像31Cから抽出した各段の平面のマスク画像を用いて、各段の平面における鉄筋の位置情報を検出する。
図10は、正対化画像2Dにおける鉄筋5の位置を検出する処理を示す説明図である。位置検出部15は、正対化画像2Dの左視点画像および右視点画像を用いて、同一位置にある鉄筋の画像上のずれ量を左右の視差として算出し、算出した視差を用いて鉄筋の画像部分を特定する。そして、位置検出部15は、特定した画像部分の画素値を「1」とし、それ以外の画像部分を「0」として、マスク画像31Cを生成する。
位置検出部15は、マスク画像31Cに含まれる各段の平面のマスク画像から、鉄筋の位置情報を検出する。例えば、位置検出部15は、最上段の平面のマスク画像31Aにおいて白画素のカウント数が閾値以上である位置を、鉄筋の位置として検出する。位置検出部15は、図10に示すように、マスク画像31Aを回転させて白画素の数をカウントすることにより、鉄筋のX方向の位置およびY方向の位置を検出することができる。このようにして、位置検出部15は、正対化画像2Dにおいて、各段の平面ごとに、縦方向に並ぶ鉄筋の位置情報と、横方向に並ぶ鉄筋の位置情報とを検出する。
図11A、図11Bおよび図11Cは、マスク画像31Aにおける鉄筋部分に対応する線分を特定する処理を示す説明図である。図11Aに示すように、マスク画像31Aにおいて白画素の領域A、領域Bおよび領域Cがある場合、どの領域が鉄筋の画像に対応するのか不明である。そこで、位置検出部15は、白画素の領域A、領域Bおよび領域Cを通る座標軸における領域Aの長さD(1)、領域Bの長さD(2)および領域Cの長さD(3)と、領域Aと領域Bとの間隔D(4)と、領域Bと領域Cとの間隔D(5)とを算出する。
位置検出部15は、図11Bに示すように、間隔D(4)および間隔D(5)のうち、閾値以上の間隔が空いた領域間は鉄筋ではないと判定し、閾値未満の間隔が空いた領域同士は同じ鉄筋に対応する画像領域であると判定する。例えば、位置検出部15は、閾値未満の間隔D(4)が空いた領域Aと領域Bを通り長さがD(6)である線分32で示す画像領域を、同じ鉄筋に対応する画像領域であると判定する。また、D(5)は閾値以上であるので、位置検出部15は、マスク画像31Aにおいて領域Bと領域Cとの間に鉄筋に対応する画像領域がないと判定する。
位置検出部15は、マスク画像31Aにおいて鉄筋の画像領域であると判定した部分の位置情報を、正対化画像2Dに付与する。位置検出部15は、各段の平面のマスク画像について同様の処理により鉄筋の画像領域であると判定した部分の位置情報を算出し、各段の平面における鉄筋の位置情報を正対化画像2Dに付与して、オクルージョン判定部16に出力する。
オクルージョン判定部16は、正対化画像2Dに付与された上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報とに基づいて、正対化画像2Dから上段の鉄筋と下段の鉄筋との位置関係を特定することにより、上段の鉄筋によって隠れる下段の鉄筋を判定する。オクルージョン判定部16は、ステレオカメラ2に撮影された撮影画像ごと(左視点画像ごと)に、上段の鉄筋により隠されると判定した下段の鉄筋の位置情報を、オクルージョン判定結果として出力する。
次に、配筋検査装置1の機能を実現するハードウェア構成について説明する。
配筋検査装置1が備える三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16の機能は、処理回路により実現される。すなわち、配筋検査装置1は、図2に示したステップST1からステップST6の処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
配筋検査装置1が備える三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16の機能は、処理回路により実現される。すなわち、配筋検査装置1は、図2に示したステップST1からステップST6の処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
図12Aは、配筋検査装置1の機能を実現するハードウェア構成を示すブロック図である。図12Bは、配筋検査装置1の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図10Aおよび図10Bにおいて、入力インタフェース100は、配筋検査装置1がステレオカメラ2から入力する撮影画像を中継するインタフェースである。出力インタフェース101は、配筋検査装置1から外部へ出力される情報を中継するインタフェースである。
処理回路が図12Aに示す専用のハードウェアの処理回路102である場合、処理回路102は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。配筋検査装置1が備える三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。
処理回路が図12Bに示すプロセッサ103である場合、配筋検査装置1が備える三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ104に記憶される。
プロセッサ103は、メモリ104に記憶されたプログラムを読み出して実行することにより、配筋検査装置1が備える三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16の機能を実現する。例えば、配筋検査装置1は、プロセッサ103によって実行されるときに、図2に示したステップST1からステップST6の処理が結果的に実行されるプログラムを記憶するためのメモリ104を備える。
これらのプログラムは、三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16が行う処理の手順または方法を、コンピュータに実行させる。メモリ104は、コンピュータを、三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
メモリ104は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
配筋検査装置1が備える三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16の機能の一部を専用のハードウェアで実現し、一部を、ソフトウェアまたはファームウェアで実現してもよい。例えば、三次元情報取得部11および三次元情報再構成部12は、専用のハードウェアである処理回路102により機能を実現し、平面特定部13、画像変換部14、位置検出部15およびオクルージョン判定部16は、プロセッサ103がメモリ104に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。
以上のように、実施の形態1に係る配筋検査装置1は、複数段の平面のそれぞれに鉄筋5が配筋された構造体である検査領域4が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに構造体の三次元情報を取得する三次元情報取得部11と、撮影画像ごとに取得された三次元情報を用いて、構造体の三次元情報を再構成する三次元情報再構成部12と、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定する平面特定部13と、構造体の撮影画像を構造体に正対化した正対化画像2Dに変換する画像変換部14と、正対化画像2Dを用いて複数段の平面のそれぞれにおける鉄筋5の位置情報を検出する位置検出部15と、上段の平面における鉄筋5Aの位置情報と下段の平面における鉄筋5Bの位置情報に基づいて、上段の鉄筋5Aにより隠される下段の鉄筋5Bを判定するオクルージョン判定部16を備える。撮影画像において上段の鉄筋5Aにより隠される下段の鉄筋5Bが判定されるので、配筋検査装置1は、複数段の平面のそれぞれに鉄筋5が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋5の検査漏れを防止することができる。
実施の形態1に係る配筋検査装置1において、位置検出部15は、正対化画像を鉄筋5以外の部分がマスクされたマスク画像に変換し、マスク画像の鉄筋5の部分の画素をカウントすることにより、各段の平面における鉄筋5の位置を検出する。これにより、配筋検査装置1は、各段の平面の正対化画像2Dにおいて、縦方向に並ぶ鉄筋の位置と横方向に並ぶ鉄筋の位置を正確に検出することが可能である。
実施の形態1に係る配筋検査装置1において、三次元情報取得部11は、マーカ7が配置された構造体が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに構造体の三次元情報を取得する。これにより、配筋検査装置1は、テープ6に等間隔に記載されたマーカ7の位置情報に基づいて、検査領域4の計測範囲8を特定することができる。
実施の形態1に係る配筋検査方法は、三次元情報取得部11が、複数段の平面のそれぞれに鉄筋5が配筋された構造体である検査領域4が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに構造体の三次元情報を取得するステップと、三次元情報再構成部12が、撮影画像ごとに取得された三次元情報を用いて、構造体の三次元情報を再構成するステップと、平面特定部13が、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定するステップと、画像変換部14が、構造体の撮影画像を構造体に正対化した正対化画像2Dに変換するステップと、位置検出部15が、正対化画像2Dを用いて複数段の平面のそれぞれにおける鉄筋5の位置情報を検出するステップと、オクルージョン判定部16が、上段の平面における鉄筋5Aの位置情報と下段の平面における鉄筋5Bの位置情報に基づいて、上段の鉄筋5Aにより隠される下段の鉄筋5Bを判定するステップと、を備える。これにより、複数段の平面のそれぞれに鉄筋5が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋5の検査漏れを防止することができる。
実施の形態1に係るプログラムは、コンピュータを配筋検査装置1として機能させる。これにより、複数段の平面のそれぞれに鉄筋5が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋5の検査漏れを防止することができる配筋検査装置1を提供可能である。
実施の形態2.
図13は、実施の形態2に係る配筋検査装置1Aの構成を示すブロック図である。配筋検査装置1Aは、配筋検査装置1と同様に、検査領域に配筋されている鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する。検査領域とは、複数段の平面のそれぞれに鉄筋が配筋された構造体を上段の平面側からみた領域である。なお、構造体は、骨格として鉄筋が配筋された建築または土木の構造体である。
図13は、実施の形態2に係る配筋検査装置1Aの構成を示すブロック図である。配筋検査装置1Aは、配筋検査装置1と同様に、検査領域に配筋されている鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する。検査領域とは、複数段の平面のそれぞれに鉄筋が配筋された構造体を上段の平面側からみた領域である。なお、構造体は、骨格として鉄筋が配筋された建築または土木の構造体である。
配筋検査装置1Aは、タブレット端末、スマートフォンまたはノートタイプのPCである。図13に示すように、配筋検査装置1Aには、有線または無線でステレオカメラ2、表示装置41および学習装置51が接続されている。なお、ステレオカメラ2、表示装置41および学習装置51が外付けされた装置に限らず、配筋検査装置1Aは、ステレオカメラ2、表示装置41および学習装置51を内蔵する装置であってもよい。
例えば、検査者が、配筋検査装置1Aを携帯して検査領域の周辺を移動しながら、配筋検査装置1Aと接続されたステレオカメラ2で検査領域を撮影する。検査者とともにステレオカメラ2も移動するので、ステレオカメラ2は、検査領域を複数の撮影角度から連続して撮影することができる。なお、配筋検査装置1Aとともに検査領域の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
配筋検査装置1Aは、三次元情報取得部11、三次元情報再構成部12、平面特定部13、画像変換部14、位置検出部15、オクルージョン判定部16、画像抽出部17、推論部18および画像生成部19を備える。推論部18は、学習装置51に接続され、画像生成部19は、表示装置41に接続されている。学習装置51は、学習部511と記憶部512を備える。
画像抽出部17は、平面ごとの鉄筋の位置情報とオクルージョン判定結果とに基づいて正対化画像から鉄筋の画像を抽出する。例えば、画像抽出部17は、位置検出部15により算出された各平面における鉄筋の位置情報に基づいて正対化画像における鉄筋の画像を鉄筋ごとに特定する。さらに、画像抽出部17は、オクルージョン判定結果である下段の鉄筋の位置情報に基づいて、正対化画像において上段の鉄筋によって隠されている鉄筋の画像を特定する。画像抽出部17は、このようにして特定した鉄筋の画像から鉄筋の長手方向に沿って同じ大きさの複数の部分画像を順に抽出する。画像抽出部17によって抽出された複数の部分画像データは、鉄筋の画像ごとに推論部18に出力される。
推論部18は、正対化画像から抽出した鉄筋の画像を入力として、鉄筋の検査情報を出力する学習モデルを用いて、鉄筋の検査情報を推論する。例えば、推論部18は、画像抽出部17によって鉄筋の画像ごとに抽出された複数の部分画像データを入力とし、鉄筋の検査情報として鉄筋の径または鉄筋の節の間隔の少なくとも一つを推論する学習モデルを用いて、鉄筋の検査情報を推論する。
画像生成部19は、各平面の鉄筋の位置情報、オクルージョン判定結果、および鉄筋の検査情報に基づいて、検査領域である構造体における各段の平面の鉄筋を上段側から視認可能な画像を生成する。例えば、画像生成部19は、上段の鉄筋によって隠された下段の鉄筋を示すライン画像が上段の平面に重畳された撮影画像を生成する。画像生成部19により生成された画像は、表示装置41に表示される。検査者は、表示装置41に表示された画像のうち、上記ライン画像を視認することにより、上段の鉄筋によって隠された下段の鉄筋を認識することが可能である。
表示装置41は、配筋検査装置1Aが備える表示装置である。表示装置41は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)表示装置である。
学習装置51は、鉄筋の撮影画像が分割された複数の部分画像を入力として、鉄筋の検査情報を出力する学習モデルを生成する装置であり、学習部511および記憶部512を備える。鉄筋の検査情報は、鉄筋の径、鉄筋の節の間隔、または鉄筋の径および節の間隔である。学習部511は、学習用データを用いて鉄筋の検査情報を学習することにより、学習モデルを生成し、学習モデルを記憶部512に記憶する。学習アルゴリズムとして、例えば、深層学習(Deep Learning)、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミングまたはサポートベクターマシンを用いてもよい。
学習用データは、学習モデルの入力データである、鉄筋の撮影画像を分割した複数の部分画像データと正解ラベルとを含むデータセットである。正解ラベルは、複数の部分画像データのそれぞれに対応する鉄筋の径を示す情報、複数の部分画像データのそれぞれに対応する鉄筋の節間隔を示す情報または複数の部分画像データにそれぞれ対応する鉄筋の径および節間隔を示す情報である。なお、学習用データには、画像抽出部17が鉄筋の撮影画像を分割した複数の部分画像データを用いてもよい。
図14は、正対化画像2Dから鉄筋5Aの部分画像2F(1),2F(2),2F(3),・・・を抽出する処理を示す説明図である。画像抽出部17は、図14に示すように、正対化画像2Dから、長手方向に沿った鉄筋5Aの画像2Eを抽出する。さらに、画像抽出部17は、画像2Eから順次同一の大きさの部分画像2F(1),2F(2),2F(3),・・・を抽出して推論部18に出力する。
部分画像2F(1),2F(2),2F(3),・・・は、例えば、縦横が同じ画素数の正方形の画像である。図14において、画像抽出部17は、正対化画像2Dにおける最上段の平面における、鉄筋5Aについて部分画像2F(1),2F(2),2F(3),・・・を抽出している。画像抽出部17は、正対化画像2Dに写る各段の平面における全ての鉄筋について、これらの処理を行う。
図15は、鉄筋5Aの部分画像を学習モデルに入力して鉄筋5Aの径を推論する処理を示す説明図である。図15において、学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Dを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。推論部18は、複数の部分画像データを学習モデルに入力して部分画像データごとに推論を行い、部分画像ごとに径Dの鉄筋が写っている確率と鉄筋以外が写っている確率とを算出する。
例えば、推論結果データ61(1)は、図14に示した部分画像2F(1)において、各種類の鉄筋が写っている確率と鉄筋以外のもの(NON)が写っている確率を算出した結果である。鉄筋には、例えば、JIS規格に基づく16種類の鉄筋がある。16種類の鉄筋には、D4、D5、D6、D8、D10、D13、D16、D19、D22、D25、D29、D32、D35、D38、D41およびD51という「呼び名」が付与されている。呼び名は、鉄筋の公称直径を丸めた径の大きさを示している。
呼び名がD10である鉄筋の公称直径は、9.53(mm)であり、呼び名がD13である鉄筋の公称直径は、12.7(mm)であり、呼び名がD16である鉄筋の公称直径は、15.9(mm)である。なお、建築物の骨格として一般的に使用される鉄筋は、D10以降の鉄筋である。
推論結果データ61(2)は、図14に示した部分画像2F(2)において、各種類の鉄筋が写っている確率と鉄筋以外のもの(NON)が写っている確率とを算出した結果である。このような推論結果データが同じ鉄筋の画像から抽出された全ての部分画像データについて算出される。
続いて、学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、鉄筋の画像における推論結果データ62を算出する。例えば、推論結果データ62には、各種類の鉄筋が写っている確率を平均した値と鉄筋以外のもの(NON)が写っている確率を平均した値とが含まれる。
推論部18は、推論結果データ62に基づいて、鉄筋の径Dを判定する。図15の例では、図14に示した画像2Eにおける鉄筋の種類がD16、すなわち径Dが15.9(mm)の鉄筋であると判定されている。推論部18は、学習モデルを用いることにより、鉄筋の径Dを正確に検出でき、鉄筋の径Dに基づいて鉄筋の種類を判定できる。
また、推論部18は、複数の部分画像を入力として、正対化画像2Dから抽出した鉄筋の画像における鉄筋の節の間隔Lを出力する学習モデルを用いて、鉄筋の節の間隔Lを推論してもよい。学習モデルは、鉄筋の画像から抽出された複数の部分画像と各部分画像に付与された鉄筋の節の間隔Lを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。
推論部18は、複数の部分画像データを学習モデルに入力して、部分画像データごとに推論を行い、部分画像ごとに、節間隔Lである鉄筋が写っている確率と鉄筋以外が写っている確率とを算出する。学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、鉄筋の画像における推論結果データを算出する。推論部18は、算出した推論結果データに基づいて鉄筋の節の間隔Lを正確に検出でき、鉄筋の節の間隔Lに基づいて鉄筋の種類を判定することが可能である。
さらに、推論部18は、複数の部分画像を入力とし、正対化画像2Dから抽出した鉄筋の画像における鉄筋の径Dおよび節の間隔Lを出力する学習モデルを用いて、鉄筋の検査情報として鉄筋の径Dおよび節の間隔Lを推論してもよい。学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Dおよび節の間隔Lを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。
推論部18は、複数の部分画像データを学習モデルに入力して、部分画像データごとに推論を行い、部分画像ごとに、径Dおよび節間隔Lである鉄筋が写っている確率と、鉄筋以外が写っている確率とを算出する。学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、当該鉄筋の画像における推論結果データを算出する。推論部18は、算出した推論結果データに基づいて、鉄筋の径Dおよび節の間隔Lを正確に検出でき、鉄筋の径Dおよび節の間隔Lに基づいて、鉄筋の種類を判定することが可能である。
図16は、上段の鉄筋5Aを示すライン画像81が重畳された撮影画像2Aを示す画面図である。画像生成部19は、平面ごとの鉄筋5の位置情報、オクルージョン判定結果、および鉄筋5の検査情報に基づいて、各段の平面の鉄筋5を上段側から視認可能な撮影画像2Aを生成する。図16において、画像生成部19は、電子黒板71およびライン画像81を重畳させた撮影画像2Aを、表示装置41の画面41Aに表示させる。
電子黒板71には、例えば、最上段の平面における計測範囲の識別番号と鉄筋5Aの検査情報とが記載される。ライン画像81は、最上段の平面における縦方向および横方向の鉄筋5Aを示す画像である。これにより、検査者は、表示装置41の画面41Aを参照することにより、最上段の平面における計測範囲の識別番号、鉄筋5Aの検査情報および最上段の平面における縦方向および横方向の鉄筋5Aを認識することができる。
図17は、下段の鉄筋5Bを示すライン画像82および83が重畳された撮影画像2Aを示す画面図である。画像生成部19は、平面ごとの鉄筋5の位置情報、オクルージョン判定結果、および鉄筋5の検査情報に基づいて、上段の鉄筋5Aによって隠された下段の鉄筋5Bを視認可能な撮影画像2Aを生成する。図17において、画像生成部19は、電子黒板71、ライン画像82およびライン画像83を重畳させた撮影画像2Aを、表示装置41の画面41Aに表示させる。
電子黒板71には、例えば、下段の平面における計測範囲の識別番号と鉄筋5Bの検査情報とが記載される。ライン画像82は、最上段の直下の平面における縦方向および横方向の鉄筋5Bを示す画像である。ライン画像83は、破線のライン画像であり、最上段の鉄筋5Aによって隠された下段の鉄筋5Bを示す画像である。撮影画像2Aにおいて、ライン画像83は、下段の鉄筋5Bを隠している上段の鉄筋5A上に重畳されている。
検査者は、表示装置41の画面41Aを参照することにより、最上段の直下の平面における計測範囲の識別番号、鉄筋5Bの検査情報、および下段の平面における縦方向および横方向の鉄筋5Bを認識することができる。
検査者は、表示装置41の画面41Aを参照することにより、最上段の直下の平面における計測範囲の識別番号、鉄筋5Bの検査情報、および下段の平面における縦方向および横方向の鉄筋5Bを認識することができる。
以上のように、実施の形態2に係る配筋検査装置1Aは、平面ごとの鉄筋5の位置情報と下段の鉄筋5Bの判定結果とに基づいて、正対化画像2Dから鉄筋5の画像2Eを抽出する画像抽出部17と、正対化画像2Dから抽出した鉄筋5の画像2Eを入力として、鉄筋5の検査情報を出力する学習モデルを用いて鉄筋5の検査情報を推論する推論部18を備える。推論部18は、上記学習モデルを用いることにより鉄筋の検査情報を正確に検出でき、鉄筋の検査情報を推論することが可能である。
実施の形態2に係る配筋検査装置1Aは、平面ごとの鉄筋5の位置情報、オクルージョン判定結果および鉄筋5の検査情報に基づいて、各段の平面の鉄筋5を上段側から視認可能な撮影画像2Aを生成する画像生成部19を備える。これにより、検査者は、撮影画像2Aを視認することにより、上段の鉄筋によって隠された下段の鉄筋を認識することが可能である。
実施の形態2に係る配筋検査装置1Aにおいて、画像生成部19は、上段の鉄筋5Aにより隠された下段の鉄筋5Bを示すライン画像83が上段の平面に重畳された撮影画像2Aを生成する。検査者は、撮影画像2Aに重畳されたライン画像83を視認することで、上段の鉄筋によって隠された下段の鉄筋を認識することが可能である。
実施の形態2に係る配筋検査装置1Aにおいて、画像抽出部17は、正対化画像2Dから抽出した鉄筋5の画像2Eを部分画像2F(1),2F(2),2F(3),・・・に分割する。推論部18は、部分画像2F(1),2F(2),2F(3),・・・を入力とし、正対化画像2Dから抽出した鉄筋5の径または鉄筋5の節の間隔の少なくとも一つを出力する学習モデルを用いて、鉄筋5の検査情報として、鉄筋5の径または鉄筋5の節の間隔の少なくとも一つを推論する。これにより、配筋検査装置1Aは、各段の平面の正対化画像2Dにおいて縦方向に並ぶ鉄筋の位置情報および横方向に並ぶ鉄筋の位置情報を正確に検出することが可能である。
なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
1,1A 配筋検査装置、2 ステレオカメラ、2A~2C 撮影画像、2D 正対化画像、2E 画像、2F(1),2F(2),2F(3),・・・ 部分画像、4 検査領域、5,5A,5B 鉄筋、5C,5D 鉄筋強調画像、6 テープ、7 マーカ、7A 下地、7B 識別形状、8 計測範囲、11 三次元情報取得部、12 三次元情報再構成部、13 平面特定部、14 画像変換部、15 位置検出部、16 オクルージョン判定部、17 画像抽出部、18 推論部、19 画像生成部、20 アウトライヤ、21 インライヤ、31A~31C マスク画像、32 線分、41 表示装置、41A 画面、51 学習装置、61,62 推論結果データ、71 電子黒板、81~83 ライン画像、100 入力インタフェース、101 出力インタフェース、102 処理回路、103 プロセッサ、104 メモリ、511 学習部、512 記憶部。
Claims (9)
- 複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに前記構造体の三次元情報を取得する三次元情報取得部と、
撮影画像ごとに取得された三次元情報を用いて、前記構造体の三次元情報を再構成する三次元情報再構成部と、
再構成された三次元情報を用いて前記構造体における複数段の平面をそれぞれ特定する平面特定部と、
前記構造体の撮影画像を当該構造体に正対化した正対化画像に変換する画像変換部と、
前記正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する位置検出部と、
上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するオクルージョン判定部と、を備えた
ことを特徴とする配筋検査装置。 - 平面ごとの鉄筋の位置情報とオクルージョン判定結果とに基づいて前記正対化画像から鉄筋の画像を抽出する画像抽出部と、
前記正対化画像から抽出した鉄筋の画像を入力として、鉄筋の検査情報を出力する学習モデルを用いて、鉄筋の検査情報を推論する推論部と、を備えた
ことを特徴とする請求項1に記載の配筋検査装置。 - 各平面の鉄筋の位置情報、前記オクルージョン判定結果および鉄筋の検査情報に基づいて、前記構造体における各段の平面の鉄筋を上段側から視認可能な画像を生成する画像生成部を備えた
ことを特徴とする請求項2に記載の配筋検査装置。 - 前記画像生成部は、上段の鉄筋により隠された下段の鉄筋を示すライン画像が上段の平面に重畳された画像を生成する
ことを特徴とする請求項3に記載の配筋検査装置。 - 前記画像抽出部は、前記正対化画像から抽出した鉄筋の画像を、複数の部分画像に分割し、
前記推論部は、複数の前記部分画像を入力とし、前記正対化画像から抽出した鉄筋の径または鉄筋の節の間隔の少なくとも一つを出力する前記学習モデルを用いて、鉄筋の検査情報として鉄筋の径または鉄筋の節の間隔の少なくとも一つを推論する
ことを特徴とする請求項2に記載の配筋検査装置。 - 前記位置検出部は、前記正対化画像を鉄筋以外の部分がマスクされたマスク画像に変換し、前記マスク画像の鉄筋部分の画素をカウントすることにより、各段の平面における鉄筋の位置を検出する
ことを特徴とする請求項1から請求項5のいずれか1項に記載の配筋検査装置。 - 前記三次元情報取得部は、識別子が配置された前記構造体が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに前記構造体の三次元情報を取得する
ことを特徴とする請求項1から請求項6のいずれか1項に記載の配筋検査装置。 - 三次元情報取得部が、複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに前記構造体の三次元情報を取得するステップと、
三次元情報再構成部が、撮影画像ごとに取得された三次元情報を用いて、前記構造体の三次元情報を再構成するステップと、
平面特定部が、再構成された三次元情報を用いて前記構造体における複数段の平面をそれぞれ特定するステップと、
画像変換部が、前記構造体の撮影画像を当該構造体に正対化した正対化画像に変換するステップと、
位置検出部が、前記正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出するステップと、
オクルージョン判定部が、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するステップと、を備えた
ことを特徴とする配筋検査方法。 - コンピュータを請求項1から請求項7のいずれか1項に記載の配筋検査装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022016805A JP7214023B1 (ja) | 2022-02-07 | 2022-02-07 | 配筋検査装置、配筋検査方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022016805A JP7214023B1 (ja) | 2022-02-07 | 2022-02-07 | 配筋検査装置、配筋検査方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7214023B1 true JP7214023B1 (ja) | 2023-01-27 |
JP2023114495A JP2023114495A (ja) | 2023-08-18 |
Family
ID=85036605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022016805A Active JP7214023B1 (ja) | 2022-02-07 | 2022-02-07 | 配筋検査装置、配筋検査方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7214023B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173676A (ja) | 2017-03-31 | 2018-11-08 | オリンパス株式会社 | 鉄筋計数装置、計数方法、プログラム |
JP2020165748A (ja) | 2019-03-29 | 2020-10-08 | 鹿島建設株式会社 | 検査支援装置 |
JP2020166468A (ja) | 2019-03-29 | 2020-10-08 | オリンパス株式会社 | 検査支援システム、検査支援装置、検査支援方法、及び検査支援プログラム |
WO2021024499A1 (ja) | 2019-08-08 | 2021-02-11 | 鹿島建設株式会社 | 鉄筋判定装置および鉄筋判定方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10810734B2 (en) * | 2018-07-02 | 2020-10-20 | Sri International | Computer aided rebar measurement and inspection system |
JP2020027058A (ja) * | 2018-08-14 | 2020-02-20 | 前田建設工業株式会社 | 配筋出来形管理システム及び配筋出来形管理方法 |
JP6801055B1 (ja) * | 2019-06-21 | 2020-12-16 | 東急建設株式会社 | 配筋検査システム及びマーカ |
-
2022
- 2022-02-07 JP JP2022016805A patent/JP7214023B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173676A (ja) | 2017-03-31 | 2018-11-08 | オリンパス株式会社 | 鉄筋計数装置、計数方法、プログラム |
JP2020165748A (ja) | 2019-03-29 | 2020-10-08 | 鹿島建設株式会社 | 検査支援装置 |
JP2020166468A (ja) | 2019-03-29 | 2020-10-08 | オリンパス株式会社 | 検査支援システム、検査支援装置、検査支援方法、及び検査支援プログラム |
WO2021024499A1 (ja) | 2019-08-08 | 2021-02-11 | 鹿島建設株式会社 | 鉄筋判定装置および鉄筋判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023114495A (ja) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7554575B2 (en) | Fast imaging system calibration | |
TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
CN107851321B (zh) | 图像处理方法和双摄像头*** | |
CN109313805A (zh) | 图像处理装置、图像处理***、图像处理方法和程序 | |
WO2019225547A1 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
TW201619910A (zh) | 監控系統及其影像處理方法 | |
CN111753782B (zh) | 一种基于双流网络的假脸检测方法、装置及电子设备 | |
CN109740659B (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及*** | |
CN109313806A (zh) | 图像处理装置、图像处理***、图像处理方法和程序 | |
JP2018173276A (ja) | 計測支援装置、計測支援方法及びプログラム | |
JP7186821B2 (ja) | 配筋検査装置、配筋検査方法およびプログラム | |
CN110832542A (zh) | 识别处理设备、识别处理方法和程序 | |
CN110796709A (zh) | 车架号尺寸获取方法、装置、计算机设备和存储介质 | |
JP2007053621A (ja) | 画像生成装置 | |
US12033406B2 (en) | Method and device for identifying presence of three-dimensional objects using images | |
CN113177941B (zh) | 一种钢卷边裂识别方法、***、介质和终端 | |
JP2001148012A (ja) | 対応点探索方法および装置 | |
JP7214023B1 (ja) | 配筋検査装置、配筋検査方法およびプログラム | |
CN113887384B (zh) | 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质 | |
JP6802944B1 (ja) | 検査支援装置、検査支援方法及びプログラム | |
JP7340434B2 (ja) | 配筋検査システム、配筋検査方法、及び配筋検査プログラム | |
JP2002094849A (ja) | 広視野画像撮像装置 | |
CN114549598A (zh) | 人脸模型重建方法、装置、终端设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7214023 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |