JP7359383B2 - 腐食診断装置、腐食診断システム、腐食診断方法、及びプログラム - Google Patents

Description

本発明は、鋼材の腐食状況を診断する腐食診断装置、腐食診断システム、腐食診断方法、及びプログラムに関する。

構造物に使用された鋼材の腐食状況の診断は、主に目視観察により行われている。このように目視観察による診断では手間がかかるだけでなく、検査担当者によって評価結果のばらつきが生じる。このような問題を踏まえ、例えば特許文献１には、鉄塔等を構成する鋼材とカラーサンプルとを同時に撮影し、検出された色の特徴量を用いて鋼材の劣化レベルを判定する方法が開示されている。

特許第３３２９７６７号公報

特許文献１に開示された手法では、カラーサンプルを用意する手間と、鋼材及びカラーサンプルを同時に撮影する手間とがかかるため、より簡易に鋼材の腐食状況を診断する手法があれば便利である。

本発明は、上記実情に鑑みてなされたものであり、簡易に鋼材の腐食状況を診断することができる腐食診断装置、腐食診断システム、腐食診断方法、及びプログラムを提供することを目的とする。

（１）上記目的を達成するため、本発明の第１の観点に係る腐食診断装置は、
鋼材を撮影手段によって撮影することで得られる画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出手段と、
前記算出手段が算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断手段と、を備え、
前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含み、
前記画像取得手段は、前記画像として、前記鋼材の二次元画像と、前記二次元画像によって規定される二次元平面に対する深さ方向の情報を含む三次元画像とを取得し、
前記算出手段は、前記特徴量として、前記二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、前記三次元画像の前記深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出し、
前記診断手段は、前記第１特徴量と前記第２特徴量とに基づき前記鋼材の腐食状況を診断する。

（２）上記（１）に記載の腐食診断装置において、
前記算出手段は、前記二次元画像の明度分布に対してモード法で決定したしきい値を用いて前記二次元画像を二値化し、二値化した前記二次元画像に基づいて前記鋼材に生じた孔食の推定面積を算出し、
前記診断手段は、前記特徴量と前記推定面積とに基づき前記鋼材の腐食状況を診断してもよい。

（３）上記（１）又は（２）に記載の腐食診断装置において、
前記画像取得手段は、複数の原色によって表現されたカラー画像から、予め定めた特定の原色の情報を抽出することで前記二次元画像を取得してもよい。

（４）上記目的を達成するため、本発明の第２の観点に係る腐食診断システムは、
腐食診断装置と、パターン照射方式又はＴＯＦ（Time Of Flight）方式の深度センサーを含む三次元カメラからなる撮影手段とを備え、
前記腐食診断装置は、
鋼材を前記撮影手段によって撮影することで得られる画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出手段と、
前記算出手段が算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断手段と、を備え、
前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含む。

（５）上記目的を達成するため、本発明の第３の観点に係る腐食診断方法は、
鋼材を撮影手段によって撮影することで得られる画像を取得する画像取得ステップと、
取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出ステップと、
算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断ステップと、を備え、
前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含み、
前記画像取得ステップでは、前記画像として、前記鋼材の二次元画像と、前記二次元画像によって規定される二次元平面に対する深さ方向の情報を含む三次元画像とを取得し、
前記算出ステップでは、前記特徴量として、前記二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、前記三次元画像の前記深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出し、
前記診断ステップでは、前記第１特徴量と前記第２特徴量とに基づき前記鋼材の腐食状況を診断する。

（６）上記目的を達成するため、本発明の第４の観点に係るプログラムは、
コンピュータを、
鋼材を撮影手段によって撮影することで得られる画像を取得する画像取得手段、
前記画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出手段、
前記算出手段が算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断手段、として機能させるプログラムであって、
前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含み、
前記画像取得手段は、前記画像として、前記鋼材の二次元画像と、前記二次元画像によって規定される二次元平面に対する深さ方向の情報を含む三次元画像とを取得し、
前記算出手段は、前記特徴量として、前記二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、前記三次元画像の前記深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出し、
前記診断手段は、前記第１特徴量と前記第２特徴量とに基づき前記鋼材の腐食状況を診断する。

本発明によれば、簡易に鋼材の腐食状況を診断することができる。

本発明の一実施形態に係る腐食診断システムの全体構成を示す図である。 腐食診断装置の構成を示すブロック図である。 画像情報取得部による画像処理を説明するための図である。 画像情報取得部による画像処理を説明するための図である。 同時生起行列の計算手法を説明するための図である。 （ａ）は、モード法によるしきい値の決定手法を説明するための図であり、（ｂ）は、決定したしきい値で二値化した画像の例を示す図である。 腐食診断処理の一例を示すフローチャートである。 （ａ）及び（ｂ）は、実験における計測精度の検証を行うべく導出したグラフの図である。 （ａ）～（ｄ）は、実験における解析対象画像を示す図である。 （ａ）及び（ｂ）は、ｘ－ｙ平面におけるＧＬＣＭに基づいて算出した各種の特徴量を示すグラフの図である。 （ａ）～（ｃ）は、ｘ－ｙ平面におけるＧＬＣＭに基づいて算出した各種の特徴量を示すグラフの図である。 （ａ）及び（ｂ）は、ｚ方向におけるＧＬＣＭに基づいて算出した各種の特徴量を示すグラフの図である。 （ａ）～（ｃ）は、ｚ方向におけるＧＬＣＭに基づいて算出した各種の特徴量を示すグラフの図である。 画像解析によって算出した孔食の推定面積と実際の孔食領域の面積との相関関係を示すグラフの図である。

本発明の一実施形態について図面を参照して説明する。

図１に、本実施形態に係る腐食診断システム１００の全体構成を示す。腐食診断システム１００は、農業用水路等の水利施設１に使用されている構造物を構成する鋼材２を撮影し、鋼材２の腐食状況を診断する。鋼材２は、例えば鋼矢板である。なお、図１中の符号３は水路を示している。図１に示すように、腐食診断システム１００は、撮影部２００と、腐食診断装置３００と、を備える。撮影部２００と腐食診断装置３００とは、有線又は無線による通信ネットワークを介して通信可能に接続されている。

撮影部２００は、鋼材２の診断対象領域２ａを撮影し、鋼材２の二次元のカラー画像（ＲＧＢ画像）と、鋼材２の三次元形状とを取得する撮影装置である。撮影部２００は、例えば、パターン照射方式(structured-light)の深度センサーを有する三次元カメラ（深度カメラとも呼ばれる。）から構成されている。撮影部２００は、深度センサーとして２台の赤外線カメラと、ＲＧＢカメラ（可視光カメラ）と、赤外光投射器とを有する。撮影部２００は、ＲＧＢカメラにより、図３、図４に示すような二次元のカラー画像Ｓを取得する。また、撮影部２００は、赤外光投射器によってドットや枠線状の所定パターンを鋼材２の表面上に投影するとともに、投影したパターンの変化を２台の赤外線カメラによって撮影することによって、図４に示すような鋼材２の三次元形状Ｄを取得する。

この実施形態では、図４に示すように、二次元のカラー画像Ｓによって規定される二次元平面を、互いに直交するｘ軸とｙ軸による平面とする。また、当該二次元平面に対する深さ方向に延び、ｘ軸及びｙ軸と直交する軸をｚ軸とする。したがって、三次元形状Ｄを示すデータには、深さ方向であるｚ方向の情報であるｚ方向データを含む。撮影部２００は、二次元のカラー画像Ｓを示すデータと、三次元形状Ｄを示すデータとを含む画像情報を腐食診断装置３００に供給する。

腐食診断装置３００は、パーソナルコンピュータやタブレット端末等から構成され、操作者に操作される端末装置である。図２に示すように、腐食診断装置３００は、制御部３１０と、記憶部３２０と、操作部３３０と、表示部３４０と、通信部３５０と、を備える。これら各部は、信号を伝達するためのバスによって接続されている。なお、腐食診断装置３００は、互いに通信可能な複数台のコンピュータから構成されていてもよい。

制御部３１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等であって、様々な処理や演算を実行する中央演算処理部である。制御部３１０において、ＣＰＵがＲＯＭに記憶されている制御プログラムを読み出し、ＲＡＭをワークメモリとして用いながら、腐食診断装置３００全体の動作を制御する。

記憶部３２０は、フラッシュメモリ、ハードディスク等の不揮発性メモリである。記憶部３２０は、ＯＳ（Operating System）及びアプリケーションプログラムを含む、制御部３１０が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部３２０は、制御部３１０が各種処理を行うことにより生成又は取得したデータを記憶する。

操作部３３０は、キーボード、マウス、ボタン、タッチパッド、タッチパネル等の入力装置を備え、操作者による操作を受け付ける。操作者は、操作部３３０を操作することによって、腐食診断装置３００に対する指令を入力することができる。

表示部３４０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置と、表示装置に画像を表示させる表示駆動回路とを備える。表示部３４０は、撮影部２００から制御部３１０が取得した二次元のカラー画像や三次元画像などを表示する。このように、表示部３４０は、制御部３１０による処理の結果として得られた各種の情報を表示する。

通信部３５０は、撮影部２００を含む外部の装置と通信するためのインタフェースである。腐食診断３００は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、又はその他の通信規格に従った通信線で撮影部２００と接続される。通信部３５０は、制御部３１０の制御の下で撮影部２００と通信し、撮影部２００から前述の画像情報を取得する。また、通信部３５０は、有線又は無線による通信を介してインターネット等の広域ネットワークに接続することができる。

図２に示すように、制御部３１０は、機能として、画像情報取得部３１１と、算出部３１２と、診断部３１３と、出力部３１４と、を備える。制御部３１０において、ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。

画像情報取得部３１１は、撮影部２００が鋼材２を撮影することによって得た画像情報を取得する。具体的に、画像情報取得部３１１は、通信部３５０を介して撮影部２００と通信し、撮影部２００から画像情報を取得する。画像情報取得部３１１が取得した画像情報は、記憶部３２０に記憶される。画像情報取得部３１１は、制御部３１０が通信部３５０と協働することによって実現される。なお、画像情報取得部３１１は、撮影部２００の撮影動作を制御するとともに、撮影部２００から画像情報を取得してもよい。また、画像情報取得部３１１は、次に述べるように、撮影部２００から取得した画像情報が示す画像の解析処理も行う。

画像情報取得部３１１は、二次元のカラー画像Ｓを構成する画素群のＲＧＢデータ（ＲＧＢ表色系における（Ｒ，Ｇ，Ｂ）の値）のうち、予め定めた特定の原色の情報を抽出することで、二次元画像としての特定色抽出画像を取得する。具体的には、画像情報取得部３１１は、図３に示すように、二次元のカラー画像ＳにおけるＲＧＢデータをＲ（Red），Ｇ（Green），Ｂ（Blue）の各チャンネルに分解し、特定の原色としてＲの値を抽出して得られる画像をグレースケール変換する（画素値を０～２５５に分割する）ことで特定色抽出画像Ｓｒを生成する。Ｒの値を用いる理由は、鋼材２に生じる赤錆を考慮することで、後述の画像解析を良好に行うためである。なお、図３におけるカラー画像Ｓは、実際はフルカラー方式の画像である。また、図３において、ＳｇはＧの値を抽出した画像であり、ＳｂはＢの値を抽出した画像である。

また、画像情報取得部３１１は、撮影部２００から取得した画像情報に基づき、図４に示すように、二次元のカラー画像Ｓと三次元形状Ｄとを合成することで、カラーの三次元画像Ｃを生成する。そして、画像情報取得部３１１は、生成した三次元画像Ｃをグレースケール変換する。なお、画像情報取得部３１１は、撮影部２００が有する画像処理装置によって生成された三次元のカラー画像Ｃを取得してもよい。以上のように、画像情報取得部３１１によってグレースケール化された特定色抽出画像Ｓｒと三次元画像Ｃは、算出部３１２による同時生起行列（Gray Level Co-occurrence Matrix；ＧＬＣＭ）の計算に用いられる。

算出部３１２は、グレースケール化された画像（本実施形態では、特定色抽出画像Ｓｒや三次元画像Ｃ）を構成する画素群を対象としたＧＬＣＭを計算し、計算したＧＬＣＭから各種の特徴量を算出する。具体的には、算出部３１２は、グレースケール化された画像を構成する画素（ピクセル）群のうち、特定の位置にある２つの画素（以下、画素対と呼ぶ。）の濃度に関する統計を取ることで行列を作成する。画素対の相対位置は、図５に示すように、角度θとピクセル間距離ｄによって相対位置が定義される。なお、図５おける符号Ｅは、画素を表している。算出部３１２は、画素対に対する輝度値を読み取り、これを（ｉ，ｊ）とする。そして、算出部３１２は、すべての相対位置関係を満たす画素対に対して同様の計算を行い、累積数をＧＬＣＭの（ｉ，ｊ）成分として記録する。以下、このように計算されたＧＬＣＭを、ｐ（ｉ，ｊ）と表す。

そして、算出部３１２は、計算したＧＬＣＭに基づいて、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの各特徴量を算出する。これら各特徴量は、下記の（数１）～（数５）に示す各式で表される。なお、ＡＳＭは、画像の均質性を表す特徴量である。ＣｏｎｔｒａｓｔとＩＤＭは、画像の局所的な明暗度合いを表す特徴量である。Ｃｏｒｒｅｌａｔｉｏｎは、輝度値の局所的相関を表す特徴量である。Ｅｎｔｒｏｐｙは、輝度値のピクセルへの分配の乱雑さを表す特徴量である。

算出部３１２は、グレースケール化された特定色抽出画像Ｓｒ（二次元画像）を構成する画素群（ｘ及びｙ方向に配列された画素群）を対象としたＧＬＣＭを計算し、計算したＧＬＣＭに基づいて上記の各特徴量を算出する。以下、特定色抽出画像Ｓｒに基づき算出した各特徴量を「第１特徴量」とも呼ぶ。また、算出部３１２は、グレースケール化された三次元画像Ｃの深さ方向における画素群（例えば、ｚ及びｘ方向に配列された画素群）を対象としたＧＬＣＭを計算し、計算したＧＬＣＭに基づいて上記の各特徴量を算出する。以下、三次元画像Ｃに基づき算出した各特徴量を「第２特徴量」とも呼ぶ。

また、算出部３１２は、グレースケール化された特定色抽出画像Ｓｒを二値化する際のしきい値をモード法により決定し、決定したしきい値を用いて特定色抽出画像Ｓｒを二値化し、二値化した画像に基づいて鋼材２に生じた孔食の推定面積を算出する。
具体的に、算出部３１２は、グレースケール化された特定色抽出画像Ｓｒを構成する画素の明度分布を求め、任意のピクセル数（例えば３ピクセル）の移動平均を使用して、図６（ａ）に示すように、明度（０～２５５）に対する頻度が２つの極大値を示すまで平滑化する。次に、算出部３１２は、頻度の極小値を算出し、その値をしきい値として、グレースケール化された特定色抽出画像Ｓｒの二値化処理を実行する。そして、算出部３１２は、しきい値を下回った部分の色（白色と黒色とするかは任意）の面積を算出し、この面積を鋼材２に生じた孔食の推定面積とする。図６（ｂ）に、二値化処理実行後の画像の例を示す。この例では、孔食を白色としている。

診断部３１３は、算出部３１２が算出した特徴量と、鋼材２に生じた孔食の推定面積とに基づき、鋼材２の腐食状況を診断する。診断手法については後述の実施例における「８．腐食診断について」の項で説明する。

出力部３１４は、画像情報取得部３１１によって取得又は生成された各種画像（二次元のカラー画像Ｓ、特定色抽出画像Ｓｒ、三次元形状Ｄ、三次元画像Ｃ等）や、算出部３１２による算出結果や、診断部３１３による診断結果などを表示部３４０に表示させる。

腐食診断システム１００の構成は以上である。続いて、腐食診断装置３００の制御部３１０が実行する腐食診断処理について、図７を参照して説明する。

（腐食診断処理）
腐食診断処理は、例えば、操作者が操作部３３０を操作して撮影部２００に鋼材２における診断対象領域２ａの撮影を開始する指示を入力することで、開始される。なお、図７中の二重線は並列処理を示している。

まず、制御部３１０は、画像情報取得部３１１としての機能により、撮影部２００から画像情報（二次元のカラー画像Ｓと三次元形状Ｄのデータ）を取得する（ステップＳ１）。

ステップＳ１で画像情報を取得した画像情報取得部３１１は、二次元のカラー画像Ｓの二次元のカラー画像ＳをＲ，Ｇ，Ｂの各チャンネルに分解し、特定の原色としてＲの値を抽出して得られる画像をグレースケール変換することで特定色抽出画像Ｓｒを生成する（ステップＳ２）。

ステップＳ２で特定色抽出画像Ｓｒを生成した制御部３１０は、算出部３１２としての機能により、前述のように、特定色抽出画像Ｓｒを構成する画素群（ｘ及びｙ方向に配列された画素群）を対象としたＧＬＣＭを計算し、計算したＧＬＣＭに基づいて上記の各特徴量（第１特徴量）を算出する（ステップＳ３）。また、算出部３１２は、前述のように、特定色抽出画像Ｓｒを二値化する際のしきい値をモード法により決定し、決定したしきい値を用いて特定色抽出画像Ｓｒを二値化する（ステップＳ４）。そして、算出部３１２は、二値化した画像に基づいて鋼材２に生じた孔食の推定面積を算出する（ステップＳ５）。

また、ステップＳ１で画像情報を取得した画像情報取得部３１１は、二次元のカラー画像Ｓと三次元形状Ｄとを合成することで、カラーの三次元画像Ｃを生成する（ステップＳ６）。そして、画像情報取得部３１１は、三次元画像Ｃにおけるｚ方向データに基づく画像をグレースケール化する（ステップＳ７）。ステップＳ７において具体的に、画像情報取得部３１１は、三次元画像Ｃのうち、深さ方向であるｚ方向と、ｚ方向と直交する任意の方向（例えばｘ方向）とからなる平面に配列された画素群により構成される二次元画像（以下、深度反映画像と言う。）をグレースケール化する。なお、画像情報取得部３１１は、三次元画像Ｃをグレースケール化した後に、深度反映画像を取得してもよい。ステップＳ７に続いて、制御部３１０は、算出部３１２としての機能により、グレースケール化された深度反映画像を構成する画素群（ｚ及びｘ方向に配列された画素群）を対象としたＧＬＣＭを計算し、計算したＧＬＣＭに基づいて上記の各特徴量（第２特徴量）を算出する（ステップＳ８）。

以上の各処理を実行した制御部３１０は、診断部３１３としての機能により、ステップＳ３、Ｓ５、Ｓ８のそれぞれで算出した、第１特徴量、孔食の推定面積、及び第２特徴量に基づき、鋼材２の腐食状況を診断する（ステップＳ９）。診断部３１１は、後に詳細に述べるように、例えば、未腐食、腐食あり、孔食あり等、鋼材２の状態を段階的に評価することができる。

なお、制御部３１０は、出力部３１４としての機能により、診断対象領域２ａの撮影画像や、画像解析画面や、診断結果などを適宜、表示部３４０に表示させることができる。また、以上では、制御部３１０が第１特徴量、孔食の推定面積、及び第２特徴量の各値を並列処理で算出する例を示したが、処理の順序は任意であり、これら各値を順次算出するようにしてもよい。以上が腐食診断処理である。

ここで、水利施設１の一例である鋼矢板水路の性能低下の特徴は、水位変動領域において腐食が進行することにある。特に農業用鋼矢板水路では、粗放的な施設管理から設置後１０年程度で腐食が顕在化する施設が多数確認され，腐食進行に伴う孔食や座屈破壊の危険性が指摘されている。以上に説明した腐食診断手法を用いれば、非破壊かつ非接触検査により鋼矢板水路に使用された鋼材２の腐食状況の診断を行うことができる。以下では、腐食診断装置３００、これを利用した応力推定処理及び応力推定方法の一実施例を説明する。本願発明者らは、一実施例として、以下に説明する条件により実験を行った。

（実施例）
１．計測条件
近赤外光線のドットパターンを鋼材２（鋼矢板）に照射し、三次元カメラからなる撮影部２００で鋼材２の板面を真上から撮影した。具体的には、１１６ｃｍ及び５６ｃｍの高さから鋼材２を撮影した。三次元カメラは、RealSense Depth Camera 435i（intel社製）を使用し、画素数は１２８０×７２０ｐｉｘｅｌとした。

２．検討ケース
検討ケースとしてＣａｓｅ１～３を用意した。Ｃａｓｅ１は、未使用の鋼矢板である。Ｃａｓｅ２は、洗浄後の腐食鋼矢板（板厚計測あり）である。Ｃａｓｅ３は、洗浄前の腐食鋼矢板（板厚計測なし）である。

３．解析フロー
解析フローは、前述した、図７に示す腐食診断処理と同様である。本実験では、光源の影響を加味していないため、画像情報の中でも、形状とテクスチャに着目して解析を行った。

４．計測精度の検証
（１）方法
Ｃａｓｅ１に貼付したアルミ切片（２０ｍｍ×２０ｍｍ）を用いて、撮影距離による計測精度を検証した。前述の三次元画像Ｃ（二次元のカラー画像Ｓ（ＲＧＢ画像）と三次元形状Ｄを示す画像を合成して得られる画像）から、０～２５５までのＲＧＢ情報を足し合わせて３で割った値を指標に、しきい値２４０以上として、アルミ切片のみを抽出した。アルミ切片の４辺の長さを算出するとともに、アルミ切片のｚ方向（深さ方向）のデータを抽出し、計測精度を検証した。なお，ｚ方向の誤差は、アルミ切片のｚ方向データの最大値と最小値の差とした。
（２）結果および考察
図８（ａ）に、撮影距離に対する画像解析により算出したアルミ切片１辺の長さとの関係を示す。図８（ｂ）に、撮影距離に対するｚ方向の誤差との関係を示す。検討の結果、撮影距離が近いときにはアルミ切片の１辺の長さが過大に算出される一方で、撮影距離が遠いときにはアルミ切片の１辺の長さは真値に近づくがｚ方向の誤差が大きくなることが分かった。以降の実験では、ｚ方向の誤差が小さかった撮影距離５６ｃｍの場合のデータを用いて解析を行った。

５．同時生起行列を用いた腐食状況の評価（ｘ－ｙ平面）
（１）評価方法
本実験では、同時生起行列（ＧＬＣＭ）を用いて腐食状況を評価した。前述したように、解析対象画像（ｘ－ｙ平面に配列された画素群）についてのＧＬＣＭを計算し、計算したＧＬＣＭに基づいて、ＡＳＭ、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ、及びＥｎｔｒｏｐｙの計５つの特徴量（前述の第１特徴量に対応。）を算出した。解析対象は、Ｃａｓｅ１～３の鋼矢板を撮影した画像であって、鋼矢板の凸部平面を８０×１７０ｐｉｘｅｌで切り出した画像とした。特に、Ｃａｓｅ３からは、孔食が生じている部分と生じていない部分の２つの画像を切り出した。なお、Ｃａｓｅ２は、白いペイントで印が入っており、正確な評価ができない虞があるため、ｘ－ｙ平面の解析対象からは外した（後述するｚ方向の解析においてはＣａｓｅ２を用いた）。解析対象画像を図９（ａ）～（ｄ）に示す。なお、図９（ａ）～（ｄ）の各画像は、実際はフルカラーのＲＧＢであり、前述の二次元のカラー画像Ｓに対応する。
（２）結果および考察
特徴量の算出結果を図１０（ａ）、（ｂ）及び図１１（ａ）～（ｃ）に示す。これら各図のグラフでは、縦軸は特徴量の値を示し、横軸のｐｉｘｅｌは、前述したように、画素対の相対位置を規定するピクセル間距離ｄ（角度θ＝０°の場合）を示している。各図のグラフから分かるように、腐食の有無によってすべての特徴量で差異が生じた。特に、ＡＳＭにおいては、Ｃａｓｅ１では距離によらずほぼ一定値を示した。ＡＳＭは画像の均質性を示す指標であり、腐食が発生していない場合は距離によらず均質であることが明らかになった。また、孔食の有無で比較すると、均質性は孔食があるときのほうが低くなるが、ＡＳＭカーブ（ピクセル間距離ｄに対するＡＳＭの値の変化を示すカーブ）は、ほぼ同様の傾向を示すことが明らかになった。そのほかの特徴量でも差異が確認され、腐食の状態評価にＧＬＣＭが有用であることが分かる。

６．同時生起行列を用いた深さ方向（ｚ方向）の評価
（１）評価方法
前節と同様な方法で、z方向の数値を含む画像（ｚ－ｘ平面に配列された画像）をグレースケール画像に変換し、ＧＬＣＭによって深さ方向の面的広がりを評価することを試みた。ここでも、計算したＧＬＣＭに基づいて、ＡＳＭ、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ、及びＥｎｔｒｏｐｙの計５つの特徴量（前述の第２特徴量に対応。）を算出した。解析対象は、Ｃａｓｅ１～３の鋼矢板を撮影した画像であって、鋼矢板の凸部平面を４０×１２０ｐｉｘｅｌで切り出した画像とした。ｚ方向の評価においては、Ｃａｓｅ３は、孔食が生じていない部分の画像とした。なお、Ｃａｓｅ３のz方向数値の最大値が０．０２ｍであったことを考慮して、０．０２ｍを画素値２５５（白）とし、０ｍを画素値０（黒）としてグレースケール画像に変換した。
（２）結果および考察
特徴量の算出結果を図１２（ａ）、（ｂ）及び図１３（ａ）～（ｃ）に示す。これら各図のグラフでは、縦軸は特徴量の値を示し、横軸のｐｉｘｅｌは、前述したように、画素対の相対位置を規定するピクセル間距離ｄ（角度θ＝０°の場合）を示している。各図のグラフから分かるように、腐食の有無によってすべての特徴量で差異が生じた。特に、腐食の有無によってＡＳＭ、ＩＤＭ、及びＥｎｔｒｏｐｙが顕著に異なることが明らかになった。ＡＳＭは画像の均質性、ＩＤＭは局所的な明暗度合い、Ｅｎｔｒｏｐｙは輝度値（この場合は凹凸度）のピクセルへの分配の乱雑さを示すため、腐食が進行することで、鋼材２の表目の凹凸度合いが進行していることを指標化できると考えられる。また、洗浄の有無による違いはＣｏｎｔｒａｓｔを用いることで評価できると考えられる。

７．孔食面積の評価
前述と同様に、二次元のカラー画像Ｓ（なお、合成後の三次元画像Ｃであってもよい。）をＲＧＢチャンネルに分解し、Ｒ（Red）値のみを抽出して得られる画像をグレースケール変換することで特定色抽出画像Ｓｒを生成した（図３参照）。そして、モード法を用いて決定したしきい値で二値化処理を行った。図６（ｂ）に示す二値化処理後の画像を用いて、鋼材２に生じた孔食の推定面積を算出した。なお、図６（ｂ）では、白い部分を孔食としているため、白い部分のピクセル数より孔食の推定面積を算出した。図１４に、このように算出した孔食の推定面積を横軸にとり（図中、画像解析によって算出した面積）と、実際の孔食の面積を縦軸にとったグラフを示す。なお、縦軸の実際の孔食の面積は、３Ｄスキャナにより同一サンプルを計測するとともに、現地計測の際に設置した正方形のアルミテープ（２ｃｍ×２ｃｍ）の大きさを用いて換算した値である。図１４に示すように、孔食の推定面積（図７のステップＳ５の処理により算出可能な面積）は、精度良く算出されていることが分かる。

８．腐食診断について
（１）ｘ－ｙ平面に基づく腐食診断
鋼材２のｘ－ｙ平面に基づく腐食診断については、図１０（ａ）に示すＡＳＭに着目すれば、例えば、任意のピクセル区間におけるＡＳＭの値や、任意のピクセル区間におけるＡＳＭの平均値が予め定めたしきい値よりも下回った場合に、鋼材２に腐食や孔食が生じている可能性があると診断することができる。あるいは、任意のピクセルに対してのＡＳＭの値の変動が予め定めた変化率よりも低い場合に、鋼材２が未腐食（つまり健全）であると診断することができる。また、Ｃａｓｅ３とＣａｓｅ３（孔食あり）とは同様の傾向を示しつつも、ＡＳＭカーブの値が異なっているため、ＡＳＭの値の大小に基づいて、腐食しているかや孔食が生じているかを判別することができる。他の特徴量についても、図１０及び図１１に示すように、ケース間で際が生じているため、同様な考え方で、鋼材２に腐食状況（未腐食か腐食か孔食か）を評価することができる。鋼材２の腐食診断に用いる特徴量としては、上記５つの特徴量の全てを用いてもよいし、少なくともいずれかを用いてもよい。但し、鋼材２の腐食診断で用いる特徴量としては、鋼材２の状況によって顕著な差異が出るＡＳＭ、ＩＤＭ、及びＥｎｔｒｏｐｙの少なくともいずれかを用いることが好ましく、さらには、少なくともＡＳＭを用いることがより好ましい。
（２）ｚ方向における腐食診断
鋼材２のｚ方向における腐食診断についても、図１２（ａ）に示すＡＳＭに着目すれば、例えば、任意のピクセル区間におけるＡＳＭの値や、任意のピクセル区間におけるＡＳＭの平均値が予め定めた値を下回った場合に、鋼材２の表面の凹凸度合いが進行し、腐食や孔食が生じている可能性があると診断することができる。あるいは、任意のピクセルに対してのＡＳＭの値の変動が予め定めた変化率よりも低い場合に、鋼材２の表面が平坦に近く、未腐食（つまり健全）であると診断することができる。また、ＡＳＭだけでなく、ＩＤＭ及びＥｎｔｒｏｐｙも、Ｃａｓｅ１と、Ｃａｓｅ２，３との間に顕著な際が生じているため、鋼材２の表面の凹凸度合いを考慮した腐食診断で用いる特徴量としては、鋼材２の状況によって顕著な差異が出るＡＳＭ、ＩＤＭ、及びＥｎｔｒｏｐｙの少なくともいずれかを用いることが好ましく、さらには、少なくともＡＳＭを用いることがより好ましい。また、特徴量としてＣｏｎｔｒａｓｔに着目すれば、鋼材２が洗浄されているか否かや、汚れているか否かを判別することも可能である。なお、ｚ方向におけるＧＬＣＭに基づき算出した各特徴量を用いれば、腐食状況だけでなく鋼材２が湾曲しているか否かを診断することも可能である。
（３）鋼材２に生じている孔食の推定面積に基づく腐食診断
算出した孔食の推定面積が予め定めた値以上となった場合に、孔食ありと診断することができる。
（４）まとめ
以上を考慮して、制御部３１０のＲＯＭや記憶部３２０に、上記のような腐食診断を行う際の判別の基準となる値のデータや、判別結果と鋼材２の状態（未腐食、腐食、孔食など）とが対応して構成されたテーブルデータや、各特徴量の変化率を求めるための数式のデータを予め実験等を行うことにより定めて記憶しておき、制御部３１０は、診断部３１３としての機能で鋼材２の腐食状況の診断を行うことができる。また、人工知能や深層学習によって診断精度を高めるようにしてもよい。なお、診断部３１３は、第１特徴量、第２特徴量、及び孔食の推定面積の全てを用いて鋼材２の腐食状況を診断しなくともよく、第１特徴量、第２特徴量、及び孔食の推定面積の少なくともいずれかを用いて腐食状況を診断してもよい。また、診断部３１３は、第１特徴量、第２特徴量、及び孔食の推定面積の値をそのまま診断結果とし、当該診断結果を見た操作者が鋼材２の腐食状況を判定してもよい。

本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変形（構成要素の削除も含む）を加えることが可能である。以下に変形の一例を説明する。

（変形例）
腐食診断システム１００を構成する各部のうち、撮影部２００、又は、撮影部２００及び腐食診断装置３００の一部の構成は、ＵＡＶ（unmanned aerial vehicle）（通称してドローンとも呼ばれる。）に搭載され、遠隔操作により鋼材２を撮影可能であってもよい。また、撮影部２００等の構成は、遠隔操作可能な陸上走行ロボットなどの他の移動体に搭載されていてもよい。

以上では、鋼材２が水利施設に使用される鋼矢板である例を説明したが、腐食診断対象の鋼材２の種類は任意であり、これに限られない。腐食診断システム１００や腐食診断装置３００によって診断される対象の鋼材２は、土留め用の鋼矢板、土木用の鉄板、鉄塔用の鋼材などであってもよい。

以上では、撮影部２００がパターン照射方式の深度センサーを含む三次元カメラから構成される例を説明したが、撮影部２００はこれに限られない。撮影部２００は、ＴＯＦ（Time Of Flight）方式の深度センサーを含む三次元カメラから構成されていてもよい。また、撮影部２００は、一体の三次元カメラに限られず、別体の可視光カメラと深度センサーの組み合わせから構成されていてもよい。

以上の実施例では、各種の特徴量を算出する際に、角度θ＝０°の場合におけるピクセル間距離ｄに対応した値を求める例を説明したが、θの設定は目的に応じて任意であり、これに限定されるものではない。

以上では、画像情報取得部３１１が、二次元のカラー画像Ｓを構成する画素群のＲＧＢデータ（ＲＧＢ表色系における（Ｒ，Ｇ，Ｂ）の値）のうち、予め定めた特定の原色の情報として、Ｒの値を抽出することで、特定色抽出画像を生成する例を示したがこれに限られない。画像情報取得部３１１は、Ｇの値、又は、Ｂの値を抽出することで、特定色抽出画像を生成してもよい。例えば、鋼材２に銅が含まれている場合などには、緑青（青緑色の錆）が発生する場合も想定されるためである。

また、ＲＧＢデータを用いて特徴量を算出する例を示したが、これに限られない。例えば、国際照明委員会で規格化されているＸＹＺ（Ｙｘｙ）色度座標を用いてもよい。また、ＣＭＹＫ形式のデータに基づいて特徴量などを算出してもよい。このように、色座標のデータ形式はＲＧＢデータに限られず任意である。また、各色の明度を何ビットで表すかなども任意である。

また、腐食診断処理におけるステップＳ２の処理を省略してもよい。つまり、制御部３１０は、二次元のカラー画像Ｓ（ＲＧＢ画像）から特定の原色の情報を抽出せず、二次元のカラー画像Ｓをグレースケール変換した上で、ＧＬＣＭや各種の特徴量を算出してもよい。また、制御部３１０は、ステップＳ４の処理において、特定色抽出画像ではなく、カラー画像Ｓを二値化してもよい。また、制御部３１０は、算出部３１２としての機能により、グレースケール化された三次元画像Ｃにおけるｚ及びｙ方向に配列された画素群を対象としたＧＬＣＭを計算し、計算したＧＬＣＭに基づいて各特徴量を算出してもよい。鋼材２の深さ方向の評価は、ｚ方向のデータを含んだ画素群を対象としたＧＬＣＭを用いて行われるものであればよい。

以上に説明した腐食診断処理を実行するプログラムは、制御部３１０のＲＯＭに予め記憶されているものとしたが、着脱自在の記録媒体により配布・提供されてもよい。また、当該プログラムは、腐食診断装置３００と接続された他の機器からダウンロードされるものであってもよい。また、腐食診断装置３００は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことにより当該プログラムに従う各処理を実行してもよい。

［１］以上に説明した腐食診断装置３００は、制御部３１０の機能として、画像取得手段（例えば、画像情報取得部３１１）と、算出手段（例えば、算出部３１２）と、診断手段（例えば、診断部３１３）と、を備える。画像取得手段は、鋼材２を撮影手段（例えば、撮影部２００）によって撮影することで得られる画像を取得する。算出手段は、画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列（ＧＬＣＭ）を計算し、計算した同時生起行列から特徴量を算出する。診断手段は、算出手段が算出した特徴量に基づいて鋼材２の腐食状況を診断する。そして、算出手段が算出する特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含む。
この腐食診断装置３００によれば、画像取得手段が取得した画像を解析するだけでよいため、非破壊・非接触の検査によって、簡易に鋼材２の腐食状況を診断することができる。

［２］具体的に、画像取得手段は、画像（鋼材２を撮影手段によって撮影することで得られる画像）として、鋼材２の二次元画像（例えば、二次元のカラー画像Ｓや特定色抽出画像Ｓｒ）と、二次元画像によって規定される二次元平面（ｘ－ｙ平面）に対する深さ方向（ｚ方向）の情報を含む三次元画像（例えば、三次元画像Ｃ）とを取得してもよい。算出手段は、特徴量として、二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、三次元画像の深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出してもよい。診断手段は、第１特徴量と第２特徴量とに基づき鋼材２の腐食状況を診断してもよい。

［３］また、算出手段は、二次元画像の明度分布に対してモード法で決定したしきい値を用いて二次元画像を二値化し、二値化した二次元画像に基づいて鋼材２に生じた孔食の推定面積を算出してもよい。診断手段は、特徴量（第１特徴量と第２特徴量の少なくともいずれか）と推定面積とに基づき鋼材２の腐食状況を診断してもよい。

［４］また、画像取得手段は、複数の原色によって表現されたカラー画像（例えば、二次元のカラー画像Ｓ）から、予め定めた特定の原色の情報（例えば、Ｒの値）を抽出することで二次元画像（例えば、特定色抽出画像Ｓｒ）を取得してもよい。

［５］また、診断手段は、特徴量として、少なくともＡＳＭの値に基づいて鋼材２の腐食状況を診断してもよい。

［６］以上に説明した腐食診断システム１００は、腐食診断装置３００と、撮影手段（例えば撮影部２００）とを備え、撮影手段は、パターン照射方式又はＴＯＦ（Time Of Flight）方式の深度センサーを含む三次元カメラからなる。
［７］以上に説明した腐食診断装置３００を利用した腐食診断方法は、鋼材２を撮影手段によって撮影することで得られる画像を取得するステップと、取得した画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量（前述の５つの特徴量のうち少なくともいずれか）を算出するステップと、算出した特徴量に基づいて鋼材２の腐食状況を診断するステップと、を備える。
［８］以上に説明したプログラムは、コンピュータを、画像情報取得手段、算出手段、診断手段、として機能させる。
以上に説明した腐食診断システム１００、腐食診断方法、プログラムによれば、画像取得手段が取得した画像を解析するだけでよいため、非破壊・非接触の検査によって、簡易に鋼材２の腐食状況を診断することができる。

以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。

１００…腐食診断システム
２００…撮影部
３００…腐食診断装置
３１０…制御部
３１１…画像情報取得部、３１２…算出部、３１３…診断部、３１４…出力部
３２０…記憶部
３３０…操作部
３４０…表示部
３５０…通信部
１…水利施設、２…鋼材、２ａ…診断対象領域、３…水路
Ｓ…二次元のカラー画像、Ｓｒ…特定色抽出画像
Ｄ…三次元形状
Ｃ…三次元画像

Claims (6)

1. 鋼材を撮影手段によって撮影することで得られる画像を取得する画像取得手段と、
   前記画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出手段と、
   前記算出手段が算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断手段と、を備え、
   前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含み、
   前記画像取得手段は、前記画像として、前記鋼材の二次元画像と、前記二次元画像によって規定される二次元平面に対する深さ方向の情報を含む三次元画像とを取得し、
   前記算出手段は、前記特徴量として、前記二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、前記三次元画像の前記深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出し、
   前記診断手段は、前記第１特徴量と前記第２特徴量とに基づき前記鋼材の腐食状況を診断する、
   腐食診断装置。
2. 前記算出手段は、前記二次元画像の明度分布に対してモード法で決定したしきい値を用いて前記二次元画像を二値化し、二値化した前記二次元画像に基づいて前記鋼材に生じた孔食の推定面積を算出し、
   前記診断手段は、前記特徴量と前記推定面積とに基づき前記鋼材の腐食状況を診断する、
   請求項１に記載の腐食診断装置。
3. 前記画像取得手段は、複数の原色によって表現されたカラー画像から、予め定めた特定の原色の情報を抽出することで前記二次元画像を取得する、
   請求項１又は２に記載の腐食診断装置。
4. 腐食診断装置と、パターン照射方式又はＴＯＦ（Time Of Flight）方式の深度センサーを含む三次元カメラからなる撮影手段とを備え、
   前記腐食診断装置は、
   鋼材を前記撮影手段によって撮影することで得られる画像を取得する画像取得手段と、
   前記画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出手段と、
   前記算出手段が算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断手段と、を備え、
   前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含む、
   腐食診断システム。
5. 鋼材を撮影手段によって撮影することで得られる画像を取得する画像取得ステップと、
   取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出ステップと、
   算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断ステップと、を備え、
   前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含み、
   前記画像取得ステップでは、前記画像として、前記鋼材の二次元画像と、前記二次元画像によって規定される二次元平面に対する深さ方向の情報を含む三次元画像とを取得し、
   前記算出ステップでは、前記特徴量として、前記二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、前記三次元画像の前記深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出し、
   前記診断ステップでは、前記第１特徴量と前記第２特徴量とに基づき前記鋼材の腐食状況を診断する、
   腐食診断方法。
6. コンピュータを、
   鋼材を撮影手段によって撮影することで得られる画像を取得する画像取得手段、
   前記画像取得手段が取得した前記画像を構成する画素群を対象とした同時生起行列を計算し、計算した同時生起行列から特徴量を算出する算出手段、
   前記算出手段が算出した前記特徴量に基づいて前記鋼材の腐食状況を診断する診断手段、として機能させるプログラムであって、
   前記特徴量は、ＡＳＭ（Angular Second Moment）、Ｃｏｎｔｒａｓｔ、Ｃｏｒｒｅｌａｔｉｏｎ、ＩＤＭ（Inverse Difference Moment）、及びＥｎｔｒｏｐｙの少なくともいずれかを含み、
   前記画像取得手段は、前記画像として、前記鋼材の二次元画像と、前記二次元画像によって規定される二次元平面に対する深さ方向の情報を含む三次元画像とを取得し、
   前記算出手段は、前記特徴量として、前記二次元画像を構成する画素群を対象とした同時生起行列に基づく第１特徴量と、前記三次元画像の前記深さ方向における画素群を対象とした同時生起行列に基づく第２特徴量とを算出し、
   前記診断手段は、前記第１特徴量と前記第２特徴量とに基づき前記鋼材の腐食状況を診断する、
   プログラム。

Images