JP3648728B2 - 自己組織化特徴マップを用いた鋼材表面の劣化度評価システム - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、鋼材表面の劣化状態を検出し、判定するための自己組織化特徴マップを用いた鋼材表面の劣化度評価システムに関するものである。
【０００２】
【従来の技術】
従来、鋼材表面の劣化状態を評価するには、人の視覚や写真による評価に始まり、色標による評価や、超音波によって鋼材の厚さを計測するものなどがある。しかし、人の視覚に頼る調査では、同じものを評価しても定量的に判断するのは難しく、個人によってその評価が異る問題が生じる。超音波測定においては、部分部分は比較的定量的な評価が可能であるが、広い範囲になると、評価に時間と労力がかかり、構造によっては、測定できない個所も生じる問題があった。
【０００３】
また、鋼材表面の画像をＲＧＢ表色系に変換し、ＹＩＱ表色系のデータに変換した後、クラスタリングを行い、各クラスタ毎に鋼材表面の劣化度を評価する方法がとられてきた。
【０００４】
しかし、ＹＩＱ表色系は、感覚的な色度の差と色度点間の距離が一致していないことで、距離の概念を導入したクラスタリング法を使用した場合に精度が悪くなり、またどのような環境および状況で撮影された画像であるのかを分類する過程が無いことにより、撮影時の光量や光源の違いによって、適切な評価が得られない問題が生じた。
【０００５】
【発明が解決しようとする課題】
本発明は、このような問題点に鑑みてなされたものであり、感覚的な色度の差が色度点間の距離に比例しているＵＣＳ表色系を用いること、自己組織化特徴マップ（以下ＳＯＭと略す）により対象画像の撮影環境および状況を色度の分布状況から分類を行ない、修正対向伝搬ネットワーク（以下ＭＣＰと略す）により、対象画像がどの評価パターンに対応するのかを判断することで、鋼材表面の劣化度評価の精度を向上できる、自己組織化特徴マップを用いた鋼材表面の劣化度評価システムを提供しようとするものである。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明における自己組織化特徴マップを用いた鋼材表面の劣化度評価システムは、図１の劣化度評価システムのフローチャートに示すように、鋼材表面を撮影した画像をＵＣＳ表色系に変換する前処理過程、ＳＯＭとＭＣＰを用いた画像の分類過程、クラスタリング法を用いて類似した色度を持つ領域にグループ分けを行う色度による領域の分類過程とクラスタリング結果と劣化度基準とのファジイマッチングにより劣化度レベルを判断する劣化度判別過程で構成されている。
【０００７】
画像の前処理過程では、画像をＲＧＢ表色系のデータで表した後、異常値の影響を軽減するために画像の平滑化を行う。そして、ＲＧＢ表色系における色度座標(r,g,b)を、感覚的な色度の差が色度点間の距離に比例するようにＵＣＳ表色系における色度座標(u',v',y)に変換する。
【０００８】
画像の分類過程では、まず、ＳＯＭを用いて対象画面がどのような環境および状況で撮影された画像であるのかを色度の分布状況から分類する。その分類結果に基づき、ＭＣＰを用いて画像がどのパターンの評価方法を採用すればよいかの分類を行う。
【０００９】
色度による領域の分類過程では、前処理過程より得られる画像のu',v',y色度データと画像の分類過程により得られる評価パターンパラメータを入力として、核抽出法とｋ平均法クラスタリングにより分類する。まず、初期クラスタおよびクラスタ数を決定するために、核抽出法による階層型クラスタリングを行う。核抽出クラスタリングによって求めたクラスタを初期クラスタとして、ｋ平均法による非階層型クラスタリングを行ない、最終クラスタを決定する。
【００１０】
劣化度判別過程では、色度による領域の分類過程により得られた画像のクラスタリング結果と劣化度のファジイ集合を用いて、劣化度の判定を行う。劣化度は、劣化度１から劣化度４と評価対象外領域（便宜上、劣化度５とする）の５段階で表す。劣化度のファジイ集合は、u'−v'平面上の劣化度１から劣化度４の領域と評価対象外領域を表す。それぞれのクラスタについて、すべての劣化度のファジイ集合に対する適合度の計算を行ない、その適合度の大きさにより、各クラスタの劣化度への帰属度が順位付けられる。
【００１１】
【発明の実施の形態】
以下、発明の実施の形態を実施例にもとづき図面を参照して説明する。
【００１２】
図１は、自己組織化特徴マップを用いた鋼材表面の劣化度評価システムのフローチャートである。画像の前処理過程２では、鋼材表面を撮影した画像１をＲＧＢ表色系のデータで表し、異常値による影響を軽減するために、画像の平滑化を行なう。画像の平滑化の例として、ある画素とそれを中心とした５×５の周囲２４点について、図２に示すような比重の重みを用いて、「式１」で示される重みつき平均をとり、その値を中心画素の値とする方法を行う。この時、f(i,j)は平滑化前の座標(i,j)の階調ベクトル、g(i,j)は平滑化後の座標(i,j)の階調ベクトル、a(k,l)は重み係数を表す。
【式１】

【００１３】
平滑化を行なったＲＧＢ表色系における色度座標(r,g,b)を「式２」に従い、(u',v',y)に変換する。色の明るさは、ｙの値によってのみ表現されている。
【式２】

【００１４】
次に、画像の前処理過程２により得られたｕ’，ｖ’，ｙ色度データを用いて画像の分類５を行う。撮影対象および撮影時の光量・光源の違いを簡単に特徴付けるために色度分布を採用し、ＵＣＳ色度平面と明るさｙの軸によって張られる空間を例えば、０．１８５＜ｕ’＜０．２３５、０．４５５＜ｖ’＜０．５０５を２０点、０．２＜ｙく０．８を２点に等間隔に離散化を行う。対象となる画像に対して、離散化された色度の頻度分布を求め、各離散化色度の頻度を、相対頻度が一定値以上であれば１、一定値未満であれば０を割り当てて２値化する。この時、明らかに鋼材の色でない色度ならびに赤錆を示す色度に関しては、予め除去するものとする。この一例を図３、図４、図５に示す。各マス目が離散値に対応しており、着色部分が１に対応している。
【００１５】
この画像の分布を用いて、ＳＯＭによりどのような環境および状況で撮影された画像であるのかを色度の分布から分類３する。ＳＯＭは、大脳皮質の視覚野を人工的に模倣したものであり、図６に示すような入力層とマップ層の２層構造ネットワークである。ＳＯＭの出力層であるＫｏｈｏｎｅｎ層は入力ベクトルをよく似たベクトルにグループ分けし、それを識別する。このグループ分けは、よく似た入力ベクトルに対して同じＫｏｈｏｎｅｎニューロンが反応するように、Ｋｏｈｏｎｅｎ層の重みを調節することによって行なわれる。
【００１６】
まず、様々な環境および状況で撮影された画像を用いて、ＳＯＭ上にマッピングを行ない、何度も学習させて、様々な撮影環境および状況に対応したＳＯＭを作成する。
【００１７】
ＳＯＭの学習は、下に示す手順からなる。
［ＳＯＭの学習手順］
(1)近傍関数の初期値h₀、学習関数の初期値a₀および学習回数Tを定める。次に、入力層とＫｏｈｏｎｅｎ層の間の重み行列W＝{w_ij} を乱数を用いて小さな値に初期化する。
(2)入力ベクトルX＝｛x₁,x₂,…,x_n｝をｎ次元空間の単位ベクトルのみ変換する。つまり、各入力ベクトルを、その先がｎ次元超球上にあるような矢印として表現する。
(3)Ｋｏｈｏｎｅｎニューロンへの重みと入力ベクトルの類似度を内積によって定義する。つまり、入力ベクトルをX＝｛x₁,x₂,…,x_n｝、ＫｏｈｏｎｅｎニューロンK_jへの重みを｛w_1j,…,w_nj｝（重み行列Ｗの第ｊ列ベクトル）とするとき、Ｋｏｈｏｎｅｎニューロンの類似度s_jを「式３」で与える。
【式３】

そして、類似度が最大となるＫｏｈｏｎｅｎニューロンを勝ちニューロンと呼び、K_j*と表す。
(4)勝ちニューロンK_j*とその近傍のニューロンへの重みを、「式４」に基づいて更新する。
【式４】

ここで、h_j*(j,t,T）は近傍関数と呼ばれ、「式５」で表される。a(t,T)は学習関数と呼ばれ、「式６」で表される。
【式５】

【式６】

ただし、T、a₀、h₀は、それぞれ学習回数、学習関数、近傍関数に関する定数、｜j^*-j｜はKohonen層での２次元座標上での距離を表す。
(5)学習回数tが、規程の学習回数T以下であれば、(2)から(5)までの手続きを繰り返す。
以上の事から、ＳＯＭでは、勝ちニューロンとその近くのＫｏｈｏｎｅｎニューロンはすべてその時の入力ベクトルに近づく。
【００１８】
得られたマップは、学習に用いた画像に類似した色度分布を持つ画像に対して、それぞれに選択的に反応する。さらに、マップ上のニューロンの近さは、色度分布の近さに対応しており、入力画像の識別細胞の役割を果たしている。この学習させたＳＯＭを用いることで、判定を行う画像が、どのような環境および状況で撮影された画像であるのかを分類することができる。
【００１９】
画像の分類手順は、判定を行う画像に対して、画像の前処理を行ない、［ＳＯＭの学習手順］の(2)と同様に特徴ベクトルを求める。次に、学習させたＳＯＭに対して、特徴ベクトルを入力し、［ＳＯＭの学習手順］の(3)と同様の方法で勝ちニューロンを決定させて分類を行う。
【００２０】
ＳＯＭの例を図７に示す。ここで、中心に点が描かれている六角形はＫｏｈｏｎｅｎニューロンに対応し、各ニューロン間の６角形の濃淡はそれぞれニューロンへの重みベクトルの類似度を表している。濃いほど類似度は低いことを示している。これからも分かるように、色度の頻度分布による特徴ベクトル化とＳＯＭの組み合わせによる分類は、人の行う直感的分類（識別）過程を模倣したものとなっている。
【００２１】
次に、ＭＣＰを用いて、ＳＯＭにより分類された結果を、さらに予備解析等の経験に基づいて適切な評価パターンに分類４する。ここで、使用するネットワークの例を図８に示す。本ネットワークは、訓練モードと認識モードがあり、訓練モードでは、ＳＯＭによって得られた直感的分類と予備解析等の経験に基づいた評価パターンの分類の対応を学習させる。認識モードでは、訓練モードによって得られた結合荷重をネットワークに読み込んだ後、入力された各画像に対して、適切な評価パターンを出力する。
【００２２】
訓練モードの手順は、まずＫｏｈｏｎｅｎ層−出力層間の結合荷重z_jkをゼロに初期化する。次に、Ｋｏｈｏｎｅｎ層−出力層間では、画像毎の（入力層−Ｋｏｈｏｎｅｎ層における）勝ちニューロンK_j*および近傍関数h_j*で定義される近傍領域S_j*に含まれるニューロンと、予備解析等によって得られる評価パターンパラメータに対応した出力ニューロンC_k*との結合荷重z_jkを「式7」により更新する。
【式７】

ここで、h_j*(j,t,T）は「式８」で表され、r(t,T)は「式９」で表される。
【式８】

【式９】

ただし、｜j^*-j｜はＫｏｈｏｎｅｎ層上での２次元座標上での距離、H₀、R₀は定数、Tは規定の学習回数を表す。学習回数tが規定の学習回数T以下であれば「式7」の手続きを繰り返す。
【００２３】
認識モードでは、訓練モードによって得られた結合荷重をネットワークに読み込んだ後、Ｋｏｈｏｎｅｎ層の勝ちニューロンK_j*と出力層の各ニューロンPk間との結合荷重z_j*_kの大きさを比較して、最大値を持つ出力層のニューロンに対応する評価パターンが第１位となる。同様にして、第２位以下の候補が決定される。第１位のみを判定に用いれば、学習ベクトル量子化と同様の判定ができ、第２位以下の候補も用いれば順位付きの評価パターン判定もできる。
【００２４】
次に、前処理過程２より得られる画像のu',v',y色度データと画像の分類過程５により得られる評価パターンパラメータを入力として、色度による領域の分類８を行う。まず、yを基準に２つのクラスタ（明るい画素と暗い画素）に分類し、それぞれのクラスタを色度に基づいて、核抽出法６とｋ平均法クラスタリング７によりさらに分類する。
【００２５】
画像の分類過程５により得られる評価パターンパラメータは、各評価パターン（パターン１からパターン５までの５段階）ごとのヒストグラムセルH_i(H₁,H₂,…,H_n)、核となるための最低頻度F₀、およびデータの標準偏差に対するクラスタ半径の最小比率D₀などを表したものである。パターン１の場合のパラメータは、例えば、「ヒストグラムセルH_i(H₁,H₂,…,H_n)は、(u',v')平面上の0.0025×0.0025の矩形平面、核となるための最低頻度F₀は(全データ数)/(頻度が１以上のセルの数)もしくは９０点のうち小さい方の値、データの標準偏差に対するクラスタ半径の最小比率D₀は１、ただし、標準偏差が0.006以下の場合は、クラスタ半径を0.006とする。」という値で与えられる。
【００２６】
まず、初期クラスタおよびクラスタ数を決定するために、前処理によって得られた１つのクラスタに配置されているu',v',yデータをu'−v'平面に射影したものを被クラスタリングデータとし、これを画像の分類過程５から得られる評価パターンパラメータに基づいて、核抽出クラスタリング６を行う。
【００２７】
核抽出クラスタリング６は、まずヒストグラムセルH_i(H₁,H₂,…,H_n)、核となるための最低相対頻度F₀、およびデータの標準偏差に対するクラスタ半径の最小比率D₀などのクラスタリングパラメータの設定を行ない、対象となるすべての被クラスタリングデータを暫定第１クラスタに配置し、対象暫定第１クラスタに属しているデータに対して、以下の再帰的手順を行う。
［核抽出クラスタリングの手順］
(1)与えられた暫定クラスタに属するデータをヒストグラムセルに基づいて、ヒストグラムを作成する。また、同時に対象データ数Nおよび、データの標準偏差sdを求める。
(2)頻度順にヒストグラムセルH_iを並び替える。また、一般性を失うことなしに、i<j ⇒｜H_i｜≧｜H_j｜とできる。ここで、｜H_i｜をH_iの頻度とする。
(3)i=1、j=iとして、H₁を第ｉ核C_iとする。
(4)k=argmin d(H_j,H₁) over 1∈{1,…,i}とする。ここで、d(H_j,H₁)をH_jとH₁の中心値間の距離とする。そして、次の手順で順次、核と暫定クラスタを構成する。
(5)d(H_j,H_k)<D₀・sdまたは、｜H_j｜<F₀・Nならば、H_jの要素をC_kを核とする暫定クラスタに配置する。
(6)d(H_j,H_k)≧D₀・sdかつ、｜H_j｜≧F₀・Nならば、i=i+1として、H_jを第i核C_iとする。
(7)j<Mである限り、j=j+1として、(4)(5)(6)を繰り返す。j=Mならば、(8)に進む。
(8)i=1ならば、C_iを核とする暫定クラスタを、１つの最終クラスタとして固定する。
i>1ならば、すべてh∈{1,…,i}に対して、C_hを核とする暫定クラスタに対して、再クラスタリングを行う。
【００２８】
次に、核抽出クラスタリング６によって求めたクラスタを初期クラスタとして、ｋ平均クラスタリング７を行ない、最終クラスタを決定する。
【００２９】
ｋ平均クラスタリング７は、下記の手順からなる。
［ｋ平均クラスタリングの手順］
(1)クラスタの数ｋ、再配置の収束条件などのクラスタリングパラメータを設定する。また、被クラスタリングパラメータを暫定的にｋ個の初期クラスタに配置する。
(2)ｋ個の各初期クラスタの重心（各クラスタ内の全データの算術平均）を求める。
(3)各被クラスタリングデータに対して、すべてのクラスタ重心との距離（ユークリッド距離）を計算し、それぞれのデータが距離が最小となるクラスタに再配置する。
(4)再配置されたデータで、各クラスタの重心を再計算する。
(5)所属するクラスタを変えたデータの数が、ある閾値以下であれば、収束したとみなし、最終クラスタとして決定する。またそれ以外の時は(3)へ戻って繰り返す。
【００３０】
色度による領域の分類過程８により得られた画像のクラスタリング結果と画像の分類過程５により得られた評価パラメータパターンに依存する劣化度ファジイ集合を用いて、劣化度の判定９を行う。劣化度ファジイ集合は、u'−v'平面上の劣化度１から劣化度４の領域と評価対象外領域（便宜上、劣化度５とする）を表す。u'−v'平面（U'×V'）上のクラスタの集合をC={C_i} _{i ∈ {1, … ,k}}、クラスタC_iの要素をX(i)={x_j(i)} _{j ∈ {1, … ,n(i)}}とする。また、劣化度のファジイ集合A_{p (p ∈ { １ , ２ , … , ５ })}、そのメンバーシップ関数をμ_Ap(u',v')：U'×V'→［0,1］で表す。この時、クラスタC_iと劣化度A_pとの適合度s(i,p)∈［0,1］を「式１０」を用いて計算する。そして、その適合度の大きさにより、各クラスタの劣化度への帰属度が順位付けられる。一般的には、第１位のみを用いればよいが、第２位以下の候補も用いれば、順位付きの判定もできる。
【式１０】

【００３１】
図１０および図１２は、判定結果画像１０の例である。図９に示す構造物の外面を撮影した画像を本発明で劣化度評価を行った結果は、図１０のように撮影された鋼材表面上に劣化度ごとに異なる色で着色される。同様に、図１１に示す鋼管の内面を撮影した画像を本発明で劣化度評価を行った結果は、図１２のように撮影された鋼材表面上に劣化度ごとに異なる色で着色され、元画像の各部分の劣化状態を一目で把握することが出来る。
【００３２】
【発明の効果】
本発明は、以上に説明した手順で行うことにより、以下に記載するような効果を奏する。
【００３３】
鋼材表面の劣化度評価システムに、感覚的な色度の差が色度点間の距離に比例しているＵＣＳ表色系を用いることで、距離の概念を導入したクラスタリング法を使用する際に、劣化度評価の精度を上げることができる。
【００３４】
また、本発明はＳＯＭにより対象画像の撮影環境および状況を色度の分布状況から画像の分類を行ない、ＭＣＰにより対象画像がどのパターンの評価方法を採用すればよいかを予備解析等の経験から分類を行うことで、撮影時の光量・光源の違いによる色度分布の違いに対応できる。
【図面の簡単な説明】
【図１】自己組織化特徴マップを用いた劣化度評価システムのフローチャート
【図２】画像の平滑化の例
【図３】鋼管内面画像の例
【図４】離散化した色度の頻度分布の例
【図５】離散化した色度の頻度分布の例
【図６】自己組織化特徴マップのネットワーク図
【図７】自己組織化特徴マップ
【図８】修正対向伝搬ネットワーク図
【図９】構造物外面画像
【図１０】構造物外面画像の判定結果画像
【図１１】鋼管内面画像
【図１２】鋼管内面画像の判定結果画像
【符号の説明】
１ 画像
２ 画像の前処理過程
３ ＳＯＭによる分類
４ ＭＣＰによる分類
５ 画像の分類過程
６ 核抽出クラスタリング
７ ｋ平均クラスタリング
８ 色度による領域の分類過程
９ 劣化度判定過程
１０ 判定結果画像

Claims (2)

1. 鋼材表面を撮影した画像を用いて、鋼材表面の劣化度を画像処理により評価する方法において、画像データをＵＣＳ表色系に変換する前処理過程と、対象画像がどのような環境および状況で撮影された画像であるかを分類する画像の分類過程と、クラスタリング法を用いて類似した色度を持つ領域にグループ分けを行う色度による領域の分類過程と、クラスタリング結果と劣化度基準とのファジイマッチングにより劣化度レベルを判断する劣化度判別過程により、鋼材表面の劣化度を評価することを特徴とする、自己組織化特徴マップを用いた鋼材表面の劣化度評価システム。
2. 請求項１に記載の画像の分類過程において、様々な環境および状況で撮影された画像を用いて学習させた自己組織化特徴マップにより、対象画像の撮影環境および状況を色度の分布状況から分類を行うこと、自己組織化特徴マップによる分類結果に基づいて、対象画像がどの評価パターンに対応するのかを修正対向伝搬ネットワークにより、判断することを特徴とする、自己組織化特徴マップを用いた鋼材表面の劣化度評価システム。

Images