JP4016831B2 - Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis - Google Patents

Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis Download PDF

Info

Publication number
JP4016831B2
JP4016831B2 JP2002375776A JP2002375776A JP4016831B2 JP 4016831 B2 JP4016831 B2 JP 4016831B2 JP 2002375776 A JP2002375776 A JP 2002375776A JP 2002375776 A JP2002375776 A JP 2002375776A JP 4016831 B2 JP4016831 B2 JP 4016831B2
Authority
JP
Japan
Prior art keywords
waveform
wavelet
wall surface
reference signal
wavelet transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002375776A
Other languages
Japanese (ja)
Other versions
JP2004205385A (en
Inventor
文宏 井上
敦弘 堂山
有 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Obayashi Corp
Original Assignee
Obayashi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Obayashi Corp filed Critical Obayashi Corp
Priority to JP2002375776A priority Critical patent/JP4016831B2/en
Publication of JP2004205385A publication Critical patent/JP2004205385A/en
Application granted granted Critical
Publication of JP4016831B2 publication Critical patent/JP4016831B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、壁面剥離の診断を行うためのウェーブレット変換方法およびウェーブレット変換を用いた壁面剥離診断用装置に関する。
【0002】
【従来の技術】
従来より、タイルやコンクリートなどの壁面の剥離状態の診断は、作業員がゴンドラや足場などを利用して検査場所へ行き、壁面をハンマー等で打撃した際の打撃音を聞き分けて判定することにより行うのが一般的である。すなわち、健全な壁面と剥離が生じた壁面とでは、打撃に対する振動応答が異なることから、その差異を作業員が感知して剥離の有無を診断するのである。このため、診断結果は作業員の勘や技能に左右されやすく、必ずしも高い精度で剥離の有無を診断することはできない。
【0003】
これに対して、例えば特許文献1および2には、壁面の打撃音をマイクロフォンで採取し、これを信号処理することにより剥離状態を自動的に診断する技術が開示されている。しかし、壁面を打撃する方法では、打撃点が離散的にならざるを得ないため、打撃点の間に生じた剥離を見逃してしまうおそれがある。一方、特許文献3には、壁部のタイルに回転体または鋼球を押し付けた状態で、この回転体または鋼球をタイル表面に沿って移動させた際の発生音をマイクで集音し、集音信号に基づいて剥離診断を行うことが開示されている。
【0004】
【特許文献1】
特開2000−131288号公報
【0005】
【特許文献2】
特許第2915704号公報
【0006】
【特許文献3】
特許第2965762号公報
【0007】
【発明が解決しようとする課題】
しかし、特許文献3には、マイクで集音された連続的な信号をどのように処理して剥離を診断するのか明らかにされていない。一方、特許文献1には、信号をウェーブレット変換により、周波数帯域毎の時系列信号を求め、その信号と基準値との比較に基づいて剥離の診断を行うことが記載されている。ウェーブレット変換は周波数分布を時系列的に計算する手法であり、特許文献3のように連続的に得られた信号の周波数解析を行うのに適している。このウェーブレット変換によって正確に剥離の有無を診断するには、ウェーブレット変換の際に用いる基底関数(マザーウェーブレット)を適切に選択することが必要である。ところが、特許文献1には、測定波形や観測したい現象に合わせて適切なマザーウェーブレットを選択する旨が記載されている(特許文献1の段落0078〜0081、図4等参照)に過ぎず、具体的にどのような基準でマザーウェーブレットを選択すべきであるのか全く明らかにされていない。
【0008】
本発明は上記の点に鑑みてなされたものであり、診断対象である壁面に適したマザーウェッブレットを用いてウェーブレット変換解析を行うことにより、壁面剥離の有無を正確に診断できるようにすることを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、壁面の剥離の有無を診断するために、接触体を当該壁面に接触させながら移動させた際に発生する音を測定し、その測定信号に対してウェーブレット変換演算を行う方法であって、
前記壁面の適宜な部分についての前記測定信号を基準信号として取得するステップと、
該取得した基準信号に基づいてマザーウェーブレットを作成するステップと、
前記壁面の診断対象部分についての前記測定信号を取得するステップと、
該取得した測定信号に対して、前記作成したマザーウェーブレットを用いてウェーブレット変換演算を行うステップと、を含み、
前記マザーウェーブレットを作成するステップでは、前記基準信号から波形発生点および波形終了点を決定し、それら波形発生点および波形終了点の間での前記基準信号の波形に基づいて点対称な波形を作成し、該作成した波形をそのノルムで割ることにより正規化した波形をマザーウェーブレットとすることを特徴とする。
【0010】
本発明によれば、診断対象である壁面から得られた測定信号を基準信号としてマザーウェーブレットを作成する。このため、ウェーブレット変換が施される測定信号とほぼ同じ周波数帯域を有するマザーウェーブレットを用いることが可能となり、測定信号の周波数分布の時間的な変化を、広い周波数範囲に亘り適切に抽出することができる。したがって、かかるウェーブレット変換の結果に基づいて、壁面の剥離の有無を正確に判断することが可能となる。
【0011】
また、本発明において、前記ウェーブレット変換演算の結果を出力するステップを更に含むこととしてもよく、また、前記ウェーブレット変換演算の結果に基づいて壁面剥離の有無を判定するステップを更に含むこととしてもよい。
【0012】
また、前記マザーウェーブレットを作成するステップでは、前記基準信号から波形発生点および波形終了点を決定し、それら波形発生点および波形終了点の間での前記基準信号の波形に基づいて点対称な波形を作成し、該作成した波形をそのノルムで割ることにより正規化した波形をマザーウェーブレットとすることとしてもよい。
【0013】
【発明の実施の形態】
図1は、本発明の一実施形態であるシステムの全体構成図である。同図に示すように、本実施形態のシステムは、支持棒10の先端に取り付けられた、例えば鋼球よりなる接触体12と、この接触体12の近傍に設置されたマイクロフォン14と、このマイクロフォン14からの出力信号を処理する信号処理部16とを備えている。
【0014】
壁面の剥離診断を行う場合、作業員が支持棒10をつかんで接触体12を診断対象である壁面20に押し付けながら壁面20の表面に沿って移動させる。ただし、壁面20への押し付け力を一定に保ちながら接触体12を移動させる自動機構を設けてもよい。また、接触体12である鋼球を支持棒10に回転自在に支持して壁面20の表面上を転がすようにしてもよく、また、接触体12として支持棒10に回転可能に支持された車輪状の部材を用いてもよい。
【0015】
マイクロフォン14は、上記のように接触体12が壁面20に押し付けられながら移動するのに伴って発生する音を集音し、その音に応じた電気信号を測定信号として信号処理部16へ出力する。
【0016】
図1に示すように、信号処理部16は、増幅部30、A/D変換部32、マザーウェーブレット作成部34、ウェーブレット変換部36、出力部38などにより構成されている。
【0017】
増幅部30はマイクロフォン14から出力された測定信号を増幅し、A/D変換部32は、この増幅信号をデジタル化してマザーウェーブレット作成部34およびウェーブレット変換部36へ供給する。マザーウェーブレット作成部34は、デジタル化された測定信号に基づいて、ウェーブレット変換部36がウェーブレット変換演算を行う際に用いるマザーウェーブレットを作成する。ウェーブレット変換部36は、マザーウェーブレット作成部34により作成されたマザーウェーブレットを用いて、診断対象である壁面20についての測定信号に対してウェーブレット変換計算を行う。出力部38は、このウェーブレット変換計算の結果をディスプレイ上に表示し、あるいは、プリンタに印刷出力する。
【0018】
なお、マザーウェーブレット作成部34およびウェーブレット変換部36は、夫々、コンピュータがプログラムを実行することによりソフトウェア的に実装されてもよいし、あるいは、専用のハードウェア回路により実現されていてもよい。
【0019】
以下、マザーウェーブレット作成部34によるマザーウェーブレットの作成処理の内容について説明する。
【0020】
マザーウェーブレット作成部34は、診断対象である壁面20の適宜な部分において接触体12を移動させた場合のマイクロフォン14の測定信号を、マザーウェーブレット作成の基となる信号(以下、基準信号という)として取得し、この基準信号に基づいてマザーウェーブレットを作成する。
【0021】
図2は、基準信号からマザーウェーブレットを作成する処理の概略を示すフローチャートである。同図に示すように、マザーウェーブレットの作成処理は、概略、▲1▼基準信号について波形発生点の検出、▲2▼自己相関による波形終了点の検出、▲3▼開始点・終了点間の波形の並べ替え・反転等、および▲4▼波形の正規化という手順で行われる
▲1▼基準信号について波形発生点の検出
例えば、基準信号が図3のように得られたとする。なお、同図中においてA/D変換部32によるサンプリング点(以下、データ点という)を黒丸で示している。先ず、このような基準信号の絶対値をとり、絶対値が最大となる点(絶対値最大点P)を特定する(図4を参照)。次に、元の基準信号において、絶対値最大点Pから時間軸をさかのぼって初めて符号が変化するデータ点(図3、図4における点Q)を波形発生点とし、この波形発生点以前のデータ点の値を全て0とする(図5を参照)。
【0022】
▲2▼自己相関に基づく波形終了点の検出
先ず、波形発生点以前の値を0とした基準信号について自己相関係数を計算する。図6に自己相関係数の計算結果例を示す。この図からもわかるように、基準信号についての自己相関係数は値の変化が激しい。そこで、自己相関係数の平滑化処理を行う。平滑化処理としては、例えば、連続する複数のデータ点のうちの最大点を代表値とするなどの処理を行う。図7は、図6に示す自己相関係数を平滑化した結果を示す。なお、図7では、平滑化の際のデータ点数を4点、10点、および20点とした場合の結果を示している。
【0023】
次に、上記のように平滑化した自己相関係数が所定の閾値以下となる最初のデータ点に基づいて波形終了点を定める。上記図7に示す例では、例えば、平滑化点数を20点とした場合、閾値を0.2とすると自己相関係数は点R1で初めて閾値を下回り、また、閾値を0.1とすると自己相関係数は点R2で始めて閾値を下回っている。このように閾値を初めて下回る点の横軸座標をx(図7の例で、平均点数を20、閾値を0.2とした場合の点R1であれば「19」)として、基準信号の時間波形の最初からx番目のデータ点を波形終了点とする。
【0024】
▲3▼開始点・終了点間の波形の並べ替え・反転等
基準信号を上記▲1▼および▲2▼で夫々検出した波形発生点および波形終了点の間で切り出し、この切り出した信号波形(以下、採用波形という)を基にマザーウェーブレットを作成する。
【0025】
一般にウェーブレット解析に用いるマザーウェーブレットΨ(x)は一般に次のアドミッシブル条件を満足しなければならない。
【数1】

Figure 0004016831
【0026】
そこで、このアドミッシブル条件が満足されるように採用波形を以下の(i),(ii)の処理により左右対称な波形にする。
(i)採用信号のデータを時間的な順序が逆になるように並べ替えたうえで符号を反転させる。すなわち、採用波形の各データ点が
S(ti)=ai (i=1,・・・,N,Nはデータ点数)
と表されるとすると、
Figure 0004016831
となる波形Tを作成する。図8に、上記図3に示す基準信号についての採用波形Sを、また、図9に、この採用波形Sに対する波形Tを示す。
【0027】
(ii)上記(i)で得られた波形Tの後に元の採用波形Sを結合して波形Uを得る。すなわち、
Figure 0004016831
図10は、図8および図9に夫々示す波形S,Tから得られた波形Uを示す。
【0028】
なお、波形Tの最後のデータ点T(tN)=−a1と、波形Sの最初のデータ点S(t1)=a1の値は共に「0」であるから、これらを共通のデータ点としており、そのため、全データ点数は2・Nではなく(2・N−1)となっている。
【0029】
▲4▼波形の正規化
上記▲3▼で作成した波形Uを正規化する。すなわち、先ず、式
【数2】
Figure 0004016831
により波形Uのノルムを計算する。
【0030】
そして、波形Uをこのノルムで割って正規化することでマザーウェーブレットΨが完成する。すなわち、
【数3】
Figure 0004016831
【0031】
図11〜図13は、3種類の壁面で採取された基準信号に基づいて作成されたマザーウェーブレットΨの波形の例を示す。なお、各図において(a)は上記手順▲2▼において波形終了点を決定する際の閾値を0.1とした場合、(b)は同閾値を0.2とした場合の例を夫々示している。
【0032】
次に、以上のようにして作成されたマザーウェーブレットΨを用いてウェーブレット変換部36が行うウェーブレット変換計算処理の内容について説明する。
【0033】
ウェーブレット変換は
【数4】
Figure 0004016831
で定義される。
【0034】
ここで、f(t)は解析される信号(解析信号)である。左辺の(WΨf)は、ウェーブレット係数と呼ばれ、マザーウェーブレットΨ((x−b)/a)と解析信号f(x)との類似の度合いを示す指標を与える係数である。一方、右辺のパラメータaは周波数の局所化を行うためのスケーリングパラメータである。このスケーリングパラメータaはマザーウェーブレットの時間方向の伸縮度合いを表すものであってマザーウェーブレットの周波数を定める。また、パラメータbは時間の局所化をおこなうためのトランスパラメータである。周波数および時間に夫々対応するこれらのパラメータaおよびbの値を様々に変化させることにより、解析信号f(x)を時間―周波数平面上に展開することが可能となる。
【0035】
本実施形態では、スケールパラメータaについては、0〜10000Hzの範囲を20Hz刻みで変化させ、また、トランスパラメータbについては、0.005ms刻みで変化させた。
【0036】
従前のウェーブレット変換の計算法では、2つのパラメータ(b,a)の各組について上記式の数値積分を実行していたため、膨大な計算時間がかかっていた。これに対して、本実施形態では、以下のような手順で計算を行うことにより計算時間の短縮を図っている。
【0037】
ウェーブレット変換の定義を表す上記式(1)は、
【数5】
Figure 0004016831
の関係を用いて
【数6】
Figure 0004016831
と表すことができる。ただし、
【数7】
Figure 0004016831
x=t−bとおくと、
【数8】
Figure 0004016831
よって、
【数9】
Figure 0004016831
となる。
【0038】
関数f(t)が区間[0,T0]で周期的と仮定すると、
【数10】
Figure 0004016831
また、
【数11】
Figure 0004016831
したがって、
【数12】
Figure 0004016831
ここで、
【数13】
Figure 0004016831
となる。
【0039】
区間[0,T0]をN等分すると(ただし、Nは偶数であり、一般にはFFTを考慮して2のべき乗とする)、
【数14】
Figure 0004016831
解析信号f(t)についても離散点
【数15】
Figure 0004016831
で与えられているとすると、
【数16】
Figure 0004016831
したがって、
【数17】
Figure 0004016831
ゆえに、
【数18】
Figure 0004016831
【0040】
上記式(4)はFFT(高速フーリエ変換)を表す式であり、上記式(5)は逆FFTを表す式である。そこで、式(4)によりakを高速フーリエ変換により計算しておき、その後、aをパラメータとして、式(5)のフーリエ逆変換を行うことによりウェーブレット変換計算を行う。
【0041】
以上のように行われたウェーブレット変換計算の結果は出力部38によりディスプレイ画面上に表示され、あるいは、プリンタに印刷出力される。
【0042】
図14および図15は、出力部36によるウェーブレット変換計算結果の出力の例を示すものであり、図14は、剥離タイルを測定して得られた基準信号に基づき作成したマザーウェーブレットを用いた結果を、図15は、健全タイルを測定して得られた基準信号に基づき作成したマザーウェーブレットを用いた結果を、夫々示している、また、図16は、従来との比較のため、マザーウェーブレットとして一般的なGabor関数を用いた場合の解析結果を示す。なお、図14〜図16の各図において、(a)は測定信号の時間波形を、また、(b)はウェーブレット変換結果を示す。各図(b)のウェーブレット変換結果において、横軸は時間((4)式におけるT0/N(=b))を表し、縦軸は周波数(式(4)におけるa)を表しており、色が白いほど値が大きいことを示している。なお、上述のように測定信号は接触体12を壁面上で移動させながら採取したものであるから、各図の横軸(時間軸)は壁面の診断位置に対応することになる。図14〜図16の例では、時刻T1、T2に対応する位置で剥離が発生している。
【0043】
例えば、図14〜図16のウェーブレット変換結果における時刻T1付近を比較すると、図14および図15では低周波数から高周波数の広い範囲に亘って白く表示がされている(つまり、大きな出力が得られている)のに対して、図16では、低周波数領域で白い表示が現れている。
【0044】
このような図14および図15と図16との対比からわかるように、本実施形態におけるウェーブレット変換結果の方が、従前のように既存のマザーウェーブレットを用いた場合よりも、剥離発生位置においてより広い周波数範囲で大きな出力が得られている。これは、本実施形態では、マザーウェーブレットが、診断対象である壁面から採取した基準信号を基に作成されることにより、測定信号とほぼ同じ周波数帯域を有することとなり、測定信号の周波数成分を広い周波数範囲に亘って適切に抽出できていることによる。これに対して、従来のように既存のマザーウェーブレットを用いたのでは、その周波数特性を診断対象から得られる測定信号に合致させることが難しく、測定信号から周波数成分を適切に抽出することができないのである。
【0045】
以上のように、本実施形態では、診断対象である壁面を測定して得られた信号を基にマザーウェーブレットを作成し、そのマザーウェーブレットを用いて同じ壁面についての測定信号をウェーブレット変換することにより、測定信号の周波数成分を広範囲に亘り抽出することができ、これにより、壁面剥離の有無をより正確に診断することが可能となる。
【0046】
なお、上記実施形態では、ウェーブレット変換結果を画面上やプリンタに出力し、その出力結果に基づいて目視で壁面剥離の有無を判断するものとしたが、これに限らず、例えば、各時刻におけるウェーブレット変換結果の値(例えば、ある周波数範囲に亘る積分値)が所定の閾値を越えた場合に剥離有りと判断するなど、壁面剥離の有無の判断を自動的に行うようにしてもよい。
【0047】
【発明の効果】
診断対象である壁面に適したマザーウェッブレットを用いてウェーブレット変換解析を行うことができ、これにより、壁面剥離の有無を正確に診断することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態である壁面剥離診断装置の構成図である。
【図2】マザーウェーブレット作成処理の概略を示すフローチャートである。
【図3】マザーウェーブレットを作成するための基準信号の一例の波形を示す図である。
【図4】基準信号の絶対値をとった結果を示す図である。
【図5】波形発生点以前のデータ点の値を全て0とした基準信号の波形を示す図である。
【図6】図5に示す基準信号の自己相関係数の計算結果を示す図である。
【図7】図6の自己相関関数を平滑化した結果を示す図である。
【図8】図3に示す基準信号についての採用波形Sを示す図である。
【図9】図8に示す採用波形Sの符号を反転し、時間的にも反転した波形Tを示す図である
【図10】図8に示す波形Sと図9に示す波形Tとを結合して得た波形Uを示す図である。
【図11】作成されたマザーウェーブレットの第1の例を示す図である。
【図12】作成されたマザーウェーブレットの第2の例を示す図である。
【図13】作成されたマザーウェーブレットの第3の例を示す図である。
【図14】剥離タイルを測定して得られた基準信号に基づいて作成したマザーウェーブレットを用いたウェーブレット変換計算結果を示す図である。
【図15】健全タイルを測定して得られた基準信号に基づいて作成したマザーウェーブレットを用いたウェーブレット変換計算結果を示す図である。
【図16】従前のように既存のマザーウェーブレットを用いたウェーブレット変換計算結果を示す図である。
【符号の説明】
12 接触体
14 マイクロフォン
16 信号処理部
30 増幅部
32 A/D変換部
34 マザーウェーブレット作成部
36 ウェーブレット変換部
38 出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a wavelet transform method for diagnosing wall surface peeling and a wall surface peeling diagnosis apparatus using wavelet transformation.
[0002]
[Prior art]
Conventionally, the state of peeling of wall surfaces such as tiles and concrete is diagnosed by using the gondola and scaffolding etc. to go to the inspection site, and listening and determining the sound of the impact when the wall is hit with a hammer. It is common to do it. That is, since the vibration response to impact is different between the sound wall surface and the wall surface where the separation has occurred, the operator senses the difference and diagnoses the presence or absence of the separation. For this reason, the diagnosis result is easily influenced by the intuition and skill of the worker, and it is not always possible to diagnose the presence or absence of peeling with high accuracy.
[0003]
On the other hand, for example, Patent Documents 1 and 2 disclose a technique for automatically diagnosing a peeled state by collecting impact sound on a wall surface with a microphone and processing the signal. However, in the method of striking the wall surface, the striking points must be discrete, and there is a risk that the separation that occurs between the striking points may be missed. On the other hand, Patent Document 3 collects sound generated by moving the rotating body or steel ball along the tile surface with a microphone while pressing the rotating body or steel ball against the tile on the wall, It is disclosed to perform a peeling diagnosis based on a sound collection signal.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 2000-131288
[Patent Document 2]
Japanese Patent No. 2915704 [0006]
[Patent Document 3]
Japanese Patent No. 2965762 [0007]
[Problems to be solved by the invention]
However, Patent Document 3 does not disclose how to process a continuous signal collected by a microphone to diagnose peeling. On the other hand, Patent Document 1 describes that a time-series signal for each frequency band is obtained by wavelet transform of a signal, and diagnosis of peeling is performed based on a comparison between the signal and a reference value. The wavelet transform is a technique for calculating the frequency distribution in time series, and is suitable for performing frequency analysis of a signal obtained continuously as in Patent Document 3. In order to accurately diagnose the presence or absence of separation by this wavelet transform, it is necessary to appropriately select a basis function (mother wavelet) used in the wavelet transform. However, Patent Document 1 describes that an appropriate mother wavelet is selected in accordance with a measured waveform or a phenomenon to be observed (see paragraphs 0078 to 0081 of FIG. 4 and FIG. 4). It has not been clarified at all what criteria the mother wavelet should be selected.
[0008]
The present invention has been made in view of the above points, and by performing wavelet transform analysis using a mother weblet suitable for a wall surface to be diagnosed, it is possible to accurately diagnose the presence or absence of wall surface separation. With the goal.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention measures the sound generated when the contact body is moved while being in contact with the wall surface in order to diagnose the presence or absence of peeling of the wall surface. A method for performing a wavelet transform operation,
Obtaining the measurement signal for an appropriate portion of the wall surface as a reference signal;
Creating a mother wavelet based on the acquired reference signal;
Obtaining the measurement signal for a diagnostic target portion of the wall;
With respect to the acquired measurement signals and performing wavelet transform operation, only it contains using a mother wavelet that the created,
In the step of creating the mother wavelet, a waveform generation point and a waveform end point are determined from the reference signal, and a point-symmetric waveform is generated based on the waveform of the reference signal between the waveform generation point and the waveform end point A waveform normalized by dividing the created waveform by its norm is used as a mother wavelet .
[0010]
According to the present invention, a mother wavelet is created using a measurement signal obtained from a wall surface to be diagnosed as a reference signal. For this reason, it is possible to use a mother wavelet having substantially the same frequency band as the measurement signal subjected to wavelet transform, and it is possible to appropriately extract temporal changes in the frequency distribution of the measurement signal over a wide frequency range. it can. Therefore, it is possible to accurately determine whether or not the wall surface is peeled based on the result of the wavelet transform.
[0011]
In the present invention, the method may further include a step of outputting the result of the wavelet transform operation, and may further include a step of determining the presence or absence of wall separation based on the result of the wavelet transform operation. .
[0012]
In the step of creating the mother wavelet, a waveform generation point and a waveform end point are determined from the reference signal, and a waveform that is point-symmetric based on the waveform of the reference signal between the waveform generation point and the waveform end point A waveform normalized by dividing the generated waveform by its norm may be used as the mother wavelet.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is an overall configuration diagram of a system according to an embodiment of the present invention. As shown in the figure, the system of this embodiment includes a contact body 12 made of, for example, a steel ball, attached to the tip of a support bar 10, a microphone 14 installed in the vicinity of the contact body 12, and the microphone. 14 is provided with a signal processing unit 16 for processing an output signal from 14.
[0014]
When performing wall surface peeling diagnosis, an operator grasps the support rod 10 and moves the contact body 12 along the surface of the wall surface 20 while pressing the contact body 12 against the wall surface 20 to be diagnosed. However, an automatic mechanism that moves the contact body 12 while keeping the pressing force to the wall surface 20 constant may be provided. Further, a steel ball that is the contact body 12 may be rotatably supported on the support rod 10 and rolled on the surface of the wall surface 20, or a wheel that is rotatably supported by the support rod 10 as the contact body 12. A shaped member may be used.
[0015]
The microphone 14 collects sound generated as the contact body 12 moves while being pressed against the wall surface 20 as described above, and outputs an electrical signal corresponding to the sound to the signal processing unit 16 as a measurement signal. .
[0016]
As shown in FIG. 1, the signal processing unit 16 includes an amplification unit 30, an A / D conversion unit 32, a mother wavelet creation unit 34, a wavelet conversion unit 36, an output unit 38, and the like.
[0017]
The amplification unit 30 amplifies the measurement signal output from the microphone 14, and the A / D conversion unit 32 digitizes the amplified signal and supplies it to the mother wavelet creation unit 34 and the wavelet conversion unit 36. Based on the digitized measurement signal, the mother wavelet creation unit 34 creates a mother wavelet used when the wavelet transform unit 36 performs a wavelet transform operation. The wavelet transform unit 36 uses the mother wavelet created by the mother wavelet creation unit 34 to perform wavelet transform calculation on the measurement signal for the wall surface 20 to be diagnosed. The output unit 38 displays the result of the wavelet transform calculation on a display or prints it out to a printer.
[0018]
The mother wavelet creation unit 34 and the wavelet conversion unit 36 may be implemented in software by a computer executing a program, or may be realized by a dedicated hardware circuit.
[0019]
The contents of the mother wavelet creation process by the mother wavelet creation unit 34 will be described below.
[0020]
The mother wavelet creation unit 34 uses the measurement signal of the microphone 14 when the contact body 12 is moved in an appropriate part of the wall surface 20 to be diagnosed as a signal (hereinafter referred to as a reference signal) that is a basis for creating the mother wavelet. Acquire and create a mother wavelet based on this reference signal.
[0021]
FIG. 2 is a flowchart showing an outline of processing for creating a mother wavelet from a reference signal. As shown in the figure, the process of creating the mother wavelet is as follows: (1) detection of waveform generation point for reference signal, (2) detection of waveform end point by autocorrelation, (3) between start point and end point Waveform rearrangement / inversion, etc. and (4) Waveform normalization performed. (1) Detection of waveform generation point for reference signal For example, assume that a reference signal is obtained as shown in FIG. In the figure, sampling points (hereinafter referred to as data points) by the A / D converter 32 are indicated by black circles. First, the absolute value of such a reference signal is taken, and the point at which the absolute value is maximum (absolute maximum point P) is specified (see FIG. 4). Next, in the original reference signal, a data point (point Q in FIGS. 3 and 4) whose sign changes for the first time after going back from the absolute value maximum point P is used as a waveform generation point, and data before this waveform generation point is obtained. All point values are set to 0 (see FIG. 5).
[0022]
(2) Detection of waveform end point based on autocorrelation First, an autocorrelation coefficient is calculated for a reference signal whose value before the waveform generation point is zero. FIG. 6 shows an example of the calculation result of the autocorrelation coefficient. As can be seen from this figure, the autocorrelation coefficient for the reference signal varies greatly. Therefore, the autocorrelation coefficient is smoothed. As the smoothing process, for example, a process such as setting a maximum value among a plurality of continuous data points as a representative value is performed. FIG. 7 shows the result of smoothing the autocorrelation coefficient shown in FIG. FIG. 7 shows the results when the number of data points in smoothing is 4, 10, and 20.
[0023]
Next, the waveform end point is determined based on the first data point at which the autocorrelation coefficient smoothed as described above falls below a predetermined threshold value. In the example shown in FIG. 7, for example, when the number of smoothing points is 20, the autocorrelation coefficient falls below the threshold for the first time at point R1 when the threshold is 0.2, and when the threshold is 0.1 The correlation coefficient starts at point R2 and is below the threshold. In this way, the horizontal coordinate of the point below the threshold value for the first time is x (in the example of FIG. 7, “19” for the point R1 when the average score is 20 and the threshold value is 0.2), and the time of the reference signal The x-th data point from the beginning of the waveform is the waveform end point.
[0024]
(3) A reference signal such as rearrangement or inversion of the waveform between the start point and end point is cut out between the waveform generation point and the waveform end point detected in (1) and (2), respectively, and this cut out signal waveform ( The mother wavelet is created on the basis of the adopted waveform.
[0025]
In general, the mother wavelet Ψ (x) used for wavelet analysis generally must satisfy the following admissible condition.
[Expression 1]
Figure 0004016831
[0026]
Therefore, the adopted waveform is made symmetrical by the following processes (i) and (ii) so that this admissible condition is satisfied.
(i) The data of the adopted signals is rearranged so that the temporal order is reversed, and the sign is inverted. That is, each data point of the adopted waveform is S (t i ) = a i (i = 1,..., N, N are the number of data points).
Is expressed as
Figure 0004016831
A waveform T is generated. FIG. 8 shows an adopted waveform S for the reference signal shown in FIG. 3, and FIG. 9 shows a waveform T for the adopted waveform S.
[0027]
(ii) The waveform U is obtained by combining the original adopted waveform S after the waveform T obtained in (i) above. That is,
Figure 0004016831
FIG. 10 shows a waveform U obtained from the waveforms S and T shown in FIGS. 8 and 9, respectively.
[0028]
Note that the values of the last data point T (t N ) = − a 1 of the waveform T and the first data point S (t 1 ) = a 1 of the waveform S are both “0”. Therefore, the total number of data points is (2 · N−1) instead of 2 · N.
[0029]
(4) Normalization of waveform The waveform U created in (3) above is normalized. That is, first, the formula
Figure 0004016831
To calculate the norm of the waveform U.
[0030]
Then, the mother wavelet Ψ is completed by dividing the waveform U by the norm and normalizing it. That is,
[Equation 3]
Figure 0004016831
[0031]
FIGS. 11 to 13 show examples of waveforms of the mother wavelet Ψ created based on reference signals collected from three types of wall surfaces. In each figure, (a) shows an example in which the threshold for determining the waveform end point in the procedure (2) is 0.1, and (b) shows an example in which the threshold is 0.2. ing.
[0032]
Next, the contents of the wavelet transform calculation process performed by the wavelet transform unit 36 using the mother wavelet Ψ created as described above will be described.
[0033]
Wavelet transform is [Formula 4]
Figure 0004016831
Defined by
[0034]
Here, f (t) is a signal to be analyzed (analysis signal). (W Ψ f) on the left side is called a wavelet coefficient, and is a coefficient that gives an index indicating the degree of similarity between the mother wavelet Ψ ((x−b) / a) and the analysis signal f (x). On the other hand, the parameter a on the right side is a scaling parameter for performing frequency localization. This scaling parameter a represents the degree of expansion / contraction of the mother wavelet in the time direction, and determines the frequency of the mother wavelet. The parameter b is a trans parameter for performing time localization. The analysis signal f (x) can be developed on the time-frequency plane by variously changing the values of the parameters a and b corresponding to the frequency and time, respectively.
[0035]
In the present embodiment, the scale parameter a is changed in the range of 0 to 10000 Hz in increments of 20 Hz, and the transformer parameter b is changed in increments of 0.005 ms.
[0036]
In the conventional wavelet transform calculation method, since the numerical integration of the above equation is executed for each set of two parameters (b, a), it takes a lot of calculation time. On the other hand, in the present embodiment, the calculation time is shortened by performing the calculation in the following procedure.
[0037]
The above equation (1) representing the definition of the wavelet transform is
[Equation 5]
Figure 0004016831
Using the relationship of
Figure 0004016831
It can be expressed as. However,
[Expression 7]
Figure 0004016831
If x = t−b,
[Equation 8]
Figure 0004016831
Therefore,
[Equation 9]
Figure 0004016831
It becomes.
[0038]
Assuming that the function f (t) is periodic in the interval [0, T 0 ],
[Expression 10]
Figure 0004016831
Also,
[Expression 11]
Figure 0004016831
Therefore,
[Expression 12]
Figure 0004016831
here,
[Formula 13]
Figure 0004016831
It becomes.
[0039]
Dividing the interval [0, T 0 ] into N equal parts (where N is an even number, and generally is a power of 2 considering FFT)
[Expression 14]
Figure 0004016831
Also for the analytic signal f (t), discrete points
Figure 0004016831
If given in
[Expression 16]
Figure 0004016831
Therefore,
[Expression 17]
Figure 0004016831
therefore,
[Expression 18]
Figure 0004016831
[0040]
The above equation (4) is an equation representing FFT (Fast Fourier Transform), and the above equation (5) is an equation representing inverse FFT. Therefore, ak is calculated by the fast Fourier transform using equation (4), and then wavelet transform calculation is performed by performing the inverse Fourier transform of equation (5) using a as a parameter.
[0041]
The result of the wavelet transform calculation performed as described above is displayed on the display screen by the output unit 38 or printed out to a printer.
[0042]
14 and 15 show an example of the output of the wavelet transform calculation result by the output unit 36, and FIG. 14 shows the result of using the mother wavelet created based on the reference signal obtained by measuring the peeling tile. FIG. 15 shows the results of using the mother wavelet created based on the reference signal obtained by measuring the sound tile, and FIG. 16 shows the mother wavelet for comparison with the conventional case. The analysis result at the time of using a general Gabor function is shown. 14 to 16, (a) shows the time waveform of the measurement signal, and (b) shows the wavelet transform result. In the wavelet transform results of each figure (b), the horizontal axis represents time (T 0 / N (= b) in the equation (4)), and the vertical axis represents the frequency (a in the equation (4)). The whiter the color, the higher the value. Since the measurement signal is collected while moving the contact body 12 on the wall surface as described above, the horizontal axis (time axis) in each figure corresponds to the diagnostic position of the wall surface. In the examples of FIGS. 14 to 16, peeling occurs at positions corresponding to times T1 and T2.
[0043]
For example, when the vicinity of time T1 in the wavelet transform results of FIGS. 14 to 16 is compared, in FIGS. 14 and 15, white is displayed over a wide range from a low frequency to a high frequency (that is, a large output is obtained). In contrast, in FIG. 16, a white display appears in the low frequency region.
[0044]
As can be seen from the comparison between FIG. 14 and FIG. 15 and FIG. 16, the wavelet transform result in the present embodiment is more at the separation occurrence position than in the case where the existing mother wavelet is used as before. A large output is obtained in a wide frequency range. In this embodiment, the mother wavelet is created based on the reference signal collected from the wall surface to be diagnosed, so that it has substantially the same frequency band as the measurement signal, and the frequency component of the measurement signal is wide. This is because the signal can be appropriately extracted over the frequency range. On the other hand, if the existing mother wavelet is used as in the prior art, it is difficult to match the frequency characteristic with the measurement signal obtained from the diagnosis target, and the frequency component cannot be appropriately extracted from the measurement signal. It is.
[0045]
As described above, in this embodiment, a mother wavelet is created based on a signal obtained by measuring a wall surface to be diagnosed, and the measurement signal for the same wall surface is wavelet transformed using the mother wavelet. The frequency component of the measurement signal can be extracted over a wide range, and this makes it possible to more accurately diagnose the presence or absence of wall separation.
[0046]
In the above embodiment, the wavelet transformation result is output to a screen or a printer, and the presence / absence of wall surface peeling is visually determined based on the output result. However, the present invention is not limited to this. For example, the wavelet at each time The determination of the presence or absence of wall surface peeling may be automatically performed, for example, when the value of the conversion result (for example, the integrated value over a certain frequency range) exceeds a predetermined threshold, it is determined that there is peeling.
[0047]
【The invention's effect】
Wavelet transform analysis can be performed using a mother weblet suitable for the wall surface to be diagnosed, and this makes it possible to accurately diagnose the presence or absence of wall surface separation.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a wall surface peeling diagnostic apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an outline of a mother wavelet creation process.
FIG. 3 is a diagram illustrating an example of a waveform of a reference signal for creating a mother wavelet.
FIG. 4 is a diagram showing a result of taking an absolute value of a reference signal.
FIG. 5 is a diagram illustrating a waveform of a reference signal in which all data point values before a waveform generation point are set to zero.
6 is a diagram showing a calculation result of an autocorrelation coefficient of the reference signal shown in FIG.
7 is a diagram showing the result of smoothing the autocorrelation function of FIG. 6; FIG.
8 is a diagram showing an adopted waveform S for the reference signal shown in FIG. 3;
9 is a diagram showing a waveform T in which the sign of the adopted waveform S shown in FIG. 8 is inverted and temporally inverted. FIG. 10 is a combination of the waveform S shown in FIG. 8 and the waveform T shown in FIG. It is a figure which shows the waveform U obtained by doing.
FIG. 11 is a diagram illustrating a first example of a created mother wavelet.
FIG. 12 is a diagram illustrating a second example of the created mother wavelet.
FIG. 13 is a diagram illustrating a third example of the created mother wavelet.
FIG. 14 is a diagram illustrating a wavelet transform calculation result using a mother wavelet created based on a reference signal obtained by measuring a peeled tile.
FIG. 15 is a diagram illustrating a wavelet transform calculation result using a mother wavelet created based on a reference signal obtained by measuring a sound tile.
FIG. 16 is a diagram illustrating a wavelet transform calculation result using an existing mother wavelet as before.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 12 Contact body 14 Microphone 16 Signal processing part 30 Amplification part 32 A / D conversion part 34 Mother wavelet creation part 36 Wavelet conversion part 38 Output part

Claims (6)

壁面の剥離の有無を診断するために、接触体を当該壁面に接触させながら移動させた際に発生する音を測定し、その測定信号に対してウェーブレット変換演算を行う方法であって、
前記壁面の適宜な部分についての前記測定信号を基準信号として取得するステップと、
該取得した基準信号に基づいてマザーウェーブレットを作成するステップと、
前記壁面の診断対象部分についての前記測定信号を取得するステップと、
該取得した測定信号に対して、前記作成したマザーウェーブレットを用いてウェーブレット変換演算を行うステップと、を含み、
前記マザーウェーブレットを作成するステップでは、前記基準信号から波形発生点および波形終了点を決定し、それら波形発生点および波形終了点の間での前記基準信号の波形に基づいて点対称な波形を作成し、該作成した波形をそのノルムで割ることにより正規化した波形をマザーウェーブレットとすることを特徴とする壁面剥離診断のためのウェーブレット変換方法。
In order to diagnose the presence or absence of peeling of the wall surface, a sound generated when the contact body is moved while contacting the wall surface is measured, and a wavelet transform operation is performed on the measurement signal,
Obtaining the measurement signal for an appropriate portion of the wall surface as a reference signal;
Creating a mother wavelet based on the acquired reference signal;
Obtaining the measurement signal for a diagnostic target portion of the wall;
With respect to the acquired measurement signals and performing wavelet transform operation, only it contains using a mother wavelet that the created,
In the step of creating the mother wavelet, a waveform generation point and a waveform end point are determined from the reference signal, and a point-symmetric waveform is generated based on the waveform of the reference signal between the waveform generation point and the waveform end point A wavelet transform method for wall surface peeling diagnosis , wherein a waveform normalized by dividing the generated waveform by its norm is used as a mother wavelet .
請求項1記載の方法において、前記ウェーブレット変換演算の結果を出力するステップを更に含むことを特徴とする方法。  The method of claim 1, further comprising the step of outputting a result of the wavelet transform operation. 請求項1または2記載の方法において、前記ウェーブレット変換演算の結果に基づいて壁面剥離の有無を判定するステップを更に含むことを特徴とする方法。  3. The method according to claim 1, further comprising the step of determining the presence or absence of wall surface peeling based on the result of the wavelet transform operation. 壁面に接触体を接触させながら当該接触体を移動させた際に発生する音の測定信号に基づいて当該壁面の剥離の有無を診断するために用いられる装置であって、
前記壁面の適宜な部分についての前記測定信号を基準信号として取得する手段と、
該取得した基準信号に基づいてマザーウェーブレットを作成する手段と、
前記壁面の被診断部分についての前記測定信号を取得する手段と、
該取得した測定信号に対して、前記作成したマザーウェーブレットを用いて、ウェーブレット変換計算を行う手段と、を備え、
前記マザーウェーブレットを作成する手段は、前記基準信号から波形発生点および波形終了点を決定し、それら波形発生点および波形終了点の間での前記基準信号の波形に基づいて点対称な波形を作成し、該作成した波形をそのノルムで割ることにより正規化した波形をマザーウェーブレットとすることを特徴とする壁面剥離診断用装置。
An apparatus used for diagnosing the presence or absence of peeling of the wall surface based on a measurement signal of sound generated when the contact body is moved while the contact body is in contact with the wall surface,
Means for obtaining, as a reference signal, the measurement signal for an appropriate portion of the wall;
Means for creating a mother wavelet based on the acquired reference signal;
Means for obtaining the measurement signal for the diagnostic part of the wall surface;
A means for performing wavelet transform calculation on the acquired measurement signal using the created mother wavelet,
The means for generating the mother wavelet determines a waveform generation point and a waveform end point from the reference signal, and generates a point-symmetric waveform based on the waveform of the reference signal between the waveform generation point and the waveform end point. A wall peeling diagnostic apparatus characterized in that a waveform normalized by dividing the generated waveform by its norm is used as a mother wavelet .
請求項記載の装置において、前記ウェーブレット変換演算の結果を出力する手段を更に備えることを特徴とする装置。5. The apparatus according to claim 4 , further comprising means for outputting a result of the wavelet transform operation. 請求項または記載の装置において、前記ウェーブレット変換演算の結果に基づいて壁面剥離の有無を判定する手段を更に備えることを特徴とする装置。Apparatus according to claim 4 or 5, wherein, device characterized by further comprising means for determining the presence or absence of wall peeling based on the wavelet transform operation result.
JP2002375776A 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis Expired - Fee Related JP4016831B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002375776A JP4016831B2 (en) 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002375776A JP4016831B2 (en) 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis

Publications (2)

Publication Number Publication Date
JP2004205385A JP2004205385A (en) 2004-07-22
JP4016831B2 true JP4016831B2 (en) 2007-12-05

Family

ID=32813406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002375776A Expired - Fee Related JP4016831B2 (en) 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis

Country Status (1)

Country Link
JP (1) JP4016831B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5063005B2 (en) * 2006-02-01 2012-10-31 株式会社ジェイテクト Sound or vibration abnormality diagnosis method and sound or vibration abnormality diagnosis device
JP4942353B2 (en) * 2006-02-01 2012-05-30 株式会社ジェイテクト Sound or vibration analysis method and sound or vibration analysis apparatus
JP4952054B2 (en) * 2006-05-19 2012-06-13 株式会社大林組 Tile adhesion surface peeling diagnosis method, tile adhesion surface peeling diagnosis device
WO2016120959A1 (en) * 2015-01-26 2016-08-04 株式会社島津製作所 Noise level estimation method, measurement data processing device, and program for measurement data processing

Also Published As

Publication number Publication date
JP2004205385A (en) 2004-07-22

Similar Documents

Publication Publication Date Title
US20060244744A1 (en) Movement analysis display apparatus and movement analyzing method
WO2013013646A2 (en) Device and method for enhancing accuracy of recognizing fetus heart rate acceleration data
JP3958538B2 (en) Concrete hammering inspection method and concrete hammering inspection apparatus
WO2010130144A1 (en) System, device for structural damage detection and method for structural damage detection
TW201300742A (en) Abnormal sound diagnostic equipment
US8942939B2 (en) Real-time detection system and the method thereof
JP2006322947A (en) Vibration peak value extraction method, and peak value extractor for machinery facility
CN106053074B (en) Rolling bearing sound signal fault feature extraction method based on STFT and rotational inertia entropy
JP6103899B2 (en) Failure location estimation device
JP5718126B2 (en) Fine vibration feature value calculation apparatus, fine vibration feature value calculation method, and program
JPH10288639A (en) Apparatus and method for monitoring malfunction of electric apparatus
JP4016831B2 (en) Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis
JP6038338B2 (en) Ultrasonic diagnostic apparatus, ultrasonic diagnostic method, and ultrasonic diagnostic program
JP3438525B2 (en) Hammer judgment device
JP4598809B2 (en) Soundness diagnosis method by sound analysis
JP6811002B2 (en) Crack angle determination device and crack angle determination method
JP5077847B2 (en) Reverberation time estimation apparatus and reverberation time estimation method
JP2003130724A (en) Evaluation apparatus
JP3648023B2 (en) Data conversion apparatus and program storage medium
JP2003202276A (en) Abnormality diagnosing method of mechanical facility or appliance
CN116519112A (en) Ultrasonic tool bit vibration energy efficiency evaluation method based on laser vibration measurement
JP4003086B2 (en) Evaluation method and apparatus
KR102059685B1 (en) Apparatus and method for estimating heart beat using photo-plethysmogram
JP3561151B2 (en) Abnormality diagnosis device and abnormality diagnosis method
JPH09257765A (en) Apparatus for diagnosing peeling of wall surface

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051118

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4016831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140928

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees