JP2018200217A - Rattling sound inspection device and rattling sound inspection method - Google Patents
Rattling sound inspection device and rattling sound inspection method Download PDFInfo
- Publication number
- JP2018200217A JP2018200217A JP2017104733A JP2017104733A JP2018200217A JP 2018200217 A JP2018200217 A JP 2018200217A JP 2017104733 A JP2017104733 A JP 2017104733A JP 2017104733 A JP2017104733 A JP 2017104733A JP 2018200217 A JP2018200217 A JP 2018200217A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- hitting
- detecting
- generated
- hit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
Description
本発明は、コンクリートやアスファルト等からなる構造物に対して打音検査を行うための装置や方法に関するものである。 The present invention relates to an apparatus and method for performing a hammering inspection on a structure made of concrete, asphalt, or the like.
これまで、道路や橋げた等において、建築素材であるコンクリート等の損傷具合を検査するために人手による打音検査がなされているが、近年においては、特許文献１に示されるように、本検査を行うための装置が開発されている。
So far, in order to inspect the damage condition of concrete, which is a building material, on roads and bridges, etc., manual hammering inspection has been performed. However, in recent years, as shown in
ここで、特許文献１に示された打音検査記録装置の機能を見ると、打音検出部１１２０は、所定の周波数範囲における振幅スペクトルのピーク値がしきい値以上になった際に、打撃の存在を認識する(段落［００４８］)。また、本装置に適用された打音の評価手法として、１２００〜２０００Ｈｚにおける振幅スペクトルの平均値と５００〜７００Ｈｚにおける振幅スペクトルの最大値との比を評価値とした実験が開示されている(段落［００６６］)。
Here, looking at the function of the sound inspection test recording device disclosed in
しかし、特許文献１に開示された打音検査記録装置による上記のような打音検出法や打音評価法では、打撃位置と打音測定位置との距離やノイズの大きさなどにより、必ずしも高い検査精度が得られないという問題がある。
However, in the above-described sound detection method and sound evaluation method using the sound inspection test recording device disclosed in
本発明は、このような問題を解決するためになされたもので、高い検査精度を実現しうる打音検査装置及び打音検査方法を提供することを目的とする。 The present invention has been made to solve such a problem, and an object thereof is to provide a hammering inspection apparatus and a hammering inspection method capable of realizing high inspection accuracy.
上記課題を解決するため、本発明は、被検体に対する打撃位置を検知する位置検知手段と、打撃により生じる音を検知する音検知手段と、音検知手段により検知された音を示す音信号を、位置検知手段で検知された位置に応じて補正する補正手段と、位置検知手段により生成された打撃位置を示す位置信号と、補正手段により補正された音信号に応じて、被検体の各位置における不良の有無を表示する表示手段を備えた打音検査装置を提供する。 In order to solve the above problems, the present invention provides a position detection means for detecting a hit position on a subject, a sound detection means for detecting a sound generated by the hit, and a sound signal indicating a sound detected by the sound detection means, Correction means for correcting according to the position detected by the position detection means, a position signal indicating the striking position generated by the position detection means, and a sound signal corrected by the correction means at each position of the subject There is provided a sound hitting inspection apparatus provided with a display means for displaying the presence or absence of defects.
また、上記課題を解決するため、本発明は、被検体に対する打撃位置を検知する位置検知手段と、打撃により生じる音を検知する音検知手段と、位置検知手段により検知された打撃位置を示す位置信号と、打撃により生じた音を検知することにより音検知手段により生成された音信号とを対応づけることにより生成される打音データを保存する記憶手段と、打音データの異常度を算出する異常度算出手段と、指定された範囲内における打撃により得られた複数の打音データを記憶手段から読み出し、読み出された打音データ毎の異常度を異常度算出手段に算出させて平滑化する平滑化手段と、位置検知手段により生成された打撃位置を示す位置信号と、平滑化手段により平滑化された異常度に応じて、被検体の各位置における不良の有無を表示する表示手段を備えた打音検査装置を提供する。 In order to solve the above-mentioned problem, the present invention provides a position detection means for detecting a hit position on a subject, a sound detection means for detecting a sound generated by the hit, and a position indicating the hit position detected by the position detection means. Storage means for storing the hitting data generated by associating the signal with the sound signal generated by the sound detecting means by detecting the sound generated by the hitting, and calculating the degree of abnormality of the hitting data Anomaly degree calculating means and a plurality of hitting data obtained by hitting within a specified range are read from the storage means, and the degree of abnormality for each read hitting data is calculated and smoothed by the anomaly degree calculating means. The presence or absence of a defect at each position of the subject according to the position signal indicating the striking position generated by the smoothing means, the position detection means, and the degree of abnormality smoothed by the smoothing means. Providing tapping sound inspection apparatus having display means for.
また、上記課題を解決するため、本発明は、被検体に対する打撃位置を検知する位置検知手段と、打撃により生じる音を検知する音検知手段と、位置検知手段により検知された打撃位置を示す位置信号と、打撃により生じた音を検知することにより音検知手段により生成された音信号とを対応づけることにより生成される打音データを保存する記憶手段と、ある時刻に被検体へ打撃がなされた確からしさを示す指標を算出すると共に、上記時刻に打音が発生した確からしさを示す指標を算出し、二つの上記指標の積がしきい値を超えたか否かを判定する判定手段と、判定手段により上記積が上記しきい値を超えたと判断されたときに、上記打音データを記憶手段に保存させる制御手段と、記憶手段に保存された打音データに応じて、被検体の各位置における不良の有無を表示する表示手段を備えた打音検査装置を提供する。 In order to solve the above-mentioned problem, the present invention provides a position detection means for detecting a hit position on a subject, a sound detection means for detecting a sound generated by the hit, and a position indicating the hit position detected by the position detection means. The subject is hit at a certain time and storage means for storing the hitting data generated by associating the signal with the sound signal generated by the sound detecting means by detecting the sound generated by the hitting. Calculating an index indicating the certainty, calculating an index indicating the certainty that the hitting sound occurred at the time, and determining whether or not the product of the two indices exceeds a threshold value; When the determination unit determines that the product has exceeded the threshold value, the control unit causes the storage unit to store the hitting data, and the subject according to the hitting data stored in the storage unit Providing tapping sound inspection apparatus having a display means for displaying the presence or absence of a failure in position.
また、上記課題を解決するため、本発明は、被検体に対する打撃位置を検知すると共に、打撃により生じる音を検知する第一のステップと、第一のステップで検知された音を示す音信号を、第一のステップで検知された打撃位置に応じて補正する第二のステップと、打撃位置を示す位置信号と、第二のステップで補正された音信号に基づいて、被検体の各位置における不良の有無を表示する第三のステップを有する打音検査方法を提供する。 In order to solve the above-mentioned problem, the present invention detects a striking position on a subject and detects a sound generated by the striking, and a sound signal indicating the sound detected in the first step. Based on the second step to be corrected according to the hit position detected in the first step, the position signal indicating the hit position, and the sound signal corrected in the second step, A hammering inspection method having a third step of displaying the presence or absence of a defect is provided.
また、上記課題を解決するため、本発明は、被検体に対する打撃位置を検知すると共に、打撃により生じる音を検知する第一のステップと、第一のステップで検知された打撃位置を示す位置信号と打撃により生じる音を示す音信号とを対応づけることにより生成される打音データを記憶手段に保存する第二のステップと、指定された範囲内における打撃により得られた複数の打音データを記憶手段から読み出し、読み出された音信号毎の異常度を算出して平滑化する第四のステップと、上記位置信号と第四のステップで平滑化された異常度に基づいて、被検体の各位置における不良の有無を表示する第五のステップとを有する打音検査方法を提供する。 In order to solve the above-mentioned problem, the present invention detects a striking position on a subject and detects a sound generated by the striking, and a position signal indicating the striking position detected in the first step. And a second step of storing in the storage means the hitting sound data generated by associating the sound signal indicating the sound generated by the hitting and a plurality of hitting sound data obtained by hitting within the specified range. Based on the fourth step of reading out from the storage means and calculating and smoothing the degree of abnormality for each read sound signal, and on the position signal and the degree of abnormality smoothed in the fourth step, And a fifth step of displaying the presence / absence of a defect at each position.
また、上記課題を解決するため、本発明は、被検体に対する打撃位置を検知すると共に、打撃により生じる音を検知する第一のステップと、ある時刻に被検体へ打撃がなされた確からしさを示す指標を算出すると共に、上記時刻に打音が発生した確からしさを示す指標を算出し、二つの指標の積がしきい値を超えたか否かを判定する第二のステップと、第二のステップにおいて上記積がしきい値を超えたと判断されたときに、第一のステップで検知された打撃位置を示す位置信号と第一のステップで検知された音を示す音信号とを対応づけることにより生成される打音データを、記憶手段に保存する第三のステップと、第三のステップで記憶手段に保存された打音データに基づいて、被検体の各位置における不良の有無を表示する第四のステップを有する打音検査方法を提供する。 In order to solve the above-mentioned problem, the present invention shows the first step of detecting the hit position on the subject and detecting the sound generated by the hit, and the probability that the subject was hit at a certain time. A second step of calculating an index, calculating an index indicating the probability that the hitting sound has occurred at the time, and determining whether the product of the two indexes exceeds a threshold; When it is determined that the product exceeds the threshold value, the position signal indicating the striking position detected in the first step and the sound signal indicating the sound detected in the first step are associated with each other. A third step of storing the generated hitting data in the storage means and a second step of displaying the presence or absence of a defect at each position of the subject based on the hitting data stored in the storage means in the third step. Four steps It provides a hammering sound inspection method having flop.
本発明によれば、高い検査精度を実現しうる打音検査装置及び打音検査方法を提供することができる。 According to the present invention, it is possible to provide a hammering inspection apparatus and a hammering inspection method that can realize high inspection accuracy.
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same reference numerals indicate the same or corresponding parts.
［実施の形態１］
図１は、本発明の実施の形態１に係る打音検査装置１の構成を示すブロック図である。図１に示されるように、本発明の実施の形態１に係る打音検査装置１は、バス２と、それぞれバス２に接続された、位置検知部３、音検知部４、補正部５、表示部６、操作部７、及び記憶部８を備える。
[Embodiment 1]
FIG. 1 is a block diagram showing a configuration of a
図２は、本発明の実施の形態１に係る打音検査方法を示すフローチャートである。以下において、図２を参照しつつ、本発明の実施の形態１に係る打音検査方法を、図１に示された打音検査装置１を用いて実現する場合を例にとって詳しく説明する。なお、図２に示された打音検査方法は、図１に示された打音検査装置１を用いる場合に限られず、広く適用できることは言うまでもない。
FIG. 2 is a flowchart showing the sound hitting inspection method according to
ステップＳ１において、位置検知部３は道路や橋桁等における建築素材であるコンクリート等の被検体に対する打撃位置を検知する。本検知は、例えば、レーザーによる距離計測装置(レーザーレンジファインダー：Laser Range Finder)を用いて、被検体の表面と平行な面(計測平面)上をレーザーで常時スキャンし、ハンマーなどの打音検査器が計測平面を横切った位置を記録することにより実現される。なお、当該位置が記録された時刻も同時に記録してもよい。 In step S <b> 1, the position detection unit 3 detects an impact position on a subject such as concrete as a building material on a road or a bridge girder. For this detection, for example, a laser distance measurement device (Laser Range Finder) is used to constantly scan a surface (measurement plane) parallel to the surface of the subject with a laser and perform hammering inspections such as a hammer. This is accomplished by recording the position of the instrument across the measurement plane. Note that the time when the position is recorded may be recorded at the same time.
また、音検知部４は被検体に対する当該打撃により被検体から生じる音を検知する。本検知は、例えば、コンクリート等の被検体に接触させた振動センサ(マイクロフォン)を用いて、被検体に生じる振動を録音することにより実現される。
In addition, the
次に、ステップＳ２において、補正部５は、ステップＳ１で検知された音を示す音信号を、ステップＳ１で検知された打撃位置に応じて補正する。以下において、本補正の方法を詳しく説明する。
Next, in step S2, the
位置検知部３の振動センサによって取得された打音は、仮に同じ力で打撃していたとしても、打撃位置が打音検査装置１から遠く離れれば離れるほど減衰により振幅が小さくなる。そのため、打音により被検体の状態を解析するに際しては、打撃位置と打音検査装置１の間の距離による影響を除外すべく、音検知部４で得られた音信号(打音の振幅)を補正部５により補正する。なお、補正された音信号は、位置検知部３により検知された打撃位置を示す位置信号と対応づけて記憶部８に記憶される。
Even if the hitting sound acquired by the vibration sensor of the position detection unit 3 is hit with the same force, the amplitude becomes smaller due to attenuation as the hitting position is further away from the
具体的には、打音検査装置１は、音検知部４により音信号を取得すると同時に、位置検知部３により打撃位置を示す位置信号を取得するため、補正部５は位置情報を使って音信号を補正する。より具体的には、打音の振幅は打撃位置と振動センサの距離ｒに反比例すると仮定し、距離ｒに比例する値(すなわち、ｋを任意の定数としてｋ・ｒ)を音信号に乗ずることにより音信号を補正する。
Specifically, since the
ここで、本補正のより進んだ方法として、周波数ごとに比例定数ｋを変えることも考えられる。具体的には、音の信号をフーリエ変換し、周波数をいくつかのブロックに分ける。そして、ブロックごとに補正定数kiを決めて、周波数成分にブロックごとに補正定数kiを乗じる。その後、逆フーリエ変換を行って時間領域の音信号に戻す。このような補正を行うことにより、実際は高い周波数成分ほど減衰率が大きいので、それに応じた細やかな補正が可能になる。 Here, as a more advanced method of this correction, it is conceivable to change the proportionality constant k for each frequency. Specifically, the sound signal is Fourier transformed to divide the frequency into several blocks. Then, a correction constant ki is determined for each block, and the frequency component is multiplied by the correction constant ki for each block. Thereafter, inverse Fourier transform is performed to return the sound signal in the time domain. By performing such correction, the higher the frequency component, the higher the attenuation factor, and therefore it becomes possible to make fine corrections accordingly.
次に、ステップＳ３において、表示部６はユーザによる操作部７の操作に応じて、位置信号とステップＳ２で補正された音信号に基づいて、被検体の各位置における不良の有無を表示する。ここで例えば、表示部６は、ユーザ(検査者)に検査結果を可視化するため、図３に示されたコンター図を表示する。図３に示されるように、本コンター図は横軸が被検体の水平方向の距離、縦軸が被検体の鉛直方向の距離を示し、白い部分ほど補正後の音信号の平均値からのずれが大きいことを示している。従って、検査者にとっては、あるしきい値を超える上記ずれを有する部分ＤＦにおいて被検体に異常が生じていることを容易に認識することができる。
Next, in step S3, the
なお、上記の平均値は、記憶部８に記憶された全ての補正後の音信号に基づいて算出される。
The average value is calculated based on all corrected sound signals stored in the
以上より、本発明の実施の形態１に係る打音検査装置及び打音検査方法によれば、検知された音信号を打撃位置に応じて補正した上で音信号の異常検出を行うため、従来より高い精度で被検体の打音検査を実施することができる。
As described above, according to the sound-inspecting device and sound-inspecting method according to
また、単純な補正式を用いて上記補正を行い、補正処理に要する計算量を小さくすることにより、リアルタイム処理を実現することができる。 Also, real-time processing can be realized by performing the above correction using a simple correction formula and reducing the amount of calculation required for the correction processing.
［実施の形態２］
図４は、本発明の実施の形態２に係る打音検査装置１０の構成を示すブロック図である。図４に示されるように、本発明の実施の形態２に係る打音検査装置１０は、バス２と、それぞれバス２に接続された、位置検知部３、音検知部４、補正部５、記憶部１１、異常度算出部１２、平滑化部１３、表示部６、及び操作部７を備える。
[Embodiment 2]
FIG. 4 is a block diagram showing the configuration of the
図５は、本発明の実施の形態２に係る打音検査方法を示すフローチャートである。以下において、図５を参照しつつ、本発明の実施の形態２に係る打音検査方法を、図４に示された打音検査装置１０を用いて実現する場合を例にとって詳しく説明する。なお、図５に示された打音検査方法は、図４に示された打音検査装置１０を用いる場合に限られず、広く適用できることは言うまでもない。
FIG. 5 is a flowchart showing a sound hitting inspection method according to
ステップＳ１１は、図２に示されたステップＳ１と同様であるため説明を省略する。次に、ステップＳ１２においては、ステップＳ１１で検知された打撃位置を示す位置信号とステップＳ１１で検知された音を示す音信号とを対応づけることにより生成される打音データを記憶部１１に保存する。
Step S11 is the same as step S1 shown in FIG. Next, in step S12, the hitting data generated by associating the position signal indicating the hitting position detected in step S11 with the sound signal indicating the sound detected in step S11 is stored in the
次に、ステップＳ１３においては、異常度算出部１２は、指定された範囲内における打撃により得られた複数の打音データを記憶部１１から読み出し、読み出された音信号毎の異常度を算出し、平滑化部１３は算出された異常度を平滑化する。以下において、異常度算出部１２による上記異常度の算出と、平滑化部１３による上記平滑化の方法について詳しく説明する。
Next, in step S <b> 13, the abnormality
打音の異常検出においては、収集した打音データの大部分が正常であると仮定し、正常な打音モデルを学習する。そして、学習した正常打音モデルから逸脱した打音を異常として検出する。 In the detection of an abnormality in the hitting sound, it is assumed that most of the collected hitting sound data is normal, and a normal hitting sound model is learned. A hitting sound deviating from the learned normal hitting model is detected as an abnormality.
ここで、学習処理の流れは以下のようになる。すなわち、前処理として打音データを切り出し、切り出した打音データに対して補正部５により上記補正を施した上で、第一の手順として打音特徴量を抽出し、第二の手順として主成分分析を行い、第三の手順として正常部分空間の形成を行う。
Here, the flow of the learning process is as follows. That is, the hitting sound data is cut out as preprocessing, and the
また、異常検知処理の流れは以下のようになる。すなわち、第四の手順として、上記のように学習された正常部分空間を用いて、正常部分空間の直交補空間への射影に基づく異常検知指標を算出し、第五の手順として異常の有無を可視化する。以下において、これらの各手順につき詳しく説明する。 The flow of the abnormality detection process is as follows. That is, as a fourth procedure, using the normal subspace learned as described above, an abnormality detection index based on the projection of the normal subspace onto the orthogonal complement space is calculated, and as a fifth procedure, whether there is an abnormality is calculated. Visualize. Hereinafter, each of these procedures will be described in detail.
第一の手順における打音の特徴量としては、例えばフーリエ局所自己相関特徴を用いることができ、それ以外にも打音に対して短時間フーリエ変換をして得られたスペクトルに対してフィルタバンク処理を行い、次元削減したものを用いることができる。なお、フィルタバンク処理としては、公知のメルフィルタバンクや一様フィルタバンクを用いればよい。 For example, a Fourier local autocorrelation feature can be used as the feature value of the hitting sound in the first procedure. In addition, a filter bank is used for a spectrum obtained by performing a short-time Fourier transform on the hitting sound. Processed and dimension-reduced ones can be used. As the filter bank processing, a known mel filter bank or uniform filter bank may be used.
ここで、切り出した打音データのサンプル数をＮ、全次元数をＤとして、各打音の特徴量を示す特徴ベクトルｘn(ｎは１以上Ｎ以下の整数)を実数成分のＤ次元列ベクトルを用いて表した上で、本特徴ベクトルに対する解析を行う。 Here, the number of samples of the extracted hitting data is N, the total number of dimensions is D, and a feature vector x n (n is an integer between 1 and N) indicating the feature value of each hitting sound is a D-dimensional sequence of real number components. After expressing using the vector, the analysis is performed on the feature vector.
次に、上記第二の手順について説明する。正常な打音はその全サンプルの中で出現頻度が高いことから、生成された特徴ベクトルは特徴空間内で、ある限定された領域に集中して分布することになる。そこで、そのような分布を部分空間法により近似し、正常部分空間を形成する。具体的には、特徴ベクトルｘnに対して、主成分分析を適用して正常部分空間を形成する。 Next, the second procedure will be described. Since a normal hitting sound has a high frequency of appearance in all the samples, the generated feature vectors are concentrated and distributed in a limited area in the feature space. Therefore, such a distribution is approximated by a subspace method to form a normal subspace. Specifically, a normal subspace is formed by applying principal component analysis to the feature vector xn .
ここで、特徴ベクトルｘnの自己相関行列Ｒxは、以下の式により表すことができる。 Here, the autocorrelation matrix R x of the feature vector x n can be expressed by the following equation.
このとき、上記の主成分分析では、上記自己相関行列Ｒxの固有値問題、すなわち次式を解くことにより、正常部分空間を張る基底ベクトルを得る。なお、式(２)においてＵは固有ベクトルｕを列とする行列を意味し、Λは固有値を対角要素とする対角行列を意味する。 At this time, in the above principal component analysis, the eigenvalue problem of the autocorrelation matrix R x , that is, the basis vector spanning the normal subspace is obtained by solving the following equation. In Equation (2), U means a matrix having eigenvectors u as columns, and Λ means a diagonal matrix having eigenvalues as diagonal elements.
次に、上記第三の手順について説明する。正常部分空間の次元数Ｋは累積寄与率ηKにより決定し、Ｃを任意の定数としたとき、累積寄与率ηKが定数Ｃとなる次元までの固有ベクトルｕ1〜ｕKにより張られる空間を正常部分空間とする。上記のように正常な打音は特徴空間内のある限定された領域に集中して分布するので、特徴ベクトルの全次元数Ｄよりも、この部分空間の次元数Ｋはより低い次元で表現されるので、ノイズや測定誤差などの外乱に頑健になる。 Next, the third procedure will be described. The dimension number K of the normal subspace is determined by the cumulative contribution rate η K , and when C is an arbitrary constant, the space spanned by the eigenvectors u 1 to u K up to the dimension where the cumulative contribution rate η K becomes the constant C Normal subspace. As described above, normal hit sounds are concentrated and distributed in a limited area in the feature space. Therefore, the dimension number K of this subspace is expressed in a lower dimension than the total dimension number D of the feature vector. Therefore, it becomes robust against disturbances such as noise and measurement errors.
次に、上記第四の手順について説明する。上記のような方法により得られた正常部分空間を用いて、特徴ベクトルの正常部分空間からの逸脱度を異常検知指標とする。ここで、次式(３)で表される主成分直交基底行列ＵKを用いると、正常部分空間への射影子Ｐは式(４)で示される。 Next, the fourth procedure will be described. Using the normal subspace obtained by the above method, the degree of deviation of the feature vector from the normal subspace is used as an abnormality detection index. Here, when the principal component orthogonal basis matrix U K represented by the following equation (3) is used, the projector P to the normal subspace is represented by equation (4).
そして、この射影子Ｐを用いて、計測された打音の特徴ベクトルｘnが上記正常部分空間から近いか遠いかを示す異常度ｄ(ｘn)を次式(５)により算出する。なお、式(５)において、Ｉpはｐ次元の単位行列を意味し、ｐの値は次元数Ｋと同一となる。 Then, using this projector P, an abnormality degree d (x n ) indicating whether the measured hitting sound feature vector x n is near or far from the normal subspace is calculated by the following equation (5). In equation (5), I p means a p-dimensional unit matrix, and the value of p is the same as the number of dimensions K.
このようにして算出された異常度ｄは、計測した打音が正常部分空間から逸脱したパターンであるほど本部分空間からの距離が離れ大きな値をとることになり、異常度が高いことを示す。 The degree of abnormality d calculated in this way indicates that the distance from the subspace is larger and the value is higher as the measured sound hits the pattern deviates from the normal subspace, indicating that the degree of abnormality is higher. .
ここで、実際の異常検知で問題となるのは、ユーザによるハンマーのたたき方の不規則性や測定ノイズなどによる上記異常度のばらつきである。そこで、このばらつきの問題を解決するために、平滑化部１３により本異常度の補正処理、すなわち平滑化を行う。
Here, what becomes a problem in actual abnormality detection is irregularity in how the hammer is struck by the user, variation in the degree of abnormality due to measurement noise, and the like. Therefore, in order to solve this variation problem, the smoothing
具体的には、図４に示された平滑化部１３が、打撃位置が近接した場所で生じた打音は相互に近い音がすると仮定し、検出対象の打音の周囲で測定された打音の異常度を用いて平滑化処理を行う。なお、図４に示された打音検査装置１０では、打音と打撃位置が同時に測定できるため、このような平滑化処理が可能となる。
Specifically, the smoothing
より具体的には、平滑化部１３は、検出対象の打撃位置Ｐｎに対して、半径ｒの近傍内で測定された打音に対応する測定データを記憶部１１において検索する。そして、検索された打音データに対して異常度算出部１２により算出された異常度ｄの平均値を求め、打撃位置Ｐｎでの平滑化後異常度ｄ’とする。
More specifically, the smoothing
なお、上記の平滑化は平均を求める他に、ガウシアンフィルタを用いてもよい。この場合には、打撃位置Ｐｎからの距離が大きくなるほど平滑化処理での重み付け、すなわち影響度合いを低くすることになる。 In addition to obtaining an average for the above smoothing, a Gaussian filter may be used. In this case, the greater the distance from the hitting position Pn, the lower the weighting in the smoothing process, that is, the degree of influence.
次に、上記第五の手順について説明する。ステップＳ１４において、表示部６は、ユーザによる操作部７の操作に応じて、打撃位置を示す位置信号とステップＳ１３で平滑化された異常度に基づき、被検体の各位置における不良の有無を表示する。なお、本ステップは、図２に示されたステップＳ３と同様に実行される。
Next, the fifth procedure will be described. In step S14, the
ここで、より具体的には、表示部６は、上記において定義した平滑化後異常度ｄ’がしきい値を超えたときに当該打音が異常であるとして、ユーザにその旨を可視化する。なお、上記しきい値ｄthは、例えば、それぞれμdを平滑化後異常値の全サンプルにおける平均値、σdを平滑化後異常値の標準偏差、αを任意の係数したとき、次式(６)により算出される。
More specifically, the
なお、このような平滑化に係る方法は、上記のような部分空間法以外による異常検出にも広く適用することができる。 Note that such a method related to smoothing can be widely applied to abnormality detection other than the subspace method as described above.
以上より、本発明の実施の形態２に係る打音検査装置及び打音検査方法によれば、算出された異常度に平滑化処理を施すため、さらにノイズや測定誤差などの外乱に影響されない頑健な打音検査を実現することができる。 As described above, according to the hammering inspection apparatus and the hammering inspection method according to the second embodiment of the present invention, since the calculated abnormality degree is subjected to the smoothing process, the robustness which is not influenced by disturbances such as noise and measurement error is provided. Can be realized.
［実施の形態３］
図６は、本発明の実施の形態３に係る打音検査装置２０の構成を示すブロック図である。図６に示されるように、本発明の実施の形態３に係る打音検査装置２０は、バス２と、それぞれバス２に接続された、位置検知部３、音検知部４、記憶部１１、判定部２１、制御部２２、表示部６、及び操作部７を備える。
[Embodiment 3]
FIG. 6 is a block diagram showing a configuration of a sound hitting
図７は、本発明の実施の形態３に係る打音検査方法を示すフローチャートである。以下において、図７を参照しつつ、本発明の実施の形態３に係る打音検査方法を、図６に示された打音検査装置２０を用いて実現する場合を例にとって詳しく説明する。なお、図７に示された打音検査方法は、図６に示された打音検査装置２０を用いる場合に限られず、広く適用できることは言うまでもない。
FIG. 7 is a flowchart showing a sound hitting inspection method according to Embodiment 3 of the present invention. Hereinafter, with reference to FIG. 7, a detailed description will be given of an example in which the hammering inspection method according to the third embodiment of the present invention is realized using the
ステップＳ２１は、図２に示されたステップＳ１と同じであるので説明を省略する。なお、打音検査装置２０では、それぞれ位置検知部３と音検知部４により打撃位置と打音が正確に時間の同期が取れた状態で検知され、かつ検知された情報が記憶部１１に記録されるため、打音の切り出し時刻と打撃位置の取得精度の両方を向上させることができるが、この点については以下で詳しく説明する。
Step S21 is the same as step S1 shown in FIG. In the sound hitting
次に、ステップＳ２２において、判定部２１は、ある時刻に被検体へ打撃がなされた確からしさを示す指標を算出すると共に、上記時刻に打音が発生した確からしさを示す指標を算出し、二つの上記指標の積がしきい値を超えたか否かを判定する。以下において、本ステップの動作を詳しく説明する。
Next, in step S22, the
打音の切り出しにおいて精度が悪くなる原因として、測定箇所でのノイズが大きい場合がある。例えば、トンネル内で打音検査を行っている場合に大型トラックがトンネル内に進入してくると、大きな反響音やトンネルの壁に振動が発生し、それも音検知部４の振動センサにノイズとして検知されてしまう。このような状況では、真の打音由来の音信号がノイズに隠れてしまうため、打音を示す音信号として切り出すべきか判断が難しくなる。
There is a case where the noise at the measurement location is large as a cause of inaccuracy in cutting out the hitting sound. For example, if a large truck enters the tunnel when a hammering inspection is performed in the tunnel, a large reverberant sound or vibration is generated on the wall of the tunnel, which also causes noise in the vibration sensor of the
しかし、位置検知部３の位置センサによりある時刻に検知された情報により打撃されたことが分かれば、同じ時刻に振動センサで検知された情報を所望の音信号として切り出せばよい。 However, if it is known that the position sensor 3 has been hit by information detected at a certain time by the position sensor of the position detection unit 3, the information detected by the vibration sensor at the same time may be cut out as a desired sound signal.
一方、打撃位置に関して取得した情報についても、精度が悪くなる場合がある。例えば、位置検知部３における打撃位置の検出面に人の体が入ってしまい、実際は打撃を行っていないにもかかわらず打撃したかのように検知される場合がある。また、打撃に用いるハンマーの上記検出面への進入の仕方によっては、同じ場所で１回しか打撃を行っていないにもかかわらず、複数回打撃したかのように検知される場合もある。これらの場合においても、同時刻に振動センサによって検知された情報に基づいて、どの打撃位置が真の位置であったのかが分かるようになる。 On the other hand, the accuracy of information acquired regarding the hitting position may deteriorate. For example, there is a case where a human body enters the detection surface of the hit position in the position detection unit 3 and is detected as if it was hit despite not actually hitting. Also, depending on how the hammer used for hitting enters the detection surface, it may be detected as if it was hit multiple times even though it was hit only once at the same location. Also in these cases, it becomes possible to know which striking position is the true position based on the information detected by the vibration sensor at the same time.
ここで、ある時刻ｔに上記検出面を横切る打撃があったことの確からしさを示すものとして、指標Pos(t)を採用する。なお、この値が大きい程、打撃が行われた確率が高いことになる。 Here, the index Pos (t) is employed as an indication of the certainty that there was a hit across the detection surface at a certain time t. Note that the greater this value, the higher the probability that a hit has been made.
また、同じくある時刻ｔにおいて打音が発生したことの確からしさを示すものとして、指標Echo(t)を採用する。そして、これらの統合は例えば、次式(７)に示されるように、指標Pos(t)と指標Echo(t)を乗算して積Hit(t)を求め、この積Hit(t)が一定のしきい値を超えた場合にのみ、その時刻ｔに真の打撃が発生したものと判定する。 Similarly, an index Echo (t) is adopted as an indicator of the certainty that a hitting sound has occurred at a certain time t. For example, as shown in the following equation (7), these integrations are performed by multiplying the index Pos (t) and the index Echo (t) to obtain the product Hit (t), and this product Hit (t) is constant. Only when the threshold value is exceeded, it is determined that a true blow has occurred at the time t.
以下において、上記の指標Pos(t)と指標Echo(t)の具体例を順に詳しく説明する。 Hereinafter, specific examples of the index Pos (t) and the index Echo (t) will be described in detail in order.
最初に、指標Pos(t)の一例について説明する。位置検知部３は、時刻ｔにおいて上記検出面を横断するi個の物体の幅Wk(t)(k=１〜i)を検知することができる。ここで、時刻ｔに幅Wk(t)が表す物体により打撃が行われた尤もらしさCk(t)を、打撃に用いられるハンマー等の幅hを平均とする正規分布により次式(８)で表す。 First, an example of the index Pos (t) will be described. The position detection unit 3 can detect the width Wk (t) (k = 1 to i) of i objects crossing the detection surface at time t. Here, the likelihood C k (t) hit by the object represented by the width Wk (t) at time t is expressed by the following equation (8) using a normal distribution that averages the width h of a hammer or the like used for hitting. Represented by
このとき、時刻ｔにおける指標Pos(t)は、全ての尤もらしさCk(t)の総和として定義できる。すなわち、指標Pos(t)は次式(９)により算出される。 At this time, the index Pos (t) at time t can be defined as the sum of all likelihood C k (t). That is, the index Pos (t) is calculated by the following equation (9).
次に、指標Echo(t)の一例について説明する。打音であるか否かの判定基準として、振動センサで計測された時間波形の振幅値を用いる。具体的には、時刻ｔのときの波形の振幅を振幅P(t)とすると、当該波形の絶対値の包絡線EP(t)があるしきい値Pthを超えたときに、打撃が行われたものと判断する。このとき、打音らしさを表す指標Echo(t)としては、例えば次式(１０)で示される値を用いることができる。 Next, an example of the index Echo (t) will be described. The amplitude value of the time waveform measured by the vibration sensor is used as a criterion for determining whether or not the sound is a hit sound. Specifically, assuming that the amplitude of the waveform at time t is amplitude P (t), an impact is made when the absolute value envelope envelope EP (t) of the waveform exceeds a certain threshold value Pth. Judge that At this time, as an index Echo (t) representing the likelihood of hitting, for example, a value represented by the following equation (10) can be used.
ただし、大きな雑音がある場合にも、この指標は大きな値となってしまうため、以下のような制約を付する。 However, even if there is a large noise, this index becomes a large value, so the following restrictions are applied.
打音の波形の特徴は、音の継続時間が極めて短時間である。このため、例えば上記包絡線EP(t)がしきい値Pthを超えてからしきい値Pth以下となるまでの継続時間Tdがしきい値Tthを超える場合は、打撃による音ではなくて外来ノイズとして判断して、当該継続時間中の指標Echo(t)の値を０に修正する。 The characteristic of the waveform of the hit sound is that the duration of the sound is extremely short. For this reason, for example, when the duration Td from when the envelope EP (t) exceeds the threshold value Pth until the threshold value Pth is less than the threshold value Pth exceeds the threshold value Tth, it is not an external noise but an external noise. And the value of the indicator Echo (t) during the duration is corrected to 0.
そして、ステップＳ２３において、制御部２２は、ステップＳ２２において積Hit(t)が上記しきい値を超えたと判断されたときに、ステップＳ２１で検知された打撃位置を示す位置信号と打撃音を示す音信号とを対応づけることにより生成される打音データを、記憶部１１に保存する。
Then, in step S23, the
次に、ステップＳ２４において、表示部６は、ユーザによる操作部７の操作に応じて、ステップＳ２３で記憶部１１に保存された上記打音データに基づき、被検体の各位置における不良の有無を表示する。なお、本ステップは、図２に示されたステップＳ３と同様に実行される。
Next, in step S24, the
以上より、本発明の実施の形態３に係る打音検査装置及び打音検査方法によれば、位置検知部３と音検知部４で検知することにより得られた二つの情報を統合することにより、さらに両検知精度を向上することができる。
As described above, according to the sound-inspecting device and sound-inspecting method according to Embodiment 3 of the present invention, by integrating the two pieces of information obtained by the detection by the position detection unit 3 and the
１，１０，２０ 打音検査装置
３ 位置検知部
４ 音検知部
５ 補正部
６ 表示部
８，１１ 記憶部
１２ 異常度算出部
１３ 平滑化部
２１ 判定部
２２ 制御部
1, 10, 20 Sound inspection device 3
Claims (12)
前記打撃により生じる音を検知する音検知手段と、
前記音検知手段により検知された音を示す音信号を、前記位置検知手段で検知された位置に応じて補正する補正手段と、
前記位置検知手段により生成された前記打撃位置を示す位置信号と、前記補正手段により補正された前記音信号に応じて、前記被検体の各位置における不良の有無を表示する表示手段を備えた打音検査装置。 Position detecting means for detecting a hitting position on the subject;
Sound detection means for detecting the sound generated by the impact;
Correction means for correcting a sound signal indicating the sound detected by the sound detection means in accordance with the position detected by the position detection means;
According to the position signal indicating the striking position generated by the position detecting means and the sound signal corrected by the correcting means, the striking means includes a display means for displaying the presence / absence of a defect at each position of the subject. Sound inspection device.
前記打撃により生じる音を検知する音検知手段と、
前記位置検知手段により検知された前記打撃位置を示す位置信号と、前記打撃により生じた音を検知することにより前記音検知手段により生成された前記音信号とを対応づけることにより生成される打音データを保存する記憶手段と、
前記打音データの異常度を算出する異常度算出手段と、
指定された範囲内における前記打撃により得られた複数の前記打音データを前記記憶手段から読み出し、読み出された前記打音データ毎の前記異常度を前記異常度算出手段に算出させて平滑化する平滑化手段と、
前記位置検知手段により生成された前記打撃位置を示す位置信号と、前記平滑化手段により平滑化された前記異常度に応じて、前記被検体の各位置における不良の有無を表示する表示手段を備えた打音検査装置。 Position detecting means for detecting a hitting position on the subject;
Sound detection means for detecting the sound generated by the impact;
Hitting sound generated by associating the position signal indicating the hitting position detected by the position detecting means with the sound signal generated by the sound detecting means by detecting the sound generated by the hitting Storage means for storing data;
An abnormality degree calculating means for calculating an abnormality degree of the hitting data;
A plurality of the hit sound data obtained by the hit within a specified range is read from the storage means, and the abnormality degree calculation means calculates the abnormality degree for each read sound data and smoothes the same. Smoothing means,
Display means for displaying the presence / absence of a defect at each position of the subject according to the position signal generated by the position detection means and indicating the hit position and the degree of abnormality smoothed by the smoothing means. Sound inspection device.
前記打撃により生じる音を検知する音検知手段と、
前記位置検知手段により検知された前記打撃位置を示す位置信号と、前記打撃により生じた音を検知することにより前記音検知手段により生成された前記音信号とを対応づけることにより生成される打音データを保存する記憶手段と、
ある時刻に前記被検体へ打撃がなされた確からしさを示す指標を算出すると共に、前記時刻に打音が発生した確からしさを示す指標を算出し、二つの前記指標の積がしきい値を超えたか否かを判定する判定手段と、
前記判定手段により前記積が前記しきい値を超えたと判断されたときに、前記打音データを前記記憶手段に保存させる制御手段と、
前記記憶手段に保存された前記打音データに応じて、前記被検体の各位置における不良の有無を表示する表示手段を備えた打音検査装置。 Position detecting means for detecting a hitting position on the subject;
Sound detection means for detecting the sound generated by the impact;
Hitting sound generated by associating the position signal indicating the hitting position detected by the position detecting means with the sound signal generated by the sound detecting means by detecting the sound generated by the hitting Storage means for storing data;
An index indicating the probability that the subject was hit at a certain time is calculated, and an index indicating the probability that a hit is generated at the time is calculated, and the product of the two indexes exceeds a threshold value. Determining means for determining whether or not
Control means for storing the hitting data in the storage means when the determination means determines that the product exceeds the threshold;
A hammering test apparatus comprising display means for displaying the presence or absence of a defect at each position of the subject in accordance with the hammering data stored in the storage means.
前記第一のステップで検知された音を示す音信号を、前記第一のステップで検知された前記打撃位置に応じて補正する第二のステップと、
前記打撃位置を示す位置信号と、前記第二のステップで補正された前記音信号に基づいて、前記被検体の各位置における不良の有無を表示する第三のステップを有する打音検査方法。 A first step of detecting a hit position on the subject and detecting a sound generated by the hit;
A second step of correcting the sound signal indicating the sound detected in the first step according to the hitting position detected in the first step;
A hammering test method comprising a third step of displaying the presence / absence of a defect at each position of the subject based on a position signal indicating the striking position and the sound signal corrected in the second step.
前記第一のステップで検知された前記打撃位置を示す位置信号と前記打撃により生じる音を示す音信号とを対応づけることにより生成される打音データを記憶手段に保存する第二のステップと、
指定された範囲内における前記打撃により得られた複数の前記打音データを前記記憶手段から読み出し、読み出された前記音信号毎の前記異常度を算出して平滑化する第四のステップと、
前記位置信号と前記第四のステップで平滑化された前記異常度に基づいて、前記被検体の各位置における不良の有無を表示する第五のステップとを有する打音検査方法。 A first step of detecting a hit position on the subject and detecting a sound generated by the hit;
A second step of storing in the storage means the hitting sound data generated by associating the position signal indicating the hitting position detected in the first step with the sound signal indicating the sound generated by the hitting;
A fourth step of reading out a plurality of the hitting data obtained by the hitting within a specified range from the storage means, calculating the degree of abnormality for each of the read out sound signals, and smoothing;
A hammering test method comprising: a fifth step of displaying the presence / absence of a defect at each position of the subject based on the position signal and the degree of abnormality smoothed in the fourth step.
ある時刻に前記被検体へ打撃がなされた確からしさを示す指標を算出すると共に、前記時刻に打音が発生した確からしさを示す指標を算出し、二つの前記指標の積がしきい値を超えたか否かを判定する第二のステップと、
前記第二のステップにおいて前記積が前記しきい値を超えたと判断されたときに、前記第一のステップで検知された前記打撃位置を示す位置信号と前記第一のステップで検知された前記音を示す音信号とを対応づけることにより生成される打音データを、記憶手段に保存する第三のステップと、
前記第三のステップで前記記憶手段に保存された前記打音データに基づいて、前記被検体の各位置における不良の有無を表示する第四のステップを有する打音検査方法。
A first step of detecting a hit position on the subject and detecting a sound generated by the hit;
An index indicating the probability that the subject was hit at a certain time is calculated, and an index indicating the probability that a hit is generated at the time is calculated, and the product of the two indexes exceeds a threshold value. A second step of determining whether or not
When it is determined in the second step that the product has exceeded the threshold value, a position signal indicating the striking position detected in the first step and the sound detected in the first step A third step of storing in the storage means the hitting data generated by associating the sound signal indicating
A sounding inspection method comprising a fourth step of displaying the presence / absence of a defect at each position of the subject based on the sounding data stored in the storage means in the third step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017104733A JP2018200217A (en) | 2017-05-26 | 2017-05-26 | Rattling sound inspection device and rattling sound inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017104733A JP2018200217A (en) | 2017-05-26 | 2017-05-26 | Rattling sound inspection device and rattling sound inspection method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021012603A Division JP2021073459A (en) | 2021-01-29 | 2021-01-29 | Rattling sound inspection device and rattling sound inspection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018200217A true JP2018200217A (en) | 2018-12-20 |
Family
ID=64667109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017104733A Pending JP2018200217A (en) | 2017-05-26 | 2017-05-26 | Rattling sound inspection device and rattling sound inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018200217A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020159950A (en) * | 2019-03-27 | 2020-10-01 | 株式会社フジタ | Inspection object state evaluation device |
| JP7379974B2 (en) | 2019-09-12 | 2023-11-15 | 東ソー株式会社 | Method for manufacturing metal component-polyarylene sulfide resin component composite |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001201488A (en) * | 2000-01-19 | 2001-07-27 | Furekkusuai:Kk | Apparatus and method for inspecting concrete placing point |
| JP2003295864A (en) * | 2002-04-05 | 2003-10-15 | Yamaha Corp | Electronic percussion instrument |
| US6880403B1 (en) * | 2000-08-28 | 2005-04-19 | Mitsubishi Denki Kabushiki Kaisha | Structure inspection device |
| JP2005121571A (en) * | 2003-10-20 | 2005-05-12 | Hajime Hatano | Hammering test system |
| JP2016050876A (en) * | 2014-09-01 | 2016-04-11 | 株式会社国際電気通信基礎技術研究所 | Hammering inspection recording device |
| JP2016080592A (en) * | 2014-10-20 | 2016-05-16 | 株式会社コンステック | Surface inspection method and surface inspection device |
-
2017
- 2017-05-26 JP JP2017104733A patent/JP2018200217A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001201488A (en) * | 2000-01-19 | 2001-07-27 | Furekkusuai:Kk | Apparatus and method for inspecting concrete placing point |
| US6880403B1 (en) * | 2000-08-28 | 2005-04-19 | Mitsubishi Denki Kabushiki Kaisha | Structure inspection device |
| JP2003295864A (en) * | 2002-04-05 | 2003-10-15 | Yamaha Corp | Electronic percussion instrument |
| JP2005121571A (en) * | 2003-10-20 | 2005-05-12 | Hajime Hatano | Hammering test system |
| JP2016050876A (en) * | 2014-09-01 | 2016-04-11 | 株式会社国際電気通信基礎技術研究所 | Hammering inspection recording device |
| JP2016080592A (en) * | 2014-10-20 | 2016-05-16 | 株式会社コンステック | Surface inspection method and surface inspection device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020159950A (en) * | 2019-03-27 | 2020-10-01 | 株式会社フジタ | Inspection object state evaluation device |
| JP7244832B2 (en) | 2019-03-27 | 2023-03-23 | 株式会社フジタ | Condition evaluation device for inspection objects |
| JP7379974B2 (en) | 2019-09-12 | 2023-11-15 | 東ソー株式会社 | Method for manufacturing metal component-polyarylene sulfide resin component composite |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101541978B1 (en) | Apparatus for detectng the tube wall thinning and method thereof | |
| CN109190272B (en) | Concrete structure defect detection method based on elastic waves and machine learning | |
| JP6396076B2 (en) | Detection method and non-contact acoustic detection system using sound waves | |
| CN109085245B (en) | Method for determining defects in object to be detected and ultrasonic flaw detector | |
| JP2018200217A (en) | Rattling sound inspection device and rattling sound inspection method | |
| JP2011013150A (en) | Method and device for measuring crack state of concrete structure | |
| Esmaielzadeh et al. | Damage detection of concrete gravity dams using Hilbert-Huang method | |
| WO2020075296A1 (en) | State monitoring device | |
| CN111879456B (en) | Building curtain wall safety detection method and system | |
| KR100444269B1 (en) | A non-destructive tap test system and its test method | |
| JP2019109194A (en) | Flow rate measuring device | |
| Khuc et al. | A nonparametric method for identifying structural damage in bridges based on the best-fit auto-regressive models | |
| JP6981526B2 (en) | System identification device, system identification method and computer program | |
| JP5450177B2 (en) | Nondestructive inspection method and nondestructive inspection device for grout filling degree | |
| JP2021073459A (en) | Rattling sound inspection device and rattling sound inspection method | |
| van de Bunt et al. | Applying force panels for wave impact measurements | |
| Iwata et al. | AI-aided Hammering Test System to Automatically Generate Anomaly Maps. | |
| US20030167845A1 (en) | Defect identification in bodies consisting of brittle material | |
| Chioncel et al. | Visual method to recognize breathing cracks from frequency change | |
| US11493484B2 (en) | Ultrasonic corrosion monitoring | |
| JP7115045B2 (en) | Pile soundness evaluation method | |
| US11624687B2 (en) | Apparatus and method for detecting microcrack using orthogonality analysis of mode shape vector and principal plane in resonance point | |
| CN103792280B (en) | Magnetic nondestructive testing method for contact damage inversion of ferromagnetic material | |
| JP2015072229A (en) | Method and apparatus of detecting defects | |
| KR102642156B1 (en) | A reference block for nondestructive testing and the sensitivity calibration method of using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210707 |