JP7291914B2 - 処理方法およびそれを利用した処理装置 - Google Patents
処理方法およびそれを利用した処理装置 Download PDFInfo
- Publication number
- JP7291914B2 JP7291914B2 JP2021540631A JP2021540631A JP7291914B2 JP 7291914 B2 JP7291914 B2 JP 7291914B2 JP 2021540631 A JP2021540631 A JP 2021540631A JP 2021540631 A JP2021540631 A JP 2021540631A JP 7291914 B2 JP7291914 B2 JP 7291914B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- inspection
- environmental sound
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Description
本開示の別の態様の処理装置は、検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力する第1入力部と、第1入力部に入力した検査情報を、周波数成分の時間変化が示される検査画像に変換する第1変換部と、検査情報を取得する際の環境音の時間変化が示される環境音情報を入力する第2入力部と、第2入力部に入力した環境音情報を、周波数成分の時間変化が示される環境音画像に変換する第2変換部と、第2変換部において変換した環境音画像と、第1変換部において変換した検査画像とを学習済みのニューラルネットワークに入力してから、環境音画像と検査画像とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれたニューラルネットワークの処理を実行する処理部と、処理部の処理結果として、検査対象の物体の検査結果を出力する出力部と、を備える。
本開示の別の態様の処理装置は、検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力する第1入力部と、検査情報を取得する際の環境音の時間変化が示される環境音情報を入力する第2入力部と、第2入力部に入力した環境音情報と、第1入力部に入力した検査情報とを学習済みのニューラルネットワークに入力してから、環境音情報と検査情報とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれたニューラルネットワークの処理を実行する処理部と、処理部の処理結果として、検査対象の物体の検査結果を出力する出力部と、を備える。
本開示の別の態様の処理方法は、検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力するステップと、入力した検査情報を、周波数成分の時間変化が示される検査画像に変換するステップと、検査情報を取得する際の環境音の時間変化が示される環境音情報を入力するステップと、入力した環境音情報を、周波数成分の時間変化が示される環境音画像に変換するステップと、変換した環境音画像と、変換した検査画像とを学習済みのニューラルネットワークに入力してから、環境音画像と検査画像とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれたニューラルネットワークの処理を実行するステップと、ニューラルネットワークの処理結果として、検査対象の物体の検査結果を出力するステップと、を備える。
本開示の別の態様の処理方法は、検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力するステップと、検査情報を取得する際の環境音の時間変化が示される環境音情報を入力するステップと、入力した環境音情報と、入力した検査情報とを学習済みのニューラルネットワークに入力してから、環境音情報と検査情報とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれたニューラルネットワークの処理を実行するステップと、ニューラルネットワークの処理結果として、検査対象の物体の検査結果を出力するステップと、を備える。
本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例1は、モータ等の回転装置のような製品に異常が含まれているか否かを判定する処理装置に関する。これまで、製品に異常が含まれているか否かを判定するために、モータの異音が人手により全数検査されている。しかしながら、官能検査であるため、人による判定基準のばらつきが生じたり、人による判定時間のばらつきが生じたり、人の状態(体調など)によるばらつきが生じたり、顧客要望の反映の難しさが存在したり、検査記録の難しさがあったりした。つまり、客観的かつ測定可能な良否判定基準がない。そのため、異音識別を自動化することによって、省人合理化、品質安定化が求められる。
(第1変形例)
図1において、検査対象の物体の近傍に配置され音を取得するためのマイクロホン10が第1マイクロホン10aとは別に1以上設けられてもよい。また、このような1以上のマイクロホン10に対応するように増幅器12とA/Dコンバータ14が設けられる。追加される1以上のマイクロホン10は、検査対象の物体において第1マイクロホン10aとは異なった位置に取り付けられ、異なった位置における音を受けつける。追加される増幅器12と、追加されるA/Dコンバータ14はこれまでと同様であり、処理装置100の第1入力部110aは、複数の検査情報を入力する。複数の検査情報は、複数のマイクロホン10によって検出された情報である。第1変換部112aは、複数の検査情報を複数の検査画像に変換する。第1変換部112aにおける処理は、前述の通りである。第1変換部112aは、複数の検査画像を処理部114に出力する。
検査画像と環境音画像は、N次元Mチャンネル(N、M整数)を有する画像であってもよい。ここで、N次元には、1次元、2次元、3次元、4次元、・・・・が含まれる。このような検査画像と環境音画像に対して、処理部114はこれまでと同様の処理を実行すればよい。
これまでの処理部114には、畳み込み層142、プーリング層144が含まれていたが、畳み込み層142、プーリング層144が含まれなくてもよい。図8は、処理部114の構成を示す。処理部114は、組合せ層146、全結合層148と総称される第1-1全結合層148aa、第1-2全結合層148ab、第1-3全結合層148ac、第2-1全結合層148ba、第2-2全結合層148bb、第2-3全結合層148bc、第4全結合層148dを含む。つまり、組合せ層146を除いて、全結合層148だけが含まれる。第1-1全結合層148aaは、検査画像を受けつけ、第2-1全結合層148baは、環境音画像を受けつける。第1-1全結合層148aaから第1-3全結合層148acは、検査画像に対して全結合層の処理を実行し、第2-1全結合層148baから第2-3全結合層148bcは、環境音画像に対して全結合層の処理を実行する。組合せ層146は、第1-3全結合層148acと第2-3全結合層148bcから処理結果を受けつける。組合せ層146は、前述のようにこれらの処理結果を組み合わせる。組合せ層146は、組合せの結果(以下、これもまた「組合画像」という)を出力する。第4全結合層148dは、組合画像に対して全結合層の処理を実行する。
これまでの組合せ層146では、組合せの第1例、第3例から第5例のように、複数のチャンネルが1つに合併されている。合併はこれに限定されない。図9(a)-(c)は、処理部114の構成を示す。第1入力画像200a、第2入力画像200bは、組合せ層146に入力される2つの画像であり、学習用画像、検査画像、環境音画像、処理結果を含む。図9(a)は、組合せ層146におけるこれまでの合併を示し、2つのチャンネルの第1入力画像200a、第2入力画像200bが合併により1つのチャンネルにされる。第1入力画像200a、第2入力画像200bを総称する入力画像200の数は「2」に限定されない。また、1つのチャンネルにされた画像が前述の組合画像に相当する。図9(b)では、2つのチャンネルの第1入力画像200a、第2入力画像200bが、x軸方向に並べることによって1つのチャンネルにされる。図9(c)では、2つのチャンネルの第1入力画像200a、第2入力画像200bが、y軸方向に並べることによって1つのチャンネルにされる。
次に実施例2を説明する。実施例2は、実施例1と同様に、モータ等の回転装置のような製品に異常が含まれているか否かを判定する処理装置に関する。ニューラルネットワークを使用する場合、モータの品番毎の再学習が必要になる。このような再学習のために、学習の作業量が増加する。しかしながら、学習が不十分であると処理の正確性が低下する。実施例2に係る処理装置は、正常な物体における周波数成分の時間変化が示され、かつ検査画像と比較可能な画像(以下、「参照画像」という)を用意する。処理装置は、検査画像と環境音画像と参照画像との組合せに対して、ニューラルネットワークの処理を実行することによって、検査画像が正常であるか不良であるかを判定する。その際、処理装置では、検査画像と環境音画像と参照画像との組合せに対して検査画像が正常であるか不良であるかの情報を教師データとして学習が予めなされている。つまり、検査画像と環境音画像の組合せと参照画像との比較結果が正常であるか不良であるかが学習されている。その結果、商品リニューアルによって参照画像が変わる場合であっても、新たな参照画像と検査画像と環境音画像を処理装置に入力すればよくなり、未学習の音のパターンでも判定が可能になる。ここでは、これまでとの差異を中心に説明する。
次に実施例3を説明する。実施例3は、実施例1と同様に、モータ等の回転装置のような製品に異常が含まれているか否かを判定する処理装置に関する。これまで、学習用画像、検査画像、環境音画像等の画像に対してニューラルネットワークの処理が実行されている。実施例2に係る処理装置は、学習用情報、検査情報、環境音情報等の情報に対してニューラルネットワークを実行する。ここでは、これまでとの差異を中心に説明する。
Claims (14)
- 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力する第1入力部と、
前記第1入力部に入力した前記検査情報を、周波数成分の時間変化が示される検査画像に変換する第1変換部と、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力する第2入力部と、
前記第2入力部に入力した前記環境音情報を、周波数成分の時間変化が示される環境音画像に変換する第2変換部と、
前記第2変換部において変換した前記環境音画像と、前記第1変換部において変換した前記検査画像とを学習済みのニューラルネットワークに入力してから、前記環境音画像と前記検査画像とを合併させた結果に対して、前記ニューラルネットワークの処理を実行する処理部と、
前記処理部の処理結果として、前記検査対象の物体の検査結果を出力する出力部と、
を備えることを特徴とする処理装置。 - 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力する第1入力部と、
前記第1入力部に入力した前記検査情報を、周波数成分の時間変化が示される検査画像に変換する第1変換部と、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力する第2入力部と、
前記第2入力部に入力した前記環境音情報を、周波数成分の時間変化が示される環境音画像に変換する第2変換部と、
前記第2変換部において変換した前記環境音画像と、前記第1変換部において変換した前記検査画像とを学習済みのニューラルネットワークに入力してから、前記環境音画像と前記検査画像とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、前記組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれた前記ニューラルネットワークの処理を実行する処理部と、
前記処理部の処理結果として、前記検査対象の物体の検査結果を出力する出力部と、
を備えることを特徴とする処理装置。 - 前記第1入力部は、複数の前記検査情報を入力し、
前記第1変換部は、前記第1入力部に入力した複数の前記検査情報を複数の前記検査画像に変換し、
前記処理部は、前記環境音画像と、前記第1変換部において変換した複数の前記検査画像とを学習済みのニューラルネットワークに入力してから、前記ニューラルネットワークの処理を実行することを特徴とする請求項1または2に記載の処理装置。 - 前記処理部は、正常な物体における周波数成分の時間変化が示される参照画像も含めてニューラルネットワークの処理を実行することを特徴とする請求項1から3のいずれか1項に記載の処理装置。
- 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力する第1入力部と、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力する第2入力部と、
前記第2入力部に入力した前記環境音情報と、前記第1入力部に入力した前記検査情報とを学習済みのニューラルネットワークに入力してから、前記環境音情報と前記検査情報とを合併させた結果に対して、前記ニューラルネットワークの処理を実行する処理部と、
前記処理部の処理結果として、前記検査対象の物体の検査結果を出力する出力部と、
を備えることを特徴とする処理装置。 - 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力する第1入力部と、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力する第2入力部と、
前記第2入力部に入力した前記環境音情報と、前記第1入力部に入力した前記検査情報とを学習済みのニューラルネットワークに入力してから、前記環境音情報と前記検査情報とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、前記組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれた前記ニューラルネットワークの処理を実行する処理部と、
前記処理部の処理結果として、前記検査対象の物体の検査結果を出力する出力部と、
を備えることを特徴とする処理装置。 - 前記第1入力部は、複数の前記検査情報を入力し、
前記処理部は、前記環境音情報と、前記第1入力部に入力した複数の前記検査情報とを学習済みのニューラルネットワークに入力してから、畳み込み層の処理が含まれた前記ニューラルネットワークの処理を実行することを特徴とする請求項5または6に記載の処理装置。 - 前記処理部は、正常な物体における音の時間変化が示される参照情報も含めてニューラルネットワークの処理を実行することを特徴とする請求項5から7のいずれか1項に記載の処理装置。
- 前記処理部におけるニューラルネットワークは、前記出力部から出力される前記検査結果が良品あるいは欠陥を示すように学習されていることを特徴とする請求項1から8のいずれか1項に記載の処理装置。
- 前記出力部は、前記処理部におけるニューラルネットワークの処理の途中の特徴量も出力することを特徴とする請求項1から9のいずれか1項に記載の処理装置。
- 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力するステップと、
入力した前記検査情報を、周波数成分の時間変化が示される検査画像に変換するステップと、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力するステップと、
入力した前記環境音情報を、周波数成分の時間変化が示される環境音画像に変換するステップと、
変換した前記環境音画像と、変換した前記検査画像とを学習済みのニューラルネットワークに入力してから、前記環境音画像と前記検査画像とを合併させた結果に対して、前記ニューラルネットワークの処理を実行するステップと、
ニューラルネットワークの処理結果として、前記検査対象の物体の検査結果を出力するステップと、
を備えることを特徴とする処理方法。 - 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力するステップと、
入力した前記検査情報を、周波数成分の時間変化が示される検査画像に変換するステップと、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力するステップと、
入力した前記環境音情報を、周波数成分の時間変化が示される環境音画像に変換するステップと、
変換した前記環境音画像と、変換した前記検査画像とを学習済みのニューラルネットワークに入力してから、前記環境音画像と前記検査画像とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、前記組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれた前記ニューラルネットワークの処理を実行するステップと、
ニューラルネットワークの処理結果として、前記検査対象の物体の検査結果を出力するステップと、
を備えることを特徴とする処理方法。 - 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力するステップと、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力するステップと、
入力した前記環境音情報と、入力した前記検査情報とを学習済みのニューラルネットワークに入力してから、前記環境音情報と前記検査情報とを合併させた結果に対して、前記ニューラルネットワークの処理を実行するステップと、
ニューラルネットワークの処理結果として、前記検査対象の物体の検査結果を出力するステップと、
を備えることを特徴とする処理方法。 - 検査対象の物体から取得した検査情報であって、かつ音の時間変化が示される検査情報を入力するステップと、
前記検査情報を取得する際の環境音の時間変化が示される環境音情報を入力するステップと、
入力した前記環境音情報と、入力した前記検査情報とを学習済みのニューラルネットワークに入力してから、前記環境音情報と前記検査情報とに対して畳み込み層の処理を実行した結果を組み合わせる処理を行い、前記組み合わせる処理によって出力された組合せの結果に対して畳み込み層の処理が含まれた前記ニューラルネットワークの処理を実行するステップと、
ニューラルネットワークの処理結果として、前記検査対象の物体の検査結果を出力するステップと、
を備えることを特徴とする処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019150568 | 2019-08-20 | ||
JP2019150568 | 2019-08-20 | ||
PCT/JP2020/018806 WO2021033371A1 (ja) | 2019-08-20 | 2020-05-11 | 処理方法およびそれを利用した処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021033371A1 JPWO2021033371A1 (ja) | 2021-02-25 |
JPWO2021033371A5 JPWO2021033371A5 (ja) | 2022-04-20 |
JP7291914B2 true JP7291914B2 (ja) | 2023-06-16 |
Family
ID=74660822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021540631A Active JP7291914B2 (ja) | 2019-08-20 | 2020-05-11 | 処理方法およびそれを利用した処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7291914B2 (ja) |
WO (1) | WO2021033371A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017153270A (ja) | 2016-02-25 | 2017-08-31 | 日本電産コパル株式会社 | ステッピングモータの脱調検出方法、モータ駆動方法、プログラム、集音器付き電子機器 |
JP2019066279A (ja) | 2017-09-29 | 2019-04-25 | アンリツ株式会社 | 信号解析装置及び信号解析方法並びに信号解析プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3449194B2 (ja) * | 1997-01-28 | 2003-09-22 | 松下電工株式会社 | 回転機器の異常診断方法およびその装置 |
JPH10281859A (ja) * | 1997-04-07 | 1998-10-23 | Mitsui Eng & Shipbuild Co Ltd | 異常診断方法および装置 |
-
2020
- 2020-05-11 JP JP2021540631A patent/JP7291914B2/ja active Active
- 2020-05-11 WO PCT/JP2020/018806 patent/WO2021033371A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017153270A (ja) | 2016-02-25 | 2017-08-31 | 日本電産コパル株式会社 | ステッピングモータの脱調検出方法、モータ駆動方法、プログラム、集音器付き電子機器 |
JP2019066279A (ja) | 2017-09-29 | 2019-04-25 | アンリツ株式会社 | 信号解析装置及び信号解析方法並びに信号解析プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021033371A1 (ja) | 2021-02-25 |
WO2021033371A1 (ja) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6792842B2 (ja) | 外観検査装置、変換データ生成装置、及びプログラム | |
Du et al. | Application of the EMD method in the vibration analysis of ball bearings | |
US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
KR102209401B1 (ko) | 컨볼루션 신경망을 이용한 기어박스의 결함상태 판별 장치 및 방법 | |
KR101992970B1 (ko) | 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 | |
JP2012018066A (ja) | 異常検査装置 | |
CN108414240A (zh) | 一种检测机器异常振动的方法与装置 | |
JP6876940B2 (ja) | 画像処理装置および画像処理方法 | |
JP2006098152A (ja) | 欠陥検出装置および欠陥検出方法 | |
JP3677254B2 (ja) | 欠陥検査装置 | |
US20070189546A1 (en) | Method of extracting, device for extracting and device for inspecting abnormal sound | |
CN111654719B (zh) | 基于排列熵算法的视频微小运动检测方法 | |
Shao et al. | Design of mixture de-noising for detecting faulty bearing signals | |
Pan et al. | Cognitive acoustic analytics service for Internet of Things | |
JP7291914B2 (ja) | 処理方法およびそれを利用した処理装置 | |
Tcherniak et al. | Application of transmissibility matrix method to NVH source contribution analysis | |
WO2015072365A1 (ja) | 渦流探傷装置 | |
Liu et al. | Shaking noise exploration and elimination for detecting local flaws of steel wire ropes based on magnetic flux leakages | |
CN113155466B (zh) | 轴承故障视觉振动检测方法及*** | |
JP2007327885A (ja) | 異常判定方法および異常判定装置 | |
JP2006113073A (ja) | パターン欠陥検査装置及びパターン欠陥検査方法 | |
WO2021033372A1 (ja) | 処理方法およびそれを利用した処理装置 | |
JP3752849B2 (ja) | パターン欠陥検査装置及びパターン欠陥検査方法 | |
Farmani et al. | Application of a convolutional neural network to classification of swell noise attenuation | |
WO2023204240A1 (ja) | 処理方法およびそれを利用した処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20220203 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230526 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7291914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |