JP6467780B2 - Voice inspection apparatus, voice inspection method, and voice inspection program - Google Patents

Voice inspection apparatus, voice inspection method, and voice inspection program Download PDF

Info

Publication number
JP6467780B2
JP6467780B2 JP2014069151A JP2014069151A JP6467780B2 JP 6467780 B2 JP6467780 B2 JP 6467780B2 JP 2014069151 A JP2014069151 A JP 2014069151A JP 2014069151 A JP2014069151 A JP 2014069151A JP 6467780 B2 JP6467780 B2 JP 6467780B2
Authority
JP
Japan
Prior art keywords
sound
inspection
reference sound
variation
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014069151A
Other languages
Japanese (ja)
Other versions
JP2015192364A (en
Inventor
柳瀬 剛
剛 柳瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014069151A priority Critical patent/JP6467780B2/en
Publication of JP2015192364A publication Critical patent/JP2015192364A/en
Application granted granted Critical
Publication of JP6467780B2 publication Critical patent/JP6467780B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音声検査装置、音声検査方法、および音声検査プログラムに関する。   The present invention relates to a voice inspection device, a voice inspection method, and a voice inspection program.

従来、機器に設けられたスピーカの音声を検査する装置では、2つのスピーカが一軸方向に沿って配列されたPCに対して、右スピーカから所定の音声パターンを繰り返し出力させるとともに、左スピーカから所定の音声パターンを右スピーカと同時に繰り返し出力させる指示を出し、録音部は、マイクが、2つのスピーカの中心点と、中心点前とに位置するときとの間で録音を実行する。   2. Description of the Related Art Conventionally, in a device for inspecting the sound of a speaker provided in a device, a predetermined sound pattern is repeatedly output from a right speaker and a predetermined sound is output from a left speaker to a PC in which two speakers are arranged along a uniaxial direction. The voice recording pattern is repeatedly output simultaneously with the right speaker, and the recording unit performs recording between the time when the microphone is located at the center point of the two speakers and before the center point.

そして、主制御部は、2つのスピーカの中心点において録音された音声パターンと、中心点前において録音された音声パターンとに基づいて、2つのスピーカの検査を行う(例えば、特許文献1を参照)。   Then, the main control unit inspects the two speakers based on the sound pattern recorded at the center point of the two speakers and the sound pattern recorded before the center point (see, for example, Patent Document 1). ).

特開2013−197780号公報JP 2013-197780 A

しかしながら、従来のスピーカ検査装置では、検査場所に環境雑音が存在する場合、録音された音声パターンに環境雑音が重畳されてしまい、検査結果の判定でスピーカの不良と環境雑音の切り分けができないため、スピーカの不良を正しく判定できない場合があった。   However, in the conventional speaker inspection apparatus, when environmental noise exists at the inspection location, the environmental noise is superimposed on the recorded voice pattern, and it is not possible to distinguish between the speaker failure and the environmental noise in the determination of the inspection result. In some cases, a speaker failure could not be determined correctly.

そこで、一態様では、環境雑音が存在する場合であっても被検査体のノイズ異常を正しく検出することができる音声検査装置を提供することを目的とする。   In view of this, an object of one aspect is to provide a voice inspection apparatus that can correctly detect noise abnormality of an object to be inspected even when environmental noise exists.

一態様では、音声検査方法は、音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音する録音工程と、前記基準音の変動を算出し、前記検査音の変動を算出する算出工程と、前記基準音の変動と前記検査音の変動とを比較して、前記被検査体から不良ノイズを出力しているどうか判定する判定工程とを含む。 In one aspect, a voice inspection method includes a reference sound repeatedly reproduced from a speaker of an inspected object that moves relative to a microphone that collects sound, and a silent section provided between the reference sound and the reference sound. A recording step of collecting and recording the inspection sound recorded during the microphone, a calculation step of calculating a variation of the reference sound, calculating a variation of the inspection sound, a variation of the reference sound, and the And a determination step of determining whether or not defective noise is output from the object to be inspected by comparing with the fluctuation of the inspection sound.

一態様によれば、環境雑音が存在する場合であっても被検査体のノイズ異常を正しく検出することができる音声検査装置を提供することができる。   According to one aspect, it is possible to provide a voice inspection device that can correctly detect noise abnormality of an object to be inspected even when environmental noise exists.

音声検査システムの構成を示す図Diagram showing the configuration of the voice inspection system 音声検査システムの機能を示すブロック図Block diagram showing functions of voice inspection system 右スピーカから出力される基準音の音声パターンを示す図(a)、左スピーカから出力される基準音の音声パターンを示す図(b)The figure which shows the audio | voice pattern of the reference sound output from a right speaker (a), The figure which shows the audio | voice pattern of the reference sound output from a left speaker (b) 被検査対象の移動にともなう音声の変化を示す図The figure which shows the change of the sound accompanying the movement of the inspection object 時間分解能および周波数分可能毎の演算を示す図Diagram showing computation for each possible time resolution and frequency 無音部音声データの最大値演算を示す図The figure which shows the maximum value calculation of silence part voice data 周波数毎の音量変化曲線を示す図Diagram showing volume change curve for each frequency 基準音と不良ノイズの音量変化曲線を示す図Diagram showing volume change curve of reference sound and bad noise 基準音と不良ノイズの差分の変化を示す図The figure which shows the change of the difference of the reference sound and the bad noise 基準音と環境雑音の音量変化曲線を示す図Diagram showing volume change curve of reference sound and environmental noise 基準音と環境雑音の差分の変化を示す図Diagram showing change in difference between reference sound and environmental noise 検査装置の動作を示すフローチャートFlow chart showing the operation of the inspection device 音声データの解析処理およびノイズ異常検出処理を示すフローチャートFlow chart showing audio data analysis processing and noise abnormality detection processing 異常音と環境雑音の切り分け処理を示すフローチャートFlow chart showing abnormal sound and environmental noise separation processing 第1のノイズ異常の検出処理を示すフローチャートFlowchart showing first noise abnormality detection processing 第2のノイズ異常の検出処理を示すフローチャートFlow chart showing detection processing of second noise abnormality

以下、図面に基づいて本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

先ず、図1および図2を用いて、音声検査システムの構成を説明する。図1は、音声検査システムの構成の一例を示す図である。図2は、音声検査システムの機能の一例を示すブロック図である。   First, the configuration of the voice inspection system will be described with reference to FIGS. 1 and 2. FIG. 1 is a diagram illustrating an example of a configuration of a voice inspection system. FIG. 2 is a block diagram illustrating an example of functions of the voice inspection system.

図1において、音声検査システム100は、検査装置1と、コンベア3とを備える。検査装置1には、マイク11、バーコードリーダ12、および筐体検査センサ13が接続されている。コンベア3は図示右方向に移動して、コンベア3上に載置される被検査体2を搬送する。   In FIG. 1, the voice inspection system 100 includes an inspection device 1 and a conveyor 3. A microphone 11, a barcode reader 12, and a housing inspection sensor 13 are connected to the inspection device 1. The conveyor 3 moves in the right direction in the figure, and conveys the inspection object 2 placed on the conveyor 3.

被検査体2は、例えばステレオスピーカを備えたパソコンであり、右スピーカ21Rと左スピーカ21Lを備え音声を出力する。本実施形態においては、右スピーカ21Rおよび左スピーカ21Lから出力される音声を検査対象とする音声検査システムを例示する。   The inspected object 2 is, for example, a personal computer including a stereo speaker, and includes a right speaker 21R and a left speaker 21L, and outputs sound. In the present embodiment, an audio inspection system is exemplified in which audio output from the right speaker 21R and the left speaker 21L is an inspection target.

なお、本実施形態における「音声」とは、スピーカから出力される特定の周波数の音、スピーカノイズ、環境雑音等を含み、音声データとは、音声をコンピュータシステムで扱うために所定のファイルフォーマットにして記録したデータである。また、音声検査とは、被検査体2のスピーカ、音声IC等の音声システムの異常を検査するものである。   Note that “sound” in the present embodiment includes sound of a specific frequency output from a speaker, speaker noise, environmental noise, etc., and sound data is in a predetermined file format for handling sound in a computer system. Recorded data. The voice inspection is to inspect abnormalities in a sound system such as a speaker of the device under test 2 and a sound IC.

本実施形態で検査する音声システムの異常は、例えば音声ICの不良や音声システムへのノイズ混入により生じる異常音の発生である。音声システムの異常は、無音時において発生する、例えば「プチ、プチ」、あるいは「ヒュー、ヒュー」という不良ノイズの有無で判断できる。   The abnormality of the sound system to be inspected in the present embodiment is, for example, generation of abnormal sound caused by a sound IC failure or noise mixing in the sound system. An abnormality in the sound system can be determined by the presence or absence of defective noise such as “petit, petite” or “hue, hugh” that occurs during silence.

マイク11は、音声を収集して、収集した音声を電気信号に変換して検査装置1に入力する。マイク11は、例えばコンベア3の上部に固定されて、マイク11の下を通過する被検査体2の右スピーカ21Rおよび左スピーカ21Lから出力される音声が入力されるようにする。被検査体2は、コンベア3に載置されることによりマイク11に対して相対的に移動する。ここで右スピーカ21Rと左スピーカ21Lとがコンベア3の移動方向に対して縦に並ぶように被検査体2をコンベア3に載置する。これにより、右スピーカ21Rと左スピーカ21Lは、コンベア3の移動速度に応じた時間差をもってマイク11の下を順番に通過することになる。マイク11の取り付け位置は、例えば製品の形状やスピーカ位置に合わせて調整できるようにしてもよい。検査対象2は、例えば、タブレット端末、スマートフォン、携帯電話等であってもよい。また、スピーカが一つの被検査体2であってもよい。   The microphone 11 collects sound, converts the collected sound into an electric signal, and inputs the electric signal to the inspection apparatus 1. For example, the microphone 11 is fixed to the upper part of the conveyor 3 so that sound output from the right speaker 21R and the left speaker 21L of the device under test 2 passing under the microphone 11 is input. The inspected object 2 moves relative to the microphone 11 by being placed on the conveyor 3. Here, the device under test 2 is placed on the conveyor 3 so that the right speaker 21R and the left speaker 21L are aligned vertically with respect to the moving direction of the conveyor 3. As a result, the right speaker 21R and the left speaker 21L sequentially pass under the microphone 11 with a time difference corresponding to the moving speed of the conveyor 3. You may enable it to adjust the attachment position of the microphone 11 according to the shape of a product, or a speaker position, for example. The inspection target 2 may be, for example, a tablet terminal, a smartphone, a mobile phone, or the like. Further, the speaker may be one inspected object 2.

バーコードリーダ12は、バーコード24の情報を読み取り、読み取った情報を検査装置1に入力する。バーコード24は、例えば2次元バーコードであり、バーコード24には、例えば、被検査体の製品番号、被検査体のシリアル番号、製品ロット等、被検査体2を識別する情報が表される。バーコード24は、例えば被検査体2又は図示しない被検査体2を載置するための搬送治具に貼付け、又は、紐付けされる。本実施形態では、バーコード24の情報をバーコードリーダ12で読み取る。しかし、例えばバーコード24の代わりにRFID(Radio Frequency Identification)等の識別タグを用いてRFIDリーダで情報を読み取ってもよい。   The barcode reader 12 reads information on the barcode 24 and inputs the read information to the inspection apparatus 1. The barcode 24 is, for example, a two-dimensional barcode, and the barcode 24 represents information for identifying the object to be inspected 2 such as the product number of the object to be inspected, the serial number of the object to be inspected, and the product lot. The For example, the barcode 24 is affixed or tied to a transport jig for placing the test object 2 or the test object 2 (not shown). In the present embodiment, the information of the barcode 24 is read by the barcode reader 12. However, for example, information may be read by an RFID reader using an identification tag such as RFID (Radio Frequency Identification) instead of the barcode 24.

筐体検出センサ13は、コンベア3上に載置された被検査体2の筐体を検出し、検出結果を検査装置1に入力する。筐体検出センサは、例えば、赤外線や超音波を利用した近接センサを用いることができる。筐体検出センサ13は、被検査体2の筐体を直接検出するが、例えば被検査体2が収納された搬送治具を検出するようにしてもよい。筐体検出センサ13で検出された検出結果は、例えばバーコードリーダ12によるバーコード24の読み取りタイミングに使用することができる。   The housing detection sensor 13 detects the housing of the inspection object 2 placed on the conveyor 3 and inputs the detection result to the inspection apparatus 1. As the case detection sensor, for example, a proximity sensor using infrared rays or ultrasonic waves can be used. The housing detection sensor 13 directly detects the housing of the device 2 to be inspected. For example, the housing detection sensor 13 may detect a conveyance jig in which the device 2 to be inspected is stored. The detection result detected by the housing detection sensor 13 can be used, for example, at the reading timing of the barcode 24 by the barcode reader 12.

図2において、検査装置1は、録音手段14、音声処理部15、通信制御部16、CPU(Central Processing Unit)17、及び記憶装置18を備える。被検査体2は、スピーカ制御部22およびCPU23を備える。録音手段14、音声処理部15、または通信制御部16のそれぞれの機能は、ハードウェアとして検査装置1に実装することができる。また、録音手段14、音声処理部15、または通信制御部16の機能は、CPU17によって実行されるプログラムとして検査装置1に実装することができる。   In FIG. 2, the inspection apparatus 1 includes a recording unit 14, an audio processing unit 15, a communication control unit 16, a CPU (Central Processing Unit) 17, and a storage device 18. The device under test 2 includes a speaker control unit 22 and a CPU 23. The functions of the recording unit 14, the voice processing unit 15, or the communication control unit 16 can be implemented in the inspection apparatus 1 as hardware. Moreover, the function of the recording means 14, the audio | voice processing part 15, or the communication control part 16 can be mounted in the test | inspection apparatus 1 as a program run by CPU17.

録音手段14は、マイク11から入力される音声を音声データとして録音する。録音手段14は、所定のファイルフォーマットの音声ファイルを生成することにより音声データを記録する。音声ファイルは、コンベア3の上で検査される被検査体2毎に生成してもよい。また、複数の被検査体に対して1の音声ファイルを生成してもよい。   The recording means 14 records the voice input from the microphone 11 as voice data. The recording unit 14 records audio data by generating an audio file having a predetermined file format. An audio file may be generated for each object 2 to be inspected on the conveyor 3. Further, one audio file may be generated for a plurality of objects to be inspected.

録音の開始は、筐体検出センサ13の検出に合わせて行うことができる。例えば、筐体検出センサ13が被検査体2を検出したときから録音を開始して被検査体2がマイク11の下を通過するまでの所定時間、あるいは筐体検出センサ13が被検査体2を検出しなくなるまで録音をするようにしてもよい。   Recording can be started in accordance with the detection of the housing detection sensor 13. For example, a predetermined time from when the case detection sensor 13 detects the object 2 to be inspected until recording of the object 2 passes under the microphone 11 or when the case detection sensor 13 is at the object 2 to be inspected. Recording may be performed until no more are detected.

録音手段14は、生成する音声ファイルに、例えばバーコードリーダ12によって読み取られた被検査体2に関する情報を記録してもよい。例えば、製品番号やシリアル番号を音声ファイルのファイル名とすることができる。録音手段14で生成された音声ファイルは、記憶装置18に記憶する。   The recording unit 14 may record, for example, information on the object 2 to be inspected read by the barcode reader 12 in the generated audio file. For example, a product number or a serial number can be used as a file name of an audio file. The audio file generated by the recording unit 14 is stored in the storage device 18.

音声処理部15は、「算出処理部」および「抽出処理部」として、録音手段14で生成された音声ファイルの音声データに対して音声処理を行い、録音された音声の音量変動を算出し、不良ノイズを抽出する。音声処理及び抽出処理の詳細は後述する。音声処理部15は、記憶装置18に記憶された音声ファイルを読み出して音声処理を行い、処理の結果を記憶装置18に記憶させることができる。   The voice processing unit 15 performs voice processing on the voice data of the voice file generated by the recording unit 14 as “calculation processing unit” and “extraction processing unit”, calculates the volume fluctuation of the recorded voice, Extract bad noise. Details of the audio processing and extraction processing will be described later. The voice processing unit 15 can read the voice file stored in the storage device 18 and perform voice processing, and store the processing result in the storage device 18.

通信処理部16は、バーコードリーダ12および筐体検出センサ13と通信を行い、バーコードリーダ12から入力される情報と筐体検出センサ13の検出結果を受信する。   The communication processing unit 16 communicates with the barcode reader 12 and the housing detection sensor 13 and receives information input from the barcode reader 12 and a detection result of the housing detection sensor 13.

CPU17は、検査装置1の動作を制御する。CPU17は、録音手段14、音声処理部15、または通信制御部16の各機能がプログラムとして実装される場合、記憶装置18に記憶されたプログラムを読み出して、読み出したプログラムを実行する。   The CPU 17 controls the operation of the inspection apparatus 1. CPU17 reads the program memorize | stored in the memory | storage device 18, when each function of the recording means 14, the audio | voice processing part 15, or the communication control part 16 is mounted as a program, and performs the read program.

被検査体2は、スピーカ制御部22、およびCPU23を備える。スピーカ制御部22は、図3の説明で後述する所定の周期で繰り返される、基準音と基準音に続く無音区間とを生成して、生成した基準音を所定の音量で右スピーカ21Rおよび左スピーカ21Lから再生させる。CPU17は、スピーカ制御部22および図示しない被検査体2の他の機能を制御してもよい。   The device under test 2 includes a speaker control unit 22 and a CPU 23. The speaker control unit 22 generates a reference sound and a silent section following the reference sound, which are repeated at a predetermined period described later in the description of FIG. 3, and the generated reference sound is generated at a predetermined volume with the right speaker 21R and the left speaker. Play from 21L. The CPU 17 may control other functions of the speaker control unit 22 and the inspected object 2 (not shown).

被検査体2には、バーコードリーダ12によって読み取られるバーコード24が貼付け、または、紐付けによって設けられている。   A bar code 24 that is read by the bar code reader 12 is attached to the object to be inspected 2 or attached thereto.

次に、図3を用いて、被検査体2から出力される基準音を説明する。図3(a)は、右スピーカから出力される基準音の音声パターンの一例を示す図である。図3(b)は、左スピーカから出力される基準音の音声パターンの一例を示す図である。   Next, the reference sound output from the device under test 2 will be described with reference to FIG. FIG. 3A is a diagram illustrating an example of the sound pattern of the reference sound output from the right speaker. FIG. 3B is a diagram illustrating an example of the sound pattern of the reference sound output from the left speaker.

図3(a)および図3(b)において、基準音はT1秒の間、右スピーカ21Rおよび左スピーカ21Lから繰り返し出力される一定周波数の音である。繰り返される基準音と基準音との間には、無音部として図示するT2秒の無音区間が設けられる。ノイズ異常の有無は、この無音区間におけるノイズ不良の有無によって判断される。基準音と無音区間は、一定周期(T1+T2)にて繰り返される。図2で説明した録音手段14は、基準音と無音区間の音とを音声データとして録音する。なお、無音区間は、本来は無音の区間であるが、本実施例においては無音区間においてマイク11から入力されて録音される音を「無音区間の音」として表現している。   3 (a) and 3 (b), the reference sound is a sound with a constant frequency that is repeatedly output from the right speaker 21R and the left speaker 21L for T1 seconds. Between the repeated reference sound and the reference sound, a silent section of T2 seconds illustrated as a silent part is provided. The presence / absence of noise abnormality is determined by the presence / absence of noise failure in the silent section. The reference sound and the silent section are repeated at a constant cycle (T1 + T2). The recording unit 14 described with reference to FIG. 2 records the reference sound and the sound of the silent section as sound data. The silent section is originally a silent section, but in the present embodiment, the sound input and recorded from the microphone 11 in the silent section is expressed as “sound in the silent section”.

基準音は左右のスピーカから同時に再生される。このとき、右スピーカ再生用の基準音の周波数は、左スピーカ再生用の基準音の周波数とは異なった値とする。例えば、右スピーカ再生用の基準音の周波数を1KHzとし、左スピーカ再生用の基準音の周波数を2KHzとすることができる。   The reference sound is reproduced simultaneously from the left and right speakers. At this time, the frequency of the reference sound for right speaker reproduction is set to a value different from the frequency of the reference sound for left speaker reproduction. For example, the frequency of the reference sound for reproducing the right speaker can be set to 1 KHz, and the frequency of the reference sound for reproducing the left speaker can be set to 2 KHz.

異なる周波数が同時に録音された音声データは後述するFFT(Fast Fourier Transform:高速フーリエ変換)によって周波数毎にて分離されて、周波数毎に音量、つまり音の振幅を測定することができる。スピーカ再生用基準音の周波数を左右で異なる値とすることにより、録音された音声データから、同時に再生された右スピーカ21Rから出力された基準音の音量と左スピーカ21Lから出力された基準音の音量とを分離して音量を測定することができる。   Audio data in which different frequencies are recorded simultaneously is separated for each frequency by FFT (Fast Fourier Transform) described later, and the volume, that is, the amplitude of the sound, can be measured for each frequency. By setting the frequency of the reference sound for speaker reproduction to different values on the left and right, the volume of the reference sound output from the right speaker 21R and the reference sound output from the left speaker 21L simultaneously reproduced from the recorded sound data The volume can be measured separately from the volume.

本実施形態では、左右2台のスピーカから周波数の異なる二つの基準音を再生するが、例えば、スピーカが3個以上の場合であっても、それぞれのスピーカから周波数の異なる基準音を再生させることにより、それぞれの基準音の分離が可能となる。   In this embodiment, two reference sounds having different frequencies are reproduced from the two left and right speakers. For example, even when there are three or more speakers, the reference sounds having different frequencies are reproduced from the respective speakers. Thus, it is possible to separate each reference sound.

次に、図4を用いて、被検査体2がコンベア3に載置されて移動する際に、マイク11によって収集される音声の推移を説明する。図4は、被検査対象の移動にともなう収集される音声の音量変化の一例を示す図である。   Next, the transition of the sound collected by the microphone 11 when the inspection object 2 is placed on the conveyor 3 and moves will be described with reference to FIG. FIG. 4 is a diagram showing an example of a change in volume of the collected voice accompanying the movement of the subject to be inspected.

図4において、t1からt5は、コンベア3に載置された被検査体2がマイク11の下を移動するときの時系列を示している。t1は、マイク11の図示左側に右スピーカ21Rがあるときである。t2は、マイク11と右スピーカ21Rとが最短距離となるときである。t3は、マイク11が右スピーカ21Rと左スピーカ21Lの中間に位置するときである。t4は、マイク11と左スピーカ21Lとが最短距離となるときである。t5は、マイク11の右側に左スピーカ21Lがあるときである。   In FIG. 4, t <b> 1 to t <b> 5 indicate a time series when the inspection object 2 placed on the conveyor 3 moves under the microphone 11. t1 is when the right speaker 21R is on the left side of the microphone 11 in the figure. t2 is when the microphone 11 and the right speaker 21R have the shortest distance. t3 is when the microphone 11 is positioned between the right speaker 21R and the left speaker 21L. t4 is when the microphone 11 and the left speaker 21L have the shortest distance. t5 is when the left speaker 21L is on the right side of the microphone 11.

図4で図示するグラフにおいて、SRは右スピーカ21Rから1KHzで再生される基準音の音量を示している。NRは、右スピーカ21Rから発生する不良ノイズの音量を示している。SLは左スピーカ21Lから2KHzで再生される基準音の音量を示している。NLは、左スピーカ21Lから発生する不良ノイズの音量を示している。   In the graph shown in FIG. 4, SR indicates the volume of the reference sound reproduced at 1 KHz from the right speaker 21R. NR indicates the volume of defective noise generated from the right speaker 21R. SL indicates the volume of the reference sound reproduced at 2 KHz from the left speaker 21L. NL indicates the volume of defective noise generated from the left speaker 21L.

マイク11で収集される音声の音量は、マイク11とスピーカ21(R、L)の距離の二乗に反比例する。マイク11とスピーカ21(R、L)の距離が最短になったときに最大値となり、たとえば、t2においてSRとNRの音量は最大値となり、t4においてSLとNLの音量は最大値となる。SRとNRは同じ右スピーカ21Rから生じる音なので、被検査体2の移動にともなう音量の変動は、マイク11とスピーカ21(R、L)の距離が等しいSRとNRでは同じ変動量として記録される。また、SLとNLも同様に同じ変動量として記録される。したがって、スピーカから発生する不良ノイズの経時的な音量の変動と基準音の経時的な音量の変動とを比較することにより、不良ノイズを発生させているスピーカを特定することができる。   The volume of the sound collected by the microphone 11 is inversely proportional to the square of the distance between the microphone 11 and the speaker 21 (R, L). The maximum value is obtained when the distance between the microphone 11 and the speaker 21 (R, L) is the shortest. For example, the volume of SR and NR is the maximum value at t2, and the volume of SL and NL is the maximum value at t4. Since SR and NR are sounds generated from the same right speaker 21R, the fluctuations in the volume due to the movement of the subject 2 are recorded as the same fluctuation amounts in SR and NR where the distance between the microphone 11 and the speakers 21 (R, L) is equal. The Similarly, SL and NL are recorded as the same fluctuation amount. Therefore, by comparing the fluctuation of the volume of defective noise generated from the speaker over time with the fluctuation of the volume of reference sound over time, the speaker generating the defective noise can be identified.

次に、図5を用いて、図2で説明した音声処理部15において周波数毎の最大値を求める方法を説明する。図5は、時間分解能および周波数分解能毎の演算の一例を示す図である。   Next, a method for obtaining the maximum value for each frequency in the audio processing unit 15 described in FIG. 2 will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of calculation for each time resolution and frequency resolution.

図5の左側のグラフは、音声処理部15が、図3で説明した無音区間の音声データを時間分解能Δt(Δt1、Δt2、Δt3、およびΔt4)で区切り、Δtで区切られたそれぞれの音声データに対してFFT処理を行ったものである。Δt1では、周波数faの環境雑音と周波数fcのスピーカノイズが測定されている(但し、この時点では環境雑音とスピーカノイズとの切り分けはしていない)。Δt2では、周波数fcのスピーカノイズと周波数fdの環境雑音が測定されている。Δt3では、音声が測定されていない。さらに、Δt4では、周波数fbの環境雑音と周波数fcのスピーカノイズが測定されている。   In the graph on the left side of FIG. 5, the voice processing unit 15 divides the voice data in the silent section described in FIG. 3 by the time resolution Δt (Δt1, Δt2, Δt3, and Δt4), and the respective voice data divided by Δt. Is subjected to FFT processing. At Δt1, the environmental noise of the frequency fa and the speaker noise of the frequency fc are measured (however, the environmental noise and the speaker noise are not separated at this time). At Δt2, speaker noise at frequency fc and environmental noise at frequency fd are measured. At Δt3, no sound is measured. Furthermore, at Δt4, environmental noise at frequency fb and speaker noise at frequency fc are measured.

図5右側のグラフは、音声処理部15が、記録された音声データの周波数を周波数分解能Δfの幅で分割し、それぞれのΔfの中で振幅値が最大値となる波形を選択して、一つのグラフとしたものである。fa、fb、およびfdの環境雑音はΔt1からΔt4までの間にそれぞれ1回のみが測定されたため、測定されたそれぞれの波形がそのまま記録されている。一方、周波数fcのスピーカノイズは、3回測定されているため、振幅値が最大であるΔt1の波形が選択されて記録されている。以上の処理により、Δf毎の振幅値の最大値を求めることができる。   In the graph on the right side of FIG. 5, the audio processing unit 15 divides the frequency of the recorded audio data by the width of the frequency resolution Δf, selects a waveform having the maximum amplitude value in each Δf, It is a graph. Since the environmental noises fa, fb, and fd were measured only once between Δt1 and Δt4, the measured waveforms are recorded as they are. On the other hand, since the speaker noise of the frequency fc has been measured three times, the waveform of Δt1 having the maximum amplitude value is selected and recorded. With the above processing, the maximum amplitude value for each Δf can be obtained.

次に、図5で説明した周波数毎の音声の最大値の算出を、基準音の再生回数分繰り返す方法を、図6を用いて説明する。図6は、無音区間の音声データの最大値演算の一例を示す図である。   Next, a method for repeating the calculation of the maximum value of the sound for each frequency described in FIG. 5 by the number of times of reproduction of the reference sound will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of the maximum value calculation of audio data in a silent section.

図6において、音声処理部15は、音声データから切り出された無音区間の音声データをS1からSNまで繰り返して処理する。例えば、SNの"N"は、一つの被検査体2がマイク11の下部を通過する間に、基準音がN回再生されることを表している。   In FIG. 6, the voice processing unit 15 repeatedly processes the voice data of the silent section extracted from the voice data from S1 to SN. For example, “N” of SN represents that the reference sound is reproduced N times while one inspection object 2 passes under the microphone 11.

音声処理部15は、切り出した無音部音声データを、それぞれ時間分解能Δtおよび周波数分解能Δfにて分解する。S1の無音部音声データでは、無音部のT2秒をΔtで分割してFFTの処理を行い、Δf毎の最大値を選択して保存している。例えば、時間分可能と周波数分解能をそれぞれ1024ビットとすると、Δtは、無音部T2の2秒を1024で除した(2/1024)秒とすることができる。また、Δfは、スピーカの音声出力帯域が最大20KHzまでであった場合、(20000/1024)Hzとすることができる。時間分解能と周波数分解能は、例えばCPU17の処理能力に応じて設定できるようにしてもよい。   The voice processing unit 15 decomposes the cut-out silent part voice data with the time resolution Δt and the frequency resolution Δf, respectively. In the silent part voice data of S1, T2 seconds of the silent part are divided by Δt to perform FFT processing, and the maximum value for each Δf is selected and stored. For example, assuming that time is possible and the frequency resolution is 1024 bits, Δt can be (2/1024) seconds obtained by dividing 2 seconds of the silent part T2 by 1024. Δf can be set to (20000/1024) Hz when the audio output band of the speaker is up to 20 KHz. The time resolution and the frequency resolution may be set according to the processing capability of the CPU 17, for example.

音声処理部15は、周波数f1からfnのおける音声の最大値を入力して保存する。ここで保存される音声の最大値には、例えば録音の開始からの経過時間を合わせて記録してもよい。音声処理部15は、基準音の再生回数、最大値の保存処理を繰り返す。   The sound processing unit 15 inputs and stores the maximum value of sound at frequencies f1 to fn. The maximum value of the audio stored here may be recorded together with the elapsed time from the start of recording, for example. The sound processing unit 15 repeats the process of storing the number of reproductions of the reference sound and the maximum value.

次に図7を用いて、図6で説明した処理の結果を説明する。図7は、周波数毎の音量変化曲線の一例を示す図である。   Next, the result of the process described with reference to FIG. 6 will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of a volume change curve for each frequency.

図7において図示するグラフは、基準音が7回記録される場合を示している。S1からS7は、基準音の音量変化を表している。基準音の測定回数は、基準音の変動量を表す包絡線が得られる回数であることが望ましい。f1からfnのグラフは、測定された周波数毎の音量の最大値をS1からS7の経時でプロットして包絡線として表したものである。f1からfnは、基準音と同じ変動量で記録されているため、録音された音声の発生源は基準音が再生されるスピーカであり、被検査体2からの不良ノイズであることが推測される。   The graph shown in FIG. 7 shows a case where the reference sound is recorded seven times. S1 to S7 represent volume changes of the reference sound. The number of times the reference sound is measured is desirably the number of times that an envelope representing the amount of change in the reference sound is obtained. The graphs from f1 to fn are obtained by plotting the maximum value of the measured volume for each frequency over time from S1 to S7 and expressing it as an envelope. Since f1 to fn are recorded with the same amount of fluctuation as the reference sound, the source of the recorded sound is a speaker from which the reference sound is reproduced, and is assumed to be defective noise from the device under test 2. The

一方、周波数faで表される音声は、経時で一定値を示している。従って、周波数faの音声は、被検査体2の移動にともなって変動しない、例えば環境雑音であると推測される。   On the other hand, the sound represented by the frequency fa shows a constant value over time. Therefore, it is presumed that the sound of the frequency fa is, for example, environmental noise that does not vary with the movement of the inspection object 2.

次に、測定された音声から不良ノイズを抽出する方法を、図8、図9、および図10を用いて説明する。図8は、基準音と不良ノイズの音量変化曲線の一例を示す図である。図9は、基準音と不良ノイズの差分の変化の一例を示す図である。図10は、基準音と環境雑音の音量変化曲線の一例を示す図である。   Next, a method for extracting defective noise from the measured voice will be described with reference to FIGS. 8, 9, and 10. FIG. FIG. 8 is a diagram illustrating an example of a volume change curve of the reference sound and the defective noise. FIG. 9 is a diagram illustrating an example of a change in the difference between the reference sound and the defective noise. FIG. 10 is a diagram illustrating an example of a volume change curve of the reference sound and the environmental noise.

図8において、グラフAは基準音の振幅を示す包絡線である。また、グラフBはグラフAと音声の変動量を比較する対象の音声の包絡線である。音声処理部15は、グラフAとグラフBの差分を算出する。算出されたグラフAとグラフBの差分(A−B)を図9に示す。   In FIG. 8, graph A is an envelope showing the amplitude of the reference sound. Graph B is an envelope of the target speech for which the amount of fluctuation in speech is compared with graph A. The voice processing unit 15 calculates the difference between the graph A and the graph B. The calculated difference (A−B) between graph A and graph B is shown in FIG.

図9において、差分(A−B)は、振幅が予め設定された上限値と下限値内に入っている。音声処理部15は、差分(A−B)が上限値と下限値内にある場合に、グラフBの音声が不良ノイズであると判断し、この周波数の音声を不良ノイズとして抽出し、被検査体2にノイズ異常があると判断する。   In FIG. 9, the difference (A−B) is within the upper limit value and the lower limit value in which the amplitude is set in advance. When the difference (A−B) is within the upper limit value and the lower limit value, the sound processing unit 15 determines that the sound of the graph B is defective noise, extracts the sound of this frequency as defective noise, and performs inspection. It is determined that the body 2 has noise abnormality.

図10において、グラフCは基準音のグラフAと比較する音声の包絡線である。音声処理部15は、グラフAとグラフCの差分を算出する。算出されたグラフAとグラフCの差分(A−C)を図11に示す。   In FIG. 10, a graph C is an envelope of the voice compared with the reference sound graph A. The voice processing unit 15 calculates the difference between the graph A and the graph C. The difference (AC) between the calculated graph A and graph C is shown in FIG.

図11において、差分(A−C)は、振幅が予め設定された下限値を下回っている。音声処理部15は、差分(A−C)が上限値と下限値の間から外れた場合に、グラフCの音声が不良ノイズではないと判断する。なお、本実施形態では差分によるノイズ異常の検出を行ったが、例えば、図16のフォローチャートで後述する近似直線を求める方法により不良ノイズを抽出してもよい。   In FIG. 11, the difference (A−C) is smaller in amplitude than the preset lower limit value. The voice processing unit 15 determines that the voice of the graph C is not bad noise when the difference (A−C) deviates from between the upper limit value and the lower limit value. In the present embodiment, noise anomaly is detected based on the difference. However, for example, defective noise may be extracted by a method of obtaining an approximate line described later with reference to the follow chart of FIG.

以上の方法により、録音された音声データの中から、不良ノイズを抽出し、被検査体2のノイズ異常を検出することができる。   By the above method, defective noise can be extracted from the recorded audio data, and noise abnormality of the device under test 2 can be detected.

なお、本実施形態で抽出することができる不良ノイズは、ノイズの周波数が一定であり、ノイズの音量の最大値が一定であり、かつ、基準音の包絡線と変動量を比較する包絡線を得ることができる頻度で発生するものである。例えば、先に説明した音声ICの不良は上記の条件に合致するため抽出が可能となる。   The defective noise that can be extracted in this embodiment has a constant noise frequency, a constant maximum value of the noise volume, and an envelope that compares the fluctuation amount with the reference sound envelope. It occurs at a frequency that can be obtained. For example, the audio IC defect described above can be extracted because it satisfies the above conditions.

また、不良ノイズではないとして判断できる雑音は、録音される音声の音量が基準音とともに変動しない、例えば人の声、チャイム、またはエアガン等の環境雑音等である。   Further, noise that can be determined as not being bad noise is environmental noise such as a human voice, chime, air gun, or the like, in which the volume of the recorded voice does not vary with the reference sound.

次に、検査装置1における音声検査の工程の動作を、図12から図16のフローチャートを用いて説明する。図12は、検査装置の動作の一例を示すフローチャートである。以下のフローチャートで示す検査装置1の動作は、例えば図1で説明したCPU17によって実行される。   Next, the operation | movement of the process of the audio | voice test | inspection in the test | inspection apparatus 1 is demonstrated using the flowchart of FIGS. FIG. 12 is a flowchart illustrating an example of the operation of the inspection apparatus. The operation of the inspection apparatus 1 shown in the following flowchart is executed by, for example, the CPU 17 described with reference to FIG.

図12において、筐体検出センサ13から被検査体2の検出結果を読み出し(S11)、センサがONか否かを判断する(S12)。センサがONになった場合(S12YES)、図1で説明したバーコードリーダ12によって、バーコード24から製品No.の情報を読み込み(S13)、被検査体2のスピーカ(21R、21L)から繰り返し再生される基準音と無音部の音声をマイクによって収集して録音を開始する(S14)。   In FIG. 12, the detection result of the device under test 2 is read from the housing detection sensor 13 (S11), and it is determined whether or not the sensor is ON (S12). When the sensor is turned on (YES at S12), the barcode reader 12 described with reference to FIG. (S13), the reference sound repeatedly reproduced from the speaker (21R, 21L) of the device under test 2 and the sound of the silent part are collected by the microphone and recording is started (S14).

次に、筐体検出センサ13から検出結果を読み出し(S15)、センサがOFFになった場合(S16でYES)、録音を終了し(S17)、録音データを記憶装置18に保存する(S18)。次に、保存した録音データの解析、およびノイズ異常の検出を行い(S19)、動作を終了する。   Next, the detection result is read from the housing detection sensor 13 (S15). When the sensor is turned off (YES in S16), the recording is terminated (S17), and the recorded data is stored in the storage device 18 (S18). . Next, the stored recording data is analyzed and noise abnormality is detected (S19), and the operation is terminated.

次に、ステップS19の詳細を、図13を用いて説明する。図13は、音声データの解析処理およびノイズ異常検出処理の一例を示すフローチャートである。   Next, details of step S19 will be described with reference to FIG. FIG. 13 is a flowchart illustrating an example of an audio data analysis process and a noise abnormality detection process.

図13において、ステップS21からS30までは、右スピーカ用基準音の解析処理である。また、ステップS31からS39までは、左スピーカ用基準音の解析処理である。   In FIG. 13, steps S21 to S30 are analysis processing for the right speaker reference sound. Steps S31 to S39 are analysis processing for the left speaker reference sound.

先ず、記憶装置18に録音された音声データを読み込む(S21)。音声データは、例えば外部記憶媒体から読み込んでもよい。   First, the voice data recorded in the storage device 18 is read (S21). The audio data may be read from an external storage medium, for example.

次に、処理対象の音声データに対して、窓関数をΔtずつずらしながら、周波数分解能Δfの短時間フーリエ変換(FFT)を行う(S22)。短時間フーリエ変換を行うことにより、Δtの区間に対する処理時間が短縮できる。   Next, short-time Fourier transform (FFT) with frequency resolution Δf is performed on the audio data to be processed while shifting the window function by Δt (S22). By performing the short-time Fourier transform, the processing time for the interval Δt can be shortened.

次に、短時間フーリエ変換後のデータを検索して、右スピーカ用基準音(1KHz)の周波数成分を検出し、基準音が検出されたらΔt毎に基準音検出フラグをONに設定する(S23)。検出フラグが全く無い場合は(S24でNO)、右スピーカからの基準音が再生されていないので、右スピーカ音声出力異常として判断する(S30)。基準音の検出フラグが1つ以上ONである場合(S24でYES)、検出された基準音の数をカウントする検出カウンタを、「N=0」にセットする(S25)。   Next, the data after the short-time Fourier transform is searched to detect the frequency component of the right speaker reference sound (1 KHz). When the reference sound is detected, the reference sound detection flag is set to ON every Δt (S23). ). If there is no detection flag (NO in S24), the reference sound from the right speaker is not reproduced, and therefore it is determined that the right speaker sound output is abnormal (S30). When one or more reference sound detection flags are ON (YES in S24), a detection counter for counting the number of detected reference sounds is set to “N = 0” (S25).

次に、基準音検出フラグを検索して、基準音の出力時間幅"T1"と同じ時間分、連続するΔtにおいて検出フラグがONしているか否かを判断する(S26)。検出フラグがONしている場合は(S26でYES)、検出した基準音の開始時間と基準音の振幅値を記録して、検出カウンタNを+1インクリメントする(S27)。ここでは、出力時間幅をチェックすることにより、基準音と同じ周波数のノイズを誤カウントすることを防止している。   Next, the reference sound detection flag is searched, and it is determined whether or not the detection flag is ON at Δt continuous for the same time as the output time width “T1” of the reference sound (S26). If the detection flag is ON (YES in S26), the start time of the detected reference sound and the amplitude value of the reference sound are recorded, and the detection counter N is incremented by +1 (S27). Here, the output time width is checked to prevent erroneous counting of noise having the same frequency as the reference sound.

基準音が検出されたΔt毎の検出フラグを全て走査するまで(S28でNO)、ステップS26〜S27を繰り返し、全ての検出フラグの走査が完了すると(S28でYES)、検出カウンタNが5以上か否かをチェックする(S29)。ここで検出カウンタが5未満の場合(S29でNO)、図7等で説明した基準音による包絡線を描くだけのプロット数が得られず、右スピーカ音声出力異常と判断する(S30)。検出カウンタが5以上の場合は(S29でYES)、後述する異常音と環境雑音との切り分け処理において比較対象となる基準音が使用可能であると判断される。   Steps S26 to S27 are repeated until all the detection flags for each Δt in which the reference sound has been detected are scanned (NO in S28). When all the detection flags are scanned (YES in S28), the detection counter N is 5 or more. It is checked whether or not (S29). If the detection counter is less than 5 (NO in S29), the number of plots required to draw the envelope of the reference sound described in FIG. 7 and the like cannot be obtained, and it is determined that the right speaker audio output is abnormal (S30). When the detection counter is 5 or more (YES in S29), it is determined that the reference sound to be compared can be used in the separation process of abnormal sound and environmental noise described later.

次に、ステップS31からS38において、右スピーカ用基準音の解析処理で説明したステップS23からS30までの処理と全く同じ解析処理を左スピーカの基準音に対しても行う。処理の内容は説明が重複するので省略する。   Next, in steps S31 to S38, the same analysis processing as that in steps S23 to S30 described in the processing for analyzing the right speaker reference sound is performed on the reference sound of the left speaker. Since the description of the contents of the processing is duplicated, it will be omitted.

次に、異常音と環境雑音との切り分け処理を行い(S39)、ステップS19の処理を終了する。   Next, an abnormal sound and environmental noise are separated (S39), and the process of step S19 is terminated.

次に、ステップS39における、異常音と環境雑音との切り分け処理の詳細を、図14を用いて説明する。図14は、異常音と環境雑音の切り分け処理の一例を示すフローチャートである。   Next, details of the separation process between the abnormal sound and the environmental noise in step S39 will be described with reference to FIG. FIG. 14 is a flowchart illustrating an example of an abnormal sound and environmental noise separation process.

図14において、ステップS41からステップS49は、右スピーカ21Rから発生する異常音と環境雑音との切り分け処理である。また、ステップS50からS58は、左スピーカ21Lから発生する異常音と環境雑音との切り分け処理である。   In FIG. 14, steps S41 to S49 are processes for separating abnormal sounds generated from the right speaker 21R and environmental noises. Steps S50 to S58 are a process for separating abnormal sound generated from the left speaker 21L and environmental noise.

先ず、右スピーカ用基準音の音量変化曲線を作成する。基準音の音量変化曲線は、図13で説明した検出された基準音の数に応じて作成される。図7で説明した基準音の変化曲線は、検出された基準音がS1からS7の7個の場合である。音量変化曲線は、時間tに対する関数f(t)で表される。   First, a volume change curve of the right speaker reference sound is created. The volume change curve of the reference sound is created according to the number of detected reference sounds described with reference to FIG. The change curve of the reference sound described with reference to FIG. 7 corresponds to the case where there are seven detected reference sounds S1 to S7. The volume change curve is represented by a function f (t) with respect to time t.

次に、無音区間である無音部を基準音の数(S1〜S7)に合わせて切り分ける(S42)。無音部の抽出は、基準音の開始時間(H_R_T[m])に基準音の再生時間T1を加えた時間を開始位置として、無音部の時間T2の時間を音声データから抽出する。   Next, the silent part, which is a silent section, is cut according to the number of reference sounds (S1 to S7) (S42). The silent part is extracted by extracting the time of the silent part time T2 from the voice data, with the time obtained by adding the reference sound reproduction time T1 to the reference sound start time (H_R_T [m]) as the start position.

次に、無音部音声データの最大振幅値の格納場所であるNS_R[m][n]と変数mをクリアする(S43)。   Next, NS_R [m] [n], which is the storage location of the maximum amplitude value of the silent part voice data, and the variable m are cleared (S43).

次に、抽出したS1からS7の無音部の音声データは、図6で説明した行列状の変数として、F_R[m][n][o]に、時間分解能Δt、及び周波数分解能Δfに分解して格納する。ここで、mは無音部音声データの繰り返し数(S1〜SN)の変数である。nは、無音部を周波数分解能Δfで分割した分割数の変数である。例えば、無音部の周波数を1024で分割する場合は、nは1〜1024の値となる。また、oは、無音部T2を時間分解能Δtで分割した分割数の変数である。例えば、無音部を1024で分割した場合、oは1〜1024の値となる。   Next, the extracted sound data of the silent part from S1 to S7 is decomposed into F_R [m] [n] [o], time resolution Δt, and frequency resolution Δf as matrix-like variables described in FIG. Store. Here, m is a variable of the number of repetitions (S1 to SN) of silent part voice data. n is a variable of the number of divisions obtained by dividing the silent part with the frequency resolution Δf. For example, when dividing the frequency of the silent part by 1024, n is a value from 1 to 1024. In addition, o is a variable of the number of divisions obtained by dividing the silent part T2 by the time resolution Δt. For example, when the silent part is divided by 1024, o has a value of 1 to 1024.

次に、変数nをクリアし、F_R[m][n][o]で格納された無音部の音声データの1周期分を対象に、周波数Δf毎に最大振幅値の演算を行う。演算結果は、最大振幅値変数NS_R[m][n]と最大振幅値時間変数NST_R[m][n] に格納する(S44)。ここで、振幅が最大となる時間をoとすると、NS_R[m][n]=F_R[m][n][o]、NST_R[m][n]=oである。   Next, the variable n is cleared, and the maximum amplitude value is calculated for each frequency Δf for one period of the sound data of the silent part stored in F_R [m] [n] [o]. The calculation result is stored in the maximum amplitude value variable NS_R [m] [n] and the maximum amplitude value time variable NST_R [m] [n] (S44). Here, NS_R [m] [n] = F_R [m] [n] [o], NST_R [m] [n] = o, where o is the time when the amplitude is maximum.

次に、周波数分解能Δfで分割した周波数の分割数nが最大値で無い場合(S45でNO)、nを+1インクリメントして(S46)、分割された全ての周波数における最大振幅値とその時間を求める。   Next, when the frequency division number n divided by the frequency resolution Δf is not the maximum value (NO in S45), n is incremented by +1 (S46), and the maximum amplitude value and the time for all the divided frequencies are obtained. Ask.

次に、基準音の検出数の変数であるmが最大値で無い場合(S47でNO)、mを+1インクリメントして(S48)、ステップS44からS46までの処理を繰り返す。mが最大値となった場合に(S47でYES)、右スピーカ21Rについての不良ノイズを抽出してノイズ異常の検出を行う(S49)。   Next, when m, which is a variable of the number of detected reference sounds, is not the maximum value (NO in S47), m is incremented by +1 (S48), and the processing from steps S44 to S46 is repeated. When m reaches the maximum value (YES in S47), defective noise for the right speaker 21R is extracted to detect noise abnormality (S49).

次に、ステップS50からS58において、左スピーカ21Lから発生する異常音と環境雑音との切り分け処理を行う。ステップS50からS58の処理は、右スピーカにおけるステップS41からS49の処理と同じ内容であるため説明を省略する。   Next, in steps S50 to S58, a process for separating abnormal sound generated from the left speaker 21L and environmental noise is performed. Since the processing from step S50 to S58 is the same as the processing from step S41 to S49 in the right speaker, the description thereof is omitted.

次に、ステップS49およびS58の不良ノイズの抽出処理によるノイズ異常の検出処理について、図15及び図16を用いて説明する。図15は、第1のノイズ異常の検出処理の一例を示すフローチャートである。さらに、図16は、第2のノイズ異常の検出処理の一例を示すフローチャートである。   Next, the noise abnormality detection process by the defective noise extraction process in steps S49 and S58 will be described with reference to FIGS. FIG. 15 is a flowchart illustrating an example of a first noise abnormality detection process. Furthermore, FIG. 16 is a flowchart illustrating an example of a second noise abnormality detection process.

図15において、図8及び図10で図示したとおり、S1からSnのそれぞれの周期において、fn毎の無音部の振幅最大値から、最大振幅値が発生する時間tの基準音の振幅値f(t)を減算する(S61)。例えば、"NS_R[m][n]−f(NST_R[m][n])"である。また、ステップS61では、カウンタaの値をクリアする。   In FIG. 15, as illustrated in FIGS. 8 and 10, the amplitude value f () of the reference sound at the time t at which the maximum amplitude value is generated from the maximum amplitude value of the silent part for each fn in each cycle of S1 to Sn. t) is subtracted (S61). For example, “NS_R [m] [n] −f (NST_R [m] [n])”. In step S61, the value of the counter a is cleared.

次に、S1からSnの変数Sxにおける減算結果が、一定範囲内に入っているか否かを判定する(S62)。一定範囲とは、例えば、図9及び図11で説明した、予め定められた上限値及び下限値の範囲である。減算結果が一定範囲内である場合(S62でYES)、カウンタaの値を+1インクリメントする。ステップS62の判定は、全ての周期S1〜Snが終了するまで(S64)、繰り返して行われる。   Next, it is determined whether or not the subtraction result in the variable Sx from S1 to Sn is within a certain range (S62). The fixed range is, for example, a range of predetermined upper limit value and lower limit value described in FIGS. 9 and 11. When the subtraction result is within a certain range (YES in S62), the value of the counter a is incremented by +1. The determination in step S62 is repeatedly performed until all the cycles S1 to Sn are completed (S64).

次に、カウンタaの値がS1〜Snまでの個数の値Nに対して所定の割合以上であるか否かを判断する(S65)。所定の割合以上である場合(S65でYES)、無音部で検出された音声は、基準音の変動量に追随して変動しているものであると判断し、被試験体2のスピーカから発生した不良ノイズを抽出することができる。以上の工程により、被検査体2のノイズ異常が検出される(S66)。   Next, it is determined whether or not the value of the counter a is equal to or greater than a predetermined ratio with respect to the number of values N from S1 to Sn (S65). If it is equal to or greater than the predetermined ratio (YES in S65), it is determined that the sound detected in the silent part is fluctuating following the fluctuation amount of the reference sound, and is generated from the speaker of the device under test 2 Defective noise can be extracted. Through the above steps, the noise abnormality of the device under test 2 is detected (S66).

一方、所定の割合未満である場合(S65でNO)、被試験体2のノイズ異常ではないと判断する(S67)。例えば、環境雑音が音声データとして記録されている場合、被試験体2のノイズ異常と切り分けることができる。   On the other hand, when it is less than the predetermined ratio (NO in S65), it is determined that the noise of the DUT 2 is not abnormal (S67). For example, when environmental noise is recorded as audio data, it can be distinguished from noise abnormality of the DUT 2.

ノイズ異常の判断は、全周波数であるf1からfnについて行われ(S68)、ノイズ異常の検出処理を終了する。   The determination of noise abnormality is performed for all frequencies f1 to fn (S68), and the noise abnormality detection process is terminated.

図16の処理は、図15の点線で囲ったステップS62からS65までの処理を、ステップS69の処理で代替したものである。したがって、同じ符号を付したステップの説明は省略する。   The process of FIG. 16 is obtained by substituting the process of steps S62 to S65 surrounded by the dotted line of FIG. 15 with the process of step S69. Therefore, the description of steps with the same reference numerals is omitted.

図16において、ステップ61の処理で得られた減算結果の近似曲線が所定の範囲内にあるか否かを判断する(S69)。図15で説明したステップS65では、減算値が所定の範囲内に入っている割合で判断を行ったのに対して、ステップ69では、得られた減算値から近似曲線を求め、その曲線が所定範囲に入っているか否かを判断している。近似曲線による判断を行うことにより、基準音との近似度を求めることができるので、近似度を設定してノイズ異常の判断を行うことが可能となる。   In FIG. 16, it is determined whether or not the approximate curve of the subtraction result obtained in step 61 is within a predetermined range (S69). In step S65 described with reference to FIG. 15, the determination is made at a ratio where the subtraction value is within the predetermined range, whereas in step 69, an approximate curve is obtained from the obtained subtraction value, and the curve is determined in advance. It is judged whether it is in the range. Since the approximation with the reference sound can be obtained by performing the determination with the approximate curve, it is possible to determine the noise abnormality by setting the approximation.

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.

以上の説明に関し、更に以下の項を開示する。
(付記1)
音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音する録音工程と、
前記基準音の変動を算出し、前記検査音の変動を算出する算出工程と、
前記基準音の変動と前記検査音の変動とを比較して、前記被試験体から不良ノイズを出力しているどうか判定する判定工程と
を含む音声検査方法。
(付記2)
前記判定工程は、前記基準音の変動と前記検査音の変動の差分を基に判定する、付記1に記載の音声検査方法。
(付記3)
前記算出工程は、録音された前記検査声を時系列で分割して周波数毎の振幅の最大値を算出し、算出された前記振幅の最大値を時系列で記憶することにより前検査音の変動を算出する、付記1又は2に記載の音声検査方法。
(付記4)
前記算出工程は、複数のスピーカから再生されるスピーカ毎に異なった周波数の基準音の変動を算出する、付記1乃至3のいずれか一に記載の音声検査方法。
(付記5)
音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音し、
前記基準音の変動を算出し、前記検査音の変動を算出し、
前記基準音の変動と前記検査音の変動とを比較して、前記被試験体から不良ノイズを抽出する
処理をコンピュータに実行させる音声検査プログラム。
(付記6)
前記抽出する処理は、前記基準音の変動と前記検査音の変動の差分を基に判定する、付記5に記載の音声検査プログラム。
(付記7)
前記算出する処理は、録音された前記検査声を時系列で分割して周波数毎の振幅の最大値を算出し、算出された前記振幅の最大値を時系列で記憶することにより前検査音の変動を算出する、付記5又は6に記載の音声検査プログラム。
(付記8)
前記算出する処理は、複数のスピーカから再生されるスピーカ毎に異なった周波数の基準音の変動を算出する、付記5乃至7のいずれか一に記載の音声検査プログラム。
(付記9)
音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音する録音処理部と、
前記基準音の変動を算出し、前記検査音の変動を算出する算出処理部と、
前記基準音の変動と前記検査音の変動とを比較して、前記被試験体から不良ノイズを抽出する抽出処理部と
を備える音声検査装置。
(付記10)
前記抽出処理部は、前記基準音の変動と前記検査音の変動の差分を基に判定する、付記9に記載の音声検査装置。
(付記11)
前記算出処理部は、録音された前記検査声を時系列で分割して周波数毎の振幅の最大値を算出し、算出された前記振幅の最大値を時系列で記憶することにより前検査音の変動を算出する、付記9又は10に記載の音声検査装置。
(付記12)
前記算出処理部は、複数のスピーカから再生されるスピーカ毎に異なった周波数の基準音の変動を算出する、付記9乃至11のいずれか一に記載の音声検査装置。
Regarding the above description, the following items are further disclosed.
(Appendix 1)
A reference sound repeatedly reproduced from the speaker of the inspected object that moves relative to the microphone that collects the sound, and an inspection sound recorded during a silent interval provided between the reference sound and the reference sound; A recording process of collecting and recording with the microphone;
Calculating a variation of the reference sound and calculating a variation of the inspection sound;
A voice inspection method comprising: a step of determining whether or not defective noise is output from the DUT by comparing the fluctuation of the reference sound and the fluctuation of the inspection sound.
(Appendix 2)
The voice inspection method according to appendix 1, wherein the determination step is performed based on a difference between the variation of the reference sound and the variation of the inspection sound.
(Appendix 3)
The calculation step divides the recorded test voice in a time series to calculate a maximum value of amplitude for each frequency, and stores the calculated maximum value of the amplitude in time series to change the variation of the previous test sound. The sound inspection method according to Supplementary Note 1 or 2, wherein:
(Appendix 4)
The sound inspection method according to any one of appendices 1 to 3, wherein the calculating step calculates a variation in a reference sound having a different frequency for each speaker reproduced from a plurality of speakers.
(Appendix 5)
A reference sound repeatedly reproduced from the speaker of the inspected object that moves relative to the microphone that collects the sound, and an inspection sound recorded during a silent interval provided between the reference sound and the reference sound; Collected and recorded by the microphone,
Calculate the variation of the reference sound, calculate the variation of the inspection sound,
A voice inspection program for causing a computer to execute a process of extracting defective noise from the DUT by comparing the fluctuation of the reference sound and the fluctuation of the inspection sound.
(Appendix 6)
The voice inspection program according to appendix 5, wherein the extraction process is determined based on a difference between the fluctuation of the reference sound and the fluctuation of the inspection sound.
(Appendix 7)
The calculating process divides the recorded test voice in a time series to calculate the maximum value of amplitude for each frequency, and stores the calculated maximum value of the amplitude in time series to thereby calculate the previous test sound. The voice inspection program according to appendix 5 or 6, which calculates fluctuations.
(Appendix 8)
8. The sound inspection program according to any one of appendices 5 to 7, wherein the calculating process calculates a variation in a reference sound having a different frequency for each speaker reproduced from a plurality of speakers.
(Appendix 9)
A reference sound repeatedly reproduced from the speaker of the inspected object that moves relative to the microphone that collects the sound, and an inspection sound recorded during a silent interval provided between the reference sound and the reference sound; A recording processing unit for collecting and recording the sound with the microphone;
A calculation processing unit that calculates the variation of the reference sound and calculates the variation of the inspection sound;
An audio inspection apparatus comprising: an extraction processing unit that compares the variation of the reference sound and the variation of the inspection sound and extracts defective noise from the test object.
(Appendix 10)
The voice inspection device according to appendix 9, wherein the extraction processing unit makes a determination based on a difference between the variation of the reference sound and the variation of the inspection sound.
(Appendix 11)
The calculation processing unit divides the recorded test voice in a time series to calculate a maximum value of amplitude for each frequency, and stores the calculated maximum value of the amplitude in time series to generate a pre-test sound. The voice inspection apparatus according to appendix 9 or 10, which calculates fluctuation.
(Appendix 12)
The voice inspection device according to any one of appendices 9 to 11, wherein the calculation processing unit calculates a variation in a reference sound having a different frequency for each speaker reproduced from a plurality of speakers.

1 検査装置
11 マイク
12 バーコードリーダ
13 筐体検出センサ
14 録音手段
15 音声処理部
16 通信制御部
17 CPU
18 記憶装置
2 被検査体
21R 右スピーカ
21L 左スピーカ
22 スピーカ制御部
23 CPU
24 バーコード
DESCRIPTION OF SYMBOLS 1 Inspection apparatus 11 Microphone 12 Bar code reader 13 Case detection sensor 14 Recording means 15 Audio | voice processing part 16 Communication control part 17 CPU
18 Storage Device 2 Inspected Object 21R Right Speaker 21L Left Speaker 22 Speaker Control Unit 23 CPU
24 Barcode

Claims (6)

音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音する録音工程と、
前記基準音の変動を算出し、前記検査音の変動を算出する算出工程と、
前記基準音の変動と前記検査音の変動とを比較して、前記被検査体から不良ノイズを出力しているどうか判定する判定工程と
を含む音声検査方法。
A reference sound repeatedly reproduced from the speaker of the inspected object that moves relative to the microphone that collects the sound, and an inspection sound recorded during a silent interval provided between the reference sound and the reference sound; A recording process of collecting and recording with the microphone;
Calculating a variation of the reference sound and calculating a variation of the inspection sound;
A sound inspection method comprising: a step of determining whether or not defective noise is output from the object to be inspected by comparing the variation of the reference sound and the variation of the inspection sound.
前記判定工程は、前記基準音の変動と前記検査音の変動の差分を基に判定する、請求項1に記載の音声検査方法。   The voice inspection method according to claim 1, wherein the determination step is performed based on a difference between a variation in the reference sound and a variation in the inspection sound. 前記算出工程は、録音された前記検査音を時系列で分割して周波数毎の振幅の最大値を算出し、算出された前記振幅の最大値を時系列で記憶することにより前記検査音の変動を算出する、請求項1又は2に記載の音声検査方法。 The calculating step divides a time series recorded the test sound calculates the maximum value of the amplitude of each frequency variation of the test sound by storing in time series the maximum value of the calculated the amplitude The voice inspection method according to claim 1, wherein the method is calculated. 前記算出工程は、複数のスピーカから再生されるスピーカ毎に異なった周波数の基準音の変動を算出する、請求項1乃至3のいずれか一項に記載の音声検査方法。   The voice inspection method according to claim 1, wherein the calculating step calculates a change in a reference sound having a different frequency for each speaker reproduced from a plurality of speakers. 音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音し、
前記基準音の変動を算出し、前記検査音の変動を算出し、
前記基準音の変動と前記検査音の変動とを比較して、前記被検査体から不良ノイズを抽出する
処理をコンピュータに実行させる音声検査プログラム。
A reference sound repeatedly reproduced from the speaker of the inspected object that moves relative to the microphone that collects the sound, and an inspection sound recorded during a silent interval provided between the reference sound and the reference sound; Collected and recorded by the microphone,
Calculate the variation of the reference sound, calculate the variation of the inspection sound,
A voice inspection program for causing a computer to execute a process of extracting defective noise from the object to be inspected by comparing the fluctuation of the reference sound and the fluctuation of the inspection sound.
音声を収集するマイクに対して相対的に移動する被検査体のスピーカから繰り返し再生される基準音と、基準音と基準音との間に設けられた無音区間の間に録音された検査音とを前記マイクによって収集して録音する録音処理部と、
前記基準音の変動を算出し、前記検査音の変動を算出する算出処理部と、
前記基準音の変動と前記検査音の変動とを比較して、前記被検査体から不良ノイズを抽出する抽出処理部と
を備える音声検査装置。
A reference sound repeatedly reproduced from the speaker of the inspected object that moves relative to the microphone that collects the sound, and an inspection sound recorded during a silent interval provided between the reference sound and the reference sound; A recording processing unit for collecting and recording the sound with the microphone;
A calculation processing unit that calculates the variation of the reference sound and calculates the variation of the inspection sound;
An audio inspection apparatus comprising: an extraction processing unit that compares the variation of the reference sound and the variation of the inspection sound and extracts defective noise from the object to be inspected.
JP2014069151A 2014-03-28 2014-03-28 Voice inspection apparatus, voice inspection method, and voice inspection program Active JP6467780B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014069151A JP6467780B2 (en) 2014-03-28 2014-03-28 Voice inspection apparatus, voice inspection method, and voice inspection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014069151A JP6467780B2 (en) 2014-03-28 2014-03-28 Voice inspection apparatus, voice inspection method, and voice inspection program

Publications (2)

Publication Number Publication Date
JP2015192364A JP2015192364A (en) 2015-11-02
JP6467780B2 true JP6467780B2 (en) 2019-02-13

Family

ID=54426535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014069151A Active JP6467780B2 (en) 2014-03-28 2014-03-28 Voice inspection apparatus, voice inspection method, and voice inspection program

Country Status (1)

Country Link
JP (1) JP6467780B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7373358B2 (en) * 2019-10-30 2023-11-02 株式会社日立製作所 Sound extraction system and sound extraction method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835039B2 (en) * 2012-03-16 2015-12-24 富士通株式会社 Volume correction method and sound test apparatus

Also Published As

Publication number Publication date
JP2015192364A (en) 2015-11-02

Similar Documents

Publication Publication Date Title
JP5105254B2 (en) Crack detection apparatus and method
RU2017130315A (en) METHOD, SYSTEM AND COMPUTER PROGRAM FOR THE STAGE OF TEACHING ACOUSTIC OR VIBRATION ANALYSIS OF THE MACHINE
US11830518B2 (en) Sound data processing method, sound data processing device, and program
CN114219306B (en) Method, apparatus, medium for establishing welding quality detection model
CN113314144A (en) Voice recognition and power equipment fault early warning method, system, terminal and medium
US20220054049A1 (en) High-precision temporal measurement of vibro-acoustic events in synchronisation with a sound signal on a touch-screen device
JP6281273B2 (en) Acoustic device inspection apparatus, acoustic device inspection method, and acoustic device inspection program
JP6467780B2 (en) Voice inspection apparatus, voice inspection method, and voice inspection program
CN109478198A (en) For determining the device of similarity information, the method for determining similarity information, the device for determining auto-correlation information, device and computer program for determining cross-correlation information
CN107872567A (en) Mobile device and the method for determining its context
US11205407B2 (en) Song analysis device and song analysis program
WO2022044175A1 (en) Data processing device, data processing method, and data processing program
JP2010097084A (en) Mobile terminal, beat position estimation method, and beat position estimation program
US9300955B2 (en) Information processing apparatus, information processing method, and program
Xie et al. Acoustic feature extraction using perceptual wavelet packet decomposition for frog call classification
JP5845991B2 (en) Speaker inspection device
JP2980076B2 (en) Automatic object classification device, automatic object classification method, and storage medium recording automatic object classification program
JP2020173220A (en) Identification device, identification method, identification processing program, generation device, generation method, and generation processing program
JP6060661B2 (en) Sound extraction apparatus, sound extraction method, and sound extraction program
WO2017195194A8 (en) Diagnosing system for consciousness level measurement and method thereof
CN112639420B (en) Measurement terminal, measurement system, measurement method, and program
JP6136628B2 (en) Apparatus and method for inspecting sound output of device under test
JP5938771B2 (en) Test method and test apparatus
TWI647451B (en) Hardness measurement apparatus and hardness measurement method
WO2018117170A1 (en) Biological-sound analysis device, biological-sound analysis method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181231

R150 Certificate of patent or registration of utility model

Ref document number: 6467780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150