JP6963795B2 - Swallowing sound judgment device and swallowing sound judgment method - Google Patents

Swallowing sound judgment device and swallowing sound judgment method Download PDF

Info

Publication number
JP6963795B2
JP6963795B2 JP2017168705A JP2017168705A JP6963795B2 JP 6963795 B2 JP6963795 B2 JP 6963795B2 JP 2017168705 A JP2017168705 A JP 2017168705A JP 2017168705 A JP2017168705 A JP 2017168705A JP 6963795 B2 JP6963795 B2 JP 6963795B2
Authority
JP
Japan
Prior art keywords
sound
swallowing
acoustic signal
throat
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017168705A
Other languages
Japanese (ja)
Other versions
JP2019042148A (en
Inventor
雅史 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2017168705A priority Critical patent/JP6963795B2/en
Publication of JP2019042148A publication Critical patent/JP2019042148A/en
Application granted granted Critical
Publication of JP6963795B2 publication Critical patent/JP6963795B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、嚥下音判定装置及び嚥下音判定方法に関する。 The present invention relates to a swallowing sound determination device and a swallowing sound determination method.

例えば傷病、加齢等に起因して嚥下機能が低下すると、食事の際に通常よりも誤嚥が起こりやすくなる。誤嚥は誤嚥性肺炎の一因とされていることから、例えば医療又は介護の現場では、対象者の嚥下機能の状態を把握することが求められる場合がある。そこで、例えば対象者の嚥下による嚥下音を検出することで当該対象者が嚥下を行ったことを検知し、その検知結果に基づいて対象者の嚥下機能の状態を把握する手法が知られている。 For example, when the swallowing function deteriorates due to injury or illness, aging, etc., aspiration is more likely to occur when eating than usual. Since aspiration is considered to be one of the causes of aspiration pneumonia, it may be required to grasp the state of the swallowing function of the subject, for example, in the medical or long-term care field. Therefore, for example, a method is known in which the subject swallows by detecting the swallowing sound of the subject and the state of the subject's swallowing function is grasped based on the detection result. ..

ここで、嚥下音を検出するための装置として、対象者の頸部に配置される集音部により嚥下音を集音するように構成された装置が提案されている。例えば特許文献１には、対象者の頸部に配置される嚥下音用マイクロフォンに加えて対象者の鼻部近傍に配置される鼻孔音用マイクロフォンを備え、鼻孔音用マイクロフォンにより集音された鼻孔音に基づいて呼吸の停止期間を判定し、呼吸の停止期間中に嚥下音用マイクロフォンにより集音された咽喉音を嚥下音として検出する装置が開示されている。 Here, as a device for detecting the swallowing sound, a device configured to collect the swallowing sound by a sound collecting unit arranged on the neck of the subject has been proposed. For example, Patent Document 1 includes a microphone for swallowing sound arranged in the neck of a subject and a microphone for nasal hole sound arranged in the vicinity of the nose of the subject, and a nasal hole collected by the microphone for nasal hole sound. A device for determining a period of respiratory arrest based on sound and detecting a throat sound collected by a swallowing sound microphone during the period of respiratory arrest as a swallowing sound is disclosed.

特開２０１５−５１１５９号公報Japanese Unexamined Patent Publication No. 2015-51159

しかしながら、対象者の頸部において集音される咽喉音は、嚥下音であるとは限られず、例えば咀嚼、発話等によるノイズである場合もある。咽喉音が嚥下音であるかノイズであるかを正確に区別することは容易ではない。 However, the throat sound collected in the neck of the subject is not limited to the swallowing sound, and may be noise due to, for example, mastication or speech. It is not easy to accurately distinguish whether a sore throat is a swallowing sound or a noise.

そこで、本発明は、咽喉音が嚥下音であるか否かを精度良く判定することができる嚥下音判定装置及び嚥下音判定方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a swallowing sound determination device and a swallowing sound determination method capable of accurately determining whether or not a throat sound is a swallowing sound.

本発明者らは、上記課題を解決すべく鋭意研究を重ねた結果、以下の事実を新たに見出した。すなわち、対象者の咽喉部において生成された咽喉音が、対象者の頸部における互いに異なる２箇所の部位で集音され、それぞれ音響信号として取得された場合、これらの音響信号の相互相関値は、咽喉音が嚥下音であるときと咽喉音以外のノイズであるときとで互いに異なる傾向を示す。 As a result of intensive research to solve the above problems, the present inventors have newly found the following facts. That is, when the throat sounds generated in the subject's throat are collected at two different parts of the subject's neck and acquired as acoustic signals, the mutual correlation value of these acoustic signals is , When the throat sound is a swallowing sound and when it is a noise other than the throat sound, it tends to be different from each other.

かかる事実を踏まえ、本発明に係る嚥下音判定装置は、対象者の咽喉部において生成された咽喉音が対象者の嚥下による嚥下音であるか否かを判定する嚥下音判定装置であって、対象者の頸部の第１部位において集音された咽喉音を第１音響信号として取得する第１信号取得部と、対象者の頸部の第１部位とは異なる第２部位において集音された咽喉音を第２音響信号として取得する第２信号取得部と、第１信号取得部により取得された第１音響信号と第２信号取得部により取得された第２音響信号との相互相関値を算出する算出部と、算出部により算出された相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定部と、判定部による判定結果を出力する出力部と、を備える。 Based on this fact, the swallowing sound determination device according to the present invention is a swallowing sound determination device that determines whether or not the throat sound generated in the throat of the subject is the swallowing sound generated by the subject's swallowing. The first signal acquisition unit that acquires the throat sound collected in the first part of the subject's neck as the first acoustic signal and the second part that is different from the first part of the subject's neck are collected. Mutual correlation value between the second signal acquisition unit that acquires the sore throat sound as the second acoustic signal, the first acoustic signal acquired by the first signal acquisition unit, and the second acoustic signal acquired by the second signal acquisition unit. A calculation unit that calculates, a determination unit that determines whether or not the throat sound is a swallowing sound based on the mutual correlation value calculated by the calculation unit, and an output unit that outputs the determination result by the determination unit. Be prepared.

この嚥下音判定装置によれば、対象者の頸部の第１部位において集音された咽喉音が信号として取得された第１音響信号と、対象者の頸部の第２部位において集音された当該咽喉音が信号として取得された第２音響信号と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、この装置は、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、この装置は、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to this swallowing sound determination device, the first acoustic signal obtained as a signal of the throat sound collected at the first part of the neck of the subject and the sound collected at the second part of the neck of the subject. The mutual correlation value of the throat sound with the second acoustic signal acquired as a signal is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, this device determines whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, this device can accurately determine whether or not the throat sound is a swallowing sound.

本発明に係る嚥下音判定装置では、算出部は、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関をそれぞれ算出し、複数の相互相関のうちの最大値、又は、複数の相互相関の平均値を相互相関値として用いてもよい。これによれば、この装置は、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination device according to the present invention, the calculation unit acquires a plurality of delayed acoustic signals in which either one of the first acoustic signal or the second acoustic signal is delayed with respect to the other by a delay time different from each other. , The cross-correlation is calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal, and the maximum value of the plurality of cross-correlation or the plurality of cross-correlation. The average value may be used as the cross-correlation value. According to this, this device effectively suppresses the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part. be able to.

本発明に係る嚥下音判定装置では、算出部は、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、遅延音響信号と第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。これによれば、この装置は、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を簡便な処理により抑制することができる。 In the swallowing sound determination device according to the present invention, the calculation unit acquires a delayed acoustic signal obtained by delaying either the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time, and delays the signal. The cross-correlation may be calculated based on the acoustic signal and either the first acoustic signal or the second acoustic signal, and the cross-correlation may be used as the cross-correlation value. According to this, this device suppresses the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part by a simple process. can do.

本発明に係る嚥下音判定装置では、判定部は、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定してもよい。咽喉音が嚥下音である場合、対象者による嚥下の動作の段階によって（すなわち、対象者が嚥下しようとしている嚥下対象物の咽喉部における位置によって）、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化するため、第１音響信号と第２音響信号との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者による嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化しないため、第１音響信号と第２音響信号との相互相関値は比較的大きくなる傾向を示す。そこで、この装置は、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、この装置は、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination device according to the present invention, the determination unit determines whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and when the generation position of the throat sound changes with time. When it is determined, it may be determined that the throat sound is a swallowing sound, and when it is determined that the generation position of the throat sound does not change with time, it may be determined that the throat sound is not a swallowing sound. When the sore throat is a swallowing sound, the position where the sore throat is generated changes over time depending on the stage of the swallowing movement by the subject (that is, the position of the swallowing object in the throat where the subject is trying to swallow). .. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the 1st acoustic signal and the 2nd acoustic signal tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal and the second acoustic signal tends to be relatively large. Therefore, when it is determined that the generation position of the throat sound changes with time based on the cross-correlation value, this device determines that the throat sound is a swallowing sound, while the throat sound is determined based on the cross-correlation value. When it is determined that the generation position of is not changed with time, it is determined that the throat sound is not a swallowing sound. Therefore, this device can accurately determine whether or not the throat sound is a swallowing sound.

本発明に係る嚥下音判定装置では、判定部は、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定してもよい。これによれば、相互相関値との比較対象として予め設定された閾値が用いられるため、この装置は、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination device according to the present invention, the determination unit compares the cross-correlation value with the preset threshold value, and based on the comparison result, determines whether or not the generation position of the throat sound changes with time. You may judge. According to this, since a preset threshold value is used as a comparison target with the cross-correlation value, this device can determine whether or not the throat sound is a swallowing sound by a simple process.

本発明に係る嚥下音判定装置では、判定部は、相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを判定してもよい。これによれば、相互相関値のみならず他の特徴量も用いた機械学習により咽喉音が嚥下音であるか否かが総合的に判定されるため、この装置は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination device according to the present invention, the determination unit learns a model for discriminating whether or not the throat sound is a swallowing sound by machine learning using a plurality of feature quantities including mutual correlation values, and uses the model. Based on this, it may be determined whether or not the throat sound is a swallowing sound. According to this, since it is comprehensively determined whether or not the throat sound is a swallowing sound by machine learning using not only the cross-correlation value but also other feature quantities, this device uses the throat sound as the swallowing sound. It is possible to more accurately determine whether or not there is.

本発明に係る嚥下音判定装置では、第１信号取得部は、第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第１音響信号として抽出し、第２信号取得部は、第２部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第２音響信号として抽出してもよい。これによれば、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、この装置は、処理の自動化を図ることができる。 In the swallowing sound determination device according to the present invention, the first signal acquisition unit uses the acoustic signal in the sound section as the first acoustic signal among the acoustic signals acquired over the entire section collected in the first portion. The second signal acquisition unit may extract the acoustic signal in the sound section from the acoustic signals acquired over the entire section collected in the second portion as the second acoustic signal. According to this, since it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound, this device aims at automating the processing. be able to.

本発明に係る嚥下音判定装置は、判定部により嚥下音であると判定された咽喉音の数を計数する計数部を備えてもよい。これによれば、この装置は、例えば対象者の嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination device according to the present invention may include a counting unit that counts the number of throat sounds determined to be swallowing sounds by the determination unit. According to this, this device can automate, for example, an examination for grasping the state of the swallowing function of a subject.

本発明に係る嚥下音判定装置では、第１部位は、対象者の頸部の側面において中咽頭部に対応する部位であり、第２部位は、対象者の頸部の側面において下咽頭部に対応する部位であってもよい。これによれば、この装置は、第１音響信号及び第２音響信号をより確実に取得することができるため、第１音響信号と第２音響信号との相互相関値をより適切に算出することが可能となる。よって、この装置は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination device according to the present invention, the first part is a part corresponding to the oropharynx on the side surface of the neck of the subject, and the second part is on the hypopharynx on the side surface of the neck of the subject. It may be the corresponding site. According to this, since this device can acquire the first acoustic signal and the second acoustic signal more reliably, the cross-correlation value between the first acoustic signal and the second acoustic signal can be calculated more appropriately. Is possible. Therefore, this device can more accurately determine whether or not the throat sound is a swallowing sound.

本発明に係る嚥下音判定方法は、対象者の咽喉部において生成された咽喉音が対象者の嚥下による嚥下音であるか否かを判定する嚥下音判定方法であって、対象者の頸部の第１部位において集音された咽喉音を第１音響信号として取得すると共に、対象者の頸部の第１部位とは異なる第２部位において集音された咽喉音を第２音響信号として取得する信号取得ステップと、第１音響信号と第２音響信号との相互相関値を算出する算出ステップと、相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定ステップと、判定ステップにおける判定結果を出力する出力ステップと、を備える。 The swallowing sound determination method according to the present invention is a swallowing sound determination method for determining whether or not the throat sound generated in the throat of the subject is a swallowing sound due to the swallowing of the subject, and is a swallowing sound determination method for the neck of the subject. The throat sound collected in the first part of the subject is acquired as the first acoustic signal, and the throat sound collected in the second part different from the first part of the subject's neck is acquired as the second acoustic signal. A signal acquisition step to be performed, a calculation step to calculate a mutual correlation value between the first acoustic signal and the second acoustic signal, and a determination step to determine whether or not the throat sound is a swallowing sound based on the mutual correlation value. , An output step for outputting the determination result in the determination step.

この嚥下音判定方法によれば、対象者の頸部の第１部位において集音された咽喉音が信号として取得された第１音響信号と、対象者の頸部の第２部位において集音された当該咽喉音が信号として取得された第２音響信号と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、この方法では、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、この方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to this swallowing sound determination method, the first acoustic signal obtained as a signal from the throat sound collected at the first part of the neck of the subject and the sound collected at the second part of the neck of the subject. The mutual correlation value of the throat sound with the second acoustic signal acquired as a signal is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, in this method, it is determined whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, in this method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.

本発明に係る嚥下音判定方法では、算出ステップにおいては、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関をそれぞれ算出し、複数の相互相関のうちの最大値、又は、複数の相互相関の平均値を相互相関値として用いてもよい。これによれば、この方法では、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination method according to the present invention, in the calculation step, a plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time different from each other are acquired. Then, the cross-correlation is calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal, and the maximum value of the plurality of cross-correlation or the plurality of cross-correlation is obtained. The average value of may be used as the cross-correlation value. According to this, in this method, the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part is effectively suppressed. be able to.

本発明に係る嚥下音判定方法では、算出ステップにおいては、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、遅延音響信号と第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。これによれば、この方法では、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を簡便な処理により抑制することができる。 In the swallowing sound determination method according to the present invention, in the calculation step, a delayed acoustic signal obtained by delaying either the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time is acquired. The cross-correlation may be calculated based on the delayed sound signal and either the first sound signal or the second sound signal, and the cross-correlation may be used as the cross-correlation value. According to this, in this method, the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part is suppressed by a simple process. can do.

本発明に係る嚥下音判定方法では、判定ステップにおいては、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定してもよい。咽喉音が嚥下音である場合、対象者による嚥下の動作の段階によって（すなわち、対象者が嚥下しようとしている嚥下対象物の咽喉部における位置によって）、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化するため、第１音響信号と第２音響信号との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者による嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化しないため、第１音響信号と第２音響信号との相互相関値は比較的大きくなる傾向を示す。そこで、この方法では、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、この方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination method according to the present invention, in the determination step, it is determined whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and the generation position of the throat sound changes with time. If it is determined that the throat sound is a swallowing sound, and if it is determined that the generation position of the throat sound does not change with time, it may be determined that the throat sound is not a swallowing sound. When the sore throat is a swallowing sound, the position where the sore throat is generated changes over time depending on the stage of the swallowing movement by the subject (that is, the position of the swallowing object in the throat where the subject is trying to swallow). .. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the 1st acoustic signal and the 2nd acoustic signal tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal and the second acoustic signal tends to be relatively large. Therefore, in this method, when it is determined that the generation position of the throat sound changes with time based on the cross-correlation value, it is determined that the throat sound is a swallowing sound, while the throat sound is determined based on the cross-correlation value. When it is determined that the generation position of is not changed with time, it is determined that the throat sound is not a swallowing sound. Therefore, in this method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.

本発明に係る嚥下音判定方法では、判定ステップにおいては、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定してもよい。これによれば、相互相関値との比較対象として予め設定された閾値が用いられるため、この方法では、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination method according to the present invention, in the determination step, the cross-correlation value is compared with a preset threshold value, and based on the comparison result, whether or not the generation position of the throat sound changes with time. May be determined. According to this, since a preset threshold value is used as a comparison target with the cross-correlation value, in this method, it is possible to determine whether or not the throat sound is a swallowing sound by a simple process.

本発明に係る嚥下音判定方法では、判定ステップにおいては、相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを判定してもよい。これによれば、相互相関値のみならず他の特徴量も用いた機械学習により咽喉音が嚥下音であるか否かが総合的に判定されるため、この方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination method according to the present invention, in the determination step, a model for identifying whether or not the throat sound is a swallowing sound is learned by machine learning using a plurality of feature quantities including mutual correlation values, and the model is concerned. It may be determined whether or not the throat sound is a swallowing sound based on. According to this, it is comprehensively determined whether or not the throat sound is a swallowing sound by machine learning using not only the cross-correlation value but also other features. Therefore, in this method, the throat sound is a swallowing sound. It is possible to more accurately determine whether or not there is.

本発明に係る嚥下音判定方法では、信号取得ステップにおいては、第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第１音響信号として抽出し、第２部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第２音響信号として抽出してもよい。これによれば、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、この方法では、処理の自動化を図ることができる。 In the swallowing sound determination method according to the present invention, in the signal acquisition step, among the acoustic signals acquired over the entire section collected at the first portion, the acoustic signal in the sound section is extracted as the first acoustic signal. Then, among the acoustic signals acquired over the entire section collected at the second portion, the acoustic signal in the sound section may be extracted as the second acoustic signal. According to this, since it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound, this method aims to automate the processing. be able to.

本発明に係る嚥下音判定方法は、判定ステップにおいて嚥下音であると判定した咽喉音の数を計数する計数ステップを備えてもよい。これによれば、この方法では、例えば対象者の嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination method according to the present invention may include a counting step for counting the number of throat sounds determined to be swallowing sounds in the determination step. According to this, in this method, for example, it is possible to automate an examination for grasping the state of the swallowing function of a subject.

本発明に係る嚥下音判定方法では、第１部位は、対象者の頸部の側面において中咽頭部に対応する部位であり、第２部位は、対象者の頸部の側面において下咽頭部に対応する部位であってもよい。これによれば、この方法では、第１音響信号及び第２音響信号をより確実に取得することができるため、第１音響信号と第２音響信号との相互相関値をより適切に算出することが可能となる。よって、この方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination method according to the present invention, the first site is a site corresponding to the oropharynx on the side surface of the neck of the subject, and the second site is on the hypopharynx on the side surface of the neck of the subject. It may be the corresponding site. According to this, in this method, the first acoustic signal and the second acoustic signal can be acquired more reliably, so that the cross-correlation value between the first acoustic signal and the second acoustic signal can be calculated more appropriately. Is possible. Therefore, in this method, it is possible to more accurately determine whether or not the throat sound is a swallowing sound.

本発明によれば、咽喉音が嚥下音であるか否かを精度良く判定することが可能となる。 According to the present invention, it is possible to accurately determine whether or not the sore throat sound is a swallowing sound.

図１は、実施形態に係る嚥下音判定装置を示すブロック図である。FIG. 1 is a block diagram showing a swallowing sound determination device according to an embodiment. 図２は、嚥下音判定装置が使用される態様の一例を示す図である。FIG. 2 is a diagram showing an example of a mode in which the swallowing sound determination device is used. 図３は、咽喉部を説明するための図である。FIG. 3 is a diagram for explaining the throat portion. 図４は、嚥下音に係る第１音響信号及び第２音響信号の波形の一例を示す図である。FIG. 4 is a diagram showing an example of waveforms of the first acoustic signal and the second acoustic signal related to the swallowing sound. 図５は、ノイズに係る第１音響信号及び第２音響信号の波形の一例を示す図である。FIG. 5 is a diagram showing an example of waveforms of the first acoustic signal and the second acoustic signal related to noise. 図６は、嚥下音判定方法の処理を示すフローチャートである。FIG. 6 is a flowchart showing the processing of the swallowing sound determination method. 図７は、判定ステップの処理を示すフローチャートである。FIG. 7 is a flowchart showing the processing of the determination step. 図８は、変形例に係る判定ステップの処理を示すフローチャートである。FIG. 8 is a flowchart showing the processing of the determination step according to the modified example.

以下、本発明の実施形態について、図面を参照して説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each figure, the same or corresponding parts are designated by the same reference numerals, and duplicate description will be omitted.

図１は、実施形態に係る嚥下音判定装置１０を示すブロック図である。図２は、嚥下音判定装置１０が使用される態様の一例を示す図である。図３は、咽喉部Ｔを説明するための図である。図１〜図３に示されるように、嚥下音判定装置１０は、対象者Ｐの咽喉部Ｔにおいて生成（「産生」ともいう）された咽喉音を対象者Ｐの頸部Ｎにおいて集音し、当該咽喉音が対象者Ｐの嚥下による嚥下音であるか否かを判定する装置である。 FIG. 1 is a block diagram showing a swallowing sound determination device 10 according to an embodiment. FIG. 2 is a diagram showing an example of a mode in which the swallowing sound determination device 10 is used. FIG. 3 is a diagram for explaining the throat portion T. As shown in FIGS. 1 to 3, the swallowing sound determination device 10 collects the throat sound generated (also referred to as “production”) in the throat T of the subject P in the neck N of the subject P. , A device for determining whether or not the throat sound is a swallowing sound caused by the swallowing of the subject P.

「頸部Ｎ」とは、対象者Ｐの身体において、頭部と胴体部とを接続し、胴体部に対して頭部を支持する部分である。「咽喉部Ｔ」とは、ここでは口腔Ａ、咽頭Ｂ、喉頭Ｃ、及び食道Ｄを含む頸部Ｎ周辺の内部器官である。咽頭Ｂは、上咽頭部Ｂ１、中咽頭部Ｂ２、及び下咽頭部Ｂ３を含む。「咽喉音」とは、咽喉部Ｔにおいて生成される各種の音であり、対象者Ｐの嚥下による嚥下音、及び、対象者Ｐの咀嚼、発話等によるノイズを含む。「嚥下音」とは、対象者Ｐによる嚥下対象物（例えば、食べ物、飲み物、唾液等）の嚥下に伴って咽喉部Ｔにおいて生成される音である。 The "neck N" is a portion of the body of the subject P that connects the head and the body portion and supports the head portion with respect to the body portion. The "throat T" here is an internal organ around the neck N including the oral cavity A, pharynx B, larynx C, and esophagus D. The pharynx B includes the nasopharynx B1, the oropharynx B2, and the hypopharynx B3. The "throat sound" is various sounds generated in the throat portion T, and includes a swallowing sound caused by the subject P's swallowing and noise caused by the subject P's mastication, speech, and the like. The "swallowing sound" is a sound generated in the throat T when the subject P swallows an object to be swallowed (for example, food, drink, saliva, etc.).

嚥下音の咽喉部Ｔにおける生成位置は、対象者Ｐによる嚥下の動作の段階によって（すなわち、対象者Ｐが嚥下しようとしている嚥下対象物の咽喉部Ｔにおける位置によって）、経時的に変化する。より詳細には、嚥下対象物が口腔Ａ内から中咽頭部Ｂ２及び下咽頭部Ｂ３を経て食道Ｄに至る各段階において、咽喉部Ｔにおける内部圧力が順次変化することで、嚥下音の咽喉部Ｔにおける生成位置が経時的に変化すると考えられる。これに対し、ノイズの咽喉部Ｔにおける生成位置は、対象者Ｐによる嚥下の動作の段階によって、経時的に変化しない。例えば、一般に、対象者Ｐの咀嚼によるノイズは主に口腔Ａ内において生成され、対象者Ｐの発話によるノイズは主に喉頭Ｃの声帯において生成される。なお、「咽喉音の生成位置が経時的に変化する」とは、咽喉音の生成位置が時間の経過に伴って順次変化することを意味する。また、「咽喉音の生成位置が経時的に変化しない」とは、必ずしも咽喉音の生成位置が経時的に全く変化しない場合に限られず、後述するように咽喉音が嚥下音であるか否かを判定可能であれば、咽喉音の生成位置が経時的に多少変化する場合を含んでもよい。 The position of the swallowing sound generated in the throat T changes with time depending on the stage of the swallowing action by the subject P (that is, the position of the swallowing object that the subject P intends to swallow in the throat T). More specifically, at each stage of the swallowing object from the oral cavity A through the oropharynx B2 and the hypopharynx B3 to the esophagus D, the internal pressure in the throat T gradually changes, so that the throat of the swallowing sound. It is considered that the generation position at T changes with time. On the other hand, the position where noise is generated in the throat portion T does not change with time depending on the stage of the swallowing operation by the subject P. For example, in general, the noise caused by the chewing of the subject P is mainly generated in the oral cavity A, and the noise caused by the speech of the subject P is mainly generated in the vocal cords of the larynx C. In addition, "the position where the throat sound is generated changes with time" means that the position where the throat sound is generated changes sequentially with the passage of time. Further, "the position where the throat sound is generated does not change with time" is not necessarily limited to the case where the position where the throat sound is generated does not change at all with time, and as will be described later, whether or not the throat sound is a swallowing sound. If it is possible to determine, the case where the generation position of the sore throat changes slightly with time may be included.

嚥下音判定装置１０は、装置を統括的に制御するＥＣＵ［Electronic Control Unit］を備えている。ＥＣＵは、ＣＰＵ［CentralProcessing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］を有する電子制御ユニットである。ＥＣＵは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、後述する嚥下音判定の各機能を実現する。 The swallowing sound determination device 10 includes an ECU [Electronic Control Unit] that controls the device in an integrated manner. The ECU is an electronic control unit having a CPU [Central Processing Unit], a ROM [Read Only Memory], and a RAM [Random Access Memory]. For example, the ECU loads the program stored in the ROM into the RAM, and executes the program loaded in the RAM in the CPU to realize each function of the swallowing sound determination described later.

嚥下音判定装置１０には、第１集音部１、第２集音部２、及び報知部３が接続されている。 The first sound collecting unit 1, the second sound collecting unit 2, and the notification unit 3 are connected to the swallowing sound determining device 10.

第１集音部１は、対象者Ｐの頸部Ｎにおいて咽喉音を集音する機器であり、例えばマイクロフォンによって構成される。第１集音部１は、対象者Ｐの頸部Ｎの第１部位に配置される。「第１部位」とは、対象者Ｐの頸部Ｎにおいて、後述する第２部位とは異なる部位である。好適には、第１部位は、対象者Ｐの頸部Ｎの側面において中咽頭部Ｂ２に対応する部位であってもよい。なお、第１部位は、ここでは対象者Ｐの頸部Ｎの皮膚の表面上の部位であるが、対象者Ｐの頸部Ｎの皮膚から離間した部位であってもよい。第１集音部１は、頸部Ｎの外周面に沿う円弧状の保持具４の一端部に設けられている。第１集音部１は、保持具４が対象者Ｐの頸部Ｎに係止されることで、対象者Ｐの頸部Ｎの第１部位に配置される。 The first sound collecting unit 1 is a device that collects throat sounds in the neck N of the subject P, and is composed of, for example, a microphone. The first sound collecting unit 1 is arranged at the first portion of the neck N of the subject P. The "first site" is a site in the neck N of the subject P that is different from the second site described later. Preferably, the first site may be a site corresponding to the oropharynx B2 on the side surface of the neck N of the subject P. The first site is a site on the surface of the skin of the neck N of the subject P here, but may be a site separated from the skin of the neck N of the subject P. The first sound collecting portion 1 is provided at one end of an arc-shaped holder 4 along the outer peripheral surface of the neck N. The first sound collecting unit 1 is arranged at the first portion of the neck N of the subject P by locking the holder 4 to the neck N of the subject P.

第１集音部１は、集音した咽喉音を第１音響信号として嚥下音判定装置１０に出力する。第１集音部１と嚥下音判定装置１０との通信手段は特に限定されず、有線通信であっても無線通信であってもよい（一例として、図２には、有線通信を採用した態様が示されている。）。第１集音部１と嚥下音判定装置１０とは一体の機器であってもよい。 The first sound collecting unit 1 outputs the collected throat sound as a first acoustic signal to the swallowing sound determining device 10. The communication means between the first sound collecting unit 1 and the swallowing sound determination device 10 is not particularly limited, and may be wired communication or wireless communication (as an example, FIG. 2 shows an embodiment in which wired communication is adopted. It is shown.). The first sound collecting unit 1 and the swallowing sound determination device 10 may be integrated devices.

第２集音部２は、対象者Ｐの頸部Ｎにおいて咽喉音を集音する機器であり、例えばマイクロフォンによって構成される。第２集音部２は、対象者Ｐの頸部Ｎの第２部位に配置される。「第２部位」とは、対象者Ｐの頸部Ｎにおいて、第１部位とは異なる部位である。好適には、第２部位は、対象者Ｐの頸部Ｎの側面において下咽頭部Ｂ３に対応する部位であってもよい。なお、第２部位は、ここでは対象者Ｐの頸部Ｎの皮膚の表面上の部位であるが、対象者Ｐの頸部Ｎの皮膚から離間した部位であってもよい。第２集音部２は、頸部Ｎの外周面に沿う円弧状の保持具５の一端部に設けられている。第２集音部２は、保持具５が対象者Ｐの頸部Ｎに係止されることで、対象者Ｐの頸部Ｎの第２部位に配置される。保持具４，５は、それぞれの延在方向における中央部で互いに結束されている。 The second sound collecting unit 2 is a device that collects throat sounds in the neck N of the subject P, and is composed of, for example, a microphone. The second sound collecting unit 2 is arranged at the second portion of the neck N of the subject P. The "second site" is a site different from the first site in the neck N of the subject P. Preferably, the second site may be a site corresponding to the hypopharynx B3 on the side surface of the neck N of the subject P. The second part is a part on the surface of the skin of the neck N of the subject P here, but may be a part separated from the skin of the neck N of the subject P. The second sound collecting portion 2 is provided at one end of an arc-shaped holder 5 along the outer peripheral surface of the neck N. The second sound collecting unit 2 is arranged at the second portion of the neck N of the subject P by locking the holder 5 to the neck N of the subject P. The holders 4 and 5 are bound to each other at the central portion in each extending direction.

第２集音部２は、集音した咽喉音を第２音響信号として嚥下音判定装置１０に出力する。第２集音部２と嚥下音判定装置１０との通信手段は特に限定されず、有線通信であっても無線通信であってもよい（一例として、図２には、有線通信を採用した態様が示されている。）。第２集音部２と嚥下音判定装置１０とは一体の機器であってもよい。 The second sound collecting unit 2 outputs the collected throat sound as a second acoustic signal to the swallowing sound determining device 10. The communication means between the second sound collecting unit 2 and the swallowing sound determination device 10 is not particularly limited, and may be wired communication or wireless communication (as an example, FIG. 2 shows an embodiment in which wired communication is adopted. It is shown.). The second sound collecting unit 2 and the swallowing sound determination device 10 may be integrated devices.

報知部３は、嚥下音判定装置１０から入力される情報を報知する機器である。例えば、報知部３は、嚥下音判定装置１０によって咽喉音が嚥下音であると判定された判定結果、又は、嚥下音判定装置１０によって咽喉音が嚥下音でないと判定された判定結果を報知する。ここでは一例として、報知部３は、ディスプレイを備えており、嚥下音判定装置１０から入力される情報を所定の態様で表示する。なお、図２には、報知部３と嚥下音判定装置１０とが一体の携帯端末として構成された態様が例示されている。 The notification unit 3 is a device that notifies information input from the swallowing sound determination device 10. For example, the notification unit 3 notifies the determination result that the swallowing sound determination device 10 determines that the throat sound is a swallowing sound, or the determination result that the swallowing sound determination device 10 determines that the throat sound is not a swallowing sound. .. Here, as an example, the notification unit 3 includes a display and displays the information input from the swallowing sound determination device 10 in a predetermined mode. Note that FIG. 2 illustrates an embodiment in which the notification unit 3 and the swallowing sound determination device 10 are configured as an integrated mobile terminal.

次に、嚥下音判定装置１０の機能的構成について、図４及び図５に示される音響信号の具体例を参照しつつ説明する。図４は、嚥下音に係る第１音響信号Ｗ１及び第２音響信号Ｗ２の波形の一例を示す図である。図５は、ノイズに係る第１音響信号Ｗ３及び第２音響信号Ｗ４の波形の一例を示す図である。図５では、ノイズとして、対象者Ｐによる「疲れた」との発話が例示されている。図４及び図５では、横軸に時間が示され、縦軸に音響信号の強度（振幅）が示されている。 Next, the functional configuration of the swallowing sound determination device 10 will be described with reference to specific examples of acoustic signals shown in FIGS. 4 and 5. FIG. 4 is a diagram showing an example of waveforms of the first acoustic signal W1 and the second acoustic signal W2 related to the swallowing sound. FIG. 5 is a diagram showing an example of waveforms of the first acoustic signal W3 and the second acoustic signal W4 related to noise. In FIG. 5, the utterance of "tired" by the subject P is illustrated as noise. In FIGS. 4 and 5, time is shown on the horizontal axis, and the intensity (amplitude) of the acoustic signal is shown on the vertical axis.

図１に示されるように、嚥下音判定装置１０は、第１信号取得部１１、第２信号取得部１２、算出部１３、判定部１４、計数部１５、及び出力部１６を備えている。 As shown in FIG. 1, the swallowing sound determination device 10 includes a first signal acquisition unit 11, a second signal acquisition unit 12, a calculation unit 13, a determination unit 14, a counting unit 15, and an output unit 16.

第１信号取得部１１は、対象者Ｐの頸部Ｎの第１部位において集音された咽喉音を第１音響信号Ｗ１，Ｗ３として取得する。第１信号取得部１１は、有音区間であるか無音区間であるかにかかわらず、第１部位において集音される全区間に亘って音響信号を取得する。「区間」とは、ある時点から別のある時点までの時間的に連続した期間である。「有音区間」とは、所定強度以上の咽喉音が生成されている区間である。例えば、有音区間は、音響信号の振幅が所定値以上の区間である。「無音区間」とは、所定強度以上の咽喉音が生成されていない区間である。例えば、無音区間は、音響信号の振幅が所定値未満の区間である。 The first signal acquisition unit 11 acquires the throat sounds collected at the first portion of the neck N of the subject P as the first acoustic signals W1 and W3. The first signal acquisition unit 11 acquires an acoustic signal over the entire section in which sound is collected in the first portion, regardless of whether it is a sounded section or a silent section. An "interval" is a temporally continuous period from one point in time to another. The "sounded section" is a section in which a sore throat sound having a predetermined intensity or higher is generated. For example, the sounded section is a section in which the amplitude of the acoustic signal is equal to or greater than a predetermined value. The "silence section" is a section in which a sore throat sound having a predetermined intensity or higher is not generated. For example, the silent section is a section in which the amplitude of the acoustic signal is less than a predetermined value.

第１信号取得部１１は、第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第１音響信号Ｗ１，Ｗ３として抽出して取得する。具体的には、第１信号取得部１１は、無音区間から有音区間に移行したことを検出した時点（或いは、当該時点から所定時間だけ遡った時点又は経過した時点）を、第１音響信号Ｗ１，Ｗ３の始点と判断してもよい。また、第１信号取得部１１は、有音区間から無音区間に移行し、当該無音区間が所定時間継続した時点（或いは、当該時点から所定時間だけ遡った時点又は経過した時点）を、第１音響信号Ｗ１，Ｗ３の終点と判断してもよい。 The first signal acquisition unit 11 extracts and acquires the acoustic signals in the sounded section as the first acoustic signals W1 and W3 from the acoustic signals acquired over the entire section where the sound is collected in the first portion. Specifically, the first signal acquisition unit 11 sets the time when it detects that the transition from the silent section to the sound section has occurred (or the time when it goes back or has passed by a predetermined time from that time) as the first acoustic signal. It may be determined as the starting point of W1 and W3. In addition, the first signal acquisition unit 11 shifts from the sounded section to the silent section, and the time when the silent section continues for a predetermined time (or the time when it goes back or has passed by a predetermined time from the time) is the first. It may be determined as the end point of the acoustic signals W1 and W3.

第２信号取得部１２は、対象者Ｐの頸部Ｎの第２部位において集音された咽喉音を第２音響信号Ｗ２，Ｗ４として取得する。第２信号取得部１２は、有音区間であるか無音区間であるかにかかわらず、第２部位において集音される全区間に亘って音響信号を取得する。 The second signal acquisition unit 12 acquires the sore throat sound collected at the second portion of the neck N of the subject P as the second acoustic signals W2 and W4. The second signal acquisition unit 12 acquires an acoustic signal over the entire section in which sound is collected in the second portion, regardless of whether it is a sounded section or a silent section.

第２信号取得部１２は、第２部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第２音響信号Ｗ２，Ｗ４として抽出して取得する。具体的には、第２信号取得部１２は、無音区間から有音区間に移行したことを検出した時点（或いは、当該時点から所定時間だけ遡った時点）を、第２音響信号Ｗ２，Ｗ４の始点と判断してもよい。また、第２信号取得部１２は、有音区間から無音区間に移行し、当該無音区間が所定時間継続した時点（或いは、当該時点から所定時間だけ遡った時点）を、第２音響信号Ｗ２，Ｗ４の終点と判断してもよい。 The second signal acquisition unit 12 extracts and acquires the acoustic signal in the sounded section as the second acoustic signal W2 and W4 from the acoustic signals acquired over the entire section where the sound is collected in the second portion. Specifically, the second signal acquisition unit 12 sets the time when it detects that the transition from the silent section to the sound section has occurred (or the time when it goes back by a predetermined time from that time) in the second acoustic signals W2 and W4. It may be judged as the starting point. Further, the second signal acquisition unit 12 shifts from the sounded section to the silent section, and the time when the silent section continues for a predetermined time (or the time when the time goes back by a predetermined time from the time) is the second acoustic signal W2. It may be determined that it is the end point of W4.

算出部１３は、第１信号取得部１１により取得された第１音響信号と第２信号取得部１２により取得された第２音響信号との相互相関値を算出する。例えば、算出部１３は、第１音響信号Ｗ１と第２音響信号Ｗ２との相互相関値、或いは、第１音響信号Ｗ３と第２音響信号Ｗ４との相互相関値を算出する。相互相関値は、有音区間をＮ個（例えば、３個）の区間に分割（例えば、等分割）した各区間においてそれぞれ算出されてもよい。 The calculation unit 13 calculates the cross-correlation value between the first acoustic signal acquired by the first signal acquisition unit 11 and the second acoustic signal acquired by the second signal acquisition unit 12. For example, the calculation unit 13 calculates the cross-correlation value between the first acoustic signal W1 and the second acoustic signal W2, or the cross-correlation value between the first acoustic signal W3 and the second acoustic signal W4. The cross-correlation value may be calculated for each section in which the sounded section is divided into N (for example, 3) sections (for example, equally divided).

ここで、「相互相関値」とは、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値との間の類似性を示す値（指標）である。相互相関値は、例えば、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値との間の類似性が高いほど大きい値となり、類似性が低いほど０に近い値となる。「類似性」とは、例えば各信号系列値により表される各信号の位相差及び振幅比の経時的な変化の程度を示していてもよい。この場合、「類似性が高い」状態とは、「類似性が低い」状態と比較して、各信号の位相差及び振幅比の経時的な変化の程度が小さい状態を意味していてもよい。 Here, the "cross-correlation value" is a value (index) indicating the similarity between the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal. For example, the higher the similarity between the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal, the larger the cross-correlation value, and the lower the similarity, the closer to 0. .. The “similarity” may indicate, for example, the degree of change over time in the phase difference and amplitude ratio of each signal represented by each signal sequence value. In this case, the "high similarity" state may mean a state in which the degree of change in the phase difference and amplitude ratio of each signal with time is smaller than that in the "low similarity" state. ..

「第１音響信号に基づく信号系列値」とは、第１音響信号そのものを表す系列値、又は、第１音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値である。「第２音響信号に基づく信号系列値」とは、第２音響信号そのものを表す系列値、又は、第２音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値である。 The "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself, or a sequence value representing a plurality of delayed acoustic signals in which the first acoustic signal is delayed by different delay times. .. The "signal sequence value based on the second acoustic signal" is a sequence value representing the second acoustic signal itself, or a sequence value representing a plurality of delayed acoustic signals in which the second acoustic signal is delayed by different delay times. ..

算出部１３は、第１音響信号と第２音響信号との相互相関値を算出する際に、まず、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値との相互相関を算出する。算出部１３は、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得する。本実施形態では、「第１音響信号に基づく信号系列値」が第１音響信号そのものを表す系列値であるときには、「第２音響信号に基づく信号系列値」は第２音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値である。一方、「第１音響信号に基づく信号系列値」が第１音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値であるときには、「第２音響信号に基づく信号系列値」は第２音響信号そのものを表す系列値である。算出部１３は、遅延時間τを所定の時間範囲内で変化させながら、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、各遅延時間τだけ遅延させた複数の遅延音響信号を取得する。そして、算出部１３は、取得した複数の遅延音響信号のそれぞれの信号系列値と、第１音響信号又は第２音響信号のいずれか他方そのものの信号系列値と、に基づいて相互相関Ｉ（τ）をそれぞれ算出する。 When calculating the cross-correlation value between the first acoustic signal and the second acoustic signal, the calculation unit 13 first calculates the cross-correlation between the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal. Is calculated. The calculation unit 13 acquires a plurality of delayed acoustic signals in which either one of the first acoustic signal or the second acoustic signal is delayed with respect to the other by a delay time different from each other. In the present embodiment, when the "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself, the "signal sequence value based on the second acoustic signal" delays the second acoustic signal differently from each other. It is a series value representing a plurality of delayed acoustic signals delayed by time. On the other hand, when the "signal sequence value based on the first acoustic signal" is a sequence value representing a plurality of delayed acoustic signals in which the first acoustic signal is delayed by different delay times, the "signal sequence value based on the second acoustic signal" is used. Is a series value representing the second acoustic signal itself. The calculation unit 13 delays either the first acoustic signal or the second acoustic signal with respect to the other by each delay time τ while changing the delay time τ within a predetermined time range. Acquire an acoustic signal. Then, the calculation unit 13 cross-correlates I (τ) based on the respective signal sequence values of the acquired plurality of delayed acoustic signals and the signal sequence value of either the first acoustic signal or the second acoustic signal itself. ) Are calculated respectively.

より詳細には、第１音響信号に基づく信号系列値及び第２音響信号に基づく信号系列値がベクトルと考えられる場合、相互相関Ｉ（τ）は、例えば、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値との内積の値である。つまり、相互相関値は、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値との積が、対象区間である有音区間（換言すると、当該区間内の咽喉音が嚥下音であるか否かを判定すべき有音区間）に亘って加算された値である。第１音響信号がｆ（ｔ）、第２音響信号がｇ（ｔ）とそれぞれ表される場合には、相互相関Ｉ（τ）は、下記の式（１）のように表される。ここで、ｔは時刻を表す。相互相関Ｉ（τ）は、互いに異なる遅延時間τに応じた値である。以上により、算出部１３は、複数の相互相関Ｉ（τ）を算出する。

Figure 0006963795
More specifically, when the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal are considered to be vectors, the cross-correlation I (τ) is, for example, the signal sequence value based on the first acoustic signal. It is a value of the inner product of the signal series value based on the second acoustic signal. That is, as for the cross-correlation value, the product of the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal is the sound section which is the target section (in other words, the throat sound in the section is swallowed. It is a value added over a sound section) for which it should be determined whether or not it is a sound. When the first acoustic signal is represented by f (t) and the second acoustic signal is represented by g (t), the cross-correlation I (τ) is represented by the following equation (1). Here, t represents the time. The cross-correlation I (τ) is a value corresponding to different delay times τ. As described above, the calculation unit 13 calculates a plurality of cross-correlation I (τ).
Figure 0006963795

次に、算出部１３は、算出した複数の相互相関Ｉ（τ）のうちの最大値を取得し、当該最大値を相互相関値として用いる。このように相互相関Ｉ（τ）が最大となる値に遅延時間τが設定されることで、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響が抑制される。なお、算出部１３は、算出した複数の相互相関Ｉ（τ）の平均値を取得し、当該平均値を相互相関値として用いてもよい。以上により、算出部１３は、第１音響信号と第２音響信号との相互相関値を算出する。 Next, the calculation unit 13 acquires the maximum value of the calculated plurality of cross-correlation I (τ) and uses the maximum value as the cross-correlation value. By setting the delay time τ to the value that maximizes the cross-correlation I (τ) in this way, the distance between the throat sound generation position and the first site, and the throat sound generation position and the second site The effect of the difference between the distance and the distance is suppressed. The calculation unit 13 may acquire the average value of the plurality of calculated cross-correlation I (τ) and use the average value as the cross-correlation value. Based on the above, the calculation unit 13 calculates the cross-correlation value between the first acoustic signal and the second acoustic signal.

例えば図４に示される具体例では、嚥下音に係る第１音響信号Ｗ１と第２音響信号Ｗ２との位相差及び振幅比は経時的に大きく変化している。このため、算出部１３は、嚥下音に係る第１音響信号Ｗ１と第２音響信号Ｗ２との相互相関値を比較的小さな値に算出する。 For example, in the specific example shown in FIG. 4, the phase difference and the amplitude ratio of the first acoustic signal W1 and the second acoustic signal W2 related to the swallowing sound change significantly with time. Therefore, the calculation unit 13 calculates the cross-correlation value between the first acoustic signal W1 and the second acoustic signal W2 related to the swallowing sound to a relatively small value.

一方、図５に示される具体例では、ノイズに係る第１音響信号Ｗ３及び第２音響信号Ｗ４の位相差及び振幅比は経時的に大きく変化していない。このため、算出部１３は、ノイズに係る第１音響信号Ｗ３と第２音響信号Ｗ４との相互相関値を比較的大きな値に算出する。 On the other hand, in the specific example shown in FIG. 5, the phase difference and the amplitude ratio of the first acoustic signal W3 and the second acoustic signal W4 related to noise do not change significantly with time. Therefore, the calculation unit 13 calculates the cross-correlation value between the first acoustic signal W3 and the second acoustic signal W4 related to noise to a relatively large value.

判定部１４は、算出部１３により算出された相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する。まず、判定部１４は、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。より詳細には、判定部１４は、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。判定部１４は、相互相関値が閾値未満である場合には、咽喉音の生成位置が経時的に変化すると判定する。一方、判定部１４は、相互相関値が閾値以上である場合には、咽喉音の生成位置が経時的に変化しないと判定する。そして、判定部１４は、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定する。一方、判定部１４は、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。 The determination unit 14 determines whether or not the throat sound is a swallowing sound based on the cross-correlation value calculated by the calculation unit 13. First, the determination unit 14 determines whether or not the generation position of the throat sound changes with time based on the cross-correlation value. More specifically, the determination unit 14 compares the cross-correlation value with the preset threshold value, and determines whether or not the generation position of the throat sound changes with time based on the comparison result. When the cross-correlation value is less than the threshold value, the determination unit 14 determines that the position where the throat sound is generated changes with time. On the other hand, when the cross-correlation value is equal to or greater than the threshold value, the determination unit 14 determines that the position where the throat sound is generated does not change with time. Then, when the determination unit 14 determines that the generation position of the throat sound changes with time, the determination unit 14 determines that the throat sound is a swallowing sound. On the other hand, when the determination unit 14 determines that the generation position of the throat sound does not change with time, it determines that the throat sound is not a swallowing sound.

計数部１５は、集音される全区間に亘って、判定部１４により嚥下音であると判定された咽喉音の数を計数する（すなわち、カウントする）。計数部１５は、公知の計数回路によって構成されてよい。なお、計数部１５は、所定の手段により計数開始の指令が入力されたときに計数を開始してもよく、所定の手段により計数終了の指令が入力されたときに計数を終了してもよい。計数部１５は、計数を終了するとき又は新たに計数を開始するときに、計数した結果をリセットしてもよい。 The counting unit 15 counts (that is, counts) the number of throat sounds determined to be swallowing sounds by the determination unit 14 over the entire section in which the sounds are collected. The counting unit 15 may be configured by a known counting circuit. The counting unit 15 may start counting when a command to start counting is input by a predetermined means, or may end counting when a command to end counting is input by a predetermined means. .. The counting unit 15 may reset the counting result when the counting is finished or when the counting is newly started.

出力部１６は、判定部１４による判定結果を出力する。例えば、出力部１６は、判定部１４による判定結果を報知部３に出力する。この場合、報知部３は、出力部１６から入力された判定結果を報知する。出力部１６は、判定部１４により咽喉音が嚥下音であると判定された各タイミングで、当該咽喉音が嚥下音であるとの判定結果を出力してもよい。或いは、出力部１６は、判定部１４により嚥下音であると判定された咽喉音の数を計数部１５により計数した計数結果を判定結果として出力してもよい。なお、出力部１６は、判定部１４による判定結果を、各種の記憶媒体に出力してもよい。この場合、記憶媒体は、出力部１６から入力された判定結果を記憶する。 The output unit 16 outputs the determination result by the determination unit 14. For example, the output unit 16 outputs the determination result by the determination unit 14 to the notification unit 3. In this case, the notification unit 3 notifies the determination result input from the output unit 16. The output unit 16 may output a determination result that the throat sound is a swallowing sound at each timing when the determination unit 14 determines that the throat sound is a swallowing sound. Alternatively, the output unit 16 may output the counting result obtained by counting the number of throat sounds determined to be swallowing sounds by the determination unit 14 by the counting unit 15 as the determination result. The output unit 16 may output the determination result by the determination unit 14 to various storage media. In this case, the storage medium stores the determination result input from the output unit 16.

以下、嚥下音判定装置１０によって行われる嚥下音判定方法について説明する。嚥下音判定方法は、対象者Ｐの咽喉部Ｔにおいて生成された咽喉音が対象者Ｐの嚥下による嚥下音であるか否かを判定する方法である。ここでは、上述した嚥下音判定装置１０を用いて実行される嚥下音判定方法について説明するが、嚥下音判定方法は嚥下音判定装置１０を用いずに実行されてもよい。 Hereinafter, the swallowing sound determination method performed by the swallowing sound determination device 10 will be described. The swallowing sound determination method is a method for determining whether or not the throat sound generated in the throat portion T of the subject P is a swallowing sound due to the swallowing of the subject P. Here, the swallowing sound determination method executed by using the swallowing sound determination device 10 described above will be described, but the swallowing sound determination method may be executed without using the swallowing sound determination device 10.

図６は、嚥下音判定方法の処理を示すフローチャートである。図６に示されるように、ステップＳ１０において、対象者Ｐの頸部Ｎの側面において中咽頭部Ｂ２に対応する部位（第１部位）に第１集音部１が配置されると共に、対象者Ｐの頸部Ｎの側面において下咽頭部Ｂ３に対応する部位（第２部位）に第２集音部２が配置される。具体的には、対象者Ｐの頸部Ｎに保持具４，５が係止されることで、第１集音部１が第１部位に配置されると共に、第２集音部２が第２部位に配置される。その後、嚥下音判定方法の処理は、ステップＳ１２に移行する。 FIG. 6 is a flowchart showing the processing of the swallowing sound determination method. As shown in FIG. 6, in step S10, the first sound collecting unit 1 is arranged at the site (first site) corresponding to the oropharynx B2 on the side surface of the neck N of the subject P, and the subject The second sound collecting portion 2 is arranged at a portion (second portion) corresponding to the oropharynx B3 on the side surface of the neck N of P. Specifically, by locking the holders 4 and 5 to the neck N of the subject P, the first sound collecting unit 1 is arranged in the first portion and the second sound collecting unit 2 is placed in the first portion. It is placed in two parts. After that, the process of the swallowing sound determination method shifts to step S12.

ステップＳ１２において、第１集音部１が対象者Ｐの頸部Ｎの第１部位において音を集音すると共に、第２集音部２が対象者Ｐの頸部Ｎの第２部位において音を集音する。ここでは、第１集音部１及び第２集音部２は、咽喉音（例えば、嚥下音又はノイズ）を含む有音区間及び咽喉音を含まない無音区間の両方を含む区間（すなわち、全区間）に亘って音を集音する。つまり、第１集音部１及び第２集音部２は、互いに同一の咽喉音を、互いに異なる部位で互いに同時に集音することとなる。その後、嚥下音判定方法の処理は、ステップＳ１４に移行する。 In step S12, the first sound collecting unit 1 collects sound at the first portion of the neck N of the subject P, and the second sound collecting unit 2 collects sound at the second portion of the neck N of the subject P. To collect sound. Here, the first sound collecting unit 1 and the second sound collecting unit 2 include a section including both a sound section including a throat sound (for example, swallowing sound or noise) and a silent section not including a throat sound (that is, the whole section). Sound is collected over the section). That is, the first sound collecting unit 1 and the second sound collecting unit 2 simultaneously collect the same throat sound from each other at different parts. After that, the process of the swallowing sound determination method shifts to step S14.

ステップＳ１４において、嚥下音判定装置１０は、第１集音部１により第１部位において集音された音のうちの有音区間の音である咽喉音を、第１信号取得部１１により第１音響信号Ｗ１，Ｗ３として取得すると共に、第２集音部２により第２部位において集音された音のうちの有音区間の音である咽喉音を、第２信号取得部１２により第２音響信号Ｗ２，Ｗ４として取得する（信号取得ステップ）。換言すると、嚥下音判定装置１０は、第１集音部１により第１部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を、第１信号取得部１１により第１音響信号Ｗ１，Ｗ３として抽出して取得すると共に、第２集音部２により第２部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を、第２信号取得部１２により第２音響信号Ｗ２，Ｗ４として抽出して取得する。その後、嚥下音判定方法の処理は、ステップＳ１６に移行する。 In step S14, the swallowing sound determination device 10 uses the first signal acquisition unit 11 to first obtain the throat sound, which is the sound in the sound section of the sounds collected at the first portion by the first sound collection unit 1, by the first signal acquisition unit 11. The second sound is acquired by the second signal acquisition unit 12, and the throat sound, which is the sound in the sound section of the sounds collected in the second part by the second sound collection unit 2, is acquired as the acoustic signals W1 and W3. Acquired as signals W2 and W4 (signal acquisition step). In other words, the swallowing sound determination device 10 obtains the acoustic signal in the sounded section from the acoustic signals acquired over the entire section collected in the first portion by the first sound collecting unit 1. Of the acoustic signals acquired over the entire section collected in the second portion by the second sound collecting unit 2, the acoustic signals in the sounded section are extracted and acquired as the first acoustic signals W1 and W3 by 11. Is extracted and acquired as the second acoustic signals W2 and W4 by the second signal acquisition unit 12. After that, the process of the swallowing sound determination method shifts to step S16.

ステップＳ１６において、嚥下音判定装置１０は、算出部１３により、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値を算出する（算出ステップ）。より詳細には、嚥下音判定装置１０は、算出部１３により、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間τだけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関Ｉ（τ）をそれぞれ算出し、複数の相互相関Ｉ（τ）のうちの最大値、又は、複数の相互相関Ｉ（τ）の平均値を相互相関値として用いる。その後、嚥下音判定方法の処理は、ステップＳ１８に移行する。 In step S16, the swallowing sound determination device 10 calculates the cross-correlation value between the first acoustic signals W1 and W3 and the second acoustic signals W2 and W4 by the calculation unit 13 (calculation step). More specifically, the swallowing sound determination device 10 uses the calculation unit 13 to delay one of the first acoustic signal and the second acoustic signal with respect to the other by a delay time τ different from each other. The signals are acquired, and the cross-correlation I (τ) is calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal, respectively, and the cross-correlation I (τ) of the plurality of mutual correlations I (τ). The maximum value among them or the average value of a plurality of cross-correlation I (τ) is used as the cross-correlation value. After that, the process of the swallowing sound determination method shifts to step S18.

ステップＳ１８において、嚥下音判定装置１０は、詳しくは後述するように、判定部１４により、相互相関値に基づいて咽喉音が嚥下音であるか否かを判定する（判定ステップ）。その後、嚥下音判定方法の処理は、ステップＳ２０に移行する。 In step S18, the swallowing sound determination device 10 determines whether or not the throat sound is a swallowing sound based on the cross-correlation value by the determination unit 14, as will be described in detail later (determination step). After that, the process of the swallowing sound determination method shifts to step S20.

ステップＳ２０において、嚥下音判定装置１０は、第１集音部１及び第２集音部２により集音される全区間に亘って、計数部１５により、嚥下音であると判定された咽喉音の数を計数する（計数ステップ）。その後、嚥下音判定方法の処理は、ステップＳ２２に移行する。 In step S20, the swallowing sound determination device 10 determines that the swallowing sound is a swallowing sound by the counting unit 15 over the entire section of the sound collected by the first sound collecting unit 1 and the second sound collecting unit 2. Count the number of (counting step). After that, the process of the swallowing sound determination method shifts to step S22.

ステップＳ２２において、嚥下音判定装置１０は、出力部１６により、判定部１４による判定結果を報知部３に出力する（出力ステップ）。出力部１６は、各咽喉音が嚥下音であるか否かについての判定部１４による判定結果として出力する。なお、出力部１６は、計数部１５による計数結果を判定結果として報知部３に出力してもよい。その後、嚥下音判定方法の処理は、ステップＳ２４に移行する。 In step S22, the swallowing sound determination device 10 outputs the determination result by the determination unit 14 to the notification unit 3 by the output unit 16 (output step). The output unit 16 outputs as a determination result by the determination unit 14 as to whether or not each throat sound is a swallowing sound. The output unit 16 may output the counting result of the counting unit 15 to the notification unit 3 as a determination result. After that, the process of the swallowing sound determination method shifts to step S24.

ステップＳ２４において、報知部３は、出力部１６から入力された判定結果を報知する。具体的には、報知部３は、当該判定結果をディスプレイに表示する。咽喉音が嚥下音であるか否かについての判定結果が報知されると、嚥下音判定方法の今回の処理は終了する。 In step S24, the notification unit 3 notifies the determination result input from the output unit 16. Specifically, the notification unit 3 displays the determination result on the display. When the determination result as to whether or not the throat sound is a swallowing sound is notified, the current process of the swallowing sound determination method ends.

続いて、判定ステップにおける咽喉音が嚥下音であるか否かについての具体的な判定処理について説明する。以下に説明する判定処理は、図６のステップＳ１８に対応する。 Subsequently, a specific determination process for whether or not the sore throat sound in the determination step is a swallowing sound will be described. The determination process described below corresponds to step S18 in FIG.

図７は、判定ステップの処理を示すフローチャートである。図７に示されるように、ステップＳ３０において、嚥下音判定装置１０は、判定部１４により、相互相関値と予め設定された閾値とを比較し、相互相関値が閾値未満であるか否かを判定する。判定ステップの処理は、相互相関値が閾値未満である場合（ステップＳ３０：ＹＥＳ）、ステップＳ３２に移行する。一方、判定ステップの処理は、相互相関値が閾値以上である場合（ステップＳ３０：ＮＯ）、ステップＳ３６に移行する。 FIG. 7 is a flowchart showing the processing of the determination step. As shown in FIG. 7, in step S30, the swallowing sound determination device 10 compares the cross-correlation value with the preset threshold value by the determination unit 14, and determines whether or not the cross-correlation value is less than the threshold value. judge. The processing of the determination step proceeds to step S32 when the cross-correlation value is less than the threshold value (step S30: YES). On the other hand, the processing of the determination step proceeds to step S36 when the cross-correlation value is equal to or greater than the threshold value (step S30: NO).

ステップＳ３２において、嚥下音判定装置１０は、判定部１４により、咽喉音の生成位置が経時的に変化すると判定する。その後、判定ステップの処理は、ステップＳ３４に移行する。 In step S32, the swallowing sound determination device 10 determines by the determination unit 14 that the position where the throat sound is generated changes with time. After that, the processing of the determination step shifts to step S34.

ステップＳ３４において、嚥下音判定装置１０は、判定部１４により、咽喉音が嚥下音であると判定する。判定部１４により咽喉音が嚥下音であると判定されると、判定ステップの今回の処理は終了する。 In step S34, the swallowing sound determination device 10 determines that the throat sound is a swallowing sound by the determination unit 14. When the determination unit 14 determines that the throat sound is a swallowing sound, the current process of the determination step ends.

ステップＳ３６において、嚥下音判定装置１０は、判定部１４により、咽喉音の生成位置が経時的に変化しないと判定する。その後、判定ステップの処理は、ステップＳ３８に移行する。 In step S36, the swallowing sound determination device 10 determines by the determination unit 14 that the position where the throat sound is generated does not change with time. After that, the processing of the determination step shifts to step S38.

ステップＳ３８において、嚥下音判定装置１０は、判定部１４により、咽喉音が嚥下音でないと判定する。判定部１４により咽喉音が嚥下音でないと判定されると、判定ステップの今回の処理は終了する。 In step S38, the swallowing sound determination device 10 determines that the throat sound is not a swallowing sound by the determination unit 14. When the determination unit 14 determines that the throat sound is not a swallowing sound, the current process of the determination step ends.

以上説明したように、嚥下音判定装置１０は、対象者Ｐの咽喉部Ｔにおいて生成された咽喉音が対象者Ｐの嚥下による嚥下音であるか否かを判定する嚥下音判定装置１０であって、対象者Ｐの頸部Ｎの第１部位において集音された咽喉音を第１音響信号Ｗ１，Ｗ３として取得する第１信号取得部１１と、対象者Ｐの頸部Ｎの第１部位とは異なる第２部位において集音された咽喉音を第２音響信号Ｗ２，Ｗ４として取得する第２信号取得部１２と、第１信号取得部１１により取得された第１音響信号Ｗ１，Ｗ３と第２信号取得部１２により取得された第２音響信号Ｗ２，Ｗ４との相互相関値を算出する算出部１３と、算出部１３により算出された相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定部１４と、判定部１４による判定結果を出力する出力部１６と、を備える。 As described above, the swallowing sound determination device 10 is a swallowing sound determination device 10 for determining whether or not the throat sound generated in the throat portion T of the subject P is a swallowing sound due to the swallowing of the subject P. The first signal acquisition unit 11 that acquires the throat sound collected at the first portion of the neck N of the subject P as the first acoustic signals W1 and W3, and the first portion of the neck N of the subject P. The second signal acquisition unit 12 that acquires the throat sound collected at the second portion different from the second acoustic signals W2 and W4, and the first acoustic signals W1 and W3 acquired by the first signal acquisition unit 11. Based on the calculation unit 13 that calculates the mutual correlation value with the second acoustic signals W2 and W4 acquired by the second signal acquisition unit 12, and the mutual correlation value calculated by the calculation unit 13, the throat sound is a swallowing sound. It includes a determination unit 14 for determining whether or not there is a presence, and an output unit 16 for outputting a determination result by the determination unit 14.

嚥下音判定装置１０によれば、対象者Ｐの頸部Ｎの第１部位において集音された咽喉音が信号として取得された第１音響信号Ｗ１，Ｗ３と、対象者Ｐの頸部Ｎの第２部位において集音された当該咽喉音が信号として取得された第２音響信号Ｗ２，Ｗ４と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、嚥下音判定装置１０は、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、嚥下音判定装置１０は、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to the swallowing sound determination device 10, the first acoustic signals W1 and W3 obtained as signals from the throat sounds collected at the first portion of the neck N of the subject P, and the neck N of the subject P. The intercorrelation value between the second acoustic signals W2 and W4 obtained as the signal of the throat sound collected at the second portion is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, the swallowing sound determination device 10 determines whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, the swallowing sound determination device 10 can accurately determine whether or not the throat sound is a swallowing sound.

嚥下音判定装置１０では、算出部１３は、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間τだけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関Ｉ（τ）をそれぞれ算出し、複数の相互相関Ｉ（τ）のうちの最大値、又は、複数の相互相関Ｉ（τ）の平均値を相互相関値として用いる。これにより、嚥下音判定装置１０は、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination device 10, the calculation unit 13 acquires a plurality of delayed acoustic signals in which either the first acoustic signal or the second acoustic signal is delayed with respect to the other by a delay time τ different from each other. Cross-correlation I (τ) is calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal, respectively, and the maximum value of the plurality of cross-correlation I (τ), Alternatively, the average value of a plurality of cross-correlation I (τ) is used as the cross-correlation value. As a result, the swallowing sound determination device 10 effectively suppresses the influence of the difference between the generation position of the throat sound and the distance between the first part and the distance between the generation position of the throat sound and the second part. can do.

嚥下音判定装置１０では、判定部１４は、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。咽喉音が嚥下音である場合、対象者Ｐによる嚥下の動作の段階によって（すなわち、対象者Ｐが嚥下しようとしている嚥下対象物の咽喉部Ｔにおける位置によって）、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化するため、第１音響信号Ｗ１と第２音響信号Ｗ２との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者Ｐによる嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化しないため、第１音響信号Ｗ３と第２音響信号Ｗ４との相互相関値は比較的大きくなる傾向を示す。そこで、嚥下音判定装置１０は、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、嚥下音判定装置１０は、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination device 10, the determination unit 14 determines whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and determines that the generation position of the throat sound changes with time. In this case, when it is determined that the throat sound is a swallowing sound and it is determined that the generation position of the throat sound does not change with time, it is determined that the throat sound is not a swallowing sound. When the throat sound is a swallowing sound, the position where the throat sound is generated over time depends on the stage of the swallowing movement by the subject P (that is, the position of the swallowing object that the subject P is trying to swallow in the throat T). Changes to. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the first acoustic signal W1 and the second acoustic signal W2 tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject P. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal W3 and the second acoustic signal W4 tends to be relatively large. Therefore, when the swallowing sound determination device 10 determines that the generation position of the throat sound changes with time based on the mutual correlation value, it determines that the throat sound is a swallowing sound, while based on the mutual correlation value. When it is determined that the generation position of the throat sound does not change with time, it is determined that the throat sound is not a swallowing sound. Therefore, the swallowing sound determination device 10 can accurately determine whether or not the throat sound is a swallowing sound.

嚥下音判定装置１０では、判定部１４は、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。これにより、相互相関値との比較対象として予め設定された閾値が用いられるため、嚥下音判定装置１０は、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination device 10, the determination unit 14 compares the cross-correlation value with a preset threshold value, and determines whether or not the generation position of the throat sound changes with time based on the comparison result. .. As a result, since a preset threshold value is used as a comparison target with the cross-correlation value, the swallowing sound determination device 10 can determine whether or not the throat sound is a swallowing sound by a simple process.

嚥下音判定装置１０では、第１信号取得部１１は、第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第１音響信号Ｗ１，Ｗ３として抽出し、第２信号取得部１２は、第２部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第２音響信号Ｗ２，Ｗ４として抽出する。これにより、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、嚥下音判定装置１０は、処理の自動化を図ることができる。 In the swallowing sound determination device 10, the first signal acquisition unit 11 uses the first acoustic signals W1 and W3 as the acoustic signals in the sound section among the acoustic signals acquired over the entire section collected in the first portion. The second signal acquisition unit 12 extracts the acoustic signal in the sounded section as the second acoustic signal W2 and W4 from the acoustic signals acquired over the entire section collected in the second portion. .. As a result, it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound, so that the swallowing sound determination device 10 automates the processing. Can be planned.

嚥下音判定装置１０は、判定部１４により嚥下音であると判定された咽喉音の数を計数する計数部１５を備える。これにより、嚥下音判定装置１０は、例えば対象者Ｐの嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination device 10 includes a counting unit 15 that counts the number of throat sounds determined to be swallowing sounds by the determination unit 14. As a result, the swallowing sound determination device 10 can automate, for example, an inspection for grasping the state of the swallowing function of the subject P.

嚥下音判定装置１０では、第１部位は、対象者Ｐの頸部Ｎの側面において中咽頭部Ｂ２に対応する部位であり、第２部位は、対象者Ｐの頸部Ｎの側面において下咽頭部Ｂ３に対応する部位である。これにより、嚥下音判定装置１０は、第１音響信号Ｗ１，Ｗ３及び第２音響信号Ｗ２，Ｗ４をより確実に取得することができるため、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値をより適切に算出することが可能となる。よって、嚥下音判定装置１０は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination device 10, the first part is the part corresponding to the oropharynx B2 on the side surface of the neck N of the subject P, and the second part is the hypopharynx on the side surface of the neck N of the subject P. It is a part corresponding to the part B3. As a result, the swallowing sound determination device 10 can more reliably acquire the first acoustic signal W1, W3 and the second acoustic signal W2, W4, so that the first acoustic signal W1, W3 and the second acoustic signal W2, It becomes possible to more appropriately calculate the cross-correlation value with W4. Therefore, the swallowing sound determination device 10 can more accurately determine whether or not the throat sound is a swallowing sound.

嚥下音判定方法は、対象者Ｐの咽喉部Ｔにおいて生成された咽喉音が対象者Ｐの嚥下による嚥下音であるか否かを判定する嚥下音判定方法であって、対象者Ｐの頸部Ｎの第１部位において集音された咽喉音を第１音響信号Ｗ１，Ｗ３として取得すると共に、対象者Ｐの頸部Ｎの第１部位とは異なる第２部位において集音された咽喉音を第２音響信号Ｗ２，Ｗ４として取得する信号取得ステップと、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値を算出する算出ステップと、相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定ステップと、判定ステップにおける判定結果を出力する出力ステップと、を備える。 The swallowing sound determination method is a swallowing sound determination method for determining whether or not the throat sound generated in the throat portion T of the subject P is a swallowing sound due to the swallowing of the subject P, and is a swallowing sound determination method for the neck of the subject P. The throat sounds collected at the first part of N are acquired as the first acoustic signals W1 and W3, and the throat sounds collected at the second part different from the first part of the neck N of the subject P are obtained. The throat is based on the signal acquisition step of acquiring the second acoustic signals W2 and W4, the calculation step of calculating the intercorrelation value between the first acoustic signals W1 and W3 and the second acoustic signals W2 and W4, and the intercorrelation value. It includes a determination step for determining whether or not the sound is a swallowing sound, and an output step for outputting the determination result in the determination step.

嚥下音判定方法によれば、対象者Ｐの頸部Ｎの第１部位において集音された咽喉音が信号として取得された第１音響信号Ｗ１，Ｗ３と、対象者Ｐの頸部Ｎの第２部位において集音された当該咽喉音が信号として取得された第２音響信号Ｗ２，Ｗ４と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、嚥下音判定方法では、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、嚥下音判定方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to the swallowing sound determination method, the first acoustic signals W1 and W3 obtained as signals from the throat sounds collected at the first portion of the neck N of the subject P, and the first acoustic signal W1 and W3 of the neck N of the subject P. The intercorrelation value between the second acoustic signals W2 and W4 obtained as the signal of the throat sound collected at the two sites is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, in the swallowing sound determination method, it is determined whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, in the swallowing sound determination method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.

嚥下音判定方法では、算出ステップにおいては、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間τだけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関Ｉ（τ）をそれぞれ算出し、複数の相互相関Ｉ（τ）のうちの最大値、又は、複数の相互相関Ｉ（τ）の平均値を相互相関値として用いる。これにより、嚥下音判定方法では、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination method, in the calculation step, a plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time τ different from each other are acquired, and a plurality of delayed acoustic signals are acquired. The cross-correlation I (τ) is calculated based on each of the delayed acoustic signals of the above and one of the first acoustic signal and the second acoustic signal, respectively, and the maximum value of the plurality of cross-correlation I (τ), or , The average value of a plurality of cross-correlation I (τ) is used as the cross-correlation value. As a result, in the swallowing sound determination method, the influence of the difference between the generation position of the throat sound and the distance between the first part and the distance between the generation position of the throat sound and the second part is effectively suppressed. be able to.

嚥下音判定方法では、判定ステップにおいては、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。咽喉音が嚥下音である場合、対象者Ｐによる嚥下の動作の段階によって（すなわち、対象者Ｐが嚥下しようとしている嚥下対象物の咽喉部Ｔにおける位置によって）、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化するため、第１音響信号Ｗ１と第２音響信号Ｗ２との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者Ｐによる嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第１部位との位置関係、及び、咽喉音の生成部位と第２部位との位置関係が経時的に変化しないため、第１音響信号Ｗ３と第２音響信号Ｗ４との相互相関値は比較的大きくなる傾向を示す。そこで、嚥下音判定方法では、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、嚥下音判定方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination method, in the determination step, it is determined whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and it is determined that the generation position of the throat sound changes with time. In addition, when it is determined that the throat sound is a swallowing sound and it is determined that the generation position of the throat sound does not change with time, it is determined that the throat sound is not a swallowing sound. When the throat sound is a swallowing sound, the position where the throat sound is generated over time depends on the stage of the swallowing movement by the subject P (that is, the position of the swallowing object that the subject P is trying to swallow in the throat T). Changes to. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the first acoustic signal W1 and the second acoustic signal W2 tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject P. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal W3 and the second acoustic signal W4 tends to be relatively large. Therefore, in the swallowing sound determination method, when it is determined that the generation position of the throat sound changes with time based on the mutual correlation value, it is determined that the throat sound is a swallowing sound, and on the other hand, based on the mutual correlation value. When it is determined that the generation position of the throat sound does not change with time, it is determined that the throat sound is not a swallowing sound. Therefore, in the swallowing sound determination method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.

嚥下音判定方法では、判定ステップにおいては、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。これにより、相互相関値との比較対象として予め設定された閾値が用いられるため、嚥下音判定方法では、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination method, in the determination step, the cross-correlation value is compared with a preset threshold value, and based on the comparison result, it is determined whether or not the generation position of the throat sound changes with time. As a result, since a preset threshold value is used as a comparison target with the cross-correlation value, it is possible to determine whether or not the throat sound is a swallowing sound by a simple process in the swallowing sound determination method.

嚥下音判定方法では、信号取得ステップにおいては、第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第１音響信号Ｗ１，Ｗ３として抽出し、第２部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第２音響信号Ｗ２，Ｗ４として抽出する。これにより、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、嚥下音判定方法では、処理の自動化を図ることができる。 In the swallowing sound determination method, in the signal acquisition step, among the acoustic signals acquired over the entire section collected in the first portion, the acoustic signals in the sound section are extracted as the first acoustic signals W1 and W3. , Of the acoustic signals acquired over the entire section collected in the second portion, the acoustic signals in the sound section are extracted as the second acoustic signals W2 and W4. As a result, it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound. Therefore, the swallowing sound determination method aims to automate the process. be able to.

嚥下音判定方法は、判定ステップにおいて嚥下音であると判定した咽喉音の数を計数する計数ステップを備える。これにより、嚥下音判定方法では、例えば対象者Ｐの嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination method includes a counting step for counting the number of throat sounds determined to be swallowing sounds in the determination step. Thereby, in the swallowing sound determination method, for example, it is possible to automate the inspection for grasping the state of the swallowing function of the subject P.

嚥下音判定方法では、第１部位は、対象者Ｐの頸部Ｎの側面において中咽頭部Ｂ２に対応する部位であり、第２部位は、対象者Ｐの頸部Ｎの側面において下咽頭部Ｂ３に対応する部位である。これにより、嚥下音判定方法では、第１音響信号Ｗ１，Ｗ３及び第２音響信号Ｗ２，Ｗ４をより確実に取得することができるため、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値をより適切に算出することが可能となる。よって、嚥下音判定方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination method, the first site is the site corresponding to the oropharynx B2 on the side surface of the neck N of the subject P, and the second site is the hypopharynx on the side surface of the neck N of the subject P. It is a part corresponding to B3. As a result, in the swallowing sound determination method, the first acoustic signal W1, W3 and the second acoustic signal W2, W4 can be acquired more reliably, so that the first acoustic signal W1, W3 and the second acoustic signal W2, W4 It becomes possible to more appropriately calculate the cross-correlation value with. Therefore, in the swallowing sound determination method, it is possible to more accurately determine whether or not the throat sound is a swallowing sound.

上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。 The above-described embodiment can be implemented in various forms with various changes and improvements based on the knowledge of those skilled in the art.

例えば、第１音響信号と第２音響信号との相互相関値は、算出部１３により以下のように算出される値であってもよい。すなわち、「第１音響信号に基づく信号系列値」とは、第１音響信号を正規化した信号を表す系列値、又は、第１音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を正規化した信号を表す系列値であってもよい。「第２音響信号に基づく信号系列値」とは、第２音響信号を正規化した信号を表す系列値、又は、第２音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を正規化した信号を表す系列値であってもよい。この場合、算出部１３は、取得した複数の遅延音響信号のそれぞれを正規化した信号系列値と、第１音響信号又は第２音響信号のいずれか他方を正規化した信号系列値と、に基づいて正規化相互相関（相互相関）ＩＮＣＣ（τ）をそれぞれ算出してもよい。 For example, the cross-correlation value between the first acoustic signal and the second acoustic signal may be a value calculated by the calculation unit 13 as follows. That is, the "signal sequence value based on the first acoustic signal" is a sequence value representing a signal obtained by normalizing the first acoustic signal, or a plurality of delayed acoustic signals in which the first acoustic signal is delayed by different delay times. It may be a series value representing a signal obtained by normalizing. The "signal sequence value based on the second acoustic signal" is a sequence value representing a signal obtained by normalizing the second acoustic signal, or a plurality of delayed acoustic signals obtained by delaying the second acoustic signal by different delay times. It may be a series value representing the converted signal. In this case, the calculation unit 13 is based on a signal sequence value obtained by normalizing each of the acquired plurality of delayed acoustic signals and a signal sequence value obtained by normalizing either the first acoustic signal or the second acoustic signal. The normalized cross-correlation (cross-correlation) INCC (τ) may be calculated respectively.

より詳細には、第１音響信号に基づく信号系列値及び第２音響信号に基づく信号系列値がベクトルと考えられる場合、正規化相互相関ＩＮＣＣ（τ）は、例えば、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値とのコサイン類似度（余弦類似度）の値であってもよい。第１音響信号の平均値がμｆ、第１音響信号の標準偏差がσｆ、第２音響信号の平均値がμｇ、第２音響信号の標準偏差がσｇとそれぞれ表される場合には、正規化相互相関ＩＮＣＣ（τ）は、下記の式（２）のように示されてもよい。正規化相互相関ＩＮＣＣ（τ）は、互いに異なる遅延時間τに応じた値であってもよい。以上により、算出部１３は、複数の正規化相互相関ＩＮＣＣ（τ）を算出してもよい。

Figure 0006963795
More specifically, if the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal are considered to be vectors, the normalized cross-correlation INCC (τ) is based on, for example, the first acoustic signal. It may be the value of the cosine similarity (cosine similarity) between the signal sequence value and the signal sequence value based on the second acoustic signal. When the average value of the first acoustic signal is μ f , the standard deviation of the first acoustic signal is σ f , the average value of the second acoustic signal is μ g , and the standard deviation of the second acoustic signal is σ g. The normalized cross-correlation INCC (τ) may be expressed by the following equation (2). The normalized cross-correlation INCC (τ) may be a value corresponding to different delay times τ. Based on the above, the calculation unit 13 may calculate a plurality of normalized cross-correlation INCCs (τ).
Figure 0006963795

次に、算出部１３は、算出した複数の正規化相互相関ＩＮＣＣ（τ）のうちの最大値を取得し、当該最大値を相互相関値として用いてもよい。このように正規化相互相関ＩＮＣＣ（τ）が最大となる値に遅延時間τが設定される場合、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響が抑制される。或いは、算出部１３は、算出した複数の正規化相互相関ＩＮＣＣ（τ）の平均値を取得し、当該平均値を相互相関値として用いてもよい。以上により、算出部１３は、第１音響信号と第２音響信号との相互相関値を算出してもよい。 Next, the calculation unit 13 may acquire the maximum value of the plurality of calculated normalized cross-correlation INCCs (τ) and use the maximum value as the cross-correlation value. When the delay time τ is set to the value that maximizes the normalized cross-correlation INCC (τ) in this way, the distance between the sore throat generation position and the first part, the sore throat sound generation position and the second part The influence of the difference between the distance and the distance is suppressed. Alternatively, the calculation unit 13 may acquire the average value of the plurality of calculated normalized cross-correlation INCCs (τ) and use the average value as the cross-correlation value. Based on the above, the calculation unit 13 may calculate the cross-correlation value between the first acoustic signal and the second acoustic signal.

また、算出部１３は、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、所定の遅延時間τだけ遅延させた遅延音響信号を取得し、遅延音響信号と第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。或いは、算出ステップにおいては、第１音響信号又は第２音響信号のいずれか一方を、他方に対して、所定の遅延時間τだけ遅延させた遅延音響信号を取得し、遅延音響信号と第１音響信号又は第２音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。 Further, the calculation unit 13 acquires a delayed acoustic signal obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time τ, and the delayed acoustic signal and the first acoustic signal. The cross-correlation may be calculated based on either the signal or the second acoustic signal, and the cross-correlation may be used as the cross-correlation value. Alternatively, in the calculation step, a delayed acoustic signal obtained by delaying either the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time τ is acquired, and the delayed acoustic signal and the first acoustic signal are obtained. The cross-correlation may be calculated based on either the signal or the second acoustic signal, and the cross-correlation may be used as the cross-correlation value.

この場合、「第１音響信号に基づく信号系列値」とは、第１音響信号そのものを表す系列値、又は、第１音響信号を所定の遅延時間だけ遅延させた遅延音響信号を表す系列値であってもよい。「第２音響信号に基づく信号系列値」とは、第２音響信号そのものを表す系列値、又は、第２音響信号を所定の遅延時間だけ遅延させた遅延音響信号を表す系列値であってもよい。一例として、「第１音響信号に基づく信号系列値」が第１音響信号そのものを表す系列値であるときには、「第２音響信号に基づく信号系列値」は第２音響信号を所定の遅延時間だけ遅延させた複数の遅延音響信号を表す系列値であってもよい。一方、「第１音響信号に基づく信号系列値」が第１音響信号を所定の遅延時間だけ遅延させた複数の遅延音響信号を表す系列値であるときには、「第２音響信号に基づく信号系列値」は第２音響信号そのものを表す系列値であってもよい。 In this case, the "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself or a sequence value representing a delayed acoustic signal obtained by delaying the first acoustic signal by a predetermined delay time. There may be. The "signal sequence value based on the second acoustic signal" may be a sequence value representing the second acoustic signal itself or a sequence value representing a delayed acoustic signal obtained by delaying the second acoustic signal by a predetermined delay time. good. As an example, when the "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself, the "signal sequence value based on the second acoustic signal" sets the second acoustic signal for a predetermined delay time. It may be a series value representing a plurality of delayed acoustic signals. On the other hand, when the "signal sequence value based on the first acoustic signal" is a sequence value representing a plurality of delayed acoustic signals in which the first acoustic signal is delayed by a predetermined delay time, the "signal sequence value based on the second acoustic signal" is used. May be a series value representing the second acoustic signal itself.

算出部１３は、第１音響信号と第２音響信号との相互相関値を算出する際に、まず、第１音響信号に基づく信号系列値と第２音響信号に基づく信号系列値との相互相関又は正規化相互相関を算出する。そして、算出部１３は、算出した相互相関又は正規化相互相関を相互相関値として用いてもよい。以上により、算出部１３は、第１音響信号と第２音響信号との相互相関値を算出してもよい。 When calculating the cross-correlation value between the first acoustic signal and the second acoustic signal, the calculation unit 13 first calculates the cross-correlation between the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal. Or calculate the normalized cross-correlation. Then, the calculation unit 13 may use the calculated cross-correlation or the normalized cross-correlation as the cross-correlation value. Based on the above, the calculation unit 13 may calculate the cross-correlation value between the first acoustic signal and the second acoustic signal.

このような嚥下音判定装置１０又は嚥下音判定方法によれば、咽喉音の生成位置と第１部位との距離と、咽喉音の生成位置と第２部位との距離と、に差があることの影響を簡便な処理により抑制することができる。 According to the swallowing sound determination device 10 or the swallowing sound determination method, there is a difference between the distance between the throat sound generation position and the first portion and the distance between the throat sound generation position and the second portion. The influence of can be suppressed by a simple process.

また、上記実施形態では、算出部１３は、第１音響信号又は第２音響信号のいずれか一方のみを遅延させたが、算出部１３は、第１音響信号及び第２音響信号の両方を遅延させてもよい。この場合、算出部１３が第１音響信号を遅延させる遅延時間と第２音響信号を遅延させる遅延時間とは、互いに異なってもよい。 Further, in the above embodiment, the calculation unit 13 delays only one of the first acoustic signal and the second acoustic signal, but the calculation unit 13 delays both the first acoustic signal and the second acoustic signal. You may let me. In this case, the delay time for the calculation unit 13 to delay the first acoustic signal and the delay time for delaying the second acoustic signal may be different from each other.

また、判定部１４は、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを直接的に判定してもよい。すなわち、判定部１４は、相互相関値と閾値とを比較せず、咽喉音の生成位置が経時的に変化するか否かを判定しなくてもよい。特徴量としては、例えばＭＦＣＣ［Mel-Frequency Cepstrum Coefficients］及びその動的特徴量等が挙げられるが、これに限定されない。また、機械学習としては、公知の機械学習が適用可能であり、例えばＳＶＭ［Support Vector Machine］、ＧＭＭ［Gaussian MixtureModel］、ＤＮＮ［Deep Neural Network］等が適用されてもよい。 Further, the determination unit 14 determines whether or not the throat sound is a swallowing sound by machine learning using a plurality of feature quantities including the mutual correlation value between the first acoustic signals W1 and W3 and the second acoustic signals W2 and W4. The model to be identified may be learned, and it may be directly determined whether or not the throat sound is a swallowing sound based on the model. That is, the determination unit 14 does not have to compare the cross-correlation value with the threshold value and determine whether or not the generation position of the throat sound changes with time. Examples of the feature amount include, but are not limited to, MFCC [Mel-Frequency Cepstrum Coefficients] and its dynamic feature amount. Further, as machine learning, known machine learning can be applied, and for example, SVM [Support Vector Machine], GMM [Gaussian MixtureModel], DNN [Deep Neural Network], and the like may be applied.

この変形例に関し、判定ステップにおける咽喉音が嚥下音であるか否かについての判定処理について説明する。以下に説明する判定処理は、図６のステップＳ１８に対応する。 Regarding this modification, a determination process for determining whether or not the throat sound in the determination step is a swallowing sound will be described. The determination process described below corresponds to step S18 in FIG.

図８は、変形例に係る判定ステップの処理を示すフローチャートである。図８に示されるように、ステップＳ４０において、嚥下音判定装置１０は、判定部１４により、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを判定する。判定部１４により咽喉音が嚥下音であるか否かが判定されると、判定ステップの今回の処理は終了する。 FIG. 8 is a flowchart showing the processing of the determination step according to the modified example. As shown in FIG. 8, in step S40, the swallowing sound determination device 10 is subjected to a plurality of feature quantities including a cross-correlation value between the first acoustic signals W1 and W3 and the second acoustic signals W2 and W4 by the determination unit 14. A model for identifying whether or not the throat sound is a swallowing sound is learned by machine learning using the above model, and whether or not the throat sound is a swallowing sound is determined based on the model. When the determination unit 14 determines whether or not the throat sound is a swallowing sound, the current process of the determination step ends.

この嚥下音判定装置１０によれば、相互相関値のみならず他の特徴量も用いた機械学習により咽喉音が嚥下音であるか否かが総合的に判定されるため、嚥下音判定装置１０は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。同様の理由から、嚥下音判定方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 According to the swallowing sound determination device 10, it is comprehensively determined whether or not the throat sound is a swallowing sound by machine learning using not only the mutual correlation value but also other feature quantities. Therefore, the swallowing sound determination device 10 Can more accurately determine whether or not the throat sound is a swallowing sound. For the same reason, in the swallowing sound determination method, it is possible to more accurately determine whether or not the throat sound is a swallowing sound.

また、判定部１４は、第１音響信号Ｗ１，Ｗ３と第２音響信号Ｗ２，Ｗ４との相互相関値、第１音響信号の特徴量、及び第２音響信号の特徴量を組み合わせることで新たな特徴量を取得すると共に、当該特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別してもよい。 Further, the determination unit 14 is new by combining the mutual correlation value between the first acoustic signals W1 and W3 and the second acoustic signals W2 and W4, the feature amount of the first acoustic signal, and the feature amount of the second acoustic signal. In addition to acquiring the feature amount, it may be possible to identify whether or not the throat sound is a swallowing sound by machine learning using the feature amount.

また、嚥下音判定装置１０の第１信号取得部１１は、第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第１音響信号Ｗ１，Ｗ３として抽出しなくてもよい。すなわち、嚥下音判定方法の信号取得ステップ（ステップＳ１４）においては、第１部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を第１音響信号Ｗ１，Ｗ３として抽出しなくてもよい。この場合、例えば、第１音響信号Ｗ１，Ｗ３を抽出する作業が手動で行われ、第１信号取得部１１は、手動により抽出された第１音響信号Ｗ１，Ｗ３を取得してもよい。 Further, the first signal acquisition unit 11 of the swallowing sound determination device 10 uses the first acoustic signal W1 as the acoustic signal in the sounded section among the acoustic signals acquired over the entire section collected in the first portion. It does not have to be extracted as W3. That is, in the signal acquisition step (step S14) of the swallowing sound determination method, among the acoustic signals acquired over the entire section collected in the first portion, the acoustic signal in the sound section is the first acoustic signal W1, It does not have to be extracted as W3. In this case, for example, the work of extracting the first acoustic signals W1 and W3 is manually performed, and the first signal acquisition unit 11 may acquire the manually extracted first acoustic signals W1 and W3.

また、嚥下音判定装置１０の第２信号取得部１２は、第２部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第２音響信号Ｗ２，Ｗ４として抽出しなくてもよい。すなわち、嚥下音判定方法の信号取得ステップ（ステップＳ１４）においては、第２部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を第２音響信号Ｗ２，Ｗ４として抽出しなくてもよい。この場合、例えば、第２音響信号Ｗ２，Ｗ４を抽出する作業が手動で行われ、第２信号取得部１２は、手動により抽出された第２音響信号Ｗ２，Ｗ４を取得してもよい。 Further, the second signal acquisition unit 12 of the swallowing sound determination device 10 uses the second acoustic signal W2 as the acoustic signal in the sounded section among the acoustic signals acquired over the entire section collected in the second portion. It does not have to be extracted as W4. That is, in the signal acquisition step (step S14) of the swallowing sound determination method, among the acoustic signals acquired over the entire section collected at the second portion, the acoustic signal in the sound section is the second acoustic signal W2. It does not have to be extracted as W4. In this case, for example, the work of extracting the second acoustic signals W2 and W4 is manually performed, and the second signal acquisition unit 12 may acquire the manually extracted second acoustic signals W2 and W4.

また、嚥下音判定装置１０は、計数部１５を備えていなくてもよい。すなわち、嚥下音判定方法は、計数ステップ（ステップＳ２０）を備えていなくてもよい。 Further, the swallowing sound determination device 10 does not have to include the counting unit 15. That is, the swallowing sound determination method does not have to include the counting step (step S20).

また、第１部位は、対象者Ｐの頸部Ｎの部位であって第２部位とは異なる部位であればよく、対象者Ｐの頸部Ｎの側面において中咽頭部に対応する部位に限定されない。第２部位は、対象者Ｐの頸部Ｎの部位であって第１部位とは異なる部位であればよく、対象者Ｐの頸部Ｎの側面において下咽頭部に対応する部位に限定されない。 Further, the first site may be a site of the neck N of the subject P and different from the second site, and is limited to a site corresponding to the oropharynx on the side surface of the neck N of the subject P. Not done. The second site may be a site of the neck N of the subject P and different from the first site, and is not limited to a site corresponding to the hypopharynx on the side surface of the neck N of the subject P.

１０…嚥下音判定装置、１１…第１信号取得部、１２…第２信号取得部、１３…算出部、１４…判定部、１５…計数部、１６…出力部、Ｂ２…中咽頭部、Ｂ３…下咽頭部、Ｎ…頸部、Ｐ…対象者、Ｔ…咽喉部、Ｗ１，Ｗ３…第１音響信号、Ｗ２，Ｗ４…第２音響信号。 10 ... swallowing sound determination device, 11 ... first signal acquisition unit, 12 ... second signal acquisition unit, 13 ... calculation unit, 14 ... determination unit, 15 ... counting unit, 16 ... output unit, B2 ... oropharynx, B3 ... Hypopharynx, N ... Neck, P ... Subject, T ... Throat, W1, W3 ... 1st acoustic signal, W2, W4 ... 2nd acoustic signal.

Claims (18)

対象者の咽喉部において生成された咽喉音が前記対象者の嚥下による嚥下音であるか否かを判定する嚥下音判定装置であって、
前記対象者の頸部の第１部位において集音された前記咽喉音を第１音響信号として取得する第１信号取得部と、
前記対象者の頸部の前記第１部位とは異なる第２部位において集音された前記咽喉音を第２音響信号として取得する第２信号取得部と、
前記第１信号取得部により取得された前記第１音響信号と前記第２信号取得部により取得された前記第２音響信号との判定用相互相関値を算出する算出部と、
前記算出部により算出された前記判定用相互相関値に基づいて、前記咽喉音が嚥下音であるか否かを判定する判定部と、
前記判定部による判定結果を出力する出力部と、を備える、嚥下音判定装置。 It is a swallowing sound determination device that determines whether or not the throat sound generated in the throat of the subject is the swallowing sound generated by the subject's swallowing.
A first signal acquisition unit that acquires the sore throat sound collected at the first portion of the neck of the subject as a first acoustic signal, and a first signal acquisition unit.
A second signal acquisition unit that acquires the sore throat sound collected at a second portion different from the first portion of the subject's neck as a second acoustic signal, and a second signal acquisition unit.
A calculation unit that calculates a cross-correlation value for determination between the first acoustic signal acquired by the first signal acquisition unit and the second acoustic signal acquired by the second signal acquisition unit.
A determination unit that determines whether or not the throat sound is a swallowing sound based on the determination cross-correlation value calculated by the calculation unit.
A swallowing sound determination device including an output unit that outputs a determination result by the determination unit. 前記算出部は、
前記第１音響信号又は前記第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、
複数の前記遅延音響信号のそれぞれと前記第１音響信号又は前記第２音響信号のいずれか他方とに基づいて相互相関値をそれぞれ算出し、
複数の前記相互相関値のうちの最大値、又は、複数の前記相互相関値の平均値を前記判定用相互相関値として用いる、請求項１に記載の嚥下音判定装置。 The calculation unit
A plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time different from each other are acquired.
Cross-correlation values are calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal.
Maximum value among the plurality of the cross-correlation value, or, using the average value of a plurality of said cross-correlation value as the judgment correlation value, the swallowing sound determination apparatus according to claim 1. 前記算出部は、
前記第１音響信号又は前記第２音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、
前記遅延音響信号と前記第１音響信号又は前記第２音響信号のいずれか他方とに基づいて相互相関値を算出し、
前記相互相関値を前記判定用相互相関値として用いる、請求項１に記載の嚥下音判定装置。 The calculation unit
A delayed acoustic signal obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time is acquired.
A cross-correlation value is calculated based on the delayed acoustic signal and either the first acoustic signal or the second acoustic signal.
Using said cross-correlation value as the judgment correlation value, the swallowing sound determination apparatus according to claim 1. 前記判定部は、
前記判定用相互相関値に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定し、
前記咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が前記嚥下音であると判定し、前記咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が前記嚥下音でないと判定する、請求項１〜３のいずれか一項に記載の嚥下音判定装置。 The determination unit
Based on the determination cross-correlation value, it is determined whether or not the generation position of the throat sound changes with time.
When it is determined that the generation position of the throat sound changes with time, it is determined that the throat sound is the swallowing sound, and when it is determined that the generation position of the throat sound does not change with time, the throat The swallowing sound determination device according to any one of claims 1 to 3, wherein it is determined that the sound is not the swallowing sound. 前記判定部は、
前記判定用相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定する、請求項４に記載の嚥下音判定装置。 The determination unit
The swallowing according to claim 4, wherein the determination cross-correlation value is compared with a preset threshold value, and based on the comparison result, it is determined whether or not the generation position of the throat sound changes with time. Sound judgment device. 前記判定部は、
前記判定用相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて前記咽喉音が嚥下音であるか否かを判定する、請求項１〜３のいずれか一項に記載の嚥下音判定装置。 The determination unit
A model for discriminating whether or not the throat sound is a swallowing sound is learned by machine learning using a plurality of feature quantities including the intercorrelation value for determination, and whether the throat sound is a swallowing sound based on the model. The swallowing sound determination device according to any one of claims 1 to 3, which determines whether or not. 前記第１信号取得部は、前記第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を前記第１音響信号として抽出し、
前記第２信号取得部は、前記第２部位において集音される全区間に亘って取得された音響信号のうち、前記有音区間における音響信号を前記第２音響信号として抽出する、請求項１〜６のいずれか一項に記載の嚥下音判定装置。 The first signal acquisition unit extracts the acoustic signal in the sound section from the acoustic signals acquired over the entire section collected in the first portion as the first acoustic signal.
The second signal acquisition unit extracts the acoustic signal in the sound section from the acoustic signals acquired over the entire section collected in the second portion as the second acoustic signal. 6. The swallowing sound determination device according to any one of 6. 前記判定部により前記嚥下音であると判定された前記咽喉音の数を計数する計数部を備える、請求項７に記載の嚥下音判定装置。 The swallowing sound determination device according to claim 7, further comprising a counting unit that counts the number of the throat sounds determined to be the swallowing sound by the determination unit. 前記第１部位は、前記対象者の頸部の側面において中咽頭部に対応する部位であり、
前記第２部位は、前記対象者の頸部の側面において下咽頭部に対応する部位である、請求項１〜８のいずれか一項に記載の嚥下音判定装置。 The first site is a site corresponding to the oropharynx on the side surface of the neck of the subject.
The swallowing sound determination device according to any one of claims 1 to 8, wherein the second part is a part corresponding to the hypopharynx on the side surface of the neck of the subject. 対象者の咽喉部において生成された咽喉音が前記対象者の嚥下による嚥下音であるか否かを判定する嚥下音判定装置によって実行される嚥下音判定方法であって、
嚥下音判定装置のコントローラが、前記対象者の頸部の第１部位において集音された前記咽喉音を第１音響信号として取得すると共に、前記対象者の頸部の前記第１部位とは異なる第２部位において集音された前記咽喉音を第２音響信号として取得する信号取得ステップと、
前記コントローラが、前記第１音響信号と前記第２音響信号との判定用相互相関値を算出する算出ステップと、
前記コントローラが、前記判定用相互相関値に基づいて、前記咽喉音が嚥下音であるか否かを判定する判定ステップと、
前記コントローラが、前記判定ステップにおける判定結果を出力する出力ステップと、を備える、嚥下音判定方法。 It is a swallowing sound determination method executed by a swallowing sound determination device that determines whether or not the throat sound generated in the throat of the subject is a swallowing sound caused by the subject's swallowing.
The controller of the swallowing sound determination device acquires the throat sound collected at the first part of the neck of the subject as a first acoustic signal, and is different from the first part of the neck of the subject. A signal acquisition step of acquiring the throat sound collected at the second part as a second acoustic signal, and
Wherein the controller, a calculation step of calculating a judgment correlation value between the first acoustic signal and the second acoustic signal,
A determination step in which the controller determines whether or not the throat sound is a swallowing sound based on the determination cross-correlation value.
A swallowing sound determination method, wherein the controller includes an output step for outputting a determination result in the determination step. 前記算出ステップにおいては、前記コントローラが、
前記第１音響信号又は前記第２音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、
複数の前記遅延音響信号のそれぞれと前記第１音響信号又は前記第２音響信号のいずれか他方とに基づいて相互相関値をそれぞれ算出し、
複数の前記相互相関値のうちの最大値、又は、複数の前記相互相関値の平均値を前記判定用相互相関値として用いる、請求項１０に記載の嚥下音判定方法。 In the calculation step, the controller
A plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time different from each other are acquired.
Cross-correlation values are calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal.
Maximum value among the plurality of the cross-correlation value, or, using the average value of a plurality of said cross-correlation value as the judgment correlation value, swallowing sound determination method according to claim 10. 前記算出ステップにおいては、前記コントローラが、
前記第１音響信号又は前記第２音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、
前記遅延音響信号と前記第１音響信号又は前記第２音響信号のいずれか他方とに基づいて相互相関値を算出し、
前記相互相関値を前記判定用相互相関値として用いる、請求項１０に記載の嚥下音判定方法。 In the calculation step, the controller
A delayed acoustic signal obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time is acquired.
A cross-correlation value is calculated based on the delayed acoustic signal and either the first acoustic signal or the second acoustic signal.
Using said cross-correlation value as the judgment correlation value, swallowing sound determination method according to claim 10. 前記判定ステップにおいては、前記コントローラが、
前記判定用相互相関値に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定し、
前記咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が前記嚥下音であると判定し、前記咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が前記嚥下音でないと判定する、請求項１０〜１２のいずれか一項に記載の嚥下音判定方法。 In the determination step, the controller
Based on the determination cross-correlation value, it is determined whether or not the generation position of the throat sound changes with time.
When it is determined that the generation position of the throat sound changes with time, it is determined that the throat sound is the swallowing sound, and when it is determined that the generation position of the throat sound does not change with time, the throat The swallowing sound determination method according to any one of claims 10 to 12, wherein it is determined that the sound is not the swallowing sound. 前記判定ステップにおいては、前記コントローラが、
前記判定用相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定する、請求項１３に記載の嚥下音判定方法。 In the determination step, the controller
The swallowing according to claim 13, wherein the determination cross-correlation value is compared with a preset threshold value, and based on the comparison result, it is determined whether or not the generation position of the throat sound changes with time. Sound judgment method. 前記判定ステップにおいては、前記コントローラが、
前記判定用相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて前記咽喉音が嚥下音であるか否かを判定する、請求項１０〜１２のいずれか一項に記載の嚥下音判定方法。 In the determination step, the controller
A model for discriminating whether or not a throat sound is a swallowing sound is learned by machine learning using a plurality of features including the intercorrelation value for determination, and whether the throat sound is a swallowing sound based on the model. The swallowing sound determination method according to any one of claims 10 to 12, which determines whether or not. 前記信号取得ステップにおいては、前記コントローラが、
前記第１部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を前記第１音響信号として抽出し、
前記第２部位において集音される全区間に亘って取得された音響信号のうち、前記有音区間における音響信号を前記第２音響信号として抽出する、請求項１０〜１５のいずれか一項に記載の嚥下音判定方法。 In the signal acquisition step, the controller
Of the acoustic signals acquired over the entire section collected in the first portion, the acoustic signal in the sound section is extracted as the first acoustic signal.
According to any one of claims 10 to 15, among the acoustic signals acquired over the entire section collected in the second portion, the acoustic signal in the sound section is extracted as the second acoustic signal. The swallowing sound determination method described. 前記コントローラが、前記判定ステップにおいて前記嚥下音であると判定した前記咽喉音の数を計数する計数ステップを備える、請求項１６に記載の嚥下音判定方法。 The swallowing sound determination method according to claim 16, wherein the controller includes a counting step for counting the number of the throat sounds determined to be the swallowing sound in the determination step. 前記第１部位は、前記対象者の頸部の側面において中咽頭部に対応する部位であり、
前記第２部位は、前記対象者の頸部の側面において下咽頭部に対応する部位である、請求項１０〜１７のいずれか一項に記載の嚥下音判定方法。 The first site is a site corresponding to the oropharynx on the side surface of the neck of the subject.
The swallowing sound determination method according to any one of claims 10 to 17, wherein the second part is a part corresponding to the hypopharynx on the side surface of the neck of the subject.
JP2017168705A 2017-09-01 2017-09-01 Swallowing sound judgment device and swallowing sound judgment method Active JP6963795B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017168705A JP6963795B2 (en) 2017-09-01 2017-09-01 Swallowing sound judgment device and swallowing sound judgment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017168705A JP6963795B2 (en) 2017-09-01 2017-09-01 Swallowing sound judgment device and swallowing sound judgment method

Publications (2)

Publication Number Publication Date
JP2019042148A JP2019042148A (en) 2019-03-22
JP6963795B2 true JP6963795B2 (en) 2021-11-10

Family

ID=65814925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017168705A Active JP6963795B2 (en) 2017-09-01 2017-09-01 Swallowing sound judgment device and swallowing sound judgment method

Country Status (1)

Country Link
JP (1) JP6963795B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005066044A (en) * 2003-08-25 2005-03-17 Konica Minolta Medical & Graphic Inc Respiratory sound data processor and program
JP2009011540A (en) * 2007-07-04 2009-01-22 Konica Minolta Medical & Graphic Inc Biological test device and program for biological test device
JP5140891B2 (en) * 2009-06-09 2013-02-13 国立大学法人九州大学 Signal peak measurement system
JP2012075758A (en) * 2010-10-05 2012-04-19 Doshisha Dysphagia detecting system
WO2012068254A2 (en) * 2010-11-17 2012-05-24 University Of Florida Research Foundation Inc. Systems and methods for automatically determining patient swallow frequency
JP5924724B2 (en) * 2011-05-09 2016-05-25 国立大学法人岩手大学 Mouth-mouth movement state estimation method and jaw-mouth movement state estimation device
JP5952536B2 (en) * 2011-07-12 2016-07-13 国立大学法人 筑波大学 Swallowing function data measuring device, swallowing function data measuring system, and swallowing function data measuring method
CN105637760B (en) * 2013-10-09 2018-05-08 株式会社村田制作所 Amplifying circuit and the detection device for possessing the amplifying circuit

Also Published As

Publication number Publication date
JP2019042148A (en) 2019-03-22

Similar Documents

Publication Publication Date Title
AU2018214442B2 (en) Methods and apparatus for cough detection in background noise environments
Pramono et al. A cough-based algorithm for automatic diagnosis of pertussis
Ghassemi et al. Learning to detect vocal hyperfunction from ambulatory neck-surface acceleration features: Initial results for vocal fold nodules
US11786171B2 (en) Method and system for articulation evaluation by fusing acoustic features and articulatory movement features
WO2018046595A1 (en) Classifier ensemble for detection of abnormal heart sounds
US10959661B2 (en) Quantification of bulbar function
CN104739412B (en) A kind of method and apparatus being monitored to sleep apnea
JP6906197B2 (en) Information processing method, information processing device and information processing program
TWI666633B (en) Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program
JP6258172B2 (en) Sound information processing apparatus and system
Peruzzi et al. A novel methodology to remotely and early diagnose sleep bruxism by leveraging on audio signals and embedded machine learning
JP2019051129A (en) Deglutition function analysis system and program
Selvakumari et al. A voice activity detector using SVM and Naïve Bayes classification algorithm
JP6963795B2 (en) Swallowing sound judgment device and swallowing sound judgment method
CN108490395A (en) Sound source positioning method and device
US20210315517A1 (en) Biomarkers of inflammation in neurophysiological systems
KR20160023345A (en) System for counting swallowing and method thereof
JP2020513908A (en) How to characterize sleep-disordered breathing
JP2005010652A (en) Speech detecting device
Kalantarian et al. A smartwatch-based system for audio-based monitoring of dietary habits
JP6742620B2 (en) Swallowing diagnostic device and program
CN113226173A (en) Biological information analysis device, biological information analysis method, and biological information analysis system
Uwaoma et al. On Smartphone-based Discrimination of Pathological Respiratory Sounds with Similar Acoustic Properties using Machine Learning Algorithms.
WO2023054632A1 (en) Determination device and determination method for dysphagia
JP6730636B2 (en) Information processing apparatus, control program, and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6963795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150