JP6963795B2 - Swallowing sound judgment device and swallowing sound judgment method - Google Patents
Swallowing sound judgment device and swallowing sound judgment method Download PDFInfo
- Publication number
- JP6963795B2 JP6963795B2 JP2017168705A JP2017168705A JP6963795B2 JP 6963795 B2 JP6963795 B2 JP 6963795B2 JP 2017168705 A JP2017168705 A JP 2017168705A JP 2017168705 A JP2017168705 A JP 2017168705A JP 6963795 B2 JP6963795 B2 JP 6963795B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- swallowing
- acoustic signal
- throat
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、嚥下音判定装置及び嚥下音判定方法に関する。 The present invention relates to a swallowing sound determination device and a swallowing sound determination method.
例えば傷病、加齢等に起因して嚥下機能が低下すると、食事の際に通常よりも誤嚥が起こりやすくなる。誤嚥は誤嚥性肺炎の一因とされていることから、例えば医療又は介護の現場では、対象者の嚥下機能の状態を把握することが求められる場合がある。そこで、例えば対象者の嚥下による嚥下音を検出することで当該対象者が嚥下を行ったことを検知し、その検知結果に基づいて対象者の嚥下機能の状態を把握する手法が知られている。 For example, when the swallowing function deteriorates due to injury or illness, aging, etc., aspiration is more likely to occur when eating than usual. Since aspiration is considered to be one of the causes of aspiration pneumonia, it may be required to grasp the state of the swallowing function of the subject, for example, in the medical or long-term care field. Therefore, for example, a method is known in which the subject swallows by detecting the swallowing sound of the subject and the state of the subject's swallowing function is grasped based on the detection result. ..
ここで、嚥下音を検出するための装置として、対象者の頸部に配置される集音部により嚥下音を集音するように構成された装置が提案されている。例えば特許文献1には、対象者の頸部に配置される嚥下音用マイクロフォンに加えて対象者の鼻部近傍に配置される鼻孔音用マイクロフォンを備え、鼻孔音用マイクロフォンにより集音された鼻孔音に基づいて呼吸の停止期間を判定し、呼吸の停止期間中に嚥下音用マイクロフォンにより集音された咽喉音を嚥下音として検出する装置が開示されている。 Here, as a device for detecting the swallowing sound, a device configured to collect the swallowing sound by a sound collecting unit arranged on the neck of the subject has been proposed. For example, Patent Document 1 includes a microphone for swallowing sound arranged in the neck of a subject and a microphone for nasal hole sound arranged in the vicinity of the nose of the subject, and a nasal hole collected by the microphone for nasal hole sound. A device for determining a period of respiratory arrest based on sound and detecting a throat sound collected by a swallowing sound microphone during the period of respiratory arrest as a swallowing sound is disclosed.
しかしながら、対象者の頸部において集音される咽喉音は、嚥下音であるとは限られず、例えば咀嚼、発話等によるノイズである場合もある。咽喉音が嚥下音であるかノイズであるかを正確に区別することは容易ではない。 However, the throat sound collected in the neck of the subject is not limited to the swallowing sound, and may be noise due to, for example, mastication or speech. It is not easy to accurately distinguish whether a sore throat is a swallowing sound or a noise.
そこで、本発明は、咽喉音が嚥下音であるか否かを精度良く判定することができる嚥下音判定装置及び嚥下音判定方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a swallowing sound determination device and a swallowing sound determination method capable of accurately determining whether or not a throat sound is a swallowing sound.
本発明者らは、上記課題を解決すべく鋭意研究を重ねた結果、以下の事実を新たに見出した。すなわち、対象者の咽喉部において生成された咽喉音が、対象者の頸部における互いに異なる2箇所の部位で集音され、それぞれ音響信号として取得された場合、これらの音響信号の相互相関値は、咽喉音が嚥下音であるときと咽喉音以外のノイズであるときとで互いに異なる傾向を示す。 As a result of intensive research to solve the above problems, the present inventors have newly found the following facts. That is, when the throat sounds generated in the subject's throat are collected at two different parts of the subject's neck and acquired as acoustic signals, the mutual correlation value of these acoustic signals is , When the throat sound is a swallowing sound and when it is a noise other than the throat sound, it tends to be different from each other.
かかる事実を踏まえ、本発明に係る嚥下音判定装置は、対象者の咽喉部において生成された咽喉音が対象者の嚥下による嚥下音であるか否かを判定する嚥下音判定装置であって、対象者の頸部の第1部位において集音された咽喉音を第1音響信号として取得する第1信号取得部と、対象者の頸部の第1部位とは異なる第2部位において集音された咽喉音を第2音響信号として取得する第2信号取得部と、第1信号取得部により取得された第1音響信号と第2信号取得部により取得された第2音響信号との相互相関値を算出する算出部と、算出部により算出された相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定部と、判定部による判定結果を出力する出力部と、を備える。 Based on this fact, the swallowing sound determination device according to the present invention is a swallowing sound determination device that determines whether or not the throat sound generated in the throat of the subject is the swallowing sound generated by the subject's swallowing. The first signal acquisition unit that acquires the throat sound collected in the first part of the subject's neck as the first acoustic signal and the second part that is different from the first part of the subject's neck are collected. Mutual correlation value between the second signal acquisition unit that acquires the sore throat sound as the second acoustic signal, the first acoustic signal acquired by the first signal acquisition unit, and the second acoustic signal acquired by the second signal acquisition unit. A calculation unit that calculates, a determination unit that determines whether or not the throat sound is a swallowing sound based on the mutual correlation value calculated by the calculation unit, and an output unit that outputs the determination result by the determination unit. Be prepared.
この嚥下音判定装置によれば、対象者の頸部の第1部位において集音された咽喉音が信号として取得された第1音響信号と、対象者の頸部の第2部位において集音された当該咽喉音が信号として取得された第2音響信号と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、この装置は、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、この装置は、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to this swallowing sound determination device, the first acoustic signal obtained as a signal of the throat sound collected at the first part of the neck of the subject and the sound collected at the second part of the neck of the subject. The mutual correlation value of the throat sound with the second acoustic signal acquired as a signal is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, this device determines whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, this device can accurately determine whether or not the throat sound is a swallowing sound.
本発明に係る嚥下音判定装置では、算出部は、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関をそれぞれ算出し、複数の相互相関のうちの最大値、又は、複数の相互相関の平均値を相互相関値として用いてもよい。これによれば、この装置は、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination device according to the present invention, the calculation unit acquires a plurality of delayed acoustic signals in which either one of the first acoustic signal or the second acoustic signal is delayed with respect to the other by a delay time different from each other. , The cross-correlation is calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal, and the maximum value of the plurality of cross-correlation or the plurality of cross-correlation. The average value may be used as the cross-correlation value. According to this, this device effectively suppresses the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part. be able to.
本発明に係る嚥下音判定装置では、算出部は、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、遅延音響信号と第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。これによれば、この装置は、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を簡便な処理により抑制することができる。 In the swallowing sound determination device according to the present invention, the calculation unit acquires a delayed acoustic signal obtained by delaying either the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time, and delays the signal. The cross-correlation may be calculated based on the acoustic signal and either the first acoustic signal or the second acoustic signal, and the cross-correlation may be used as the cross-correlation value. According to this, this device suppresses the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part by a simple process. can do.
本発明に係る嚥下音判定装置では、判定部は、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定してもよい。咽喉音が嚥下音である場合、対象者による嚥下の動作の段階によって(すなわち、対象者が嚥下しようとしている嚥下対象物の咽喉部における位置によって)、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化するため、第1音響信号と第2音響信号との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者による嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化しないため、第1音響信号と第2音響信号との相互相関値は比較的大きくなる傾向を示す。そこで、この装置は、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、この装置は、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination device according to the present invention, the determination unit determines whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and when the generation position of the throat sound changes with time. When it is determined, it may be determined that the throat sound is a swallowing sound, and when it is determined that the generation position of the throat sound does not change with time, it may be determined that the throat sound is not a swallowing sound. When the sore throat is a swallowing sound, the position where the sore throat is generated changes over time depending on the stage of the swallowing movement by the subject (that is, the position of the swallowing object in the throat where the subject is trying to swallow). .. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the 1st acoustic signal and the 2nd acoustic signal tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal and the second acoustic signal tends to be relatively large. Therefore, when it is determined that the generation position of the throat sound changes with time based on the cross-correlation value, this device determines that the throat sound is a swallowing sound, while the throat sound is determined based on the cross-correlation value. When it is determined that the generation position of is not changed with time, it is determined that the throat sound is not a swallowing sound. Therefore, this device can accurately determine whether or not the throat sound is a swallowing sound.
本発明に係る嚥下音判定装置では、判定部は、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定してもよい。これによれば、相互相関値との比較対象として予め設定された閾値が用いられるため、この装置は、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination device according to the present invention, the determination unit compares the cross-correlation value with the preset threshold value, and based on the comparison result, determines whether or not the generation position of the throat sound changes with time. You may judge. According to this, since a preset threshold value is used as a comparison target with the cross-correlation value, this device can determine whether or not the throat sound is a swallowing sound by a simple process.
本発明に係る嚥下音判定装置では、判定部は、相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを判定してもよい。これによれば、相互相関値のみならず他の特徴量も用いた機械学習により咽喉音が嚥下音であるか否かが総合的に判定されるため、この装置は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination device according to the present invention, the determination unit learns a model for discriminating whether or not the throat sound is a swallowing sound by machine learning using a plurality of feature quantities including mutual correlation values, and uses the model. Based on this, it may be determined whether or not the throat sound is a swallowing sound. According to this, since it is comprehensively determined whether or not the throat sound is a swallowing sound by machine learning using not only the cross-correlation value but also other feature quantities, this device uses the throat sound as the swallowing sound. It is possible to more accurately determine whether or not there is.
本発明に係る嚥下音判定装置では、第1信号取得部は、第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第1音響信号として抽出し、第2信号取得部は、第2部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第2音響信号として抽出してもよい。これによれば、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、この装置は、処理の自動化を図ることができる。 In the swallowing sound determination device according to the present invention, the first signal acquisition unit uses the acoustic signal in the sound section as the first acoustic signal among the acoustic signals acquired over the entire section collected in the first portion. The second signal acquisition unit may extract the acoustic signal in the sound section from the acoustic signals acquired over the entire section collected in the second portion as the second acoustic signal. According to this, since it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound, this device aims at automating the processing. be able to.
本発明に係る嚥下音判定装置は、判定部により嚥下音であると判定された咽喉音の数を計数する計数部を備えてもよい。これによれば、この装置は、例えば対象者の嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination device according to the present invention may include a counting unit that counts the number of throat sounds determined to be swallowing sounds by the determination unit. According to this, this device can automate, for example, an examination for grasping the state of the swallowing function of a subject.
本発明に係る嚥下音判定装置では、第1部位は、対象者の頸部の側面において中咽頭部に対応する部位であり、第2部位は、対象者の頸部の側面において下咽頭部に対応する部位であってもよい。これによれば、この装置は、第1音響信号及び第2音響信号をより確実に取得することができるため、第1音響信号と第2音響信号との相互相関値をより適切に算出することが可能となる。よって、この装置は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination device according to the present invention, the first part is a part corresponding to the oropharynx on the side surface of the neck of the subject, and the second part is on the hypopharynx on the side surface of the neck of the subject. It may be the corresponding site. According to this, since this device can acquire the first acoustic signal and the second acoustic signal more reliably, the cross-correlation value between the first acoustic signal and the second acoustic signal can be calculated more appropriately. Is possible. Therefore, this device can more accurately determine whether or not the throat sound is a swallowing sound.
本発明に係る嚥下音判定方法は、対象者の咽喉部において生成された咽喉音が対象者の嚥下による嚥下音であるか否かを判定する嚥下音判定方法であって、対象者の頸部の第1部位において集音された咽喉音を第1音響信号として取得すると共に、対象者の頸部の第1部位とは異なる第2部位において集音された咽喉音を第2音響信号として取得する信号取得ステップと、第1音響信号と第2音響信号との相互相関値を算出する算出ステップと、相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定ステップと、判定ステップにおける判定結果を出力する出力ステップと、を備える。 The swallowing sound determination method according to the present invention is a swallowing sound determination method for determining whether or not the throat sound generated in the throat of the subject is a swallowing sound due to the swallowing of the subject, and is a swallowing sound determination method for the neck of the subject. The throat sound collected in the first part of the subject is acquired as the first acoustic signal, and the throat sound collected in the second part different from the first part of the subject's neck is acquired as the second acoustic signal. A signal acquisition step to be performed, a calculation step to calculate a mutual correlation value between the first acoustic signal and the second acoustic signal, and a determination step to determine whether or not the throat sound is a swallowing sound based on the mutual correlation value. , An output step for outputting the determination result in the determination step.
この嚥下音判定方法によれば、対象者の頸部の第1部位において集音された咽喉音が信号として取得された第1音響信号と、対象者の頸部の第2部位において集音された当該咽喉音が信号として取得された第2音響信号と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、この方法では、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、この方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to this swallowing sound determination method, the first acoustic signal obtained as a signal from the throat sound collected at the first part of the neck of the subject and the sound collected at the second part of the neck of the subject. The mutual correlation value of the throat sound with the second acoustic signal acquired as a signal is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, in this method, it is determined whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, in this method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.
本発明に係る嚥下音判定方法では、算出ステップにおいては、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関をそれぞれ算出し、複数の相互相関のうちの最大値、又は、複数の相互相関の平均値を相互相関値として用いてもよい。これによれば、この方法では、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination method according to the present invention, in the calculation step, a plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time different from each other are acquired. Then, the cross-correlation is calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal, and the maximum value of the plurality of cross-correlation or the plurality of cross-correlation is obtained. The average value of may be used as the cross-correlation value. According to this, in this method, the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part is effectively suppressed. be able to.
本発明に係る嚥下音判定方法では、算出ステップにおいては、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、遅延音響信号と第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。これによれば、この方法では、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を簡便な処理により抑制することができる。 In the swallowing sound determination method according to the present invention, in the calculation step, a delayed acoustic signal obtained by delaying either the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time is acquired. The cross-correlation may be calculated based on the delayed sound signal and either the first sound signal or the second sound signal, and the cross-correlation may be used as the cross-correlation value. According to this, in this method, the influence of the difference between the generation position of the sore throat and the distance between the first part and the distance between the generation position of the sore throat and the second part is suppressed by a simple process. can do.
本発明に係る嚥下音判定方法では、判定ステップにおいては、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定してもよい。咽喉音が嚥下音である場合、対象者による嚥下の動作の段階によって(すなわち、対象者が嚥下しようとしている嚥下対象物の咽喉部における位置によって)、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化するため、第1音響信号と第2音響信号との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者による嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化しないため、第1音響信号と第2音響信号との相互相関値は比較的大きくなる傾向を示す。そこで、この方法では、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、この方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination method according to the present invention, in the determination step, it is determined whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and the generation position of the throat sound changes with time. If it is determined that the throat sound is a swallowing sound, and if it is determined that the generation position of the throat sound does not change with time, it may be determined that the throat sound is not a swallowing sound. When the sore throat is a swallowing sound, the position where the sore throat is generated changes over time depending on the stage of the swallowing movement by the subject (that is, the position of the swallowing object in the throat where the subject is trying to swallow). .. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the 1st acoustic signal and the 2nd acoustic signal tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal and the second acoustic signal tends to be relatively large. Therefore, in this method, when it is determined that the generation position of the throat sound changes with time based on the cross-correlation value, it is determined that the throat sound is a swallowing sound, while the throat sound is determined based on the cross-correlation value. When it is determined that the generation position of is not changed with time, it is determined that the throat sound is not a swallowing sound. Therefore, in this method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.
本発明に係る嚥下音判定方法では、判定ステップにおいては、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定してもよい。これによれば、相互相関値との比較対象として予め設定された閾値が用いられるため、この方法では、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination method according to the present invention, in the determination step, the cross-correlation value is compared with a preset threshold value, and based on the comparison result, whether or not the generation position of the throat sound changes with time. May be determined. According to this, since a preset threshold value is used as a comparison target with the cross-correlation value, in this method, it is possible to determine whether or not the throat sound is a swallowing sound by a simple process.
本発明に係る嚥下音判定方法では、判定ステップにおいては、相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを判定してもよい。これによれば、相互相関値のみならず他の特徴量も用いた機械学習により咽喉音が嚥下音であるか否かが総合的に判定されるため、この方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination method according to the present invention, in the determination step, a model for identifying whether or not the throat sound is a swallowing sound is learned by machine learning using a plurality of feature quantities including mutual correlation values, and the model is concerned. It may be determined whether or not the throat sound is a swallowing sound based on. According to this, it is comprehensively determined whether or not the throat sound is a swallowing sound by machine learning using not only the cross-correlation value but also other features. Therefore, in this method, the throat sound is a swallowing sound. It is possible to more accurately determine whether or not there is.
本発明に係る嚥下音判定方法では、信号取得ステップにおいては、第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第1音響信号として抽出し、第2部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第2音響信号として抽出してもよい。これによれば、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、この方法では、処理の自動化を図ることができる。 In the swallowing sound determination method according to the present invention, in the signal acquisition step, among the acoustic signals acquired over the entire section collected at the first portion, the acoustic signal in the sound section is extracted as the first acoustic signal. Then, among the acoustic signals acquired over the entire section collected at the second portion, the acoustic signal in the sound section may be extracted as the second acoustic signal. According to this, since it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound, this method aims to automate the processing. be able to.
本発明に係る嚥下音判定方法は、判定ステップにおいて嚥下音であると判定した咽喉音の数を計数する計数ステップを備えてもよい。これによれば、この方法では、例えば対象者の嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination method according to the present invention may include a counting step for counting the number of throat sounds determined to be swallowing sounds in the determination step. According to this, in this method, for example, it is possible to automate an examination for grasping the state of the swallowing function of a subject.
本発明に係る嚥下音判定方法では、第1部位は、対象者の頸部の側面において中咽頭部に対応する部位であり、第2部位は、対象者の頸部の側面において下咽頭部に対応する部位であってもよい。これによれば、この方法では、第1音響信号及び第2音響信号をより確実に取得することができるため、第1音響信号と第2音響信号との相互相関値をより適切に算出することが可能となる。よって、この方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination method according to the present invention, the first site is a site corresponding to the oropharynx on the side surface of the neck of the subject, and the second site is on the hypopharynx on the side surface of the neck of the subject. It may be the corresponding site. According to this, in this method, the first acoustic signal and the second acoustic signal can be acquired more reliably, so that the cross-correlation value between the first acoustic signal and the second acoustic signal can be calculated more appropriately. Is possible. Therefore, in this method, it is possible to more accurately determine whether or not the throat sound is a swallowing sound.
本発明によれば、咽喉音が嚥下音であるか否かを精度良く判定することが可能となる。 According to the present invention, it is possible to accurately determine whether or not the sore throat sound is a swallowing sound.
以下、本発明の実施形態について、図面を参照して説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each figure, the same or corresponding parts are designated by the same reference numerals, and duplicate description will be omitted.
図1は、実施形態に係る嚥下音判定装置10を示すブロック図である。図2は、嚥下音判定装置10が使用される態様の一例を示す図である。図3は、咽喉部Tを説明するための図である。図1〜図3に示されるように、嚥下音判定装置10は、対象者Pの咽喉部Tにおいて生成(「産生」ともいう)された咽喉音を対象者Pの頸部Nにおいて集音し、当該咽喉音が対象者Pの嚥下による嚥下音であるか否かを判定する装置である。
FIG. 1 is a block diagram showing a swallowing
「頸部N」とは、対象者Pの身体において、頭部と胴体部とを接続し、胴体部に対して頭部を支持する部分である。「咽喉部T」とは、ここでは口腔A、咽頭B、喉頭C、及び食道Dを含む頸部N周辺の内部器官である。咽頭Bは、上咽頭部B1、中咽頭部B2、及び下咽頭部B3を含む。「咽喉音」とは、咽喉部Tにおいて生成される各種の音であり、対象者Pの嚥下による嚥下音、及び、対象者Pの咀嚼、発話等によるノイズを含む。「嚥下音」とは、対象者Pによる嚥下対象物(例えば、食べ物、飲み物、唾液等)の嚥下に伴って咽喉部Tにおいて生成される音である。 The "neck N" is a portion of the body of the subject P that connects the head and the body portion and supports the head portion with respect to the body portion. The "throat T" here is an internal organ around the neck N including the oral cavity A, pharynx B, larynx C, and esophagus D. The pharynx B includes the nasopharynx B1, the oropharynx B2, and the hypopharynx B3. The "throat sound" is various sounds generated in the throat portion T, and includes a swallowing sound caused by the subject P's swallowing and noise caused by the subject P's mastication, speech, and the like. The "swallowing sound" is a sound generated in the throat T when the subject P swallows an object to be swallowed (for example, food, drink, saliva, etc.).
嚥下音の咽喉部Tにおける生成位置は、対象者Pによる嚥下の動作の段階によって(すなわち、対象者Pが嚥下しようとしている嚥下対象物の咽喉部Tにおける位置によって)、経時的に変化する。より詳細には、嚥下対象物が口腔A内から中咽頭部B2及び下咽頭部B3を経て食道Dに至る各段階において、咽喉部Tにおける内部圧力が順次変化することで、嚥下音の咽喉部Tにおける生成位置が経時的に変化すると考えられる。これに対し、ノイズの咽喉部Tにおける生成位置は、対象者Pによる嚥下の動作の段階によって、経時的に変化しない。例えば、一般に、対象者Pの咀嚼によるノイズは主に口腔A内において生成され、対象者Pの発話によるノイズは主に喉頭Cの声帯において生成される。なお、「咽喉音の生成位置が経時的に変化する」とは、咽喉音の生成位置が時間の経過に伴って順次変化することを意味する。また、「咽喉音の生成位置が経時的に変化しない」とは、必ずしも咽喉音の生成位置が経時的に全く変化しない場合に限られず、後述するように咽喉音が嚥下音であるか否かを判定可能であれば、咽喉音の生成位置が経時的に多少変化する場合を含んでもよい。 The position of the swallowing sound generated in the throat T changes with time depending on the stage of the swallowing action by the subject P (that is, the position of the swallowing object that the subject P intends to swallow in the throat T). More specifically, at each stage of the swallowing object from the oral cavity A through the oropharynx B2 and the hypopharynx B3 to the esophagus D, the internal pressure in the throat T gradually changes, so that the throat of the swallowing sound. It is considered that the generation position at T changes with time. On the other hand, the position where noise is generated in the throat portion T does not change with time depending on the stage of the swallowing operation by the subject P. For example, in general, the noise caused by the chewing of the subject P is mainly generated in the oral cavity A, and the noise caused by the speech of the subject P is mainly generated in the vocal cords of the larynx C. In addition, "the position where the throat sound is generated changes with time" means that the position where the throat sound is generated changes sequentially with the passage of time. Further, "the position where the throat sound is generated does not change with time" is not necessarily limited to the case where the position where the throat sound is generated does not change at all with time, and as will be described later, whether or not the throat sound is a swallowing sound. If it is possible to determine, the case where the generation position of the sore throat changes slightly with time may be included.
嚥下音判定装置10は、装置を統括的に制御するECU[Electronic Control Unit]を備えている。ECUは、CPU[CentralProcessing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]を有する電子制御ユニットである。ECUは、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより、後述する嚥下音判定の各機能を実現する。
The swallowing
嚥下音判定装置10には、第1集音部1、第2集音部2、及び報知部3が接続されている。
The first sound collecting unit 1, the second
第1集音部1は、対象者Pの頸部Nにおいて咽喉音を集音する機器であり、例えばマイクロフォンによって構成される。第1集音部1は、対象者Pの頸部Nの第1部位に配置される。「第1部位」とは、対象者Pの頸部Nにおいて、後述する第2部位とは異なる部位である。好適には、第1部位は、対象者Pの頸部Nの側面において中咽頭部B2に対応する部位であってもよい。なお、第1部位は、ここでは対象者Pの頸部Nの皮膚の表面上の部位であるが、対象者Pの頸部Nの皮膚から離間した部位であってもよい。第1集音部1は、頸部Nの外周面に沿う円弧状の保持具4の一端部に設けられている。第1集音部1は、保持具4が対象者Pの頸部Nに係止されることで、対象者Pの頸部Nの第1部位に配置される。
The first sound collecting unit 1 is a device that collects throat sounds in the neck N of the subject P, and is composed of, for example, a microphone. The first sound collecting unit 1 is arranged at the first portion of the neck N of the subject P. The "first site" is a site in the neck N of the subject P that is different from the second site described later. Preferably, the first site may be a site corresponding to the oropharynx B2 on the side surface of the neck N of the subject P. The first site is a site on the surface of the skin of the neck N of the subject P here, but may be a site separated from the skin of the neck N of the subject P. The first sound collecting portion 1 is provided at one end of an arc-shaped
第1集音部1は、集音した咽喉音を第1音響信号として嚥下音判定装置10に出力する。第1集音部1と嚥下音判定装置10との通信手段は特に限定されず、有線通信であっても無線通信であってもよい(一例として、図2には、有線通信を採用した態様が示されている。)。第1集音部1と嚥下音判定装置10とは一体の機器であってもよい。
The first sound collecting unit 1 outputs the collected throat sound as a first acoustic signal to the swallowing
第2集音部2は、対象者Pの頸部Nにおいて咽喉音を集音する機器であり、例えばマイクロフォンによって構成される。第2集音部2は、対象者Pの頸部Nの第2部位に配置される。「第2部位」とは、対象者Pの頸部Nにおいて、第1部位とは異なる部位である。好適には、第2部位は、対象者Pの頸部Nの側面において下咽頭部B3に対応する部位であってもよい。なお、第2部位は、ここでは対象者Pの頸部Nの皮膚の表面上の部位であるが、対象者Pの頸部Nの皮膚から離間した部位であってもよい。第2集音部2は、頸部Nの外周面に沿う円弧状の保持具5の一端部に設けられている。第2集音部2は、保持具5が対象者Pの頸部Nに係止されることで、対象者Pの頸部Nの第2部位に配置される。保持具4,5は、それぞれの延在方向における中央部で互いに結束されている。
The second
第2集音部2は、集音した咽喉音を第2音響信号として嚥下音判定装置10に出力する。第2集音部2と嚥下音判定装置10との通信手段は特に限定されず、有線通信であっても無線通信であってもよい(一例として、図2には、有線通信を採用した態様が示されている。)。第2集音部2と嚥下音判定装置10とは一体の機器であってもよい。
The second
報知部3は、嚥下音判定装置10から入力される情報を報知する機器である。例えば、報知部3は、嚥下音判定装置10によって咽喉音が嚥下音であると判定された判定結果、又は、嚥下音判定装置10によって咽喉音が嚥下音でないと判定された判定結果を報知する。ここでは一例として、報知部3は、ディスプレイを備えており、嚥下音判定装置10から入力される情報を所定の態様で表示する。なお、図2には、報知部3と嚥下音判定装置10とが一体の携帯端末として構成された態様が例示されている。
The
次に、嚥下音判定装置10の機能的構成について、図4及び図5に示される音響信号の具体例を参照しつつ説明する。図4は、嚥下音に係る第1音響信号W1及び第2音響信号W2の波形の一例を示す図である。図5は、ノイズに係る第1音響信号W3及び第2音響信号W4の波形の一例を示す図である。図5では、ノイズとして、対象者Pによる「疲れた」との発話が例示されている。図4及び図5では、横軸に時間が示され、縦軸に音響信号の強度(振幅)が示されている。
Next, the functional configuration of the swallowing
図1に示されるように、嚥下音判定装置10は、第1信号取得部11、第2信号取得部12、算出部13、判定部14、計数部15、及び出力部16を備えている。
As shown in FIG. 1, the swallowing
第1信号取得部11は、対象者Pの頸部Nの第1部位において集音された咽喉音を第1音響信号W1,W3として取得する。第1信号取得部11は、有音区間であるか無音区間であるかにかかわらず、第1部位において集音される全区間に亘って音響信号を取得する。「区間」とは、ある時点から別のある時点までの時間的に連続した期間である。「有音区間」とは、所定強度以上の咽喉音が生成されている区間である。例えば、有音区間は、音響信号の振幅が所定値以上の区間である。「無音区間」とは、所定強度以上の咽喉音が生成されていない区間である。例えば、無音区間は、音響信号の振幅が所定値未満の区間である。
The first
第1信号取得部11は、第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第1音響信号W1,W3として抽出して取得する。具体的には、第1信号取得部11は、無音区間から有音区間に移行したことを検出した時点(或いは、当該時点から所定時間だけ遡った時点又は経過した時点)を、第1音響信号W1,W3の始点と判断してもよい。また、第1信号取得部11は、有音区間から無音区間に移行し、当該無音区間が所定時間継続した時点(或いは、当該時点から所定時間だけ遡った時点又は経過した時点)を、第1音響信号W1,W3の終点と判断してもよい。
The first
第2信号取得部12は、対象者Pの頸部Nの第2部位において集音された咽喉音を第2音響信号W2,W4として取得する。第2信号取得部12は、有音区間であるか無音区間であるかにかかわらず、第2部位において集音される全区間に亘って音響信号を取得する。
The second
第2信号取得部12は、第2部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第2音響信号W2,W4として抽出して取得する。具体的には、第2信号取得部12は、無音区間から有音区間に移行したことを検出した時点(或いは、当該時点から所定時間だけ遡った時点)を、第2音響信号W2,W4の始点と判断してもよい。また、第2信号取得部12は、有音区間から無音区間に移行し、当該無音区間が所定時間継続した時点(或いは、当該時点から所定時間だけ遡った時点)を、第2音響信号W2,W4の終点と判断してもよい。
The second
算出部13は、第1信号取得部11により取得された第1音響信号と第2信号取得部12により取得された第2音響信号との相互相関値を算出する。例えば、算出部13は、第1音響信号W1と第2音響信号W2との相互相関値、或いは、第1音響信号W3と第2音響信号W4との相互相関値を算出する。相互相関値は、有音区間をN個(例えば、3個)の区間に分割(例えば、等分割)した各区間においてそれぞれ算出されてもよい。
The
ここで、「相互相関値」とは、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値との間の類似性を示す値(指標)である。相互相関値は、例えば、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値との間の類似性が高いほど大きい値となり、類似性が低いほど0に近い値となる。「類似性」とは、例えば各信号系列値により表される各信号の位相差及び振幅比の経時的な変化の程度を示していてもよい。この場合、「類似性が高い」状態とは、「類似性が低い」状態と比較して、各信号の位相差及び振幅比の経時的な変化の程度が小さい状態を意味していてもよい。 Here, the "cross-correlation value" is a value (index) indicating the similarity between the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal. For example, the higher the similarity between the signal sequence value based on the first acoustic signal and the signal sequence value based on the second acoustic signal, the larger the cross-correlation value, and the lower the similarity, the closer to 0. .. The “similarity” may indicate, for example, the degree of change over time in the phase difference and amplitude ratio of each signal represented by each signal sequence value. In this case, the "high similarity" state may mean a state in which the degree of change in the phase difference and amplitude ratio of each signal with time is smaller than that in the "low similarity" state. ..
「第1音響信号に基づく信号系列値」とは、第1音響信号そのものを表す系列値、又は、第1音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値である。「第2音響信号に基づく信号系列値」とは、第2音響信号そのものを表す系列値、又は、第2音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値である。 The "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself, or a sequence value representing a plurality of delayed acoustic signals in which the first acoustic signal is delayed by different delay times. .. The "signal sequence value based on the second acoustic signal" is a sequence value representing the second acoustic signal itself, or a sequence value representing a plurality of delayed acoustic signals in which the second acoustic signal is delayed by different delay times. ..
算出部13は、第1音響信号と第2音響信号との相互相関値を算出する際に、まず、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値との相互相関を算出する。算出部13は、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得する。本実施形態では、「第1音響信号に基づく信号系列値」が第1音響信号そのものを表す系列値であるときには、「第2音響信号に基づく信号系列値」は第2音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値である。一方、「第1音響信号に基づく信号系列値」が第1音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を表す系列値であるときには、「第2音響信号に基づく信号系列値」は第2音響信号そのものを表す系列値である。算出部13は、遅延時間τを所定の時間範囲内で変化させながら、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、各遅延時間τだけ遅延させた複数の遅延音響信号を取得する。そして、算出部13は、取得した複数の遅延音響信号のそれぞれの信号系列値と、第1音響信号又は第2音響信号のいずれか他方そのものの信号系列値と、に基づいて相互相関I(τ)をそれぞれ算出する。
When calculating the cross-correlation value between the first acoustic signal and the second acoustic signal, the
より詳細には、第1音響信号に基づく信号系列値及び第2音響信号に基づく信号系列値がベクトルと考えられる場合、相互相関I(τ)は、例えば、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値との内積の値である。つまり、相互相関値は、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値との積が、対象区間である有音区間(換言すると、当該区間内の咽喉音が嚥下音であるか否かを判定すべき有音区間)に亘って加算された値である。第1音響信号がf(t)、第2音響信号がg(t)とそれぞれ表される場合には、相互相関I(τ)は、下記の式(1)のように表される。ここで、tは時刻を表す。相互相関I(τ)は、互いに異なる遅延時間τに応じた値である。以上により、算出部13は、複数の相互相関I(τ)を算出する。
次に、算出部13は、算出した複数の相互相関I(τ)のうちの最大値を取得し、当該最大値を相互相関値として用いる。このように相互相関I(τ)が最大となる値に遅延時間τが設定されることで、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響が抑制される。なお、算出部13は、算出した複数の相互相関I(τ)の平均値を取得し、当該平均値を相互相関値として用いてもよい。以上により、算出部13は、第1音響信号と第2音響信号との相互相関値を算出する。
Next, the
例えば図4に示される具体例では、嚥下音に係る第1音響信号W1と第2音響信号W2との位相差及び振幅比は経時的に大きく変化している。このため、算出部13は、嚥下音に係る第1音響信号W1と第2音響信号W2との相互相関値を比較的小さな値に算出する。
For example, in the specific example shown in FIG. 4, the phase difference and the amplitude ratio of the first acoustic signal W1 and the second acoustic signal W2 related to the swallowing sound change significantly with time. Therefore, the
一方、図5に示される具体例では、ノイズに係る第1音響信号W3及び第2音響信号W4の位相差及び振幅比は経時的に大きく変化していない。このため、算出部13は、ノイズに係る第1音響信号W3と第2音響信号W4との相互相関値を比較的大きな値に算出する。
On the other hand, in the specific example shown in FIG. 5, the phase difference and the amplitude ratio of the first acoustic signal W3 and the second acoustic signal W4 related to noise do not change significantly with time. Therefore, the
判定部14は、算出部13により算出された相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する。まず、判定部14は、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。より詳細には、判定部14は、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。判定部14は、相互相関値が閾値未満である場合には、咽喉音の生成位置が経時的に変化すると判定する。一方、判定部14は、相互相関値が閾値以上である場合には、咽喉音の生成位置が経時的に変化しないと判定する。そして、判定部14は、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定する。一方、判定部14は、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。
The
計数部15は、集音される全区間に亘って、判定部14により嚥下音であると判定された咽喉音の数を計数する(すなわち、カウントする)。計数部15は、公知の計数回路によって構成されてよい。なお、計数部15は、所定の手段により計数開始の指令が入力されたときに計数を開始してもよく、所定の手段により計数終了の指令が入力されたときに計数を終了してもよい。計数部15は、計数を終了するとき又は新たに計数を開始するときに、計数した結果をリセットしてもよい。
The
出力部16は、判定部14による判定結果を出力する。例えば、出力部16は、判定部14による判定結果を報知部3に出力する。この場合、報知部3は、出力部16から入力された判定結果を報知する。出力部16は、判定部14により咽喉音が嚥下音であると判定された各タイミングで、当該咽喉音が嚥下音であるとの判定結果を出力してもよい。或いは、出力部16は、判定部14により嚥下音であると判定された咽喉音の数を計数部15により計数した計数結果を判定結果として出力してもよい。なお、出力部16は、判定部14による判定結果を、各種の記憶媒体に出力してもよい。この場合、記憶媒体は、出力部16から入力された判定結果を記憶する。
The
以下、嚥下音判定装置10によって行われる嚥下音判定方法について説明する。嚥下音判定方法は、対象者Pの咽喉部Tにおいて生成された咽喉音が対象者Pの嚥下による嚥下音であるか否かを判定する方法である。ここでは、上述した嚥下音判定装置10を用いて実行される嚥下音判定方法について説明するが、嚥下音判定方法は嚥下音判定装置10を用いずに実行されてもよい。
Hereinafter, the swallowing sound determination method performed by the swallowing
図6は、嚥下音判定方法の処理を示すフローチャートである。図6に示されるように、ステップS10において、対象者Pの頸部Nの側面において中咽頭部B2に対応する部位(第1部位)に第1集音部1が配置されると共に、対象者Pの頸部Nの側面において下咽頭部B3に対応する部位(第2部位)に第2集音部2が配置される。具体的には、対象者Pの頸部Nに保持具4,5が係止されることで、第1集音部1が第1部位に配置されると共に、第2集音部2が第2部位に配置される。その後、嚥下音判定方法の処理は、ステップS12に移行する。
FIG. 6 is a flowchart showing the processing of the swallowing sound determination method. As shown in FIG. 6, in step S10, the first sound collecting unit 1 is arranged at the site (first site) corresponding to the oropharynx B2 on the side surface of the neck N of the subject P, and the subject The second
ステップS12において、第1集音部1が対象者Pの頸部Nの第1部位において音を集音すると共に、第2集音部2が対象者Pの頸部Nの第2部位において音を集音する。ここでは、第1集音部1及び第2集音部2は、咽喉音(例えば、嚥下音又はノイズ)を含む有音区間及び咽喉音を含まない無音区間の両方を含む区間(すなわち、全区間)に亘って音を集音する。つまり、第1集音部1及び第2集音部2は、互いに同一の咽喉音を、互いに異なる部位で互いに同時に集音することとなる。その後、嚥下音判定方法の処理は、ステップS14に移行する。
In step S12, the first sound collecting unit 1 collects sound at the first portion of the neck N of the subject P, and the second
ステップS14において、嚥下音判定装置10は、第1集音部1により第1部位において集音された音のうちの有音区間の音である咽喉音を、第1信号取得部11により第1音響信号W1,W3として取得すると共に、第2集音部2により第2部位において集音された音のうちの有音区間の音である咽喉音を、第2信号取得部12により第2音響信号W2,W4として取得する(信号取得ステップ)。換言すると、嚥下音判定装置10は、第1集音部1により第1部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を、第1信号取得部11により第1音響信号W1,W3として抽出して取得すると共に、第2集音部2により第2部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を、第2信号取得部12により第2音響信号W2,W4として抽出して取得する。その後、嚥下音判定方法の処理は、ステップS16に移行する。
In step S14, the swallowing
ステップS16において、嚥下音判定装置10は、算出部13により、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値を算出する(算出ステップ)。より詳細には、嚥下音判定装置10は、算出部13により、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間τだけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関I(τ)をそれぞれ算出し、複数の相互相関I(τ)のうちの最大値、又は、複数の相互相関I(τ)の平均値を相互相関値として用いる。その後、嚥下音判定方法の処理は、ステップS18に移行する。
In step S16, the swallowing
ステップS18において、嚥下音判定装置10は、詳しくは後述するように、判定部14により、相互相関値に基づいて咽喉音が嚥下音であるか否かを判定する(判定ステップ)。その後、嚥下音判定方法の処理は、ステップS20に移行する。
In step S18, the swallowing
ステップS20において、嚥下音判定装置10は、第1集音部1及び第2集音部2により集音される全区間に亘って、計数部15により、嚥下音であると判定された咽喉音の数を計数する(計数ステップ)。その後、嚥下音判定方法の処理は、ステップS22に移行する。
In step S20, the swallowing
ステップS22において、嚥下音判定装置10は、出力部16により、判定部14による判定結果を報知部3に出力する(出力ステップ)。出力部16は、各咽喉音が嚥下音であるか否かについての判定部14による判定結果として出力する。なお、出力部16は、計数部15による計数結果を判定結果として報知部3に出力してもよい。その後、嚥下音判定方法の処理は、ステップS24に移行する。
In step S22, the swallowing
ステップS24において、報知部3は、出力部16から入力された判定結果を報知する。具体的には、報知部3は、当該判定結果をディスプレイに表示する。咽喉音が嚥下音であるか否かについての判定結果が報知されると、嚥下音判定方法の今回の処理は終了する。
In step S24, the
続いて、判定ステップにおける咽喉音が嚥下音であるか否かについての具体的な判定処理について説明する。以下に説明する判定処理は、図6のステップS18に対応する。 Subsequently, a specific determination process for whether or not the sore throat sound in the determination step is a swallowing sound will be described. The determination process described below corresponds to step S18 in FIG.
図7は、判定ステップの処理を示すフローチャートである。図7に示されるように、ステップS30において、嚥下音判定装置10は、判定部14により、相互相関値と予め設定された閾値とを比較し、相互相関値が閾値未満であるか否かを判定する。判定ステップの処理は、相互相関値が閾値未満である場合(ステップS30:YES)、ステップS32に移行する。一方、判定ステップの処理は、相互相関値が閾値以上である場合(ステップS30:NO)、ステップS36に移行する。
FIG. 7 is a flowchart showing the processing of the determination step. As shown in FIG. 7, in step S30, the swallowing
ステップS32において、嚥下音判定装置10は、判定部14により、咽喉音の生成位置が経時的に変化すると判定する。その後、判定ステップの処理は、ステップS34に移行する。
In step S32, the swallowing
ステップS34において、嚥下音判定装置10は、判定部14により、咽喉音が嚥下音であると判定する。判定部14により咽喉音が嚥下音であると判定されると、判定ステップの今回の処理は終了する。
In step S34, the swallowing
ステップS36において、嚥下音判定装置10は、判定部14により、咽喉音の生成位置が経時的に変化しないと判定する。その後、判定ステップの処理は、ステップS38に移行する。
In step S36, the swallowing
ステップS38において、嚥下音判定装置10は、判定部14により、咽喉音が嚥下音でないと判定する。判定部14により咽喉音が嚥下音でないと判定されると、判定ステップの今回の処理は終了する。
In step S38, the swallowing
以上説明したように、嚥下音判定装置10は、対象者Pの咽喉部Tにおいて生成された咽喉音が対象者Pの嚥下による嚥下音であるか否かを判定する嚥下音判定装置10であって、対象者Pの頸部Nの第1部位において集音された咽喉音を第1音響信号W1,W3として取得する第1信号取得部11と、対象者Pの頸部Nの第1部位とは異なる第2部位において集音された咽喉音を第2音響信号W2,W4として取得する第2信号取得部12と、第1信号取得部11により取得された第1音響信号W1,W3と第2信号取得部12により取得された第2音響信号W2,W4との相互相関値を算出する算出部13と、算出部13により算出された相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定部14と、判定部14による判定結果を出力する出力部16と、を備える。
As described above, the swallowing
嚥下音判定装置10によれば、対象者Pの頸部Nの第1部位において集音された咽喉音が信号として取得された第1音響信号W1,W3と、対象者Pの頸部Nの第2部位において集音された当該咽喉音が信号として取得された第2音響信号W2,W4と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、嚥下音判定装置10は、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、嚥下音判定装置10は、咽喉音が嚥下音であるか否かを精度良く判定することができる。
According to the swallowing
嚥下音判定装置10では、算出部13は、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間τだけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関I(τ)をそれぞれ算出し、複数の相互相関I(τ)のうちの最大値、又は、複数の相互相関I(τ)の平均値を相互相関値として用いる。これにより、嚥下音判定装置10は、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を効果的に抑制することができる。
In the swallowing
嚥下音判定装置10では、判定部14は、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。咽喉音が嚥下音である場合、対象者Pによる嚥下の動作の段階によって(すなわち、対象者Pが嚥下しようとしている嚥下対象物の咽喉部Tにおける位置によって)、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化するため、第1音響信号W1と第2音響信号W2との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者Pによる嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化しないため、第1音響信号W3と第2音響信号W4との相互相関値は比較的大きくなる傾向を示す。そこで、嚥下音判定装置10は、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、嚥下音判定装置10は、咽喉音が嚥下音であるか否かを精度良く判定することができる。
In the swallowing
嚥下音判定装置10では、判定部14は、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。これにより、相互相関値との比較対象として予め設定された閾値が用いられるため、嚥下音判定装置10は、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。
In the swallowing
嚥下音判定装置10では、第1信号取得部11は、第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第1音響信号W1,W3として抽出し、第2信号取得部12は、第2部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第2音響信号W2,W4として抽出する。これにより、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、嚥下音判定装置10は、処理の自動化を図ることができる。
In the swallowing
嚥下音判定装置10は、判定部14により嚥下音であると判定された咽喉音の数を計数する計数部15を備える。これにより、嚥下音判定装置10は、例えば対象者Pの嚥下機能の状態を把握するための検査等の自動化を図ることができる。
The swallowing
嚥下音判定装置10では、第1部位は、対象者Pの頸部Nの側面において中咽頭部B2に対応する部位であり、第2部位は、対象者Pの頸部Nの側面において下咽頭部B3に対応する部位である。これにより、嚥下音判定装置10は、第1音響信号W1,W3及び第2音響信号W2,W4をより確実に取得することができるため、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値をより適切に算出することが可能となる。よって、嚥下音判定装置10は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。
In the swallowing
嚥下音判定方法は、対象者Pの咽喉部Tにおいて生成された咽喉音が対象者Pの嚥下による嚥下音であるか否かを判定する嚥下音判定方法であって、対象者Pの頸部Nの第1部位において集音された咽喉音を第1音響信号W1,W3として取得すると共に、対象者Pの頸部Nの第1部位とは異なる第2部位において集音された咽喉音を第2音響信号W2,W4として取得する信号取得ステップと、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値を算出する算出ステップと、相互相関値に基づいて、咽喉音が嚥下音であるか否かを判定する判定ステップと、判定ステップにおける判定結果を出力する出力ステップと、を備える。 The swallowing sound determination method is a swallowing sound determination method for determining whether or not the throat sound generated in the throat portion T of the subject P is a swallowing sound due to the swallowing of the subject P, and is a swallowing sound determination method for the neck of the subject P. The throat sounds collected at the first part of N are acquired as the first acoustic signals W1 and W3, and the throat sounds collected at the second part different from the first part of the neck N of the subject P are obtained. The throat is based on the signal acquisition step of acquiring the second acoustic signals W2 and W4, the calculation step of calculating the intercorrelation value between the first acoustic signals W1 and W3 and the second acoustic signals W2 and W4, and the intercorrelation value. It includes a determination step for determining whether or not the sound is a swallowing sound, and an output step for outputting the determination result in the determination step.
嚥下音判定方法によれば、対象者Pの頸部Nの第1部位において集音された咽喉音が信号として取得された第1音響信号W1,W3と、対象者Pの頸部Nの第2部位において集音された当該咽喉音が信号として取得された第2音響信号W2,W4と、の相互相関値が算出される。咽喉音が嚥下音である場合と咽喉音以外のノイズである場合とでは、算出された相互相関値は互いに異なる傾向を示す。そこで、嚥下音判定方法では、算出された相互相関値に基づいて当該咽喉音が嚥下音であるか否かを判定する。よって、嚥下音判定方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 According to the swallowing sound determination method, the first acoustic signals W1 and W3 obtained as signals from the throat sounds collected at the first portion of the neck N of the subject P, and the first acoustic signal W1 and W3 of the neck N of the subject P. The intercorrelation value between the second acoustic signals W2 and W4 obtained as the signal of the throat sound collected at the two sites is calculated. The calculated cross-correlation values tend to differ from each other when the sore throat is a swallowing sound and when the sore throat is noise other than the sore throat. Therefore, in the swallowing sound determination method, it is determined whether or not the throat sound is a swallowing sound based on the calculated cross-correlation value. Therefore, in the swallowing sound determination method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.
嚥下音判定方法では、算出ステップにおいては、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間τだけ遅延させた複数の遅延音響信号を取得し、複数の遅延音響信号のそれぞれと第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関I(τ)をそれぞれ算出し、複数の相互相関I(τ)のうちの最大値、又は、複数の相互相関I(τ)の平均値を相互相関値として用いる。これにより、嚥下音判定方法では、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を効果的に抑制することができる。 In the swallowing sound determination method, in the calculation step, a plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time τ different from each other are acquired, and a plurality of delayed acoustic signals are acquired. The cross-correlation I (τ) is calculated based on each of the delayed acoustic signals of the above and one of the first acoustic signal and the second acoustic signal, respectively, and the maximum value of the plurality of cross-correlation I (τ), or , The average value of a plurality of cross-correlation I (τ) is used as the cross-correlation value. As a result, in the swallowing sound determination method, the influence of the difference between the generation position of the throat sound and the distance between the first part and the distance between the generation position of the throat sound and the second part is effectively suppressed. be able to.
嚥下音判定方法では、判定ステップにおいては、相互相関値に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定し、咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。咽喉音が嚥下音である場合、対象者Pによる嚥下の動作の段階によって(すなわち、対象者Pが嚥下しようとしている嚥下対象物の咽喉部Tにおける位置によって)、咽喉音の生成位置が経時的に変化する。咽喉音の生成位置が経時的に変化すると、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化するため、第1音響信号W1と第2音響信号W2との相互相関値は比較的小さくなる傾向を示す。一方、咽喉音が嚥下音以外のノイズである場合、対象者Pによる嚥下の動作の段階によって、咽喉音の生成位置が経時的に変化しない。咽喉音の生成位置が経時的に変化しないと、咽喉音の生成位置と第1部位との位置関係、及び、咽喉音の生成部位と第2部位との位置関係が経時的に変化しないため、第1音響信号W3と第2音響信号W4との相互相関値は比較的大きくなる傾向を示す。そこで、嚥下音判定方法では、相互相関値に基づいて咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が嚥下音であると判定し、一方、相互相関値に基づいて咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が嚥下音でないと判定する。よって、嚥下音判定方法では、咽喉音が嚥下音であるか否かを精度良く判定することができる。 In the swallowing sound determination method, in the determination step, it is determined whether or not the generation position of the throat sound changes with time based on the mutual correlation value, and it is determined that the generation position of the throat sound changes with time. In addition, when it is determined that the throat sound is a swallowing sound and it is determined that the generation position of the throat sound does not change with time, it is determined that the throat sound is not a swallowing sound. When the throat sound is a swallowing sound, the position where the throat sound is generated over time depends on the stage of the swallowing movement by the subject P (that is, the position of the swallowing object that the subject P is trying to swallow in the throat T). Changes to. When the position where the sore sound is generated changes over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part change over time. The mutual correlation value between the first acoustic signal W1 and the second acoustic signal W2 tends to be relatively small. On the other hand, when the throat sound is noise other than the swallowing sound, the position where the throat sound is generated does not change with time depending on the stage of the swallowing operation by the subject P. If the position where the sore sound is generated does not change over time, the positional relationship between the position where the sore sound is generated and the first part and the positional relationship between the part where the sore sound is generated and the second part do not change over time. The mutual correlation value between the first acoustic signal W3 and the second acoustic signal W4 tends to be relatively large. Therefore, in the swallowing sound determination method, when it is determined that the generation position of the throat sound changes with time based on the mutual correlation value, it is determined that the throat sound is a swallowing sound, and on the other hand, based on the mutual correlation value. When it is determined that the generation position of the throat sound does not change with time, it is determined that the throat sound is not a swallowing sound. Therefore, in the swallowing sound determination method, it is possible to accurately determine whether or not the throat sound is a swallowing sound.
嚥下音判定方法では、判定ステップにおいては、相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、咽喉音の生成位置が経時的に変化するか否かを判定する。これにより、相互相関値との比較対象として予め設定された閾値が用いられるため、嚥下音判定方法では、咽喉音が嚥下音であるか否かを簡便な処理により判定することができる。 In the swallowing sound determination method, in the determination step, the cross-correlation value is compared with a preset threshold value, and based on the comparison result, it is determined whether or not the generation position of the throat sound changes with time. As a result, since a preset threshold value is used as a comparison target with the cross-correlation value, it is possible to determine whether or not the throat sound is a swallowing sound by a simple process in the swallowing sound determination method.
嚥下音判定方法では、信号取得ステップにおいては、第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第1音響信号W1,W3として抽出し、第2部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第2音響信号W2,W4として抽出する。これにより、咽喉音を含む全区間に亘って取得された音響信号のうちから咽喉音に対応する区間の音響信号を手動で抽出する必要がないため、嚥下音判定方法では、処理の自動化を図ることができる。 In the swallowing sound determination method, in the signal acquisition step, among the acoustic signals acquired over the entire section collected in the first portion, the acoustic signals in the sound section are extracted as the first acoustic signals W1 and W3. , Of the acoustic signals acquired over the entire section collected in the second portion, the acoustic signals in the sound section are extracted as the second acoustic signals W2 and W4. As a result, it is not necessary to manually extract the acoustic signal of the section corresponding to the throat sound from the acoustic signals acquired over the entire section including the throat sound. Therefore, the swallowing sound determination method aims to automate the process. be able to.
嚥下音判定方法は、判定ステップにおいて嚥下音であると判定した咽喉音の数を計数する計数ステップを備える。これにより、嚥下音判定方法では、例えば対象者Pの嚥下機能の状態を把握するための検査等の自動化を図ることができる。 The swallowing sound determination method includes a counting step for counting the number of throat sounds determined to be swallowing sounds in the determination step. Thereby, in the swallowing sound determination method, for example, it is possible to automate the inspection for grasping the state of the swallowing function of the subject P.
嚥下音判定方法では、第1部位は、対象者Pの頸部Nの側面において中咽頭部B2に対応する部位であり、第2部位は、対象者Pの頸部Nの側面において下咽頭部B3に対応する部位である。これにより、嚥下音判定方法では、第1音響信号W1,W3及び第2音響信号W2,W4をより確実に取得することができるため、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値をより適切に算出することが可能となる。よって、嚥下音判定方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。 In the swallowing sound determination method, the first site is the site corresponding to the oropharynx B2 on the side surface of the neck N of the subject P, and the second site is the hypopharynx on the side surface of the neck N of the subject P. It is a part corresponding to B3. As a result, in the swallowing sound determination method, the first acoustic signal W1, W3 and the second acoustic signal W2, W4 can be acquired more reliably, so that the first acoustic signal W1, W3 and the second acoustic signal W2, W4 It becomes possible to more appropriately calculate the cross-correlation value with. Therefore, in the swallowing sound determination method, it is possible to more accurately determine whether or not the throat sound is a swallowing sound.
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。 The above-described embodiment can be implemented in various forms with various changes and improvements based on the knowledge of those skilled in the art.
例えば、第1音響信号と第2音響信号との相互相関値は、算出部13により以下のように算出される値であってもよい。すなわち、「第1音響信号に基づく信号系列値」とは、第1音響信号を正規化した信号を表す系列値、又は、第1音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を正規化した信号を表す系列値であってもよい。「第2音響信号に基づく信号系列値」とは、第2音響信号を正規化した信号を表す系列値、又は、第2音響信号を互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を正規化した信号を表す系列値であってもよい。この場合、算出部13は、取得した複数の遅延音響信号のそれぞれを正規化した信号系列値と、第1音響信号又は第2音響信号のいずれか他方を正規化した信号系列値と、に基づいて正規化相互相関(相互相関)INCC(τ)をそれぞれ算出してもよい。
For example, the cross-correlation value between the first acoustic signal and the second acoustic signal may be a value calculated by the
より詳細には、第1音響信号に基づく信号系列値及び第2音響信号に基づく信号系列値がベクトルと考えられる場合、正規化相互相関INCC(τ)は、例えば、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値とのコサイン類似度(余弦類似度)の値であってもよい。第1音響信号の平均値がμf、第1音響信号の標準偏差がσf、第2音響信号の平均値がμg、第2音響信号の標準偏差がσgとそれぞれ表される場合には、正規化相互相関INCC(τ)は、下記の式(2)のように示されてもよい。正規化相互相関INCC(τ)は、互いに異なる遅延時間τに応じた値であってもよい。以上により、算出部13は、複数の正規化相互相関INCC(τ)を算出してもよい。
次に、算出部13は、算出した複数の正規化相互相関INCC(τ)のうちの最大値を取得し、当該最大値を相互相関値として用いてもよい。このように正規化相互相関INCC(τ)が最大となる値に遅延時間τが設定される場合、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響が抑制される。或いは、算出部13は、算出した複数の正規化相互相関INCC(τ)の平均値を取得し、当該平均値を相互相関値として用いてもよい。以上により、算出部13は、第1音響信号と第2音響信号との相互相関値を算出してもよい。
Next, the
また、算出部13は、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、所定の遅延時間τだけ遅延させた遅延音響信号を取得し、遅延音響信号と第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。或いは、算出ステップにおいては、第1音響信号又は第2音響信号のいずれか一方を、他方に対して、所定の遅延時間τだけ遅延させた遅延音響信号を取得し、遅延音響信号と第1音響信号又は第2音響信号のいずれか他方とに基づいて相互相関を算出し、相互相関を相互相関値として用いてもよい。
Further, the
この場合、「第1音響信号に基づく信号系列値」とは、第1音響信号そのものを表す系列値、又は、第1音響信号を所定の遅延時間だけ遅延させた遅延音響信号を表す系列値であってもよい。「第2音響信号に基づく信号系列値」とは、第2音響信号そのものを表す系列値、又は、第2音響信号を所定の遅延時間だけ遅延させた遅延音響信号を表す系列値であってもよい。一例として、「第1音響信号に基づく信号系列値」が第1音響信号そのものを表す系列値であるときには、「第2音響信号に基づく信号系列値」は第2音響信号を所定の遅延時間だけ遅延させた複数の遅延音響信号を表す系列値であってもよい。一方、「第1音響信号に基づく信号系列値」が第1音響信号を所定の遅延時間だけ遅延させた複数の遅延音響信号を表す系列値であるときには、「第2音響信号に基づく信号系列値」は第2音響信号そのものを表す系列値であってもよい。 In this case, the "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself or a sequence value representing a delayed acoustic signal obtained by delaying the first acoustic signal by a predetermined delay time. There may be. The "signal sequence value based on the second acoustic signal" may be a sequence value representing the second acoustic signal itself or a sequence value representing a delayed acoustic signal obtained by delaying the second acoustic signal by a predetermined delay time. good. As an example, when the "signal sequence value based on the first acoustic signal" is a sequence value representing the first acoustic signal itself, the "signal sequence value based on the second acoustic signal" sets the second acoustic signal for a predetermined delay time. It may be a series value representing a plurality of delayed acoustic signals. On the other hand, when the "signal sequence value based on the first acoustic signal" is a sequence value representing a plurality of delayed acoustic signals in which the first acoustic signal is delayed by a predetermined delay time, the "signal sequence value based on the second acoustic signal" is used. May be a series value representing the second acoustic signal itself.
算出部13は、第1音響信号と第2音響信号との相互相関値を算出する際に、まず、第1音響信号に基づく信号系列値と第2音響信号に基づく信号系列値との相互相関又は正規化相互相関を算出する。そして、算出部13は、算出した相互相関又は正規化相互相関を相互相関値として用いてもよい。以上により、算出部13は、第1音響信号と第2音響信号との相互相関値を算出してもよい。
When calculating the cross-correlation value between the first acoustic signal and the second acoustic signal, the
このような嚥下音判定装置10又は嚥下音判定方法によれば、咽喉音の生成位置と第1部位との距離と、咽喉音の生成位置と第2部位との距離と、に差があることの影響を簡便な処理により抑制することができる。
According to the swallowing
また、上記実施形態では、算出部13は、第1音響信号又は第2音響信号のいずれか一方のみを遅延させたが、算出部13は、第1音響信号及び第2音響信号の両方を遅延させてもよい。この場合、算出部13が第1音響信号を遅延させる遅延時間と第2音響信号を遅延させる遅延時間とは、互いに異なってもよい。
Further, in the above embodiment, the
また、判定部14は、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを直接的に判定してもよい。すなわち、判定部14は、相互相関値と閾値とを比較せず、咽喉音の生成位置が経時的に変化するか否かを判定しなくてもよい。特徴量としては、例えばMFCC[Mel-Frequency Cepstrum Coefficients]及びその動的特徴量等が挙げられるが、これに限定されない。また、機械学習としては、公知の機械学習が適用可能であり、例えばSVM[Support Vector Machine]、GMM[Gaussian MixtureModel]、DNN[Deep Neural Network]等が適用されてもよい。
Further, the
この変形例に関し、判定ステップにおける咽喉音が嚥下音であるか否かについての判定処理について説明する。以下に説明する判定処理は、図6のステップS18に対応する。 Regarding this modification, a determination process for determining whether or not the throat sound in the determination step is a swallowing sound will be described. The determination process described below corresponds to step S18 in FIG.
図8は、変形例に係る判定ステップの処理を示すフローチャートである。図8に示されるように、ステップS40において、嚥下音判定装置10は、判定部14により、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて咽喉音が嚥下音であるか否かを判定する。判定部14により咽喉音が嚥下音であるか否かが判定されると、判定ステップの今回の処理は終了する。
FIG. 8 is a flowchart showing the processing of the determination step according to the modified example. As shown in FIG. 8, in step S40, the swallowing
この嚥下音判定装置10によれば、相互相関値のみならず他の特徴量も用いた機械学習により咽喉音が嚥下音であるか否かが総合的に判定されるため、嚥下音判定装置10は、咽喉音が嚥下音であるか否かをより精度良く判定することができる。同様の理由から、嚥下音判定方法では、咽喉音が嚥下音であるか否かをより精度良く判定することができる。
According to the swallowing
また、判定部14は、第1音響信号W1,W3と第2音響信号W2,W4との相互相関値、第1音響信号の特徴量、及び第2音響信号の特徴量を組み合わせることで新たな特徴量を取得すると共に、当該特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別してもよい。
Further, the
また、嚥下音判定装置10の第1信号取得部11は、第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第1音響信号W1,W3として抽出しなくてもよい。すなわち、嚥下音判定方法の信号取得ステップ(ステップS14)においては、第1部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を第1音響信号W1,W3として抽出しなくてもよい。この場合、例えば、第1音響信号W1,W3を抽出する作業が手動で行われ、第1信号取得部11は、手動により抽出された第1音響信号W1,W3を取得してもよい。
Further, the first
また、嚥下音判定装置10の第2信号取得部12は、第2部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を第2音響信号W2,W4として抽出しなくてもよい。すなわち、嚥下音判定方法の信号取得ステップ(ステップS14)においては、第2部位において集音される全区間に亘って取得した音響信号のうち、有音区間における音響信号を第2音響信号W2,W4として抽出しなくてもよい。この場合、例えば、第2音響信号W2,W4を抽出する作業が手動で行われ、第2信号取得部12は、手動により抽出された第2音響信号W2,W4を取得してもよい。
Further, the second
また、嚥下音判定装置10は、計数部15を備えていなくてもよい。すなわち、嚥下音判定方法は、計数ステップ(ステップS20)を備えていなくてもよい。
Further, the swallowing
また、第1部位は、対象者Pの頸部Nの部位であって第2部位とは異なる部位であればよく、対象者Pの頸部Nの側面において中咽頭部に対応する部位に限定されない。第2部位は、対象者Pの頸部Nの部位であって第1部位とは異なる部位であればよく、対象者Pの頸部Nの側面において下咽頭部に対応する部位に限定されない。 Further, the first site may be a site of the neck N of the subject P and different from the second site, and is limited to a site corresponding to the oropharynx on the side surface of the neck N of the subject P. Not done. The second site may be a site of the neck N of the subject P and different from the first site, and is not limited to a site corresponding to the hypopharynx on the side surface of the neck N of the subject P.
10…嚥下音判定装置、11…第1信号取得部、12…第2信号取得部、13…算出部、14…判定部、15…計数部、16…出力部、B2…中咽頭部、B3…下咽頭部、N…頸部、P…対象者、T…咽喉部、W1,W3…第1音響信号、W2,W4…第2音響信号。 10 ... swallowing sound determination device, 11 ... first signal acquisition unit, 12 ... second signal acquisition unit, 13 ... calculation unit, 14 ... determination unit, 15 ... counting unit, 16 ... output unit, B2 ... oropharynx, B3 ... Hypopharynx, N ... Neck, P ... Subject, T ... Throat, W1, W3 ... 1st acoustic signal, W2, W4 ... 2nd acoustic signal.
Claims (18)
前記対象者の頸部の第1部位において集音された前記咽喉音を第1音響信号として取得する第1信号取得部と、
前記対象者の頸部の前記第1部位とは異なる第2部位において集音された前記咽喉音を第2音響信号として取得する第2信号取得部と、
前記第1信号取得部により取得された前記第1音響信号と前記第2信号取得部により取得された前記第2音響信号との判定用相互相関値を算出する算出部と、
前記算出部により算出された前記判定用相互相関値に基づいて、前記咽喉音が嚥下音であるか否かを判定する判定部と、
前記判定部による判定結果を出力する出力部と、を備える、嚥下音判定装置。 It is a swallowing sound determination device that determines whether or not the throat sound generated in the throat of the subject is the swallowing sound generated by the subject's swallowing.
A first signal acquisition unit that acquires the sore throat sound collected at the first portion of the neck of the subject as a first acoustic signal, and a first signal acquisition unit.
A second signal acquisition unit that acquires the sore throat sound collected at a second portion different from the first portion of the subject's neck as a second acoustic signal, and a second signal acquisition unit.
A calculation unit that calculates a cross-correlation value for determination between the first acoustic signal acquired by the first signal acquisition unit and the second acoustic signal acquired by the second signal acquisition unit.
A determination unit that determines whether or not the throat sound is a swallowing sound based on the determination cross-correlation value calculated by the calculation unit.
A swallowing sound determination device including an output unit that outputs a determination result by the determination unit.
前記第1音響信号又は前記第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、
複数の前記遅延音響信号のそれぞれと前記第1音響信号又は前記第2音響信号のいずれか他方とに基づいて相互相関値をそれぞれ算出し、
複数の前記相互相関値のうちの最大値、又は、複数の前記相互相関値の平均値を前記判定用相互相関値として用いる、請求項1に記載の嚥下音判定装置。 The calculation unit
A plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time different from each other are acquired.
Cross-correlation values are calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal.
Maximum value among the plurality of the cross-correlation value, or, using the average value of a plurality of said cross-correlation value as the judgment correlation value, the swallowing sound determination apparatus according to claim 1.
前記第1音響信号又は前記第2音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、
前記遅延音響信号と前記第1音響信号又は前記第2音響信号のいずれか他方とに基づいて相互相関値を算出し、
前記相互相関値を前記判定用相互相関値として用いる、請求項1に記載の嚥下音判定装置。 The calculation unit
A delayed acoustic signal obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time is acquired.
A cross-correlation value is calculated based on the delayed acoustic signal and either the first acoustic signal or the second acoustic signal.
Using said cross-correlation value as the judgment correlation value, the swallowing sound determination apparatus according to claim 1.
前記判定用相互相関値に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定し、
前記咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が前記嚥下音であると判定し、前記咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が前記嚥下音でないと判定する、請求項1〜3のいずれか一項に記載の嚥下音判定装置。 The determination unit
Based on the determination cross-correlation value, it is determined whether or not the generation position of the throat sound changes with time.
When it is determined that the generation position of the throat sound changes with time, it is determined that the throat sound is the swallowing sound, and when it is determined that the generation position of the throat sound does not change with time, the throat The swallowing sound determination device according to any one of claims 1 to 3, wherein it is determined that the sound is not the swallowing sound.
前記判定用相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定する、請求項4に記載の嚥下音判定装置。 The determination unit
The swallowing according to claim 4, wherein the determination cross-correlation value is compared with a preset threshold value, and based on the comparison result, it is determined whether or not the generation position of the throat sound changes with time. Sound judgment device.
前記判定用相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて前記咽喉音が嚥下音であるか否かを判定する、請求項1〜3のいずれか一項に記載の嚥下音判定装置。 The determination unit
A model for discriminating whether or not the throat sound is a swallowing sound is learned by machine learning using a plurality of feature quantities including the intercorrelation value for determination, and whether the throat sound is a swallowing sound based on the model. The swallowing sound determination device according to any one of claims 1 to 3, which determines whether or not.
前記第2信号取得部は、前記第2部位において集音される全区間に亘って取得された音響信号のうち、前記有音区間における音響信号を前記第2音響信号として抽出する、請求項1〜6のいずれか一項に記載の嚥下音判定装置。 The first signal acquisition unit extracts the acoustic signal in the sound section from the acoustic signals acquired over the entire section collected in the first portion as the first acoustic signal.
The second signal acquisition unit extracts the acoustic signal in the sound section from the acoustic signals acquired over the entire section collected in the second portion as the second acoustic signal. 6. The swallowing sound determination device according to any one of 6.
前記第2部位は、前記対象者の頸部の側面において下咽頭部に対応する部位である、請求項1〜8のいずれか一項に記載の嚥下音判定装置。 The first site is a site corresponding to the oropharynx on the side surface of the neck of the subject.
The swallowing sound determination device according to any one of claims 1 to 8, wherein the second part is a part corresponding to the hypopharynx on the side surface of the neck of the subject.
嚥下音判定装置のコントローラが、前記対象者の頸部の第1部位において集音された前記咽喉音を第1音響信号として取得すると共に、前記対象者の頸部の前記第1部位とは異なる第2部位において集音された前記咽喉音を第2音響信号として取得する信号取得ステップと、
前記コントローラが、前記第1音響信号と前記第2音響信号との判定用相互相関値を算出する算出ステップと、
前記コントローラが、前記判定用相互相関値に基づいて、前記咽喉音が嚥下音であるか否かを判定する判定ステップと、
前記コントローラが、前記判定ステップにおける判定結果を出力する出力ステップと、を備える、嚥下音判定方法。 It is a swallowing sound determination method executed by a swallowing sound determination device that determines whether or not the throat sound generated in the throat of the subject is a swallowing sound caused by the subject's swallowing.
The controller of the swallowing sound determination device acquires the throat sound collected at the first part of the neck of the subject as a first acoustic signal, and is different from the first part of the neck of the subject. A signal acquisition step of acquiring the throat sound collected at the second part as a second acoustic signal, and
Wherein the controller, a calculation step of calculating a judgment correlation value between the first acoustic signal and the second acoustic signal,
A determination step in which the controller determines whether or not the throat sound is a swallowing sound based on the determination cross-correlation value.
A swallowing sound determination method, wherein the controller includes an output step for outputting a determination result in the determination step.
前記第1音響信号又は前記第2音響信号のいずれか一方を、他方に対して、互いに異なる遅延時間だけ遅延させた複数の遅延音響信号を取得し、
複数の前記遅延音響信号のそれぞれと前記第1音響信号又は前記第2音響信号のいずれか他方とに基づいて相互相関値をそれぞれ算出し、
複数の前記相互相関値のうちの最大値、又は、複数の前記相互相関値の平均値を前記判定用相互相関値として用いる、請求項10に記載の嚥下音判定方法。 In the calculation step, the controller
A plurality of delayed acoustic signals obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a delay time different from each other are acquired.
Cross-correlation values are calculated based on each of the plurality of delayed acoustic signals and either the first acoustic signal or the second acoustic signal.
Maximum value among the plurality of the cross-correlation value, or, using the average value of a plurality of said cross-correlation value as the judgment correlation value, swallowing sound determination method according to claim 10.
前記第1音響信号又は前記第2音響信号のいずれか一方を、他方に対して、所定の遅延時間だけ遅延させた遅延音響信号を取得し、
前記遅延音響信号と前記第1音響信号又は前記第2音響信号のいずれか他方とに基づいて相互相関値を算出し、
前記相互相関値を前記判定用相互相関値として用いる、請求項10に記載の嚥下音判定方法。 In the calculation step, the controller
A delayed acoustic signal obtained by delaying either one of the first acoustic signal or the second acoustic signal with respect to the other by a predetermined delay time is acquired.
A cross-correlation value is calculated based on the delayed acoustic signal and either the first acoustic signal or the second acoustic signal.
Using said cross-correlation value as the judgment correlation value, swallowing sound determination method according to claim 10.
前記判定用相互相関値に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定し、
前記咽喉音の生成位置が経時的に変化すると判定した場合に、当該咽喉音が前記嚥下音であると判定し、前記咽喉音の生成位置が経時的に変化しないと判定した場合に、当該咽喉音が前記嚥下音でないと判定する、請求項10〜12のいずれか一項に記載の嚥下音判定方法。 In the determination step, the controller
Based on the determination cross-correlation value, it is determined whether or not the generation position of the throat sound changes with time.
When it is determined that the generation position of the throat sound changes with time, it is determined that the throat sound is the swallowing sound, and when it is determined that the generation position of the throat sound does not change with time, the throat The swallowing sound determination method according to any one of claims 10 to 12, wherein it is determined that the sound is not the swallowing sound.
前記判定用相互相関値と予め設定された閾値とを比較し、その比較結果に基づいて、前記咽喉音の生成位置が経時的に変化するか否かを判定する、請求項13に記載の嚥下音判定方法。 In the determination step, the controller
The swallowing according to claim 13, wherein the determination cross-correlation value is compared with a preset threshold value, and based on the comparison result, it is determined whether or not the generation position of the throat sound changes with time. Sound judgment method.
前記判定用相互相関値を含む複数の特徴量を用いた機械学習により咽喉音が嚥下音であるか否かを識別するモデルを学習し、当該モデルに基づいて前記咽喉音が嚥下音であるか否かを判定する、請求項10〜12のいずれか一項に記載の嚥下音判定方法。 In the determination step, the controller
A model for discriminating whether or not a throat sound is a swallowing sound is learned by machine learning using a plurality of features including the intercorrelation value for determination, and whether the throat sound is a swallowing sound based on the model. The swallowing sound determination method according to any one of claims 10 to 12, which determines whether or not.
前記第1部位において集音される全区間に亘って取得された音響信号のうち、有音区間における音響信号を前記第1音響信号として抽出し、
前記第2部位において集音される全区間に亘って取得された音響信号のうち、前記有音区間における音響信号を前記第2音響信号として抽出する、請求項10〜15のいずれか一項に記載の嚥下音判定方法。 In the signal acquisition step, the controller
Of the acoustic signals acquired over the entire section collected in the first portion, the acoustic signal in the sound section is extracted as the first acoustic signal.
According to any one of claims 10 to 15, among the acoustic signals acquired over the entire section collected in the second portion, the acoustic signal in the sound section is extracted as the second acoustic signal. The swallowing sound determination method described.
前記第2部位は、前記対象者の頸部の側面において下咽頭部に対応する部位である、請求項10〜17のいずれか一項に記載の嚥下音判定方法。 The first site is a site corresponding to the oropharynx on the side surface of the neck of the subject.
The swallowing sound determination method according to any one of claims 10 to 17, wherein the second part is a part corresponding to the hypopharynx on the side surface of the neck of the subject.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168705A JP6963795B2 (en) | 2017-09-01 | 2017-09-01 | Swallowing sound judgment device and swallowing sound judgment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168705A JP6963795B2 (en) | 2017-09-01 | 2017-09-01 | Swallowing sound judgment device and swallowing sound judgment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019042148A JP2019042148A (en) | 2019-03-22 |
JP6963795B2 true JP6963795B2 (en) | 2021-11-10 |
Family
ID=65814925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017168705A Active JP6963795B2 (en) | 2017-09-01 | 2017-09-01 | Swallowing sound judgment device and swallowing sound judgment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6963795B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005066044A (en) * | 2003-08-25 | 2005-03-17 | Konica Minolta Medical & Graphic Inc | Respiratory sound data processor and program |
JP2009011540A (en) * | 2007-07-04 | 2009-01-22 | Konica Minolta Medical & Graphic Inc | Biological test device and program for biological test device |
JP5140891B2 (en) * | 2009-06-09 | 2013-02-13 | 国立大学法人九州大学 | Signal peak measurement system |
JP2012075758A (en) * | 2010-10-05 | 2012-04-19 | Doshisha | Dysphagia detecting system |
WO2012068254A2 (en) * | 2010-11-17 | 2012-05-24 | University Of Florida Research Foundation Inc. | Systems and methods for automatically determining patient swallow frequency |
JP5924724B2 (en) * | 2011-05-09 | 2016-05-25 | 国立大学法人岩手大学 | Mouth-mouth movement state estimation method and jaw-mouth movement state estimation device |
JP5952536B2 (en) * | 2011-07-12 | 2016-07-13 | 国立大学法人 筑波大学 | Swallowing function data measuring device, swallowing function data measuring system, and swallowing function data measuring method |
CN105637760B (en) * | 2013-10-09 | 2018-05-08 | 株式会社村田制作所 | Amplifying circuit and the detection device for possessing the amplifying circuit |
-
2017
- 2017-09-01 JP JP2017168705A patent/JP6963795B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019042148A (en) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2018214442B2 (en) | Methods and apparatus for cough detection in background noise environments | |
Pramono et al. | A cough-based algorithm for automatic diagnosis of pertussis | |
Ghassemi et al. | Learning to detect vocal hyperfunction from ambulatory neck-surface acceleration features: Initial results for vocal fold nodules | |
US11786171B2 (en) | Method and system for articulation evaluation by fusing acoustic features and articulatory movement features | |
WO2018046595A1 (en) | Classifier ensemble for detection of abnormal heart sounds | |
US10959661B2 (en) | Quantification of bulbar function | |
CN104739412B (en) | A kind of method and apparatus being monitored to sleep apnea | |
JP6906197B2 (en) | Information processing method, information processing device and information processing program | |
TWI666633B (en) | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method and program | |
JP6258172B2 (en) | Sound information processing apparatus and system | |
Peruzzi et al. | A novel methodology to remotely and early diagnose sleep bruxism by leveraging on audio signals and embedded machine learning | |
JP2019051129A (en) | Deglutition function analysis system and program | |
Selvakumari et al. | A voice activity detector using SVM and Naïve Bayes classification algorithm | |
JP6963795B2 (en) | Swallowing sound judgment device and swallowing sound judgment method | |
CN108490395A (en) | Sound source positioning method and device | |
US20210315517A1 (en) | Biomarkers of inflammation in neurophysiological systems | |
KR20160023345A (en) | System for counting swallowing and method thereof | |
JP2020513908A (en) | How to characterize sleep-disordered breathing | |
JP2005010652A (en) | Speech detecting device | |
Kalantarian et al. | A smartwatch-based system for audio-based monitoring of dietary habits | |
JP6742620B2 (en) | Swallowing diagnostic device and program | |
CN113226173A (en) | Biological information analysis device, biological information analysis method, and biological information analysis system | |
Uwaoma et al. | On Smartphone-based Discrimination of Pathological Respiratory Sounds with Similar Acoustic Properties using Machine Learning Algorithms. | |
WO2023054632A1 (en) | Determination device and determination method for dysphagia | |
JP6730636B2 (en) | Information processing apparatus, control program, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6963795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |