JP5718492B1 - 音の顕著度推定装置、その方法、及びプログラム - Google Patents
音の顕著度推定装置、その方法、及びプログラム Download PDFInfo
- Publication number
- JP5718492B1 JP5718492B1 JP2014005527A JP2014005527A JP5718492B1 JP 5718492 B1 JP5718492 B1 JP 5718492B1 JP 2014005527 A JP2014005527 A JP 2014005527A JP 2014005527 A JP2014005527 A JP 2014005527A JP 5718492 B1 JP5718492 B1 JP 5718492B1
- Authority
- JP
- Japan
- Prior art keywords
- feature
- time interval
- sound
- microsaccade
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】単一試行で対象音が目立つか否かを推定できる技術を提供する。【解決手段】音の顕著度推定装置は、第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応するヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応するヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、第1特徴量と第2特徴量との相違の度合いに基づいて、所定の音の目立ち度合いを推定する顕著度推定部とを含む。【選択図】図2
Description
本発明は、音の目立ち度合いを推定する技術に関する。
従来、同じ基準音を繰り返し呈示する中で、時々、基準音に代えて別の音(=目立つ音)を呈示するという実験において、別の音が呈示されたときの脳波(EEG)が大きな振幅を示すという知見(MMN: Mismatch-negativity)が知られている(非特許文献1参照)。
R. Naatanena, P. Paavilainena, T. Rinned, K. Alhod, "The mismatch negativity (MMN) in basic research of central auditory processing: A review", Clinical Neurophysiology, 2007, Volume 118, Issue 12, Pages 2544-2590.
MMNによれば、脳波の振幅を観測することで、対象者にとって、対象とする音(以下、「対象音」ともいう)が目立つ音か否かを推定することができる。
脳波はノイズを多く含むため、MMNは多数の試行平均から導かれる指標である。そのため、単一試行で対象音が目立つか否かを推定することはできない。
本発明は、単一試行で対象音が目立つか否か(すなわち音の目立ち度合い)を推定できる技術を提供することを目的とする。
上記の課題を解決するために、本発明の第一の態様によれば、音の顕著度推定装置は、第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を所定の音を受聴可能としない時間区間とし、第1時間区間に対応するヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応するヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、第1特徴量と第2特徴量との相違の度合いに基づいて、所定の音の目立ち度合いを推定する顕著度推定部とを含む。
上記の課題を解決するために、本発明の第二の態様によれば、音の顕著度推定方法は、第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を所定の音を受聴可能としない時間区間とし、第1時間区間に対応するヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応するヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、第1特徴量と第2特徴量との相違の度合いに基づいて、所定の音の目立ち度合いを推定する顕著度推定ステップとを含む。
上記の課題を解決するために、本発明の第三の態様によれば、モデル記憶部には、マイクロサッカードの特徴に対応する特徴量と音の目立ち度合いとの相関性を記述したモデルである顕著度推定モデルが記憶されているものとして、所定の音を受聴可能なようにヒトに呈示する時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップで抽出した第1特徴量を入力として、前記顕著度推定モデルを参照することにより、前記所定の音の顕著度を推定する顕著度推定ステップを含む。
本発明によれば、単一試行で対象音の目立ち度合いを推定できるという効果を奏する。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
<第一実施形態>
本実施形態では、人の眼球の動きの表れる微細な跳躍性眼球運動(以下、マイクロサッカード(microsaccade)ともいう)に基づいて、音の目立ち度合いを推定する。なお、音の目立ち度合いを顕著度ともいい、「顕著度の高い音」としては、注意深く対象音を聴いているときに目立つ音だけでなく、注意せずに不意に聞こえて目立つ音をも含む。まず、マイクロサッカードについて説明する。人がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動(ドリフト(drift,trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい))を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図1はマイクロサッカードを表す図であり、横軸は時間(秒)を、縦軸は視野角を表す。詳しく説明すると、マイクロサッカードとは、ある一点を注視している状態において、1〜2秒の間に1回程度、対象者の意思とは関係なく(非随意的に)表れる眼球の動きであって、小さな跳ぶような動きのことである(図1の太線部分)。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。ただし、マイクロサッカードが水平方向に偏向する性質に基づき、本実施形態では、簡単のため水平方向の成分のみを用いる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や後述する眼球運動取得部12において水平方向と定義付られた方向を含む概念である。
本実施形態では、人の眼球の動きの表れる微細な跳躍性眼球運動(以下、マイクロサッカード(microsaccade)ともいう)に基づいて、音の目立ち度合いを推定する。なお、音の目立ち度合いを顕著度ともいい、「顕著度の高い音」としては、注意深く対象音を聴いているときに目立つ音だけでなく、注意せずに不意に聞こえて目立つ音をも含む。まず、マイクロサッカードについて説明する。人がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動(ドリフト(drift,trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい))を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図1はマイクロサッカードを表す図であり、横軸は時間(秒)を、縦軸は視野角を表す。詳しく説明すると、マイクロサッカードとは、ある一点を注視している状態において、1〜2秒の間に1回程度、対象者の意思とは関係なく(非随意的に)表れる眼球の動きであって、小さな跳ぶような動きのことである(図1の太線部分)。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。ただし、マイクロサッカードが水平方向に偏向する性質に基づき、本実施形態では、簡単のため水平方向の成分のみを用いる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や後述する眼球運動取得部12において水平方向と定義付られた方向を含む概念である。
図2は第一実施形態に係る音の顕著度推定装置10の機能ブロック図、図3はその処理フローの例を示す図である。
音の顕著度推定装置10は、音呈示部11、眼球運動取得部12、特徴量抽出部13及び顕著度推定部14を含む。
<音呈示部11>
音呈示部11は、第1時間区間においては、所定の音(推定対象の音であり、以下、対象音ともいう)を受聴可能なように人(以下、対象者ともいう)に呈示し、第1時間区間と異なる第2時間区間においては、上記所定の音が受聴可能でないものとする(s11)。例えば、第1時間区間においては、ヘッドホンやスピーカなどにより、受聴可能な音量で所定の音を呈示する。ただし所定の音の呈示時間が短い場合(〜数十ms程度など)、第1時間区間の中にマイクロサッカードを含むように、所定の音が呈示された直後の時間帯についても、所定の音以外の音を呈示していないという条件を満たす限り、数秒程度までであれば第1時間区間の定義として含めてもよい。第2時間区間においては、所定の音と異なる音を受聴可能なように対象者に呈示しても良いし、何も音を呈示しなくても良い。あるいは、所定の音を出力していても、音量が極めて小さいなど、対象者にとって受聴可能な状態でなければよい。ただし、第2時間区間は第1時間区間とは重複しないように設定され、第1時間区間と同じ長さの時間帯として設定される。
音呈示部11は、第1時間区間においては、所定の音(推定対象の音であり、以下、対象音ともいう)を受聴可能なように人(以下、対象者ともいう)に呈示し、第1時間区間と異なる第2時間区間においては、上記所定の音が受聴可能でないものとする(s11)。例えば、第1時間区間においては、ヘッドホンやスピーカなどにより、受聴可能な音量で所定の音を呈示する。ただし所定の音の呈示時間が短い場合(〜数十ms程度など)、第1時間区間の中にマイクロサッカードを含むように、所定の音が呈示された直後の時間帯についても、所定の音以外の音を呈示していないという条件を満たす限り、数秒程度までであれば第1時間区間の定義として含めてもよい。第2時間区間においては、所定の音と異なる音を受聴可能なように対象者に呈示しても良いし、何も音を呈示しなくても良い。あるいは、所定の音を出力していても、音量が極めて小さいなど、対象者にとって受聴可能な状態でなければよい。ただし、第2時間区間は第1時間区間とは重複しないように設定され、第1時間区間と同じ長さの時間帯として設定される。
<眼球運動取得部12>
眼球運動取得部12は、第1時間区間および第2時間区間のそれぞれに対応する、対象者の眼球の位置情報を取得し(s12)、特徴量抽出部13へ出力する。例えば、第1時間区間および第2時間区間において、対象者には、ある1点を注視してもらうようにし、その時の眼球の動きを赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎(例えば、1000Hz)の眼球の位置の時系列を眼球の位置情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。
眼球運動取得部12は、第1時間区間および第2時間区間のそれぞれに対応する、対象者の眼球の位置情報を取得し(s12)、特徴量抽出部13へ出力する。例えば、第1時間区間および第2時間区間において、対象者には、ある1点を注視してもらうようにし、その時の眼球の動きを赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎(例えば、1000Hz)の眼球の位置の時系列を眼球の位置情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。
<特徴量抽出部13>
特徴量抽出部13は、第1時間区間および第2時間区間に対応する眼球の位置情報を受け取り、それぞれの時間区間に対応する眼球の位置情報の時系列から、第1時間区間と第2時間区間のそれぞれに対応するマイクロサッカードの特徴を特徴量として抽出し(s13)、顕著度推定部14に出力する。第1時間区間について抽出される特徴量を第1特徴量とし、第2時間区間について抽出される特徴量を第2特徴量とする。
特徴量抽出部13は、第1時間区間および第2時間区間に対応する眼球の位置情報を受け取り、それぞれの時間区間に対応する眼球の位置情報の時系列から、第1時間区間と第2時間区間のそれぞれに対応するマイクロサッカードの特徴を特徴量として抽出し(s13)、顕著度推定部14に出力する。第1時間区間について抽出される特徴量を第1特徴量とし、第2時間区間について抽出される特徴量を第2特徴量とする。
例えば、眼球の位置情報の時系列について1次階差系列を計算し、階差系列の絶対値が所定の閾値を上回る時間区間をマイクロサッカードが起きている区間として検出する。取得された眼球の位置情報にノイズが多く含まれると判断される場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
特徴量は、顕著度を推定するための指標ともいえる。言い換えれば、眼球の位置情報の時系列のうち、マイクロサッカードが起きている区間における眼球運動を表す特徴量である。特徴量は、具体的には、マイクロサッカードが起きているときの眼球位置の時系列を位置制御系のステップ応答としてモデル化したときの減衰率λ、もしくは、減衰係数ζ、または、マイクロサッカードの前後のドリフトの速度Vd(図4参照)の少なくともいずれか1つ以上を含む特徴量である。位置制御系のステップ応答は、固有角振動数をωnとして、
と表される。ここでG(s)は伝達係数,y(t)は位置, y'(t)は速度を表し、
と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωnはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の正確性に対応する指標に相当する。また、A, Vmax, Ao, Vo,Tpはそれぞれ以下を表す(図5参照)。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(4)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(5)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
なお、第1時間区間において、複数回のマイクロサッカードが含まれる場合には、それぞれのマイクロサッカードについて求めた減衰率λ、もしくは、減衰係数ζ、または、マイクロサッカードの前後のドリフトの速度Vdの代表値を第1時間区間に対応するマイクロサッカードの特徴として用いる。代表値とは、例えば平均値、最大値、最小値、最初のマイクロサッカードに対応する値などである。特に平均値を用いることが好ましい。また、第1時間区間の中に1回もマイクロサッカードが含まれない場合は、第1時間区間の直後のマイクロサッカード(第1時間区間よりも時間的に後ろで、かつ、最も第1時間区間に近い時刻に生じるマイクロサッカード)について求めた減衰率λ、もしくは、減衰係数ζ、または、マイクロサッカードの前後のドリフトの速度Vdの代表値を第1時間区間に対応するマイクロサッカードの特徴として用いる。つまり、第1時間区間に対応する眼球の位置情報は、少なくとも1回マイクロサッカードを含むように取得されているものとする。第2時間区間についても同様のことが言える。
<顕著度推定部14>
顕著度推定部14は、第1時間区間について特徴量抽出部13が抽出した第1特徴量と、第2時間区間について特徴量抽出部13が抽出した第2特徴量との相違の度合いに基づいて、所定の音(対象音)の目立ち度合い(顕著度)を推定する(s14)。
顕著度推定部14は、第1時間区間について特徴量抽出部13が抽出した第1特徴量と、第2時間区間について特徴量抽出部13が抽出した第2特徴量との相違の度合いに基づいて、所定の音(対象音)の目立ち度合い(顕著度)を推定する(s14)。
具体的には、特徴量が減衰率λもしくはドリフトの速度Vdである場合には、第1特徴量が第2特徴量よりも大きく、かつ、その差が大きいほど、顕著度が高いと推定する。
あるいは、特徴量が減衰係数ζである場合には、第1特徴量が第2特徴量よりも小さく、かつ、その差が大きいほど、顕著度が高いと推定する。
これは、減衰係数ζや減衰率λ、ドリフトの速度Vdと対象音の顕著度との間に、以下のような相関関係があることが、実験により明らかになったことに基づく。
(1)減衰係数ζの変化量が大きいほど、顕著度が大きい。
(2)減衰率λの変化量が大きいほど、顕著度が大きい。なお、減衰係数と減衰率は負の相関関係にある。
(3)マイクロサッカードの前後のドリフトの速度Vdが増加するほど、顕著度が大きい。
(1)減衰係数ζの変化量が大きいほど、顕著度が大きい。
(2)減衰率λの変化量が大きいほど、顕著度が大きい。なお、減衰係数と減衰率は負の相関関係にある。
(3)マイクロサッカードの前後のドリフトの速度Vdが増加するほど、顕著度が大きい。
なお、減衰係数ζ、減衰率λ、ドリフトの速度Vdのいずれか1つを単独で用いてもよいし、組み合わせて用いてもよい。例えば、何れか二つを満たせばよい、三つ全てを満たせばよい、等と設定してもよい。すなわち、第1時間区間と第2時間区間についての、減衰係数ζ、減衰率λ、ドリフトの速度Vdのいずれか1つ以上の特徴量の各々についての相違の度合いに基づき、対象音の目立ち度合いを推定してもよい。
なお、減衰係数ζは、マイクロサッカードを位置制御系(二次遅れ系)のステップ応答としてみたときの、応答の正確性に対応する指標である。顕著度の高い音(顕著音)を聴いているときは、音に意識が向けられることで、マイクロサッカードの制御に関わる脳の中枢あるいは外眼筋にも一時的な影響があらわれ、応答の正確性(減衰係数)の変化として観測できると考えられる。
以下に、図6を用いて実験の一例について説明する。同じ基準音(standard、図中、○で表す、例えば1000Hzの純音)を繰り返し呈示する中で、1%の頻度で基準音に代えて別の音(odd、図中、●で表す、例えば、白色雑音)を呈示する。この別の音(odd)は基準音と比較して呈示される頻度が少ないため、目立って聞こえる顕著音であると考えられることから、以下では顕著音(odd)とする。各音は300msの間隔で、50msの間、呈示する。このときの被験者(10人)のマイクロサッカードから上述の特徴量を測定した。減衰係数ζの測定結果を図7に示す。各音の開始をt=0とした試行平均を示し、個人毎に-300ms〜0msまでの平均を0、標準偏差を1として正規化した。各時刻の値は、その時刻から+300msまでに生じたマイクロサッカード全体の統計量を表す。なお、基準音(standard)を表す破線と、顕著音(odd)を表す実線とは、それぞれ平均値を表し、各線の上下の網掛け部分はそれぞれの標準誤差を表す。
結果、顕著音の呈示直後には減衰係数が減少する傾向にあることが確認された。すなわち、顕著音が呈示されている時間区間(第1時間区間)におけるマイクロサッカードの減衰係数(第1特徴量)と、基準音が呈示されている時間区間(第2時間区間)におけるマイクロサッカードの減衰係数(第2特徴量)とを比較すると、第1特徴量の方が第2特徴量よりも小さい傾向にある。また、音の顕著度が高いほど、第1特徴量と第2特徴量の差、すなわち減衰係数の変化量の絶対値が増加する傾向がある。
減衰率λは減衰係数ζと負の相関関係を持つ指標であるため、減衰係数ζとは逆に、顕著音が呈示されている時間区間(第1時間区間)におけるマイクロサッカードの減衰係数(第1特徴量)と、基準音が呈示されている時間区間(第2時間区間)におけるマイクロサッカードの減衰係数(第2特徴量)とを比較すると、第1特徴量の方が第2特徴量よりも大きい傾向にある。
また、ドリフトは前述の通り、固視微動の一つであり、人がある一点を注視しているときの眼球の小さな滑らかな動きのことであり、顕著音を聴いているときは、音に意識が向けられることで、マイクロサッカードの制御に関わる脳の中枢あるいは外眼筋にも一時的な影響があらわれることで、マイクロサッカードの前後のドリフトの速度Vdにも変化が表れる。実験では、減衰率と同様に、顕著音が呈示されている時間区間(第1時間区間)におけるマイクロサッカードの前後のドリフトの速度Vd(第1特徴量)と、基準音が呈示されている時間区間(第2時間区間)におけるマイクロサッカードの前後のドリフトの速度Vd(第2特徴量)とを比較すると、第1特徴量の方が第2特徴量よりも大きい傾向にあることが確認された。
また、いずれの場合も、音の顕著度が高いほど、第1特徴量と第2特徴量の差(の絶対値)が大きい傾向にある。すなわち、音の顕著度が高いほど、減衰係数や減衰率、ドリフトの速度の変化が顕著に表れる。
なお、実験では、対象音(顕著音)と基準音という2種類の音を用いたが、基準音として対象音と異なる音が発せられているとは限らず、何も音が発せられていなくても同様の傾向が観測される。要するに、所定の音(顕著音)が受聴可能なように呈示されている時間区間(第1時間区間)と、所定の音が受聴可能でない時間区間(第2時間区間)におけるマイクロサッカードの特徴に相違がある。
この知見に基づき、顕著度推定部14は、所定の音が受聴可能なように呈示されている第1時間区間におけるマイクロサッカードの特徴量である第1特徴量と、所定の音が受聴可能でない第2時間区間におけるマイクロサッカードの特徴である第2特徴量との相違の度合いに基づいて、所定の音の顕著度を推定する。
具体的には、特徴量がマイクロサッカードの減衰係数である場合には、第1特徴量の方が第2特徴量よりも小さい場合に、音の顕著度が高いと推定する。また、第1特徴量と第2特徴量の差の絶対値が大きいほど、音の顕著度合いが高いと推定する。第2時間区間において所定の音(第1時間区間の音)とは異なる音が呈示されているとすれば、第1特徴量と第2特徴量のうち小さい方の特徴量に対応する時間区間に呈示されている音の方が顕著度が高いと推定されることになる。
特徴量がマイクロサッカードの減衰率またはドリフトの速度である場合には、第1特徴量の方が第2特徴量よりも大きい場合に、音の顕著度が高いと推定する。また、第1特徴量と第2特徴量の差の絶対値が大きいほど、音の顕著度合いが高いと推定する。第2時間区間において所定の音(第1時間区間の音)とは異なる音が呈示されているとすれば、第1特徴量と第2特徴量のうち大きい方の特徴量に対応する時間区間に呈示されている音の方が顕著度が高いと推定されることになる。
<効果>
このような構成により、マイクロサッカードに基づいて、対象者にとっての所定の音の目立ち度合いを推定することができる。マイクロサッカードは、計測ノイズが少ない特徴量なので、単一試行で所定の音の目立ち度合いを推定できる。また、一般的に、脳波を測定する機器等は大掛かりなものとなりやすく、労力的にも金銭的にもコストが高い。しかし、眼球の位置を測定する場合には、一般的に脳波を測定する機器に比べ、小さな規模で(対象者を拘束することなく)行うことができ、労力的にも金銭的にもコストを低減できる。
このような構成により、マイクロサッカードに基づいて、対象者にとっての所定の音の目立ち度合いを推定することができる。マイクロサッカードは、計測ノイズが少ない特徴量なので、単一試行で所定の音の目立ち度合いを推定できる。また、一般的に、脳波を測定する機器等は大掛かりなものとなりやすく、労力的にも金銭的にもコストが高い。しかし、眼球の位置を測定する場合には、一般的に脳波を測定する機器に比べ、小さな規模で(対象者を拘束することなく)行うことができ、労力的にも金銭的にもコストを低減できる。
<変形例1>
顕著度推定装置10は、音呈示部11及び眼球運動取得部12を含まなくともよい。すなわち、音呈示部11及び眼球運動取得部12の少なくとも1つを別装置として構成し、別装置から対象音及び各時間区間ごとの眼球の位置情報の少なくとも1つを受け取る構成とすればよい。
顕著度推定装置10は、音呈示部11及び眼球運動取得部12を含まなくともよい。すなわち、音呈示部11及び眼球運動取得部12の少なくとも1つを別装置として構成し、別装置から対象音及び各時間区間ごとの眼球の位置情報の少なくとも1つを受け取る構成とすればよい。
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
第一実施形態と異なる部分を中心に説明する。
第二実施形態の音の顕著度推定装置20は、第一実施形態の特徴量抽出部13と顕著度推定部14の代わりに、特徴量抽出部23と顕著度推定部24を含み、さらに、モデル記憶部25を含む(図2参照)。第二実施形態では、第2時間区間について取得した第2特徴量を用いない点が異なる。すなわち、音呈示部11と眼球運動取得部12は第一実施形態とほとんど同じであるが、第2時間区間についての処理は行わない。顕著度推定部24では、第一実施形態のように第2時間区間との相対比較をしない代わりに、モデル記憶部25を参照することにより、対象者にとっての対象音の顕著度を推定する。
<特徴量抽出部23>
特徴量抽出部23は、第1時間区間に対応する眼球の位置情報を受け取り、第1時間区間に対応する眼球の位置情報の時系列から、マイクロサッカードの特徴に対応する特徴量を抽出し(s23)、顕著度推定部24に出力する。
特徴量抽出部23は、第1時間区間に対応する眼球の位置情報を受け取り、第1時間区間に対応する眼球の位置情報の時系列から、マイクロサッカードの特徴に対応する特徴量を抽出し(s23)、顕著度推定部24に出力する。
このとき、第一実施形態と同様にマイクロサッカードの減衰係数ζ、減衰率λ、ドリフトの速度Vdの少なくとも何れか1つ以上を含む特徴量を抽出する。なお、本実施形態では上述の値の少なくとも何れか1つ以上を要素として含むベクトル(以下、「特徴量ベクトル」ともいう)を特徴量として抽出する。あるいは、マイクロサッカードの減衰係数ζ、減衰率λ、ドリフトの速度Vdの少なくとも何れか1つに加えて、以下の値を要素として含む特徴量ベクトルを特徴量として抽出しても良い(図1、4及び5参照)。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度。
(3)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoの値は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)位置制御系のステップ応答としてモデル化したときの固有角振動数ωn
(7)発生頻度に対応するパラメータ(図1参照)
(7−1)直前(i-1番目)のマイクロサッカードから現在(i番目)のマイクロサッカードまでの時間ΔTi
(7−2)現在(i番目)のマイクロサッカードから次(i+1番目)のマイクロサッカードまでの時間ΔTi+1
なお、上記(7)に関しては、第1時間区間の時刻の先頭に近いマイクロサッカードから順に1番目、2番目、…と順序を付けているものとする。
(7−1)直前(i-1番目)のマイクロサッカードから現在(i番目)のマイクロサッカードまでの時間ΔTi
(7−2)現在(i番目)のマイクロサッカードから次(i+1番目)のマイクロサッカードまでの時間ΔTi+1
なお、上記(7)に関しては、第1時間区間の時刻の先頭に近いマイクロサッカードから順に1番目、2番目、…と順序を付けているものとする。
第一実施形態と同様に、第1時間区間の中に複数のマイクロサッカードが含まれる場合には、上述のA, Vmax, Tp, Ao, Vo, ωn, ΔTi, ΔTi+1は第1時間区間に含まれる各マイクロサッカードについて求めた値の代表値(例えば平均値)を用いるものとする。また、第1時間区間内に1回もマイクロサッカードが含まれない場合には、第1時間区間直後のマイクロサッカードの特徴量を、第1時間区間に対応する特徴量として用いる。
<顕著度推定部24>
顕著度推定部24は、第1時間区間について抽出した特徴量を受け取り、第1時間区間に呈示された音の顕著度を推定する(s24)。本実施形態では、第1時間区間について抽出された特徴量から顕著度推定モデルを用いて(参照することにより)、第1時間区間に呈示された音の顕著度を推定し、出力する。言い換えれば、顕著度推定部24は、特徴量抽出部23で抽出した第1時間区間についての特徴量を、モデル記憶部25に記憶された顕著度推定モデル(特徴量から顕著度を推定するためのモデル)にあてはめることにより、顕著度を推定し取得する。
顕著度推定部24は、第1時間区間について抽出した特徴量を受け取り、第1時間区間に呈示された音の顕著度を推定する(s24)。本実施形態では、第1時間区間について抽出された特徴量から顕著度推定モデルを用いて(参照することにより)、第1時間区間に呈示された音の顕著度を推定し、出力する。言い換えれば、顕著度推定部24は、特徴量抽出部23で抽出した第1時間区間についての特徴量を、モデル記憶部25に記憶された顕著度推定モデル(特徴量から顕著度を推定するためのモデル)にあてはめることにより、顕著度を推定し取得する。
<モデル記憶部25>
モデル記憶部25は、特徴量を入力として、顕著度を出力するような顕著度推定モデルが予め記録されている。顕著度推定モデルは、予め1人以上の人について取得した特徴量と顕著度との関係性を機械学習法により学習することで、作成される。つまり、顕著度推定モデルは、マイクロサッカードの特徴と顕著度との相関性を記述したモデルである。
モデル記憶部25は、特徴量を入力として、顕著度を出力するような顕著度推定モデルが予め記録されている。顕著度推定モデルは、予め1人以上の人について取得した特徴量と顕著度との関係性を機械学習法により学習することで、作成される。つまり、顕著度推定モデルは、マイクロサッカードの特徴と顕著度との相関性を記述したモデルである。
例えば、学習用に用意した顕著度が分かっている所定の音を受聴可能なようにある人(対象者)に呈示し、そのときの対象者の眼球の位置の時系列情報を取得し、取得した眼球の位置の時系列情報からマイクロサッカードの特徴量を抽出する。ここで抽出する特徴量は、特徴量抽出部23で抽出する特徴量と同じとする。
同様の特徴量抽出を、複数の異なる所定の音について行い、所定の音に付与された顕著度と抽出した特徴量とを組にしたデータセットの複数の異なる音についての集合を学習用データとして用意する。なお、何も音を呈示していない時間区間において、対象者の対象者の瞳孔の大きさの時系列を取得し、取得した瞳孔の大きさの時系列から抽出した特徴量を、顕著度0と対応付けて学習データに含めてもよい。
この学習用データを入力データとし、機械学習法により、顕著度と特徴量との関係を学習する。
例えば、機械学習法としてサポートベクターマシン(Support vector machine、以下SVMともいう)等がある。この場合は、予め所定の音に付与する顕著度を、顕著度が高い(1)または顕著度が低い(0)の2値として、特徴量ベクトルの次元に対応する空間において、顕著度が高いときの特徴量ベクトルに対応する点群と、顕著度が低いときの特徴量ベクトルに対応する点群とを分離する超平面を求めることができる。これにより、得られる顕著度推定モデルに、顕著度が未知の特徴量(特徴量抽出部23で得られた特徴量)を入力すると、その特徴量が顕著音が高いことに対応するか、顕著音が低いことに対応するかを推定することができる。
例えば、減衰係数(ζ),減衰率(λ),ドリフトの速度(Vd)を単独で、または、それらの組合せを、要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。
また、減衰係数(ζ),減衰率(λ),ドリフトの速度(Vd)、基準振幅(A),オーバーシュートの振幅(Ao), 最大速度(Vmax),オーバーシュートの速度(Vo)を要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。この特徴量ベクトルに、さらに、立ち上がり時間(Tp),発生頻度に関するパラメータ(ΔTi,ΔTi+1)、固有角振動数ωnを要素として加えても良い。
要素の数を増やすことで、推定の精度を高めることができる。なお、減衰係数(ζ),減衰率(λ),ドリフトの速度(Vd)、基準振幅(A),オーバーシュートの振幅(Ao), 最大速度(Vmax),オーバーシュートの速度(Vo)を要素として含む特徴量ベクトルを用いたときに、推定精度が高いことが実験等により明らかとなった。
顕著音が高い/低い、の2値分類に限らず、複数クラス(顕著度に対応するクラス)に分類するようにSVMを構成することも可能である。あるいは、複数クラス(顕著度に対応するクラス)識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。
なお、学習用データを取得する対象である対象者は、実際に顕著度を推定する人と同一人物である必要はない。また、複数の人について得られた学習データを基に顕著度推定モデルを学習すると、より精度の高い推定を行うことができる。また、対象者毎に、音の顕著度に対応して表れる特徴量が異なる場合があるので、学習データを取得する対象者を顕著度を推定する人と同一人物として対象者毎に、顕著度推定モデルを作成すれば、個人の特性に合わせたより精度の高い推定を行うことができる。
<効果>
このような構成により、第一実施形態と同様の効果を得ることができる。
このような構成により、第一実施形態と同様の効果を得ることができる。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
Claims (11)
- 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定ステップとを含み、
前記マイクロサッカードの特徴は、マイクロサッカードの前後のドリフトの速度、または、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記顕著度推定ステップは、
前記第2特徴量に含まれるドリフトの速度または減衰率よりも前記第1特徴量に含まれるドリフトの速度または減衰率が大きく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが大きいと推定する、
および/または、
前記第2特徴量に含まれるドリフトの速度または減衰率よりも前記第1特徴量に含まれるドリフトの速度または減衰率が小さく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが小さいと推定する、
音の顕著度推定方法。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定ステップとを含み、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記顕著度推定ステップは、
前記第2特徴量に含まれる減衰係数よりも前記第1特徴量に含まれる減衰係数が小さく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが大きいと推定する、
および/または、
前記第2特徴量に含まれる減衰係数よりも前記第1特徴量に含まれる減衰係数が大きく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが小さいと推定する、
音の顕著度推定方法。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定ステップとを含み、
前記第2時間区間において前記所定の音と異なる第2の音を受聴可能なように前記ヒトに呈示するものとし、
前記マイクロサッカードの特徴は、マイクロサッカードの前後のドリフトの速度、または、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記第1特徴量に含まれるドリフトの速度または減衰率と前記第2特徴量に含まれるドリフトの速度または減衰率のうち、値が大きい方の特徴量に対応する時間区間に呈示された音についての前記顕著度推定ステップの推定結果は、他方の時間区間に呈示された音についての前記顕著度推定ステップの推定結果よりも音の目立ち度合いが大きいことに対応する、
ことを特徴とする音の顕著度推定方法。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定ステップとを含み、
前記第2時間区間において前記所定の音と異なる第2の音を受聴可能なように前記ヒトに呈示するものとし、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記第1特徴量に含まれる減衰係数と前記第2特徴量の減衰係数のうち、値が小さい方の特徴量に対応する時間区間に呈示された音についての前記顕著度推定ステップの推定結果は、他方の時間区間に呈示された音についての前記顕著度推定ステップの推定結果よりも音の目立ち度合いが大きいことに対応する、
ことを特徴とする音の顕著度推定方法。 - モデル記憶部には、マイクロサッカードの特徴に対応する特徴量と音の目立ち度合いとの相関性を記述したモデルである顕著度推定モデルが記憶されているものとして、
所定の音を受聴可能なようにヒトに呈示する時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出した第1特徴量を入力として、前記顕著度推定モデルを参照することにより、前記所定の音の顕著度を推定する前記顕著度推定ステップとを含み、
前記マイクロサッカードの特徴に対応する特徴量および前記第1特徴量は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数及び減衰率、マイクロサッカードの基本振幅、オーバーシュートの振幅、最大速度及びオーバーシュートの速度、マイクロサッカードの前後のドリフトの速度の少なくとも1つを要素として含む特徴量ベクトルである、
音の顕著度推定方法。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定部とを含み、
前記マイクロサッカードの特徴は、マイクロサッカードの前後のドリフトの速度、または、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記顕著度推定部は、
前記第2特徴量に含まれるドリフトの速度または減衰率よりも前記第1特徴量に含まれるドリフトの速度または減衰率が大きく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが大きいと推定する、
および/または、
前記第2特徴量に含まれるドリフトの速度または減衰率よりも前記第1特徴量に含まれるドリフトの速度または減衰率が小さく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが小さいと推定する、
音の顕著度推定装置。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定部とを含み、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記顕著度推定部は、
前記第2特徴量に含まれる減衰係数よりも前記第1特徴量に含まれる減衰係数が小さく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが大きいと推定する、
および/または、
前記第2特徴量に含まれる減衰係数よりも前記第1特徴量に含まれる減衰係数が大きく、かつ、その差の絶対値が大きいほど、音の目立ち度合いが小さいと推定する、
音の顕著度推定装置。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定部とを含み、
前記第2時間区間において前記所定の音と異なる第2の音を受聴可能なように前記ヒトに呈示するものとし、
前記マイクロサッカードの特徴は、マイクロサッカードの前後のドリフトの速度、または、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記第1特徴量に含まれるドリフトの速度または減衰率と前記第2特徴量に含まれるドリフトの速度または減衰率のうち、値が大きい方の特徴量に対応する時間区間に呈示された音についての前記顕著度推定部の推定結果は、他方の時間区間に呈示された音についての前記顕著度推定部の推定結果よりも音の目立ち度合いが大きいことに対応する、
ことを特徴とする音の顕著度推定装置。 - 第1時間区間を所定の音を受聴可能なようにヒトに呈示する時間区間、第2時間区間を前記所定の音を受聴可能としない時間区間とし、第1時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記所定の音の目立ち度合いを推定する顕著度推定部とを含み、
前記第2時間区間において前記所定の音と異なる第2の音を受聴可能なように前記ヒトに呈示するものとし、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記第1特徴量に含まれる減衰係数と前記第2特徴量の減衰係数のうち、値が小さい方の特徴量に対応する時間区間に呈示された音についての前記顕著度推定部の推定結果は、他方の時間区間に呈示された音についての前記顕著度推定部の推定結果よりも音の目立ち度合いが大きいことに対応する、
ことを特徴とする音の顕著度推定装置。 - モデル記憶部には、マイクロサッカードの特徴に対応する特徴量と音の目立ち度合いとの相関性を記述したモデルである顕著度推定モデルが記憶されているものとして、
所定の音を受聴可能なようにヒトに呈示する時間区間に対応する前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出した第1特徴量を入力として、前記顕著度推定モデルを参照することにより、前記所定の音の顕著度を推定する前記顕著度推定部とを含み、
前記マイクロサッカードの特徴に対応する特徴量および前記第1特徴量は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数及び減衰率、マイクロサッカードの基本振幅、オーバーシュートの振幅、最大速度及びオーバーシュートの速度、マイクロサッカードの前後のドリフトの速度の少なくとも1つを要素として含む特徴量ベクトルである、
音の顕著度推定装置。 - 請求項1から5の何れかの音の顕著度推定方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014005527A JP5718492B1 (ja) | 2014-01-16 | 2014-01-16 | 音の顕著度推定装置、その方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014005527A JP5718492B1 (ja) | 2014-01-16 | 2014-01-16 | 音の顕著度推定装置、その方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5718492B1 true JP5718492B1 (ja) | 2015-05-13 |
JP2015132782A JP2015132782A (ja) | 2015-07-23 |
Family
ID=53277423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014005527A Active JP5718492B1 (ja) | 2014-01-16 | 2014-01-16 | 音の顕著度推定装置、その方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5718492B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109199410A (zh) * | 2018-06-28 | 2019-01-15 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6445418B2 (ja) * | 2015-11-11 | 2018-12-26 | 日本電信電話株式会社 | 印象推定装置、印象推定方法、およびプログラム |
JP6479708B2 (ja) * | 2016-05-10 | 2019-03-06 | 日本電信電話株式会社 | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004282471A (ja) * | 2003-03-17 | 2004-10-07 | Media Glue Corp | 映像コンテンツの評価装置 |
JP2005143684A (ja) * | 2003-11-13 | 2005-06-09 | Kao Corp | リラックス感評価用瞳孔対光反応計測具 |
JP2009508553A (ja) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー/エス | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 |
-
2014
- 2014-01-16 JP JP2014005527A patent/JP5718492B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004282471A (ja) * | 2003-03-17 | 2004-10-07 | Media Glue Corp | 映像コンテンツの評価装置 |
JP2005143684A (ja) * | 2003-11-13 | 2005-06-09 | Kao Corp | リラックス感評価用瞳孔対光反応計測具 |
JP2009508553A (ja) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー/エス | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109199410A (zh) * | 2018-06-28 | 2019-01-15 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
CN109199410B (zh) * | 2018-06-28 | 2020-08-14 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015132782A (ja) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5718493B1 (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
US10944708B2 (en) | Conversation agent | |
Tafaj et al. | Bayesian online clustering of eye movement data | |
US20160324416A1 (en) | Head-mounted display for performing ophthalmic examinations | |
EP3483785A1 (en) | System and method for guiding social interactions | |
JP5718494B1 (ja) | 印象推定装置、その方法、及びプログラム | |
JP5718492B1 (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
JP6755839B2 (ja) | 運動パフォーマンス推定装置、その方法、およびプログラム | |
JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
JP7214986B2 (ja) | 反射性判定装置、反射性判定方法、プログラム | |
JP5718495B1 (ja) | 印象推定装置、その方法、及びプログラム | |
Nakanishi et al. | A dynamic stopping method for improving performance of steady-state visual evoked potential based brain-computer interfaces | |
JP6377545B2 (ja) | 個人識別方法、個人識別装置、プログラム | |
JP2017086529A (ja) | 印象推定装置およびプログラム | |
JP6377566B2 (ja) | 視線計測装置、視線計測方法、およびプログラム | |
KR102452100B1 (ko) | 뇌파 및 눈 깜빡임 기반 학습 서비스 제공 방법, 장치 및 시스템 | |
JP6445418B2 (ja) | 印象推定装置、印象推定方法、およびプログラム | |
Gutstein et al. | Optical flow, positioning, and eye coordination: automating the annotation of physician-patient interactions | |
WO2021161387A1 (ja) | 処理装置、処理方法及び記憶媒体 | |
JP2017202048A (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
JP7476091B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
CN112514002A (zh) | 用于评估儿童神经发育障碍风险的方法 | |
WO2023047519A1 (ja) | 学習装置、推定装置、学習方法、推定方法、およびプログラム | |
JP2019169805A5 (ja) | ||
JP7017171B2 (ja) | 運動パフォーマンス推定装置、トレーニング装置、それらの方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5718492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |