JP5718494B1 - 印象推定装置、その方法、及びプログラム - Google Patents
印象推定装置、その方法、及びプログラム Download PDFInfo
- Publication number
- JP5718494B1 JP5718494B1 JP2014005529A JP2014005529A JP5718494B1 JP 5718494 B1 JP5718494 B1 JP 5718494B1 JP 2014005529 A JP2014005529 A JP 2014005529A JP 2014005529 A JP2014005529 A JP 2014005529A JP 5718494 B1 JP5718494 B1 JP 5718494B1
- Authority
- JP
- Japan
- Prior art keywords
- music
- time interval
- feature
- impression
- microsaccade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】音楽の好みをリアルタイムで推定することができる技術を提供する。【解決手段】印象推定装置１０，２０は、第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、第１時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、第２時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出部１３，２３と、第１特徴量と第２特徴量との相違の度合いに基づいて、第１の音楽と第２の音楽に対する印象を推定する嗜好推定部１４，２４とを含む。【選択図】図２
Description
本発明は、音楽に対する印象（好き／嫌い）を推定する技術に関する。
非特許文献１では、好きな音楽を聴いているとき、さらには、聴く前の聴くことを期待しているときに、線条体でドーパミンが放出される傾向があることが確認された。
V. N. Salimpoor, M. Benovoy, K. Larcher, A. Dagher & R. J. Zatorre, "Anatomically distinct dopamine release during anticipation and experience of peak emotion to music", Nature Neuroscience 14(2), 2011, pp.257-262.
非特許文献１によれば、ある音楽を好きか否かや、ある音楽に対する期待に応じて、ドーパミンの放出量が変化する傾向があることを利用して、楽曲への時々刻々の印象（好きか否か）や期待が推定できる可能性がある。しかし、ドーパミンの放出量の測定に用いる装置(PET:positron emission tomography)は時間分解能が低く、解析にも時間がかかるため、非特許文献１ではリアルタイムに音楽の好みを推定することはできない。
本発明は、音楽の好みをリアルタイムで推定することができる技術を提供することを目的とする。
上記の課題を解決するために、本発明の第一の態様によれば、印象推定装置は、第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、第１時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、第２時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出部と、第１特徴量と第２特徴量との相違の度合いに基づいて、第１の音楽と第２の音楽に対する印象を推定する嗜好推定部とを含む。
上記の課題を解決するために、本発明の第二の態様によれば、印象推定方法は、第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、第１時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、第２時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出ステップと、第１特徴量と第２特徴量との相違の度合いに基づいて、第１の音楽と第２の音楽に対する印象を推定する嗜好推定ステップとを含む。
上記の課題を解決するために、本発明の第三の態様によれば、印象推定方法は、モデル記憶部には、ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量と音楽に対する印象との相関性を記述したモデルである嗜好推定モデルが記憶されているものとして、印象推定対象の音楽が受聴可能なようにヒトに呈示されている時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量を抽出する特徴量抽出ステップと、嗜好推定ステップは、特徴量抽出ステップで抽出した特徴量を入力として、嗜好推定モデルを参照することにより、印象推定対象の音楽に対する印象を推定する。
本発明によれば、個人毎の音楽の好みをリアルタイムで推定することができるという効果を奏する。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
＜第一実施形態＞
本実施形態では、人の眼球の動きの表れる微細な跳躍性眼球運動（以下、マイクロサッカード(microsaccade)ともいう）に基づいて、その人がその音楽を好んでいるか否かを推定する。まず、マイクロサッカードについて説明する。人がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動（ドリフト(drift,trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)）を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図１はマイクロサッカードを表す図であり、横軸は時間（秒）を、縦軸は視野角を表す。詳しく説明すると、マイクロサッカードとは、ある一点を注視している状態において、１〜２秒の間に１回程度、対象者の意思とは関係なく（非随意的に）表れる眼球の動きであって、小さな跳ぶような動きのことである（図１の太線部分）。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。ただし、マイクロサッカードが水平方向に偏向する性質に基づき、本実施形態では、簡単のため水平方向の成分のみを用いる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、顔に対しての水平方向（眼球の配列方向であり、横方向、幅方向といってもよい）や後述する眼球運動取得部１２において水平方向と定義付られた方向を含む概念である。
本実施形態では、人の眼球の動きの表れる微細な跳躍性眼球運動（以下、マイクロサッカード(microsaccade)ともいう）に基づいて、その人がその音楽を好んでいるか否かを推定する。まず、マイクロサッカードについて説明する。人がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動（ドリフト(drift,trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)）を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図１はマイクロサッカードを表す図であり、横軸は時間（秒）を、縦軸は視野角を表す。詳しく説明すると、マイクロサッカードとは、ある一点を注視している状態において、１〜２秒の間に１回程度、対象者の意思とは関係なく（非随意的に）表れる眼球の動きであって、小さな跳ぶような動きのことである（図１の太線部分）。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。ただし、マイクロサッカードが水平方向に偏向する性質に基づき、本実施形態では、簡単のため水平方向の成分のみを用いる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、顔に対しての水平方向（眼球の配列方向であり、横方向、幅方向といってもよい）や後述する眼球運動取得部１２において水平方向と定義付られた方向を含む概念である。
図２は第一実施形態に係る印象推定装置１０の機能ブロック図、図３はその処理フローの例を示す図である。
印象推定装置１０は、音呈示部１１、眼球運動取得部１２、特徴量抽出部１３及び嗜好推定部１４を含む。
印象推定装置１０は、音呈示部１１、眼球運動取得部１２、特徴量抽出部１３及び嗜好推定部１４を含む。
＜音呈示部１１＞
音呈示部１１は、２つの異なる音楽をそれぞれ別の時間区間において受聴可能なように人（以下、対象者ともいう）に呈示する（ｓ１１）。例えば、ヘッドホンやスピーカなどにより、受聴可能な音量でそれぞれの音楽を呈示する。２つの異なる音楽は、同じ楽曲の中の異なる時間区間のものであってもよいし、異なる楽曲の一部または全部であってもよい。一方の音楽を受聴可能なように人に呈示する時間区間を第１時間区間、他方の音楽を受聴可能なように人に呈示する時間区間を第２時間区間とする。なお、第１時間区間と第２時間区間の長さは異なっていても良い。
音呈示部１１は、２つの異なる音楽をそれぞれ別の時間区間において受聴可能なように人（以下、対象者ともいう）に呈示する（ｓ１１）。例えば、ヘッドホンやスピーカなどにより、受聴可能な音量でそれぞれの音楽を呈示する。２つの異なる音楽は、同じ楽曲の中の異なる時間区間のものであってもよいし、異なる楽曲の一部または全部であってもよい。一方の音楽を受聴可能なように人に呈示する時間区間を第１時間区間、他方の音楽を受聴可能なように人に呈示する時間区間を第２時間区間とする。なお、第１時間区間と第２時間区間の長さは異なっていても良い。
＜眼球運動取得部１２＞
眼球運動取得部１２は、第１時間区間と第２時間区間のそれぞれにおいて、対象者の眼球の位置情報を取得し（ｓ１２）、特徴量抽出部１３へ出力する。例えば、対象者には、各音楽を呈示している間（第１時間区間と第２時間区間において）は、ある１点を注視してもらうようにし、その時の眼球の動きを赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎（例えば、1000Hz）の眼球の位置の時系列を眼球の位置情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。
眼球運動取得部１２は、第１時間区間と第２時間区間のそれぞれにおいて、対象者の眼球の位置情報を取得し（ｓ１２）、特徴量抽出部１３へ出力する。例えば、対象者には、各音楽を呈示している間（第１時間区間と第２時間区間において）は、ある１点を注視してもらうようにし、その時の眼球の動きを赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎（例えば、1000Hz）の眼球の位置の時系列を眼球の位置情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。
＜特徴量抽出部１３＞
特徴量抽出部１３は、第１時間区間と第２時間区間のそれぞれについての眼球の位置情報を受け取り、眼球の位置情報の時系列から、第１時間区間と第２時間区間のそれぞれについてのマイクロサッカードの特徴に対応する特徴量を抽出し（ｓ１３）、嗜好推定部１４に出力する。
特徴量抽出部１３は、第１時間区間と第２時間区間のそれぞれについての眼球の位置情報を受け取り、眼球の位置情報の時系列から、第１時間区間と第２時間区間のそれぞれについてのマイクロサッカードの特徴に対応する特徴量を抽出し（ｓ１３）、嗜好推定部１４に出力する。
例えば、眼球の位置情報の時系列について１次階差系列を計算し、階差系列の絶対値が所定の閾値を上回る時間区間をマイクロサッカードが起きている区間として検出する。取得された眼球の位置情報にノイズが多く含まれると判断される場合などには、１次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
特徴量は、音楽に対する印象を推定するための指標ともいえる。言い換えれば、眼球の位置情報の時系列のうち、眼球の位置が大きく変化する区間（マイクロサッカードが起きている区間）における眼球運動を表す特徴量である。特徴量は、具体的には、マイクロサッカードが起きているときの眼球位置の時系列を位置制御系のステップ応答としてモデル化したときの減衰率λ、もしくは、減衰係数ζ、または、マイクロサッカードの発生頻度Pの少なくともいずれか１つ以上を含む特徴量である。位置制御系のステップ応答は、固有角振動数をωｎとして、
と表される。ここでG(s)は伝達係数,y(t)は位置, y'(t)は速度を表し、
と表される。ただし、ｔは時刻を表すインデックスであり、ｓはラプラス変換によるパラメタ（複素数）である。固有角振動数ωｎはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の正確性に対応する指標に相当する。また、A, Vmax, Ao, Vo, Tpはそれぞれ以下を表す（図４参照）。
（１）基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
（２）最大速度Vmax:基準振幅A＋オーバーシュートの振幅Aoに達するまでの最大の速度である。
（３）オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（４）オーバーシュートの速度Vo:基準振幅A＋オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
（５）立ち上がり時間Tp:基準振幅A＋オーバーシュートの振幅Aoに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
（２）最大速度Vmax:基準振幅A＋オーバーシュートの振幅Aoに達するまでの最大の速度である。
（３）オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（４）オーバーシュートの速度Vo:基準振幅A＋オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
（５）立ち上がり時間Tp:基準振幅A＋オーバーシュートの振幅Aoに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
なお、減衰率λと減衰係数ζについては、第１時間区間内で複数回のマイクロサッカードが発生している場合には、各マイクロサッカードについて位置制御系のステップ応答としてモデル化することで求めた減衰率λもしくは減衰係数ζの、第１時間区間内全てについての代表値（例えば平均値）を、第１時間区間における特徴量とする。第２時間区間における特徴量も同様である。代表値としては、平均値のほかにも、最大値、最小値、時間区間内で最初のマイクロサッカードに対応する値などでもよい。
＜嗜好推定部１４＞
嗜好推定部１４は、特徴量抽出部１３が抽出した第１時間区間と第２時間区間のそれぞれについての特徴量の相違の度合いに基づいて、音呈示部で呈示した２つの異なる音楽のうちの少なくともいずれかについての印象を推定する（ｓ１４）。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部１４は、対象者が２つの異なる音楽のうちの一方の音楽を他方の音楽と比較して好んでいるか否かを推定する。あるいは、嗜好推定部１４は、対象者が２つの異なる音楽のうちのどちらの音楽をより好んでいるかを推定する。
嗜好推定部１４は、特徴量抽出部１３が抽出した第１時間区間と第２時間区間のそれぞれについての特徴量の相違の度合いに基づいて、音呈示部で呈示した２つの異なる音楽のうちの少なくともいずれかについての印象を推定する（ｓ１４）。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部１４は、対象者が２つの異なる音楽のうちの一方の音楽を他方の音楽と比較して好んでいるか否かを推定する。あるいは、嗜好推定部１４は、対象者が２つの異なる音楽のうちのどちらの音楽をより好んでいるかを推定する。
具体的には、特徴量が減衰率λや発生頻度Pである場合には、特徴量が大きいほうの時間区間に呈示した音楽の方が、他方の時間区間に呈示した音楽よりも印象が良い（好んでいる度合いが大きい）と推定する。
あるいは、特徴量が減衰係数ζである場合には、特徴量が小さいほうの時間区間に呈示した音楽の方が、他方の時間区間に呈示した音楽よりも印象が良い（好んでいる度合いが大きい）と推定する。
これは、減衰係数ζや減衰率λ、発生頻度Pと音楽に対する印象との間に、以下のような相関関係があることが、実験により明らかになったことに基づく。
(1)印象が良いとき（良くなるとき）には、減衰係数ζが減少する傾向がある。
(2)印象が良いとき（良くなるとき）には、減衰率λが増加する傾向がある。なお、減衰係数と減衰率は負の相関関係にある。
(3) 印象が良いとき（良くなるとき）には、マイクロサッカードの発生頻度Pが増加する傾向がある。
(1)印象が良いとき（良くなるとき）には、減衰係数ζが減少する傾向がある。
(2)印象が良いとき（良くなるとき）には、減衰率λが増加する傾向がある。なお、減衰係数と減衰率は負の相関関係にある。
(3) 印象が良いとき（良くなるとき）には、マイクロサッカードの発生頻度Pが増加する傾向がある。
なお、減衰係数ζ、減衰率λ、発生頻度Pのいずれか１つを単独で用いてもよいし、組み合わせて用いてもよい。例えば、何れか二つを満たせばよい、三つ全てを満たせばよい、等と設定してもよい。すなわち、減衰係数ζ、減衰率λ、発生頻度Pのいずれか１つ以上の特徴量の各々に基づき、音楽の印象を推定してもよい。
なお、減衰係数ζは、マイクロサッカードを位置制御系（二次遅れ系）のステップ応答としてみたときの、応答の正確性に対応する指標である。自分の好きな音楽を聴いているときは、音楽に意識が向けられることで、マイクロサッカードの制御に関わる脳の中枢あるいは外眼筋にも一時的な影響があらわれ、応答の正確性（減衰係数）の変化として観測できると考えられる。
以下に、図５を用いて実験の一例について説明する。図５Ａの波形で表される音楽を被験者に呈示する。被験者は音楽を聴きながら、０〜１０の１１段階のツマミを回し、音楽に対する「好き嫌いの度合い(rating)」を時々刻々評価する。図５Ｂは評価結果を示す。なお、ratingは、５を中立（好きでも嫌いでもない状態）とし、大きい値ほど（１０に近いほど）、その音楽が好きであることを表す。なお、曲の合間には、評価が０になるように設定した。このときの被験者のマイクロサッカードから上述の特徴量を測定した。「好き」と判断されている時間帯（この実験ではrating≧７となる時間帯とした）と「嫌い」と判断されている時間帯（この実験ではrating≦４となる時間帯とした）とにおけるマイクロサッカードの発生頻度及び減衰係数をそれぞれ図６Ａ及び図６Ｂに表す。発生頻度は、rating≧７またはrating≦４となる時間帯に発生したマイクロサッカードの回数をその時間（秒）で割ることで求めた。減衰係数は、rating≧７またはrating≦４となる時間帯に発生したマイクロサッカードの減衰係数の平均を用いた。なお、各値の中央の線分は各値の標準偏差を表す。
結果、「好き」と判断されている時間帯には、「嫌い」と判断されている時間帯よりもマイクロサッカードの発生頻度及び減衰率が増加し、減衰係数が減少する傾向にあることが確認された。すなわち、「好き」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率と、「嫌い」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率とをそれぞれ比較すると、「好き」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率のほうが、「嫌い」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率よりも大きい傾向にある。また、「好き」と判断されている時間帯におけるマイクロサッカードの減衰係数と、「嫌い」と判断されている時間帯におけるマイクロサッカードの減衰係数とを比較すると、「好き」と判断されている時間帯におけるマイクロサッカードの減衰係数のほうが、「嫌い」と判断されている時間帯におけるマイクロサッカードの減衰係数よりも小さい傾向にある。
上述の嗜好推定部１４の処理は、この知見に基づいて、第１時間区間と第２時間区間に呈示された音楽に対する印象を推定するものである。
＜効果＞
マイクロサッカードは、ドーパミン放出量と比較して、個人ごとのデータの評価にも適した指標である。また、マイクロサッカードは、取得した眼球位置の情報から高速に解析可能であるため、リアルタイムで測定結果を得ることができる。ゆえに、このような構成により、音楽に対する印象を個人毎にリアルタイムで推定することができる。本実施形態の印象推定装置を利用することで、オンラインで音楽に対する印象を推定することもできるようになる。また、マイクロサッカードはドーパミンの放出量の測定のような軽い被爆による侵襲性がなく、非侵襲で測定が可能であり、安価な装置で簡単に（対象者を拘束することなく）計測することができるので、低コストで音楽の好みを推定することができる。
マイクロサッカードは、ドーパミン放出量と比較して、個人ごとのデータの評価にも適した指標である。また、マイクロサッカードは、取得した眼球位置の情報から高速に解析可能であるため、リアルタイムで測定結果を得ることができる。ゆえに、このような構成により、音楽に対する印象を個人毎にリアルタイムで推定することができる。本実施形態の印象推定装置を利用することで、オンラインで音楽に対する印象を推定することもできるようになる。また、マイクロサッカードはドーパミンの放出量の測定のような軽い被爆による侵襲性がなく、非侵襲で測定が可能であり、安価な装置で簡単に（対象者を拘束することなく）計測することができるので、低コストで音楽の好みを推定することができる。
また、ドーパミンの放出量の測定に用いる装置(PET)は時間分解能が低いため粗い時間間隔での特徴量しか得ることができず、時々刻々と変動する音楽に対する印象を高精度に推定することができない。これに対し、マイクロサッカードは時間分解能が高い特徴量であるため、時々刻々と変動する音楽に対する印象を高精度に推定することができるという利点もある。
＜変形例１＞
印象推定装置１０は、音呈示部１１及び眼球運動取得部１２を含まなくともよい。すなわち、音呈示部１１及び眼球運動取得部１２の少なくとも１つを別装置として構成し、別装置から各時間区間ごとの音楽及び眼球の位置情報の少なくとも１つを受け取る構成とすればよい。
印象推定装置１０は、音呈示部１１及び眼球運動取得部１２を含まなくともよい。すなわち、音呈示部１１及び眼球運動取得部１２の少なくとも１つを別装置として構成し、別装置から各時間区間ごとの音楽及び眼球の位置情報の少なくとも１つを受け取る構成とすればよい。
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
第一実施形態の印象推定装置１０は、２つの異なる音楽のうちどちらの音楽をより好んでいるかを推定するという相対比較形式であった。第二実施形態の印象推定装置２０は、ある１つの音楽を用いて、その音楽に対する印象を推定するものである。第二実施形態の印象推定装置２０は、第一実施形態の特徴量抽出部１３と嗜好推定部１４の代わりに、特徴量抽出部２３と嗜好推定部２４を含み、さらに、モデル記憶部２５を含む（図２参照）。本実施形態では、モデル記憶部２５を参照することにより、対象者にとっての音楽の印象を推定する。なお、第二実施形態では１つの音楽（印象を推定する対象となる音楽）のみを呈示すればよいため、音呈示部１１と眼球運動取得部１２において第２時間区間を用いない点が第一実施形態とは異なる。
第一実施形態と異なる部分を中心に説明する。
第一実施形態の印象推定装置１０は、２つの異なる音楽のうちどちらの音楽をより好んでいるかを推定するという相対比較形式であった。第二実施形態の印象推定装置２０は、ある１つの音楽を用いて、その音楽に対する印象を推定するものである。第二実施形態の印象推定装置２０は、第一実施形態の特徴量抽出部１３と嗜好推定部１４の代わりに、特徴量抽出部２３と嗜好推定部２４を含み、さらに、モデル記憶部２５を含む（図２参照）。本実施形態では、モデル記憶部２５を参照することにより、対象者にとっての音楽の印象を推定する。なお、第二実施形態では１つの音楽（印象を推定する対象となる音楽）のみを呈示すればよいため、音呈示部１１と眼球運動取得部１２において第２時間区間を用いない点が第一実施形態とは異なる。
＜特徴量抽出部２３＞
特徴量抽出部２３は、眼球の位置情報を受け取り、眼球の位置情報の時系列から、マイクロサッカードの特徴に対応する特徴量を抽出し（ｓ２３）、嗜好推定部２４に出力する。
特徴量抽出部２３は、眼球の位置情報を受け取り、眼球の位置情報の時系列から、マイクロサッカードの特徴に対応する特徴量を抽出し（ｓ２３）、嗜好推定部２４に出力する。
このとき、第一実施形態と同様にマイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか１つ以上を含む特徴量を抽出する。なお、本実施形態では上述の値の少なくとも何れか１つ以上を要素として含むベクトル（以下、「特徴量ベクトル」ともいう）を特徴量として抽出する。あるいは、マイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか１つに加えて、以下の値を要素として含む特徴量ベクトルを特徴量として抽出しても良い（図４及び７参照）。
（１）基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量。
（２）最大速度Vmax:基準振幅A＋オーバーシュートの振幅Aoに達するまでの最大の速度。
（３）立ち上がり時間Tp:基準振幅A＋オーバーシュートの振幅Aoに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅Aoの値は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
（４）オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（５）オーバーシュートの速度Vo:基準振幅A＋オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
（６）マイクロサッカードの前後のドリフトの速度Vd：ドリフトとは、前述の通り、固視微動の一つであり、人がある一点を注視しているときの眼球の小さな滑らかな動きのことである（図７参照）。
（２）最大速度Vmax:基準振幅A＋オーバーシュートの振幅Aoに達するまでの最大の速度。
（３）立ち上がり時間Tp:基準振幅A＋オーバーシュートの振幅Aoに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅Aoの値は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
（４）オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（５）オーバーシュートの速度Vo:基準振幅A＋オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
（６）マイクロサッカードの前後のドリフトの速度Vd：ドリフトとは、前述の通り、固視微動の一つであり、人がある一点を注視しているときの眼球の小さな滑らかな動きのことである（図７参照）。
＜嗜好推定部２４＞
嗜好推定部２４は、特徴量を受け取り、その特徴量に基づいて、音楽に対する印象を推定する（ｓ２４）。本実施形態では、抽出された特徴量から嗜好推定モデルを用いて（参照することにより）、印象を推定し、出力する。言い換えれば、嗜好推定部２４は、特徴量抽出部２３で抽出した特徴量を、モデル記憶部２５に記憶された嗜好推定モデル（特徴量から印象を推定するためのモデル）にあてはめることにより、印象を推定する。
嗜好推定部２４は、特徴量を受け取り、その特徴量に基づいて、音楽に対する印象を推定する（ｓ２４）。本実施形態では、抽出された特徴量から嗜好推定モデルを用いて（参照することにより）、印象を推定し、出力する。言い換えれば、嗜好推定部２４は、特徴量抽出部２３で抽出した特徴量を、モデル記憶部２５に記憶された嗜好推定モデル（特徴量から印象を推定するためのモデル）にあてはめることにより、印象を推定する。
＜モデル記憶部２５＞
モデル記憶部２５は、特徴量を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め１人以上の人について取得した特徴量と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、特徴量と印象との相関性を記述したモデルである。
モデル記憶部２５は、特徴量を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め１人以上の人について取得した特徴量と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、特徴量と印象との相関性を記述したモデルである。
例えば、学習用に用意した音楽を対象者に呈示し（図６Ａ参照）ている間の対象者の眼球の位置の時系列情報を取得し、取得した眼球の位置の時系列情報から、特徴量を抽出する。ここで抽出する特徴量は、特徴量抽出部２３で抽出する特徴量と同じとする。また、その音楽に対する好き嫌いの度合い(rating)を対象者から取得し、抽出した特徴量と好き嫌いの度合いを組とするデータセットを用意する。
同様の特徴量抽出を複数の異なる音楽について行い、それぞれの音楽についての好き嫌いの度合い(rating)と抽出した特徴量を組とするデータセットを学習用データとして取得する。
この学習用データを入力データとし、機械学習法により、印象と特徴量との関係を学習する。
例えば、機械学習法としてサポートベクターマシン(Support vector machine、以下SVMともいう)等がある。この場合は、音楽に付与する好き嫌いの度合い(rating)を、好き（１）または嫌い（０）の２値として、特徴量ベクトルの次元に対応する空間において、好きな（印象が良い）ときの特徴量ベクトルに対応する点群と、嫌いな（印象が悪い）ときの特徴量ベクトルに対応する点群とを分離する超平面を求めることができる。これにより、得られる嗜好推定モデルに、好き嫌いが未知の特徴量（特徴量抽出部２３で得られた特徴量）を入力すると、その特徴量が「好き」に対応するか、「嫌い」に対応するかを推定することができる。
例えば、減衰係数（ζ），減衰率（λ），発生頻度（P）を単独で、または、それらの組合せを、要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。
また、減衰係数（ζ），減衰率（λ），発生頻度（P）、ドリフトの速度(Vd)、基準振幅(A)，オーバーシュートの振幅(Ao), 最大速度(Vmax)，オーバーシュートの速度(Vo)を要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。この特徴量ベクトルに、さらに、立ち上がり時間(Tp)を要素として加えても良い。
要素の数を増やすことで、推定の精度を高めることができる。
印象が好き／嫌い、の２値分類に限らず、複数クラス（好き嫌いの度合いに対応するクラス）に分類するようにSVMを構成することも可能である。あるいは、複数クラス（好き嫌いの度合いに対応するクラス）識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。
なお、学習用データを取得する対象である対象者は、実際に印象を推定する人と同一人物である必要はない。また、複数の人について得られた学習データを基に嗜好推定モデルを学習すると、より精度の高い推定を行うことができる。また、対象者毎に、印象に対応して表れる特徴量が異なる場合があるので、学習データを取得する対象者を印象の推定を行う人と同一人物として対象者毎に、嗜好推定モデルを作成すれば、個人の特性に合わせたより精度の高い推定を行うことができる。
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。
このような構成により、第一実施形態と同様の効果を得ることができる。
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
Claims (6)
- 第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を前記第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、前記第１時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、前記第２時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出ステップと、
前記第１特徴量と前記第２特徴量との相違の度合いに基づいて、前記第１の音楽と前記第２の音楽に対する印象を推定する嗜好推定ステップとを含み、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記嗜好推定ステップは、
前記特徴量に含まれる減衰率が大きい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象がよいと推定する、および／または、
前記特徴量に含まれる減衰率が小さい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象が悪いと推定する、
印象推定方法。 - 第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を前記第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、前記第１時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、前記第２時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出ステップと、
前記第１特徴量と前記第２特徴量との相違の度合いに基づいて、前記第１の音楽と前記第２の音楽に対する印象を推定する嗜好推定ステップとを含み、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記嗜好推定ステップは、
前記特徴量に含まれる減衰係数が小さい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象がよいと推定する、および／または、
前記特徴量に含まれる減衰係数が大きい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象が悪いと推定する、
印象推定方法。 - モデル記憶部には、ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量と音楽に対する印象との相関性を記述したモデルである嗜好推定モデルが記憶されているものとして、
印象推定対象の音楽が受聴可能なようにヒトに呈示されている時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出した特徴量を入力として、前記嗜好推定モデルを参照することにより、前記印象推定対象の音楽に対する印象を推定する嗜好推定ステップとを含み、
前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率または減衰係数を含む、
印象推定方法。 - 第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を前記第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、前記第１時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、前記第２時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出部と、
前記第１特徴量と前記第２特徴量との相違の度合いに基づいて、前記第１の音楽と前記第２の音楽に対する印象を推定する嗜好推定部とを含み、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記嗜好推定部は、
前記特徴量に含まれる減衰率が大きい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象がよいと推定する、および／または、
前記特徴量に含まれる減衰率が小さい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象が悪いと推定する、
印象推定装置。 - 第１時間区間を第１の音楽を受聴可能なようにヒトに呈示する時間区間とし、第２時間区間を前記第１の音楽と異なる第２の音楽を受聴可能なようにヒトに呈示する時間区間とし、前記第１時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第１特徴量と、前記第２時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第２特徴量と、を抽出する特徴量抽出部と、
前記第１特徴量と前記第２特徴量との相違の度合いに基づいて、前記第１の音楽と前記第２の音楽に対する印象を推定する嗜好推定部とを含み、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記嗜好推定部は、
前記特徴量に含まれる減衰係数が小さい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象がよいと推定する、および／または、
前記特徴量に含まれる減衰係数が大きい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象が悪いと推定する、
印象推定装置。 - 請求項１から３の何れかの印象推定方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014005529A JP5718494B1 (ja) | 2014-01-16 | 2014-01-16 | 印象推定装置、その方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014005529A JP5718494B1 (ja) | 2014-01-16 | 2014-01-16 | 印象推定装置、その方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5718494B1 true JP5718494B1 (ja) | 2015-05-13 |
| JP2015131069A JP2015131069A (ja) | 2015-07-23 |
Family
ID=53277425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014005529A Active JP5718494B1 (ja) | 2014-01-16 | 2014-01-16 | 印象推定装置、その方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5718494B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109996470A (zh) * | 2016-12-15 | 2019-07-09 | 亨利技术股份公司 | 基于人工智能及微细振动的婴幼儿舒适***及其控制方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6445418B2 (ja) * | 2015-11-11 | 2018-12-26 | 日本電信電話株式会社 | 印象推定装置、印象推定方法、およびプログラム |
| JP6479708B2 (ja) * | 2016-05-10 | 2019-03-06 | 日本電信電話株式会社 | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
| JP6713434B2 (ja) * | 2016-05-30 | 2020-06-24 | 日本電信電話株式会社 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
| JP7107725B2 (ja) * | 2018-04-10 | 2022-07-27 | 浜松ホトニクス株式会社 | 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005143684A (ja) * | 2003-11-13 | 2005-06-09 | Kao Corp | リラックス感評価用瞳孔対光反応計測具 |
| JP2009508553A (ja) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー／エス | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 |
-
2014
- 2014-01-16 JP JP2014005529A patent/JP5718494B1/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005143684A (ja) * | 2003-11-13 | 2005-06-09 | Kao Corp | リラックス感評価用瞳孔対光反応計測具 |
| JP2009508553A (ja) * | 2005-09-16 | 2009-03-05 | アイモーションズ−エモーション テクノロジー エー／エス | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6014046519; 伊賀富栄: '音楽と自律神経の反応について ： 音楽をトレーニングに活用するための一考察' 東海大学スポーツ医科学雑誌 ９, 19970320, ｐ．５０-５８, 東海大学スポーツ医科学スポーツ研究所 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109996470A (zh) * | 2016-12-15 | 2019-07-09 | 亨利技术股份公司 | 基于人工智能及微细振动的婴幼儿舒适***及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015131069A (ja) | 2015-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5718494B1 (ja) | 印象推定装置、その方法、及びプログラム | |
| RU2611260C2 (ru) | Способ и устройство предоставления рекомендаций мультимедиа-ресурсов | |
| JP7070605B2 (ja) | 注目範囲推定装置、その方法およびプログラム | |
| JP2015132783A (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
| JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
| JP6755839B2 (ja) | 運動パフォーマンス推定装置、その方法、およびプログラム | |
| Chambers et al. | Pose estimates from online videos show that side-by-side walkers synchronize movement under naturalistic conditions | |
| EP3834059A1 (en) | Controlling focal parameters of a head mounted display based on estimated user age | |
| WO2014101165A1 (en) | Method and system for determining concentration level of a viewer of displayed content | |
| JP6509712B2 (ja) | 印象推定装置およびプログラム | |
| US10296786B2 (en) | Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing | |
| JP5718495B1 (ja) | 印象推定装置、その方法、及びプログラム | |
| JP5718492B1 (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
| JP7214986B2 (ja) | 反射性判定装置、反射性判定方法、プログラム | |
| WO2021044249A1 (ja) | 情報処理装置 | |
| JP6377545B2 (ja) | 個人識別方法、個人識別装置、プログラム | |
| JP6445418B2 (ja) | 印象推定装置、印象推定方法、およびプログラム | |
| WO2018078596A1 (en) | Systems methods devices circuits and computer executable code for impression measurement and evaluation | |
| JP6318451B2 (ja) | 顕著度画像生成装置、方法、及びプログラム | |
| KR102452100B1 (ko) | 뇌파 및 눈 깜빡임 기반 학습 서비스 제공 방법, 장치 및 시스템 | |
| JP6377566B2 (ja) | 視線計測装置、視線計測方法、およびプログラム | |
| US20200174559A1 (en) | Real-time alteration of standard video and immersive video for virtual reality | |
| EP4080388A1 (en) | Multimodal, dynamic, privacy preserving age and attribute estimation and learning methods and systems | |
| Mendonça | Psychophysical models of sound localisation with audiovisual interactions | |
| JP2017202048A (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5718494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |