JP6104035B2 - イヤホン及び眼球運動推定装置 - Google Patents

イヤホン及び眼球運動推定装置 Download PDF

Info

Publication number
JP6104035B2
JP6104035B2 JP2013095506A JP2013095506A JP6104035B2 JP 6104035 B2 JP6104035 B2 JP 6104035B2 JP 2013095506 A JP2013095506 A JP 2013095506A JP 2013095506 A JP2013095506 A JP 2013095506A JP 6104035 B2 JP6104035 B2 JP 6104035B2
Authority
JP
Japan
Prior art keywords
earphone
ear
user
reference potential
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013095506A
Other languages
English (en)
Other versions
JP2014215963A (ja
Inventor
真鍋 宏幸
宏幸 真鍋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2013095506A priority Critical patent/JP6104035B2/ja
Publication of JP2014215963A publication Critical patent/JP2014215963A/ja
Application granted granted Critical
Publication of JP6104035B2 publication Critical patent/JP6104035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Prostheses (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Headphones And Earphones (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Transplantation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)

Description

本発明は、イヤホン、及び当該イヤホンを備えて構成される眼球運動推定装置に関する。
ユーザの視線を計測し、それを入力動作として認識する視線入力インタフェースは、特に障害者を対象として発展してきた。視線入力インタフェースはハンズフリー入力が可能であるため、日常的に利用可能となればユーザの利便性が向上する。様々な視線計測手法があるが、広く利用されているのは赤外線カメラを用いた方式である。既にこの方式の眼鏡型の視線計測装置が市販されている。眼鏡型の装置を装着することで高い精度で視線計測を行うことができるが、日常生活を送る上で大きな影響を持つ顔面を特殊な装置で覆うことは、特に日常的に通常の眼鏡を装着しないユーザにとって利用をためらう要因となってしまう。顔面を覆わないで視線計測を行う手法としてEOG(Electrooculogram)法が挙げられる。この方法によれば、ヘッドホンやイヤホン装着位置に電極を設置することで眼球の動きを検知し、眼球の動きにより音楽プレーヤを操作することができる(例えば、非特許文献1参照)。
真鍋宏幸,福本雅朗,"ヘッドホンを用いたEOG 法による視線入力インタフェース",情報処理学会論文誌,Vol. 52, No.4, pp. 1515-1526, 2011.
非特許文献1に示された研究では、ユーザ(装着者)の耳形状に合わせた電極を使用している。そのため、実際に利用しようとする際にはユーザ毎に電極をカスタマイズする必要がある。従って、費用がかかってしまうという問題があった。
本発明は、上記の問題点に鑑みてなされたものであり、視線入力インタフェースをより簡易な構成で実現することができるイヤホン及び眼球運動推定装置を提供することを目的とする。
上記の目的を達成するために、本発明に係るイヤホンは、ユーザに装着されるイヤホンであって、ユーザの左右の耳の外耳道それぞれに装着されると共に、銀又は塩化銀を含有する導電性ゴムで構成される2つの耳装着部と、ユーザに接触され基準電位を入力する基準電位用電極と、基準電位用電極によって入力された基準電位に対する、耳装着部それぞれから入力された電位を出力する2つの出力部と、を備える。なお、本明細書におけるイヤホンは、ヘッドホン、ステレオホン、ヘッドセット等を含むユーザの耳にスピーカを装着させて音を出力する装置全般を指す。
本発明に係るイヤホンでは、銀又は塩化銀を含有する導電性ゴムで構成される2つの耳装着部によって、ユーザの左右の両耳の外耳道から電位を検出することができ、基準電位に対する検出された電位を出力することができる。出力された電位は眼球運動に応じたものとなっており、これから視線入力インタフェースを実現することができる。また、本発明に係るイヤホンは、ユーザの外耳道に装着される耳装着部によって電位を検出しているので、ユーザの耳形状に合わせた電極を使用する必要がなく簡易な構成で実現することができる。即ち、本発明に係るイヤホンによれば、視線入力インタフェースをより簡易な構成で実現することができる。
耳装着部を構成する導電性ゴムは、当該導電性ゴムに含まれる導電性物質の10質量%以上の銀又は塩化銀を含有することとしてもよい。この構成によれば、確実に電位を検出することができ、その結果、本発明を確実かつ適切に実施することができる。
出力部は、耳装着部の近傍に設けられ、基準電位用電極によって入力された基準電位に対する、耳装着部それぞれから入力された電位を増幅して出力する増幅器を備えることとしてもよい。この構成によれば、耳装着部によって検出された電位に対するノイズの影響を受けにくくすることができ、その結果、本発明を確実かつ適切に実施することができる。
上記のイヤホンは、基準電位用電極として、イヤホンの本体に着脱可能に接続されると共にイヤホンをユーザの耳に固定させるイヤホン固定具を備える。また、基準電位用電極は、イヤホンの音声信号を伝達するケーブルを覆っている。この構成によれば、確実に基準電位を入力することができ、その結果、本発明を確実かつ適切に実施することができる。また、イヤホン固定具がイヤホンの本体に対して着脱可能な構成では、イヤホン固定具を容易に取り換えることができ利便性を高めることができる。
耳装着部は、イヤホンの本体に着脱可能に接続されると共に、導電性ゴムで形成された互いに電気的に独立した複数の電極が設けられており、耳装着部に設けられた複数の電極の少なくとも1つは、基準電位用電極であり、イヤホンの本体の耳装着部が接続される部分には、耳装着部に設けられた複数の電極の間隔より小さい幅の、当該複数の電極の数以上の当該複数の電極との接点が設けられている。この構成によれば、確実にユーザの耳の電位及び基準電位を入力することができる一方、着脱可能な構成としていることから、耳装着部を容易に取り換えることができ利便性を高めることができる。
また、本発明に係る眼球運動推定装置は、上記のイヤホンと、2つの出力部から出力された電位を入力して、それらの電位の差分を出力する差分出力手段と、差分出力手段から出力された電力の差分からユーザの眼球運動を推定する推定手段と、を備える。本発明に係る眼球運動推定装置では、視線入力インタフェースをより簡易な構成で実際に実現することができる。
眼球運動推定装置は、推定手段によって推定された眼球運動に応じたコマンドを出力するコマンド出力手段を更に備えることとしてもよい。この構成によれば、イヤホンに接続された音楽プレーヤ等の操作を行うことができる。
眼球運動推定装置は、音声信号を入力してイヤホンに出力すると共に、当該音声信号から自装置を動作させるための電力を取得する電力取得手段を更に備える。この構成によれば、装置を動作させるための電源を用意する必要がなくなる。
本発明では、出力された電位は眼球運動に応じたものとなっており、これから視線入力インタフェースを実現することができる。また、本発明は、ユーザの外耳道に装着される耳装着部によって電位を検出しているので、ユーザの耳形状に合わせた電極を使用する必要がなく簡易な構成で実現することができる。即ち、本発明によれば、視線入力インタフェースをより簡易な構成で実現することができる。
本発明の実施形態に係る入力装置の全体構成を示す図である。 側面から見たイヤホン本体とイヤーチップとイヤホン保持具とを示す図である。 イヤホン本体とイヤーチップとイヤホン保持具とのそれぞれを示す図である。 側面から見たイヤホン本体とイヤーチップとイヤホン保持具との別の例を示す図である。 EOGを出力するための回路図である。 複数の電極が配置されたイヤーチップを示す図である。 イヤホン本体とイヤーチップとの接点を示す図である。
以下、図面と共に本発明に係るイヤホン及び眼球運動推定装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1に本実施形態に係るイヤホン10を示す。イヤホン10は、ユーザの耳に装着され、音声信号(音楽信号)を入力して音声(音楽、音)を出力する装置である。イヤホン10は、音声信号を出力する装置と接続され、当該装置から音声信号を入力する。本実施形態では、音声信号を出力する装置を音楽プレーヤ30として説明する。イヤホン10と音楽プレーヤ30とは、従来のイヤホンと同様に有線又は無線により接続される。例えば、イヤホン10を、音楽プレーヤ30に設けられている一般的に用いられる4端子のイヤホンマイク端子に接続することとしてもよい。本実施形態に係るイヤホン10は、ユーザの眼球運動を推定して眼球運動に応じたコマンド出力を行う。これにより、ユーザが特定の眼球運動をすることによって音楽プレーヤ30の操作を行うことが可能になる。
図1に示すように、イヤホン10は、イヤホン本体11(イヤホン本体11a,11bの総称)と、イヤーチップ12(イヤーチップ12a,12bの総称)と、イヤホン保持具13(イヤホン保持具13a,13bの総称)と、出力部14(出力部14a,14bの総称)と、差分出力部15と、推定部16と、コマンド出力部17と、電力取得部18とを備えて構成される。
イヤホン本体11は、音声信号を入力して音声を出力するスピーカを備え、ユーザの耳の装着される部分である。イヤホン本体11は、筐体を備えており、スピーカは筐体内に配置されている。イヤホン10には、ユーザの左右の耳に装着可能なように2つのイヤホン本体11a,11bが設けられている。
イヤーチップ12は、ユーザの左右の耳の外耳道それぞれに装着される耳装着部である。イヤーチップ12a,12bは、2つのイヤホン本体11a,11bにそれぞれ一つずつ接続されている。イヤーチップ12は、通常、筒状の形状をしており、筒状の外周面とユーザの外耳道の内周面とが接続される。そして、筒状のイヤーチップ12の孔を通って、イヤホン本体11から出力された音声がユーザの耳(鼓膜)に届く。なお、後述するように、イヤーチップ12はイヤホン本体11と着脱可能に接続される構成となっていてもよい。
イヤーチップ12は、ユーザの眼球運動の推定に用いるユーザの耳(外耳道)の電位を入力(検出)する導出用電極でもある。そのため、イヤーチップ12は、銀(Ag)又は塩化銀(AgCl)を含有する導電性ゴムで構成されている。より詳細には後述するように、イヤーチップ12を構成する導電性ゴムは、当該導電性ゴムに含まれる導電性物質の10質量%以上の銀又は塩化銀を含有(配合)する。イヤーチップ12は、入力した電位を後述する出力部14に出力する。具体的には、例えば、イヤーチップ12に接続されるイヤホン本体11に、イヤーチップ12と電気的に接続するための接点が設けられており、イヤーチップ12に入力された電位はイヤホン本体11を介して出力部14に出力される。但し、イヤーチップ12に入力された電位は、イヤホン本体11を介さずに出力部14に出力されてもよい。
イヤホン保持具13は、イヤホン本体11をユーザの耳に固定させるイヤホン固定具である。イヤホン保持具13a,13bは、2つのイヤホン本体11a,11bにそれぞれ一つずつ接続されている。イヤホン保持具13は、イヤホン本体11に固定されており、ユーザの外耳に引っ掛けられることで、イヤホン本体11をユーザの耳に固定する。イヤホン保持具13は、ユーザの外耳に引っ掛けられるように、例えば湾曲した棒状の部材を含んでいる。なお、後述するように、イヤホン保持具13は、イヤホン本体11と着脱可能に接続される構成となっていてもよい。
イヤホン保持具13は、ユーザに接触され、ユーザの眼球運動を推定に用いるユーザのグラウンド電位(基準電位)を入力(検出)するグラウンド電極(基準電位用電極)でもある。そのため、イヤホン保持具13は、例えば、金属や導電性ゴム等の導電性の物質(導体)で構成されている。但し、イヤホン保持具13は、必ずしも、イヤーチップ12のように導電性ゴムで構成されていなくてもよい。また、導電性ゴムで構成される場合も、必ずしもイヤーチップ12と同様に銀又は塩化銀を含有していなくてもよい。イヤホン保持具13は、イヤホン保持具13が接触しているユーザの外耳の電位をグラウンド電位として入力する。イヤホン保持具13は、出力部14及び差分出力部15と電気的に接続されており、イヤホン保持具13に入力された電位は出力部14及び差分出力部15に出力される。なお、イヤホン保持具13に入力された電位は、イヤホン本体11を介して出力部14及び差分出力部15に出力されてもよいし、イヤホン本体11を介さずに出力部14に出力されてもよい。このようにイヤホン保持具13をグラウンド電極として用いるので、新たにグラウンド電極用の部材を設ける必要がなくコストを低減することができる。
イヤホン保持具13は、通常、ユーザの左右の耳用に設けられているが、グラウンド電極としては何れか一方のみが機能すればよい。即ち、ユーザの一方の耳から電位を入力すればよい。図1に示す例では、イヤホン保持具13aのみからグラウンド電位を入力することとしている。但し、ユーザの左右の耳から電位を入力してもよい。その場合、検出した電位がショート(短絡)されていてもよい。上記のようにイヤホン10は、2つの導出用電極と1つのグラウンド電極との少なくとも3つの電極を備えている。
図2に側面(紙面における左から右に向かう方向でユーザの耳に装着される)から見た、一方(左右の耳用の何れか)のイヤホン本体11と、イヤーチップ12と、イヤホン保持具13とを示す。図3(a)に側面から見た、一方のイヤホン本体11と、イヤーチップ12と、イヤホン保持具13とのそれぞれを示す。図3(b)に図3(a)における紙面右側から左側に向かって見たイヤーチップ12を示す。図3(c)に図3(a)における紙面右側から左側に向かって見たイヤホン保持具13を示す。図2及び図3に示すように、イヤホン本体11とイヤーチップ12及びイヤホン保持具13とは着脱可能に構成されている。このように着脱可能な構成とすることで、導電性ゴムの劣化等によりイヤーチップ12あるいはイヤホン保持具13の交換が必要になった場合でも簡便に交換することができる。
イヤホン本体11では、スピーカ等を収納する部分であるスピーカ収納部111と、イヤホン保持具13と接続される部分であるイヤホン保持具接続部113とが一体となって形成されている。イヤホン本体11のイヤホン保持具接続部113は、円柱状の形状である。イヤホン保持具接続部113は、一方の端面においてスピーカ収納部111と接続されている。また、イヤホン本体11では、イヤホン保持具接続部113と、イヤーチップ12と接続される部分であるイヤーチップ接続部112とが、一体となって形成されている。イヤーチップ接続部112は、外径がイヤホン保持具接続部113の外径よりも小さい円柱状の形状である。イヤーチップ接続部112は、一方の端面において、イヤホン保持具接続部113のスピーカ収納部111と接続された側とは反対側の端面と接続されている。ユーザがイヤホン10を装着しやすいようにイヤーチップ接続部112の軸方向とイヤホン保持具接続部113の軸方向とは角度が付けられている。
イヤーチップ接続部112及びイヤホン保持具接続部113の内部には、スピーカ収納部111内部で発生された音声の通路となる空間が設けられている。イヤーチップ接続部112のイヤホン保持具接続部113と接続された側とは反対側の端面には開口が設けられており、当該開口から音声が出力される。
イヤーチップ12は、例えば、以下のような一般的なカナル型イヤホンのイヤーチップの類似形状となっている。即ち、イヤーチップ12は、イヤホン本体11に接続されるイヤホン本体接続部121と、ユーザの耳の外耳道に接触する耳接触部122とが一体に形成された構成となっている。イヤホン本体接続部121は、円筒状の形状であり、イヤホン本体11のイヤーチップ接続部112に嵌るようにその内径がイヤーチップ接続部112の外径と同程度の大きさとなっている。また、イヤホン本体接続部121の軸方向の長さは、イヤーチップ接続部112の軸方向の長さよりもやや短くなっている。耳接触部122は、イヤホン本体接続部121の外径よりも大きい外径を有する円形状の端面でイヤホン本体接続部121と接続されている。耳接触部122は、イヤホン本体接続部121から離れるにつれて(ユーザの耳に装着されたときにユーザの耳の奥に向かうにつれて)外径が小さくなっている。耳接触部122には、イヤーチップ接続部112の内周と繋がり、イヤーチップ接続部112と接続されていない側の端面に抜ける孔が設けられている。その孔を通って、音声がユーザに伝達される。
イヤホン保持具接続部113は、イヤホン本体11に接続されるイヤホン本体接続部131と、ユーザの外耳に引っ掛けられる部分である耳掛部132とが一体に形成された構成となっている。イヤホン本体接続部131は、円筒状の形状であり、イヤホン本体11のイヤホン保持具接続部113に嵌るようにその内径がイヤホン保持具接続部113の外径と同程度の大きさとなっている。また、イヤホン本体接続部131の軸方向の長さは、イヤホン保持具接続部113の軸方向の長さと同程度となっている。耳掛部132は、円筒状のイヤホン本体接続部131の側面に接続されている湾曲した棒状の部材である。耳掛部132は、ユーザの耳介の窪みに嵌るようにデザインされており、装着したイヤホン10が外れたり動いたりするのを防止する。なお、このような形状のイヤホン保持具は、一部のスポーツ用のイヤホンで利用されている。また、本実施形態におけるイヤホン保持具13は、従来のイヤホン保持具とは異なり導電性物質で構成されている。
イヤホン本体11のイヤーチップ接続部112のイヤーチップ12と接続される部分(円柱形状の側面)には、電気的な接点114が設けられている。この接点は、イヤーチップ12に入力された電位を出力部14に出力するためのものである。イヤホン本体11のイヤホン保持具接続部113のイヤホン保持具13と接続される部分(円柱形状の側面)には、電気的な接点115が設けられている。この接点は、イヤホン保持具13に入力されたグラウンド電位を出力部14及び差分出力部15に出力するためのものである。
図4にイヤホン本体及びイヤホン保持具の別の実施形態を示す。なお、下記に説明する以外の点は、当該別の実施形態に係るイヤホン本体51及びイヤホン保持具53は、上記のイヤホン本体11及びイヤホン保持具13と同様である。本実施形態では、イヤホン本体51は概ね上記のイヤホン本体11と同様であるが、イヤホン保持具接続部513の側面において、イヤホン本体51内部に音声信号を入力(伝達)するケーブル19と接続されている。イヤホン保持具53は、当該ケーブル19の外周を覆うように形成されている。即ち、イヤホン保持具53は、管状の部材であり、その管の内部にケーブル19が設けられている。
また、イヤホン保持具53は、イヤホン10が装着された際に外耳に巻き付くようにデザインされている。このようなデザインは、一部のスポーツ用イヤホンで採用されている。イヤホン10がユーザに装着されると、伝導性の物質であるイヤホン保持具53は、一部のスポーツ用イヤホンで期待されているようにイヤホン10が外耳から外れるのを防ぐと共にユーザの皮膚に接触して電極としても機能する。なお、ケーブル19は絶縁体の被膜で覆われており、ケーブル19とイヤホン保持具53とは導通していない。上記の通り、図4のイヤホン保持具53は、図2及び図3に示すイヤホン保持具13と同様の機能を有している。
引き続いて、図1に戻って説明を続ける。出力部14は、イヤホン保持具13からグラウンド電位をイヤーチップ12からのそれぞれ電位を入力する。出力部14は、グラウンド電位に対するイヤーチップ12から入力された電位を出力する。出力部14a,14bは、イヤーチップ12a,12bそれぞれ毎に設けられている。それぞれの出力部14a,14bは、電位を差分出力部15に出力する。差分出力部15は、2つの出力部14a,14bから出力された電位を入力して、それらの電位の差分を出力する差分出力手段である。この電位の差分は、ユーザの眼球運動を推定するために用いられるEOG(眼電図)である。
図5に出力部14a,14b及び差分出力部15を実現するための簡略化した回路、即ち、EOGを出力(計測)するための簡略化した回路を示す。イヤホン10には、上述したようにイヤーチップ12a,12b及びイヤホン保持具13の少なくとも3つの電極がある。図5に示すように、出力部14a,14bは、具体的には、イヤホン保持具13からのグラウンド電位及びイヤーチップ12a,12bからの電位を入力して、グラウンド電位に対するイヤーチップ12a,12bから入力された電位を増幅して出力するプリアンプ(増幅器)である。プリアンプである出力部14a,14bは、電極であるイヤーチップ12a,12bの近傍に設けられる。例えば、出力部14a,14bは、それぞれのイヤホン本体11a,11bの内部に設けられることとしてもよい。このように出力部14a,14bを電極であるイヤーチップ12a,12bの近傍に設けることでノイズの影響を受けにくくすることができる。
また、それぞれの出力部14a,14bから出力される電位は、差分増幅器である差分出力部15に入力される。また、差分出力部15は、イヤホン保持具13からのグラウンド電位を入力して、グラウンド電極に対する差分を増幅して(差動増幅して)EOGとして出力する。差分出力部15から出力されるEOGとしての電位は推定部16に入力される。また、上記の回路には、コモンモードノイズの低減を目的として、DRL(Driven right leg circuit)を適用してもよい。上記のようにEOGは、左右の導出用電極であるイヤーチップ12a,12bによる電位を入力として、DC結合による差動増幅によって計測される。
導電性ゴムは、絶縁物であるゴムに導体のフィラーを混ぜて作られる。フィラーとしては、カーボンブラックやカーボンナノチューブ等がよく用いられるが、導電性を高めるため銀が用いられることもある。一般に、生体電極は電極電位が小さく、かつ安定であることが望まれる。EOGのように、生体信号をDC結合で増幅する場合には、電極電位の安定性は極めて重要である。炭素をフィラーとして用いた場合には、電極電位は安定しているとはいえず、正確なEOGを計測することはできない。銀をフィラーに用いた場合には、電極電位は安定するが、ゴムの硬度が高くなってしまい、イヤホンのイヤーチップに適用するのが難しい。生体信号計測用電極では、電極の導電率が高いことよりも、電極電位が安定している方が望ましい。そのため、導電率を高めるためではなく、電極電位を安定させるために、導電性ゴムに銀又は塩化銀を導電性ゴムに含有させる。望ましくは、銀又は塩化銀を導電性ゴムに含まれる導電性物質の10質量%以上含有させる。フィラーの全てを銀又は塩化銀にする必要はなく、フィラーの一部が銀又は塩化銀であれば十分である。銀又は塩化銀の含有率を減らせるため、ゴムの硬度を下げることができ、イヤーチップに好適硬度の導電性ゴムを作成することができる。
推定部16は、差分出力部15から入力されたEOGである電力の差分からユーザの眼球運動を推定する推定手段である。具体的には、推定部16は、ユーザの眼球運動としてユーザの視線の動きを推定する。EOGを用いた視線の動きの推定は、既に知られた方法で行うことができる。推定部16は、視線の動きの推定に用いる情報を予め記憶しておく。推定部16は、推定した視線の動きを示す情報をコマンド出力部17に出力する。
コマンド出力部17は、推定部16によって推定された眼球運動に応じたコマンドを出力するコマンド出力手段である。具体的には、コマンド出力部17は、推定部16から入力された、推定した視線の動きを示す情報から一連の視線の動き(視線ジェスチャ)を特定する。コマンド出力部17は、予め視線ジェスチャと対応するコマンドを記憶しておき、特定された視線ジェスチャに対応するコマンドを出力する。視線ジェスチャの認識は、既に知られた方法で行うことができる。コマンド出力部17によって出力されるコマンドは、例えば、音楽プレーヤ30を操作するためのコマンドである。コマンド出力部17は、コマンドを音楽プレーヤ30に出力する。音楽プレーヤ30へのコマンドの入力は、例えば音楽プレーヤ30のマイク入力を用いて行われる。
推定部16及びコマンド出力部17は、例えば、イヤホン内に設けられるCPU(Central Processing Unit)及びメモリ等を備える計算機(コンピュータ)によって実現される。
電力取得部18は、音楽プレーヤ30から音声信号を入力してイヤホン本体11に出力すると共に、当該音声信号から推定部16及びコマンド出力部17を実現する計算機を動作させるための電力を取得する電力取得手段である。具体的には、電力取得部18は、音声信号を整流及び平滑化して電力を得る装置である。この場合は、音楽プレーヤ30から高周波信号を重畳した音声信号を送出することとするのがよい。また、電力取得部18は、ローパスフィルタを備えており、ローパスフィルタを通した音声信号をイヤホン本体11(スピーカ)に出力する。このため、ユーザは他のイヤホンと同様に音声を聞くことができる。また、電力取得部18は、得られた電力を計算機に供給するのに加えて、あるいはそれに代えて上記の増幅器を動作させるために用いてもよい。
引き続いて、図6及び図7を用いてイヤーチップの変形例について説明する。図6に示すイヤーチップ72は、上述したイヤーチップ同様にイヤホン本体に着脱可能に構成されている。なお、図6(a)は、イヤーチップ72を側面(紙面における下から上に向かう方向でユーザの耳に装着される)から見た図であり、図6(b)は、イヤーチップ72を図6(a)における紙面上側から下側に向かって見た図である。また、イヤーチップ72は、互いに電気的に独立した複数の電極723,724が設けられている。イヤーチップ72における電極723,724は導電性ゴムであり、それ以外の部分は非導電性(絶縁体)ゴムである。電極723,724の一方は上述した実施形態の導出用電極(イヤーチップ12に相当)として用いられ、もう一方は上述した実施形態のグラウンド電極(イヤホン保持具13に相当)として用いられる。一つのイヤーチップ72に複数の電極を配置することによって、グラウンド電極として利用していたイヤホン保持具がなくても、EOG計測が行えるようになる。また、非特許文献1に示されているように、ドリフトの影響を小さくするために多数の電極を用いてもよい。
一つのイヤーチップ72に複数の電極723,724が設置されている場合、イヤホン本体にも、それぞれの電極723,724で検出された電位を入力するための複数の接点が必要となる。また、それぞれの電極723,724が、イヤホン本体に設置されている複数の接点とそれぞれ適切に接触する必要がある。その方法の一つは、イヤーチップ72が決められた位置に常に固定されるようにすることであり、例えば、イヤホン本体とイヤーチップ72との接合部に凹部や凸部を設ければ可能である。この場合には、イヤーチップ72に配置されている電極の数と、イヤホン本体に設置されている接点の数とは同数で十分である。
イヤーチップ72がイヤホン本体に装着されている状況で、イヤーチップ72が自由に回転できるような場合には、イヤホン本体のイヤーチップ72に接続される部分であるイヤーチップ接続部に設けられる接点をイヤーチップ72の電極よりも多く配置することで対応可能となる。図7にイヤーチップ72に設置される電極の数が2(図6に示すものと同様)、イヤホン本体71のイヤーチップ接続部712に設置される電極の数が3の場合の例を示す。
図7(a)は、イヤホン本体71のイヤーチップ接続部712を軸方向から見た図であり、図7(b)はイヤーチップ72のイヤホン本体接続部721を軸方向から見た図である。イヤーチップ72の筒状のイヤホン本体接続部721の内側に、イヤホン本体71のイヤーチップ接続部712が挿入されることでイヤーチップ72とイヤホン本体71とが接続される。イヤホン本体71のイヤーチップ接続部712の外周面には、3つの接点716,717,718が等間隔に設けられている。
イヤーチップ72の筒状のイヤホン本体接続部721の内側には、2つの接点725,726が設けられている。2つの接点725,726は、それぞれイヤーチップ72に設けられている電極723,724の一部分である。ここで、イヤホン本体71のイヤーチップ接続部712に設けられる3つの接点716,717,718の幅(周方向の長さ)は、イヤーチップ72のイヤホン本体接続部721の内側の絶縁部分(接点725,726が設定されている円周上で接点725,726がない部分)の幅よりも小さくデザインされている。この場合、イヤーチップ72がどのように回転しても、3つの接点716,717,718の何れかが接点725と接点726とをショートしてしまうことはない。
そして必ず、3つの接点716,717,718のうち1つは、接点725と接触し、それ以外の1つは接点726と接触する。残りの1つは、接点725と接触するか、接点726と接触するか、接点725,726とも接触しないかの何れかとなる。このとき、接点716と接点717との間、接点717と接点718との間、接点718と接点716との間のそれぞれのインピーダンスを計測することで、3つの接点716,717,718のうち、どの2つを用いればよいかわかる。
インピーダンスが極めて低い場合には、その2つの接点は同一の電極に接続されていることがわかる。例えば、接点716と接点717とが共に接点725に接触している場合には、接点716と接点717との間のインピーダンスは極めて低くなる。インピーダンスがそれよりも高く、かつある値(例えば数百kΩ)よりも低い場合には、その2つの接点は異なる電極に接続されていることがわかる(上記の値の範囲は予め設定しておく)。これは、イヤーチップ72の電極を介してユーザの耳のインピーダンスを計測していることになるためである。その後の計測では、その後の接点ペアを用いればよい。またインピーダンスが極めて大きい場合には、何れかの接点がイヤーチップ72のイヤホン本体接続部721の絶縁部分に接触していることがわかる。
本実施形態に係るイヤホン10では、銀又は塩化銀を含有する導電性ゴムで構成される2つのイヤーチップ12(72)によって、ユーザの左右の両耳の外耳道から電位を検出することができ、基準電位に対する検出された電位を出力することができる。出力された電位は眼球運動に応じたものとなっており、これから上述したように視線入力インタフェースを実現することができる。即ち、ユーザは視線を動かすだけでコマンド等の入力を行うことができるようになる。また、本実施形態に係るイヤホン10は、ユーザの外耳道に装着されるイヤーチップ12によって電位を検出しているので、ユーザの耳形状に合わせた電極を使用する必要がなく簡易な構成で実現することができる。具体的には、ユーザ毎に電極をカスタマイズするのではなく、たかだか数種類の電極(イヤーチップ)の中からユーザによく適合する電極を選ぶことで視線入力インタフェースを実現することができる。即ち、本実施形態に係るイヤホン10によれば、視線入力インタフェースをより簡易な構成で実現することができる。これにより、視線入力インタフェースを安価に提供することが可能になる。
また、図5に示すような、本実施形態のように増幅器を含む回路を用いることとすれば、確実にEOGを検出することができ、その結果、本発明を確実かつ適切に実施することができる。
なお、導電性ゴムを生体信号計測用の電極を用いた例は既にある。例えば、EEGの計測を行ったGargiulo, G. and Bifulco, P. and Calvo, R.A. and Cesarelli, M. andJin, C. and van Schaik, A., "A mobile EEG system with dryelectrodes", Proc. IEEE Biomedical Circuits and Systems Conference (BioCAS)2008, pp.273-276, 2008.(非特許文献2)や、ECGを計測したChang Yong Ryuand Seung Hoon Nam and Seunghwan Kim, "Conductive rubber electrode for wearablehealth monitoring", Proc. Annual International Conference of the IEEEEngineering in Medicine and Biology Society (EMBS) 2005, pp. 3479-3481, 2005. (非特許文献3)、更にはEOGを計測したTrikha, M. and Bhandari, A. and Gandhi, T., "AutomaticElectrooculogram Classication for Micro-controller Based InterfaceDesign", Proc. Systems and Information Engineering Design Symposium (SIEDS)2007, pp. 1-6, 2007.(非特許文献4)等である。上記の研究を含む、従来の導電性ゴムを用いた生体信号計測は、AC結合を用いた計測であった。AC結合でもEOGを計測することはできるが、一般にAC結合を用いた場合には眼球の動きを推定するのは困難となる。
更に耳の位置から計測されるEOGは、通常の電極設置位置である眼球近傍に比べて減衰しているため、AC結合で計測したEOGから眼球の動きを推定するのは極めて難しい。これに対して、本実施形態では耳の位置からDC結合によるEOG計測を行うために導電性ゴムを用いる。DC結合により生体信号を計測した場合、用いる電極の電極電位の安定性が非常に重要となる。通常の導電性ゴムは、炭素によって導電性が発揮されており、電極電位は安定でないという課題がある。上記課題を解決するために電極表面に銀又は塩化銀を含有する塗膜層を構成する方法(特開平9−168518号公報(特許文献1))があるが、イヤーチップに適用した場合には繰り返しの使用により、塗膜層が剥がれてしまうという課題がある。本実施形態では、銀又は塩化銀を含有する伝導性ゴムを用いることで上記課題を解決する。
また、イヤーチップに電極を設置した例も既に存在する(Sano, Akane and Tomita, Takashi and Oba, Haruo, "Applicationsusing Earphone with Biosignal Sensors", ヒューマンインタフェース学会研究報告集, Vol. 12, No. 6, pp. 1-6, 2010.(非特許文献5))。これは、通常のイヤーチップに導電性の金属薄膜を張り付けた構造となっており、耐久性やコストの点で課題がある。イヤーチップがタッチセンサとなっているイヤホンも存在する。タッチセンサとして利用するのであれば、電極電位の安定性は問題とならないため本発明とは異なる。
また、本実施形態のようにイヤーチップあるいはイヤホン保持具をイヤホン本体に対して着脱可能に接続される構成としてもよい。これにより、これらの部材を容易に取り換えることができ利便性を高めることができる。但し、イヤーチップあるいはイヤホン保持具は、必ずしも着脱可能な構成である必要はなく、イヤホン本体に固定的に接続されていてもよい。
また、本実施形態では、グラウンド電位はユーザの耳から入力していたが、必ずしもユーザの耳から入力する必要はなく、ユーザの皮膚であればどこから入力することとしてもよい。従って、グラウンド電極は、必ずしも本実施形態のようにイヤホン保持具13やイヤーチップの一部である必要はなく、ユーザに接触する任意の部材とすることができる。
また、本実施形態では、イヤホン10においてユーザの眼球運動を推定するように構成していたが、必ずしもイヤホン10においてユーザの眼球運動を推定する必要はない。例えば、差分出力部15と、推定部16と、コマンド出力部17と、電力取得部18とについては必ずしもイヤホン10に含まれている必要はない。これらは、イヤホン10が接続されるイヤホン10とは別体の装置が備えており、イヤホン10において出力部14及びグラウンド電極であるイヤホン保持具13から出力される電位を入力して、それらからユーザの眼球運動を推定することとしてもよい。この場合、イヤホンは、イヤホン本体11とイヤーチップ12とイヤホン保持具13と出力部14とを備えており、当該イヤホン、及び差分出力部15と推定部16とコマンド出力部17と電力取得部18とを含む装置で眼球運動推定装置を構成する。また、イヤホン本体11とイヤーチップ12とイヤホン保持具13と出力部14とに加えて、差分出力部15がイヤホンに備えられていてもよい。その場合、イヤホンからはEOGが出力される。そのEOGを用いて、眼球運動(視線の動き)の推定、視線ジェスチャの認識等は別の装置で行われてもよい。
なお、本実施形態に係るイヤホン10は、音楽プレーヤ30へのコマンド入力以外で用いられてもよい。即ち、本実施形態に係るイヤホン10は、ユーザの眼球の動きを検出して、それを入力として認識する常時装用可能なハンズフリー入力装置である。ユーザは、視線を動かすだけで様々な装置を制御できるようになる。
また、本実施形態のように電力取得部18を設けることとすれば、装置を動作させるための電源を用意する必要がなくなる。また、電源を設ける必要がないため装置を小型化することができ、更に電池交換の手間がなくなる等の利点がある。但し、必ずしも電力取得部18を設ける必要はなく、イヤホン内部に設置された電池等の電源から装置を動作させるための電力を供給してもよい。また、一般に広く用いられているヘッドホン端子に接続することができるようになるため、利便性が向上する。
10…イヤホン、11(11a,11b),51,71…イヤホン本体、111…スピーカ収納部、112,712…イヤーチップ接続部、113,513…イヤホン保持具接続部、114,115,716,717,718…接点、12(12a,12b),72…イヤーチップ、121,721…イヤホン本体接続部、122…耳接触部、723,724…電極、725,726…接点、13(13a,13b),53…イヤホン保持具、131…イヤホン本体接続部、132…耳掛部、14(14a,14b)…出力部、15…差分出力部、16…推定部、17…コマンド出力部、18…電力取得部、19…ケーブル、30…音楽プレーヤ。

Claims (8)

  1. ユーザに装着されるイヤホンであって、
    前記ユーザの左右の耳の外耳道それぞれに装着されると共に、銀又は塩化銀を含有する導電性ゴムで構成される2つの耳装着部と、
    前記ユーザに接触され基準電位を入力する基準電位用電極と、
    前記基準電位用電極によって入力された基準電位に対する、前記耳装着部それぞれから入力された電位を出力する2つの出力部と、
    を備え
    前記基準電位用電極として、前記イヤホンの本体に着脱可能に接続されると共に前記イヤホンを前記ユーザの耳に固定させるイヤホン固定具を備えるイヤホン。
  2. ユーザに装着されるイヤホンであって、
    前記ユーザの左右の耳の外耳道それぞれに装着されると共に、銀又は塩化銀を含有する導電性ゴムで構成される2つの耳装着部と、
    前記ユーザに接触され基準電位を入力する基準電位用電極と、
    前記基準電位用電極によって入力された基準電位に対する、前記耳装着部それぞれから入力された電位を出力する2つの出力部と、
    を備え、
    前記基準電位用電極は、前記イヤホンの音声信号を伝達するケーブルを覆っているイヤホン。
  3. ユーザに装着されるイヤホンであって、
    前記ユーザの左右の耳の外耳道それぞれに装着されると共に、銀又は塩化銀を含有する導電性ゴムで構成される2つの耳装着部と、
    前記ユーザに接触され基準電位を入力する基準電位用電極と、
    前記基準電位用電極によって入力された基準電位に対する、前記耳装着部それぞれから入力された電位を出力する2つの出力部と、
    を備え、
    前記耳装着部は、前記イヤホンの本体に着脱可能に接続されると共に、導電性ゴムで形成された互いに電気的に独立した複数の電極が設けられており、
    前記耳装着部に設けられた複数の電極の少なくとも1つは、基準電位用電極であり、
    前記イヤホンの本体の前記耳装着部が接続される部分には、前記耳装着部に設けられた複数の電極の間隔より小さい幅の、当該複数の電極の数以上の当該複数の電極との接点が設けられているイヤホン。
  4. 前記耳装着部を構成する導電性ゴムは、当該導電性ゴムに含まれる導電性物質の10質量%以上の銀又は塩化銀を含有する請求項1〜3の何れか一項に記載のイヤホン。
  5. 前記出力部は、前記耳装着部の近傍に設けられ、前記基準電位用電極によって入力された基準電位に対する、前記耳装着部それぞれから入力された電位を増幅して出力する増幅器を備える請求項1〜4の何れか一項に記載のイヤホン。
  6. 請求項1〜の何れか一項に記載のイヤホンと、
    前記2つの出力部から出力された電位を入力して、それらの電位の差分を出力する差分出力手段と、
    前記差分出力手段から出力された電力の差分から前記ユーザの眼球運動を推定する推定手段と、
    を備える眼球運動推定装置。
  7. ユーザに装着されるイヤホンであって、前記ユーザの左右の耳の外耳道それぞれに装着されると共に、銀又は塩化銀を含有する導電性ゴムで構成される2つの耳装着部と、前記ユーザに接触され基準電位を入力する基準電位用電極と、前記基準電位用電極によって入力された基準電位に対する、前記耳装着部それぞれから入力された電位を出力する2つの出力部と、を備えるイヤホンと、
    前記2つの出力部から出力された電位を入力して、それらの電位の差分を出力する差分出力手段と、
    前記差分出力手段から出力された電力の差分から前記ユーザの眼球運動を推定する推定手段と、
    音声信号を入力してイヤホンに出力すると共に、当該音声信号から自装置を動作させるための電力を取得する電力取得手段と、
    を備える眼球運動推定装置。
  8. 前記推定手段によって推定された眼球運動に応じたコマンドを出力するコマンド出力手段を更に備える請求項6又は7に記載の眼球運動推定装置。
JP2013095506A 2013-04-30 2013-04-30 イヤホン及び眼球運動推定装置 Active JP6104035B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013095506A JP6104035B2 (ja) 2013-04-30 2013-04-30 イヤホン及び眼球運動推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013095506A JP6104035B2 (ja) 2013-04-30 2013-04-30 イヤホン及び眼球運動推定装置

Publications (2)

Publication Number Publication Date
JP2014215963A JP2014215963A (ja) 2014-11-17
JP6104035B2 true JP6104035B2 (ja) 2017-03-29

Family

ID=51941624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013095506A Active JP6104035B2 (ja) 2013-04-30 2013-04-30 イヤホン及び眼球運動推定装置

Country Status (1)

Country Link
JP (1) JP6104035B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130035579A1 (en) 2011-08-02 2013-02-07 Tan Le Methods for modeling neurological development and diagnosing a neurological impairment of a patient
US10194865B2 (en) 2013-07-30 2019-02-05 Emotiv, Inc. Wearable system for detecting and measuring biosignals
US10108264B2 (en) 2015-03-02 2018-10-23 Emotiv, Inc. System and method for embedded cognitive state metric system
US10291977B2 (en) 2015-08-05 2019-05-14 Emotiv Inc. Method and system for collecting and processing bioelectrical and audio signals
JP6746997B2 (ja) * 2016-03-23 2020-08-26 富士通株式会社 眼電位測定装置及び電子装置
US10918325B2 (en) * 2017-03-23 2021-02-16 Fuji Xerox Co., Ltd. Brain wave measuring device and brain wave measuring system
WO2018230445A1 (ja) * 2017-06-16 2018-12-20 Nok株式会社 生体電極
JP2019054385A (ja) * 2017-09-14 2019-04-04 カシオ計算機株式会社 集音機器、補聴器、及び集音機器セット
KR102324332B1 (ko) * 2019-06-26 2021-11-11 주식회사 옴니씨앤에스 생체신호 측정 장치 및 그 시스템
JP7484238B2 (ja) 2020-03-09 2024-05-16 カシオ計算機株式会社 イヤーピース、及び耳装着機器
WO2022097722A1 (ja) * 2020-11-06 2022-05-12 Vie Style株式会社 イヤーチップ、イヤーチップの部品、及びイヤホン
JP7409613B2 (ja) * 2021-01-29 2024-01-09 株式会社プロアシスト 頭部電気信号検出用電極装置
US20240138738A1 (en) * 2021-03-11 2024-05-02 Sony Group Corporation Biopotential electrode body and biopotential sensor
WO2022248628A1 (en) * 2021-05-26 2022-12-01 Hearable Labs Ug (Haftungsbeschränkt) A detachable sensing ear tip for an ear-worn device, the ear-worn device and a base unit
EP4187917A1 (en) * 2021-11-26 2023-05-31 Hearable Labs UG (haftungsbeschränkt) A detachable sensing ear tip for an ear-worn device, the ear-worn device and a base unit
WO2023157237A1 (ja) * 2022-02-18 2023-08-24 株式会社EarBrain 情報処理システム、情報処理システムの制御方法、及び測定装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2515940B2 (ja) * 1991-11-15 1996-07-10 日本光電工業株式会社 生体用電極
JP4401923B2 (ja) * 2004-10-06 2010-01-20 日本電信電話株式会社 血圧計測装置
JP2007021106A (ja) * 2005-07-21 2007-02-01 Matsushita Electric Works Ltd 生体情報計測装置
JP2008067911A (ja) * 2006-09-14 2008-03-27 Mitsuhiro Yokoyama 外耳道電極ユニットおよび生体情報計測装置
JP2008188121A (ja) * 2007-02-01 2008-08-21 Nippon Telegr & Teleph Corp <Ntt> 電気刺激装置、刺激電流制御方法
JP2009065239A (ja) * 2007-09-04 2009-03-26 Yamaha Corp ワイヤレスヘッドフォン装置
JP5350673B2 (ja) * 2008-05-07 2013-11-27 タイガースポリマー株式会社 導電性ゴム組成物
US20100217100A1 (en) * 2009-02-25 2010-08-26 Leboeuf Steven Francis Methods and Apparatus for Measuring Physiological Conditions
JP2011005176A (ja) * 2009-06-29 2011-01-13 Sony Corp 耳介装着具及び生体信号測定装置
JP5481749B2 (ja) * 2010-04-12 2014-04-23 日本電信電話株式会社 外耳道挿入型電極及び外耳道挿入型電極の作製方法
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair

Also Published As

Publication number Publication date
JP2014215963A (ja) 2014-11-17

Similar Documents

Publication Publication Date Title
JP6104035B2 (ja) イヤホン及び眼球運動推定装置
US11583215B2 (en) Generic ear device with electrodes
KR101238192B1 (ko) 귀-부착형 센서셋 및 그 동작 방법
RU2743026C2 (ru) Система наблюдения сердечной активности с использованием датчиков электрического потенциала
US20220218280A1 (en) Biological information monitoring system
US11571563B2 (en) Electrically conductive ear tips
US20200275856A1 (en) An intra- and circum-aural eeg brain computer interface
KR102102421B1 (ko) 뇌파 측정용 이어폰 및 이를 이용한 졸음운전 감지 시스템
US20210297765A1 (en) Eartip and a wearable device including an eartip
JP2023082199A (ja) 可搬型デバイスおよび方法
US11998354B2 (en) Hearing aid comprising one or more sensors for biometrical measurements
US12004872B2 (en) Biological information monitoring system
US11931175B2 (en) In-ear and around-the-ear electroencephalography system with floating electrodes and method thereof
US20230148963A1 (en) Multi-body earpiece
US12008163B1 (en) Earbud sensor assembly
JP6909968B2 (ja) 生体電位測定装置、脳波計、静電容量制御方法及びプログラム
JP7429333B2 (ja) 脳波計測装置
US20220313099A1 (en) Wearable device, headset device, and a method for operating the wearable device
EP3595329A1 (en) Method for customizing a hearing device at point of sale
JP2023152839A (ja) 生体電位計測システム
CN115137302A (zh) 可穿戴装置
CN116439714A (zh) 使用电极的动态选择的生物信号感测设备
JPWO2019163375A1 (ja) 生体信号計測装置、脳波計、及び、制御方法
JP2017169796A (ja) 眼電位測定装置及び電子装置
TW201240644A (en) Comb electrode

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170228

R150 Certificate of patent or registration of utility model

Ref document number: 6104035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250