JP2016173688A - 情報受付システム、プログラムおよび情報入力方法 - Google Patents

情報受付システム、プログラムおよび情報入力方法 Download PDF

Info

Publication number
JP2016173688A
JP2016173688A JP2015052758A JP2015052758A JP2016173688A JP 2016173688 A JP2016173688 A JP 2016173688A JP 2015052758 A JP2015052758 A JP 2015052758A JP 2015052758 A JP2015052758 A JP 2015052758A JP 2016173688 A JP2016173688 A JP 2016173688A
Authority
JP
Japan
Prior art keywords
information
scale
observation
candidate
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015052758A
Other languages
English (en)
Other versions
JP6543055B2 (ja
Inventor
基康 田中
Motoyasu Tanaka
基康 田中
松谷 隆司
Takashi Matsutani
隆司 松谷
正育 山本
Masayasu Yamamoto
正育 山本
雄基 原口
Yuki Haraguchi
雄基 原口
菅原 英男
Hideo Sugawara
英男 菅原
川本 育郎
Ikuro Kawamoto
育郎 川本
基希 拝師
Motoki Haishi
基希 拝師
信行 古園井
Nobuyuki Kozonoi
信行 古園井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Nitto Denko Corp
Original Assignee
MegaChips Corp
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp, Nitto Denko Corp filed Critical MegaChips Corp
Priority to JP2015052758A priority Critical patent/JP6543055B2/ja
Priority to PCT/JP2016/058063 priority patent/WO2016148120A1/ja
Publication of JP2016173688A publication Critical patent/JP2016173688A/ja
Priority to US15/705,465 priority patent/US10474292B2/en
Application granted granted Critical
Publication of JP6543055B2 publication Critical patent/JP6543055B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの操作に応じて生じる音声を用いて、簡易に、かつ、高精度に、ユーザの所望する情報を特定するとともに、ユーザが情報入力操作を楽しむことができる技術を提供する。【解決手段】情報受付システムに、物体で擦られたときに特有の音階を生じるように調整された操作面30が形成された第2操作対象部材3と、情報受付装置4とを設ける。そして、情報受付装置4に、入力情報の候補となる候補情報を音階に関連づけるデータベース411を記憶する記憶装置41と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報491として取得するマイク44と、マイク44により取得された観測情報491における音階の存否を判定するとともに、音階が存在すると判定したときに、当該音階に関連づけられた候補情報を、入力情報として選択するCPU40とを設ける。【選択図】図3

Description

本発明は、記憶されている複数の情報の中から、ユーザの操作に応じて生じる音声を用いて、当該ユーザの所望する情報を特定する技術に関する。
従来より、ユーザの操作に応じて生じる振動によって、ユーザの所望する情報を特定する技術が提案されている。例えば、特許文献1には、ユーザによって発生された指定操作音を検出したときに当該ユーザによる操作がされたとみなして、当該操作を撮像した画像情報に基づいて、ユーザの所望する情報を特定する技術が記載されている。
特開2006−252037号公報
ところが、特許文献1に記載されている技術では、ユーザの操作対象物(特許文献1では、「撮影面」。)が未知の物体であるため、ユーザの操作時にどのような操作音が発生するのかが未知であり、検出漏れを防止するためには指定操作音と認識する範囲を広く設定する必要がある一方、このように広く設定するとノイズを指定操作音として誤検出するという問題があった。
また、特許文献1に記載されている技術では、ユーザによって発生された指定操作音は、ユーザの操作の有無を判定することにのみ利用されているという問題があった。すなわち、特許文献1に記載されている技術では、発生した音をユーザ自身が楽しむという視点に欠けているという問題があった。
本発明は、上記課題に鑑みてなされたものであり、ユーザの操作に応じて生じる音声を用いて、簡易に、かつ、高精度に、ユーザの所望する情報を特定するとともに、ユーザが情報入力操作を楽しむことができる技術を提供することを目的とする。
上記の課題を解決するため、請求項1の発明は、ユーザの操作に応じて入力情報を受け付ける情報受付システムであって、物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材と、情報受付装置とを備え、前記情報受付装置は、前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する記憶手段と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する観測手段と、前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する選択手段とを備える。
また、請求項2の発明は、請求項1の発明に係る情報受付システムであって、前記第1操作対象部材は、前記情報受付装置に対して着脱自在とされている。
また、請求項3の発明は、請求項2の発明に係る情報受付システムであって、前記第1操作対象部材には前記操作面と異なる貼付面が形成されており、前記第1操作対象部材は、前記貼付面を前記情報受付装置に貼り付けることが可能であるとともに、前記情報受付装置に貼り付いた状態の前記貼付面を前記情報受付装置から剥がすことが可能である。
また、請求項4の発明は、請求項3の発明に係る情報受付システムであって、前記第1操作対象部材は、光を透過する透明材料で形成された部分を含む。
また、請求項5の発明は、請求項2の発明に係る情報受付システムであって、前記第1操作対象部材は、前記情報受付装置を収納する収納部材を構成している。
また、請求項6の発明は、請求項1ないし5のいずれかの発明に係る情報受付システムであって、物体で擦られたときに、前記第1音階と異なる特有の第2音階を生じるように調整された操作面が形成された第2操作対象部材をさらに備え、前記記憶手段は、前記入力情報の候補となる第2候補情報を前記第2音階に関連づけて記憶し、前記選択手段は、前記観測手段により取得された観測情報における前記第2音階の存否を判定するとともに、前記第2音階が存在すると判定したときに、当該第2音階に関連づけられた第2候補情報を、前記入力情報として選択する。
また、請求項7の発明は、請求項1ないし6のいずれかの発明に係る情報受付システムであって、前記第1音階は、特有の部分音階を含み、前記記憶手段は、前記入力情報の候補となる第3候補情報を前記部分音階に関連づけて記憶し、前記選択手段は、前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する。
また、請求項8の発明は、請求項7の発明に係る情報受付システムであって、前記選択手段は、前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する第1選択手段と、前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する第2選択手段とを備え、前記情報受付装置は、前記第1選択手段に電力供給がされる、もしくは通常電力消費状態で動作する第1動作モードと、前記第1選択手段に対する電力供給が停止、もしくは低電力消費状態で動作する第2動作モードとの間で、前記情報受付装置の動作モードを切り替える切替手段をさらに備え、前記切替手段は、前記第3候補情報が前記入力情報として選択されたときに、前記情報受付装置の動作モードを前記第2動作モードから前記第1動作モードに切り替える。
また、請求項9の発明は、物体の接触により特有の指標振動を生じるように調整された操作面が形成された第1操作対象部材を備えるコンピュータにより読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する記憶手段と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する観測手段と、前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する選択手段とを備える情報受付システムとして機能させる。
また、請求項10の発明は、物体の接触により特有の指標振動を生じるように調整された操作面をユーザが操作することによって入力情報を入力する情報入力方法であって、前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する工程と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する工程と、取得された観測情報における第1音階の存否を判定する工程と、第1音階が存在すると判定されたときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する工程とを有する。
請求項1ないし9に記載の発明は、物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材を備えており、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得し、取得された観測情報における第1音階の存否を判定するとともに、第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、入力情報として選択する。これにより、意図的に調整された操作面を用いることにより、観測された観測情報における第1音階の存否判定の精度が向上する。また、ユーザによる操作がされたか否かを、第1音階の発生の有無によって判定することにより、ユーザ操作自体を、ユーザが楽しむことができる。
請求項10に記載の発明は、物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材を擦り、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得し、取得された観測情報における第1音階の存否を判定するとともに、第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、入力情報として選択する。これにより、意図的に調整された操作面を用いることにより、観測された観測情報における第1音階の存否判定の精度が向上する。また、ユーザによる操作がされたか否かを、第1音階の発生の有無によって判定することにより、ユーザ操作自体を、ユーザが楽しむことができる。
情報受付システムを示す図である。 第1操作対象部材を示す図である。 情報受付装置のブロック図である。 サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。 サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。 サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。 第1操作対象部材2および第2操作対象部材3に定義される複数の領域を例示する図である。 RAMに記憶されるデータベースを例示する図である。 MPUにより実現される機能ブロックをデータの流れとともに示す図である。 記憶装置に記憶されるデータベースを例示する図である。 CPUにより実現される機能ブロックをデータの流れとともに示す図である。 情報受付装置のMPUの動作を示す流れ図である。 CPUの動作を示す流れ図である。
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
<1. 実施の形態>
図1は、情報受付システム1を示す図である。情報受付システム1は、第1操作対象部材2と、第2操作対象部材3と、情報受付装置4とを備えている。詳細は後述するが、情報受付システム1は、ユーザの操作に応じて入力される情報(入力情報)を受け付けるシステムとして構成されている。
図2は、第1操作対象部材2を示す図である。なお、図2では、第1操作対象部材2の裏面が観察できるように、第1操作対象部材2の一部を、めくったかのような状態として図示している。
第1操作対象部材2は、Z軸方向の厚みが薄く、フィルム状の部材として構成されている。第1操作対象部材2の(+Z)側の表面は操作面20を形成している。操作面20については後述する。
また、第1操作対象部材2の(−Z)側の表面は貼付面21を形成している。詳細は図示しないが、貼付面21の表面には粘着性材料が塗布されており、これによって第1操作対象部材2はシール部材を構成している。第1操作対象部材2は、図1において仮想線(二点鎖線)で示すように、情報受付装置4に貼付することが可能とされている。
なお、貼付面21に塗布される粘着性材料としては、貼ったり剥がしたりを繰り返し行えるような材料(剥がしたときに粘着性を失わない材料)を採用することが好ましい。これにより、第1操作対象部材2は、情報受付装置4に対して着脱自在とされている。したがって、ユーザは、自身の意思で第1操作対象部材2を交換したり、位置を変更したりすることができる。すなわち、ユーザは、自分の好みに応じて情報受付システム1をカスタマイズすることができる。
図1に戻って、第2操作対象部材3は、情報受付装置4の筐体の一部分を構成している。すなわち、情報受付装置4の筐体の一部の部材が第2操作対象部材3を形成している。したがって、第2操作対象部材3は、ユーザによって交換したり位置を変更したりすることのできない部材となっている。
また、第2操作対象部材3の外表面は操作面30を形成しているが、操作面30についいては後述する。
図3は、情報受付装置4のブロック図である。情報受付装置4は、CPU40、記憶装置41、操作部42、表示部43、マイク44、スピーカ45および通信部46を備えている。
情報受付装置4は、動作モードとして、第1動作モードと第2動作モードとを有している。第1動作モードとは、情報受付装置4の機能が制限されておらず、通常の消費電力状態で動作する動作モードである。一方、第2動作モードとは、情報受付装置4が、第1動作モードに比べて低消費電力状態で動作する動作モードである。
以下では、情報受付装置4の第2動作モードにおいて、CPU40に対する電力供給が停止される例を説明する。すなわち、CPU40が起動しているときの状態(CPU40に電力が供給されている状態)を「第1動作モード」と称し、CPU40が起動していない状態(CPU40に電力が供給されていない状態)を「第2動作モード」と称する。また、情報受付装置4は、第2動作モードにおいてCPU40における電力消費のみを抑制するのではなく、例えば、表示部43などの構成についても電力供給が停止される。
なお、第2動作モードにおいて、CPU40や表示部43などの機能の一部が制限されることにより、低消費電力状態を実現するように構成してもよい。すなわち、低消費電力状態を実現するためには、必ずしも対象となる構成に対する電力供給を停止しなければならないわけではない。
情報受付装置4は、ユーザの所望する動作を実現するにあたり、当該動作を実現するためのコマンドやパラメータなどの情報(ユーザの所望する情報)を受け付ける装置として構成されている。ただし、情報受付装置4は、携帯端末(スマートフォン、携帯電話、PDAなど)に限定されるものではない。
CPU40は、記憶装置41に格納されているプログラム410を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU40は、情報受付装置4が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、情報受付装置4は、一般的なコンピュータとして構成されている。
記憶装置41は、情報受付装置4において各種データを記憶する機能を提供する。言い換えれば、記憶装置41は、情報受付装置4において電子的に固定された情報を保存する。
記憶装置41としては、CPU40の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(PCカード、SDカード、あるいは、USBメモリなど)等が該当する。図3においては、記憶装置41を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置41は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置41は、CPU40によりアクセス可能なデータを記憶する機能を有する装置群の総称である。
また、現実のCPU40は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU40が備える記憶装置も、説明の都合上、記憶装置41に含めて説明する。すなわち、一時的にCPU40自体が記憶するデータも、記憶装置41が記憶するとして説明する。図3に示すように、記憶装置41は、プログラム410、データベース411、および、観測情報412などを記憶するために使用される。
操作部42は、情報受付装置4に対してユーザが指示を入力するために操作するハードウェアである。操作部42としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
表示部43は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部43としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどが該当する。
マイク44は、周囲の音声を電気信号に変換する機能を有している。マイク44によって取得された電気信号は、観測情報491として記憶される。すなわち、マイク44は、周囲の環境において生じる音を観測して、観測結果を観測情報491として取得する機能を有している。
スピーカ45は、CPU40からの制御信号に応じて、電気的な信号を振動に変換することにより空気を振動させて、音声を再生する機能を有している。これにより、情報受付装置4は、音楽や通話音(受信した相手方の音声)などを再生する機器としての機能を有している。
通信部46は、情報受付装置4が図示しない外部の装置などとデータ通信や音声通話などを行う機能を提供する。
また、情報受付装置4は、図3に示すように、MPU47、ROM48およびRAM49を備えている。
MPU47は、CPU40に比べて動作時の消費電力の少ない演算装置である。MPU47は、ROM48に記憶されているプログラム480を実行しつつ、マイク44から入力される電気信号に基づいて、観測情報491を作成し、RAM49に格納する。
なお、詳細は後述するが、MPU47は、観測情報491を分析して、その結果に応じて、CPU40を起動させる(電力供給を再開させる。)機能を有している。また、情報受付装置4のMPU47は、情報受付装置4における第2動作モードにおいても、電力が供給されており、動作することが可能である。
ROM48は、不揮発性の読み取り専用の記憶装置である。ROM48は、MPU47によって実行されるプログラム480を格納する。
RAM49は、比較的高速にアクセス可能で、データの書き込みも可能な、揮発性の記憶装置である。RAM49は、主に、MPU47のワーキングエリアとして使用される。
なお、図3では、MPU47とは異なる別の構成として、ROM48およびRAM49を図示しているが、これらの記憶装置を含めて、MPU47としてもよい。
ここで、第2操作対象部材3の操作面30について説明する。例えば、紙ヤスリの表面を指で摩擦する例を考えてみる。紙ヤスリの番手(目の粗さ)に応じて様々な摩擦音が生じるが、擦る者が異なっても、あるいは、擦る物体が異なっても、同じ紙ヤスリを擦れば、そこから発生する摩擦音は近似している。すなわち、物体が操作面30に接触しつつ移動する場合について、操作面30の表面構造(起伏など)や材質に特有の摩擦音が生じることが分かる。このことから、物体で操作面30を擦ったときに発生する音については、操作面30の材質や摩擦係数などの表面構造に特有の音を生じていることが推測される。
このことは、経験的に知られているものである。次に、客観的な実験によって上記の事実を検証した結果を示す。
図4ないし図6は、サンプル素材について、人が指で表面を擦ったときに発生する摩擦音の周波数分布を解析した図である。なお、図4ないし図6に示す例において、使用したサンプル素材は互いに異なっている。また、図4ないし図6では、いずれも試験者が6回の試行を繰り返すことにより発生した6回分の摩擦音について図示している。
図4ないし図6から明らかなように、いずれのサンプル素材においても、6回の試行において指で擦ったときに発生する摩擦音には互いに相関が見られる。すなわち、同一のサンプル素材については、発生する摩擦音に一定の相関が見られる(ここに示す例では、互いの周波数分布が似ている。)。
一方で、あるサンプル素材において発生する摩擦音の特徴(例えば図4に示す周波数分布)と、他のサンプル素材において発生する摩擦音の特徴(例えば図5に示す周波数分布)との間には、相関が低いことも分かる。言い換えれば、異なるサンプル素材において発生する摩擦音の周波数分布は似ていない。
以上のことから、操作面30の表面構造を決定すれば、当該操作面30に物体が接触するときに発生する摩擦音を比較的高精度で予測することができる。逆に言えば、情報受付装置4において、特有の摩擦音を生じるように調整された操作面30を第2操作対象部材3として採用すれば、当該操作面30が操作(摩擦)されたか否かは、当該特有の音が生じたか否かを観測することにより判定することができる。
なお、操作面30の表面構造を意図する特有の音を生じるように調整する手法としては、材料の選択の他に、スパッタリングやエッチングなどによって材料表面の起伏形状を調整する手法などを用いることができる。
図7は、第1操作対象部材2および第2操作対象部材3に定義される複数の領域を例示する図である。
第1操作対象部材2の操作面20には、領域200ないし209が定義されている。また、第2操作対象部材3の操作面30には、領域300ないし309が定義されている。各領域200ないし209および300ないし309は、物体によって擦られることにより、それぞれ特有の音を生じるように調整された領域である。
図7では、各領域200ないし209および300ないし309において、同じ音を生じる領域を同じハッチングを用いて図示している。
すなわち、領域200,201,203,207,208,209,300,301,302,307,308,309は、摩擦音として、いずれも共通の音を生じる領域である。また、領域203,206,305は、摩擦音として、いずれも共通の音を生じる領域である。
一方で、領域200,203,204,205,303,304,306は、摩擦音とて、いずれも互いに異なる音を生じる領域である。
ここで、第1操作対象部材2の(+Y)側の端部から(−Y)側の端部まで、(−Y)方向にユーザが指で操作面20を擦る場合を想定する。以下の説明では、このような操作を「第1ユーザ操作」と称するものとする。
第1ユーザ操作において、指が領域200ないし209内を擦っているとき、操作面20からは、擦られている領域に応じた特有の音がそれぞれ発生する。そして、擦る方向が(−Y)方向であるため、各特有の音の継続時間は、各領域200ないし209のY軸方向の幅を指の移動速度で除した値となる。
人であるユーザが指を動かしているため、第1ユーザ操作における当該指の移動速度は、厳密には一定ではない。しかし、意図的に途中で指を止めたりしない限り、指の移動速度は概ね一定とみなすことができ、発生する音の継続時間は、概ね、対応する各領域のY軸方向の幅に依存するとみなせる。
すなわち、操作面20に、領域200ないし209が定義され、それぞれ特有の音を生じるように調整されていることから、第1ユーザ操作が開始されてから、完了するまでの間に、複数の特有の音が、領域の配置順に応じて発生する。そして、それぞれの音の継続時間は、概ね、対応する領域のY軸方向の幅で決められている。
したがって、第1ユーザ操作によって、操作面20から特有の音階(メロディー)が生じることになる。すなわち、第1操作対象部材2は、物体で擦られたときに特有の音階を生じるように調整された操作面20が形成された部材である。以下の説明では、第1操作対象部材2に対して、第1ユーザ操作を実行したときに生じる音階を「第1音階」と称する。
なお、第2操作対象部材3の(+Y)側の端部から(−Y)側の端部まで、(−Y)方向にユーザが指で操作面30を擦る場合を想定すれば、第1操作対象部材2と同様のことが言える。以下の説明では、このような操作を「第2ユーザ操作」と称し、第2ユーザ操作により、操作面30から発生する音階を第2音階と称する。
図7に示すように、領域200,201,202は、いずれもY軸方向の幅が同じである。したがって、第1ユーザ操作において、操作開始から、指が領域202を出るまでの間に、同じ間隔、同じ継続時間で、3回同じ音が鳴ることになる。これらの音は、第1ユーザ操作における第1音階の一部を構成する部分音階である。以下の説明では、第1ユーザ操作により領域200,201,202によって発生する部分音階を、特に、「認識用部分音階」と称する。
領域207,208,209は、領域200,201,202と同一のパターンとして構成されている。したがって、第1ユーザ操作により、認識用部分音階が後半にも発生することになる。言い換えれば、第1ユーザ操作によって発生する第1音階は、前半の認識用部分音階と、中央の部分音階と、後半の認識用部分音階とに分割することができる。
また、第2操作対象部材3についても、領域300,301,302および領域307,308,309は、いずれも領域200,201,202と同一のパターンとして構成されている。したがって、第2ユーザ操作によって発生する第2音階も、第1音階と同様に、前半の認識用部分音階と、中央の部分音階と、後半の認識用部分音階とに分割することができる。
図7に示す例では、第1操作対象部材2(第1音階)および第2操作対象部材3(第2音階)において、中央の部分音階は互いに異なる一方で、認識用部分音階はいずれも共通である。
図8は、RAM49に記憶されるデータベース490を例示する図である。データベース490は、1つの候補情報(入力情報の候補となる情報)について1つのレコードが作成されるテーブル構造を有している。
ここでは、1つの共通の認識用部分音階のみ定義し、当該認識用部分音階の周波数分布により、観測情報491における当該認識用部分音階の有無を判定する。したがって、図8に示す例において、データベース490には、1個のレコードのみが作成されており、1個の候補情報のみが格納されている。ただし、データベース490におけるレコードは、1個に限定されるものではない。
また、データベース490は、プログラム480に含まれている情報であり、MPU47によってROM48から読み出されて、RAM49に格納される情報である。
図9は、MPU47により実現される機能ブロックをデータの流れとともに示す図である。図9に示す第2選択部470およびインタフェース部471は、MPU47がプログラム480に従って動作することにより実現される機能ブロックである。
第2選択部470は、マイク44により取得された観測情報491における認識用部分音階の存否を判定する。より詳細には、第2選択部470は、観測情報491に含まれる音声を解析して、当該音声の周波数分布を取得する。そして、取得した音声の周波数分布と、データベース490に格納されている認識用部分音階の周波数分布とを比較して、音声の周波数分布が認識用部分音階の周波数分布と近似する場合に、当該音声に認識用部分音階が含まれていると判定する。
なお、音声の周波数分布において、すべての周波数帯について、認識用部分音階の周波数分布と比較する必要はない。例えば、試行を繰り返した結果、比較的再現性の高い周波数帯における周波数分布のみを比較するように構成してもよい。また、比較される周波数帯は、可聴音域に限定されるものでもない。
また、第2選択部470は、認識用部分音階が存在すると判定したときに、データベース490において、当該認識用部分音階に関連づけられた候補情報を、入力情報492として選択する。そして、第2選択部470は、選択した候補情報に基づいて、入力情報492を作成する機能を有している。
認識用部分音階は、第1音階または第2音階の一部分であり、これらの音階に比べて、比較的短い音階である。また、認識用部分音階は、第1音階および第2音階に共通の音階として定義されている。第2選択部470は、このような認識用部分音階の有無のみを、観測情報491に記録された音声から探索し、当該認識用部分音階が含まれている場合に、入力情報492を作成する。そして、入力情報492として選択される情報は、「転送コマンド」のみであり、いわば候補情報は固定されている。すなわち、MPU47において実現される第2選択部470は、後述する第1選択部400に対して、補助的で、簡易な、候補情報選択機能を提供する。
インタフェース部471は、入力情報492を参照し、入力情報492に、転送コマンドが格納されている場合、観測情報491をCPU40に転送する。このとき、インタフェース部471は、情報受付装置4が第2動作モードで動作している場合には、動作モードを第1動作モードに切り替えてから、観測情報491をCPU40に転送する。
すなわち、インタフェース部471は、情報受付装置4が第2動作モードで動作している場合において、転送コマンドが入力情報492として選択されたときに、情報受付装置4の動作モードを第2動作モードから第1動作モードに切り替える機能を有している。
第2動作モードにおいて、CPU40は、電力供給を絶たれている。したがって、第2動作モードのままでは、CPU40は、観測情報491を処理することができない状態である。しかし、インタフェース部471は、観測情報491を転送する前に、第2動作モードを第1動作モードに切り替える。これにより、CPU40に対する電力供給が開始され、CPU40が観測情報491を処理することが可能な状態となる。
なお、本実施の形態では、CPU40に向けて転送された観測情報491は、CPU40により観測情報412として、記憶装置41に記憶される。本実施の形態において、観測情報412は、観測情報491と同一の情報として説明するが、必要に応じて加工されてもよい。
図10は、記憶装置41に記憶されるデータベース411を例示する図である。データベース411は、1つの候補情報(入力情報の候補となる情報)について1つのレコードが作成されるテーブル構造を有している。
図10に示す例では、2つの音階(第1音階および第2音階)のみ定義し、当該音階の周波数分布により、観測情報412における当該音階の有無を判定する。したがって、図10に示す例において、データベース411には、2個のレコードのみが作成されており、2個の候補情報のみが格納されている。ただし、データベース411におけるレコードは、2個に限定されるものではない。
図11は、CPU40により実現される機能ブロックをデータの流れとともに示す図である。図11に示す第1選択部400および実行部401は、CPU40がプログラム410に従って動作することにより実現される機能ブロックである。
第1選択部400は、マイク44により取得され、MPU47によって転送された観測情報412における音階の存否を判定する。より詳細には、第1選択部400は、観測情報412に含まれる音声を解析して、当該音声の周波数分布を取得する。そして、取得した音声の周波数分布と、データベース411に格納されている音階の周波数分布とを比較して、音声の周波数分布が音階の周波数分布と近似する場合に、当該音声に音階が含まれていると判定する。
なお、音声の周波数分布において、すべての周波数帯について、音階の周波数分布と比較する必要はない。例えば、試行を繰り返した結果、比較的再現性の高い周波数帯における周波数分布のみを比較するように構成してもよい。また、比較する周波数帯は、可聴音域に限定されるものでもない。
また、第1選択部400は、音階の存否に基づいて、データベース411を検索する。そして、選択部400は、複数の候補情報の中から、入力情報413となる候補情報を選択し、入力情報413を作成する。
実行部401は、入力情報413を参照して、コマンドを実行する機能を有する。実行部401は、入力情報413が「メール送信コマンド」である場合に、通信部46を制御して電子メールを送信させる。このとき、実行部401は、表示部43を制御して、表示部43の画面の点灯を禁止する。また、実行部401は、入力情報413が「点灯コマンド」である場合に、表示部43を制御して、表示部43を点灯させる。
以上が、情報受付システム1の構成および機能の説明である。次に、情報受付装置4の動作について説明する。
図12は、情報受付装置4のMPU47の動作を示す流れ図である。MPU47は、電力源が投入されると、所定の初期設定(図示せず。)を実行した後、図12に示す処理を開始する。なお、情報受付装置4に電源が投入されている以上、MPU47には電力が供給されている。
図12に示す処理を開始すると、MPU47は、プログラム480からデータベース490をロードしてRAM49に記憶する(ステップS1)。次に、MPU47は、マイク44からの信号に基づいて、観測情報491を作成を開始し(ステップS2)、トリガの発生(ステップS3)を監視する状態となる。以下、この状態を「トリガ監視状態」と称する。
なお、MPU47は、観測情報491を解析した結果、所定の周波数帯において、閾値[dB]以上の音声を検出した場合に、トリガが発生したと判定する。ただし、トリガはこれに限定されるものではなく、例えば、所定の周期で到来するタイミングをトリガとしてもよい。あるいは、後述する認識用部分音階の存否自体をトリガとしてもよい。
トリガ監視状態において、トリガが発生すると(ステップS3においてYes。)、第2選択部470は、観測情報491に基づいて、観測した音(周囲の環境音)から認識用部分音階に相当するとみなせる部分(例えば、トリガからの経過時間などから判断することができる。)の周波数分布を取得する。そして、当該環境音の部分の周波数分布と、データベース490に格納されている認識用部分音階の周波数分布とを比較して、認識用部分音階が観測情報491に存在しているか否かを判定する(ステップS4)。
ここで、検索キーとして用いる当該環境音の部分の周波数分布に類似する周波数分布が、データベース490の「部分音階」に存在していた場合、第2選択部470は、観測情報491に認識用部分音階が存在していたとみなしてステップS4においてYesと判定する。一方で、検索キーとして用いる当該環境音の部分の周波数分布に類似する周波数分布が、データベース490の「部分音階」の項目に存在していない場合、第2選択部470は、観測情報491に認識用部分音階が存在していなかったとみなしてステップS4においてNoと判定する。
ステップS4においてNoと判定されたとき、MPU47は、トリガとして検出された音声を含む環境音の部分は、物体によって操作面20(または操作面30)が擦られたときに発生した音声を含まない(すなわち、ユーザによる操作はされていない。)とみなして、トリガ監視状態に戻る。このように、操作面20(または操作面30)に対する操作(第1ユーザ操作または第2ユーザ操作)がされていないとみなされた場合、情報受付装置4は、入力情報492の作成を行うことはない。
したがって、観測情報491がCPU40に向けて転送されることもなく、第2動作モードにおけるCPU40の電力消費を抑制することができる。また、第1動作モードにおいても、CPU40に無駄な処理を強いることがない。
認識用部分音階の周波数分布は比較的厳密に定義されるため、操作面20(または操作面30)において発生する音声以外の音声によって認識用部分音階が存在するとみなされるおそれは、従来の技術に比べると低い。したがって、物体が操作面20(または操作面30)に接触したとき以外の音声によって、情報受付装置4が誤った入力情報492を作成する可能性は、従来の技術に比べて低いといえる。
ステップS4においてYesと判定されたとき、第2選択部470は、当該認識用部分音階の周波数分布に関連づけられている候補情報(ここでは転送コマンド)を選択し、当該候補情報に基づいて、入力情報492を作成する(ステップS5)。
このように、ステップS5が実行されることによって、入力情報492に示される候補情報が、ユーザによって入力された情報として情報受付装置4に受け付けられたこととなる。
入力情報492が作成されると、インタフェース部471は、情報受付装置4の動作モードが第2動作モードか否かを判定する(ステップS6)。
ステップS6においてYesの場合、インタフェース部471は、情報受付装置4の動作モードを第1動作モードに切り替える(ステップS7)。すなわち、インタフェース部471は、CPU40に対する電力供給を再開させる。これにより、CPU40は、観測情報491を処理できる状態に遷移する。
ステップS6においてNoと判定した場合(動作モードが第1動作モードの場合)、または、ステップS7の処理が完了した場合、インタフェース部471は、入力情報492(転送コマンド)を実行して、観測情報491をCPU40に向けて転送する(ステップS8)。そして、観測情報491の転送が完了すると、MPU47は、トリガ監視状態に戻る。
このように、MPU47は、観測情報491に認識用部分音階が存在しているときに、当該認識用部分音階に関連づけられている転送コマンドを選択して実行することにより、当該観測情報491をCPU40に向けて転送する。
以上がMPU47の動作である。次に、CPU40の動作について説明する。
図13は、CPU40の動作を示す流れ図である。
なお、情報受付装置4が第2動作モードのとき、CPU40は電力供給を絶たれている。したがって、図13に示す処理は、情報受付装置4の動作モードが第2動作モードのときには実行されない処理である。また、図13に示す各工程が開始されるまでに、すでに記憶装置41にデータベース411が記憶されているものとする。また、情報受付装置4に電源が投入されたとき、情報受付装置4は第1動作モードでの動作を開始するものとする。
図13に示す処理を開始すると、CPU40は、MPU47から観測情報491が転送されてきているか否か(ステップS11)、および、動作モードを第2動作モードに移行させるべき状況か否か(ステップS15)を監視する状態となる。以下、この状態を単に「監視状態」と称する。
監視状態において、MPU47から観測情報491が転送されてくると、CPU40は、ステップS11においてYesと判定し、転送されてきた観測情報491に基づいて観測情報412を作成する。これにより、観測情報412が記憶装置41に記憶される。
次に、第1選択部400は、当該観測情報412に含まれる音声の周波数分布を検索キーとして、候補情報を選択するためのデータベース411の検索を実行する。これにより、第1選択部400は、観測情報412に、データベース411に定義された音階(第1音階または第2音階)が存在するか否かを判定する(ステップS12)。
ステップS12においてNoの場合、第1選択部400は、ユーザによる操作がされていないとみなして、入力情報413を作成することなく、監視状態に戻る。
一方、ステップS12においてYesの場合、第1選択部400は、検出された音階の周波数分布に関連づけられている候補情報をデータベース411から入力情報413として選択する。そして、第1選択部400は、選択した候補情報に基づいて、入力情報413を作成する(ステップS13)。
ステップS13が実行されることによって、入力情報413に示される候補情報が、ユーザによって入力された情報として情報受付装置4に受け付けられたこととなる。したがって、ステップS13が実行された後、入力情報413に応じた処理が実行部401により実行される(ステップS14)。なお、ステップS14を実行することにより、入力情報413に応じた処理を実行すると、CPU40は、再び、監視状態に戻る。
監視状態において、第2動作モードに移行すべき状況が生じると、CPU40は、ステップS15においてYesと判定し、情報受付装置4の動作モードを第1動作モードから第2動作モードに切り替える(ステップS16)。
具体的には、CPU40は、表示部43における表示を停止させ、バックライト等を消灯させるとともに、CPU40への電力供給を停止させる。これにより、情報受付装置4は、消費電力が抑制された状態に移行する。なお、すでに説明したように、第2動作モードにおいても、MPU47に対する電力供給は継続されており、ステップS1ないしS7の各工程は実行可能な状態にある。
なお、第1動作モードから第2動作モードに移行すべき状況とは、ユーザが第2動作モードへの移行を情報受付装置4に対して直接指示した場合や、情報受付装置4に対するユーザによる操作が一定時間されなかった場合などが想定される。ただし、このような状況に限定されるものではない。
次に、ユーザが、情報受付装置4を用いて、所望する情報を入力情報413として入力する情報入力方法について説明する。以下の説明では、ユーザが、情報受付装置4に対して、家族に帰宅を知らせる電子メールを送信させる例について説明する。
なお、ユーザによる操作に先立って、データベース411およびデータベース490は、すでに記憶されているものとする。また、情報受付装置4は、すでに観測情報491の作成を開始しており(ステップS2)、MPU47はトリガ監視状態となっているものとする。
ユーザは、情報受付装置4に貼付されている第1操作対象部材2の操作面20を、(+Y)側の端部から(−Y)側の端部まで指で(−Y)方向に擦る。すなわち、ユーザは第1ユーザ操作を行う。
このように、ユーザが指を操作面20に接触させて擦ることにより、操作面20から特有の摩擦音が発生する。この摩擦音は、操作面20に領域200ないし209が形成されていることにより、第1音階となる。
この第1音階を含む周囲の環境の音声は、マイク44によって電気信号に変換され、MPU47により観測情報491が作成される。また、MPU47は、当該摩擦音(第1音階)により、トリガ発生を確認し(ステップS3においてYesと判定し)、データベース490を参照することにより、当該観測情報491に認識用部分音階が含まれているか否かを判定する(ステップS4)。
ここで作成されている観測情報491は、操作面20を擦ったことによって発生した第1音階を含んでいる。したがって、当該環境音の周波数分布は、認識用部分音階の周波数分布に類似する部分を含むものである。したがって、この場合、第2選択部470は、認識用部分音階が存在すると判定する(ステップS4においてYes。)。そして、第2選択部470は、検出された認識用部分音階の周波数分布に関連づけられている候補情報を選択して、入力情報492を作成する(ステップS5)。
ここまでの処理は、情報受付装置4が第2動作モードで動作しているときにも実行可能な処理である。すなわち、ユーザは、情報受付装置4の動作モードを意識することなく、第1ユーザ操作を実行することができる。
第2選択部470によって入力情報492が作成されると、インタフェース部471は、情報受付装置4の動作モードが第2動作モードであるか否かを確認し、第2動作モードである場合には、ステップS7を実行して第1動作モードに切り替える。
ステップS6,S7により、以後は、CPU40が起動した状態となり、CPU40による処理が可能な状態となる。
情報受付装置4が第1動作モードで動作している状態となると、インタフェース部471は、観測情報491をCPU40に向けて送信する。これにより、観測情報491が観測情報412として記憶装置41に記憶される。
次に、第1選択部400が観測情報412を解析して、データベース411に登録されている音階が当該観測情報412に含まれているか否かを判定する。ここで作成されている観測情報412(観測情報491)は、第1音階を含んでいる。したがって、第1選択部400は、第1音階に関連づけられた候補情報(メール送信コマンド)を選択し、入力情報413を作成する(ステップS13)。
ここで選択されたメール送信コマンドは、固定メッセージ(帰宅を知らせる文面)を、固定宛先(家族)に送信するコマンドであるとする。当該メール送信コマンドを実行部401が実行する。
すなわち、予め登録されている固定宛先に、予め登録されている固定メッセージを内容とする電子メールを送信するように、通信部46を制御する。これにより、通信部46が家族に帰宅を知らせるメールを当該家族宛に送信する。このとき、実行部401は、表示部43を点灯させることがない。
情報受付装置4は、第2動作モードにおいて、表示部43が消灯状態となっている。この状態で、第1ユーザ操作がされても、MPU47は、CPU40を起動するだけで、表示部43を点灯させることはない。また、CPU40(実行部401)も、表示部43を点灯させることはない。
したがって、情報受付装置4は、当該電子メールを、表示部43を非表示状態にしたまま送信することができる。すなわち、比較的電力消費の大きいハードウェアである表示部43を停止させたままで実行することにより、消費電力を抑制することができる。
タッチパネルでは、コマンドを選択するために、GUIを表示しなければならないため、このような操作は困難である。タッチパネルにおいて、消灯状態の画面への最初のタッチで電子メールをいきなり送信するように構成すると、誤送信が頻発する。また、ハードウェアとしてのキーやボタンに、このような機能を割り付けることは可能ではあるが、その場合は、機能が限定的なキーやボタンを設けることになるため、操作部42の汎用性が低下する。しかし、情報受付システム1では、ユーザが任意に選択し、レイアウト可能な、シール部材としての第1操作対象部材2を備え、ユーザがこれを操作することによって、このような機能(一発送信機能)を実現する。したがって、このような機能が不要なユーザは第1操作対象部材2を貼付しなければよいし、必要なユーザも好みの位置に第1操作対象部材2を貼付することができるので、操作部42の汎用性が低下することもない。
なお、第2操作対象部材3の操作面30を擦ることによって生じる第2音階は、その周波数分布がデータベース411において「点灯コマンド」に関連づけられている。したがって、ユーザが第2ユーザ操作を実行すると、操作面30から第2音階(認識用部分音階を含む。)が発生し、ステップS14において点灯コマンドが実行されることとなる。
すなわち、詳細な説明は省略するが、ユーザは、第2ユーザ操作を実行することによって、情報受付装置4が第2動作モードで動作しているときに、消灯されている表示部43を、点灯させることができる。これによって、ユーザは、表示部43に表示される情報を閲覧可能となる。
以上のように、ユーザの操作に応じて入力情報を受け付ける情報受付システム1は、物体で擦られたときに特有の第1音階を生じるように調整された操作面20が形成された第1操作対象部材2と、情報受付装置4とを備え、情報受付装置4は、入力情報413の候補となるメール送信コマンドを第1音階に関連づけるデータベース411を記憶する記憶装置41と、周囲の環境において生じる音声を観測しつつ、観測結果を観測情報491として取得するマイク44と、マイク44により取得された観測情報491における第1音階の存否を判定するとともに、第1音階が存在すると判定したときに、当該第1音階に関連づけられたメール送信コマンドを、入力情報413として選択する第1選択部400とを備える。意図的に調整された操作面20を用いることにより、観測された観測情報491における第1音階の存否判定の精度が向上する。また、ユーザによる操作がされたか否かを、第1音階の発生の有無によって判定することにより、ユーザ操作自体を、ユーザが楽しむことができる。
また、第1操作対象部材2が、情報受付装置4に対して着脱自在とされていることにより、ユーザの意思で第1操作対象部材を交換することができる。したがって、自分の好みに応じてカスタマイズできる。
また、第1操作対象部材2には操作面20と異なる貼付面21が形成されており、第1操作対象部材2は、貼付面21を情報受付装置4に貼り付けることが可能であるとともに、情報受付装置4に貼り付いた状態の貼付面21を情報受付装置4から剥がすことが可能である。これにより、第1操作対象部材2を容易に着脱自在な構成とすることができる。
また、物体で擦られたときに、第1音階と異なる特有の第2音階を生じるように調整された操作面30が形成された第2操作対象部材3をさらに備え、記憶装置41は、入力情報413の候補となる点灯コマンドを第2音階に関連づけて記憶し、第1選択部400は、マイク44により取得された観測情報491における第2音階の存否を判定するとともに、第2音階が存在すると判定したときに、当該第2音階に関連づけられた点灯コマンドを、入力情報413として選択する。このように、複数の音階を定義することにより、複数の候補情報から、入力情報413となる候補情報を選択することができる。したがって、汎用性が向上する。
また、第1音階は、特有の認識用部分音階を含み、RAM49は、入力情報492の候補となる転送コマンドを認識用部分音階に関連づけて記憶し、第2選択手段は、マイク44により取得された観測情報491における認識用部分音階の存否を判定するとともに、認識用部分音階が存在すると判定したときに、当該認識用部分音階に関連づけられた転送コマンドを、入力情報492として選択する。これにより、いわゆるヘッダあるいはフッダを定義することができ、汎用性がさらに向上する。
また、マイク44により取得された観測情報491における第1音階の存否を判定するとともに、当該第1音階が存在すると判定したときに、当該第1音階に関連づけられたメール送信コマンドを、入力情報413として選択する第1選択部400と、マイク44により取得された観測情報491における認識用部分音階の存否を判定するとともに、当該認識用部分音階が存在すると判定したときに、当該認識用部分音階に関連づけられた転送コマンドを、入力情報492として選択する第2選択部470とを備え、情報受付装置4は、第1選択部400(CPU40)に電力供給がされる、もしくは通常電力消費状態で動作する第1動作モードと、第1選択部400(CPU40)に対する電力供給が停止、もしくは低電力消費状態で動作する第2動作モードとの間で、情報受付装置4の動作モードを切り替えるインタフェース部471およびCPU40をさらに備え、インタフェース部471は、転送コマンドが入力情報492として選択されたときに、情報受付装置4の動作モードを第2動作モードから第1動作モードに切り替える。これにより、ユーザの操作を阻害することなく、消費電力を抑制することができる。
なお、どの音階に、どのような候補情報を関連づけるかを、ユーザが選択できるように構成することが好ましい。例えば、第1操作対象部材2を貼付したときに、データベース411を作成(更新)する専用のアプリケーションソフトウェアを立ち上げ、第1ユーザ操作を実行するとともに、関連づける候補情報をユーザが指定するようにしてもよい。このように構成することにより、さらに、ユーザの好みに応じたシステムとすることができるとともに、第1操作対象部材2の貼付位置やユーザの個性等を考慮したキャリブレーションも可能となり、検出精度が向上する。
<2. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。
また、上記実施の形態に示した機能ブロック(例えば、第1選択部400や第2選択部470)は、CPU40(またはMPU47)がプログラム410(またはプログラム480)に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
また、上記実施の形態では、第1ユーザ操作および第2ユーザ操作は、いずれも(−Y)方向に擦る例で説明したが、擦る方向は(−Y)方向に限定されるものではない。
また、例えば、第1操作対象部材2において、領域200ないし209の配列により、(−Y)方向に擦った場合と、(+Y)方向に擦った場合とでは、発生する音階が異なる(ただし、認識用部分音階は同じ。)。したがって、これら異なる音階に、それぞれ別のコマンドを関連づけてもよい。例えば、(+Y)方向に擦ったときに生じる音階に、ボリュームを大きくするコマンドを関連づけるとともに、(−Y)方向に擦ったときに生じる音階に、ボリュームを小さくするコマンドを関連づけるなどしてもよい。
また、第1操作対象部材2は、光を透過する透明材料で形成された部分を含むものでもよい。これにより、例えば、第1操作対象部材2を表示部43の画面に貼付しても画面を遮ることがない。すなわち、第1操作対象部材2を貼付する場所の選択の自由度が向上する。
また、第1操作対象部材2は、情報受付装置4に直接貼付されなくてもよい。例えば、情報受付装置4を収納する収納部材(ケースや蓋部材など)に貼付されてもよい。
また、第1操作対象部材2は、情報受付装置4を収納する収納部材(ケースや蓋部材など)を構成していてもよい。このような構成によっても、第1操作対象部材2を容易に着脱自在な構成とすることができる。
また、第1操作対象部材2(操作面20)から発生する第1音階に様々な情報を関連づけることによって、複数のコマンドを組み合わせたものや、ブラウザーを任意のURLを指定して起動できるものなどのように、ユーザが任意にカスタマイズしたコマンドを、ショートカットキーのように扱うことができるように構成することも可能である。
1 情報受付システム
2 第1操作対象部材
20,30 操作面
200,201,203,204,205,206,207,208,209,300,301,302,303,304,305,306,307,308,309 領域
21 貼付面
3 第2操作対象部材
4 情報受付装置
40 CPU
400 第1選択部
401 実行部
41 記憶装置
410,480 プログラム
411,490 データベース
412,491 観測情報
413,492 入力情報
42 操作部
43 表示部
44 マイク
45 スピーカ
46 通信部
47 MPU
470 第2選択部
471 インタフェース部
48 ROM
49 RAM

Claims (10)

  1. ユーザの操作に応じて入力情報を受け付ける情報受付システムであって、
    物体で擦られたときに特有の第1音階を生じるように調整された操作面が形成された第1操作対象部材と、
    情報受付装置と、
    を備え、
    前記情報受付装置は、
    前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する記憶手段と、
    周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する観測手段と、
    前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する選択手段と、
    を備える情報受付システム。
  2. 請求項1に記載の情報受付システムであって、
    前記第1操作対象部材は、前記情報受付装置に対して着脱自在とされている情報受付システム。
  3. 請求項2に記載の情報受付システムであって、
    前記第1操作対象部材には前記操作面と異なる貼付面が形成されており、
    前記第1操作対象部材は、前記貼付面を前記情報受付装置に貼り付けることが可能であるとともに、前記情報受付装置に貼り付いた状態の前記貼付面を前記情報受付装置から剥がすことが可能である情報受付システム。
  4. 請求項3に記載の情報受付システムであって、
    前記第1操作対象部材は、光を透過する透明材料で形成された部分を含む情報受付システム。
  5. 請求項2に記載の情報受付システムであって、
    前記第1操作対象部材は、前記情報受付装置を収納する収納部材を構成している情報受付システム。
  6. 請求項1ないし5のいずれかに記載の情報受付システムであって、
    物体で擦られたときに、前記第1音階と異なる特有の第2音階を生じるように調整された操作面が形成された第2操作対象部材をさらに備え、
    前記記憶手段は、前記入力情報の候補となる第2候補情報を前記第2音階に関連づけて記憶し、
    前記選択手段は、前記観測手段により取得された観測情報における前記第2音階の存否を判定するとともに、前記第2音階が存在すると判定したときに、当該第2音階に関連づけられた第2候補情報を、前記入力情報として選択する情報受付システム。
  7. 請求項1ないし6のいずれかに記載の情報受付システムであって、
    前記第1音階は、特有の部分音階を含み、
    前記記憶手段は、前記入力情報の候補となる第3候補情報を前記部分音階に関連づけて記憶し、
    前記選択手段は、前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する情報受付システム。
  8. 請求項7に記載の情報受付システムであって、
    前記選択手段は、
    前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する第1選択手段と、
    前記観測手段により取得された観測情報における前記部分音階の存否を判定するとともに、前記部分音階が存在すると判定したときに、当該部分音階に関連づけられた第3候補情報を、前記入力情報として選択する第2選択手段と、
    を備え、
    前記情報受付装置は、
    前記第1選択手段に電力供給がされる、もしくは通常電力消費状態で動作する第1動作モードと、前記第1選択手段に対する電力供給が停止、もしくは低電力消費状態で動作する第2動作モードとの間で、前記情報受付装置の動作モードを切り替える切替手段をさらに備え、
    前記切替手段は、前記第3候補情報が前記入力情報として選択されたときに、前記情報受付装置の動作モードを前記第2動作モードから前記第1動作モードに切り替える情報受付システム。
  9. 物体の接触により特有の指標振動を生じるように調整された操作面が形成された第1操作対象部材を備えるコンピュータにより読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
    前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する記憶手段と、
    周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する観測手段と、
    前記観測手段により取得された観測情報における前記第1音階の存否を判定するとともに、前記第1音階が存在すると判定したときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する選択手段と、
    を備える情報受付システムとして機能させるプログラム。
  10. 物体の接触により特有の指標振動を生じるように調整された操作面をユーザが操作することによって入力情報を入力する情報入力方法であって、
    前記入力情報の候補となる第1候補情報を前記第1音階に関連づけて記憶する工程と、
    周囲の環境において生じる音声を観測しつつ、観測結果を観測情報として取得する工程と、
    取得された観測情報における第1音階の存否を判定する工程と、
    第1音階が存在すると判定されたときに、当該第1音階に関連づけられた第1候補情報を、前記入力情報として選択する工程と、
    を有する情報入力方法。
JP2015052758A 2015-03-17 2015-03-17 情報受付システム、プログラムおよび情報入力方法 Expired - Fee Related JP6543055B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015052758A JP6543055B2 (ja) 2015-03-17 2015-03-17 情報受付システム、プログラムおよび情報入力方法
PCT/JP2016/058063 WO2016148120A1 (ja) 2015-03-17 2016-03-15 情報受付システム、記録媒体および情報入力方法
US15/705,465 US10474292B2 (en) 2015-03-17 2017-09-15 Information reception system, recording medium, and information input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015052758A JP6543055B2 (ja) 2015-03-17 2015-03-17 情報受付システム、プログラムおよび情報入力方法

Publications (2)

Publication Number Publication Date
JP2016173688A true JP2016173688A (ja) 2016-09-29
JP6543055B2 JP6543055B2 (ja) 2019-07-10

Family

ID=57008919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015052758A Expired - Fee Related JP6543055B2 (ja) 2015-03-17 2015-03-17 情報受付システム、プログラムおよび情報入力方法

Country Status (1)

Country Link
JP (1) JP6543055B2 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334185A (ja) * 1994-06-08 1995-12-22 Canon Inc 切替方法及び装置及び該切替装置を用いた電子機器
JP2004282157A (ja) * 2003-03-12 2004-10-07 Denso Corp 音式スイッチ
JP2008054103A (ja) * 2006-08-25 2008-03-06 Nec Corp 携帯電子機器及びその制御方法
JP2011028555A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
JP2013519132A (ja) * 2010-02-02 2013-05-23 サムスン エレクトロニクス カンパニー リミテッド 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
KR20130140963A (ko) * 2012-05-23 2013-12-26 한국과학기술원 소리를 이용한 정보 전달 방법 및 정보 전달 장치
JP2014094734A (ja) * 2012-11-09 2014-05-22 Hyundai Motor Company Co Ltd 車両制御装置
JP2014532252A (ja) * 2011-10-18 2014-12-04 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
WO2015033609A1 (ja) * 2013-09-09 2015-03-12 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334185A (ja) * 1994-06-08 1995-12-22 Canon Inc 切替方法及び装置及び該切替装置を用いた電子機器
JP2004282157A (ja) * 2003-03-12 2004-10-07 Denso Corp 音式スイッチ
JP2008054103A (ja) * 2006-08-25 2008-03-06 Nec Corp 携帯電子機器及びその制御方法
JP2011028555A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
JP2013519132A (ja) * 2010-02-02 2013-05-23 サムスン エレクトロニクス カンパニー リミテッド 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス
JP2014532252A (ja) * 2011-10-18 2014-12-04 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
KR20130140963A (ko) * 2012-05-23 2013-12-26 한국과학기술원 소리를 이용한 정보 전달 방법 및 정보 전달 장치
JP2014094734A (ja) * 2012-11-09 2014-05-22 Hyundai Motor Company Co Ltd 車両制御装置
WO2015033609A1 (ja) * 2013-09-09 2015-03-12 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力方法およびプログラム

Also Published As

Publication number Publication date
JP6543055B2 (ja) 2019-07-10

Similar Documents

Publication Publication Date Title
KR102210958B1 (ko) 햅틱 피드백을 제공하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
JP4975765B2 (ja) プログラマブルキーパッド
TWI497406B (zh) 用於為一語音辨識互動模組提供輸入功能之方法及電腦可讀取媒體
US20180284897A1 (en) Device and method for defining a haptic effect
CN109032558B (zh) 发声控制方法、装置、电子装置及计算机可读介质
EP3062198A1 (en) Generating actions based on a user's mood
CN108646971B (zh) 屏幕发声控制方法、装置以及电子装置
US20110134061A1 (en) Method and system for operating a mobile device according to the rate of change of the touch area
US20110126094A1 (en) Method of modifying commands on a touch screen user interface
US11328469B2 (en) Electronic device and method for providing drawing environment
CN109189362B (zh) 发声控制方法、装置、电子设备及存储介质
US20120086564A1 (en) System and Method for Outputting Virtual Textures in Electronic Devices
CN109085985B (zh) 发声控制方法、装置、电子装置以及存储介质
CN108958697B (zh) 屏幕发声控制方法、装置以及电子装置
CN109144460B (zh) 发声控制方法、装置、电子装置以及存储介质
CN110830368B (zh) 即时通讯消息发送方法及电子设备
CN103631375A (zh) 根据电子设备中的情形感知控制振动强度的方法和设备
CN108712706B (zh) 发声方法、装置、电子装置及存储介质
CN108958631B (zh) 屏幕发声控制方法、装置以及电子装置
CN111656303A (zh) 数据处理装置的手势控制
US20120231854A1 (en) Mobile terminal device and function setting method for mobile terminal device
JP2016173688A (ja) 情報受付システム、プログラムおよび情報入力方法
WO2016148120A1 (ja) 情報受付システム、記録媒体および情報入力方法
CN107426401A (zh) 静音提醒方法、装置及终端
CN109085989B (zh) 发声控制方法、装置、电子装置及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees