JP2014099073A - 電子機器、その制御方法及びプログラム - Google Patents

Abstract

【課題】近年の電子機器における高機能化は著しく、アイコン等を表示する表示エリアが十分ではない場合がある。そこで、タッチパネルに依存しない新たなユーザインターフェイスを備える電子機器を提供する。
【解決手段】電子機器は、所定の周波数を持つ音波を空間に放射する音波発生部と、放射された音波を検出する音波検出部と、音波検出部が検出する音波における音圧の変化を検出する変化検出部と、音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する判定部と、を備える。
【選択図】図１

Description

本発明は、電子機器、その制御方法及びプログラムに関する。

携帯電話やスマートフォン等の電子機器は、操作デバイスとしてのタッチパネルを備えることが多い。ユーザは、液晶パネル等の表示デバイスに表示されたアイコン等に触れることで、電子機器の操作を行う。

タッチパネル以外にも、ハードウェアキーを押下することで、ユーザによる操作を受け付ける電子機器も存在する。あるいは、電子機器の内部に加速度センサ等を配置し、電子機器の筐体における姿勢の変化を検出することで、ユーザの操作を検出する電子機器も存在する。より具体的には、電子機器の筐体を傾けたり、振ったりすることで、ユーザは電子機器を操作する。

ここで、特許文献１において、携帯電話に手をかざすとセンサがその接近を検知し、時刻等に関する情報をスピーカから発する技術が開示されている。さらに、特許文献２において、複数の信号を送信し、送信された信号が人間の手などにより反射された信号のインパルス応答を利用することで、手の動き等を検出する技術が開示されている。

特開２００５−０４５６５５号公報 特表２０１１−５１７５８４号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

上述のように、電子機器の操作デバイスとしてタッチパネルを使用することが多い。その際、電子機器のディスプレイに、ユーザの操作に必要なアイコン等を表示する必要がある。近年の電子機器における高機能化は著しく、アイコン等の表示が可能な表示エリアが十分ではない場合がある。つまり、タッチパネルを用いたインターフェイスにおいて、ユーザに提供する必要がある情報に対して、表示エリアが不足することも多い。

また、表示エリアの不足をハードウェアキーにより補うことも考えられるが、スマートフォン等の電子機器では、その筐体の大きさに限度があり、ハードウェアキーの追加は実装面積の観点から困難な状況にある。さらに、電子機器を傾けたりすることで、ユーザの操作を検出するインターフェイスでは、タッチパネルによる操作と共存することは難しく、表示エリアの不足を補うことにならない。

以上のような状況において、タッチパネルに依存しない新たなユーザインターフェイスを備える電子機器、その制御方法及びプログラムが、望まれる。

なお、特許文献１が開示する技術は、音波の反射時間を検出することで、物体の接近を検知し、その結果に応じて、ユーザに情報を提供する技術であって、新たなユーザインターフェイスを提供するものではない。また、特許文献２が開示する技術は、インパルス応答の測定に基づき、人間の手の動きや位置等を検出するための技術である。比較的大きな物体の動き等の検出を目的としたものであり、スマートフォン等の操作に適用するには不向きである。

本発明の第１の視点によれば、所定の周波数を持つ音波を空間に放射する音波発生部と、前記放射された音波を検出する音波検出部と、前記音波検出部が検出する音波の音圧の変化を検出する変化検出部と、前記音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する判定部と、を備える電子機器が提供される。

本発明の第２の視点によれば、所定の周波数を持つ音波を空間に放射する音波発生部と、前記放射された音波を検出する音波検出部と、を備える電子機器の制御方法であって、前記音波検出部が検出する音波の音圧の変化を検出する工程と、前記音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する工程と、を含む電子機器の制御方法が提供される。
なお、本方法は、音波発生部と、音波検出部と、を備える電子機器という、特定の機械に結びつけられている。

本発明の第３の視点によれば、所定の周波数を持つ音波を空間に放射する音波発生部と、前記放射された音波を検出する音波検出部と、を備える電子機器を制御するコンピュータに実行させるプログラムであって、前記音波検出部が検出する音波の音圧の変化を検出する処理と、前記音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する処理と、を実行するプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、タッチパネルに依存しない新たなユーザインターフェイスを提供することに寄与する電子機器、その制御方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る電子機器１の全体を示す斜視図の一例である。 電子機器１を側面から視認した場合の一例を示す図である。 スピーカ２０から放射された音波の音圧空間分布の一例を示す図である。 スピーカ２０から放射された音波の音圧空間分布の一例を示す図である。 スピーカ２０から放射された音波の音圧空間分布の一例を示す図である。 電子機器１の内部構成の一例を示す図である。 デジタル信号処理部８０における信号処理の一例を示す図である。 マイクロフォン３０の出力波形の一例である。 マイクロフォン３０の出力波形の一例を示す図である。 乗算器３１０の出力波形の一例を示す図である。 デジタル信号処理部８０の出力波形の一例を示す図である。 デジタル信号処理部８０における信号処理の別の一例を示す図である。 デジタル信号処理部８０における信号処理の別の一例を示す図である。 乗算器３１０の出力波形の一例を示す図である。 電子機器１の動作の一例を示すフローチャートである。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述のように、タッチパネルに依存しない新たなユーザインターフェイスを備える電子機器が望まれる。

そこで、一例として図１に示す電子機器１００を提供する。電子機器１００は、所定の周波数を持つ音波を空間に放射する音波発生部１０１と、放射された音波を検出する音波検出部１０２と、音波検出部１０２が検出する音波における音圧の変化を検出する変化検出部１０３と、音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する判定部１０４と、を備える。

電子機器１００は、音波検出部１０２において検出する音波の音圧が、電子機器１００の周辺に存在する物体の移動に応じて変化することと、ユーザの操作と、を関連付けする。即ち、ユーザが電子機器１００の音波発生部１０１や音波検出部１０２の近傍で指を移動させると、音波検出部１０２が検出する音波の音圧が変化する。電子機器１００では、このような音波の音圧の変化を、電子機器１００を操作するための操作手段（例えば、ユーザの指先）における移動の検出に用いる。その結果、タッチパネルに依存しない新たなユーザインターフェイスを備える電子機器１００が提供できる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

本実施形態に係る電子機器１は、音場に置かれた物体（例えば、ユーザの指先）が移動すると音場が乱れることを利用し、ユーザの操作を検出するインターフェイスを提供する。より具体的には、スピーカから所定の周波数を持つ音波を空間に放射し、マイクロフォンにより音波を集音すると共に電気信号に変換する。さらに、変換された電気信号に対して信号処理を施すことで、音圧の包絡線（エンベロープカーブ）を算出する。この包絡線の時間変化に基づき、ユーザの操作を特定する。ユーザは、電子機器１の近傍（以降の説明において、ホームポジションと呼ぶ）に指を置き、ホームポジションに置いた指を移動させることで、電子機器１を操作する。

図２は、本実施形態に係る電子機器１の全体を示す斜視図の一例である。図２を含む以降の図面における３次元座標系は、図示した座標軸のとおりとする。

電子機器１は、表示デバイス１０と、スピーカ２０と、マイクロフォン３０と、を備えている。スピーカ２０が上述の音波発生部１０１に相当し、マイクロフォン３０が、音波検出部１０２に相当する。また、電子機器１の筐体にはスピーカ２０から音波が放射可能となるように音孔（図示せず）が設けられている。さらに、マイクロフォン３０にて音波が集音可能となるように、マイクロフォン３０に対応した音孔も設けられている。なお、スピーカ２０は、電子機器１がビープ音等を発するために設けられている通常のスピーカ（例えば、動電型スピーカ又は圧電型スピーカ）を用いることができる。若しくは、このような通常のスピーカとは独立したスピーカを用いてもよい。さらに、スピーカ２０は、超音波振動子を備えた超音波（可聴帯域よりも高い周波数帯域に属する音波）を放射するものであってもよい。

マイクロフォン３０は、電子機器１の側面に配置されているが、マイクロフォン３０の実装位置を限定する趣旨ではない。マイクロフォン３０は、側面以外の他の面に配置されていてもよい。あるいは、電子機器１に実装するマイクロフォンの個数を１個に限定する趣旨でもない。電子機器１に実装するマイクロフォンの個数は複数であってもよい。

図２の点線で示す領域が、ホームポジション２００である。電子機器１は、ユーザの指先がホームポジション２００に置かれ、ホームポジション２００に置かれた指が動かされることを予定している。

図３は、電子機器１を側面から視認した場合の一例を示す図である。図３において図２と同一構成要素には、同一の符号を表し、その説明を省略する。図２及び図３から、ホームポジション２００は、スピーカ２０の僅かに上方であって、ユーザの指と電子機器１を接触させないことが理解できる。

次に、電子機器１の具体的な構成に関する説明に先立ち、超音波の音場に置かれた物体が移動した場合に、音場が時間波形として乱れることを利用し、ユーザの操作を検出できることの説明を行う。

図４は、スピーカ２０から放射された音波の音圧空間分布の一例を示す図である。なお、図４に示す音波を計算する際の条件は、例えば、以下のようにすることができる。
・電子機器１の大きさは、５ｃｍ（Ｘ方向）×１０ｃｍ（Ｙ方向）×１ｃｍ（Ｚ方向）とする。
・位置ベクトルの原点を、スピーカ２０が実装された面の中心とする。
・スピーカ２０から放射される音波の周波数は２０ｋＨｚとする。
・音波の空間分布に関する表示は、２０ｃｍ×２０ｃｍのＺＸ平面にて行い、境界要素法により音波の計算を行う。
また、図４の符号２０１は、３次元座標系の原点となるスピーカ２０の音孔の中心点が存在する、電子機器１の一面を示す。符号２０２は、電子機器１の側面に実装されたマイクロフォン３０と、その音孔の中心点が存在する一面を示す。

図４に上部方向（Ｚ方向）が、電子機器１の表示面であり、上部方向に向けてスピーカ２０から放射された音波の音圧は、カーディオイドの尖点とは逆面のような整った空間分布であることがわかる。図４はコンター図（等高線図）であって、音圧の実時間波形の空間分布を示すものである。図４における色彩の濃淡の差異は、下記の式（１）に示される位相と振幅に関する情報を含む。

ここで、スピーカ２０の音孔の位置座標ベクトルＩにおける速度ポテンシャルをΦ₀（Ｉ）とする。また、座標位置ベクトルＲにおけるヘルムホルツ方程式（(∇²+k²）φ=-δ(R-I))の解であるグリーン関数をＧ₀（Ｒ）とすると、マイクロフォン３０の音孔の座標における速度ポテンシャルは下記の式（１）で表すことができる。但し、マイクロフォン３０の音孔は非常に微小であるため、マイクロフォン３０の音孔は特定の一点に簡略化し、音孔面における積分は省略している。

なお、ωは角速度、ｋは波形番号、ｔは時刻を示す。

式（１）に基づいて算出される速度ポテンシャルから、マイクロフォン３０の音孔の座標における音圧Ｐ₀（Ｒ、ｔ）は以下の式（２）により計算することができる。

なお、ρは空気密度である。

式（２）を参照することで、音圧は速度ポテンシャルの時間変化に比例することが分かる。

図５は、スピーカ２０から放射された音波の音圧空間分布の一例を示す図である。図５は、図４のように配置されたスピーカ２０の音孔の中心からＸ方向に５ｃｍ、Ｚ方向に５ｃｍずれた位置に指を想定した物体２０３を配置した場合の音圧の空間分布についての変化を示す図である。図５を参照すると、表示面が向く方向と逆の方向（Ｚ軸のマイナス方向）及びＸ方向における音圧の変化が不規則であることが理解できる。以降の説明において、電子機器１の周辺に物体が存在することにより、音圧の空間分布が乱れることを音圧空間分布の変調と呼ぶ。

図６は、スピーカ２０から放射された音波の音圧空間分布の一例を示す図である。図６は、スピーカ２０の音孔の中心からＸ方向に５ｃｍ、Ｚ方向に５ｃｍずれた位置に、親指を除く４本の指を想定した物体２０４を配置した場合の音圧の空間分布についての変化を示す。

図５と図６を比較すると、図６では、さらに顕著に音圧空間分布の変調が起きていることが確認できる。音圧空間分布の変調が存在しない図４の場合と、音圧空間分布の変調が存在する図５及び図６の場合とではグリーン関数が異なる。そこで、図５及び図６におけるグリーン関数をＧ（Ｒ、Ｉ）とすれば、図５及び図６における条件の下での速度ポテンシャルは、下記の式（３）により表すことができる。

ここで、図５及び図６は、指を想定した物体を所定の位置に静止させた場合の音圧空間分布の変調を図示したものである。しかし、実際には、ユーザは、指を動かすことで、電子機器１を操作する。このことは、図５及び図６において、静止している物体の位置が移動することを意味する。即ち、上記の式（３）において、グリーン関数が時間により変化するため、グリーン関数は位置のみに依存する（位置のみをパラメータとする）関数ではなく、時間もパラメータとする関数になる。

このような事情を考慮して、物体の位置（指の位置）が変化する場合の速度ポテンシャルと音圧を再表記すると、下記の式（４）及び（５）となる。

電子機器１を操作する際のユーザの指の動きを正弦波とみなすことはできないので、時間に依存するグリーン関数Ｇ（Ｒ、Ｉ、ｔ）における空間座標と時間のパラメータは分離できない。そのため、式（４）及び（５）をこれ以上、簡略化することはできない。なお、以降の説明において、マイクロフォン３０が集音する音圧時間波形の変化を音圧時間波形の変調と呼ぶ。

グリーン関数は、上述のように、時間に依存して変化する。しかしながら、その要因はユーザの指の動きである。スピーカ２０から放射される音波の周波数（例えば、２０ｋＨｚ）からみれば、ユーザの指の動きの変化率（あるいは、時間微分）は、非常に小さく、緩やかな変化とみなすことができる。そのため、上記の式（５）における第２項の値は、非常に小さな値となる。その結果、式（５）は式（６）のように近似することができる。

式（６）を参照すると、音圧時間波形の変調とは、時間にも依存する積分因子によるＡＭ変調（振幅変調）とみなすことができる。

以上説明した物理的条件の下において、所定の位置にユーザが指を置き、その指を動かしたことを、音圧時間波形の変化に基づき特定する。電子機器１では、マイクロフォン３０にて変換された電気信号の包絡線を算出し、算出した包絡線により大局的な時間波形の変化、即ち、電気信号の乱れの原因となるグリーン関数Ｇ（Ｒ、Ｉ、ｔ）の変化の有無を検出する。

図７は、電子機器１の内部構成の一例を示す図である。電子機器１は、表示デバイス１０と、スピーカ２０と、マイクロフォン３０と、操作デバイス４０と、トーン音生成部５０と、アンプ６０と、ＡＤ（Analog To Digital）変換器７０と、デジタル信号処理部８０と、制御部９０と、を含んで構成される。

電子機器１は、例えば、液晶パネルのような表示デバイス１０を備えている。電子機器１は、スピーカ２０及びマイクロフォン３０を備えている。電子機器１は、例えば、タッチパネルのような操作デバイス４０を備えている。トーン音生成部５０は、２０ｋＨｚよりも高い周波数を持つトーン音を生成する。トーン音生成部５０が生成したトーン音は、アンプ６０により適切な電力に増幅され、スピーカ２０により音波として放射される。ＡＤ変換器７０は、マイクロフォン３０が出力するアナログ信号をデジタル信号に変換する。

デジタル信号処理部８０は、ＡＤ変換器７０が出力するデジタル信号に対して信号処理を実施することで、ユーザが指を動かしたことに起因する音圧時間波形に基づき、ユーザの操作を特定する論理信号を制御部９０に出力する。デジタル信号処理部８０が、上述の変化検出部１０３及び判定部１０４に相当する。

制御部９０は、図７に示す各部を制御する。また、制御部９０は、デジタル信号処理部８０が出力する論理信号に従い、操作に応じた機能や動作をユーザに提供する。なお、デジタル信号処理部８０や制御部９０は、電子機器１に搭載されたコンピュータに、そのハードウェアを用いて、後に詳述する処理を実行させるコンピュータプログラムにより実現することもできる。

図８は、デジタル信号処理部８０における信号処理の一例を示す図である。

デジタル信号処理部８０は、ＡＤ変換器７０により変換されたデジタル信号を入力信号として受け付ける。ＡＤ変換器７０が出力するデジタル信号には、マイクロフォン３０が集音した信号（２０ｋＨｚのトーン音）の時系列の列ベクトル（Ｓ₀＝（ｓ₀１、ｓ₀２、・・・ｓ₀ｍ））と、ノイズ成分の時系列の列ベクトル（Ｎ₀＝（ｎ₀１、ｎ₀２、・・・ｎ₀ｍ））と、が含まれる。但し、ｍは正の整数とする（以下、同じ）。

バンドパスフィルタ３０１は、デジタル信号処理部８０が受け付けたデジタル信号をフィルタリングする。その結果、所望の周波数を持つ信号（ここでは、２０ｋＨｚのトーン音）に限り、バンドパスフィルタ３０１を通過する。

ヒルベルト変換器３０２は、バンドパスフィルタ３０１を通過した信号をヒルベルト変換する。なお、バンドパスフィルタ３０１を通過した信号の列ベクトルを信号列ベクトルＳと表記し、ヒルベルト変換された信号列ベクトルをｈ（Ｓ）と表記する。

複素解析信号化＆標準ノルム計算器３０３は、バンドパスフィルタ３０１を通過した信号列ベクトルＳと、ヒルベルト変換された信号列ベクトルｈ（Ｓ）と、から複素解析信号を生成する。さらに、複素解析信号化＆標準ノルム計算器３０３は、複素解析信号の標準ノルムを計算する。複素解析信号化＆標準ノルム計算器３０３が生成する複素解析信号は、下記の式（７）により表され、標準ノルムは式（８）により表せる。

なお、Ｓ²、ｈ（Ｓ）²は列ベクトルの各成分の２乗を計算することにより、生成される列ベクトルである。複素解析信号化＆標準ノルム計算器３０３の出力する標準ノルムが、マイクロフォン３０が集音した音波における音圧の包絡線に相当する。

バンドパスフィルタ３０４は、複素解析信号化＆標準ノルム計算器３０３の出力信号をフィルタリングする。ヒルベルト変換器３０２を、少ないタップ数のＦＩＲ（Finite Impulse Response）フィルタを用いて実現しようとした場合、デジタル信号列ベクトルにおける離散フーリエ変換成分の正負のナイキスト周波数の全域に渡って理想的なヒルベルト変換を行うことが困難である。つまり、位相が±π／２とならない遷移域が生じるため、包絡成分以外にも僅かなトーン音成分（ここでは、２０ｋＨｚ）が含まれてしまう。バンドパスフィルタ３０４は、このようなトーン音成分を除去する。

さらに、バンドパスフィルタ３０４により、包絡線における直流成分の除去が可能である。バンドパスフィルタ３０４は、包絡線に限り通過するように、その阻止周波数を決定する。例えば、低周波数側の阻止周波数を１０Ｈｚ、高周波数側の阻止周波数を３０Ｈｚのように設定する。

ここで、ヒルベルト変換器３０２からバンドパスフィルタ３０４により形成される経路を信号処理パスと表記する。一方、バンドストップフィルタ３０６からノイズ検知器３０９により形成される経路をノイズ処理パスと表記する。

遅延器３０５は、信号処理パスとノイズ処理パスのそれぞれから供給される信号のタイミングを調整する。遅延器３０５は、信号処理パスにより処理される信号と、ノイズ処理パスにより処理される信号と、が同じタイミングで乗算器３１０に供給されるように、その内部の遅延サンプル数を調整する。

上述したように、バンドストップフィルタ３０６を始点するパスは、ノイズに関する処理を実行するパスである。バンドストップフィルタ３０６は、バンドパスフィルタ３０１が取り除くことができないノイズ成分を抽出する。抽出したノイズを、ノイズ成分ベクトルＮと表記する。

標準ノルム計算器３０７は、ノイズ成分ベクトルＮの標準ノルム｜Ｎ｜を計算する。ローパスフィルタ３０８は、標準ノルム計算器３０７により計算されたノイズ成分ベクトルＮの標準ノルム｜Ｎ｜から、音波の包絡成分を除去する。

ローパスフィルタ３０８が、包絡成分を除去した後のノイズ成分をノイズ成分ベクトルＮの標準ノルムを標準ノルム｜Ｎ｜_lpfとする。ノイズ検知器３０９は、標準ノルム｜Ｎ｜_lpfを受け付ける。ノイズ検知器３０９は、下記の式（９）に示す処理を実行する。なお、ノイズ検知器３０９が出力する列ベクトルを列ベクトルＷと表記する。

ノイズ検知器３０９は、標準ノルム｜Ｎ｜_lpfがある閾値ｎ_thを超えた場合には、「０」を出力する。ノイズ検知器３０９は、標準ノルム｜Ｎ｜_lpfが閾値ｎ_thより小さい場合には、「１」を出力する。ノイズ検知器３０９は、式（９）に示す処理を標準ノルム｜Ｎ｜_lpfのサンプルごとに計算する。

乗算器３１０は、遅延器３０５の出力とノイズ検知器３０９の出力を、サンプルごとに乗算演算する。このことは、ノイズ検知器３０９から「０」が出力されると（ノイズが存在すると）、乗算器３１０から出力される値は「０」となることを示す。なお、乗算器３１０の出力する列ベクトルを、列ベクトルＸと表記する。

乗算器３１０が出力する信号は、最終的にユーザの操作がなされたか否かを、論理値（０／１）で判定するために、閾値判定手段とローパスフィルタにより矩形波に変換される。より具体的には、ローパスフィルタ３１１及び３１３と、波形整形器３１２及び３１４と、により矩形波に変換される。波形整形器３１２は、式（１０）に示す処理を実行する。波形整形器３１４は、式（１１）に示す処理を実行する。波形整形器３１２及び３１４は、式（１０）及び（１１）に示す処理をサンプルごとに実行する。なお、波形整形器３１２の出力する列ベクトルを、列ベクトルＹと表記する。波形整形器３１４の出力する列ベクトルを、列ベクトルＺと表記する。

式（１０）及び（１１）を参照すると、波形整形器３１２は、列ベクトルＸの絶対値と閾値を比較し、比較した結果に基づいて論理値（０／１）を出力することが理解できる。波形整形器３１４も同様である。また、波形整形器３１２及び３１４が使用する閾値を、それぞれ、ｘ_th及びｙ_thとする。

図９は、マイクロフォン３０の出力波形の一例である。図９は、ユーザの指等の物体が、所定の空間内に存在しない場合のマイクロフォン３０の出力を示す。なお、所定の空間内とは、例えば、スピーカ２０を中心とした直径１０ｃｍ程度の球体の内部である。

図１０は、マイクロフォン３０の出力波形の一例を示す図である。図１０は、ユーザが、スイッチを押すような動作（所定の空間内にて上から下に押し下げるような指の移動）を行った場合のマイクロフォン３０の出力を示す。

図９を参照すると、マイクロフォン３０の出力波形の包絡線は一定である。一方、図１０を参照すると、ユーザの指が動いた時刻Ｔ０１〜Ｔ０２の期間に、包絡線の変動が確認できる。

図１１は、乗算器３１０の出力波形の一例を示す図である。図１１に示す波形は、図１０に示す波形に対応しており、図１０と同一の条件で指を動かした場合の乗算器３１０の出力を示している。なお、各処理ブロックにおける遅延が存在するため、図１０と図１１の時間軸は一致しない。

ここで、複素解析信号化＆標準ノルム計算器３０３において、信号列ベクトルＳの包絡線が計算されている。また、バンドパスフィルタ３０４の働きにより、包絡線から直流成分が除去されているため、乗算器３１０の出力の基準値は「０」である。さらに、図１１を参照すると、乗算器３１０の出力は、縦軸方向において正負の振幅を持つことが分かる。従って、ユーザが指を動かすことで、マイクロフォン３０が集音する音波の音圧の変化は、図１１に示す乗算器３１０における波形の上下に相当する。

図１１において、横軸に平行な一点鎖線は、式（１０）における閾値ｘ_thを示す。波形整形器３１２において、乗算器３１０の出力する列ベクトルＸが、閾値ｘ_thを超えた場合に論理値「１」が出力される。さらに、ローパスフィルタ３１１により、乗算器３１０の出力する列ベクトルＸの微少な変動は除去された後に、列ベクトルＸは波形整形器３１２に入力されるので、時刻Ｔ０１〜Ｔ０２の期間では論理値「１」の出力が継続する。

図１２は、デジタル信号処理部８０の出力波形の一例を示す図である。図１２の波形は、ローパスフィルタ３１３と波形整形器３１４を経た後の波形である。つまり、デジタル信号処理部８０からは、最終的に、矩形波が出力される。このように、ユーザの指が動いた期間に限り、論理値「１」が出力される。

制御部９０は、デジタル信号処理部８０から論理値「１」を受け付ける。制御部９０は、受け付けた論理値「１」からユーザの操作を認識し、当該操作に割り振られた処理を実行する。

なお、電子機器１は、複数のマイクロフォンを備えていてもよい。そのような場合には、デジタル信号処理部８０において、それぞれのマイクロフォンから得られる音波について、包絡線を生成し、ユーザの操作を特定する処理を並列に実行してもよい。

また、電子機器１では、マイクロフォン３０において集音した音波にノイズが含まれる前提に立ってデジタル信号処理部８０の構成を説明した。しかし、ノイズ成分を考慮しなくてもよい環境下で電子機器１が使用されるのであれば、デジタル信号処理部８０の構成を簡略化することもできる。

図１３は、デジタル信号処理部８０における信号処理の別の一例を示す図である。

ノイズ成分を考慮する必要がなければ、図１３に示すように、図８におけるノイズ処理パス（バンドストップフィルタ３０６〜ノイズ検知器３０９）と、遅延器３０５及び乗算器３１０を削除することができる。さらに、電子機器１が使用される環境によっては、ローパスフィルタ３０８等を削除することも可能である。

あるいは、乗算器３１０の出力を矩形波にするための波形整形器及びローパスフィルタは、図８に示すように２段に限定されるものではなく、１段であっても３段以上であってもよい（図１４参照）。なお、図１４は、波形整形器及びローパスフィルタを１段とする場合の一例である。

また、波形整形器３１２は２つの閾値を持つこともできる。例えば、図１５に示すように、波形整形器３１２は、閾値ｘ_th1と、閾値ｘ_th1よりも大きな閾値ｘ_th2を設けて、下記の式（１２）のように、閾値ｘ_th2を超える場合には、論理値「２」を出力することもできる。なお、この場合には、波形整形器３１２の出力ビット数は、２ビット以上とする。

次に、電子機器１の動作について説明する。図１６は、電子機器１の動作の一例を示すフローチャートである。

ステップＳ０１において、制御部９０は、トーン音生成部５０を活性化することで、所定の周波数（例えば、２０ｋＨｚ）を持つトーン音を生成する。生成されたトーン音は、アンプ６０及びスピーカ２０を介して、空間に音波として放射される。

ステップＳ０２において、マイクロフォン３０は、スピーカ２０が放射した音波を集音する。マイクロフォン３０が集音した音波は、ＡＤ変換器７０を介してデジタル信号処理部８０に出力される。

ステップＳ０３において、デジタル信号処理部８０は、マイクロフォン３０が集音した音波における音圧の変化を検出する。より具体的には、デジタル信号処理部８０は、音圧の包絡線における変化を検出する。

ステップＳ０４において、デジタル信号処理部８０は、音圧の変化に基づいて、電子機器１を基準とした所定の範囲内における物体（例えば、ユーザの指）の移動の有無を判定する。

ステップＳ０５において、制御部９０は、デジタル信号処理部８０が出力する論理信号（０／１）に基づいて、ユーザの操作を特定する。さらに、制御部９０は、特定された操作に応じた処理を実行する。

電子機器１には、例えば、携帯電話、スマートフォン、ゲーム機、タブレットＰＣ(Personal Computer)、ノートＰＣ、ＰＤＡ(Personal Data Assistants：携帯情報端末)等が考えられる。

電子機器１では、その筐体に固定されたスピーカ２０とマイクロフォン３０を使用して、ユーザの操作を特定する。スピーカ２０から所定の周波数（例えば、２０ｋＨｚ）を持つ音波を放射している場合、マイクロフォン３０は定常的な音波の検出を行う（マイクロフォン３０が検出する音圧に乱れはない）。しかし、このような状況下において、スピーカ２０やマイクロフォン３０の周辺における空間の変化（電子機器１に対する物体の近接等）が生じると、マイクロフォン３０が集音する音波に変化が生じる。電子機器１では、このような音波の音圧の変化を、電子機器１を操作するための操作手段（指やスタイラス等）の移動の検出に用いる。その際、スピーカ２０から放射された音波が反射に要する時間や反射に伴う周波数の相違等を使用せず、音圧の包絡線（音の強さの包絡線）の変化を利用する。

以上のように、音圧の包絡線の変化を利用して電子機器１を操作するユーザインターフェイスを提供する。音圧の包絡線の変換を使用しているため、タッチパネルによる操作に対応したアイコン等を表示デバイス１０に表示させる必要がない。また、タッチパネルによる操作と同時に電子機器１を操作することも可能である。さらにまた、スピーカ２０やマイクロフォン３０は、高い周波数を扱うため、その実装面積が大きくなることもない（小型のスピーカ等を使用すればよい）。従って、本ユーザインターフェイスを実現するにあたり必要な実装面積を小さくすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
上述の第１の視点に係る電子機器のとおりである。
［付記２］
前記変化検出部は、前記音圧の包絡線における変化を検出する付記１の電子機器。
［付記３］
前記変化検出部は、前記音波検出部が検出する音波から生成された信号成分に対して、ヒルベルト変換を行うと共に、前記ヒルベルト変換された信号成分の標準ノルムを計算することで、前記包絡線を生成する付記２の電子機器。
［付記４］
前記変化検出部は、前記包絡線に対して、バンドパスフィルタを適用する付記２又は３の電子機器。
［付記５］
前記変化検出部は、前記音波検出部が検出する音波から抽出されたノイズ成分であって、０を中心に振動するノイズ成分と、前記包絡線の振幅と、を乗算演算する付記２乃至４のいずれか一に記載の電子機器。
［付記６］
前記判定部は、前記包絡線の振幅と、予め定めた閾値と、を比較することで、前記物体の移動の有無を規定する論理信号を出力する付記２乃至５のいずれか一に記載の電子機器。
［付記７］
前記音波発生部は、可聴帯域よりも高い周波数を持つ音波を空間に放射する付記１乃至６のいずれか一に記載の電子機器。
［付記８］
前記論理信号に基づいて、ユーザの操作を特定し、前記特定された操作に応じた処理を実行する制御部を備える付記６又は７の電子機器。
［付記９］
上述の第２の視点に係る電子機器の制御方法のとおりである。
［付記１０］
前記音圧の変化を検出する工程は、前記音圧の包絡線における変化を検出する付記９の電子機器の制御方法。
［付記１１］
前記音圧の変化を検出する工程は、前記音波検出部が検出する音波から生成された信号成分に対して、ヒルベルト変換を行うと共に、前記ヒルベルト変換された信号成分の標準ノルムを計算することで、前記包絡線を生成する付記１０の電子機器の制御方法。
［付記１２］
前記音圧の変化を検出する工程は、前記包絡線に対して、バンドパスフィルタを適用する付記１０又は１１の電子機器の制御方法。
［付記１３］
前記音圧の変化を検出する工程は、前記音波検出部が検出する音波から抽出されたノイズ成分であって、０を中心に振動するノイズ成分と、前記包絡線の振幅と、を乗算演算する付記１０乃至１２のいずれか一に記載の電子機器の制御方法。
［付記１４］
前記物体の移動の有無を判定する工程は、前記包絡線の振幅と、予め定めた閾値と、を比較することで、前記物体の移動の有無を規定する論理信号を出力する付記１０乃至１３のいずれか一に記載の電子機器の制御方法。
［付記１５］
上記第３の視点に係るプログラムのとおりである。
［付記１６］
前記音圧の変化を検出する処理は、前記音圧の包絡線における変化を検出する付記１５のプログラム。
［付記１７］
前記音圧の変化を検出する処理は、前記音波検出部が検出する音波から生成された信号成分に対して、ヒルベルト変換を行うと共に、前記ヒルベルト変換された信号成分の標準ノルムを計算することで、前記包絡線を生成する付記１６のプログラム。
［付記１８］
前記音圧の変化を検出する処理は、前記包絡線に対して、バンドパスフィルタを適用する付記１６又は１７のプログラム。
［付記１９］
前記音圧の変化を検出する処理は、前記音波検出部が検出する音波から抽出されたノイズ成分であって、０を中心に振動するノイズ成分と、前記包絡線の振幅と、を乗算演算する付記１６乃至１８のいずれか一に記載のプログラム。
［付記２０］
前記物体の移動の有無を判定する処理は、前記包絡線の振幅と、予め定めた閾値と、を比較することで、前記物体の移動の有無を規定する論理信号を出力する付記１６乃至１９のいずれか一に記載のプログラム。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、１００ 電子機器
１０ 表示デバイス
２０ スピーカ
３０ マイクロフォン
４０ 操作デバイス
５０ トーン音生成部
６０ アンプ
７０ ＡＤ変換器
８０ デジタル信号処理部
９０ 制御部
１０１ 音波発生部
１０２ 音波検出部
１０３ 変化検出部
１０４ 判定部
２００ ホームポジション
２０１、２０２ 電子機器１の一面
２０３、２０４ 物体
３０１、３０４ バンドパスフィルタ
３０２ ヒルベルト変換器
３０３ 複素解析信号化＆標準ノルム計算器
３０５ 遅延器
３０６ バンドストップフィルタ
３０７ 標準ノルム計算器
３０８、３１１、３１３ ローパスフィルタ
３０９ ノイズ検知器
３１０ 乗算器
３１２、３１４ 波形整形器

Claims (10)

1. 所定の周波数を持つ音波を空間に放射する音波発生部と、
   前記放射された音波を検出する音波検出部と、
   前記音波検出部が検出する音波の音圧の変化を検出する変化検出部と、
   前記音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する判定部と、
   を備えることを特徴とする電子機器。
2. 前記変化検出部は、前記音圧の包絡線における変化を検出する請求項１の電子機器。
3. 前記変化検出部は、前記音波検出部が検出する音波から生成された信号成分に対して、ヒルベルト変換を行うと共に、前記ヒルベルト変換された信号成分の標準ノルムを計算することで、前記包絡線を生成する請求項２の電子機器。
4. 前記変化検出部は、前記包絡線に対して、バンドパスフィルタを適用する請求項２又は３の電子機器。
5. 前記変化検出部は、前記音波検出部が検出する音波から抽出されたノイズ成分であって、０を中心に振動するノイズ成分と、前記包絡線の振幅と、を乗算演算する請求項２乃至４のいずれか一項に記載の電子機器。
6. 前記判定部は、前記包絡線の振幅と、予め定めた閾値と、を比較することで、前記物体の移動の有無を規定する論理信号を出力する請求項２乃至５のいずれか一項に記載の電子機器。
7. 前記音波発生部は、可聴帯域よりも高い周波数を持つ音波を空間に放射する請求項１乃至６のいずれか一項に記載の電子機器。
8. 前記論理信号に基づいて、ユーザの操作を特定し、前記特定された操作に応じた処理を実行する制御部を備える請求項６又は７の電子機器。
9. 所定の周波数を持つ音波を空間に放射する音波発生部と、
   前記放射された音波を検出する音波検出部と、
   を備える電子機器の制御方法であって、
   前記音波検出部が検出する音波の音圧の変化を検出する工程と、
   前記音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する工程と、
   を含むことを特徴とする電子機器の制御方法。
10. 所定の周波数を持つ音波を空間に放射する音波発生部と、
    前記放射された音波を検出する音波検出部と、
    を備える電子機器を制御するコンピュータに実行させるプログラムであって、
    前記音波検出部が検出する音波の音圧の変化を検出する処理と、
    前記音圧の変化に基づき、所定の範囲内における物体の移動の有無を判定する処理と、
    を実行するプログラム。

Images