JP2009087264A - 中空型スイッチ装置及びこれを備えた電子機器 - Google Patents

Abstract

【課題】操作者による多種多様な操作入力を認識可能とし、ユーザの操作性や操作感覚を向上する。
【解決手段】中空型スイッチ装置１０は、中空半球形状の操作部材１２を備えている。操作部材１２はゴム等の弾性素材で構成されており、外面から操作入力が加わると操作部材１２は弾性変形するが、操作入力が除去されると初期状態に復元する。操作部材１２の内側には広角レンズを有した光学部１６が設置されており、操作部材１２の内面には幾何学模様Ｐが投射されている。操作部材１２の変形に伴う幾何学模様Ｐの変化を光学レンズを通じて撮像し、画像から操作入力の位置や大きさを読み取ることができる。
【選択図】図２

Description

本発明は、多種多様な形態で操作を受け付けることが可能な中空型スイッチ装置及びこれを備えた電子機器に関するものである。

この種のスイッチ装置に関連する先行技術として、デジタルカメラ等の電子機器に搭載される光学式操作装置が知られている（例えば、特許文献１参照。）。この先行技術は、所定の幾何学的パターンが表面に形成された弾性体の操作シートを備えており、指やペンなどの操作体によって操作シートに押圧が加わると、操作シートの変形に伴う幾何学的パターンの形状変化を検出し、操作者による入力操作を認識するものである。

具体的には、操作シートはＰＥＴ等の透明な弾性体の樹脂フィルムで構成されており、その外面にストライプパターンやハニカムパターン、格子パターン等の幾何学的パターンが印刷されている。そして先行技術では、この幾何学的パターンに対して光を照射し、その反射光を受光してパターンデータを生成する。パターンデータは、メモリにバッファリングされて順次最新データに書き換えられる。そして、ＣＰＵがパターンデータの変化から操作シートの押圧位置を認識すると、これをプログラムモジュールにしたがっていずれかの操作認識（上、下、左、右、右上、左上、左下、右下、中央等）に置き換え、その操作をデジタルカメラの動作部に対して反映させている。
特開２００７−７２６６９号公報（第８−１１頁、図４）

しかしながら上記の先行技術は、平面的な操作シート上でどの位置が押圧されたかを認識するだけに留まる。このため、ユーザが指やペンによる操作を行うにしても、操作シート上のいずれか１箇所だけをスポットでタッチできるだけであり、それ以上の多種多様な操作を実現することはできない。

そこで本発明は、操作者による多種多様な操作入力を実現可能とし、ユーザの操作性や操作感覚を向上できる技術の提供を課題としたものである。

上記の課題を解決するため、本発明は以下の解決手段を採用する。
本発明は、内面に所定の幾何学模様が形成された状態で、外面からの操作入力に応じて初期状態から弾性変形する一方、操作入力の除去に伴い、その弾性で初期状態に復元可能な中空形状の操作部材と、この操作部材の内側に配置された広角レンズを通じて幾何学模様を撮像する撮像素子とを備えた中空型スイッチ装置である。

本発明によれば、操作部材が単なる平面的な部材ではなく、立体的な中空形状を有しているため、その外面に対して多方向（複数の角度）からの操作入力を受け付け可能とする。この点、先行技術のような平面的な操作シートに対しては、これを一方向に押圧することしかできなかったが、本発明では立体的な操作部材の外面に対していろいろな方向（角度）から押圧操作を加えることができる。また弾性を有した操作部材を用いることで、操作入力による変形状態から初期状態に自己復帰させるための部品が必要とされないため、簡易な構造で且つ小型化可能である。

また本発明では、操作部材の内面に形成された幾何学模様を広角レンズで撮像するため、操作部材の内面が立体的な形状（例えば凹面、内球面）であっても、多方向からの操作入力に対する幾何学模様の変化を確実に撮像することができる。

より実用的には、本発明は以下の構成を備えることが好ましい。
すなわち、本発明の中空型スイッチ装置は、撮像素子により撮像された画像に基づいて、操作部材の弾性変形に伴う幾何学模様の形態の変化を検出する画像認識手段と、画像認識手段の検出結果から操作部材に対する操作入力の内容を判断する入力判断手段とを備えたものである。

上記の構成により、操作部材に対して多様な操作入力が加えられた場合であっても、これに伴う幾何学模様の変化を画像から読み取ることで、実際にいかなる操作入力がなされたかを判断することができる。例えば、操作部材の複数箇所が同時に押圧されたり、ある程度の面積を有する範囲にわたって押圧されたりした場合であっても、そのときの操作部材の弾性変形に追従して幾何学模様が変化するため、この変化を画像から読み取って、実際に行われた操作入力の内容を判断することが可能となる。

本発明の中空型スイッチ装置は、広角レンズを通じて操作部材の内面に向けて光を照射する光照射素子と、光照射素子から照射された光を回折させ、この回折光を操作部材の内面に幾何学模様として投射させる回折格子とをさらに備えてもよい。

この場合、操作部材の内面には予め幾何学模様が形成されていなくても、光照射素子及び回折格子を用いて所望の幾何学模様を光の投射によって描くことができる。したがって、印刷・捺染等による固定的な幾何学模様だけでなく、使用する回折格子の特性に応じて多様な幾何学模様を形成することができる。

また本発明の中空型スイッチ装置は、光照射素子の照射光軸に対して回折格子を相対的に変位させ、操作部材の内面にて回折格子による幾何学模様の投射位置を変位させる駆動手段と、この駆動手段を制御する制御手段とをさらに備えている。この場合、上記の入力判断手段は、画像認識手段の検出結果に基づいて操作部材に対する操作入力の内容を判断し、そして制御手段は、入力判断手段の判断結果に基づいて駆動手段を制御することにより、操作部材に対して操作入力がなされた位置に対応させて幾何学模様の投射位置を変位させることが好ましい。

例えば、内面に投射される幾何学模様の形態（同心円形、格子形、ドット配列形等）によっては、模様の構成要素（線やドット）の分布が密になる所もあれば、分布が粗になる所もある。構成要素の分布が密であれば、それだけ幾何学模様の変化に対する分解能が高くなるため、操作入力がなされた位置に分解能の高い所を集中させれば、より認識精度を向上することができる。

そこで本発明では、制御手段の制御の下で駆動手段によって回折格子の位置を適宜動かし、操作入力がなされた位置に対応させて幾何学模様の投射位置を自在に変位させている。これにより、必要に応じて認識精度をコントロールし、より正確な処理判断を実現することができる。

また本発明は、操作部材及び撮像素子をそれぞれ支持する基台と、この基台に設けられ、操作入力に伴い操作部材を通じて基台に伝達される圧力を検出する圧力センサとをさらに備えてもよい。この場合、上記の入力判断手段は、画像認識手段の検出結果と、圧力センサによる検出結果とから操作部材に対する操作入力の内容を判断することが好ましい。

上記の構成によれば、幾何学模様の変化だけから判断がつきにくい操作入力であっても、操作部材を通じて基台に伝わる圧力（基台に生じる剪断力）を判断要素に追加することで、多様な操作入力をより正確に判断することができる。

例えば、操作部材への操作入力に関して鉛直方向（Ｚ軸）及び水平方向（Ｘ軸，Ｙ軸）を規定し、（１）操作部材を鉛直下方へ全体的に押し込む、（２）鉛直上方へ操作部材を全体的に引っ張り上げる、（３）水平軸周りのモーメントを操作部材に加える、といった各種の形態で操作入力がなされた場合を考える。これらの場合、局部的な押圧の場合と違って幾何学模様が全体的に変化するため、（１）と（２）の操作入力を正確に判別することは難しい。また（３）の操作入力については、幾何学模様にあまり大きな変化が生じないため、画像だけでは判断が困難になることがある。

そこで、これらの場合に圧力センサによる検出結果を判断要素に追加すれば、（１）と（２）では基台に加わる圧力（剪断力）が逆方向であるため、それによって（１）と（２）の操作入力を正しく判別することができる。また（３）の操作入力についても、基台に加わる圧力（剪断力）の変化を判断要素に追加すれば、操作部材に対してモーメントが加わっていることを正確に判断することができる。

なお、上記の圧力センサは、基台に対して複数箇所に設置されていることが好ましい。例えば、上記（３）の操作入力のように、同じ操作部材に対して片側（Ｘ軸の正方向）では鉛直下方の圧力が加わり、反対側（Ｘ軸の負方向）では鉛直上方の圧力が加わるという場合もある。この場合、場所によって方向が異なる圧力の変化を読み取ることで、より正確な判断を可能とすることができる。

あるいは、上記の圧力センサは、操作部材の外周縁に沿って基台の複数箇所に設置されていてもよい。操作部材に加わる外力（押圧力等）は、その外周縁から基台に伝達されるため、その影響を最も顕著に受けるのは外周縁の直下及びその近傍である。そこで、操作部材の外周縁に沿って（直下又は近傍）に複数箇所に圧力センサを設置することで、より正確な判断に資することが可能になる。

なお、上記の操作部材は光透過性を有する素材で構成されていることが好ましい。例えば、幾何学模様が印刷や捺染によって形成されている場合、撮像素子によって幾何学模様を撮像するには、操作部材の内部環境に適度な明るさが必要である。操作部材が光透過性を有していれば、外光を内部に透過させることができるので、特に内部に光源を持たなくても、予め形成された幾何学模様を撮像するのに充分な光量を得ることができる。

また上記のように、光照射素子によって幾何学模様を投射する場合、その投射光が操作部材を透過して外部に拡散するため、適度なイルミネーション効果を発揮することができ、視覚的な美観を向上することができる。

あるいは、操作部材が光透過性を有する場合、その内側に発光素子が設けられていてもよい。この場合、発光素子の発した光が操作部材の外部に拡散されて、上記のようにイルミネーション効果を発揮する。

また本発明は、上記の中空型スイッチ装置を備えた電子機器として構成してもよい。この場合、中空型スイッチ装置によって多様な操作入力を判断し、その判断結果を電子機器の動作に反映させることができる。

以上のように本発明によれば、従来の単純な押圧操作だけでなく、多方向からの押圧操作や一定範囲内での押圧操作を受け付け可能にし、従来にない操作性や操作感覚をユーザに提供することができる。また、多様な操作性を活かしたユーザインタフェースを電子機器に提供することで、その利便性を大きく向上することができる。

以下、本発明の実施形態について図面を参照しながら説明する。

〔第１実施形態〕
図１は、第１実施形態の中空型スイッチ装置１０を示す斜視図である。先ず、中空型スイッチ装置１０の基本構成について説明する。

中空型スイッチ装置１０は、例えば外形が半球状をなす操作部材１２を備えている。この操作部材１２は、ゴム等の弾性素材から成型されており、その内部は中空（ドーム型）となっている。図中に破線で示されているように、操作部材１２はある程度の肉厚を有しているが、その厚みは操作部材１２の外径に比較して小さい。

操作部材１２は、基台１４上に設置されている。基台１４は、例えば樹脂基板や金属基板で構成されており、その外形は操作部材１２に合わせて円盤状をなしている。なお操作部材１２は、その下端に位置する外周縁を基台１４の上面に接着された状態で基台１４に支持されている。基台１４の外径は操作部材１２よりも僅かに大きく、このため基台１４の外縁部は、操作部材１２から径方向に張り出している。

基台１４の外縁部には、例えば周方向に等間隔で取付部１４ａが形成されている。これら取付部１４ａは、中空型スイッチ装置１０を他の部材（電子機器の筐体等）に固定するためのものである。

また基台１４には、操作部材１２の内側に位置して光学部１６が設置されている。光学部１６は図示しない広角レンズを有しており、この広角レンズを通じて操作部材１２の内面に光を投射し、内面に所望の幾何学模様Ｐ（パターン）を形成する。また光学部１６は、操作部材１２の内面全域から反射光（又は透過光）を集光し、図示しない撮像素子による撮像を可能にする。なお、光学部１６の具体的な構成についてはさらに後述する。

図２は、中空型スイッチ装置１０の垂直断面図（図１中のII−II線）である。図２に示されているように、基台１４の下面には圧力センサ１８が設置されている。圧力センサ１８は、例えばピエゾ抵抗効果を利用して圧力の大きさに応じた電気信号を出力する圧電素子である。このような圧力センサ１８を用いれば、操作部材１２から基台１４に伝達される圧力（それによって生じる剪断力）を検出することができる。

例えば、鉛直下方（図中Ｚ軸の負方向）に操作部材１２が押圧されたり、逆に鉛直上方（図中Ｚ軸の正方向）に操作部材１２が引っ張り上げられたりすると、操作部材１２から基台１４に下向き又は上向きの圧力が伝達される。基台１４は図示しない電子機器の筐体等に固定されており、基台１４に伝達された圧力は、基台１４内部で剪断力として作用する。このときの剪断力（＋／−）が圧力センサ１８の検出信号として取り出されることになる。

また図中に矢印Ｆで示されるように、例えば操作部材１２を水平軸（例えば図中Ｙ軸）の周りに回転させようとするモーメントが作用すると、水平方向でみて片側（図中Ｘ軸の正方向）とその反対側（図中Ｘ軸の負方向）とで互いに圧力の向きが反対となる。このときの剪断力は互いに符号（＋／−）が逆となり、これが２つの圧力センサ１８による検出信号として別々に取り出されることになる。

なお、図２には２つの圧力センサ１８だけが示されているが、これ以外の複数箇所にも他の圧力センサ１８が設置されている。圧力センサ１８の設置場所は、例えば操作部材１２の外周縁の直下か、もしくはその近傍が好ましい。

〔広角レンズの応用〕
図３は、操作部材１２に対する多様な操作入力の例を示す図である。上記のように、基台１４に設けられた光学部１６は、広角レンズを用いて操作部材１２の内面全域に幾何学模様を形成しつつ、その内面に生じた幾何学模様の変化を撮像可能とする。第１実施形態の中空型スイッチ装置１０は、このような広角レンズを用いて光学的に幾何学模様を読み取ることで、より多様な操作入力に対する応答性を実現している。以下、第１実施形態の中空型スイッチ装置１０で使用可能な操作入力の例について説明する。

図３中（Ａ）：中空型スイッチ装置１０は、操作部材１２に対する１点（１箇所）の押圧操作を受け付け可能である。このような操作入力は、例えばユーザが１本指で操作部材１２を押し込む形態に該当する。

操作部材１２に対する押圧位置（方向）はユーザの任意であり、広角レンズによる幾何学模様の投射及び撮像範囲内であれば、ユーザは操作部材１２の外面のどこを押圧してもよい。操作部材１２が押圧された場合、そのときの押圧箇所に操作部材１２の弾性変形が生じ、それに追従して幾何学模様にも変化が生じる。第１実施形態では、このような幾何学模様の変化を光学的に読み取り、ユーザが行った押圧操作を認識することができる。

押圧力の大きさは、ユーザが任意に加減することができる。操作部材１２は押圧力の大きさにほぼ比例して変形量が大きくなることから、より大きな押圧力が加われば、それだけ幾何学模様の変化も大きくなる。したがって、幾何学模様の変化量から操作入力（押圧力）そのものの大きさを光学的に認識することができる。

図３中（Ｂ）：また中空型スイッチ装置１０は、操作部材１２に対する多点（複数箇所）での押圧操作を受け付け可能である。このような操作入力は、例えばユーザが２本指（人差し指と親指等）で操作部材１２をつまむ形態に該当する。

操作部材１２をつまむ位置（方向）はユーザの任意であり、広角レンズによる幾何学模様の投射及び撮像範囲内であれば、ユーザは操作部材１２の外面のどこをつまんでもよい。同時に操作部材１２の複数箇所が押圧された場合、それぞれの押圧箇所に操作部材１２の弾性変形が生じ、それに追従して幾何学模様にも変化が生じる。第１実施形態では、このような幾何学模様の変化を光学的に読み取り、ユーザが行った複数箇所への押圧操作を認識することができる。

また、つまむときの力の大きさは、ユーザが任意に加減することができる。操作部材１２を強くつまめば、それだけ幾何学模様の変化も大きくなることから、操作入力（つまむ力）そのものの大きさを光学的に認識することができる。

図３中（Ｃ）：中空型スイッチ装置１０は、操作部材１２に対する多点での押圧操作を入力したまま、全体を水平方向に移動させる操作入力を受け付け可能である。このような操作入力は、上記のようにユーザが操作部材１２をつまんだ状態で、そのつまんだ指をさらに前後左右（又は斜め）に動かす（外面上を滑らせる）形態に該当する。

上記のように操作部材１２に対する複数箇所の押圧は、幾何学模様の変化から光学的に読み取り可能である。この状態からさらに操作部材１２が全体的に水平方向へ弾性変形すると、押圧による局部的な幾何学模様の変化を維持したまま、幾何学模様全体の位置が水平方向にずれることになる。第１実施形態では、このような幾何学模様の変化を光学的に読み取り、ユーザが行った複合的な操作入力（つまんで動かす）を認識することができる。

〔圧力変化を追加した判断〕
また第１実施形態では、幾何学模様の変化の他に、基台１４に加わる圧力の変化を判断要素に追加することで、より多彩な操作入力を認識することもできる。

例えば、図３中（Ａ）において、押圧位置に最も近い位置では、操作部材１２から基台１４に加わる圧力が最大になる。また図３中（Ｂ）においては、それぞれの押圧位置に最も近い位置で操作部材１２から基台１４に加わる圧力が最大になる。さらに図３中（Ｃ）においては、水平方向への移動によって操作部材１２にモーメントが加わるため、上記のように対称位置で圧力（剪断力）の向きが逆になる。このため、複数箇所に設けた圧力センサ１８からの検出信号をそれぞれ判断要素に追加することで、より正確な操作入力の認識・判断が可能になる。

〔センシング手法〕
図４は、中空型スイッチ装置１０によるセンシング動作を実現するための機能構成を示すブロック図である。中空型スイッチ装置１０は、そのセンシング動作をコントロールするデバイスコントローラ２０を備えている。デバイスコントローラ２０は、例えば制御用ＩＣ２２や出力回路２４，２６、入力回路２８，３０等を有する電子回路モジュールとして構成されている。

制御用ＩＣ２２は、例えばＣＰＵ２２ａやメモリ２２ｂ、Ｉ／Ｏポート２２ｃを有する他、図示しないクロックジェネレータ等を内蔵するマイクロコンピュータである。ＣＰＵ２２ａはデバイスコントローラ２０の制御中枢であり、所定の組み込みプログラムを実行して各部を制御する。メモリ２２ｂは、ＣＰＵ２２ａのメインメモリとなる記憶デバイス（例えば、ＥＥＰＲＯＭ、ＲＡＭ等）であり、ＣＰＵ２２ａが実行するプログラムは、このメモリ２２ｂに格納されている。またＩ／Ｏポート２２ｃは、制御用ＩＣ２２と出力回路２４，２６、入力回路２８，３０との間で信号のやりとりを行う。

光学部１６は、上記の広角レンズを含む光学レンズ１６ａ，１６ｂ，１６ｃを有している。また光学部１６は、光照射素子３２とともに回折格子３４及びハーフミラー３６を有している。光照射素子３２は半導体レーザやＬＥＤ等であり、例えば可視光波長の光を照射することができる。光照射素子３２の照射光は回折格子３４で回折された後にハーフミラー３６で反射され、上記のように光学部１６の広角レンズを通じて操作部材１２の内面に向けて照射される。回折格子３４は照射光を回折させ、この回折光を所望の幾何学模様として操作部材１２の内面に投射させる。

デバイスコントローラ２０は、出力回路２６を通じて光照射素子３２に駆動信号を印加し、照射光の出力タイミングや出力期間（パルス幅）、光強度（振幅）等を制御することができる。

回折格子３４にはアクチュエータ３８が連結されている。アクチュエータ３８は、例えばリニアソレノイド等の駆動素子であり、このアクチュエータ３８は、回折格子３４を光軸に対して垂直方向（ｘ−ｙの２次元平面上）に変位させることができる。回折格子３４が光軸に対して変位すると、幾何学模様の位置が連動して変位することになる。

デバイスコントローラ２０は、出力回路２４を通じてアクチュエータ３８に対する駆動信号を印加し、光軸に対する回折格子３４の位置（変位量）を制御することができる。

この他に光学部１６は、撮像素子４０を備えている。広角レンズで集光された光（内面からの反射光）はハーフミラー３６を透過し、撮像素子４０にて撮像される。撮像素子４０は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等であり、広角レンズを通じて受けた光を各画素で光電変換し、画像信号として出力することができる。

デバイスコントローラ２０は、入力回路２８を通じて画像信号を受け取り、必要な信号処理（フィルタリング、強度補正、Ａ／Ｄ変換等）を行う。制御用ＩＣ２２は処理済みの画像信号を受け取ると、これを撮像データとしてメモリ２２ｂにバッファリングする。

またデバイスコントローラ２０は、入力回路３０を通じて各圧力センサ１８からの検出信号を受け取り、これをＡ／Ｄ変換して制御用ＩＣ２２に入力する。なお、圧力センサ１８からの検出信号は、それぞれの取付位置と関連付けた状態で信号処理される。例えば、検出信号を記述するビットデータ内には、その数値とともに取付位置を表すデータ（４ビット程度）が含まれる。

以上がセンシング動作を実現するための基本構成であるが、次に、これら基本構成を用いて実際にセンシング動作を行う際の処理手法について説明する。

〔センシングプログラム〕
図５は、デバイスコントローラ２０の制御用ＩＣ２２（ＣＰＵ２２ａ）が実行するメイン制御処理の手順例を示すフローチャートである。デバイスコントローラ２０が起動すると、ＣＰＵ２２ａが先頭のプログラムアドレスから処理を開始する。以下、各手順に沿って処理の流れを説明する。

ステップＳ１０：ＣＰＵ２２ａは、アクチュエータ管理処理を実行する。この処理では、ＣＰＵ２２ａはアクチュエータ３８の動作を制御することで、照射光軸に対して回折格子３４の位置決めを行う。なお初期状態では、特にアクチュエータ３８を駆動せず、回折格子３４を初期位置（原点）にセットしている。

ステップＳ１２：次にＣＰＵ２２ａは、パターン出力処理を実行する。この処理では、ＣＰＵ２２ａは光照射素子３２に対する駆動信号を出力し、実際に光照射素子３２から照射光を出力させる。またＣＰＵ２２ａは、この処理の中で例えばフィードバック補正を行い、適宜、その出力強度をコントロールする。これにより、実際に広角レンズを通じて回折光が照射され、操作部材１２の内面に所望の幾何学模様が投射されることになる。

ステップＳ１４：続いてＣＰＵ２２ａは、センサ入力処理を実行する。この処理では、入力回路２８，３０から順次ポーリング受信を行い、撮像素子４０からの画像データ及び各圧力センサ１８からの検出信号をメモリ２２ｂに転送する。

ステップＳ１６：そしてＣＰＵ２２ａは、画像解析処理を実行する。この処理では、先のステップＳ１４でバッファリングした画像信号に基づいて、幾何学模様の変化を解析する。上記のメモリ２２ｂ内には幾何学模様の原型データが格納されており、ＣＰＵ２２ａはバッファリングした最新の画像データと原型データとを対比する。なお原型データは、操作部材１２に操作入力が全く加わっていない初期状態で、その内面に投射される幾何学模様に相当する。ＣＰＵ２２ａは、原型データと画像データとの対比結果から幾何学模様の変化量と変化位置を演算すると、その演算結果をメモリ２２ｂに保存する。

〔幾何学模様の例〕
図６は、実際に投射される幾何学模様の例とその変化の様子を示す図である。
図６中（Ａ）：この例では、操作部材１２の内面に同心円状の幾何学模様が投射されている。操作部材１２に対して操作入力がされていない初期状態では、幾何学模様の中心（各円の中心）は、平面視でみた操作部材１２の中心に合致している。上記の原型データは、このときの幾何学模様を広角レンズで撮像したものと一致する。

図６中（Ｂ）：操作部材１２に対して、例えば１箇所（図中のハッチング領域）を押圧する操作入力がなされると、その押圧により操作部材１２が弾性変形し、これに追従して幾何学模様にも変化が生じていることが分かる。なお、操作入力は１箇所への押圧だけであるため、その他の大部分には弾性変形が生じていない。このため幾何学模様の変化も、主に押圧箇所を中心とした弾性変形領域のみとなる。

図６中（Ｂ）の幾何学模様を広角レンズで撮像した画像データと、上記の原型データとを対比することで、ＣＰＵ２２ａは幾何学模様の変化量と変化位置を演算する。変化量は、例えば各円周上でサンプリングした点の移動距離から演算することができ、変化量が大きければ、それだけ強い力で押圧されていることになる。また変化位置は、例えば最も変化量が大きいサンプル点について、中心からの距離（ｒ）と円周方向でみた角度（θ）、そして基台１４の上面からの仰角（φ）から演算することができる。変化位置の中心からの距離（ｒ）が大きければ、それだけ操作部材１２の外周縁に近い所が押圧されていることになる。また角度（θ）が大きければ（１８０°以内）、それだけ基準点（０°）から円周方向に離れた所が押圧されていることになる。仰角（φ）が大きければ、それだけ基台１４の上面（０°）から上方にある所が押圧されていることになる。

〔図５：再びメイン制御処理を参照〕
ステップＳ１８：ここでＣＰＵ２２ａは、画像解析処理の結果を受けて、幾何学模様（パターン）の補正が必要であるか否かを判断する。例えば、バッファリングした画像データが不鮮明（受光強度不足）であれば、ＣＰＵ２２ａは補正が必要であると判断する。この場合の補正は、光照射素子３２による出力強度の向上を意味する。これとは別に、演算により得られた変化量や変化位置が不明確（変化量が小さい、変化位置が不特定）である場合、ＣＰＵ２２ａは解析精度を向上するための補正を行う必要があると判断する。この場合の補正は、幾何学模様の位置を変位させ、より高い分解能が得られる所を変化位置に集中させることを意味する。幾何学模様の位置補正が必要と判断した場合、ＣＰＵ２２ａは合わせてその補正量（Δｘ，Δｙ）を決定する。

上記のステップＳ１８で補正の必要があると判断した場合（Ｙｅｓ）、ＣＰＵ２２ａはステップＳ１０に戻ってアクチュエータ管理処理を実行する。このとき、幾何学模様の位置に対する補正量があれば（Δｘ≠０，Δｙ≠０）、ＣＰＵ２２ａは補正の要求に従ってアクチュエータ３８を駆動する。これにより、回折格子３４が初期位置から変位し、その結果、幾何学模様の投射位置が補正位置に変更されることになる。

また、ステップＳ１８で出力強度の補正が必要であると判断した場合（Ｙｅｓ）ＣＰＵ２２ａは次のパターン出力処理（ステップＳ１２）において光照射素子３２による出力強度を所定レベルだけ上昇させる。

ステップＳ１８で補正の必要がないと判断した場合（Ｎｏ）、ＣＰＵ２２ａは次にステップＳ２０に進む。

ステップＳ２０：ＣＰＵ２２ａは、入力認識処理を実行する。この処理では、ＣＰＵ２２ａは画像解析処理で得た演算結果に基づき、あるいは、これに圧力センサ１８による検出結果を追加して、実際に行われた操作入力の内容を認識・判断する。

ステップＳ２２：そしてＣＰＵ２２ａは、先のステップＳ２０で得た認識結果を出力する。認識結果の出力は、デバイスコントローラ２０からの外部出力として利用することもできるし、制御用ＩＣ２２の内部（他のプログラム）で利用することもできる。

ＣＰＵ２２ａは以上の手順を繰り返し実行し、リアルタイムで操作部材１２に対する実際の操作入力を認識・判断し、その認識結果を出力している。なお、上記のアクチュエータ管理処理やパターン出力処理、センサ入力処理は、ＣＰＵ２２ａに所定周期（数ミリ秒程度）ごとにタイマ割込を発生させ、割込処理として実行してもよい。

〔応用例〕
図７は、第１実施形態の中空型スイッチ装置１０を電子機器に応用した場合の構成例を示すブロック図である。ここでは電子機器の一例として、車両用のナビゲーションシステム５０を挙げて説明する。

ナビゲーションシステム５０は、例えばＧＰＳアンテナ５２や記憶装置５４、表示装置５６を用いて構成されている。ＧＰＳアンテナ５２は車両に装備された状態で衛星からの位置信号を受信する。また記憶装置５４は、例えばハードディスクやＤＶＤメディア等の大容量記憶装置であり、ここには地図データや地形データ、施設データ等の情報が記憶されている。表示装置５６は、例えば液晶ディスプレイである。

またナビゲーションシステム５０には、車載ＥＣＵ（電子制御ユニット）５８から車速信号や加速度信号、ヨーレート信号、ハンドル操作角信号、ブレーキ操作信号、パーキングブレーキ操作信号等が提供されている。ナビゲーションシステム５０は、これら信号をもとに車両の走行状態を認識する。なお、ナビゲーションシステム５０の動作や機能については公知であるため、ここではその詳細を省略する。

第１実施形態の中空型スイッチ装置１０は、例えばナビゲーションシステム５０の入力デバイス（ユーザインタフェース）として利用することができる。デバイスコントローラ２０は、上記のメイン制御処理を通じて得た認識結果（操作入力の内容）をナビゲーションシステム５０に提供し、これを受け取ったナビゲーションシステム５０は、ユーザが行った操作入力に対応した処理を実行することができる。以下、中空型スイッチ装置１０に対する操作入力と、それに対するナビゲーションシステム５０の動作例について説明する。

〔動作例１〕
先ず図８は、ナビゲーションシステム５０の動作例１を示す説明図である。
図８中（Ａ）：例えば、ナビゲーションシステム５０のユーザ（運転者又は同乗者）が操作部材１２の１箇所を指で軽く触れた場合を想定する。この場合、デバイスコントローラ２０がセンシング動作（メイン制御処理）を実行することにより、例えば「１箇所（ｒ，θ，φ）を軽く押圧」という認識結果がナビゲーションシステム５０に対して提供される。なお、認識結果の極座標（ｒ，θ，φ）はユーザの指の位置に合致する。

図８中（Ｂ）：これを受けて、ナビゲーションシステム５０は表示装置５６の画面上に各種の操作メニューを表示させる処理を行う。操作メニューは、例えば地図上に重ねられたアイコンの形態で表示される。

図８中（Ｃ）：続いて、ユーザが操作部材１２に触れたままの状態で指を動かすと、その都度、デバイスコントローラ２０は操作入力がなされた位置をリアルタイムに判断し、「１箇所（ｒ，θ，φ）を軽く押圧」という認識結果をナビゲーションシステム５０に対して提供する。この場合、認識結果の極座標（ｒ，θ，φ）はユーザの指の位置に合わせて変化する。

図８中（Ｄ）：ナビゲーションシステム５０は、これを受けて画面上でカーソルを移動させる処理を行う。カーソルは、例えば操作メニューのアイコンを強調表示することで表現されている。この後、例えば所望の位置でユーザが操作部材１２を強く押し込むと、カーソルで選択された操作メニューの実行をナビゲーションシステム５０に対して指示することができる。

〔動作例２〕
次に図９は、ナビゲーションシステム５０の動作例２を示す説明図である。
図９中（Ａ）：今度は、動作例１のときよりもユーザが操作部材１２の１箇所を指で強く押し込んだ場合を想定する。この場合、例えばデバイスコントローラ２０から「１箇所（ｒ，θ，φ）を強く押圧」という認識結果がナビゲーションシステム５０に対して提供される。

図９中（Ｂ）：これを受けて、ナビゲーションシステム５０は表示装置５６の画面上に地図カーソルを表示させる処理を行う。地図カーソルは、例えば地図上でみた現在地に対応する位置に中心を合わせた状態で表示される。

図９中（Ｃ）：続いて、ユーザが操作部材１２に触れたままの状態で指を動かすと、その都度、デバイスコントローラ２０は操作入力がなされた位置をリアルタイムに判断し、同様に「１箇所（ｒ，θ，φ）を強く押圧」という認識結果をナビゲーションシステム５０に対して提供する。

図９中（Ｄ）：ナビゲーションシステム５０は、これを受けて画面上で地図を図中矢印方向にスクロール表示させる処理を行う。

以上の動作例１，２は、操作部材１２の１箇所を押圧する操作入力についてのものであるが、操作部材１２をユーザがつまむ操作入力を行った場合、ナビゲーションシステム５０は例えば以下の動作例を示す。

〔動作例３〕
図１０は、ナビゲーションシステム５０の動作例３を示す説明図である。
図１０中（Ａ）：ユーザが操作部材１２を軽くつまんでから、その指を離した場合を想定する。この場合、最初にデバイスコントローラ２０から「２箇所（ｒ１，θ１，φ１），（ｒ２，θ２，φ２）をそれぞれ軽く押圧」という認識結果がナビゲーションシステム５０に対して提供された後、続いて「操作入力なしの状態に復帰」という認識結果がナビゲーションシステム５０に対して提供される。

図１０中（Ｂ）：これを受けて、ナビゲーションシステム５０は表示装置５６の画面上で地図をズームアウト表示させる処理を行う。なお、上記の操作入力（軽くつまんで離す）をユーザが数回繰り返すと、その都度、地図がズームアウト表示される態様であってもよい。

図１０中（Ｃ）：今度は、ユーザが操作部材１２を強くつまんでから、その指を中央に寄せていった場合を想定する。この場合、最初にデバイスコントローラ２０から「２箇所（ｒ１，θ１，φ１），（ｒ２，θ２，φ２）をそれぞれ強く押圧」という認識結果がナビゲーションシステム５０に対して提供された後、連続して「２箇所（ｒ１，θ１，φ１），（ｒ２，θ２，φ２）をそれぞれ強く押圧」という認識結果がナビゲーションシステム５０に対して提供される。なお極座標は、その都度、ユーザの指の位置に合わせて変化する。

図１０中（Ｄ）：ナビゲーションシステム５０は、これを受けて表示装置５６の画面上で地図をズームイン表示させる処理を行う。ここでも同様に、上記の操作入力（強くつまんで寄せる）をユーザが数回繰り返すと、その都度、地図がズームイン表示される態様であってもよい。

〔動作例４〕
次に図１１は、ナビゲーションシステム５０の動作例４を示す説明図である。
図１１中（Ａ）：ここでは、ユーザが操作部材１２の一部（ユーザからみて手前側）をつまんだ場合を想定する。この場合、デバイスコントローラ２０から「２箇所（ｒ１，θ１，φ１），（ｒ２，θ２，φ２）を押圧」という認識結果がナビゲーションシステム５０に対して提供される。

図１１中（Ｂ）：これを受けて、ナビゲーションシステム５０は表示装置５６の画面上で地図を俯瞰図（３Ｄ表示）に切り換える処理を行う。

図１１中（Ｃ）：図１１中（Ａ）の状態から、さらにユーザが操作部材１２を指を動かすと、その都度、デバイスコントローラ２０は操作入力がなされた位置をリアルタイムに判断し、「２箇所（ｒ１，θ１，φ１），（ｒ２，θ２，φ２）を押圧」という認識結果をナビゲーションシステム５０に対して提供する。この場合、認識結果の極座標はユーザの指の位置に合わせて変化する。

図１１中（Ｄ）：ナビゲーションシステム５０は、これを受けて表示装置５６の画面上で地図を図中矢印方向にスクロール表示させる処理を行う。

〔その他の操作入力例〕
図１２は、操作部材１２に対する各種の操作入力の例を示す図である。以下、それぞれについて説明する。

図１２中（Ａ）：この例は、操作部材１２の外面をユーザが手のひら全体で押さえる操作入力である。この場合であっても、デバイスコントローラ２０は広い範囲に及ぶ幾何学模様の変化を認識することで、ユーザが行った操作入力の内容（形態）を正確に判断することができる。

図１２中（Ｂ）：この例は、操作部材１２をユーザが手の中に包み込み、全体的に図中斜め左上方向にずらす操作入力である。この場合、デバイスコントローラ２０は幾何学模様の全体的な変化を認識することで、ユーザが行った操作入力の内容（形態）を正確に判断することができる。また適宜、圧力センサ１８による検出結果を追加することで、デバイスコントローラ２０は操作部材１２がずらされている方向をより正確に認識することができる。

図１２中（Ｃ）：この例は、ユーザが操作部材１２の３点以上をつまむ操作入力である。この場合も同様に、デバイスコントローラ２０が幾何学模様の変化位置（３箇所）を認識することで、ユーザが行った操作入力の内容（形態）を正確に判断することができる。

〔第２実施形態〕
図１３は、第２実施形態の中空型スイッチ装置１００を示す斜視図である。なお、上記の中空型スイッチ装置１０と共通する事項については同じ符号を付し、その重複した説明を省略するものとする。

第２実施形態の場合、基台１４上で操作部材１２の内側に複数の発光素子１０２が設けられている。発光素子１０２は例えばＬＥＤ（フルカラー／単色）であり、基台１４上から操作部材１２の内面に向けて光（照明光）を照射することができる。操作部材１２はある程度の光透過性を有しており、発光素子１０２を発行させると、その光が操作部材１２を透過して拡散するため、これを外部からイルミネーションとして観察することができる。

なお、先の中空型スイッチ装置１０においても、操作部材１２が適度な光透過性を有するため、ある程度は幾何学模様の投射光が操作部材１２を透過して拡散する。したがって、特に発光素子１０２を設けない場合であってもイルミネーション効果を発揮することができる。

一方、第２実施形態のように発光素子１０２を設けた場合、これをイルミネーション専用として活用することができるので、より装飾性を向上することができる。特に中空型スイッチ装置１００を車載用として使用する場合、その装飾性の高さがインテリアとしての価値を高め、車両の内装品の美観を向上する効果が得られる。

〔第３実施形態〕
図１４は、第３実施形態の中空型スイッチ装置２００を示す斜視図である。ここでも同様に、上記の中空型スイッチ装置１０と共通する事項については同じ符号を付し、その重複した説明を省略するものとする。

第３実施形態の場合、操作部材１２０の形状が異なっている。第３実施形態の操作部材１２０は、例えば中空の四角柱形状をなしている。また基台１４０は、操作部材１２０の外形に合わせて四角板形状を有する。なお、基台１４０の四隅にはそれぞれ取付部１４０ａが形成されている。

第３実施形態のように、操作部材１２０を中空の四角柱形状とした場合、操作入力の方向をある程度まで絞り込むことができる。すなわち、操作部材１２０の外面が上、左右、前後の５面で構成されているため、操作入力をこれら５つの面に絞って受け付けることができる。なお第３実施形態では、操作部材１２０の内面形状に合わせて幾何学模様の形態を変更してもよい。

〔第４実施形態〕
図１５は、第４実施形態の中空型スイッチ装置３００を示す正面図である。第４実施形態の場合、特に基台１４２の構成が異なっている。基台１４２には、例えば下方に突出する突出部１４２ａが形成されており、基台１４２は、その突出部１４２ａとともに支持部材１４４に支持されている。支持部材１４４は、例えばある程度の高さを有した円錐台形状をなしており、その内部には圧力センサ１８が縦向きの姿勢と横向きの姿勢で設置されている。

このうち縦向きの姿勢にある圧力センサ１８は、上記の第１実施形態と同様に基台１４２に加わる圧力（剪断力）を検出する。これに対し、横向きの姿勢にある圧力センサ１８は、操作部材１２に加わる鉛直軸線（図中Ｚ軸）周りのモーメントによって生じる圧力を検出する。

第４実施形態によれば、ユーザが操作部材１２をひねる操作入力を行った場合であっても、これを横向きの姿勢にある圧力センサ１８の検出信号を用いて正確に認識することができる。したがって、操作入力に基づいて水平軸線周りのモーメント（図中矢印ＭＶ）に加え、鉛直軸線周りのモーメント（図中矢印ＭＨ）が操作部材１２に対して加えられた場合であっても、デバイスコントローラ２０によって操作入力の内容を高精度に認識・判断することができる。

〔実施形態のまとめ〕
以上のように、各実施形態によれば、単なる平面上での操作入力でなく、立体物に対する３次元的な操作入力が可能となる。このため例えば、各実施形態の中空型スイッチ装置をコンピュータのユーザインタフェースに利用すれば、３次元ＣＡＤやコンピュータグラフィックス、コンピュータゲーム等で扱われる３次元データに対する直感的な操作を可能とする。

また操作部材に弾性素材を用いているため、ユーザに対して反発力をフィードバックさせ、その力加減（強く押圧、弱く押圧等）を感覚的に調節させやすくすることができる。

本発明は各実施形態に制約されることなく、各種の変形を伴って実施することができる。操作部材の形状は、ドーム型や四角柱型に限らず、その他であってもよい。また、操作部材を含めた全体の大きさは任意である。

幾何学模様は光によって投射するものだけでなく、予め印刷されていてもよい。この場合であっても、操作部材が光透過性を有していれば、特に内部に照明を設けなくても撮像素子による撮像が可能である。

各実施形態では操作部材を基台に対して固定としているが、操作部材が基台に対して垂直軸線周りに回転自在であってもよい。操作部材が半球形状の場合、基台上で操作部材が回転しても幾何学模様には変化が生じないため、画像認識上で問題となることはない。一方、操作部材が回転自在であれば、ユーザがつまんだ状態で回転操作を加えることができ、それだけ操作入力の多様性が拡がる。

また、中空型スイッチ装置を適用する電子機器はナビゲーションシステムに限らず、その他の電子機器であってもよい。

第１実施形態の中空型スイッチ装置を示す斜視図である。 図１中のII−II線に沿う中空型スイッチ装置の垂直断面図である。 操作部材に対する多様な操作入力の例を示す図である。 中空型スイッチ装置によるセンシング動作を実現するための機能構成を示すブロック図である。 メイン制御処理の手順例を示すフローチャートである。 実際に投射される幾何学模様の例とその変化の様子を示す図である。 中空型スイッチ装置を電子機器に応用した場合の構成例を示すブロック図である。 ナビゲーションシステムの動作例１を示す説明図である。 ナビゲーションシステムの動作例２を示す説明図である。 ナビゲーションシステムの動作例３を示す説明図である。 ナビゲーションシステムの動作例４を示す説明図である。 操作部材に対する各種の操作入力の例を示す図である。 第２実施形態の中空型スイッチ装置を示す斜視図である。 第３実施形態の中空型スイッチ装置を示す斜視図である。 第４実施形態の中空型スイッチ装置を示す正面図である。

符号の説明

１０，１００，２００，３００ 中空型スイッチ装置
１２ 操作部材
１４ 基台
１６ 光学部
１８ 圧力センサ
２０ デバイスコントローラ（画像認識手段、入力判断手段）
３２ 光照射素子
３４ 回折格子
３６ ハーフミラー
３８ アクチュエータ
４０ 撮像素子
１０２ 発光素子

Claims (10)

1. 内面に所定の幾何学模様が形成された状態で、外面からの操作入力に応じて初期状態から弾性変形する一方、前記操作入力の除去に伴い、その弾性で前記初期状態に復元可能な中空形状の操作部材と、
   前記操作部材の内側に配置された広角レンズを通じて前記幾何学模様を撮像する撮像素子と
   を備えたことを特徴とする中空型スイッチ装置。
2. 請求項１に記載の中空型スイッチ装置において、
   前記撮像素子により撮像された画像に基づいて前記操作部材の弾性変形に伴う前記幾何学模様の形態の変化を検出する画像認識手段と、
   前記画像認識手段の検出結果から前記操作部材に対する操作入力の内容を判断する入力判断手段と
   をさらに備えたことを特徴とする中空型スイッチ装置。
3. 請求項２に記載の中空型スイッチ装置において、
   前記広角レンズを通じて前記操作部材の内面に向けて光を照射する光照射素子と、
   前記光照射素子から照射された光を回折させ、この回折光を前記操作部材の内面に前記幾何学模様として投射させる回折格子と
   をさらに備えたことを特徴とする中空型スイッチ装置。
4. 請求項３に記載の中空型スイッチ装置において、
   前記光照射素子の照射光軸に対して前記回折格子を相対的に変位させ、前記操作部材の内面にて前記回折格子による前記幾何学模様の投射位置を変位させる駆動手段と、
   前記駆動手段を制御する制御手段とをさらに備え、
   前記入力判断手段は、
   前記画像認識手段の検出結果に基づいて前記操作部材に対する操作入力の内容を判断し、
   前記制御手段は、
   前記入力判断手段の判断結果に基づいて前記駆動手段を制御することにより、前記操作部材に対して操作入力がなされた位置に対応させて前記幾何学模様の投射位置を変位させることを特徴とする中空型スイッチ装置。
5. 請求項２から４のいずれかに記載の中空型スイッチ装置において、
   前記操作部材及び前記撮像素子をそれぞれ支持する基台と、
   前記基台に設けられ、前記操作入力に伴い前記操作部材を通じて前記基台に伝達される圧力を検出する圧力センサとをさらに備え、
   前記入力判断手段は、
   前記画像認識手段の検出結果と、前記圧力センサによる検出結果とから前記操作部材に対する操作入力の内容を判断することを特徴とする中空型スイッチ装置。
6. 請求項５に記載の中空型スイッチ装置において、
   前記圧力センサは、前記基台に対して複数箇所に設置されていることを特徴とする中空型スイッチ装置。
7. 請求項６に記載の中空型スイッチ装置において、
   前記圧力センサは、前記操作部材の外周縁に沿って前記基台の複数箇所に設置されていることを特徴とする中空型スイッチ装置。
8. 請求項１から７のいずれかに記載の中空型スイッチ装置において、
   前記操作部材が光透過性を有することを特徴とする中空型スイッチ装置。
9. 請求項１から８のいずれかに記載の中空型スイッチ装置において、
   前記操作部材の内側に設けられ、その内面に向けて光を発する発光素子をさらに備えたことを特徴とする中空型スイッチ装置。
10. 請求項１から９のいずれかに記載の中空型スイッチ装置を備えた電子機器。

Images