以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るタッチ操作装置を搭載した情報機器の一例としてのデジタルカメラ(以下、単にカメラと言う)の外観図である。ここで、図1(a)はカメラの前面(被写体側)から見た外観図であり、図1(b)はカメラの背面から見た外観図である。ここでは、情報機器の例としてデジタルカメラを示したが、携帯電話機や携帯端末等であっても本実施形態の技術が適用され得る。また、視覚のみに頼らず、五感を有効利用した確認方法なので、応用範囲は広く、産業用、医療用の観察機器にも利用可能である。また、視覚に制約を強いないので、車載用の機器や監視カメラ等に応用できることは言うまでもない。
カメラの場合、操作者は、シャッタチャンスを逃さないように被写体を注視することが多い。この場合、操作者の意識が被写体に向けられ、操作者は、目で確認することなくカメラ操作を実行する。本実施形態では、操作者が目で確認しなくとも正しいカメラ操作を行えるようにする。例えば、小さな画面に操作者の注意が向いていると画面外で起こっている状況変化を見逃したりして危険に繋がる場合がある。そこまで重大な状況ではなくとも、インタビューの撮影等で、会話をしている相手等は、撮影時に表情が改まってしまうようなことがあった。
図1(a)に示すように、カメラ1の本体前面には、撮影レンズ102が設けられている。撮影レンズ102は、筒状の鏡枠と、鏡枠内に収納された光学系とを有している。鏡枠の周囲には、タッチ操作装置が形成されている。操作者は、このタッチ操作装置をフォーカスリングやズームリングの代わりとして用いてマニュアルフォーカスやマニュアルズームを実行することが可能である。また、カメラ1の本体上面には、レリーズボタン1141が設けられている。レリーズボタン1141は、操作者がカメラ1に対して撮影の実行を指示するための操作部材である。ここで、レリーズボタン1141は、圧電素子を有し、必要に応じて操作者の指に触覚刺激を与えるように構成されている。
また、図1(b)に示すように、カメラ1の本体背面には、表示部106が設けられている。そして、表示部106の上には、タッチ操作装置が形成されている。操作者は、タッチ操作装置を用いて各種の操作を行うことが可能である。
また、図1(b)に示すように、カメラ1の本体背面の上部には、ファインダ表示部110と、アイセンサ112とが設けられている。カメラ1は、表示部106と同様の表示をファインダ表示部110にも行うことができる。表示部106で表示を行うか又はファインダ表示部110で表示を行うかは、アイセンサ112の検出結果に応じて切り替える。詳しくは後で説明する。
さらに、カメラ1の本体背面下部には、マイクロホン(マイク)1161が設けられている。
図2は、カメラ1の詳細な構成を示すブロック図である。図2に示すように、カメラ1は、撮影レンズ102と、レンズ駆動部103と、タッチ操作装置104と、表示部106と、タッチ操作装置108と、ファインダ表示部110と、アイセンサ112と、操作部114と、音声入力部116と、撮像部118と、記録部120と、時計部122と、制御部124とを有している。
前述したように、撮影レンズ102は、鏡枠内に光学系が収納されて構成されている。撮影レンズ102の光学系は、単一又は複数のレンズと絞りとを有し、図示しない被写体の光像を、撮像部118の撮像素子1181の撮像面に集光する。光学系は、レンズ駆動部103によってその光軸方向に駆動される。レンズ駆動部103は、モータとその駆動回路とを有し、制御部124からの制御信号に従って光学系を駆動する。これにより、光学系のフォーカス駆動やズーム駆動が行われる。
タッチ操作装置104は、タッチセンサ1041と、圧電素子1042と、印加部1043とを有している。
タッチセンサ1041は、撮影レンズ102の鏡枠の周方向に沿って配置された複数の検出点を有している。各検出点は、操作者の指のタッチに応じて検出信号を制御部124に出力する。ここで、タッチセンサ1041は、感圧式タッチセンサや静電容量式タッチセンサ等、種々の検出方式のタッチセンサを用いることができる。感圧式タッチセンサは、検出点に指がタッチした際に検出点において生じる圧力の変化を検出することにより、指のタッチを検出するタッチセンサである。一方、静電容量式タッチセンサは、検出点に指が近接した際に指と検出点との間に生じる静電容量の変化を検出することにより、指のタッチを検出するタッチセンサである。このようなタッチセンサ1041により、操作者は、マニュアルフォーカス操作やズーム操作を行うことが可能である。ここで、ズームリングやフォーカスリングを鏡枠に設けた場合、タッチセンサ1041を省略しても良い。
圧電素子1042は、タッチセンサ1041に対応するように配置され、電圧の印加によって屈曲変位するように構成されている。ここで、本実施形態における圧電素子1042は、タッチセンサ1041の検出点に対応する部分毎に電圧を印加できるように構成されており、これによってタッチセンサ1041の検出点に対応する部分毎に屈曲する。圧電素子1042の構成及び動作については後で詳しく説明する。
印加部1043は、圧電素子1042の部分毎に独立に電圧を印加するように構成されている。ここで、印加部1043は、圧電素子1042のグランド電位に対して正負の電圧を印加する。印加部1043の構成及び動作については後で詳しく説明する。
表示部106は、例えば液晶ディスプレイや有機ELディスプレイであって、表示制御部としての制御部124から入力された画像データに基づいて画像を表示する。
タッチ操作装置108は、タッチセンサ1081と、圧電素子1082と、印加部1083とを有している。
タッチセンサ1081は、表示部106の上に2次元状に配置された複数の検出点を有している。各検出点は、操作者の指のタッチに応じて検出信号を制御部124に出力する。ここで、タッチセンサ1081も、タッチセンサ1041と同様、種々の検出方式のタッチセンサを用いることができる。このようなタッチセンサ1081により、操作者は、シャッタスピードの設定、絞りの設定、露出補正の設定等の各種の設定操作が可能である。また、タッチセンサ1081は、対象物指定部の一例としても機能する。操作者は、タッチセンサ1081によって対象物の指定を行うことが可能である。対象物とは、例えば撮影や再生の対象となり得る、操作者が関心を持っている被写体のことである。または、対象物は、操作者が関心をもつべき対象であっても良い。このような応用によって、操作者の意識にはないが、操作者が撮影したくなるような対象物を見つけることが可能である。ここで、対象物の候補リストを、データベース化して保持しても良い。このようなデータベースは、カメラ1の外部からダウンロードしても良い。さらには、対象物の候補を、操作者の行動分析で推定できるようにしても良い。
感覚刺激提供部の一例として機能する圧電素子1082は、タッチセンサ1081に対応するように配置され、電圧の印加によって屈曲変位するように構成されている。ここで、本実施形態における圧電素子1082は、タッチセンサ1081の検出点に対応する部分毎に電圧を印加できるように構成されており、これによってタッチセンサ1081の検出点に対応する部分毎に屈曲する。圧電素子1082の構成及び動作については後で詳しく説明する。
印加部1083は、圧電素子1082の部分毎に独立に電圧を印加するように構成されている。ここで、印加部1083は、圧電素子1082のグランド電位に対して正負の電圧を印加する。印加部1083の構成及び動作については後で詳しく説明する。
ファインダ表示部110は、カメラ1の本体背面上部のファインダ内に設けられた表示部である。ファインダ表示部110は、例えば液晶ディスプレイや有機ELディスプレイであって、表示制御部としての制御部124から入力された画像データに基づいて画像を表示する。
アイセンサ112は、ファインダの近傍に設けられ、操作者によるファインダの覗き込みを検出する。アイセンサ112は、例えば赤外光発光部と赤外光受光部とを有する。操作者がファインダを覗き込んでいる場合、赤外発光部で発光された赤外光は、操作者の顔で反射されて赤外受光部で受光される。これにより、赤外受光部における出力信号が変化する。一方、操作者がファインダを覗き込んでいない場合、赤外発光部で発光された赤外光が反射されないので赤外受光部の出力は変化しない。したがって、赤外受光部の出力信号から、操作者がファインダを覗き込んでいるか否かを識別することが可能である。
操作部114は、タッチ操作装置104及びタッチ操作装置108以外のカメラ1の本体に設けられた機械的な操作部材である。操作部114は、例えばレリーズボタン1141を含む。レリーズボタン1141は、前述したように圧電素子を有し、必要に応じて操作者の指に対して触覚刺激を与える。
対象物指定部の一例として機能する音声入力部116は、操作者からの音声を制御部124に入力する。音声入力部116は、マイクロホン(マイク)1161と、アナログ/デジタル(A/D)変換部1162とを有している。マイク1161は、操作者が発した音声を電気信号(音声信号)に変換する。A/D変換部1162は、マイク1161で得られた音声信号を、デジタル形式の音声信号(音声データ)に変換する。
撮像部118は、撮像素子1181と、A/D変換部1182とを有している。撮像素子1181は、撮影レンズ102の光学系の光軸上であって、撮影レンズ102の光学系によって被写体光束が結像される位置に配置されている。撮像素子1181は、画素を構成するフォトダイオードが二次元的に配置された撮像面を有している。各フォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が画像信号として読み出される。A/D変換部1182は、撮像素子1181で読み出された画像信号を、デジタル形式の画像信号(画像データ)に変換する。
記録部120は、例えばカメラ1の本体に内蔵される又はカメラ1の本体に対して着脱自在なフラッシュメモリであって、撮像部118を介して得られる画像データに基づいて制御部124により生成された画像ファイルを記録する。
時計部122は、撮影日時等の各種の時間を計る。例えば、撮影日時は、画像ファイルに記録される。
制御部124は、カメラ1の各種の動作を制御する。例えば、制御部124は、撮像制御部としての機能を有し、レンズ駆動部103の駆動制御や撮像素子1181の駆動制御を行う。また、制御部124は、表示制御部としての機能を有し、表示部106又はファインダ表示部110の動作を制御して表示部106又はファインダ表示部110に画像を表示させる。また、制御部124は、画像処理部を有し、撮像部118で得られた画像データに対して画像処理を施す。また、制御部124は、画像判定部を有し、画像データの特徴(輪郭や色等)を判定することによって操作者によって指定された対象物を探索する。また、制御部124は、音声処理部を有し、音声入力部116で得られた音声データから操作者が発した音声の内容を認識する。また、制御部124は、タッチ位置識別部としての機能を有し、タッチセンサ1041及びタッチセンサ1081において操作者の指がタッチした検出点の位置(タッチ位置)を識別する。また、制御部124は、圧電制御部としての機能を有し、タッチ位置に応じた圧電素子1042を駆動させるように印加部1043を制御する。
次に、本実施形態における圧電素子の詳細について説明する。もちろん、以下で説明する圧電素子に限るものではない。まず、圧電素子1042について説明する。図3は、圧電素子1042の上面透視図である。また、図4は圧電素子1042の断面図であって、(a)は図3の3A−3A線断面図であり、(b)は図3の3B−3B線断面図であり、(c)は図3の3C−3C線断面図である。
一例の圧電素子1042は、2枚の電極の間にポリ乳酸層を挟んで構成されている。以下、さらに詳しく圧電素子1042の構成を説明する。
例えば数十μm程度のポリイミド等の樹脂層である下側絶縁層202上には、タッチセンサ1041の検出点の数に対応した数の信号電極204が形成されている。各信号電極204は、例えば10μm程度の柔軟性を有する透明電極で作製されている。そして、各信号電極204は、対応する印加部に接続されている。例えば、1つの検出点は、図4(c)で示すようにして5枚の信号電極204を有している。これらの5枚の信号電極204には同一の電圧が印加される。
また、下側絶縁層202には、下側グランド(GND)電極206が形成されている。下側GND電極206は、カメラ1に設定されたグランド電位に接続されている。
信号電極204及び下側GND電極206の上には、ポリ乳酸層208が積層されている。ポリ乳酸層208は、圧電性と可撓性とを有する層であって、L体ポリ乳酸層2081とD体ポリ乳酸層2082とを積層して構成されている。L体ポリ乳酸層2081は、少なくとも1枚(図では3枚)のL体ポリ乳酸の薄膜シートを有している。一方、D体ポリ乳酸層2082は、少なくとも1枚(図では3枚)のD体ポリ乳酸の薄膜シートを有している。
ポリ乳酸層208の上には、上側グランド(GND)電極210が形成されている。すなわち、ポリ乳酸層208は、信号電極204と上側GND電極210との間に挟まれるように形成される。また、上側GND電極210から下側GND電極206にかけては、スルーホール212が形成され、スルーホール212によって上側GND電極210と下側GND電極206とが電気的に接続されている。これにより、上側GND電極210の電位がグランド電位に固定される。
さらに、上側GND電極210の上には、上側絶縁層214が積層されている。この上側絶縁層214によって圧電素子の内部の電極等が保護されている。
また、断面図で示すように、下側絶縁層202は、軟材質層216を介して基材層218に形成されている。軟材質層216は、例えばシリコーンゴム等の層であり、基材層218は、例えばガラス等の硬質材層である。
次に、圧電素子1082について説明する。圧電素子1082の積層構造は、圧電素子1042と類似しているので、異なる部分を中心に説明する。図5は、圧電素子1082の上面透視図である。また、図6は圧電素子1042の5−5線断面図である。
圧電素子1082は、図3で示した圧電素子1042を1つの圧電素子列とし、この圧電素子列を複数配列したものである。以下、さらに詳しく圧電素子1082の構成を説明する。
下側絶縁層202上には、信号電極204が形成されている。1つの圧電素子列は、縦方向に配列された複数(図では5枚)の信号電極204を有している。そして、1つの圧電素子列を構成する各信号電極204には、引き出し電極220が形成されている。1つの圧電素子列を構成する各信号電極204は、引き出し電極220を介して印加部1043又は1083に接続されている。
また、下側絶縁層202には、1つの圧電素子列について1枚の下側GND電極206が形成されている。
信号電極204及び下側GND電極206の上には、ポリ乳酸層208が積層されている。ポリ乳酸層208は、L体ポリ乳酸層2081とD体ポリ乳酸層2082とを積層して構成されている。
ポリ乳酸層208の上には、1つの圧電素子列について1枚の上側GND電極210が形成されている。そして、上側GND電極210から下側GND電極206にかけては、スルーホール212が形成され、スルーホール212によって上側GND電極210と下側GND電極206とが電気的に接続されている。
さらに、上側GND電極210の上には、上側絶縁層214が積層されている。この上側絶縁層214によって圧電素子の内部の電極等が保護されている。
図7は、印加部1043及び1083の構成例を示す図である。印加部1043と印加部1083とは基本的な構成は同一である。したがって、ここでは、印加部1043と印加部1083とを区別せずに説明する。図7に示すように、印加部は、定電圧源3021及び3022と、スイッチ3041a及び3042aと、スイッチ3041b及び3042bと、スイッチ切替部306aと、スイッチ切替部306bと、デコーダ308と、を有している。ここで、図7に示す印加部は、2つの信号電極204に対応した構成を示している。実際には、印加部は、信号電極204のそれぞれに対応して2つのスイッチと、スイッチ切替部とを有している。
定電圧源3021及び3022は、信号電極204に印加する電圧を生成する電源である。ここで、定電圧源3021は、グランド電位に対して正の電位を有する電圧(例えば+5V)を生成する電源である。また、定電圧源3022は、グランド電位に対して負の電位を有する電圧(例えば−5V)を生成する電源である。
スイッチ3041aは、定電圧源3021と信号電極204のうちの1つの信号電極204aとの間に開閉自在に接続され、スイッチ切替部306aからの制御信号に応じて定電圧源3021と信号電極204aとの間を導通状態又は開放状態とする。スイッチ3042aは、定電圧源3022と信号電極204aとの間に開閉自在に接続され、スイッチ切替部306aからの制御信号に応じて定電圧源3022と信号電極204aとの間を導通状態又は開放状態とする。
スイッチ3041bは、定電圧源3021と信号電極204のうちの別の1つの信号電極204bとの間に開閉自在に接続され、スイッチ切替部306bからの制御信号に応じて定電圧源3021と信号電極204bとの間を導通状態又は開放状態とする。スイッチ3042bは、定電圧源3022と信号電極204bとの間に開閉自在に接続され、スイッチ切替部306bからの制御信号に応じて定電圧源3022と信号電極204bとの間を導通状態又は開放状態とする。
スイッチ切替部306aは、信号電極204aに対応して設けられ、デコーダ308からの入力に応じてスイッチ3041a及びスイッチ3042aに対して制御信号を入力する。ここで、スイッチ切替部306aは、スイッチ3041aをオンとする場合にはスイッチ3042aをオフとし、スイッチ3042aをオンとする場合にはスイッチ3041aをオフとするように制御信号を入力する。
スイッチ切替部306bは、信号電極204bに対応して設けられ、デコーダ308からの入力に応じてスイッチ3041b及びスイッチ3042bに対して制御信号を入力する。ここで、スイッチ切替部306bは、スイッチ3041bをオンとする場合にはスイッチ3042bをオフとし、スイッチ3042bをオンとする場合にはスイッチ3041bをオフとするように制御信号を入力する。
デコーダ308は、制御部124からの圧電素子駆動指示を解読し、解読した圧電素子駆動指示に応じた信号電極に電圧が印加されるようにスイッチ切替部306a、306bに制御信号を入力する。
次に、圧電素子の動作を説明する。圧電素子の動作も、圧電素子1042と圧電素子1082とで違いはない。したがって、ここでも圧電素子1042の動作と圧電素子1082の動作とを特に区別せずに説明する。
タッチセンサのある検出点に対応した信号電極204に正の電圧(例えば+5V)を印加した場合、信号電極204と上側GND電極210との間に発生する電界により、L体ポリ乳酸層2081が伸びてD体ポリ乳酸層2082が縮む。なお、ポリ乳酸層208の変位量は、長辺方向よりも短辺方向の方が大きくなる。また、ポリ乳酸層208は、L体ポリ乳酸層2081、D体ポリ乳酸層2082の順で積層されている。したがって、ポリ乳酸層208は、全体としては、図8(a)に示すようにへこむように屈曲する。ポリ乳酸層208の屈曲によって生じる力により、上側絶縁層214、上側GND電極210、信号電極204、下側絶縁層202も屈曲するので、圧電素子は、全体としてへこむように変形する。なお、ポリ乳酸層208の屈曲によって生じる力は、軟材質層216で吸収されるので基材層218には伝達されない。
また、タッチセンサのある検出点に対応した信号電極204に負の電圧(例えば−5V)を印加した場合、信号電極204と上側GND電極210との間に発生する電界により、L体ポリ乳酸層2081が縮んでD体ポリ乳酸層2082が伸びる。前述と同様、ポリ乳酸層208の変位量は、長辺方向よりも短辺方向の方が大きくなる。また、ポリ乳酸層208は、L体ポリ乳酸層2081、D体ポリ乳酸層2082の順で積層されている。したがって、ポリ乳酸層208は、全体としては、図8(b)に示すように膨らむように屈曲する。ポリ乳酸層208の屈曲によって生じる力により、上側絶縁層214、上側GND電極210、信号電極204、下側絶縁層202も屈曲するので、圧電素子は、全体として膨らむように変形する。なお、ポリ乳酸層208の屈曲によって生じる力は、軟材質層216で吸収されるので基材層218には伝達されない。
このようにして、本実施形態における圧電素子は、タッチセンサの各検出点に対応した部分を直接的にへこませるか膨らませることができる。これにより、圧電素子の任意の位置から操作者に対して触覚刺激を与えることが可能である。
ここで、ポリ乳酸層208は、L体ポリ乳酸層2081とD体ポリ乳酸層2082とを積層して構成している。これは、大きな圧電性(大きな圧電定数)を持たせるためである。操作者に与える触覚刺激の大きさによっては、L体ポリ乳酸層2081とD体ポリ乳酸層2082の何れかのみ積層してポリ乳酸層208を構成しても良い。
また、L体ポリ乳酸層2081とD体ポリ乳酸層2082の積層順は、逆順でも良い。積層順が逆順である場合には、印加部によって正の電圧を印加したときに圧電素子が膨らむように屈曲し、負の電圧を印加したときに圧電素子がへこむように屈曲する。
次に、本実施形態に係るタッチ操作装置を有するカメラ1の動作を説明する。図9は、カメラ1のメインの動作を示すフローチャートである。図9の動作は、制御部124が主体となって制御される。また、図9の動作は、例えばカメラ1の電源がオンされた場合に開始される。
図9の動作が開始されると、制御部124は、カメラ1の動作モードが撮影モードか否かを判定する(ステップS101)。カメラ1は、動作モードとして撮影モードと再生モードとを有している。動作モードは、例えば操作者による操作部114又はタッチセンサ1081の操作に従って設定される。
ステップS101において、動作モードが撮影モードであると判定した場合に、制御部124は、表示部106にスルー画表示を行わせる(ステップS102)。スルー画表示として、制御部124は、撮像部118を起動してスルー画表示用の画像データを取得する。画像データの取得後、制御部124は、取得した画像データに対してホワイトバランス補正やガンマ補正等の一般的なスルー画表示用の画像処理を行う。スルー画表示用の画像処理の後、制御部124は、処理した画像データを表示部106に入力して表示部106による画像の表示を行わせる。
表示部106へのスルー画表示の後、制御部124は、アイセンサ112の検出結果から、操作者によるファインダ表示部110の覗き込みがあるか否かを判定する(ステップS103)。ステップS103において、ファインダ表示部110の覗き込みがないと判定した場合に、制御部124は、ファインダ表示部110へのスルー画表示を終了させる(ステップS104)。また、ステップS103において、ファインダ表示部110の覗き込みがあると判定した場合に、制御部124は、ファインダ表示部110にスルー画表示を行わせる(ステップS105)。ファインダ表示部110へのスルー画表示は、画像データの入力先がファインダ表示部110である点以外は表示部106へのスルー画表示と同様である。ファインダ表示部対してホワイトバランス補正やガンマ補正等の一般的なスルー画表示用の画像処理を行う。スルー画表示用の画像処理の後、制御部124は、処理した画像データを表示部106に入力して表示部106による画像の表示を行わせる。ファインダ表示部110へのスルー画表示の後、制御部124は、表示部106へのスルー画表示を終了させる(ステップS106)。
スルー画表示の後、制御部124は、タッチセンサ1081の検出結果から、操作者による表示部106の表示画面内へのタッチがされたか否かを判定する(ステップS107)。
ステップS104において、操作者による表示部106の表示画面内へのタッチがされたと判定した場合に、制御部124は、後で詳しく説明する振動制御のための対象物の指定が既になされているか否かを判定する(ステップS108)。
ステップS108において、対象物が指定済みであると判定した場合に、制御部124は、圧電素子の振動制御を行う(ステップS109)。振動制御については後で詳しく説明する。
ステップS108において、対象物が指定済みでないと判定した場合に、制御部124は、タッチ操作装置104の動作モードが対象物指定モードとなっているか否かを判定する(ステップS110)。カメラ1は、スルー画表示中のタッチ操作装置104の動作モードとして、タッチレリーズモードと対象物指定モードとを含む。タッチレリーズモードは、操作者のタッチ操作装置104に対するタッチ操作に応じて撮影を実行するモードである。一方、対象物指定モードは、操作者がタッチ操作装置104を用いて対象物を指定するためのモードである。これらの動作モードは、例えば図示しないメニュー画面におけるタッチ操作によって設定される。
ステップS110において、タッチ操作装置104の動作モードが対象物指定モードでない、すなわちタッチレリーズモードであると判定した場合に、制御部124は、撮影及び画像記録動作を実行する(ステップS111)。撮影動作として、制御部124は、AF制御を行って撮影レンズ102の光学系のピント合わせをするとともに、AE制御を行って撮影時の露出条件を決定する。ここで、ステップS111においては、タッチされた位置の被写体に対してピント及び露出を合わせるようにAF制御及びAE制御を行う。続いて、制御部124は、AE制御によって決定された露出条件に従って撮像部118に撮像動作を行わせる。撮像動作の後、制御部124は、撮像部118の撮像動作の結果として得られた画像データに対し、ホワイトバランス補正やガンマ補正、圧縮処理等の一般的な記録用の画像処理を行う。記録用の画像処理の後、制御部124は、圧縮処理された画像データに基づいて画像ファイルを生成し、生成した画像ファイルを記録部120に記録させる。このような撮影動作の後、制御部124は、処理をステップS119に移行させる。
ステップS110において、対象物指定モードであると判定した場合に、制御部124は、指定モードが同時指定モードであるか否かを判定する(ステップS112)。対象物指定モードは、指定モードとして、同時指定モードと、対象物のみ指定モードと、位置のみ指定モードとを有している。これらの指定モードは、例えば図示しないメニュー画面におけるタッチ操作によって設定される。ステップS112において、同時指定モードであると判定した場合に、制御部124は、操作者によってタッチされた位置の情報とその位置における被写体(対象物)の情報とを取得し、取得した位置情報及び対象物情報を図示しない記憶部に記憶させる(ステップS113)。ここで、対象物情報は、被写体の名称や形状等の情報が含まれる。被写体の名称は、例えば画像認識によって特定される。被写体の形状は、輪郭抽出等で検出される。ここで、対象物が移動体の場合には、対象物の追尾を行って位置情報を更新することが望ましい。
ステップS112において、同時指定モードでないと判定した場合に、制御部124は、指定モードが対象物のみ指定モードであるか否かを判定する(ステップS114)。ステップS114において、対象物のみ指定モードであると判定した場合に、制御部124は、操作者に対象物を指定させるためのメニュー画面を表示部106に表示させる(ステップS115)。図10は、メニュー画面の例を示す図である。操作者は、メニュー画面上に表示された対象物の一覧の中から所望の対象物の項目をタッチする。タッチ操作を受けて、制御部124は、操作者によってタッチされた項目の対象物を、スルー画表示中に得られる画像データから探索する(ステップS116)。対象物の探索は、周知の顔検出技術及び特徴量検出技術等を用いて行うことができる。この他、例えば対象物が空であれば、画面上方にあるローコーントラスト部分が空であると識別する。また、特定の画像データベースから、重要画像の特徴を読み出し、この重要画像との比較によって対象物を探索しても良い。専用の機器である場合、重要画像を自動で設定できる可能性は高い。例えば、車載用の機器に対しては対向車(すなわち自動車)や歩行者(すなわち人物)の画像を重要画像とすることができる。また、産業用の機器に対してはクラックや断線の画像、医療用の機器に対しては病変の画像を重要画像とすることができる。これらの重要画像は、テキストや音声と関連づけられていても良い。対象物の探索後、制御部124は、探索した対象物のタッチ操作装置104上の位置情報及び対象物情報を図示しない記憶部に記憶させる(ステップS117)。
ステップS114において、対象物のみ指定モードでない、すなわち位置のみ指定モードであると判定した場合に、制御部124は、操作者によってタッチ位置の情報を図示しない記憶部に記憶させる(ステップS118)。ここでの位置のみ指定モードは、点の指定を可能とするモードである。位置のみではなく、範囲を指定できるようにしても良い。この場合、例えば、図11に示すようにして操作者によって図示矢印Aで示すようにしてある範囲が指でなぞられたことを検出した場合に、制御部124は、その範囲の位置情報を図示しない記憶部に記憶させる。
続いて、制御部124は、音声入力部116からの信号に従って、操作者の音声が入力されたか否かを判定する(ステップS119)。ステップS119において、音声入力がないと判定した場合に、制御部124は、処理をステップS123に移行させる。
ステップS119において、音声入力があると判定した場合に、制御部124は、音声データを取り込み、取り込んだ音声データの内容を認識する(ステップS120)。認識された音声データの内容が予め登録してある対象物の名称(色や形状等でも良い)と一致したとき、制御部124は、認識した対象物を、スルー画表示中に得られる画像データから探索する(ステップS121)。対象物の探索後、制御部124は、探索した対象物のタッチ操作装置104上の位置情報及び対象物情報を図示しない記憶部に記憶させる(ステップS122)。
続いて、制御部124は、操作者によって撮影操作がなされたか否かを判定する(ステップS123)。撮影操作は、例えば操作部114のレリーズボタン1141の押操作である。ステップS123において、撮影操作がなされていないと判定した場合に、制御部124は、処理をステップS101に戻す。
ステップS123において、撮影操作がなされたと判定した場合に、制御部124は、撮影及び画像記録動作を実行する(ステップS124)。撮影動作として、制御部124は、AF制御を行って撮影レンズ102の光学系のピント合わせをするとともに、AE制御を行って撮影時の露出条件を決定する。ステップS124においては、例えば中央の被写体や最も近い被写体に対してピントを合わせようにAF制御を行う。続いて、制御部124は、AE制御によって決定された露出条件に従って撮像部118に記録用の撮像動作を行わせる。記録用の撮像動作の後、制御部124は、撮像部118の撮像動作の結果として得られた画像データに対し、ホワイトバランス補正やガンマ補正、圧縮処理等の一般的な記録用の画像処理を行う。記録用の画像処理の後、制御部124は、圧縮処理された画像データに基づいて画像ファイルを生成し、生成した画像ファイルを記録部120に記録させる。
撮影及び画像記録動作の後、制御部124は、現在、対象物の情報と位置情報の少なくとも何れかを記憶しているか否かを判定する(ステップS125)。ステップS125において、対象物の情報と位置情報の何れも記憶していない、すなわち対象物の指定がされていない判定した場合に、制御部124は、処理をステップS101に戻す。
ステップS125において、対象物の情報と位置情報の少なくとも何れかを記憶していると判定した場合に、制御部124は、記憶している対象物の情報又は位置情報をステップS124において記録した画像ファイルに追記する(ステップS126)。その後、制御部124は、処理をステップS101に戻す。
ステップS101において、動作モードが撮影モードでないと判定した場合に、制御部124は、動作モードが再生モードであるか否かを判定する(ステップS127)。ステップS127において、動作モードが再生モードでないと判定したとき、制御部124は、処理をステップS101に戻す。ステップS127において、動作モードが再生モードであると判定した場合に、制御部124は、再生モードの処理を行う(ステップS128)。再生モードの処理の詳細については後で詳しく説明する。
図12は、振動制御の処理を示すフローチャートである。振動制御の処理は、操作者がタッチしている位置と対象物の位置との位置関係に応じて操作者の指に対して触覚刺激を与える処理である。
図12において、制御部124は、現在、対象物の情報と位置情報の両方を記憶しているか否かを判定する(ステップS201)。ステップS201において、対象物の情報と位置情報の両方を記憶していると判定した場合、すなわち位置のみ指定モード以外で指定がなされた場合に、制御部124は、記憶している対象物の位置とタッチ位置とが同じ位置であるか否かを判定する(ステップS202)。ここでは、両者の位置差が許容範囲内であれば同じ位置であるとする。
ステップ202において、記憶している対象物の位置とタッチ位置とが同じ位置であると判定した場合に、制御部124は、図13に示すように、圧電素子1082におけるタッチ位置の検出点に対応した部分を振動させる(ステップS203)。その後、制御部124は、図12の処理を終了させる。このように、本実施形態では、操作者が、図14に示すようにして例えば音声によって対象物「空」を指定して、空の部分にタッチすると、指に振動刺激が与えられる。これにより、操作者は、自身が予め指定した対象物の位置に指をタッチさせていること、すなわち画面内における対象物の位置を表示部106の表示を見なくとも知ることができる。このため、ユーザは、自分が指定した対象物がそこにあることを瞬時に判断可能で、いちいち画面を確認せずとも安心して撮影ができ、指定していなくとも注意をひくべき対象物がそこにあることを視覚以外で確認可能である。
ここで、図13は、圧電素子1082を振動させる例である。これに対し、鏡枠の周囲に形成された圧電素子1042を振動させても良いし、レリーズボタン1141を振動させるようにしても良い。すなわち、撮影時において操作者の指が触れ得る箇所であれば振動させて良い。さらには、振動による触覚刺激以外の他の視覚以外の感覚刺激、例えば音声による聴覚刺激等の他の手法を用いて操作者に対象物の位置を通知するようにしても良い。音声で通知する場合、制御部124は、スピーカ123を制御して音声を発する。ウェアラブルの機器に応用する場合は、人体に接触する部位への振動が有効であり、車載機器の場合、ハンドルに振動を起こしたり、産業機器や医療機器の場合、操作部材が振動するようにすれば効果的である。
ステップ202において、記憶している対象物の位置とタッチ位置とが同じ位置でないと判定した場合に、制御部124は、図15(a)及び図15(b)に示すように、タッチ位置に対応した検出点から対象物の位置の検出点に向かって圧電素子1042を順次にへこませる(ステップS204)。なお、へこみ量は、一定量としても良いし、対象物の位置とタッチ位置とのずれ量に応じて変化させるようにしても良い。その後、制御部124は、図12の処理を終了させる。例えば、図16に示すように、指定されていた対象物が人物(顔)であり、操作者のタッチ位置が顔の位置から右にずれていた場合、操作者の指の位置から左方向に向かって圧電素子1082が順次にへこむ。また、図17に示すように、指定されていた対象物が人物(顔)であり、操作者のタッチ位置が顔の位置から上にずれていた場合、操作者の指の位置から下方向に向かって圧電素子1082が順次にへこむ。このようにしてタッチ位置から対象物の位置までの部分を順次にへこませることによって、対象物の位置まで指を案内することができる。タッチした部位の振動のみならず、別の部位や部品の振動でも、2次元に広がる画像に対応し、X方向、Y方向が分かるような振動変化方向であれば効果的にずれを伝えられる。これを水平方向、垂直方向に置き換えて振動させるのも有効である。このような工夫によって、ずれていることが目視なく認識できる。もちろん、方向やずれ具合によって振動を変更しても良い。近いほど強く、遠いほど弱くとか、Y方向ずれとX方向ずれで振動パターンを変えても良い。また、音声の補助があっても良く、画面を見ないで済むような発光パターン等で補助しても良い。
ここで、図15(a)及び図15(b)は、圧電素子1082を振動させる例である。これに対し、圧電素子1042を振動させても良い。この場合、ずれの方向と振動部分とを関連付けておくようにしても良い。例えば、操作者のタッチ位置が顔の位置から右にずれていた場合、鏡枠の右側部分を振動させ、操作者のタッチ位置が顔の位置から上にずれていた場合、鏡枠の上側部分を振動させる。
ステップS201において、対象物の情報と位置情報の両方を記憶していないと判定した場合、すなわち位置のみ指定モードで指定がなされた場合に、制御部124は、記憶している位置と対象物の位置とが同じ位置であるか否かを判定する(ステップS205)。ここでは、両者の位置差が許容範囲内であれば同じ位置であるとする。また、対象物は、予め定められているものとする。ステップS205における判定においては、定められた対象物を画像データから探索してその位置を記憶位置と比較する。
ステップS205において、記憶している位置と対象物の位置とが同じ位置であると判定した場合に、制御部124は、図13と同様に、圧電素子1082におけるタッチ位置の検出点に対応した部分を振動させる(ステップS206)。その後、制御部124は、図12の処理を終了させる。このようにして、操作者は、対象物が予め指定した位置にあることを表示部106の表示を見なくとも知ることができる。また、振動がない場合には、対象物が指定された位置にいないことを示している。このとき、操作者は表示部106の画面をみずに対象物を目視しながら対象物が特定の位置にくるようにカメラ1を動かすことが期待される。これにより、例えばカメラ1において設定されている画角が狭く、表示画面上で対象物を確認できないような場合であっても、正しく対象物を表示画面内に収めて撮影を行うことが可能である。
また、撮影用の対象物に限る必要はない。本実施形態の技術は、専用の観察機器への応用でも良い。このような専用の観察機器の場合、自動で対象物を設定し、設定した対象物が画面内にあるかを判定しても良い。このような対象物としては、車載用の機器ならな対向車や歩行者、産業用の機器ならばクラックや断線、医療用の機器ならば病変の画像等が相当する。これらの対象物の画像特徴は、テキストや音声と関連づけられていて、指定が可能であってもよい。また、対象物が撮影できるかを判定するのではなく、単に対象物が画像範囲に入ってきたかの判定だけでも良い。
ここで、ステップS206において、鏡枠の周囲に形成された圧電素子1042を振動させても良いし、レリーズボタン1141を振動させるようにしても良い。すなわち、撮影時において操作者の指が触れ得る箇所であれば振動させて良い。さらには、圧電素子1082の振動以外の音声等の他の手法を用いて操作者に対象物の位置を通知するようにしても良い。
ステップ205において、記憶している対象物の位置と対象物の位置とが同じ位置でないと判定した場合に、制御部124は、タッチ位置から、記憶位置と対象物の位置とのずれ方向に向かって圧電素子1042を順次にへこませる(ステップS207)。なお、へこみ量は、一定量としても良いし、対象物の位置とタッチ位置とのずれ量に応じて変化させるようにしても良い。その後、制御部124は、図12の処理を終了させる。
ここで、ステップS206において、圧電素子1042を振動させても良い。この場合、ずれの方向と振動部分とを関連付けておくようにしても良い。例えば、操作者のタッチ位置が顔の位置から右にずれていた場合、鏡枠の右側部分を振動させ、操作者のタッチ位置が顔の位置から上にずれていた場合、鏡枠の上側部分を振動させる。
図18は、再生モードの処理を示すフローチャートである。本実施形態では、撮影モード時だけでなく、再生モード時においても振動制御を行うようにしている。
再生モード時に、制御部124は、記録部120に記録されている画像ファイルの一覧を表示部106に表示させる(ステップS301)。続いて、制御部124は、操作者によって画像ファイルの選択がなされたか否かを判定する(ステップS302)。ステップS302において、画像ファイルの選択がなされていないと判定した場合に、制御部124は、処理をステップS319に移行させる。
ステップS302において、画像ファイルの選択がなされたと判定した場合に、制御部124は、操作者により選択された画像ファイルを再生する(ステップS303)。再生処理において、制御部124は、操作者により選択された画像ファイルを記録部120から読み出し、読みだした画像ファイルを伸長する。そして、制御部124は、伸長された画像データを表示部106に入力して画像の表示を行う。
画像ファイルの再生後のステップS304〜S318の処理は、ステップS107〜122で説明した対象物の指定及び振動制御の処理である。したがって、説明を省略する。ただし、図18からは、撮影に関する処理をなくしている。具体的には、ステップS111の撮影及び画像記録処理とステップS118の位置のみ指定モードとをなくしている。
振動制御の処理や対象物の指定の後、制御部124は、操作者により再生モードの終了が指示されたか否かを判定する(ステップS319)。例えば、動作モードが切り替えられた場合に再生モードの終了が指示されたと判定する。ステップS319において、再生モードの終了が指示されていないと判定した場合に、制御部124は、操作者により画像を変更する指示がされたか否かを判定する(ステップS320)。例えば、再生中の画像の再生終了が指示された場合に、画像を変更する指示がされたと判定する。ステップS320において、画像を変更する指示がされたと判定した場合、制御部124は、処理をステップ301に戻す。また、画像を変更する指示がされていないと判定した場合、制御部124は、処理をステップ303に戻す。
以上説明したように、本実施形態によれば、操作者のタッチ位置と予め指定した対象物の位置との位置関係に応じて圧電素子を屈曲させたり振動させたりすることによって操作者の指に触覚刺激を与えるようにしている。これにより、操作者は、表示部106の表示画面を見なくとも、また特別な知識がなくとも、画像内の対象物の位置を認識することが可能である。
また、本実施形態によれば、タッチセンサに形成された圧電素子の部分毎に信号電極を形成することによって、圧電素子を部分毎に屈曲させることが可能である。これにより、タッチセンサ上の任意の位置を他と独立して屈曲させることが可能である。これにより、操作者の指に対して直接的に触覚刺激を与えることが可能である。
また、本実施形態では、2枚の電極の間にポリ乳酸層を挟んで圧電素子を構成している。ポリ乳酸層は透明材であるので、表示部106の上に圧電素子を形成したとしても表示部106の表示が邪魔される可能性を低減できる。さらに、D体ポリ乳酸層とL体ポリ乳酸層とを積層することにより、屈曲変位を大きくすることが可能である。
ここで、ポリ乳酸層の何れかの層に電極を接続することで、圧電素子をタッチセンサとしても用いることが可能である。すなわち、操作者の指がタッチされた際のポリ乳酸層の撓みに応じた電圧信号を検出することで、タッチ位置を検出できる。このように構成した場合、圧電素子とタッチセンサとを1つにすることもできる。
さらに、例えば音声による対象物指定であれば表示部106又はファインダ表示部110による画像の表示は必要ない。すなわち、表示部106又はファインダ表示部110がなくとも、タッチセンサの検出点の位置と画像の各位置との対応付けがされていれば、図12で示したのと同様の振動制御を行うことが可能である。ここでは、振動し、位置センシングし、透過性、可撓性、成形性に優れたポリ乳酸の実施例を詳しく説明したが、他の複数の素材を組み合わせても同様の効果を奏することは言うまでもない。ポリ乳酸は、振動位置を変更するのも簡単であるが、タッチパネル全体を動かすような工夫で対応も可能である。
以上実施形態に基づいて本発明を説明したが、民生用のカメラやビデオカメラ、モバイル機器以外への応用が可能で、産業用、医療用、監視用の専用の撮影機器、観察機器への応用も可能である。また、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施形態における画像処理装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部124に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部124は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。