JP2006058973A - 触覚情報作成装置及び触覚情報作成方法 - Google Patents

触覚情報作成装置及び触覚情報作成方法 Download PDF

Info

Publication number
JP2006058973A
JP2006058973A JP2004237638A JP2004237638A JP2006058973A JP 2006058973 A JP2006058973 A JP 2006058973A JP 2004237638 A JP2004237638 A JP 2004237638A JP 2004237638 A JP2004237638 A JP 2004237638A JP 2006058973 A JP2006058973 A JP 2006058973A
Authority
JP
Japan
Prior art keywords
tactile
information
detection
waveform
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004237638A
Other languages
English (en)
Other versions
JP2006058973A5 (ja
Inventor
Shigeaki Maruyama
重明 丸山
Junichi Sekine
淳一 関根
Koichiro Takashima
宏一郎 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004237638A priority Critical patent/JP2006058973A/ja
Publication of JP2006058973A publication Critical patent/JP2006058973A/ja
Publication of JP2006058973A5 publication Critical patent/JP2006058973A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract


【課題】 物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成できるようにすると共に、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようにする。
【解決手段】 操作体に与える触覚を再現するための触覚情報を作成する装置であって、実際の物体を操作した際に得られる触覚を検出して触覚検出信号を出力する触覚検出グローブ1Rと、この触覚検出グローブ1Rから出力される触覚検出信号を信号処理して触覚情報を作成する情報作成手段10とを備えるものである。この構成によって、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成することができる。従って、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようになる。
【選択図】 図1

Description

本発明は、触覚入力機能付きの情報処理装置や、携帯電話機、情報携帯端末装置等に予め格納される触覚情報の作成に適用して好適な触覚情報作成装置及び触覚情報作成方法に関する。詳しくは、操作体に与える触覚を再現するための触覚情報を作成する情報作成手段を備え、実際の物体を操作した際に得られる触覚検出信号を信号処理して、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成できるようにすると共に、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようにしたものである。
近年、ユーザ(操作者)は、携帯電話機やPDA(Personal Digital Assistants)等の携帯端末装置に様々なコンテンツを取り込み、それを利用するようになってきた。これらの携帯端末装置には入力装置が具備される。入力装置にはキーボードや、JOGダイヤル等の入力手段、表示部を合わせたタッチパネルなどが使用される場合が多い。
また、各種方式のタッチパネルと表示部と圧電素子とを組み合わせた触覚入力機能付きの携帯端末装置を備えたものが考案されている。この種の携帯端末装置によれば、触覚情報を記憶した記憶装置が備えられる。触覚情報は、入力操作時に操作者の指に触覚を与えるために使用される。操作者は、アイコン表示位置を直接タッチして入力項目を選択する。このとき、圧電素子が動作して操作者の指に触覚を与えるように動作する。
このように、表示部に表示された各種アイコンを直接さわる(入力する、押下する)等の押下操作で、触覚入力機能を実現することができ、目の移動量も、JOGダイヤル方式に比べて少なく、より直接的に入力項目を選択することができるというものである。
この種の触覚情報の作成に関連して特許文献1には、指装着型6軸力覚センサが開示されている。この指装着型6軸力覚センサによれば、人間の指を挿入する指サックと、物体に触れる指カバーとの間に弾性構造体を備え、この弾性構造体は、特定の力とモーメントから成る力成分に対して歪み易い構造を有し、その力成分に対する歪みを歪みゲージ又は光センサで電気信号に変換するようになされる。このように力覚センサを構成すると、人間の指先がどのようなタイミングでどのような力を発生しているかという動的な接触力の変化を検出できるというものである。
また、触覚情報の作成に関連して特許文献2には、把握データ入力装置が開示されている。この把握データ入力装置によれば、固定ベースに取り付けられたリンク機構と、このリンク機構の所定部位に取り付けられた角度センサと、リンク機構の所定の部位に取り付けられた指装着型6軸力覚センサを備え、この力覚センサは、人間の指を挿入する指サックと、物体に触れる指カバーとの間に弾性構造体を有し、この弾性構造体は、特定の力とモーメントから成る力成分に対して歪み易い構造を有し、その力成分に対する歪みを歪みゲージ又は光センサで電気信号に変換するようになされる。角度検出センサは、リンク機構の動きを検出して、人間の指先の動きを計測するようになされる。このように入力装置を構成すると、人間の手指の運動及び指先に作用する接触力を計測できるというものである。
更に、触覚検出グローブに関連して特許文献3には、画像・触覚情報入力装置が開示されている。この画像・触覚情報入力装置によれば、手に装着可能な手袋状の入力装置が備えられ、撮影者は、手袋状の入力装置を装着する。これを前提にして、対象物を撮影して画像情報を取得し、その対象物の一部に触れて手袋状入力装置を通じて触覚情報を取得する。情報保存時、画像情報と触覚情報とを関連付けて格納する。情報再生時には、画像情報と関連付けて触覚情報を再生するようになされる。このように入力装置を構成すると、対象物の画像と触覚とを正確に再現できるというものである。
特公平14−3261653号公報(第2頁 第3図) 特公平15−3409160号公報(第2頁 第3図) 特開2004−0021820号公報(第2頁 第4図)
ところで、従来例に係る触覚情報作成装置によれば、以下のような問題がある。
i.触覚入力機能付きの情報処理装置や、携帯電話機、情報携帯端末装置等の触覚提示装置に予め格納する触覚情報を作成しようとする場合であって、特許文献1及び2に見られるような指装着型6軸力覚センサを使用して、ユーザが実際に操作するスイッチやキーボード等の物体への接触力や、操作時の加速度等を測定する方法が考えられる。
このような測定方法を採用すると、操作者が普通かつ自然に電子機器を操作する状態と異なってしまうため、その結果、適切な力や加速度等の触覚検出情報が得られない場合が多くなる。従って、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成することが困難となる。これにより、物体操作時に、その触覚情報を用いても、物体を操作したのとほぼ同等の触覚を操作体に提示することができなくなる。
ii.また、キーボード操作のように5本の指を同時に使って操作を行う場合は、各々の指に関する測定を別々に実行する煩雑さがある。因みに、特許文献3に見られるような手袋状の入力装置を使用して、5本の指による触覚検出情報を取得する方法が考えられる。しかしながら、画像情報と触覚情報とを関連付けることができても、触覚提示装置では、操作対象物体の画像情報が格納されないことから、操作対象物体と、その操作対象となった物体から取得した触覚情報とを関連付けることが困難になる。
iii.上記のような方法で測定された接触力や加速度等の触覚検出情報を信号処理した触覚情報を触覚入力機能付きの情報処理装置や、携帯電話機等の触覚提示装置の制御信号として用いる場合に、その触覚提示装置の特性に合わせたものに加工する必要がある。しかしながら、これまでそのような作業は、情報加工者の主観(感覚)に頼る部分が多く、再現性及び汎用性に乏しかった。
そこで、この発明はこのような従来の課題を解決したものであって、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成できるようにすると共に、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようにした触覚情報作成装置及び触覚情報作成方法を提供することを目的とする。
上述した課題は、操作体に与える触覚を再現するための触覚情報を作成する装置であって、実際の物体を操作した際に得られる触覚を検出して触覚検出信号を出力する触覚検出手段と、この触覚検出手段から出力される触覚検出信号を信号処理して触覚情報を作成する情報作成手段とを備えることを特徴とする触覚情報作成装置によって解決される。
本発明に係る触覚情報作成装置によれば、操作体に与える触覚を再現するための触覚情報を作成する場合に、触覚検出手段は、実際の物体を操作した際に得られる触覚を検出して触覚検出信号を出力する。例えば、触覚検出手段には、操作者の手に装着可能な触覚検出グローブが使用され、この触覚検出グローブは、物体操作時の操作者の手の接触力に係る触覚検出信号を出力する共に、当該操作者の手の動きの加速度に係る触覚検出信号を出力する。これを前提にして、情報作成手段は、触覚検出手段から出力される接触力や加速度等の触覚検出信号を信号処理して触覚情報を作成するようになる。
従って、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成することができる。これにより、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようになる。
本発明に係る触覚情報作成方法は、操作体に与える触覚を再現するための触覚情報を作成する方法であって、実際の物体を操作して得られる触覚を検出する工程と、検出された物体からの触覚に基づいて当該物体操作時の触覚情報を作成する工程とを有することを特徴とするものである。
本発明に係る触覚情報作成方法によれば、操作体に与える触覚を再現するための触覚情報を作成する場合に、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成することができる。従って、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようになる。
本発明に係る触覚情報作成装置によれば、操作体に与える触覚を再現するための触覚情報を作成する場合に、実際の物体を操作した際に得られる触覚検出信号を信号処理して触覚情報を作成する情報作成手段を備えるものである。
この構成によって、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成することができる。従って、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようになる。
本発明に係る触覚情報作成方法によれば、操作体に与える触覚を再現するための触覚情報を作成する場合に、実際の物体を操作した際に得られる触覚を検出し、ここで検出された物体からの触覚に基づいて当該物体操作時の触覚情報を作成するようになされる。
この構成によって、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成することができる。従って、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようになる。
続いて、この発明に係る触覚情報作成装置及び触覚情報作成方法の一実施例について、図面を参照しながら説明をする。
図1は本発明に係る実施例としての触覚検出グローブを用いた触覚情報作成装置100の外観例を示す図である。
この実施例では、操作体に与える触覚を再現するための触覚情報を作成する情報作成手段を備え、実際の物体を操作した際に得られる触覚検出信号を信号処理して、物体を実際に操作したのとほぼ同等の触覚を操作体に提示可能な触覚情報を作成できるようにすると共に、物体操作時に、触覚情報に基づいて物体を操作したのとほぼ同等の触覚を操作体に擬似的に提示できるようにしたものである。
図1に示す触覚情報作成装置100は、操作体に与える触覚を再現するための触覚情報を作成する装置である。操作体は、触覚入力機能付きの電子機器(触覚提示装置)や、これらの電子機器を持つ操作者の手や指等である。触覚情報作成装置100には触覚検出グローブ1R等が装備される。触覚検出グローブ1Rは、例えば、操作者の右手に装着可能となされ、操作者が各種スイッチやキーボードなどの入力装置を操作する際に、その入力装置からフィードバックされる触覚(操作感)を操作者の自然な入力動作を損なわないで電気信号に変換するように動作する。触覚検出グローブ1には測定ケーブル2が接続され、この測定ケーブル2の他端には接続具3が取り付けられる。接続具3は情報作成手段10に接続して使用される。
図2は、触覚検出グローブ1Rを含む触覚情報作成装置100の構成例を示すブロック図である。
図2に示す触覚情報作成装置100は、操作者が容易に装着可能な手袋状の入力装置を備え、操作者が通常操作のために電子機器に触れる指先部に、物体(操作する電子機器のスイッチ等)との接触の際に生じる力や加速度等を測定できるセンサが設けられ、このセンサにより操作者が受ける操作感を電気信号に変換し、その後、その電気信号に所定の加工を施して触覚情報を得る装置である。
触覚情報作成装置100は左手及び右手用の触覚検出グローブ1L,1R、情報作成手段10及び記憶装置(HDD)3を有して構成される。触覚検出グローブ1R,1Lは、実際の物体、例えば、一眼レフカメラ等を操作した際に得られるシャッター押下触覚を検出して触覚検出信号を出力する。この例で触覚検出グローブ1R,1Lには、操作者の手に装着可能な手袋状入力装置が使用される。
左手用及び右手用の触覚検出グローブ1R、1Lには情報作成手段10が接続され、触覚検出グローブ1R、1Lから出力される触覚検出信号SR,SLを信号処理して触覚入力機能付きの電子機器(以下触覚提示装置という)を制御するための触覚情報を作成する。情報作成手段10はシステムバス14を有している。システムバス14は例えば、データバス及び制御用の信号バスから構成される。このシステムバス14には、例えば、入力選択部4、A/D変換部5、データ加工部6、中央処理ユニット(以下CPU15という)、ROM(Read Only Memory)7、RAM(Random Access Memory)8、波形パターン格納部9、I/Oポート11、操作部12及びモニタ13が接続される。
ROM7には、当該装置全体を制御するためのシステムプログラムデータDPや、触覚検出データを加工する所定のアルゴリズムが格納される。RAM8は、ワークメモリとして使用される。RAM8は、例えば、操作データD3や制御コマンド等を一時記憶するようになされる。この例でCPU15は電源がオンされると、ROM7からシステムプログラムデータDPをRAM8に読み出してシステムを起動し、操作部12からの操作データD3に基づいて当該装置全体を制御するようになされる。
CPU15は入力選択部4、A/D変換部5、データ加工部6、ROM7、波形パターン格納部9、I/Oポート11、操作部12及びモニタ13の入出力を制御する。CPU15では、ROM7から読み出された所定のアルゴリズムに基づいて触覚検出データを加工するので、加工作業者の主観(感覚)によることなく、一定の水準の波形加工を効率良く実行することができる。また、CPU15は、触覚検出グローブ1R等から出力される接触力や加速度等の触覚検出信号に基づいて、人間が感知するのに適した周波数50Hz以上500Hz以下の振動パターンデータDP0を作成する。
CPU15は、加速度に係る触覚検出信号(加速度検出信号)に含まれる時間軸で変化する振動数の変化率の特徴を保ちながら振動パターンデータDP0を作成するようにデータ加工部6を制御する。これに限られることはなく、CPU15は、加速度検出信号の振幅の時間的変化率の特徴を保ちながら振動パターンデータDP0を作成するようにデータ加工部6を制御する。これは、作成者の加工作業を行う主観(感覚)に依存することなく、一定の水準のデータ加工を効率良く実行するためである。
入力選択部4は、入力選択信号S11に基づいて、左手用の触覚検出グローブ1Lから出力される左手用のアナログの触覚検出信号SL又は右手用の触覚検出グローブ1Rから出力される右手用のアナログの触覚検出信号SRのいずれか、あるいは、左手用の触覚検出信号SL及び右手用の触覚検出信号SRの両方を選択するように動作する。例えば、一眼レフカメラのシャッタースイッチ操作を検出する場合は、右手用の触覚検出グローブ1Rを装着した操作者の右手人差し指による触覚検出信号SRを取得する。
携帯電話機等でテンキー入力操作を検出する場合は、左手用の触覚検出グローブ1Lを装着した操作者の親指の触覚検出信号SLを取得する。キーボード等で文字入力操作を検出する場合は、左手及び右手用の触覚検出グローブ1L、1Rの両方を装着して5本の指の触覚検出信号SL,SRを同時に取得するようになされる。操作者は操作対象物体毎に操作部12からCPU15に入力を指示する。この指示により、入力選択信号S11がCPU15から入力選択部4へ供給される。
入力選択部4にはA/D変換部5が接続され、変換制御信号S12に基づいて接触力や加速度等の触覚検出信号SR,SLをアナログ・デジタル変換してデジタルの触覚検出データDRやDL等を出力するように動作する。触覚検出データDR,DLは一旦、記憶装置3に格納するようにしてもよい。A/D変換制御信号S12はCPU15からA/D変換部5に出力される。
A/D変換部5にはデータ加工部6が接続され、A/D変換後の触覚検出データDRやDL等を波形分析処理する。データ加工部6は、分離部61、抽出部62、変換部63及び合成部64を有して構成される。これらはRAM上に構築され、CPU15の制御によってデータ加工機能を実現するようになされる。
分離部61はA/D変換部5から直接、又は、記憶装置3から触覚検出データDR,DLを入力し、分離制御信号S13に基づいて繰り返し現れる波形を検出し、この繰り返し波形を基準にして一塊りずつの合成波形を分離(分解)する。例えば、合成波形は、振幅の大きな波形と波形との間に測定された振動数nの異なる波形の集合であり、複数の測定期間に区分される。分離制御信号S13はCPU15から分離部61に出力される。
分離部61には抽出部62が接続され、複数の測定期間に区分され分離された当該測定期間の合成波形から抽出制御信号S14に基づいて振動数n及び振幅aの波形要素を抽出する。この抽出処理では、同じ振幅a及び振動数nの波形が個々に分けられる。抽出制御信号S14はCPU15から抽出部62に出力される。
抽出部62には変換部63が接続され、個々に分けられた同じ振幅a及び周波数nの波形要素を要素変換制御信号S15に基づいて、人間が感知するのに適した周波数f=50Hz以上500Hz以下の波形パターンに置き換えるようになされる。波形パターンは周波数fの他に、振幅A及び振動回数Nによって定義される。複数の波形パターンを組み合わせると、当該触覚提示期間の波形パターンデータを構成するようになる。この例で触覚提示期間は測定期間に対応させている。要素変換制御信号S15はCPU15から変換部63に出力される。
合成部64は、合成制御信号S16に基づいて変換後の波形パターンデータと他の波形パターンデータとを合成して複数の触覚提示期間における振動パターンデータDP0を構築する。合成制御信号S16はCPU15から合成部64に出力される。構築された触覚を与える振動パターンデータDP0は、シャッター等の操作対象物体と対応付けて記憶装置3に格納(保存)される。
波形パターン格納部9は、触覚提示用の複数の波形パターンデータDPi(i=1〜m)を格納する。波形パターンは、人間が感知するのに適した周波数50Hz以上500Hz以下の波形である。波形パターン格納部9にはROMやEEPROMが使用される。
入出力ポート(以下I/Oポート11という)には操作部12及びモニタ13が接続される。操作部12は触覚検出信号SR、SLの取り込み指示や、波形加工の開始指示等を入力するように操作される。操作部12にはキーボード等が使用される。操作部12で指定された情報は操作データD3となってCPU15に出力される。モニタ13は触覚検出データDR,DLに基づく表示データD2により触覚測定時のアナログの触覚検出信号SRを表示したり、振動パターンデータDP0に基づいて触覚付与時の触覚提示信号を表示するようになされる。モニタ13には液晶表示ディスプレイや、CRT等が使用される。
情報作成手段10にはシステムバス14を通じて記憶装置3が接続され、合成後の振動パターンデータDP0を格納するようになされる。振動パターンデータDP0は、触覚入力機能付きの電子機器に格納(ダウンロード)される。記憶装置3にはハードディスクが使用されるが、上述の情報作成手段10及び記憶装置3にはパーソナルコンピュータを使用することができる。
図3A及びBは、触覚検出グローブ1L等の指先部分の構成例及びその拡大例を各々示す断面図である。
図3Aにおいて、触覚検出グローブ1Lは、操作者がスイッチやキーボードなどの物体を操作する際に、もっとも一般的に使う指先部分のそれぞれに力検出センサ51及び加速度センサ52が具備されている。力検出センサ51は、物体操作時の操作者の手(指)30aの接触に係る接触力を検出して触覚検出信号(接触力)SLを出力する。加速度センサ52は、当該操作者の手の動きに係る加速度を検出して触覚検出信号(加速度)SLを出力する。
図3Bの波線円内図には、触覚検出グローブ1L等の指先部分の断面の構成例を示している。図3Bに示す手袋部位53は、柔らかい素材から構成される。手袋素材には、木綿、ビニール、ゴム、なめし皮等が使用される。この手袋部位53において、操作者の各指先の腹に当たる部分には、力検出センサ51が設けられ、その甲に当たる部分には加速度センサ52が各々設けられている。
力検出及び加速度の各々のセンサ51,52には、シート状センサが使用される。シート状センサは、柔軟性のあるシートに感圧インクをプリントしたものが使用される。感圧インクは、加えられた力に応じて電気抵抗値が変化する特性を有している。力検出センサ51の内側の手袋素材には、バックアップ部材54が設けられ、力検出センサ51が受ける力をバックアップするようになされる。バックアップ部材54には、硬質樹脂部材等が使用される。硬質樹脂部材は、力検出センサ51の柔軟性を損なわないようにするため、いくつかに分割され、小片状にして使用される。
力検出センサ51の外側には、シリコンシート55が設けられ、力検出センサ51を保護するようになされる。シリコンシート55は、人間の指先の皮膚に近い柔らかさを有している。力検出センサ51は、人間の触覚受容器が位置する深度に近いところに配置される。このため、シリコンシート55の厚さは0.3mm乃至0.5mm程度のものが使用される。
図4は、触覚検出グローブ1Rによるデータ取得時の構成例を示す図である。この例では、操作者30が図4に示す触覚検出グローブ1を装着して、実際に一眼レフカメラ300等でシャッター押下操作をすると、そのシャッタースイッチ301と操作者30の指先に生じる相対的な力によって、例えば、感圧インクの抵抗値が変化する。この抵抗値の変化は、触覚検出信号SRに具現化される。触覚検出信号SRは、情報作成手段10に入力され、この情報作成手段10内でデジタルの触覚検出データDRにA/D変換される。
このように、操作者30がシャッター押下操作を行う際に、指30aによる押下操作を妨げることなく、その押下操作と同時に接触力や加速度等の触覚検出データDRを得ることができる。この例では、シャッター押下力など、実際に即した触覚検出信号SRが触覚検出グローブ1Rから得られる。また、触覚検出グローブ1Rは、手全体で操作する機器の場合には、5本の指30aの触覚検出信号SRを同時に取得することができる。
続いて、本発明に係る触覚情報作成方法について説明をする。図5は、シャッター操作時等に得られる触覚検出信号SRの波形例を示す図である。図5において、縦軸は、加速度(力)を示す振幅であり、横軸は時間tである。
この例で測定期間t1には、シャッター操作時の代表的な振動数nがn1,n2で、代表的な振幅aがa1、a2の波形要素が組み合わされて合成波形が構成されている。測定期間t2には、振動数n1、振幅a1の波形要素と、振動数n2、振幅a2の波形要素とが組み合わされて合成波形が構成されている。測定期間t3には、振動数n1、振幅a1の波形要素と、振動数n2、振幅a2の波形要素とが組み合わされて合成波形が構成されている。触覚検出信号SRは、図2に示したA/D変換部5でA/D変換されて触覚検出データDRとなる。具体的な触覚検出データDRとしては、例えば、シャッター操作時の代表的な振動数n1が1kHzであり、振動数n2が1.5kHzである。
上述したデータ加工部6では、触覚検出データDRに含まれるノイズを除去した後に、図6〜図10に示すような波形加工が実行される。すなわち、A/D変換部5から出力される触覚検出データDRは、人間が感知しやすい周波数f=50Hz以上500Hz以下程度の周波数範囲に、その触覚検出データDRの特徴を残しながら振動数n及び振幅aが周波数f、振幅A、回数Nに置き換えられる。
なお、実際に得られるデータとしては力検出データであるにもかかわらず、図5に示したグラフの縦軸を加速度にしている。これは、加速度と力が、当該加速度によって動かされる物の質量が一定ならば比例すること、及び、データ加工した後に用いるデータは、振動波形の振幅aの絶対値でなく相対値であるので、データ加工後の触覚提示用の振動パターンデータDP0では加速度を用いても、力を用いても結果は同じであることによる。
図6A〜Cは、測定期間t1の合成波形の分解例及びその波形要素E11、E12の抽出例を示す図である。図6Aに示す合成波形は、図5に示した触覚検出データDRに基づく測定期間t1乃至測定期間t3の中から測定期間t1の波形を分離したものである。例えば、分離部61はA/D変換部5から直接、又は、記憶装置3から触覚検出データDRを入力し、分離制御信号S13に基づいて繰り返し現れる波形を検出し、この繰り返し波形を基準にして一塊りずつの合成波形を分離(分解)する。測定期間t1の合成波形は、振幅a2の波形要素と振幅a2の波形要素との間に測定された振動数n1=1kHz,n2=1.5kHzの波形要素の集合である。
抽出部62は、測定期間t1に区分され分離された当該測定期間t1の合成波形を抽出制御信号S14に基づいて振動数n1及び振幅a1や、振動数n2及び振幅a2等の波形要素E11,E12を抽出するようになされる。この抽出処理では、他の測定期間t2,t3においても、同じ振幅あるいは特徴ある振幅a1、a2及びそれらの振動数n1,n2の波形要素が個々に分けられる。
図6Bは、振動数n1及び振幅a1の波形要素例を示す図である。図6Bに示す波形要素E11は、測定期間t1の合成波形から振動数n1及び振幅a1の波形要素を抽出して分離した波形例である。図6Cは、振動数n2及び振幅a2の波形要素例を示す図である。図6Cに示す波形要素E12は、測定期間t1の合成波形から振動数n2及び振幅a2の波形要素を抽出して分離した波形例である。このように波形要素E11,E12を抽出するのは、当該波形要素E11,E12を触覚提示用の波形パターンに変換するためである。
図7A及びBは、波形要素E11から波形パターンP11への変換例を示す図である。この例では、振動数nと周波数fとの関係において、n1:n2=1kHz:1.5kHzの比を保ちつつ、周波数fを50Hz以上500Hz以下の周波数範囲内に置き換えられる。例えば、振動数nは周波数比、f1:f2=200Hz:300Hzに置き換えられる。振幅Aは、a1:a2 =A1:A2 で変換される。
図7Aに示す振幅a1、振動数n1の波形要素E11は、図7Bに示す周波数f1=200Hz、振幅A1、振動回数Nの波形パターンP11へ変換するようになされる。具体的には、変換部63が、振幅a1及び振動数n1の波形要素を要素変換制御信号S15に基づいて、人間が感知するのに適した周波数f1=200Hz、振動回数N=1の波形パターンP11に置き換えるようになされる。なお、振幅A1は、触覚入力機能付きの電子機器(触覚提示装置)の特性でその絶対値を決めればよい。
図8A及びBは、波形要素E12から波形パターンP12への変換例を示す図である。
この例では、図8Aに示す振幅a2、振動数n2の波形要素E12が、図8Bに示す周波数f2、振幅A2、振動回数Nの波形パターンP12へ変換するようになされる。具体的には、変換部63が、振幅a2及び振動数n2の波形要素を要素変換制御信号S15に基づいて、人間が感知するのに適した周波数f2=300Hz、振動回数N=3の波形パターンP12に置き換えるようになされる。なお、振幅A2は、波形要素E11と同様にして、触覚提示装置の特性でその絶対値を決めればよい。
図9A及びBは、波形パターンP11及びP12の合成例を示す図である。この例では、図9Aに示す波形パターンP11と波形パターンP12とを合成して、図9Bに示す触覚提示期間T1の合成波形パターンP1が生成される。
合成波形パターンP1は、振幅A2、周波数f2=300Hz、振動回数N=1の波形パターンP12と、振幅A1、周波数f1=200Hz、振動回数N=3の波形パターンP11とを合成したものである。この波形パターンP11,P12を組み合わせると、当該触覚提示期間T1の波形パターンデータを構成するようになる。触覚提示期間T1は、測定期間t1に対応させたものである。他の測定期間t2は触覚提示期間T2(=t2)に置き換えられ、測定期間t3は触覚提示期間T3(=t3)に各々置き換えられる。このようにデータ加工部6では波形加工がなされる。
図10は、デジタルカメラ等におけるシャッター操作時の触覚提示用の振動波形パターン例を示す図である。図10において、縦軸は、加速度(力)を模擬する振幅Aであり、横軸は時間tである。
この例で、触覚提示用の振動波形パターンP0は、触覚提示期間T1の合成波形パターンP1と、触覚提示期間T2の合成波形パターンP2と、触覚提示期間T3の合成波形パターンP3とが組み合わされて構成される。触覚提示期間T1は測定期間t1に対応し、触覚提示期間T2は測定期間t2に対応し、触覚提示期間T3は測定期間t3に各々対応している。
合成波形パターンP1は、触覚提示期間T1に出力される波形パターンデータDP1によって具現化される。波形パターンデータDP1は、周波数f1、振幅A1、振動回数N=3の波形パターンP11を成すデータと、周波数f2、振幅A2の波形パターンP12を成すデータとが組み合わされて構成される。
合成波形パターンP2は、触覚提示期間T2に出力される波形パターンデータDP2によって具現化される。波形パターンデータDP2は、周波数f1、振幅A1、振動回数N=2の波形パターンP21と、周波数f2、振幅A2、振動回数N=1の波形パターンP22とが組み合わされて構成される。
合成波形パターンP3は、触覚提示期間T3に出力される波形パターンデータDP3である。波形パターンデータDP3は、周波数f1、振幅A1、振動回数N=1の波形パターンP31と、周波数f2、振幅A2、振動回数N=1の波形パターンP32とが組み合わされて構成される。触覚提示用の振動波形パターンP0は、合成波形パターンデータDP1,DP2,DP3を組み合わせた振動パターンデータDP0=DP1+DP2+DP3によって具現化される。
このように合成部64は、合成制御信号S16に基づいて変換後の複数の合成波形パターンデータDPi(i=1,2,3・・・)を合成して触覚提示用の振動パターンデータDP0を構築する。ここに構築された触覚提示用の振動パターンデータDP0は触覚情報を構成し、「シャッター押下」等の操作対象物体項目と対応付けて記憶装置3に格納(保存)される。もちろん、これに限られることはなく、データ加工部6で触覚提示用に加工された振動パターンデータ(信号)DP0は、I/Oポート11を介して外部装置へ送られる。この外部装置には、触覚提示装置又は外部記録装置が含まれる。
図11は、触覚情報作成装置100における処理例を示すフローチャートである。この実施例では、操作者30の右手の指30aに与える触覚を再現するための触覚情報を作成する場合を前提とする。例えば、実際の一眼レフカメラ300のシャッタースイッチを操作して得られる触覚を検出し、ここで検出された一眼レフカメラ300からの触覚に基づいて当該シャッター操作時の触覚情報を作成する場合を例に挙げる。
この例で触覚情報を作成する際に、触覚検出工程によって得られる接触力検出信号及び加速度検出信号に基づいて、人間が感知するのに適した周波数50Hz以上500Hz以下の振動パターンデータDP0を作成する。また、触覚情報を作成する際に、加速度検出信号に含まれる時間軸で変化する振動数の変化率の特徴を保ちながら振動パターンデータDP0を作成する。更に、触覚情報を作成する際に、加速度検出信号の振幅の時間的変化率の特徴を保ちながら振動パターンデータDP0を作成する場合を前提とする。
これらを処理条件にして、図11に示すフローチャートのステップST1で触覚検出信号SRを取得する。この例では、操作者30の右手に触覚検出グローブ1が装着され、一眼レフカメラ300のシャッタースイッチ操作を行う。触覚検出グローブ1には、操作者30の各指先に当たる部分に力検出センサ51及び加速度センサ52がそれぞれ備えられる。
このとき、操作者30がシャッタースイッチを押下している人差し指30aにある力検出センサ51では、シャッタースイッチを押す力に応じて抵抗値が変化する。各々のセンサには既知の電圧が常に印加されており、抵抗値の変化は、ブリッジ回路等により電圧の変化に変換される。
力検出センサ51では、シャッター操作時の操作者30の手の接触に係る接触力を検出して触覚検出信号(接触力)SRを取得し、加速度センサ52で、当該操作者30の手の動きに係る加速度を検出して触覚検出信号(加速度)SRを取得する。このようにすると、シャッター操作を妨げることなく、シャッター押下操作と同時に接触力や加速度のデータを得ることができる。
次に、ステップST2に移行してA/D変換部5は、接触力や加速度等の触覚検出信号SRをアナログ・デジタル変換してデジタルの触覚検出データDRを出力するように動作する。触覚検出データDRは、ステップST3で一旦、記憶装置3に格納される。
その後、ステップST4で、CPU15は波形加工を実行するかの要求を受け付ける。この要求は操作部12を通じて操作者30がCPU15に指示する。このとき、波形加工実行要求は、操作部12からCPU15へ操作データD3を介して通知される。波形加工をする場合は、ステップST5に移行する。この例では、ステップST5〜ステップST7で波形分析処理がなされる。例えば、ステップST5で記憶装置3からA/D変換後の触覚検出データDRが読み出される。
そして、ステップST6で分離部61は、記憶装置3から触覚検出データDRを入力し、分離制御信号S13に基づいて繰り返し現れる波形を検出し、この繰り返し波形を基準にして一塊りずつの合成波形を分離(分解)する。例えば、図6Aに示したように、図5に示した触覚検出データDRに基づく測定期間t1乃至測定期間t3の中から測定期間t1の合成波形が分離される。この測定期間t1の合成波形は、振幅a2の波形要素と振幅a2の波形要素との間に測定された振動数n1=1kHz,n2=1.5kHzの波形要素が集合されて構成されている。
次に、ステップST7に移行して、抽出部62では、測定期間t1に区分され分離された合成波形を抽出制御信号S14に基づいて振動数n1及び振幅a1や、振動数n2及び振幅a2等の波形要素E11,E12を抽出するようになされる。波形要素E11は、測定期間t1の合成波形から振動数n1及び振幅a1の波形を抽出して分離される(図6B参照)。波形要素E12は、測定期間t2の合成波形から振動数n2及び振幅a2の波形を抽出して分離される(図6C参照)。この抽出処理では、他の測定期間t2,t3においても、同じ振幅a1、a2及び振動数n1,n2の波形要素が個々に分けられる。抽出制御信号S14はCPU15から抽出部62に出力される。このように波形要素E11,E12を抽出するのは、当該波形要素E11,E12を触覚提示用の波形パターンに変換するためである。
その後、ステップST8で変換部63は、個々に分けられた同じ振幅a及び周波数nの波形要素を要素変換制御信号S15に基づいて、人間が感知するのに適した周波数f=50Hz以上500Hz以下の波形パターンに置き換えるようになされる。例えば、図7Aに示した振幅a1、振動数n1の波形要素E11を要素変換制御信号S15に基づいて、人間が感知するのに適した周波数f1=200Hz、振幅A1、振動回数N=1の波形パターンP11に変換するようになされる(図7B参照)。
また、図8Aに示した振幅a2、振動数n2の波形要素E12が、図8Bに示した周波数f2、振幅A2、振動回数Nの波形パターンP12へ変換される。変換部63は、振幅a2及び振動数n2の波形要素を要素変換制御信号S15に基づいて、人間が感知するのに適した周波数f2=300Hz、振動回数N=3の波形パターンP12に置き換えるようになされる。なお、振幅A1,A2は、波形要素E11とE12において、触覚入力機能付きの電子機器(触覚提示装置)の特性でその絶対値を決めるようになされる。要素変換制御信号S15はCPU15から変換部63に出力される。
そして、ステップST9に移行して、合成部64では、合成制御信号S16に基づいて図9Aに示した振幅A1、周波数f1=200Hz、振動回数N=3の波形パターンP11と、振幅A2、周波数f2=300Hz、振動回数N=1の波形パターンP12とが合成され、図9Bに示した触覚提示期間T1の合成波形パターンP1が生成される。更に、合成部64は、図10に示した触覚提示期間T1の合成波形パターンP1と、触覚提示期間T2の合成波形パターンP2と、触覚提示期間T3の合成波形パターンP3とを組み合わせて触覚提示用の振動波形パターンP0を作成する。
触覚提示用の振動波形パターンP0は、合成波形パターンデータDP1,DP2,DP3を組み合わせた振動パターンデータDP0=DP1+DP2+DP3によって具現化される。このようなデータ加工手順により、振動パターンデータDP0を得ることができる。振動パターンデータDP0は、操作者30が実際のシャッタースイッチを操作したときの感覚を触覚提示装置により擬似的に作り出すための制御信号となる。
合成制御信号S16はCPU15から合成部64に出力される。構築された触覚を与える振動パターンデータDP0は、ステップST10で操作対象物体項目と対応付けて記憶装置3に格納(保存)される。ここに構築された触覚提示用の振動パターンデータDP0は触覚情報を構成する。この例では、「シャッター押下」等の操作対象物体項目と対応付けて記憶装置3に格納される。もちろん、これに限られることはなく、データ加工部6で触覚提示用に加工された振動パターンデータDP0(信号)DP0は、I/Oポート11を介して外部装置へ送られる。この外部装置には、触覚提示装置又は外部記録装置が含まれる。
その後、ステップST11に移行して、CPU15は触覚情報作成処理の終了判断をする。例えば、CPU15の電源オフ情報の検出に基づいて終了判断がなされる。電源オフ情報が検出されない場合は、ステップST12に移行して当該対象物体のデータ作成処理を全部終了したかを判断する。この際の判断は、作業者である。当該対象物体のデータ作成処理を全部終了していない場合は、ステップST4に戻って波形加工処理を受け付けて上述した処理を繰り返すようになされる。
ステップST12で当該対象物体のデータ作成処理を全部終了した場合は、新たな対象物体(この例ではシャッター操作以外の物体)の触覚検出データを取得すべく、ステップST1に戻って上述した処理を繰り返すようになされる。ステップST11で電源オフ情報を検出した場合は、触覚情報作成処理を終了する。
このように、本発明に係る実施例としての触覚情報作成装置及び触覚情報作成方法によれば、操作者30の指(手)30aに与える触覚を再現するための振動パターンデータDP0を作成する場合に、情報作成手段10は、触覚検出グローブ1R等から出力される接触力や加速度等の触覚検出信号SRを信号処理して振動パターンデータDP0を作成するようになる。
従って、一眼レフカメラ300等の物体を実際に操作したのとほぼ同等の触覚を操作者30の指(手)30aに提示可能な振動パターンデータDP0を作成することができる。これにより、デジタルカメラ操作時に、振動パターンデータDP0に基づいて一眼レフカメラ300を操作したのとほぼ同等の触覚を操作者30の指等に擬似的に提示できるようになる。
また、データ加工部6では、触覚検出信号(接触力)SRに含まれる時間軸で変化する振動数nの変化率の特徴を保ちながら、CPU15によって、振動パターンデータDP0を作成するように制御される。また、CPU15は、触覚検出信号(加速度)SRの振幅の時間的変化率の特徴を保ちながら振動パターンデータDP0を作成するようにデータ加工部6を制御する。従って、作成者の加工作業を行う主観(感覚)に依存することなく、一定の水準のデータ加工を効率良く行うことができる。
なお、指30aで操作する電子機器の場合であって、操作者30がスイッチやキーボードなどの入力装置を操作する際に、その入力装置からフィードバックされる触覚(操作感)を操作者30の自然な入力動作を損なわないで、5本の指30a、両手で10本の指30aの触覚検出データDR,DLを同時に得ることができる。これにより作成される振動パターンデータDP0は、タッチパネル上に表示されたキーボードの触覚提示に利用することができる。
図12は触覚入力機能付きのデジタルカメラ200の構成例を示す斜視図である。
この例でデジタルカメラ200には、触覚入力機能を具現化するための表示手段、触覚を発生するためにモーターや圧電素子のようなアクチュエータを備えている。本発明に係る触覚情報作成装置100で作成された振動パターンデータDP0をこれらのアクチュエータに対する制御信号(指令値)として用いることにより、操作者に所定の触覚(操作感)を擬似的に提示するようにしたものである。
図12に示すデジタルカメラ200はカメラ本体20を有している。カメラ本体20は筺体22から構成される。筺体22は、略箱型の前面ケース21A及び後面ケース21Bの開口部を互いに略方形状のゴムなどからなる衝撃吸収材23を間に挟んだ状態で突き合わせて組み立てられる。
筺体22を構成する上面板には、触覚機能付きの入力検出手段24が設けられる。入力検出手段24は入力検出面PRを有しており、例えば、シャッターボタン用のアイコン28が表示される。このアイコン28は、シャッター操作時に操作される。入力検出面PRで行う操作には、シャッターボタン操作の他に、消去ボタン操作、電源ボタン操作、標準モード又はスナップモードの切り替え操作等が含まれる。入力検出手段24には、長方形状の静電入力シートが使用される。
また、前面ケース21Aの内面であって、入力検出手段24の長手方向に沿って、振動手段を構成するアクチュエータ25a及び25bが所定の間隔を空けて設けられ、所定の振動パターンに基づいて入力検出面を振動するようになされる。同様にして、後面ケース21Bの内面であって、入力検出手段24の長手方向に沿って、アクチュエータ25c及び25dが所定の間隔を空けて設けられ、所定の振動パターンに基づいて入力検出面PRを振動するようになされる。この例で、アクチュエータ25aとアクチュエータ25cとが対向し、アクチュエータ25bとアクチュエータ25dとが対向するように配置される。振動を強めるためである。
この他に前面ケース21Aには、図12に示すレンズ26が取り付けられ、ズーム機能を有して被写体撮影時に結像するようになされる。また、前面ケース21Aの右隅には、外部インターフェイス用端子39が設けられ、外部機器と接続し、情報をやりとりできるようになされている。
図13は、カメラ本体20の背面の構成例を示す斜視図である。図13に示す後面ケース21Bには表示手段29が設けられ、入力検出手段24によって入力された情報に基づく表示画面を表示するようになされる。表示手段29はモニタ機能の他にファインダー等の機能を果たすようになされる。表示手段29には、640画素×480画素程度の解像度を有する液晶表示ディスプレイ(LCD)が使用される。
図14Aは、カメラ本体20を底面から見た断面図である。図14Aに示すカメラ本体20を底面から見ると、筐体22の内部には、レンズ26や表示手段29の他に基板実装部品27やバッテリー28等が内装されている。図14Bは、カメラ本体20を上面から見た断面図である。図14Bに示すカメラ本体20を上面から見ると、筐体22の内部には、入力検出手段24及びアクチュエータ25a〜25fが実装されている。図14Bに示す入力検出手段24は、静電容量入力シートによって構成される。1枚の静電容量入力シートは、略矩形状のシートで構成され、上述の各モードボタンの複数機能は、1枚の静電容量入力シートの複数の所定部位を押圧することで各機能動作が行われる。
この例で入力検出手段24の左右の下方には、前面ケース21Aおよび後面ケース21Bの内面に設けられたアクチュエータ25a〜25dの他に、アクチュエータ25e及び25fが設けられ、所定の振動パターンに基づいて、例えば、押下操作方向に振動が移動するように、入力検出面PRを振動するようになされる。各々のアクチュエータ25a〜25fは、圧電シートあるいは圧電素子から構成される。
次に、本発明の触覚機能付きのデジタルカメラ200及び当該カメラ200における感触フィードバック入力方法について説明をする。図15は、デジタルカメラ200の内部構成例を示すブロック図であり、図12〜図14に示した筐体内の基板実装部品27等から構成される各機能の要部のブロックを示している。図15で図13との対応する部分には同一符号を付している。
図15に示すデジタルカメラ200は、入力検出手段24、表示手段29、A/Dドライバ31、CPU32、電源ユニット33、カメラ34、その他のデバイス35、スピーカ36、振動手段40及びEEPROMを備えている。入力検出手段24は、図13等に示したような入力検出面PRを有しており、操作体としての操作者の指30aの接触位置を検出するようになされる。この入力検出手段24に関して、図13では静電容量シートとしての静電容量方式の入力デバイスを説明したが、これに限られることはなく、カーソリングと選択の機能を区別できるものであれば何でも良い。
例えば、入力検出手段24は、抵抗膜方式、表面波弾性方式(AW)、光方式、複数段方式タクトスイッチ等の入力デバイスであっても良い。好ましくは、位置情報と力情報をCPU32に与えられる構成の入力デバイスであれば良い。上述の入力検出手段24は、操作者の指30aを介して少なくとも位置情報S1および入力量となる力情報S2(押圧力)が入力される。
表示手段29は、入力検出手段24によって入力された情報に基づく表示画面を表示するようになされる。表示手段29はモニタ機能の他にファインダー等の機能を果たすようになされる。例えば、表示手段29はCPU32からの制御情報(指令D)に基づいてズームイン、ズームアウト、再生/早送りモード、ボリューム(Vol)調整モード等のアイコンを表示するようになされる。
入力検出手段24にはA/Dドライバ31が接続され、入力検出手段24から出力される位置情報S1および入力量S2を入力してアナログ・デジタル変換をするようになされる。例えば、A/Dドライバ31は、カーソリングと選択機能とを区別するために位置情報S1および入力量S2よりなるアナログ信号をデジタルデータに変換する。これと共に、A/Dドライバ31は、演算を行ってカーソリング入力か選択情報かを検出し、カーソリングか選択かのフラグからなるデータD31あるいは位置データD11または入力量データD12をCPU32に供給する。これらの演算はCPU32内で行ってもよい。
A/Dドライバ31には、CPU32が接続され、A/Dドライバ31からの入力信号を受けて指令Dを電源ユニット33、カメラ部34、その他のデバイス35、表示手段29、スピーカ36、アクチュエータ駆動部37のデバイスに供給する。例えば、CPU32は、同一振動モード内において、操作者30の押下位置及び押下力をパラメータにして、アクチュエータ駆動回路37で発生させる正弦波形を加工する機能(アルゴリズム)を有している。CPU32にEEPROMが接続され、本発明に係る触覚情報作成装置100で作成された振動パターンデータDP0が「シャッター押下」等の操作対象物体項目と対応付けて格納されている。
CPU32は、入力検出手段24によって検出された押下位置及び押下力に基づく振動パターンデータDP0をEEPROM等から読み出すようになされる。CPU32は、例えば、操作者の指30aが入力検出面のシャッターボタンに接触し、その位置で一定以上の押下力を検出したとき、一眼レフカメラ300のシャッタースイッチを操作したのとほぼ同等の触覚を操作者の指等に擬似的に提示するようになる。
振動手段40は、アクチュエータ駆動回路37及びアクチュエータ25a〜25fから構成され、CPU32によって読み出された振動パターンデータDP0に基づいて筐体22が揺れるように入力検出面を振動する。上述のCPU32には、アクチュエータ駆動回路37が接続され、CPU32からの指令Dに従って、振動制御信号Sa〜Sfを発生し、複数のアクチュエータ25a、25b、25c、25d、26e、26fに振動制御信号Sa〜Sfを供給するようになされる。振動制御信号Sa〜Sfは、例えば、正弦波形からなる出力波形W1〜W3・・・を有している。6個のアクチュエータ25a〜25fを駆動するためである。
また、CPU32にはカメラ34が接続され、指令Dに基づいて上述したレンズ26を通じて被写体を撮影するようになされる。カメラ34には、図示しない撮像装置(CCD装置)が使用され、被写体撮影により得られた撮影データを出力するようになされる。
その他のデバイス35には、記憶装置や外部端子等が含まれる。例えば、記憶装置は、CPU32からの指令Dに基づいて撮影データを格納したり、その撮影データを読み出すようになされる。外部端子には、図12に示した外部インターフェイス端子39が含まれ、プリンタ等の外部機器へCPU32からの指令Dを出力して図示しないプリンタモードを実行するようになされる。スピーカ36はCPU32からの指令Dに基づいてアイコン確認音や、機器取り扱いアナウンス音等を放音するようになされる。アイコン確認音には、「ガシャ」という一眼レフのシャッター擬音を含めてもよい。
電源ユニット33は先に説明したバッテリー28に接続され、入力検出手段24、表示手段29、A/Dドライバ31、CPU32、カメラ34、その他のデバイス(記憶装置、外部端子等)35、振動手段40及びEEPROM等に電源を供給するようになされる。
図16は、入力検出手段24におけるシャッター操作例を示す斜視図である。図16に示す入力操作面PRで、シャッター用のアイコン(操作者の指30a)で隠れている)28を白抜き矢印に示す押下方向に接触操作される。このようにデジタルカメラ200を構成すると、シャッター操作時、操作者の指30aの押下位置及び押下力に対応した振動波形パターン(振幅nと周波数fと振動回数N)で振動を発生させることができる。操作者は指30aに振動を受けて一眼レフのシャッタースイッチの触感として振動を感じることができる。また、スピーカ36から「ガシャ」という擬音を併せて放音するようにすれば、操作者の耳による聴覚によって、「シャッターを切る」機能を向上できるようになる。
この発明は、触覚入力機能付きの情報処理装置や、携帯電話機、情報携帯端末装置等に予め格納される触覚情報の作成に適用して極めて好適である。
本発明に係る実施例としての触覚検出グローブを用いた触覚情報作成装置100の外観例を示す図である。 触覚検出グローブ1R,1Lを含む触覚情報作成装置100の構成例を示すブロック図である。 (A)及び(B)は、触覚検出グローブ1L等の指先部分の構成例及びその拡大例を各々示す断面図である。 触覚検出グローブ1Rによるデータ取得時の構成例を示す図である。 シャッター操作時等に得られる触覚検出信号SRの波形例を示す図である。 (A)〜(C)は、測定期間t1の合成波形の分解例及びその波形要素E11、E12の抽出例を示す図である。 (A)及び(B)は、波形要素E11から波形パターンP11への変換例を示す図である。 (A)及び(B)は、波形要素E12から波形パターンP12への変換例を示す図である。 (A)及び(B)は、波形パターンP11及びP12の合成例を示す図である。 デジタルカメラ等におけるシャッター操作時の触覚提示用の振動波形パターン例を示す図である。 触覚情報作成装置100における処理例を示すフローチャートである。 触覚入力機能付きのデジタルカメラ200の構成例を示す斜視図である。 カメラ本体20の背面の構成例を示す斜視図である。 (A)及び(B)は、カメラ本体20を底面及び上面から見た構成例を示す断面図である。 デジタルカメラ200の内部構成例を示すブロック図である。 入力検出手段24におけるシャッター操作例を示す斜視図である。
符号の説明
1R,1L・・・触覚検出グローブ(触覚検出手段)、3・・・記憶装置、入力選択部、5・・・A/D変換部、6・・・データ加工部、10・・・情報作成手段、7・・・ROM、8・・・RAM、9・・・波形パターン格納部、11・・・I/Oポート、12・・・操作部、13・・・モニタ、15,32・・・CPU(制御手段)、25a〜25d・・・アクチュエータ(振動手段)、100・・・触覚情報作成装置、200・・・デジタルカメラ

Claims (10)

  1. 操作体に与える触覚を再現するための触覚情報を作成する装置であって、
    実際の物体を操作した際に得られる触覚を検出して触覚検出信号を出力する触覚検出手段と、
    前記触覚検出手段から出力される触覚検出信号を信号処理して前記触覚情報を作成する情報作成手段とを備えることを特徴とする触覚情報作成装置。
  2. 前記触覚検出手段には、
    操作者の手に装着可能な触覚検出グローブが使用され、
    前記触覚検出グローブは、
    前記操作者の各指先に当たる部分に力検出センサ及び加速度センサをそれぞれ備え、
    前記力検出センサは、
    物体操作時の前記操作者の手の接触力に係る触覚検出信号を出力し、
    前記加速度センサは、
    当該操作者の手の動きの加速度に係る触覚検出信号を出力することを特徴とする請求項1に記載の触覚情報作成装置。
  3. 前記情報作成手段は、
    前記触覚検出手段から出力される触覚検出信号に基づいて、人間が感知するのに適した周波数50Hz以上500Hz以下の振動パターンデータを作成することを特徴とする請求項1に記載の触覚情報作成装置。
  4. 前記情報作成手段は、
    前記触覚検出信号に含まれる時間軸で変化する振動数の変化率の特徴を保ちながら前記振動パターンデータを作成することを特徴とする請求項3に記載の触覚情報作成装置。
  5. 前記情報作成手段は、
    前記触覚検出信号の振幅の時間的変化率の特徴を保ちながら前記振動パターンデータを作成することを特徴とする請求項3に記載の触覚情報作成装置。
  6. 操作体に与える触覚を再現するための触覚情報を作成する方法であって、
    実際の物体を操作して得られる触覚を検出する工程と、
    検出された前記物体からの触覚に基づいて当該物体操作時の触覚情報を作成する工程とを有することを特徴とする触覚情報作成方法。
  7. 前記触覚を検出する際に、
    操作者の手に装着可能な触覚検出グローブが使用され、
    前記触覚検出グローブには、
    前記操作者の各指先に当たる部分に力検出センサ及び加速度センサがそれぞれ備えられ、
    前記力検出センサで、
    物体操作時の前記操作者の手の接触力に係る触覚検出信号を取得し、
    前記加速度センサで、
    当該操作者の手の動きの加速度に係る触覚検出信号を取得することを特徴とする請求項6に記載の触覚情報作成方法。
  8. 前記触覚情報を作成する際に、
    前記触覚検出工程によって得られる触覚検出信号に基づいて、人間が感知するのに適した周波数50Hz以上500Hz以下の振動パターンデータを作成することを特徴とする請求項6に記載の触覚情報作成方法。
  9. 前記触覚情報を作成する際に、
    前記触覚検出信号に含まれる時間軸で変化する振動数の変化率の特徴を保ちながら前記振動パターンデータを作成することを特徴とする請求項8に記載の触覚情報作成方法。
  10. 前記触覚情報を作成する際に、
    前記触覚検出信号の振幅の時間的変化率の特徴を保ちながら前記振動パターンデータを作成することを特徴とする請求項8に記載の触覚情報作成方法。
JP2004237638A 2004-08-17 2004-08-17 触覚情報作成装置及び触覚情報作成方法 Pending JP2006058973A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004237638A JP2006058973A (ja) 2004-08-17 2004-08-17 触覚情報作成装置及び触覚情報作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004237638A JP2006058973A (ja) 2004-08-17 2004-08-17 触覚情報作成装置及び触覚情報作成方法

Publications (2)

Publication Number Publication Date
JP2006058973A true JP2006058973A (ja) 2006-03-02
JP2006058973A5 JP2006058973A5 (ja) 2007-09-20

Family

ID=36106414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004237638A Pending JP2006058973A (ja) 2004-08-17 2004-08-17 触覚情報作成装置及び触覚情報作成方法

Country Status (1)

Country Link
JP (1) JP2006058973A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250978A (ja) * 2007-03-05 2008-10-16 Nagaoka Univ Of Technology 触覚の視覚的表現方法および触覚の視覚的表現装置
CN102341766A (zh) * 2009-09-03 2012-02-01 松下电器产业株式会社 触感再现方法、装置、计算机程序和记录计算机程序的记录介质
US8336119B2 (en) 2007-12-09 2012-12-25 180's. Inc. Hand covering with conductive portion
JP2013182514A (ja) * 2012-03-02 2013-09-12 Nikon Corp 触覚記録再生システム及び電子機器
US8542216B2 (en) 2007-09-28 2013-09-24 Immersion Corporation Multi-touch device having dynamic haptic effects
JP2014093091A (ja) * 2012-11-02 2014-05-19 Immersion Corp ダイナミックハプティック効果のコード化
JP2015060274A (ja) * 2013-09-17 2015-03-30 日本電信電話株式会社 振動提示装置
US9003567B2 (en) 2007-12-09 2015-04-14 180S, Inc. Hand covering with tactility features
JP2015172899A (ja) * 2014-03-12 2015-10-01 和俊 尾花 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
WO2023188804A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2024034582A1 (ja) * 2022-08-08 2024-02-15 ニデック株式会社 触覚付与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619385A (ja) * 1992-07-03 1994-01-28 Agency Of Ind Science & Technol 模擬触覚呈示装置
JPH11203040A (ja) * 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触力覚呈示装置
JP2004021820A (ja) * 2002-06-19 2004-01-22 Seiko Epson Corp 画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619385A (ja) * 1992-07-03 1994-01-28 Agency Of Ind Science & Technol 模擬触覚呈示装置
JPH11203040A (ja) * 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触力覚呈示装置
JP2004021820A (ja) * 2002-06-19 2004-01-22 Seiko Epson Corp 画像・触覚情報入力装置、画像・触覚情報入力方法および画像・触覚情報入力プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250978A (ja) * 2007-03-05 2008-10-16 Nagaoka Univ Of Technology 触覚の視覚的表現方法および触覚の視覚的表現装置
US8542216B2 (en) 2007-09-28 2013-09-24 Immersion Corporation Multi-touch device having dynamic haptic effects
US8963882B2 (en) 2007-09-28 2015-02-24 Immersion Corporation Multi-touch device having dynamic haptic effects
US9003567B2 (en) 2007-12-09 2015-04-14 180S, Inc. Hand covering with tactility features
US8336119B2 (en) 2007-12-09 2012-12-25 180's. Inc. Hand covering with conductive portion
CN102341766A (zh) * 2009-09-03 2012-02-01 松下电器产业株式会社 触感再现方法、装置、计算机程序和记录计算机程序的记录介质
US8665076B2 (en) 2009-09-03 2014-03-04 Panasonic Corporation Tactile feedback method and system, computer program and storage medium that stores the computer program
JP2013182514A (ja) * 2012-03-02 2013-09-12 Nikon Corp 触覚記録再生システム及び電子機器
US9958944B2 (en) 2012-11-02 2018-05-01 Immersion Corporation Encoding dynamic haptic effects
JP2014093091A (ja) * 2012-11-02 2014-05-19 Immersion Corp ダイナミックハプティック効果のコード化
US10248212B2 (en) 2012-11-02 2019-04-02 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US10359851B2 (en) 2012-12-10 2019-07-23 Immersion Corporation Enhanced dynamic haptic effects
JP2015060274A (ja) * 2013-09-17 2015-03-30 日本電信電話株式会社 振動提示装置
JP2015172899A (ja) * 2014-03-12 2015-10-01 和俊 尾花 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
WO2023188804A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2024034582A1 (ja) * 2022-08-08 2024-02-15 ニデック株式会社 触覚付与装置

Similar Documents

Publication Publication Date Title
JP7087022B2 (ja) 人間コンピュータインタフェースシステム
JP6844665B2 (ja) 端末装置、端末装置の制御方法およびプログラム
US10152131B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP4046095B2 (ja) 触覚機能付き入力装置、情報入力方法及び電子機器
JP5208362B2 (ja) 電子機器
CN103235642B (zh) 一种6维度感官交互的虚拟乐器***及其实现方法
CN107807733A (zh) 用于柔性电子设备的经补偿触觉呈现
JP5700086B2 (ja) 入力装置および撮像装置
EP2225626A1 (en) Audio and tactile feedback based on visual environment
JP2005332063A (ja) 触覚機能付き入力装置、情報入力方法及び電子機器
JP2005352927A (ja) 入力装置および電子機器
WO2004021160A1 (ja) 入力装置及びその入力装置を用いた電子機器
JP2006198473A (ja) 振動伝達構造、触覚機能付きの入出力装置及び電子機器
JP2007052785A (ja) タッチスクリーンアセンブリ、端末機及び端末機の制御方法
JP2006058973A (ja) 触覚情報作成装置及び触覚情報作成方法
US20180011538A1 (en) Multimodal haptic effects
JP5760393B2 (ja) 操作検出装置
JP5126215B2 (ja) 入力装置および電子機器
KR20160137378A (ko) 예측된 접촉에 기초한 햅틱 효과들
JP4892829B2 (ja) 振動発生装置、触覚機能付きの入出力装置及びその電子機器
JP5748980B2 (ja) 入力装置及び入力システム
JP2005175815A (ja) 触覚機能付入力装置および電子機器並びに電子機器の感触フィードバック入力方法
KR20090062190A (ko) 촉감 입출력 장치 및 이것의 구동방법
JP2004318400A (ja) 画像処理装置及び画像処理方法
JP2006065507A (ja) 振動伝達機構、振動波形データ作成方法、触覚機能付き入力装置及び電子機器

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091002

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101104