JP2005234881A

JP2005234881A - 触圧覚提示携帯端末及び方法

Info

Publication number: JP2005234881A
Application number: JP2004043089A
Authority: JP
Inventors: Hideaki Tanaka; 秀明田中
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-02-19
Filing date: 2004-02-19
Publication date: 2005-09-02

Abstract

【課題】表示画像の凹凸感や温度感を、人間の皮膚を通じて擬似的に提示することができる触圧覚提示携帯端末を提供する。
【解決手段】作業用メモリ３は携帯電話機１１の表示部５に表示する画像の凹凸を示す凹凸情報を記憶し、触圧覚領域検知部６は携帯電話機の動きに応じて表示部５の画面の中で凹凸情報を提示する触圧覚領域を検知し、触圧覚ピン９は画像の凹凸感を提示し、触圧覚ピン制御部８は触圧覚領域に対応する触圧覚ピンに対し作業用メモリから取得した画像の凹凸情報に基づき上下動作及び／又は振動動作させる。また、作業用メモリ３から画像の温度情報を取得し、温度制御部１２により冷却及び加熱装置１３を作動させ触圧覚ピン９の冷却又は加熱を行う。
【選択図】図１

Description

本発明は、携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants：個人向け携帯情報端末）等の携帯端末に適用され、画面に表示された画像の触圧覚や温度を擬似的に提示するための触圧覚提示機能を搭載した触圧覚提示携帯端末に関する。

従来、携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末において、画面に表示された凹凸感のある画像、温度感のある画像は参照するだけであり、携帯端末を用いてその凹凸を人間の皮膚を通じて触ることが不可能であった。

また、点字ディスプレイに関する技術としては、ピン状の作動子を画面上に所定数マトリクス状に配置すると共に各作動子が画面に対して突出、後退し得るように構成し、各作動子の突出、後退状況に応じて点字またはグラフを表示するようにした表示ユニットを複数個マトリクス状に配置したディスプレイ画面を有する点字ディスプレイ装置が提案されている（例えば、特許文献１参照）。

あるいは、ユーザの手の触覚を利用したユーザインタフェースに関する技術としては、情報処理端末の筐体から突出し、触れられているユーザの手に変位を伝達する複数の変位部を有する変位発生手段と、処理に対応して、変位発生手段の複数の変位部の個々のタイミングを制御する制御手段とを備える情報処理端末が提案されている（例えば、特許文献２参照）。
特開昭５８−１１８６８７号公報特開２００２−１３５３７８号公報

しかしながら、従来技術は、ピン状の作動子が画面に対して突出、後退することで点字やグラフを表示する、あるいは筐体から突出した変位部によりユーザの手に変位を伝達するだけであり、表示画像の凹凸感や温度を触圧覚情報としてユーザに提示することが不可能であった。

そこで本発明は、表示画像の凹凸感や温度感を、人間の皮膚を通じて擬似的に提示することができる触圧覚提示携帯端末及び方法を提供することを目的とする。

上述の課題を解決するため、本発明は、画像を表示する表示手段を備えた携帯端末において、前記表示手段に表示する画像の凹凸を示す凹凸情報を記憶する凹凸情報記憶手段と、前記携帯端末の動きに応じて、前記表示手段の画面の中で凹凸情報を提示する触圧覚領域を検知する領域検知手段と、前記画像の凹凸感を提示する触圧覚手段と、前記触圧覚領域に対応する前記触圧覚手段に対し、前記凹凸情報記憶手段から取得した前記画像の凹凸情報に基づき、上下動作及び／又は振動動作させる触圧覚制御手段とを備えることを特徴とする。

また、前記表示手段に表示する画像の温度を示す温度情報を記憶する温度情報記憶手段と、前記触圧覚手段の冷却又は加熱を行う冷却・加熱手段と、前記触圧覚領域に対応する前記触圧覚手段に対し、前記温度情報記憶手段から取得した前記画像の温度情報に基づき、前記冷却・加熱手段の冷却又は加熱制御を行う温度制御手段とをさらに備えることを特徴とする。

以上の構成によって、画像の凹凸感や温度感を、人間の皮膚を通じて擬似的に提示させることが可能となる。

本発明によれば、携帯端末の使用者に、凹凸情報、温度情報を持つ画像を表示するだけでなく、触圧覚手段により画像の凹凸感、温度感を擬似的に提示させることができる効果がある。例えば、表示手段に表示された洋服の手触り感を触圧覚手段により擬似的に再現したり、表示手段に表示された点字を触圧覚手段により提示することが可能となる。

また、画像が持つ温度情報により、表示手段に表示された物体の暖かさや冷たさを触圧覚手段により擬似的に再現したり、表示手段に表示された仮想現実となる画像の気温等も触圧覚手段により擬似的に提示することも可能である。

また、領域検知手段により、机上等に載置された携帯端末の動きに応じた空間座標を計測することができるため、携帯端末の操作部以外からの入力を増やすことが可能となる。

次に、本発明の最良の形態について図面を参照して説明する。

図１は、本発明による携帯端末として、携帯電話機の回路構成の要部を示すブロック図である。携帯電話機１１は、ＣＰＵ（中央処理装置）１、ＲＯＭ２、作業用メモリ３、表示制御部４、表示部５、触圧覚領域検知部６、トラックボール（又は赤外線式測定部）７、触圧覚ピン制御部８、触圧覚ピン９、バス１０、温度制御部１２、冷却及び加熱装置１３を含んで構成される。なお、ＰＨＳ、ＰＤＡ等に適用しても同様である。

図２（ａ）は携帯電話機の正面図、図２（ｂ）は携帯電話機の背面図である。携帯電話機１１は、筐体上部と筐体下部から構成され、折り畳み自在となっている。図２（ａ）に示すように、携帯電話機１１の筐体上部の正面側には、表示部５が配置され、筐体下部の正面側には、操作部１４と複数本の触圧覚ピン９が配置されている。また、図２（ｂ）に示すように、携帯電話機１１の筐体下部の背面側には、トラックボール（又は赤外線式測定部）７が配置されている。トラックボール（又は赤外線式測定部）７は、公知のマウスの原理を用いている。

図１において、ＣＰＵ１は、バス１０を介して携帯電話機内の各部と接続されている。ＣＰＵ１は、制御用プログラムを実行することで図４のフローチャートの触圧覚提示処理を行う。ＲＯＭ２は、ＣＰＵ１が実行するための各種の制御用プログラムや、画像の凹凸情報や温度情報等の固定的なデータを格納したリード・オンリ・メモリである。作業用メモリ３は、ＲＡＭ（ランダム・アクセス・メモリ）によって構成されており、ＣＰＵ１が制御用プログラムを実行する上で一時的に必要とされるデータを格納するようになっている。また、作業用メモリ３には、表示部５に表示され画像情報や触圧覚ピン９によりユーザに提示される画像の凹凸情報や温度情報も格納される。

トラックボール（又は赤外線式測定部）７は、携帯電話機１１の筐体下部の背面側を例えば机上等に載置し、筐体下部を机上で任意の方向に移動させた際の移動距離を測定可能である。触圧覚領域検知部６は、トラックボール（又は赤外線式測定部）７により測定されたデータを検知し、測定データ（X座標値、Y座標値）を表示制御部４に渡す。触圧覚ピン制御部８は、表示部５に表示された画像に対応する画像データが保持する凹凸情報を作業用メモリ３から取得し、その凹凸情報を基に複数本の触圧覚ピン９の上下動作（又は上下動作及び振動動作）を制御する。

触圧覚ピン９は、図２（ａ）に示すようにマトリクス配置された複数のピン（約５×５本）から構成され、操作部１４（キーパッド部）の下方側に配置されている。触圧覚ピン９の１本は、表示部に表示される触圧覚領域５Ｃ（図５）の１ピクセルに相当する。また、触圧覚ピン９は、２点弁別閾の理論から、各ピンの間隔が１ｍｍ〜数ｍｍに設定される。

図３（ａ）は、携帯電話機１１上における触圧覚膜で覆わない触圧覚ピン９の配設状態を示す側面図であり、触圧覚ピン９の携帯電話機１１の筐体面からの高さが例えば３ｍｍ〜５ｍｍに設定されている。図３（ｂ）は、携帯電話機１１上における触圧覚膜１５で覆われた触圧覚ピン９の配設状態を示す側面図であり、触圧覚ピン９の上部を覆うように触圧覚膜１５が配設されている。

触圧覚ピン９は、その１本１本が上記凹凸情報に基づいて触圧覚ピン制御部８により上下方向に駆動される。触圧覚ピン９は、図３（ｂ）に示すように例えば０ｍｍ〜５ｍｍ程度上下方向に動作すること（又は、上下方向に動作し且つ振動すること）で、携帯電話機１１の使用者に凹凸を提示する。触圧覚膜１５は、素材は様々なものが考えられるが、切れにくく、弾力のある素材とする。触圧覚膜１５により触圧覚ピン９を覆った状態で触圧覚ピン９を動作させることで、使用者に対し擬似的に滑らかな画像を提示する。

温度制御部１２は、表示部５に表示された画像に対応する画像データが保持する温度情報を作業用メモリ３から取得し、冷却及び加熱装置１３を制御する。冷却及び加熱装置１３は、触圧覚ピン９の冷却及び加熱を行うものである。冷却及び加熱装置１３における具体的な冷却及び加熱方法については、電気によるジュール加熱、ペルチェ素子による冷却又は加熱、冷却水による冷却、冷却ガスによる冷却等、様々な方法が考えられるが、本実施例では詳細な説明は省略する。

本実施例では、携帯電話機１１の表示部５に表示された画像における触圧覚領域５Ｃ（図５）の触圧覚情報を触圧覚ピン制御部８により検出し、触圧覚ピン９を動作させる。また、携帯電話機１１の筐体下部の背面側を机上等に載置して移動させた際に、トラックボール（又は赤外線式測定部）７により測定された移動距離を基に、表示部５上の触圧覚領域５Ｃを画面の上下左右に移動させる。

次に、図４のフローチャートを参照して、本実施例の動作について説明する。携帯電話機１１の使用者が、WEBページ又はJava(米国Sun Microsystems, Inc.の登録商標)アプリケーション等から画像を参照する際に、携帯電話機１１の表示部５に表示された画像が凹凸情報又は温度情報を保持している場合（ステップＳ１でＹＥＳ）、表示部５に表示されたサブメニューに触圧覚モードが追加される（ステップＳ２）。使用者が表示部５上で触圧覚モードを選択した場合（ステップＳ３でＹＥＳ）、その画像の触圧覚が触圧覚ピン９により提示される。

触圧覚ピン９による画像の触圧覚の提示前において、表示部５に表示された画像が温度情報を保持している場合（ステップＳ４でＹＥＳ）、触圧覚ピン９により温度情報を提示するかどうか選択させるサブメニューに対応するキーを割り当てる（ステップＳ５）。一方、表示部５に表示された画像が温度情報を保持していない場合（ステップＳ４でＮＯ）、上記の割り当ては行わない。

図５は、触圧覚領域を提示中の画面を示す図であり、（ａ）は凹凸情報及び温度情報を有する洋服の表示画面を示し、（ｂ）は凹凸情報を有する点字の表示画面を示す。触圧覚モードでは、表示部５に触圧覚領域５Ｃが表示され、使用者は携帯電話機１１を机上等の水平面上において上下左右に移動させるか、または十字キー等のキー入力を行うことで、触圧覚領域５Ｃを移動させることができる。この動作は、トラックボール（又は赤外線式測定部）７を作動させ、トラックボール（又は赤外線式測定部）７により測定されたデータを触圧覚領域検知部６により検知することで行われる。

触圧覚領域５Ｃにおける凹凸に対応して触圧覚ピン９が携帯電話機１１の筐体面に対し上下方向に動作（又は上下方向に動作し振動）する。温度情報を保持する画面５Ａにおいて、サブメニューに対応するキーに温度情報のＯＮ（入）/ＯＦＦ（切）を対応付けることにより（ステップＳ５）、温度制御部１２が冷却及び加熱装置１３を制御する。この場合、触圧覚ピン９の１本１本に温度情報を対応させることが望ましいが、困難である場合は、触圧覚領域５Ｃの温度情報から平均データまたは最多データを採用することで、温度制御する。必要に応じて、自動又は手動で触圧覚ピン９を触圧覚膜１５で覆い（図３（ｂ）参照）、使用者に滑らかさを提示する（ステップＳ６）。

触圧覚モードを終了する場合は、表示部５の画面に表示された部分に対応するキーを押下することで（ステップＳ７でＹＥＳ）、触圧覚モードが終了し、起動元の画面（WEBページ又はJavaアプリケーション等）となる。

一方、WEBページ又はJavaアプリケーション等における画像が凹凸情報又は温度情報を保持していない場合（ステップＳ１でＮＯ）、サブメニューに触圧覚モードが追加されず、現状の画面のまま（WEBページ又はJavaアプリケーション等）となる。また、WEBページ又はJavaアプリケーション等における画像が凹凸情報又は温度情報を保持しているが、使用者が触圧覚モードを選択しなかった場合（ステップＳ３でＮＯ）も、同様に現状の画面のまま（WEBページ又はJavaアプリケーション等）となる。

また、使用者が触圧覚モード時以外で携帯電話機１１を使用している場合には、触圧覚ピン制御部８により、触圧覚ピン９の上下動作範囲が携帯電話機１１の側面方向から見て−数ｍｍ〜０ｍｍとなるよう制御する。

本実施例によれば、携帯電話機１１の使用者に、凹凸情報、温度情報を持つ画像を表示部５に表示するだけでなく、触圧覚ピン９により画像の凹凸感、温度感を擬似的に提示させることができる効果がある。例えば、表示部５の画面５Ａ（図５（ａ））に表示された洋服の手触り感を触圧覚ピン９により擬似的に再現したり、画面５Ｂ（図５（ｂ））に表示された点字を触圧覚ピン９により提示することが可能となる。

また、画像が持つ温度情報により、表示部５に表示された物体の暖かさや冷たさを触圧覚ピン９により擬似的に再現したり、仮想現実となる外国の気温等も触圧覚ピン９により擬似的に提示することも可能である。

また、トラックボール（又は赤外線式測定部）７により、机上等に載置された携帯電話機１１の動きに応じた空間座標を計測することができるため、携帯電話機１１の操作部１４以外からの入力を増やすことが可能となる。

前述の実施例１では、携帯電話機で凹凸情報や温度情報を持つ画像の触圧覚を擬似的に提示する場合を説明したが、カメラにより撮影した画像について、撮影対象の物体との距離を測定することで撮影画像に凹凸情報を持たせることができ、その撮影画像の触圧覚を擬似的に提示することが可能となる。

また、前述の実施例１では、触圧覚モード時のみの動作について説明したが、触圧覚ピンを他の動作（例えば、つぼ押し）に応用することもできる。

本発明による携帯電話機の回路構成を示すブロック図である。（ａ）は携帯電話機の正面図、（ｂ）は携帯電話機の背面図である。（ａ）は触圧覚ピンが配設された携帯電話機の側面図、（ｂ）は触圧覚ピン及び触圧覚膜が配設された携帯電話機の側面図である。触圧覚提示処理を示すフローチャートである。（ａ）は凹凸情報及び温度情報を有する洋服の表示画面を示す図、（ｂ）は凹凸情報を有する点字の表示画面を示す図である。

符号の説明

１ＣＰＵ
３作業用メモリ
５表示部
６触圧覚検知部
７トラックボール（又は赤外線測定部）
８触圧覚ピン制御部
９触圧覚ピン
１０バス
１１携帯電話機
１２温度制御部
１３冷却及び加熱装置

Claims

画像を表示する表示手段を備えた携帯端末において、
前記表示手段に表示する画像の凹凸を示す凹凸情報を記憶する凹凸情報記憶手段と、
前記携帯端末の動きに応じて、前記表示手段の画面の中で凹凸情報を提示する触圧覚領域を検知する領域検知手段と、
前記画像の凹凸感を提示する触圧覚手段と、
前記触圧覚領域に対応する前記触圧覚手段に対し、前記凹凸情報記憶手段から取得した前記画像の凹凸情報に基づき、上下動作及び／又は振動動作させる触圧覚制御手段とを備えることを特徴とする触圧覚提示携帯端末。
前記表示手段に表示する画像の温度を示す温度情報を記憶する温度情報記憶手段と、
前記触圧覚手段の冷却又は加熱を行う冷却・加熱手段と、
前記触圧覚領域に対応する前記触圧覚手段に対し、前記温度情報記憶手段から取得した前記画像の温度情報に基づき、前記冷却・加熱手段の冷却又は加熱制御を行う温度制御手段とをさらに備えることを特徴とする請求項１記載の触圧覚提示携帯端末。
前記触圧覚手段は、複数のピンから構成され、
前記複数のピンのそれぞれに、前記画像のピクセル毎の凹凸情報を対応付けたことを特徴とする請求項１記載の触圧覚提示携帯端末。
画像を表示する表示手段を備えた携帯端末の触圧覚提示方法であって、
前記表示手段に表示する画像の凹凸を示す凹凸情報を記憶する凹凸情報記憶手段から前記画像の凹凸情報を取得するステップと、
前記携帯端末の動きに応じて、前記表示手段の画面の中で凹凸情報を提示する触圧覚領域を検知するステップと、
前記触圧覚領域に対応して前記画像の凹凸感を提示する触圧覚手段に対し、取得した前記画像の凹凸情報に基づき、上下動作及び／又は振動動作させるステップとを含むことを特徴とする触圧覚提示方法。
前記表示手段に表示する画像の温度を示す温度情報を記憶する温度情報記憶手段から前記画像の温度情報を取得するステップと、
前記触圧覚領域に対応する前記触圧覚手段に対し、取得した前記画像の温度情報に基づき、冷却又は加熱を行うステップとをさらに含むことを特徴とする請求項４記載の触圧覚提示方法。
前記触圧覚手段が、複数のピンから構成され、
前記複数のピンのそれぞれに、前記画像のピクセル毎の凹凸情報を対応付けたことを特徴とする請求項４記載の触圧覚提示方法。