JP2005292893A

JP2005292893A - 携帯情報端末装置

Info

Publication number: JP2005292893A
Application number: JP2004102728A
Authority: JP
Inventors: Hiroaki Shibayama; 博昭柴山
Original assignee: NEC AccessTechnica Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2005-10-20
Also published as: EP1586978A3; US7299149B2; US20050234676A1; EP1586978A2; CN1312557C; CN1677318A

Abstract

【課題】携帯情報端末装置に実行されるアクションを３次元的に、かつより詳細に認識することにより装置の入力・操作をすることの可能な携帯情報端末装置を提供する。
【解決手段】装置本体の水平面に対するロール角及びピッチ角を検出する傾斜検出手段１０４と、ロール角及びピッチ角の変化加速度を検出する加速度検出手段１０６と、装置本体にかかる磁力の大きさ及び向きを検出する磁気方位検出手段１０８と、を備え、これら各検出手段から出力されるデータを元にアクションの状態を認識し、装置本体状態表示データに変換するアクション認識手段１１２、１１４、１１６と、装置本体状態表示データをアクションパターンとして学習及び管理するアクションパターン保存手段１１８、１２０と、アクションパターンを装置本体に備わる機能にリンクさせ、機能を実行させるアクションショートカット手段１２４と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、携帯情報端末装置に関し、特にアクションショートカット機能付きの移動式携帯情報端末システムに関する。

携帯電話機等の携帯情報端末装置は、携帯性を向上させるために、さらなる小型化が進んでいる。しかし、ディスプレイに表示される情報の視認性や、操作部に配設されたキーボタンで情報を入力する際の操作性に難点が生じてしまう等という欠点も生じる。

このため、最近では、直接にキーボタンを押して操作するだけでなく、携帯情報端末装置自身に回転運動、傾斜運動、平行移動運動等の動作・アクションを実行することにより、より簡易に端末装置の操作、情報入力等を可能にした携帯情報端末装置が開示されている（例えば、特許文献１及び２を参照）。

また、携帯電話機等の携帯情報端末装置のみならず、上記のようなアクション認識機能をゲーム機器の入力装置に適用して、煩雑なボタン操作をせずに、より簡易に情報の検索、閲覧を可能にする情報検索端末が開示されている（例えば、特許文献３を参照）。

なお、振動ジャイロ等を用いることにより、容易なアクション認識が可能となることも考えられるが、デバイスの構造上、携帯性に欠け、小型化が進む携帯情報端末装置に適用するには、不適である。また、振動ジャイロが衝撃に弱いことより、携帯端末を落とした際のデバイスの破損等が大きな課題としてあり、振動ジャイロによる携帯情報端末装置のアクション認識の実現は、困難であった。

特開２００３−５８７９号特開２００３−１１４７５２号特開２００２−１４９６１６号

しかしながら、上記特許文献１及び２に開示された携帯情報端末装置は、回転運動よ２次元方向の運動のみ検出可能であり、３次元的な細かなアクションを認識するには、至らない。また、特許文献３に開示された情報検索端末は、この情報検索端末を充電し、及び計算機本体と接続するために使用されるグレードルが地磁気に対する絶対方位を決め、情報検索端末自体が地磁気に対する絶対方位を特定するには、至らない。このため、端末装置に実行される、より細かなアクションの強弱を認識するには、不十分であった。

そこで、本発明は、従来の携帯情報端末装置が有する上記問題点に鑑みてなされたものであり、本発明の目的は、地磁気に対する絶対方位を元に携帯情報端末装置に実行されるアクションの３次元的に、かつより詳細に認識することにより装置の入力・操作をすることの可能な、新規かつ改良された携帯情報端末装置を提供することである。

上記課題を解決するために、本発明のある観点によれば、操作部の直接の入力操作、及び装置本体に実行されるアクションの認識により、装置本体の操作が実行される携帯情報端末装置において、装置本体の水平面に対するロール角及びピッチ角を検出する傾斜検出手段と、ロール角及びピッチ角の変化加速度を検出する加速度検出手段と、装置本体にかかる磁力の大きさ及び向きを検出する磁気方位検出手段と、を備え、傾斜検出手段、加速度検出手段、及び磁気方位検出手段から出力されるデータを元にアクションの状態を認識し、装置本体状態表示データに変換するアクション認識手段と、装置本体状態表示データをアクションパターンとして学習及び管理するアクションパターン保存手段と、アクションパターンを装置本体に備わる機能にリンクさせ、機能を実行させるアクションショートカット手段と、を備えることを特徴とする、携帯情報端末装置が提供される。

このとき、アクションショートカット手段には、アクション認識手段において状態表示データ化された装置本体に実行されるアクションと、アクションパターン保存手段に管理・保存されているアクションパターンとを比較するアクション比較手段を含むこととしてもよい。

また、このとき、アクション認識手段では、絶対方位に対するアクションが定義されることとしてもよく、また、絶対方位を省略してもアクションを定義可能なこととしてもよい。

このような構成とすることにより、角速度のオフセット誤差がより高い精度で補正可能となるので、携帯情報端末装置の装置本体に実行されているアクションの状態及び携帯情報端末装置の装置本体の状態を正確に把握できる。また、地磁気に対する絶対方位を元に携帯情報端末装置に実行されるアクションを３次元的に、かつより詳細に認識することにより装置の入力・操作をすることが実現される。

以上説明したように本発明によれば、角速度のオフセット誤差が高度に補正でき、携帯情報端末装置に実行されるアクションの状態、例えばどの方向に傾いているか、動いているか、加速度の向きと大きさはどうなのか等を正確に把握できる。

また、携帯情報端末装置の状態を時間軸上で管理することもできることより、携帯情報端末装置の機能にリンクさせて、アクションショートカットとして動作させることも可能である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、本発明の第１実施形態における携帯情報端末装置に備わる内部回路の構成について図面を使用しながら説明する。図１は、本発明の第１実施形態における携帯情報端末装置に備わる内部回路の構成を説明するためのブロックダイアグラム図であり、図２は、本実施形態における携帯情報端末装置のハードウェア的な構成を示す図である。

図１に示すように、本実施形態の携帯情報端末装置１００は、この装置１００に備わる一のハードウェア１０２に２軸傾斜角度検出手段１０４と、２軸加速度検出手段１０６と、及び３軸地磁気方位検出手段１０８を具備する。

２軸傾斜角度検出手段１０４は、装置本体の水平面(Ｘ軸、Ｙ軸)に対するロール角(Ｘ軸)及びピッチ角(Ｙ軸)を検出する傾斜検出手段であり、２軸加速度検出手段１０６は、ロール角及びピッチ角の変化加速度を検出する加速度検出手段であり、３軸地磁気方位検出手段１０８は、装置本体にかかる全磁力の大きさ及び向きを検出する磁気方位検出手段である。

また、携帯情報端末装置１００に備わる他のハードウェア/ソフトウェア１１０には、オフセット補正手段１１２、自己個体誤差補正手段１１４、自己個体状態演算手段１１６、ログ管理手段１１８、アクションショートカットテーブル１２０(ＦｌａｓｈＲＯＭまたはＲＡＭに保存)、アクション比較手段１２２、ショートカット起動手段１２４が設けられている。さらに、携帯情報端末装置１００に備わる他のハードウェア/ソフトウェア１２６には、機能起動手段１２８が設けられている。

オフセット補正手段１１２と自己個体誤差補正手段１１４は、同一ブロックに配設され、水平面に対する直下(Ｚ軸)を検出するための情報を蓄える。また、他機能として、周辺磁場磁気キャンセラー等の機能も備える。

自己個体状態演算手段１１６は、オフセット補正手段１１２と自己固体誤差補正手段１１４にて求められた情報より、水平直下(Ｚ)軸を常に監視し、その軸に対する携帯情報端末装置１００の装置本体のロール角、ピッチ角を算出する。

これらオフセット補正手段１１２、自己個体誤差補正手段１１４、及び自己個体状態演算手段１１６は、上記の２軸傾斜角度検出手段１０４、２軸加速度検出手段１０６、及び３軸地磁気方位検出手段１０８から出力されるデータを元に装置本体に実行されるアクションの状態を認識し、装置本体状態表示データに変換するアクション認識手段となる。

ログ管理手段１１８は、アクションショートカットを駆動させた際のログを蓄え学習させたものをアクションショートカットテーブル１２０にセーブ/更新/削除させる機能を備え、学習させたアクションショートカットは、常に個人個体のパラメータとして更新、管理される。

アクションショートカットテーブル１２０は、登録したアクションのデータベースであり装置本体の特性も保存する。

これらログ管理手段１１８、及びアクションショートカットテーブル１２０は、装置本体状態表示データをアクションパターンとして学習及び管理するアクションパターン保存手段となる。

アクション比較手段１２２は、アクションショートカットテーブル１２０に蓄えられている内容と現在動かしたアクションを比較する機能手段であり、一致した場合にショートカット起動手段１２４を介して、他のハードウェア/ソフトウェア１２６に備わる機能起動手段１２８によって機能起動を行う。

これらアクション比較手段１２２、及びショートカット起動手段１２４は、アクションパターンを装置本体に備わる機能にリンクさせ、機能を実行させるアクションショートカット手段となる。

また、本実施形態における携帯情報端末装置１００のハードウェア的な構成を示す図である図２に示すように、この装置１００に備わる一のハードウェア１０２に備わる加速度センサ１３０は、上記の２軸傾斜角度検出手段１０４と２軸加速度検出手段１０６を具備する。さらに、装置１００に備わる一のハードウェア１０２に備わる磁気センサ１３２は、上記の３軸磁気方位検出手段１０８を具備する。

そして、本実施形態の携帯情報端末装置１００は、上記の加速度センサ１３０及び磁気センサ１３２からの出力データを携帯情報端末装置１００に備わる他のハードウェア/ソフトウェア１１０に配設されたＭＰＵ１３４で処理するために、一のバス１３６を備える。また、ＭＰＵ１３４は、ＲＡＭ／ＲＯＭ１３８と他のバス１４０を介して接続され、そして、他のハードウェア/ソフトウェア１２６に備わる周辺デバイス１４２と他のバス１４０を介して接続される。

本実施形態では、図１及び図２に示すように、磁気センサ１３２からの出力は、オフセット補正手段１１２と自己個体誤差補正手段１１４を経由することにより、正確な地磁気角度がＭＰＵ１３４のプログラム演算処理によって求められる。

また、同様にして、オフセット補正手段１１２と自己個体誤差補正手段１１４をＭＰＵ１３４のプログラム演算処理によって装置傾斜角度(ロール角、ピッチ角)と加速度(大きさ、向き)が求められる。

これら求められたデータは、自己個体状態演算手段１１６を用いて、装置本体である個体の状態を示すデータに変換される。そして、変換されたデータは、ログ管理手段１１８において学習・登録が行われ、アクションショートカットテーブル１２０(ＦｌａｓｈＲＯＭまたはＲＡＭ)に保存される。

一方、個体に実行されるアクションは、アクション比較手段１２２であるＭＰＵ演算処理によって、アクション動作として比較され、その人特有の動作の曖昧さも考慮した上でパラメータ化される。そして、上記の動作の曖昧さも考慮した上でパラメータ化された許容範囲内においてアクション比較手段１２２で一致したものは、携帯情報端末装置１００の予め指定したアクションショートカットテーブル１２０に保存されている内容に基づいて携帯情報端末装置１００に備わる機能を起動させることができる。また、予め指定した携帯情報端末装置１００に備わる機能は、従来からあるショートカット機能に割り振ってもよく、ハードウェアを動かすことも可能である構成を備えることとしてもよい。

次に、本実施形態の携帯情報端末装置１００に備わるアクションショートカットテーブル１２０の構成について図面を使用しながら説明する。図３は、本実施形態の携帯情報端末装置１００に備わるアクションショートカットテーブル１２０の構成を示す図である。

本実施形態の携帯情報端末装置１００に備わるアクションショートカットテーブル１２０は、大分類として、ショートカット名１５０、Function No.１５２、及びデータ１５４で構成される。

ショートカット名１５０は、メーカが予め用意したアクションによって起動させたい名前である。この名前は、メニュー上で表示されユーザにアクションをして登録関連付けを行うためのものであり、換言すると、ユーザが登録できるアクション名である。

Function No.１５２は、ユーザが選択登録したデータと実際のソフトウェア機能とを関連付けされた機能番号であり、この番号の処理が実行される仕組みを持つものである。すなわち、携帯情報端末装置１００に実行されたアクションと後述するデータ１５４とを前述したアクション比較手段１２２で比較して、一致した場合に、上記の関連づけされた機能を起動させるものである。

データ１５４は、ユーザの登録したアクションデータであり、中分類としてｎ個のサンプリング１５６（サンプリング１、サンプリング２、サンプリング３、・・、サンプリングｎ）で構成される。すなわち、サンプリング１５６のデータの集合体がアクションデータと定義される。

さらに、サンプリング１５６は、小分類として角加速度ベクトル１５８、装置ロール角１６０、装置ピッチ角１６２、２軸方位１６４で構成される。

角加速度ベクトル１５８は、サンプリング時にどの方向に対してどの位の加速度で動いているかを定義するものであり、角加速度ベクトル１５８のＸ成分データであるＸ軸(角加速度ベクトル)１６６、角加速度ベクトル１５８のＹ成分データであるＹ軸(角加速度ベクトル)１６８、角加速度ベクトル１５８のＺ成分データであるＺ軸(角加速度ベクトル)１７０、及び角速度ベクトル１５８の個人の特性を示すパラメータが格納される誤差パラメータ(角加速度ベクトル)１７２から構成される。

装置ロール角１６０は、サンプリング時の装置ロール値を示す角度(装置ロール角)１７４、及び装置ロール角１６０の個人の特性を示すパラメータが格納される誤差パラメータ(装置ロール角)１７６から構成される。

装置ピッチ角１６２は、サンプリング時の装置ピッチ値を示す角度(装置ピッチ角)１７８、及び装置ピッチ角１６２の個人の特性を示すパラメータが格納される誤差パラメータ(装置ピッチ角)１８０から構成される。

２軸方位１６４は、アクションにおいて絶対方位が必要な場合に使用できる様に授け、サンプリング時の絶対方位を示す角度(２軸方位)１８２、及び２軸方位１６４の個人の特性を示すパラメータが格納される誤差パラメータ(２軸方位)１８４から構成される。

次に、本実施形態の携帯情報端末装置１００の動作について、図面を使用しながら詳細に説明する。図４は、本実施形態の携帯情報端末装置１００に備わるオフセット補正手段１１２の動作説明図であり、図５は、本実施形態の携帯情報端末装置１００を実際に動かした際の携帯情報端末装置１００の動きを示す動作図であり、図６は、本実施形態の携帯情報端末装置１００で実行されたアクションのデータ軌跡例を示す図である。

上述したように、磁気センサ１３２からの出力は、オフセット補正手段１１２と自己個体誤差補正手段１１４を経由して、正確な地磁気角度をＭＰＵ１３４のプログラム演算処理によって方位が求められる。

オフセット補正手段１１２は、携帯情報端末装置１００や、携帯情報端末装置１００と一緒に動く個体(車載の場合は、車自体を含む)の固有磁場をキャンセルするための機能であり、その動作を図４に示す。図４（ａ）は、携帯情報端末装置１００等の固有磁場をキャンセルする動作を示す図であり、図４（ｂ）は、全磁力ベクトルの成分定義図である。なお、図４（ａ）の略球体のぼかし部分は、携帯情報端末装置１００を自由に動かした際の磁気ベクトルの軌跡群１８６を示す。

図４（ａ）に示すように、オフセットされていない場合では、携帯情報端末装置１００の磁気ベクトル軌跡群１８６は、角軸に対して固有の固定磁場が見えるためＤＣ（直流）成分として中心(Ｘ、Ｙ、Ｚ)＝(０、０、０)から外れている。中心から外れた状態では、演算を行い難いので、携帯情報端末装置１００の磁気ベクトル軌跡群１８６を中心に移動させる（移動後の携帯情報端末装置１００の磁気ベクトル軌跡群１８６’）。また、このオフセット補正手段１１２によるオフセット処理は、周辺磁場が変化して中心がずれたことを検出するためにも必要な処理である。

さらに、同様にして、オフセット補正手段１１２と自己個体誤差補正手段１１４をＭＰＵ１３４のプログラム演算処理によって装置傾斜角度(ロール角、ピッチ角)と加速度(大きさ、向き)が求められる。

これらデータは、自己個体状態演算手段１１６を用いて、個体の状態を示すデータに変換される。そして、変換されたデータは、ログ管理手段１１８にて学習(登録)を行い、アクションショートカットテーブル(ＦｌａｓｈＲＯＭまたはＲＡＭ)１２０に保存される。

一方、携帯情報端末装置１００の装置本体のアクションは、アクション比較手段１２２であるＭＰＵ演算処理によって、アクション動作として比較される。また、携帯情報端末装置１００の装置本体のアクションは、その人特有の動作曖昧さも考慮してパラメータ化してあり、その許容範囲内においてアクション比較手段１２２で一致したものは、携帯電話等の携帯情報端末装置１００の予め指定したアクションショートカットテーブル１２０に保存されている内容に基づいて機能を立ち上げることができる。また、予め指定した機能は、従来からあるショートカット機能に割り振ってもよく、ハードウェアを動かすことも可能である構成を備えることとしてもよい。

比較されるデータは、アクションショートカットテーブル１２０に蓄えられ、このアクションショートカットテーブル１２０は、図３に示すテーブルで構成される。なお、アクションショートカットテーブル１２０については、上述した通りであるので、その構成の説明は、省略する。

図５は、実際に動かした際の携帯情報端末装置１００の動きを示す動作図であり、図６に、携帯情報端末装置１００のアクションのデータ軌跡例を示す。図６に示すデータの軌跡は、携帯情報端末装置機１００の動きを表すものであり、携帯情報端末装置中心に全地磁気ベクトルの動きと傾斜センサからのデータであるロール角とピッチ角をリンクさせたものである。また、角加速度ベクトルもリンクして(例として)、図５に示す携帯情報端末装置１００の動作状態Ｐ１〜Ｐ６のサンプリングデータを図示化したものであり、既に周辺磁場の影響をオフセットした図を示す。

図６に示すように、ピッチ角は、Ｘ軸直線を中心とした(Ｘ、Ｙ、Ｚ)＝(０、０、０)の点からの角度を示す。ロール角は、ＹＺ平面上での回転角を示す。この２点の角度により３次元空間を図示化できる。

この点をつなぎ合わせたものをパターンとして定義して、比較するデータの基準とすることにより、アクションを起こした際のデータと比較一致した場合のみショートカット機能を実現させる。

また、軌跡上のサンプリングデータ(例としてＰ３ポイント)には、方位データも付加されており(各サンプリングデータは、皆付加されている)、アプリケーションによって使い分けられる。

例えば、単なるアクションゲームなどには、方位データ抜きで使用することとしてもよい。また、本実施形態は、方位に関係するようなゲーム、宝探し、おみくじに、アクションを必要とするアプリケーションなどに利用できる。

さらに、本実施形態では、携帯情報端末装置１００の状態を時間軸上で管理することもできることより、携帯情報端末装置１００の機能にリンクさせて、アクションショートカットとして動作させることも可能である。例えば、受話器を取るまねをしてオフフック動作としたり、受話器を置くまねでオンフック動作としたり、磁気コンパスを操る操作をさせて、実際に電子コンパス機能を起動させる等、身振りで携帯情報端末装置１００を簡単操作が可能となる。

すなわち、複雑な操作せずに携帯情報端末装置１００を使いこなす手段を提供することが可能であり、お年寄りなど高齢者向けへの機能提供、若者向けへの、アクションゲームの入力手段等にも適用可能なシステムが提供される。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態では、主に携帯電話機等の携帯情報端末装置に適用されているが、本発明は、ゲームの入力機器等の携帯情報端末装置にも適用可能である。その一例として、従来の機械的な動作でなく、パターン化することで、リアルな動きをするビー玉迷路ゲームが実現でき、携帯端末を傾け、その加速度と傾斜角度によって、あたかもビー玉が転がるようなＧＵＩを駆使したゲームや、ジャンプの様な急激な加速度変化によって、ゲーム主人公がジャンプするなどのゲームへの入力機器としても応用が可能となる。

本発明は、アクションショートカット機能が備わった携帯情報端末装置に適用可能であり、特に移動式携帯電話機やゲームの入力機器等の端末装置に適用可能である。

本発明の第１実施形態における携帯情報端末装置に備わる内部回路の構成を説明するためのブロックダイアグラム図である。同実施形態における携帯情報端末装置のハードウェア的な構成を示す図である。同実施形態の携帯情報端末装置に備わるアクションショートカットテーブルの構成を示す図である。同実施形態の携帯情報端末装置に備わるオフセット補正手段の動作説明図である。同実施形態の携帯情報端末装置を実際に動かした際の携帯情報端末装置の動きを示す動作図である。同実施形態の携帯情報端末装置で実行されたアクションのデータ軌跡例を示す図である。

符号の説明

１００携帯情報端末装置
１０２（一の）ハードウェア
１０４２軸傾斜角度検出手段
１０６２軸加速度検出手段
１０８３軸地磁気方位検出手段
１１０（携帯情報端末装置に備わる他の）ハードウェア/ソフトウェア
１１２オフセット補正手段
１１４自己個体誤差補正手段
１１６自己個体状態演算手段
１１８ログ管理手段
１２０アクションショートカットテーブル(ＦｌａｓｈＲＯＭまたはＲＡＭに保存)
１２２アクション比較手段
１２４ショートカット起動手段
１２６（携帯情報端末装置に備わる他の）ハードウェア/ソフトウェア
１２８機能起動手段
１３０加速度センサ
１３２磁気センサ
１３４ＭＰＵ
１３６、１４０バス
１３８ＲＡＭ／ＲＯＭ
１４２周辺デバイス

Claims

操作部の直接の入力操作、及び装置本体に実行されるアクションの認識により、前記装置本体の操作が実行される携帯情報端末装置において、
前記装置本体の水平面に対するロール角及びピッチ角を検出する傾斜検出手段と、
前記ロール角及びピッチ角の変化加速度を検出する加速度検出手段と、
前記装置本体にかかる磁力の大きさ及び向きを検出する磁気方位検出手段と、を備え、
前記傾斜検出手段、前記加速度検出手段、及び前記磁気方位検出手段から出力されるデータを元に前記アクションの状態を認識し、装置本体状態表示データに変換するアクション認識手段と、
前記装置本体状態表示データをアクションパターンとして学習及び管理するアクションパターン保存手段と、
前記アクションパターンを前記装置本体に備わる機能にリンクさせ、前記機能を実行させるアクションショートカット手段と、を備えることを特徴とする、携帯情報端末装置。
前記アクションショートカット手段には、前記アクション認識手段において状態表示データ化された前記装置本体に実行されるアクションと、前記アクションパターン保存手段に管理・保存されている前記アクションパターンとを比較するアクション比較手段を含むことを特徴とする、請求項１に記載の携帯情報端末装置。
前記アクション認識手段において、絶対方位に対する前記アクションが定義されることを特徴とする、請求項１または２に記載の携帯情報端末装置。
前記アクション認識手段は、前記絶対方位を省略しても前記アクションを定義可能なことを特徴とする、請求項１または２に記載の携帯情報端末装置。