JP2007052780A - 移動通信端末のユーザー入力方法及び装置 - Google Patents

Abstract

【課題】本発明は、移動通信端末の便利なユーザー入力方法及び装置を提供する。
【解決手段】本発明は、移動通信端末のユーザー入力方法において、現在設定された動作モードに従い、端末制御に必要なキー機能及びメニュー機能の各々に対応するイメージを含むメニュー画面を表示するステップと、ＡＲ入力モードの設定時、具備されたカメラを介して撮影される映像から予め設定されたインジケーターを検出し、検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示するステップと、合成された画面上において、イメージの任意のイメージとインジケーターとが重畳された状態で、カメラを介して撮影された映像から選択に対応する予め設定されたユーザーモーションが検出される場合、イメージに対応する機能に従う動作を遂行するステップとを含む。
【選択図】図３

Description

本発明は、移動通信端末に関し、特に、キー入力のような移動通信端末のユーザー入力方法及び装置に関する。

最近、移動通信端末の大衆化に伴い、移動通信端末は、基本的な通話サービス以外にも、多様な付加サービスを遂行することになった。例えば、短文メッセージサービス、マルチメディアメッセージサービス、ゲームプレーが可能なゲームサービス、無線インターネットサービス等の付加サービスが存在する。

このように、移動通信端末で支援される付加サービスの増加に伴い、ユーザーインターフェースも変化した。初期のキー入力部は、０〜９のそれぞれの数字に複数のアルファベットが割り当てられた数字キーと、通話及び終了のための基本的な機能キーとからなった。ところが、現在は一つの数字キーに複数のアルファベットは勿論、ハングルまで割り当てられて複雑になり、方向キーのような機能キーの種類も増加して全体的なキーボタンの数も増加し、各機能キーに割り当てられた機能も増加している。移動通信端末に具備されるキーボタンは、移動通信端末の動作をユーザーが制御するために必要な構成であるが、多様な動作モード又は任意の動作制御において、全てのキーボタンが使用されるものではない。移動通信端末に現在設定された動作モードや、遂行中の動作と関連したいくつかのキーボタンが利用されるだけで、そのキーボタンを除いた残りのキーボタンは利用されないにも関わらず、多くの数のキーボタンが具備されることは、時としてユーザーに不便を招く恐れがある。

また、移動通信端末の大きさの縮小化に伴い、キーボタンの大きさも小型化されつつある。これにより、ユーザーは、キーボタンを使用するとき、不便と退屈を感じ、微細な操作を必要とするようになった。

さらに、ユーザーに提供する情報量が増加する一方、表示画面のサイズも大きくなる。しかしながら、キー入力部に割り当てられるべき最小面積は確保されなければならないため、表示画面の大きさの増加にも限界があり、これはユーザーの不満を招くことになる。

一方、ＡＲ(Augumented Reality)は、ユーザーが見る実映像とコンピュータから生成された仮想映像とを正確に整合したユーザーインターフェース技術であって、すなわち、ユーザーにより現実感及び認識度の向上を提供するために、ユーザーが見る実映像とコンピュータから生成された文字やグラフィックのような仮想の付加情報とをリアルタイムで合成して表示する技術である。ＡＲシステムは、カメラを介して得られた実映像とコンピュータから生成された仮想映像とをリアルタイムで整合し、トラッカー(tracker)を用いたカメラの位置と姿勢を追跡し、トラッカー及びカメラの誤差を補正し、実映像と仮想映像との整合結果を３次元又は２次元にシミュレーションする。このようなＡＲは、ゲーム、放送、教育、訓練、医療、設計、広告などの多様な分野で活用されている。

前述したように、ＡＲは、カメラ、表示部、映像データ処理のための処理部が具備される場合、ユーザーの動きを感知できる。

よって、このようなＡＲの特徴を用いて移動通信端末のユーザー入力方式を構成する場合、より便利なユーザー入力方式を具現できる。

よって、本発明の目的は、移動通信端末の便利なユーザー入力方法及び装置を提供することにある。

また、本発明の他の目的は、ＡＲを用いた移動通信端末のユーザー入力方法及び装置を提供することにある。

前記目的を達成するために、本発明は、移動通信端末のユーザー入力方法において、現在設定された動作モードに従い、端末制御に必要なキー機能及びメニュー機能の各々に対応するイメージを含むメニュー画面を表示するステップと、ＡＲ入力モードの設定時、具備されたカメラを介して撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示するステップと、前記合成された画面上において、前記イメージの任意のイメージと前記インジケーターとが重畳された状態で、前記カメラを介して撮影された映像から選択に対応する予め設定されたユーザーモーションが検出される場合、前記イメージに対応する機能に従う動作を遂行するステップとを含むことを特徴とする。

本発明によれば、ＡＲ入力モードにおいて、カメラを介して撮影される映像から予め設定されたインジケーターを検出し、移動通信端末に格納されたメニュー又はキーに対応するイメージからなる仮想画面と合成して表示し、合成画面上において、インジケーターの位置と任意のイメージの位置とが一致する状態で、予め設定された選択に対応するユーザーモーションが感知される場合、当該イメージに対応する動作を遂行することで、便利で興味深い方法により移動通信端末のユーザー入力を可能にする。

以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。図面において、同一の構成要素に対しては、同一の参照符号を付したことに留意すべきである。なお、下記の説明において、本発明の要旨のみを明瞭にするために、公知の機能や構成についての具体的な説明は適宜省略する。

まず、本発明が適用される移動通信端末の構成を、図１を参照して説明する。図１は、本発明が適用される移動通信端末のブロック構成図である。図１によれば、本発明の実施形態による移動通信端末１００は、制御部１１、メモリ部１３、映像処理部１５、カメラ１７、表示部１９、ベースバンド処理部２５、ＲＦ(Radio Frequency)モジュール２１及び音声処理部２３からなる。

制御部１１は、移動通信端末の全般的な動作を制御する。

ＲＦモジュール２１は、アンテナを介して移動通信基地局と無線信号を送受信するが、ベースバンド処理部２５を介して制御部１１から入力される送信信号を変調してＲＦ信号をアンテナを介して送信し、アンテナを介して受信されるＲＦ信号を復調してベースバンド処理部２５を介して制御部１１に提供する。ベースバンド処理部２５は、ＲＦモジュール２１と制御部１１との間で送受信されるベースバンド信号を処理する。

制御部１１に連結された音声処理部２３、音声処理部２３に接続されたマイク(ＭＩＣ)及びスピーカー(ＳＰＫ)は、電話通話及び音声録音に使用される。

表示部１９は、各種画像情報と、基地局から受信されるか又はメモリ部１３に格納されている画像とを、制御部１１の制御により画面上に表示する。

カメラ１７は、イメージセンサーにより得られる画像フレームを映像処理部１５に出力する。

映像処理部１５は、制御部１１の制御下で、カメラ１７から入力される画像フレームを表示部１９に表示可能な映像データに変換し、表示部１９に出力する。また、映像処理部１５は、制御部１１の制御下で、カメラ１７を介して得られた実映像とメモリ部１３に格納された仮想映像、或いは、実映像から検出したインジケーターと仮想映像をリアルタイムで整合し、誤差を補正し、実映像と仮想映像との整合結果を２次元又は３次元で表示部１９に表示する。

メモリ部１３は、制御部１１の処理及び制御のためのプログラム、参照データ、更新可能な各種格納用データなどを格納し、制御部１１のワーキングメモリ(working memory)に提供される。また、メモリ部１３は、本発明の実施形態によってＡＲ入力モードを遂行するためのプログラムデータを格納し、移動通信端末１００の動作制御に必要な各種イメージを格納する。ＡＲ入力モードとは、カメラ１７を介して撮影された実映像からインジケーターを検出し、メモリ部１３に予め格納されたイメージからなる任意の仮想映像とリアルタイムで合成して表示し、合成映像を表示した状態でインジケーターが任意の仮想映像に含まれるイメージを選択する入力を感知したり、インジケーターによる直接的なデータ入力を感知すれば、それに対応する移動通信端末の動作を遂行するモードを意味する。動作制御に必要な各種イメージは、キーに対応するイメージ、各種メニューに対応するイメージ、多様な背景画面などを含む。

また、メモリ部１３は、本発明の実施形態により、ＡＲ入力モードの遂行時、必要な各種インジケーター情報と、各種ユーザーモーションとを格納する。インジケーター情報とは、ＡＲモードの遂行中に、カメラ１７を介して撮影される映像のうちで、移動通信端末１００の入力素子として認識されるインジケーターの区分に必要な情報である。インジケーターとしては、例えば、ユーザーの指、ペン、赤外線出力ペン、瞳、顔などにすることができ、インジケーター情報はインジケーターを区分して認識できる情報である。本発明の実施形態により、ユーザーは、メモリ部１３に格納されたインジケーターの中に任意のインジケーターを指定でき、新しいインジケーターをさらに登録できる。インジケーターの追加登録は、メモリ部１３にインジケーター情報を格納することによりなされ、インジケーター情報の格納はインジケーターを撮影することによりなされる。

ユーザーモーションとは、ＡＲ入力モードにおいて、ユーザーが移動通信端末１００に入力できる各種命令語に従う所定のユーザー動作であって、各種命令語は選択、解除、任意の動作の開始及び終了などにすることができる。各種命令語に従うユーザーモーションは、全部区分可能であり、必要に応じて同一の動作にすることができる。例えば、インジケーターが指やペンの模様である場合、選択及び解除に対応するユーザーモーションである選択モーションと解除モーションは、押下動作でなされ、開始及び終了に対応するユーザーモーションである開始モーションと終了モーションは、円を描く動作からなる。他の例として、インジケーターが瞳である場合、選択モーションと解除モーションは、目を１回瞬く動作からなり、開始モーション及び終了モーションは、目を２回瞬く動作からなる。

また、メモリ部１３は、本発明の実施形態により文字を読み出すのに必要なデータを格納し、仮想アクションメニューに関するプログラムデータと、多数の仮想アクションコードとを格納する。仮想アクションメニューとは、画像通話時、被呼者の移動通信端末の画像通話画面に任意の固定仮想イメージ又は動的仮想イメージと実際映像とを合成して表示させるメニューであって、各メニューは対応する仮想アクションコードを備える。仮想イメージとしては、花粉、爆竹などにすることができる。

前述したように、本発明による移動通信端末１００の動作の過程は、次の通りである。移動通信端末１００の制御部１１は、動作モードによって各種キーに対応するイメージからなるキーインターフェース又はメニューからなるメニュー画面を表示し、ＡＲ入力モードの実行時、撮影された映像から検出されたインジケーターをメニュー画面にリアルタイムで合成して表示する。以後、ユーザーは、表示部１９を確認して自身が選択したいキー又はメニューに対応するイメージにインジケーターを配置する。続いて、ユーザーがイメージを選択する動作、すなわち、選択モーションを行うと、制御部１１はインジケーターの位置とイメージの位置とが一致することを把握し、選択モーションを把握して選択されたイメージに対応するキー又はメニューが選択されたことを把握して、それに従う動作を遂行する。本発明においてインジケーターの位置と任意のイメージの位置とが一致することは、合成画面上において、２つのイメージの中心座標が一致することではなく、２つのイメージの重畳部分が存在することである。

前述したように動作する移動通信端末１００は、本発明により移動通信端末１００の動作制御に必要な各種キーを表示部１９に表示し、ユーザーの要求によってＡＲ入力モードを実行することで、ＡＲ機能を介してキーが入力され、メニューが選択されるため、別途のキー入力部が不要になる。これにより、移動通信端末１００は、図２に示すように構成することができる。図２は、本発明の実施形態による移動通信端末の正面図である。図２によれば、移動通信端末１００は、表示部１９のみを全面に備え、端末の上側にカメラ１７を備える。また、表示部１９は、移動通信端末の情報を表示する一般表示画面３１と、現在動作モードによってキー又は各種メニューが表示される入力表示画面３３とに区分されて表示することもできる。図２に示すように、一般表示画面３１と入力表示画面３３とが分離表示された場合、インジケーターとの合成は入力表示画面３３のみで行われる。

一方、図２では、一般表示画面３１と入力表示画面３３とが分離表示された場合を示したが、動作モードによって表示部１９の全体が入力表示画面３３からなることもできる。

移動通信端末１００は、従来の一般移動通信端末のキー入力部によりなされる全てのユーザー入力を、ＡＲ入力モードを介して入力されることができる。それに従う実施形態を、図３〜図６を参照して説明する。

まず、図３を参照して本発明によるキー入力過程を説明する。図３は、本発明の実施形態による移動通信端末のメニュー選択の過程に従う制御部の動作フローチャートである。図３によれば、制御部１１は、段階Ｓ１０１において、現在設定された動作モードに従い、端末制御に必要なキーに対応するイメージやアイコンを含むメニュー画面を表示する。例えば、現在アイドルモードである場合、着発信キー、メニューキー、取消キー、確認キー等からなる基本機能キーと、数字キーとを表示する。以後、制御部１１は、段階Ｓ１０３においてモーション入力要求を感知すれば、段階Ｓ１０５に進行する。モーション入力要求とは、ＡＲ入力モードの設定を要求するもので、これは別途に具備されたキー入力により行うことができる。制御部１１は、段階Ｓ１０５においてカメラ撮影を開始して段階Ｓ１０７に進行する。制御部１１は、段階Ｓ１０７において撮影された映像から予め指定されたインジケーターを検出し、検出されたインジケーターをメニュー画面にリアルタイムで合成して表示する。例えば、既定のインジケーターが指であれば、カメラを介して撮影されたユーザーのイメージのうち、指イメージをインジケーターとして検出し、指のリアルタイム動きをメニュー画面に合成する。ユーザーは、合成された画面を介して自身の指位置を把握でき、選択したいキーアイコンに指を位置させる。制御部１１は、段階Ｓ１０９において撮影された映像を分析してインジケーターの位置がメニュー画面に含まれた任意のアイコン位置と一致した状態で、アイコン選択ユーザーモーションが検出されるか否かを確認して、検出されれば段階Ｓ１１１に進行し、検出されなければ段階Ｓ１１３に進行する。すなわち、ユーザーが任意のキーアイコン上に指を位置した状態で、既定の選択に該当するユーザーモーションである押下動作を行うと、制御部１１は、段階Ｓ１１１において当該アイコンに設定された機能を遂行し、結果に従う動作モードを設定して段階Ｓ１０９に進行して、段階Ｓ１０９〜段階Ｓ１１５を遂行する。

一方、制御部１１は、段階Ｓ１１３において撮影された映像とメニュー画面とを分析して、インジケーターの位置がメニュー画面のスクロールバーと一致した状態で、アイコン選択ユーザーモーションが検出されるか否かを確認して、検出されれば段階Ｓ１１５に進行し、検出されなければ段階Ｓ１０９に進行する。すなわち、ユーザーが画面のスクロールバーの位置に指を移動させ、スクロールバーと指の位置とが一致した状態で、既定の選択ユーザーモーションである押下動作を遂行すれば、制御部１１はスクロールバーが選択されたことを感知し、段階Ｓ１１５においてインジケーターの動きに従ってメニュー画面をスクロールして表示し、段階Ｓ１０９に進行する。

本発明の実施形態では、キーを選択して入力する過程に限って説明したが、メニューを選択する過程も同様になされる。すなわち、制御部１１が各種メニュー目録を含む画面を表示した状態でＡＲ入力モードが設定される場合、制御部１１は撮影された映像からインジケーターを検出し、表示した画面とリアルタイムで合成して表示する。ユーザーの所望のメニュー目録にインジケーターを位置させ、選択ユーザーモーションを行うと、制御部１１は現在インジケーの位置と同一に位置するメニューが選択されたと判断し、選択されたメニューに従う動作を遂行する。このとき、メニュー目録は多様なフォーマットで表示することができる。また、それぞれのメニューに対応するアイコンや動的イメージになり得る。

他の実施形態として、ＡＲ入力モードにおけるインジケーターの動きに従う文字入力過程について、図４を参照して説明する。図４は、本発明の実施形態による文字認識過程に従う制御部１１の動作フローチャートである。図４によれば、制御部１１は、文字認識モードが設定されると、段階Ｓ２０１において文字認識画面を表示してカメラ撮影を開始する。本発明の実施形態において、文字認識モードはＡＲ入力モードのインジケーターの動きに従う文字認識モードである。制御部１１は、段階Ｓ２０３において撮影された映像からインジケーターを検出し、検出されたインジケーターを文字認識画面に合成して表示して段階Ｓ２０５に進行する。ユーザーは、文字認識画面にインジケーターが合成されて表示されると、適当な位置で文字を書き込むために、予め設定された入力開始ユーザーモーションを行った後、文字を書き込む。制御部１１は、段階Ｓ２０５において撮影される映像から文字入力開始ユーザーモーションが検出されるか否かを確認して、検出されれば段階Ｓ２０７に進行する。制御部１１は、段階Ｓ２０７においてインジケーターの動きに従う軌跡を線で表示し、段階Ｓ２０９に進行する。ユーザーは、所望の文字の書き込みが完了すれば、予め設定された入力終了ユーザーモーションを行う。すなわち、“３”を入力したい場合、入力開始ユーザーモーションを行った後“３”を書込み、“３”の書込みが完了すれば入力終了ユーザーモーションを行う。制御部１１は、段階Ｓ２０９において撮影される映像から文字入力終了ユーザーモーションが検出されれば、段階Ｓ２１１に進行する。制御部１１は、段階Ｓ２１１においてインジケーターの動きに従う軌跡表示を中断し、表示された軌跡を文字で認識し、段階Ｓ２０３に戻り、段階Ｓ２０３〜段階Ｓ２１１を繰返す。前述した例から、インジケーターが赤外線ペンである場合、入力開始ユーザーモーション及び終了ユーザーモーションはまた、赤外線光の存在及び不存在にすることができる。

前記のような過程によりユーザーは文字を入力できる。

他の実施形態として、一つの画面に全体が表示できない文書をスクロール機能により確認する過程について、図５を参照して説明する。図５は、本発明の実施形態による文書表示過程に従う制御部の動作フローチャートである。図５によれば、制御部１１は、段階Ｓ４０１においてユーザーから文字表示の要求があれば、段階Ｓ４０３に進行する。制御部１１は、段階Ｓ４０３において画面に当該文書の全体を表示できるか否かを判断して、表示できれば段階Ｓ４１５に進行して文書を表示し、表示できなければ段階Ｓ４０５に進行する。制御部１１は、段階Ｓ４０５において最大に表示可能な文書の一部を表示して段階Ｓ４０７に進行する。制御部１１は、段階Ｓ４０７においてモーション入力要求を感知すれば段階Ｓ４０９に進行する。制御部１１は、段階Ｓ４０９においてカメラ撮影を開始し、撮影された映像からインジケーターを検出してリアルタイムで文書画面と合成して表示する。ユーザーは表示文書の他の部分を見るために、予め設定された文書スクロールモーションを行う。制御部１１は、段階Ｓ４１１において撮影された映像から文書スクロールモーションが検出されれば、段階Ｓ４１３に進行する。制御部１１は、段階Ｓ４１３においてインジケーターの動きに従って文書コンテンツをスクロールして表示し、動作過程を終了する。図示していないが、ユーザーが予め設定されたスクロール解除モーションを行うと、制御部１１は、撮影される映像からインジケーターが動いても、インジケーターの動きを変化させて表示するだけであって、文書をスクロールして動かさない。上記では文書を例として説明したが、一つの画面に表示できないウェブページやメニュー画面においても、前述した実施形態と同様な過程によりユーザーが確認できる。

次に、図６を参照して画像通話中にＡＲ入力モードを介して仮想アクションメニューを遂行する過程を説明する。図６は、本発明の実施形態による画像通話時の制御部の動作フローチャートである。図６によれば、制御部１１は、画像通話モードにおいて被呼者の映像/ユーザーの映像及び仮想アクションメニューからなる画像通話画面を、段階Ｓ５０１において表示し、段階Ｓ５０３に進行する。制御部１１は、段階Ｓ５０３において撮影された映像から検出されたインジケーターを画像通話画面と合成して表示し、段階Ｓ５０５に進行する。ユーザーは、画像通話中に被呼者に仮想アクションメニューを実行したい場合、画面を介して確認しながらインジケーターを移動させて所望の仮想アクションメニュー上に位置させ、予め設定された選択ユーザーモーションを行う。仮想アクションメニューの例としては、花粉飛ばしや爆竹鳴らしなどがある。 制御部１１は、段階Ｓ５０５においてインジケーターの位置が画像画面に含まれる任意の仮想アクションメニューの位置と一致した状態で、メニュー選択ユーザーモーションが検出されると、段階Ｓ５０７に進行する。制御部１１は、段階Ｓ５０７において選択された仮想アクションメニューに対応する仮想アクションコードを被呼者の端末に転送し、被呼者の映像と選択された仮想アクションとが実行される映像、すなわち、仮想イメージを合成して表示し、段階Ｓ５０９に進行する。すなわち、制御部１１は、選択された仮想アクションメニューに関するデータを直接転送するものではなく、選択された仮想アクションメニューに対応する仮想アクションコードのみを転送する。仮想アクションコードを受信した移動通信端末は、対応する仮想アクションメニューデータを検出してユーザー映像と合成して表示する。

以後、段階Ｓ５０９において、制御部１１は、通話終了が感知されるまで段階Ｓ５０１〜段階Ｓ５０７を繰返す。

図示していないが、仮想アクションメニューには音楽再生も含まれる。但し、ユーザーがＡＲ入力モードを介して音楽再生命令を入力すれば、制御部１１は、当該音楽の音源データを画像データに含めて転送する。また、図示していないが、ユーザーは、音楽再生時、時間的な音楽再生程度を示すスクロールバーをＡＲ入力モードのインジケーターを介して選択して要望通り調整でき、制御部１１はユーザーの調整によって音楽を再生する。

なお、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

本発明が適用される移動通信端末のブロック構成図である。 本発明の実施形態による移動通信端末の正面図である。 本発明の実施形態による移動通信端末の実施形態によるメニュー選択過程に従う制御部の動作フローチャートである。 本発明の実施形態による文字認識過程に従う制御部の動作フローチャートである。 本発明の実施形態による文書表示過程に従う制御部の動作フローチャートである。 本発明の実施形態による画像通話時の制御部の動作フローチャートである。

符号の説明

１１ 制御部
１３ メモリ部
１５ 映像処理部
１７ カメラ
１９ 表示部
２１ ＲＦモジュール
２３ 音声処理部
２５ ベースバンド処理部

Claims (19)

1. 移動通信端末のユーザー入力方法において、
   現在設定された動作モードに従い、端末制御に必要なキー機能及びメニュー機能の各々に対応するイメージを含むメニュー画面を表示するステップと、
   ＡＲ入力モードの設定時、具備されたカメラを介して撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示するステップと、
   前記合成された画面上において、前記イメージの任意のイメージと前記インジケーターとが重畳された状態で、前記カメラを介して撮影された映像から選択に対応する予め設定されたユーザーモーションが検出される場合、前記イメージに対応する機能に従う動作を遂行するステップと
   を含むことを特徴とするユーザー入力方法。
2. 前記インジケーターは、前記ＡＲモードの遂行中、前記カメラを介して撮影される映像のうちで、前記移動通信端末の入力素子として認識される被写体であることを特徴とする、請求項１に記載のユーザー入力方法。
3. 前記ＡＲ入力モードの設定時、具備されたカメラを介して撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示するステップは、
   ユーザーの要求に従って前記ＡＲ入力モードを設定し、前記カメラを作動させるステップと、
   前記カメラを介して撮影される映像から予め設定されたインジケーターを検出するステップと、
   前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示するステップと
   を含むことを特徴とする請求項１に記載のユーザー入力方法。
4. 前記インジケーターは、予め格納された複数のインジケーターのうち、ユーザーにより選択されたインジケーターが設定されることを特徴とする、請求項１に記載のユーザー入力方法。
5. 前記予め格納されたインジケーターは、ユーザーの指、ペン、赤外線出力ペン、瞳、顔を含むことを特徴とする、請求項４に記載のユーザー入力方法。
6. 前記ユーザーモーションは、ユーザーが前記移動通信端末に入力できる各種命令語に対応して予め設定されたユーザーの動作であることを特徴とする、請求項１に記載のユーザー入力方法。
7. 前記合成された画面上において、前記表示画面に含まれるスクロールバーと前記インジケーターとが重畳された状態で、前記カメラを介して撮影された映像から選択に対応する予め設定されたユーザーモーションが検出される場合、前記インジケーターの動きに従ってスクロール機能を遂行するステップをさらに含むことを特徴とする、請求項１に記載のユーザー入力方法。
8. 前記メニュー画面の一部が表示された状態で、前記カメラを介して撮影された映像から予め設定されたスクロールユーザーモーションが検出される場合、インジケーターの動きに従って前記メニュー画面がコンテンツをスクロールして表示するステップをさらに含むことを特徴とする、請求項１に記載のユーザー入力方法。
9. 移動通信端末のユーザー入力方法において、
   文字認識画面を表示し、前記移動通信端末に具備されたカメラ撮影を開始するステップと、
   前記撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示するステップと、
   前記撮影される映像から予め設定された文字入力開始ユーザーモーションを検出すれば、前記インジケーターの動きに従う軌跡を前記文字認識画面に線で表示するステップと、
   前記撮影される映像から予め設定された文字入力終了ユーザーモーションを検出すれば、前記インジケーターの動きに従う軌跡表示を中断し、表示された軌跡を文字で認識するステップと
   を含むことを特徴とするユーザー入力方法。
10. 移動通信端末のユーザー入力方法において、
    画像通話時、被呼者の映像、撮影されるユーザー映像及び複数の仮想アクションメニューを含む画像通話画面を表示するステップと、
    前記撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記画像通話画面にリアルタイムで合成して表示するステップと、
    前記合成された画像通話画面において、任意の仮想アクションメニューと前記インジケーターとが重畳された状態で、選択ユーザーモーションが感知されれば、前記任意の仮想アクションメニューに対応するアクションコードを被呼者の端末に転送し、前記任意の仮想アクションメニューに従う仮想イメージを前記被呼者の映像と合成して表示するステップと
    を含むことを特徴とするユーザー入力方法。
11. 前記被呼者の端末から任意のアクションコードを受信すれば、受信されたアクションコードに対応する仮想アクションメニューを検索し、仮想アクションメニューに対応する仮想イメージを前記ユーザー映像と合成して表示するステップをさらに含むことを特徴とする、請求項１０に記載のユーザー入力方法。
12. 移動通信端末のユーザー入力装置において、
    表示部と、
    カメラと、
    前記カメラを介して撮影した映像と予め格納されたイメージとからなる仮想映像に、前記カメラを介して撮影した映像から検出したインジケーターをリアルタイムで整合し、誤差を補正し、２次元又は３次元で前記表示部に表示する映像処理部と、
    前記映像処理部及び前記表示部を制御し、現在設定された動作モードに従って端末制御に必要なキー機能及びメニュー機能の各々に対応するイメージを含むメニュー画面を前記表示部に表示し、ＡＲ入力モードの設定時、前記映像処理部を制御して、前記カメラを介して撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示し、前記合成された画面上において、前記イメージの任意のイメージと前記インジケーターとが重畳された状態で、前記カメラを介して撮影された映像から選択に対応する予め設定されたユーザーモーションが検出される場合、前記イメージに対応する機能に従う動作を遂行する制御部と
    を含むことを特徴とするユーザー入力装置。
13. 前記インジケーターは、前記ＡＲモードの遂行中、前記カメラを介して撮影される映像のうちで、前記移動通信端末の入力素子として認識される被写体であることを特徴とする、請求項１２に記載のユーザー入力装置。
14. 前記制御部は、ユーザーの要求に従って前記ＡＲ入力モードを設定して前記カメラを作動させ、前記映像処理部を制御して、前記カメラを介して撮影される映像から予め設定されたインジケーターを検出し、前記検出されたインジケーターを前記メニュー画面にリアルタイムで合成して表示することを特徴とする請求項１２に記載のユーザー入力装置。
15. 前記インジケーターは、予め格納された複数のインジケーターのうち、ユーザーにより選択されたインジケーターが設定されることを特徴とする、請求項１２に記載のユーザー入力装置。
16. 前記予め格納されたインジケーターは、ユーザーの指、ペン、赤外線出力ペン、瞳、顔を含むことを特徴とする、請求項１５に記載のユーザー入力装置。
17. 前記ユーザーモーションは、ユーザーが前記移動通信端末に入力できる各種命令語に対応して予め設定されたユーザーの動作であることを特徴とする、請求項１２に記載のユーザ入力装置。
18. 前記制御部は、前記合成された画面上において、前記表示画面に含まれるスクロールバーと前記インジケーターとが重畳された状態で、前記カメラを介して撮影された映像から選択に対応する予め設定されたユーザーモーションが検出される場合、前記インジケーターの動きに従ってスクロール機能を遂行することを特徴とする、請求項１２に記載のユーザー入力装置。
19. 前記制御部は、前記メニュー画面の一部が表示された状態で、前記カメラを介して撮影された映像から予め設定されたスクロールユーザーモーションが検出される場合、インジケーターの動きに従って前記メニュー画面がコンテンツをスクロールして表示することを特徴とする請求項１２に記載のユーザー入力装置。
    

Images