JP2007012055A - カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機 - Google Patents

カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機 Download PDF

Info

Publication number
JP2007012055A
JP2007012055A JP2006170313A JP2006170313A JP2007012055A JP 2007012055 A JP2007012055 A JP 2007012055A JP 2006170313 A JP2006170313 A JP 2006170313A JP 2006170313 A JP2006170313 A JP 2006170313A JP 2007012055 A JP2007012055 A JP 2007012055A
Authority
JP
Japan
Prior art keywords
motion
mobile communication
user
communication terminal
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006170313A
Other languages
English (en)
Inventor
Soon-Ok Kim
順玉 金
Daikei Kim
金　大奎
Riyuushu Boku
龍洙 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007012055A publication Critical patent/JP2007012055A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機を提供する。
【解決手段】移動通信端末機のカメラ部をアクティブにした状態において、ユーザーが所定のモーションを取ると、移動通信端末機は、ユーザーのモーションを認識し、そのモーションをパターン化してモーションパターンに応じる所定の動作を行う。このとき、モーションパターンに応じて行われる動作は、マウスモード時にはマウス制御に該当し、ゲームモード時にはゲーム制御に該当し、文字入力モード時には文字の入力に該当する。
【選択図】図２

Description

本発明は、カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機に関する。
最近、移動通信端末機の普及が一般化されて移動通信端末機の画面を通じて運転中に道路状況を知らせる交通情報サービス、独自の呼び出し音を登録して使用可能にするマイベル(MYBELL)サービス及び音声メールボックスのメッセージ到着を文字で通告する移動電話呼び出しサービスなどの多様なサービスが提供されている。かかる移動通信端末機には、音声メールボックス機能や特殊情報受信機能のような各種付加サービスをサービス提供者側から提供される機能が設計されているため、移動通信端末機のユーザーは固有な電話通話機能のみならず、多様な使用上の便宜が提供される。
このような多様なサービス及び付加機能が次第に拡大されるにつれて、移動通信システムは、音声及びデータだけでなく、ＩＳＤＮ(Integrated Service Digital Network)級の数Ｍｂ/ｓのマルチメディアサービスを提供し、このような移動通信システムに適合する端末機が開発されている。その一例として、被写体を撮影したイメージを記憶することのできるカメラ部を備える移動通信端末機が開発された。
移動通信端末機の大衆化に伴い、ユーザーは、移動通信端末機を用いて時間及び空間を問わず、便利に撮影することができる。また、ユーザーが常に携帯する移動通信端末機にカメラを装着したので、緊迫した場面を撮影することができ、その他にも、必要時に常に撮影が可能であるという長所がある。
したがって、このような長所に基づいてカメラ部を備えた移動通信端末機を、より効率的かつ多様な方法で活用することが好ましい。また、移動通信端末機の使用効率を高め、ユーザーの多様な要求を満たすために、カメラを備えた移動通信端末機に多様なサービス及び付加機能を加える必要がある。例えば、上述した移動通信端末機に備えられているカメラ部を用いて文書に印字された電話番号及びデータのような文字を認識可能にするＯＣＲ(Optical Character Recognition)機能がある。
しかしながら、移動通信端末機に備えられているカメラ部を用いた多様な応用が可能であるが、移動通信端末機のカメラ部の使用はＯＣＲ機能のみに限定されている。
したがって、本発明の目的は、カメラ部を用いてユーザーインターフェースを実現する方法及びこのための移動通信端末機を提供することである。
このような目的を達成するために、本発明の１つの特徴によれば、移動通信端末機であって、ユーザーのモーションが入力されるカメラ部と、少なくとも一つのモーションパターンに応じる制御命令と所定の軌跡に応じる文字とを記憶するメモリと、ユーザーからモーションが入力されると、入力されたユーザーモーションをパターン化し、該モーションパターンに対応する制御命令をメモリから読み出して遂行する制御部と、を備えることを特徴とする。
本発明によれば、移動通信端末機に備えられているカメラ部を用いてユーザーインターフェースを実現することにより、カメラ部の応用範囲を拡大しながら、ユーザーの使用便宜も増大させることができる。
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。なお、下記の説明において、本発明の要旨のみを明瞭にするために関連した公知の機能や構成に関する詳細な説明は、適宜省略する。
本発明の実施形態によれば、移動通信端末機は、カメラ部を用いてユーザーインターフェースを実現することが可能である。移動通信端末機のカメラ部をアクティブにした状態において、ユーザーが所定のモーションを行うと、移動通信端末機は、ユーザーのモーションを認識し、そのモーションをパターン化してモーションパターンに応じる所定の動作を行う。
モーションパターンに応じて行われる動作は、マウスモード時にはマウスの制御となり、ゲームモード時にはゲーム制御となる。かつ、その動作は、文字入力モード時には文字の入力となる。
以下、移動通信端末機のブロック構成について図１を参照して説明する。
図１は、本発明の実施形態に応じた移動通信端末機のブロック構成図である。図１を参照すると、移動通信端末機１００は、ＲＦ(Radio Frequency)モジュール１１０、ベースバンド処理部１２０、ユーザーインターフェース１３０、音声処理部１４０、制御部１５０、メモリ１６０、ディスプレイ１７０、モーション認識部１８０、カメラ部１９０及び文字認識部２００を含む。
移動通信端末機１００の制御部１５０は、移動通信端末機を全般的に制御し、本発明の好ましい実施形態に応じるカメラ部を用いてユーザーインターフェースを実現するために、図１に示した各部を制御する。
制御部１５０の動作を詳しく説明すると、制御部１５０は、カメラ部１９０をアクティブにし、カメラ部１９０を通じてユーザーのモーションを認識し、ユーザーのモーションをパターン化する。
本発明の第１の実施形態に応じて、制御部１５０は、マウスモード時に、ユーザーモーションパターンに対応するマウス制御命令をメモリ１６０から読み出す。ユーザーは、移動通信端末機１００のカメラ部１９０の撮影可能な領域内で所定のモーションパターンに応じて手を動かす。この際、モーションパターンは、予めメモリ１６０に記憶されているモーションパターンであり、それに対応して制御命令が記憶されている。ユーザーが予め約束されているモーションパターンに基づいて所定のモーションパターンを行うと、移動通信端末機は該モーションパターンに対応する制御命令を行うことができる。例えば、ユーザーは実際にマウスをつかむことのように、クリック動作を取るか、マウスホイールを動かすモーションを取ることができる。制御部１５０は、該当モーションに対して実際にマウスをクリックするか、マウスホイールを動かす場合と同じマウス制御命令が行われるように制御動作を遂行する。
また、本発明の第２の実施形態に応じて、制御部１５０は、ゲームモード時に、ユーザーモーションパターンに対応するゲーム制御命令をメモリ１６０から読み出す。例えば、ユーザーは実際にゲームをすることのように、手を用いて物をつかみ、投げるか移動させるなどのモーションを取ると、制御部１５０は、ユーザーのモーションをパターン化し、ユーザーモーションパターンに対応するゲーム制御命令をメモリ１６０から読み出す。このようなゲーム制御命令も、メモリ１６０に対応するモーションパターンのように記憶されている。
また、本発明の第３の実施形態に応じて、制御部１５０は、文字入力モード時に、ユーザーモーションパターンに対応する軌跡に応じる文字を読み出してディスプレイ１７０に表示する。ユーザーは、移動通信端末機１００のカメラ部１９０の撮影可能な領域内で手などを所定の文字に応じるユーザーモーションパターンを生成するように動かす。例えば、ユーザーは、手を実際に文字を書くことのように動かすことができる。すると、制御部１５０は、ユーザーのモーションパターンに対応する軌跡に応じる文字をメモリ１６０から読み出してディスプレイ１７０に表示する。このような文字入力機能は、例えば、ＳＭＳ(Short Message Service)メッセージ伝送及びメモパッドなどに主に用いられる。
カメラ部１９０は、撮影可能な領域でユーザーの動き、すなわち、モーションを撮影して制御部１５０、モーション認識部１８０及び文字認識部２００に提供する。モーション認識部１８０は、ユーザーのモーションパターンを認識し、パターン化して制御部１５０に提供する。また、文字認識部２００は、軌跡の動きに対応する軌跡を生成して制御部１５０に提供する。メモリ１６０は、移動通信端末機１５０の動作制御に必要な多数のプログラムと情報とを記憶するためのＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)及び音声メモリなどからなる。さらに、メモリ１６０は、本発明に応じて少なくとも一つのモーションパターンに対応する制御命令を記憶し、所定の軌跡に対応する文字を記憶する。
また、ＲＦモジュール１１０は、アンテナを通じて基地局とＲＦ信号を送信/受信するが、受信されるＲＦ信号をＩＦ(Intermediate Frequency)信号に変換してベースバンド処理部１２０に出力し、ベースバンド処理部１２０から入力されるＩＦ信号をＲＦ信号に変換して送信する。ベースバンド処理部１２０は、制御部１５０とＲＦモジュール１１０との間のインターフェースを提供するＢＡＡ(Base band Analog ASIC(Application Specific Integrated Circuit))である。このベースバンド処理部１２０は、制御部１５０から印加されるベースバンドのデジタル信号をアナログＩＦ信号に変換してＲＦモジュール１１０に印加し、ＲＦモジュール１１０から印加されるアナログＩＦ信号をベースバンドのデジタル信号に変換して制御部１５０に印加する。音声処理部１４０は、制御部１５０の制御下で受信された音声データをスピーカーを通じて可聴音に変換して出力し、マイクを通じてユーザーからの音声を電気信号に変換して制御部１５０に提供する。ユーザーインターフェース１３０は、多数の数字キー及び機能キーを備えており、ユーザーが押下するキーに対応するキー入力データを制御部１５０に出力する。一般に、ディスプレイ１７０はＬＣＤ(Liquid Crystal Display)であり、制御部１７０の制御下で多様なメッセージ及びアイコンなどを表示する。
図２乃至図４は、本発明の実施形態に応じて、カメラ部を用いてユーザーインターフェースを実現するための制御過程を示したフローチャートであり、図２は、マウスモード時にカメラ部を用いてユーザーインターフェースを実現した場合を示す。
図２を参照すれば、移動通信端末機の制御部１５０は、マウスモードに進入すると、ステップ３１０でディスプレイ１７０の画面にカーソルを表示し、カメラ部１９０をアクティブにする。このとき、カーソルが表示されるか、あるいは表示されないことがある。その後、制御部１５０は、ステップ３２０で、ユーザーモーションが入力されるかどうかを判断する。ユーザーモーションが入力されると、制御部１５０はステップ３３０に進んでモーション認識部１８０を通じてユーザーモーションをパターン化するように制御する。モーション認識部１８０がユーザーモーションをパターン化して制御部１５０に提供すると、制御部１５０は、ステップ３４０で、モーションパターンに対応するマウス制御命令をメモリ１６０から読み出す。その後、制御部１５０は、ステップ３５０で読み出されたマウス制御命令に応じてマウス制御命令を遂行する。例えば、ユーザーは、手を用いて実際にマウスをつかむことのようにクリックすると、制御部１５０は、ディスプレイ１７０の画面に表示されたカーソルに対応するメニュー項目やインターネットアイコンをクリックした場合の制御動作を行う。ユーザーが実際にマウスホイールを動かすモーションを取ると、制御部１５０は、ディスプレイ１７０の画面に表示されたカーソルを該当するモーションに応じて移動させる。
図３は、ゲームモード時にカメラ部を用いてユーザーインターフェースを実現した場合を示す。
図３を参照すると、移動通信端末機の制御部１５０は、ゲームモードに進入すると、ステップ４１０でカメラ部１９０をアクティブにする。その後、制御部１５０は、ステップ４２０でユーザーモーションが入力されるかどうかを判断する。ユーザーモーションが入力されると、制御部１５０は、ステップ４３０に進んでモーション認識部１８０を通じてユーザーモーションをパターン化するように制御する。モーション認識部１８０がユーザーモーションをパターン化して制御部１５０に提供すると、制御部１５０は、ステップ４４０でモーションパターンに対応するゲーム制御命令をメモリ１６０から読み出す。その後、制御部１５０は、ステップ４５０で読み出されたゲーム制御命令に応じてゲーム制御命令を行う。例えば、ユーザーが実際にゲームをすることのように、手を用いて物をつかみ、投げるか移動させるなどのモーションを取ると、制御部１５０は、該当モーションに対応するゲーム制御命令をメモリ１６０から読み出し、そのゲーム制御命令を遂行する。
図４は、文字入力モード時にカメラ部を用いてユーザーインターフェースを実現した場合を示す。
図４を参照すると、移動通信端末機の制御部１５０は、文字入力モードに進入すると、ステップ５１０でカメラ部１９０をアクティブにする。その後、制御部１５０は、ステップ５２０でユーザーモーションが入力されるかどうかを判断する。ここで、ユーザーモーションが入力されると、制御部１５０はステップ５３０に進んで文字認識部２００がユーザーモーションに対応する軌跡を生成するように制御する。文字認識部２００がユーザーモーションに対応する軌跡を生成して制御部１５０に提供すると、制御部１５０は、ステップ５４０で軌跡に対応する文字をメモリ１６０から読み出し、ステップ５５０で読み出された文字を表示する。このような文字入力機能は、ＳＭＳメッセージの作成やスケジューラの作成に有用に用いられる。
以上、本発明の詳細について具体的な実施の形態に基づいて説明してきたが、本発明の範囲を逸脱しない限り、各種の変形が可能なのは明らかである。従って、本発明の範囲は、上記実施の形態に限定されるものではなく、特許請求の範囲の記載及び該記載と同等なものにより定められるべきである。
本発明の実施形態に応じる移動通信端末機のブロック構成図である。 本発明の第１の実施形態に応じるカメラ部を用いたユーザーインターフェース実現方法を示した図である。 本発明の第２の実施形態に応じるカメラ部を用いたユーザーインターフェース実現方法を示した図である。 本発明の第３の実施形態に応じるカメラ部を用いたユーザーインターフェース実現方法を示した図である。
符号の説明
１１０ ＲＦモジュール
１２０ ベースバンド処理部
１３０ ユーザーインターフェース
１４０ 音声処理部
１５０ 制御部

Claims (9)

  1. 移動通信端末機であって、
    ユーザーのモーションが入力されるカメラ部と、
    少なくとも一つのモーションパターンに応じる制御命令と所定の軌跡に応じる文字パターンとを記憶するメモリと、
    ユーザーからモーションが入力されると、入力されたユーザーモーションをパターン化し、前記モーションパターンに対応する制御命令を前記メモリから読み出して遂行する制御部と、
    を備えることを特徴とする移動通信端末機。
  2. 前記制御部は、マウスモード時に、前記ユーザーモーションパターンに対応するマウス制御命令を前記メモリから読み出すことを特徴とする請求項１に記載の移動通信端末機。
  3. 前記制御部は、マウスモード時に、カーソルを表示することを特徴とする請求項２に記載の移動通信端末機。
  4. 前記制御部は、ゲームモード時に、前記ユーザーモーションパターンに対応するゲーム制御命令を前記メモリから読み出すことを特徴とする請求項１に記載の移動通信端末機。
  5. 前記制御部は、文字入力モード時に、前記ユーザーモーションに対応する軌跡を生成し、その軌跡に対応する文字を前記メモリから読み出すことを特徴とする請求項１に記載の移動通信端末機。
  6. 少なくとも一つのモーションパターンに応じる制御命令又は所定の軌跡に応じる文字パターンを記憶するメモリを含む移動通信端末機であって、
    ユーザーのモーションが入力されるステップと、
    ユーザーからモーションが入力されると、入力されたユーザーモーションをパターン化するステップと、
    前記モーションパターンに対応する制御命令を前記メモリから読み出して遂行するステップと、
    を含むことを特徴とする方法。
  7. 前記制御命令を遂行するステップは、マウスモード時に、前記ユーザーモーションパターンに対応するマウス制御命令を前記メモリから読み出して遂行することを特徴とする請求項６に記載の移動通信端末機。
  8. 前記制御命令を遂行するステップは、ゲームモード時に、前記ユーザーモーションパターンに対応するゲーム制御命令を前記メモリから読み出して遂行することを特徴とする請求項６に記載の方法。
  9. 前記制御命令を遂行するステップは、文字入力モード時に、前記ユーザーモーションに対応する軌跡を生成し、その軌跡に対応する文字を前記メモリから読み出すことを特徴とする請求項６に記載の方法。
JP2006170313A 2005-06-20 2006-06-20 カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機 Pending JP2007012055A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050053254A KR100724939B1 (ko) 2005-06-20 2005-06-20 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기

Publications (1)

Publication Number Publication Date
JP2007012055A true JP2007012055A (ja) 2007-01-18

Family

ID=37076328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006170313A Pending JP2007012055A (ja) 2005-06-20 2006-06-20 カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機

Country Status (7)

Country Link
US (4) US8694053B2 (ja)
EP (1) EP1737234B1 (ja)
JP (1) JP2007012055A (ja)
KR (1) KR100724939B1 (ja)
CN (1) CN1885234A (ja)
RU (1) RU2381636C2 (ja)
WO (1) WO2006137670A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
KR100764698B1 (ko) * 2006-08-07 2007-10-08 삼성전자주식회사 카메라 영상의 패턴인식과 해석에 의한 휴대 단말기의사용자 인터페이스 제어 방법 및 그 단말기
KR100827067B1 (ko) * 2007-01-22 2008-05-02 삼성전자주식회사 카메라를 구비한 휴대용 무선 단말기와 그를 이용한 마우스실행 방법
KR101442167B1 (ko) * 2007-10-16 2014-09-18 삼성전자주식회사 제스처 인식을 통한 통화 발신 기능을 지원하는 단말기 및그 제어방법
CN101561708B (zh) * 2008-04-15 2012-09-05 宏碁股份有限公司 利用动作感测判断输入模式的方法与其输入装置
CN101504728B (zh) * 2008-10-10 2013-01-23 深圳泰山在线科技有限公司 一种电子设备的遥控***及其遥控方法
CN102024316B (zh) * 2009-09-09 2013-05-22 深圳市宇恒互动科技开发有限公司 一种无线智能感测方法、装置及***
KR101038323B1 (ko) 2009-09-24 2011-06-01 주식회사 팬택 영상인식기법을 이용한 화면 프레임 제어장치
US8313377B2 (en) 2009-10-14 2012-11-20 Sony Computer Entertainment America Llc Playing browser based games with alternative controls and interfaces
CN102221906A (zh) * 2010-04-14 2011-10-19 鸿富锦精密工业（深圳）有限公司 光标控制装置、显示装置及便携式电子装置
US20120040717A1 (en) * 2010-08-16 2012-02-16 Veechi Corp Mobile Data Gathering System and Method
US9258483B2 (en) * 2012-06-01 2016-02-09 Mediatek Inc. Multi-purpose camera system supporting normal camera functionality and additional user input functionality
KR102105101B1 (ko) 2012-11-07 2020-04-27 삼성전자주식회사 디스플레이 장치 및 이의 문자 수정 방법
KR101350313B1 (ko) * 2013-08-12 2014-02-13 전자부품연구원 손동작 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법
CN105721757A (zh) * 2016-04-28 2016-06-29 努比亚技术有限公司 一种调整拍摄参数的装置和方法
CN106550108B (zh) * 2016-09-08 2020-01-10 珠海格力电器股份有限公司 用手机实现鼠标功能的装置、方法及具有该装置的手机

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5076584A (en) 1989-09-15 1991-12-31 Openiano Renato M Computer game controller with user-selectable actuation
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
DE69334356D1 (de) * 1992-11-20 2011-06-01 Sega Kk Dba Sega Corp Verfahren zur Steuerung einer Anzeige
GB2282906B (en) * 1993-10-13 1996-11-06 Dataquill Ltd Data enty systems
US5684715A (en) * 1995-06-07 1997-11-04 Canon Information Systems, Inc. Interactive video system with dynamic video object descriptors
CA2308213A1 (en) * 1997-10-22 1999-04-29 James T. Sears Voice-output reading system with gesture-based navigation
US6043805A (en) 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
CN1156741C (zh) 1998-04-16 2004-07-07 国际商业机器公司 手写汉字识别方法及装置
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010025289A1 (en) * 1998-09-25 2001-09-27 Jenkins Michael D. Wireless pen input device
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP5048890B2 (ja) * 1998-10-13 2012-10-17 ソニー エレクトロニクス インク 動作検知インターフェース
EP1123581A4 (en) 1998-10-21 2005-08-10 American Calcar Inc POSITION CAMERA AND GPS DATA EXCHANGE DEVICE
KR200337945Y1 (ko) 1998-12-31 2004-02-14 엘지전자 주식회사 모션 인식에 의한 전화 단말기의 번호 입력장치
EP1139286A1 (en) 1999-05-18 2001-10-04 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
IT1315875B1 (it) 2000-03-22 2003-03-26 Italdata Ingegneria Dell Idea Apparecchiatura portatile per l'identificazione scientifica di unindividuo.
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
KR20020017576A (ko) * 2000-08-31 2002-03-07 이준서 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP2002152696A (ja) * 2000-11-10 2002-05-24 Hitachi Ltd 携帯端末
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6955603B2 (en) 2001-01-31 2005-10-18 Jeffway Jr Robert W Interactive gaming device capable of perceiving user movement
GB2373943A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
US7506022B2 (en) * 2001-05-04 2009-03-17 Microsoft.Corporation Web enabled recognition architecture
CN1279465C (zh) 2001-05-04 2006-10-11 微软公司 Web启用的识别体系结构
KR20030021988A (ko) 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기
US7088396B2 (en) * 2001-12-21 2006-08-08 Eastman Kodak Company System and camera for creating lenticular output from digital images
US7098772B2 (en) * 2002-05-28 2006-08-29 Cohen Richard S Method and apparatus for remotely controlling a plurality of devices
US7283126B2 (en) * 2002-06-12 2007-10-16 Smart Technologies Inc. System and method for providing gesture suggestions to enhance interpretation of user input
US7009594B2 (en) 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
JP4063706B2 (ja) 2003-04-25 2008-03-19 株式会社エッチャンデス 視覚装置及びその応用
US20050030048A1 (en) * 2003-08-05 2005-02-10 Bolender Robert J. Capacitive sensing device for use in a keypad assembly
KR100651729B1 (ko) * 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
JP4127536B2 (ja) * 2004-01-20 2008-07-30 任天堂株式会社 ゲーム装置及びゲームプログラム
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
KR100566734B1 (ko) 2004-03-08 2006-04-04 (주)옥타곤솔루션 카메라폰의 카메라를 입력수단으로 사용하여 ｄｄｒ 게임을 가능하게 하는 프로그램을 저장하는 기록매체
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
KR100600358B1 (ko) * 2004-03-25 2006-07-14 주식회사 팬택 카메라를 이용한 메뉴선택 인터페이스를 갖는이동통신단말기 및 그 제어방법
MX2007000786A (es) * 2004-07-23 2007-04-09 Koninkl Philips Electronics Nv Dispositivo apuntador y metodo para asistencia de seleccion y/o ubicacion de articulo.
KR20040081088A (ko) 2004-07-30 2004-09-20 (주)네모다임 카메라가 내 외장된 휴대기기의 입력 방법 및 장치
WO2006056231A1 (en) * 2004-11-29 2006-06-01 Nokia Corporation Mobile gaming with external devices in single and multiplayer games
KR101035762B1 (ko) * 2005-01-07 2011-05-20 삼성전자주식회사 개선된 패턴 데이터의 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20060133428A (ko) 2006-12-26
US9836196B2 (en) 2017-12-05
US10545645B2 (en) 2020-01-28
WO2006137670A1 (en) 2006-12-28
US8694053B2 (en) 2014-04-08
US20150135139A1 (en) 2015-05-14
CN1885234A (zh) 2006-12-27
EP1737234B1 (en) 2018-04-18
US8965452B2 (en) 2015-02-24
EP1737234A1 (en) 2006-12-27
US20060284970A1 (en) 2006-12-21
KR100724939B1 (ko) 2007-06-04
US20180088782A1 (en) 2018-03-29
RU2007147385A (ru) 2009-06-27
US20140206413A1 (en) 2014-07-24
RU2381636C2 (ru) 2010-02-10

Similar Documents

Publication Publication Date Title
JP2007012055A (ja) カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機
JP5148083B2 (ja) メモ機能を提供する移動通信端末機及びその方法
EP1954015B1 (en) Mobile communication device capable of providing candidate phone number list and method of controlling operation of the mobile communication device
US8819552B2 (en) Method of executing function on standby screen of mobile terminal
EP1838099B1 (en) Image-based communication methods and apparatus
US20130082934A1 (en) Systems and methods for inputting data using multi-character keys
EP1104153A2 (en) Recognition of handwriting in mobile station
US7917180B2 (en) Button with an included display
CN103546610A (zh) 与用户终端相关的方法和装置
CN101601268B (zh) 电话可用性指示和运动检测
JP3782659B2 (ja) 移動体通信機器
US6934560B2 (en) System combining pager type personal digital assistant and mobile phone module
JP2004015250A (ja) 携帯端末装置
US20070106498A1 (en) Mobile communication terminal and method therefor
KR100724914B1 (ko) 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기
JP2002300241A (ja) 携帯型通信端末
US20020019251A1 (en) Method of selectively storing display message in a mobile telephone
KR20060060191A (ko) 이동통신단말기에서의 음성인식을 이용한 문자 입력 방법
JP2003234821A (ja) 携帯電子機器
EP1744237A1 (en) Systems and methods for inputting data using multi-character keys
KR100744319B1 (ko) 무선 단말기에서 캐릭터 명함 작성 방법
JP2002171310A (ja) 移動通信端末
JP2011097304A (ja) 携帯電子機器及び携帯電子機器の制御方法
KR20040066299A (ko) 폴더형 휴대단말기의 아이콘 위치제어 장치 및 방법
KR20060044132A (ko) 이동통신 단말기의 다중화면 표시 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081118