JP2015513163A - 仮想キーボード上のキー入力を認識する方法及びその装置 - Google Patents
仮想キーボード上のキー入力を認識する方法及びその装置 Download PDFInfo
- Publication number
- JP2015513163A JP2015513163A JP2015505628A JP2015505628A JP2015513163A JP 2015513163 A JP2015513163 A JP 2015513163A JP 2015505628 A JP2015505628 A JP 2015505628A JP 2015505628 A JP2015505628 A JP 2015505628A JP 2015513163 A JP2015513163 A JP 2015513163A
- Authority
- JP
- Japan
- Prior art keywords
- key
- key input
- user tool
- user
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Input From Keyboards Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
をパターン認識する方法を使用して把握することができる。例えば、パターン認識方法によって
を探索する場合、
を探索した後、その周辺の閉鎖された領域220を
の領域として見做される。
・・ また、キー値認識部440は、選択によりキー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも1つの他の信号、すなわちユーザから発せられたユーザ信号を感知することができる。この際、ユーザ信号が感知された時間とユーザツールが最終的に追跡された時間との差を比較し、同一であれば、最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断する。すなわち、“1”が表示された位置をユーザがタイピングした場合、当該位置値をあらかじめ認識したパターンに対応させて“1”が入力されたものと判断し、これによる処理をする。
Claims (18)
- 少なくとも1つのカメラを利用して仮想キーボード上のキー入力を認識する方法において、
前記カメラを利用して前記仮想キーボード上にキー入力のためのユーザツールの動作を感知すると前記ユーザツールを追跡し、且つ前記ユーザツールの垂直座標上の位置があらかじめ定義された垂直閾値より小さいかまたは等しいときまで追跡する段階と、
最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断する段階とを含むキー入力認識方法。 - 前記追跡する段階の前に、
前記カメラを利用してあらかじめ定められたパターン認識方法によって前記仮想キーボード上の各キーのパターンによる位置を認識する段階をさらに含むことを特徴とする、請求項1に記載のキー入力認識方法。 - 前記追跡する段階の前に、
前記仮想キーボード上にキー入力のためのユーザツールが前記仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を測定し、前記垂直閾値として決定する段階をさらに含むことを特徴とする、請求項1に記載のキー入力認識方法。 - 前記決定する段階は、
前記ユーザツールがユーザの手である場合、前記仮想キーボードをタイピングするユーザの手の先の垂直座標を測定し、最も低い点を前記垂直閾値として決定することを特徴とする、請求項3に記載のキー入力認識方法。 - 前記判断する段階は、
前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも1つの他の信号が感知された場合、前記少なくとも1つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間とが同一であれば、前記水平位置上のキーが入力されたものと判断することを特徴とする、請求項1に記載のキー入力認識方法。 - 前記判断する段階は、
前記キー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも1つの他の信号が感知された場合、前記少なくとも1つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、前記最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断することを特徴とする、請求項1に記載のキー入力認識方法。 - 前記少なくとも1つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、
前記少なくとも1つの他の信号が感知された時間に合わせて前記垂直閾値を補正する段階をさらに含むことを特徴とする、請求項6に記載のキー入力認識方法。 - 前記判断する段階において、ユーザツールの水平位置上のキーが入力されたものと判断した場合、
前記キーの入力を確認するための信号を発生させる段階をさらに含むことを特徴とする、請求項1に記載のキー入力認識方法。 - 前記キーの入力を確認するための信号は、振動、音、発光のうち最小限1つを含むことを特徴とする、請求項8に記載のキー入力認識方法。
- 少なくとも1つのカメラを利用して仮想キーボード上のキー入力を認識する装置において、
少なくとも1つのカメラと、
前記少なくとも1つのカメラを利用して、仮想キーボード上にキー入力のためのユーザツールの動作を感知すると、前記ユーザツールを追跡し、且つ前記ユーザツールの垂直座標上の位置が、あらかじめ定義された垂直閾値より小さいかまたは等しいときまで追跡するユーザツール追跡部と、
前記ユーザツール追跡部で最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断するキー値認識部とを含むキー入力認識装置。 - あらかじめ定められたパターン認識方法を利用して前記仮想キーボード上の各キーのパターンによる位置を認識するパターン認識部をさらに含むことを特徴とする、請求項10に記載のキー入力認識装置。
- 前記仮想キーボード上にキー入力のためのユーザツールが前記仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を前記垂直閾値として決定する閾値初期化部をさらに含むことを特徴とする、請求項10に記載のキー入力認識装置。
- 前記閾値初期化部は、
前記ユーザツールがユーザの手である場合、前記仮想キーボードをタイピングするユーザの手の先の垂直座標を測定し、最も低い点を前記垂直閾値として決定することを特徴とする、請求項12に記載のキー入力認識装置。 - 前記キー値認識部は、
前記キー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも1つの他の信号が感知された場合、前記少なくとも1つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間とが同一であれば、前記水平位置上のキーが入力されたものと判断することを特徴とする、請求項10に記載のキー入力認識装置。 - 前記キー値認識部は、
前記キー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも1つの他の信号が感知された場合、前記少なくとも1つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、前記最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断することを特徴とする、請求項10に記載のキー入力認識装置。 - 前記キー値認識部は、
前記少なくとも1つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、前記少なくとも1つの他の信号が感知された時間に合わせて前記垂直閾値を補正することを特徴とする、請求項15に記載のキー入力認識装置。 - 前記キー値認識部は
前記ユーザツールの水平位置上のキーが入力されたものと判断した場合、
前記キーの入力を確認するための信号を発生させることを特徴とする、請求項10に記載のキー入力認識装置。 - 前記キーの入力を確認するための信号は、振動、音、発光のうち最小限1つを含むことを特徴とする、請求項17に記載のキー入力認識装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0038351 | 2012-04-13 | ||
KR1020120038351A KR20130115750A (ko) | 2012-04-13 | 2012-04-13 | 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 |
PCT/KR2013/001762 WO2013154268A1 (ko) | 2012-04-13 | 2013-03-05 | 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015513163A true JP2015513163A (ja) | 2015-04-30 |
JP5965540B2 JP5965540B2 (ja) | 2016-08-10 |
Family
ID=49327801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015505628A Expired - Fee Related JP5965540B2 (ja) | 2012-04-13 | 2013-03-05 | 仮想キーボード上のキー入力を認識する方法及びその装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9766714B2 (ja) |
JP (1) | JP5965540B2 (ja) |
KR (1) | KR20130115750A (ja) |
CN (1) | CN104272224A (ja) |
WO (1) | WO2013154268A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101452191B1 (ko) * | 2014-03-28 | 2014-10-22 | 주식회사 한글과컴퓨터 | 터치스크린 장치 및 상기 터치스크린 장치의 가상 키보드 터치 인식 영역 조정 방법 |
US10402089B2 (en) * | 2015-07-27 | 2019-09-03 | Jordan A. Berger | Universal keyboard |
US10282090B2 (en) * | 2015-09-30 | 2019-05-07 | Apple Inc. | Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones |
KR101719454B1 (ko) * | 2016-05-26 | 2017-03-23 | 한국과학기술원 | 키보드 타이핑 모션 생성 방법 및 장치 |
CN114356140B (zh) * | 2021-12-31 | 2024-02-13 | 上海永亚智能科技有限公司 | 一种红外感应悬浮按键的按键动作识别方法 |
US20230343005A1 (en) * | 2022-04-22 | 2023-10-26 | Zebra Technologies Corporation | Methods and Systems for Automated Structured Keyboard Layout Generation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003288156A (ja) * | 2002-03-28 | 2003-10-10 | Minolta Co Ltd | 入力装置 |
JP2007072637A (ja) * | 2005-09-06 | 2007-03-22 | Hitachi Ltd | 弾力性素材を用いた入力装置 |
JP2010067062A (ja) * | 2008-09-11 | 2010-03-25 | Ntt Docomo Inc | 入力システム及び入力方法 |
JP2012053532A (ja) * | 2010-08-31 | 2012-03-15 | Casio Comput Co Ltd | 情報処理装置及び方法、並びにプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US6710770B2 (en) * | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
AU2002243265A1 (en) * | 2000-11-19 | 2002-06-24 | Canesta, Inc. | Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions |
US8866745B1 (en) * | 2002-03-11 | 2014-10-21 | Brad Schrick | System and method for providing a touch input interface for information computing and control devices |
US20070159453A1 (en) * | 2004-01-15 | 2007-07-12 | Mikio Inoue | Mobile communication terminal |
US20070115261A1 (en) * | 2005-11-23 | 2007-05-24 | Stereo Display, Inc. | Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens |
US20100302165A1 (en) * | 2009-05-26 | 2010-12-02 | Zienon, Llc | Enabling data entry based on differentiated input objects |
US20060244720A1 (en) * | 2005-04-29 | 2006-11-02 | Tracy James L | Collapsible projection assembly |
KR20070009207A (ko) * | 2005-07-15 | 2007-01-18 | 엘지전자 주식회사 | 가상 키보드 입력 장치를 갖는 이동통신 단말기 및 이를이용한 입력 방법 |
US20070035521A1 (en) * | 2005-08-10 | 2007-02-15 | Ping-Chang Jui | Open virtual input and display device and method thereof |
KR101079598B1 (ko) * | 2007-12-18 | 2011-11-03 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
WO2009099280A2 (en) * | 2008-02-05 | 2009-08-13 | Lg Electronics Inc. | Input unit and control method thereof |
KR101467766B1 (ko) * | 2008-03-21 | 2014-12-10 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 화면 표시 방법 |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
WO2010042880A2 (en) * | 2008-10-10 | 2010-04-15 | Neoflect, Inc. | Mobile computing device with a virtual keyboard |
TWI470478B (zh) * | 2008-12-26 | 2015-01-21 | Inventec Appliances Corp | 電子裝置之虛擬鍵盤結構及其資料輸入方法 |
-
2012
- 2012-04-13 KR KR1020120038351A patent/KR20130115750A/ko active Application Filing
-
2013
- 2013-03-05 CN CN201380019732.9A patent/CN104272224A/zh active Pending
- 2013-03-05 US US14/394,029 patent/US9766714B2/en active Active
- 2013-03-05 JP JP2015505628A patent/JP5965540B2/ja not_active Expired - Fee Related
- 2013-03-05 WO PCT/KR2013/001762 patent/WO2013154268A1/ko active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003288156A (ja) * | 2002-03-28 | 2003-10-10 | Minolta Co Ltd | 入力装置 |
JP2007072637A (ja) * | 2005-09-06 | 2007-03-22 | Hitachi Ltd | 弾力性素材を用いた入力装置 |
JP2010067062A (ja) * | 2008-09-11 | 2010-03-25 | Ntt Docomo Inc | 入力システム及び入力方法 |
JP2012053532A (ja) * | 2010-08-31 | 2012-03-15 | Casio Comput Co Ltd | 情報処理装置及び方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20130115750A (ko) | 2013-10-22 |
US20150084869A1 (en) | 2015-03-26 |
CN104272224A (zh) | 2015-01-07 |
US9766714B2 (en) | 2017-09-19 |
WO2013154268A1 (ko) | 2013-10-17 |
JP5965540B2 (ja) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210271340A1 (en) | Gesture recognition devices and methods | |
JP5965540B2 (ja) | 仮想キーボード上のキー入力を認識する方法及びその装置 | |
CN103809880B (zh) | 人机交互***及方法 | |
JP5694422B2 (ja) | モバイル機器およびジェスチャ判断法 | |
US9361023B2 (en) | Method of capturing system input by relative finger positioning | |
US10042438B2 (en) | Systems and methods for text entry | |
US20100127995A1 (en) | System and method for differentiating between intended and unintended user input on a touchpad | |
WO2015110063A1 (zh) | 信息处理方法、装置及设备 | |
TW201432520A (zh) | 操作方法以及電子裝置 | |
US20120007816A1 (en) | Input Control Method and Electronic Device for a Software Keyboard | |
WO2017029749A1 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
US10346992B2 (en) | Information processing apparatus, information processing method, and program | |
JP5759659B2 (ja) | タッチパネルに対する押下圧力を検出する方法および携帯式端末装置 | |
TWI486815B (zh) | 顯示設備及其控制系統和方法 | |
US20120062484A1 (en) | Electronic device with navigation keys and navigation method thereof | |
JP4602199B2 (ja) | 入力装置、入力方法、コンピュータプログラム、半導体デバイス | |
KR101392981B1 (ko) | 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치 | |
TWI410860B (zh) | 具有虛擬鍵盤之觸控裝置及其形成虛擬鍵盤之方法 | |
US10175825B2 (en) | Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image | |
JP5992380B2 (ja) | ポインティング・デバイス、ノートブック型パーソナル・コンピュータおよび操作方法。 | |
US20200249767A1 (en) | Virtual Keyboard Input Method | |
JP6344083B2 (ja) | マルチタッチシステム、タッチ座標ペア決定方法及びタッチ座標ペア決定プログラム | |
CN105511773B (zh) | 一种信息处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5965540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |