JP2018535469A

JP2018535469A - ジェスチャー認識に基づくテキスト入力方法及び装置、及び記録媒体

Info

Publication number: JP2018535469A
Application number: JP2018514781A
Authority: JP
Inventors: リウ，グォファ
Original assignee: シェンジェンピーアールテックカンパニーリミテッド
Priority date: 2015-09-17
Filing date: 2016-08-24
Publication date: 2018-11-29
Anticipated expiration: 2036-08-24
Also published as: WO2017045517A1; EP3340014A1; CN105302298B; JP6695963B2; US20180260034A1; US10725552B2; EP3340014A4; CN105302298A

Abstract

ジェスチャー認識に基づくテキスト入力方法であって、対象物を含む画像情報を収集し、前記画像情報に従って前記対象物を決定し、前記対象物の書き込み面及び移動軌跡を取得し、前記書き込み面における前記対象物の前記移動軌跡を書き込み軌跡として抽出し、前記書き込み軌跡を出力し、前記書き込み軌跡に従って文字認識を実施し、文字認識結果を出力することを備える。【選択図】図２

Description

本出願は、２０１５年９月１７日に出願された「空中のストロークを識別する装置及び方法」と題する中国特許出願第２０１５１０５９３６３２．８号に基づく優先権を主張し、その開示を全て本明細書に援用する。

本開示は、コンピュータ認識技術に関し、特にハンドジェスチャー認識に基づくテキスト入力方法、装置、及び記録媒体に関する。

コンピュータサイエンスの発達に伴い、コンピュータによるテキストメッセージで表現を行うことにより多くの人が慣れている。テキスト入力手段として近年広く使用されているものには、キーボード、タッチスクリーン、書き込みパッド等があり、それらのテキスト入力手段にはそれぞれ不利な点がある。従って、より自然に、便利に、そして効果的に空中にテキストを書く方法を設計するという研究分野は重要である。

しかし、コンピュータビジョンでは、空中のテキスト書きの軌跡は連続しており、従来のテキスト認識技術では連続で書かれたテキストを容易に認識することができるが、認識精度には向上の余地がある。

本開示のいくつかの実施形態によると、ハンドジェスチャー認識に基づくテキスト入力方法、装置、及び記録媒体が設けられている。

ハンドジェスチャー認識に基づくテキスト入力方法であって、

対象物を含む画像情報を収集し、

前記画像情報に従って前記対象物を決定し、前記対象物の書き込み面及び移動軌跡を取得し、

前記書き込み面における前記対象物の前記移動軌跡を書き込み軌跡として抽出し、前記書き込み軌跡を出力し、

前記書き込み軌跡に従って文字認識を実施し、文字認識結果を出力することを備えることを特徴とするハンドジェスチャー認識に基づくテキスト入力方法。

ハンドジェスチャー認識に基づくテキスト入力装置であって、前記装置はプロセッサと命令を記録したメモリとを備え、前記命令は前記プロセッサにより実行されると前記プロセッサに、

対象物を含む画像情報を収集させ、

前記画像情報に基づき前記対象物を決定させ、前記対象物の書き込み面及び移動軌跡を取得させ、

前記書き込み面における前記対象物の前記移動軌跡を書き込み軌跡として抽出させ、前記書き込み軌跡を出力させ、

前記書き込み軌跡に基づいて文字認識を実施させ、文字認識結果を出力させるステップを実施させることを備えることを特徴とする装置。

コンピュータ読取可能命令を記録する少なくとも一つの非一過性の記録媒体であって、少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサは、

対象物を含む画像情報を収集し、

書き込み軌跡として前記書き込み面における前記対象物の前記移動軌跡を抽出し、前記書き込み軌跡を出力し、

前記書き込み軌跡に従って文字認識を実施し、文字認識結果を出力することを備えることを特徴とする少なくとも一つの非一過性の記録媒体。

上記のハンドジェスチャー認識に基づくテキスト入力方法によると、前記画像情報に従って前記対象物を決定し、前記対象物の書き込み面及び移動軌跡を取得し、
出力される書き込み軌跡として前記書き込み面における前記対象物の前記移動軌跡を抽出し、前記書き込み軌跡に従って文字認識を実施し、文字認識結果を出力して、対象物の移動軌跡が空中で連続していても、軌跡抽出モジュールが書き込み面の書き込み軌跡を抽出することができ、これはストローク識別処理と同様であり文字認識モジュールの認識を促進し、認識の精度を向上する。

本開示または従来技術の実施形態における技術的手段をより明確に表示するため、実施形態または従来技術を説明するために添付の図面を下記に簡単に説明する。また、下記の説明における添付の図面は本開示のいくつかの実施形態でしかなく、当業者であれば、創造的な努力なしで添付の図面から他の図面も導けるだろう。

図１は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力装置の概略図である。図２は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力装置のブロック図である。図３は、図２に示す実施形態における対象取得モジュールのブロック図である。図４は、図２に示す実施形態における軌跡抽出モジュールのブロック図である。図５は、実施形態において空中に書いている概略図である。図６は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力方法のフローチャートである。図７は、別の実施形態におけるハンドジェスチャー認識に基づくテキスト入力方法のフローチャートである。図８は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力方法の適用を示す概略図である。

本開示の実施形態は、添付の図面を参照して、下記に詳細に記載される。好ましい実施形態は図面に示されている。本開示の様々な実施形態は、いくつもの異なる形で実施されてもよく、ここに明示されている実施形態に限定して解釈されるべきではない。むしろ、これらの実施形態は本開示が完全で完成されて、当業者に開示の範囲を十分に伝えるように設けられている。

ここにおいて使用される全ての定義は、他に定義されていない限り、本開示が属する当業者により通常理解される意味と同じ意味を有する。ここで使用される定義は、本開示の実施形態を説明し、限定はしない。本開示で使用されている「及び／又は」という表現は、列記されている一つ又は複数の項目のいずれか又は全ての組み合わせを示す。

図１は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力装置の概略図である。

本実施形態では、ハンドジェスチャー認識に基づくテキスト入力装置は、プロセッサ、記録媒体、ランダム・アクセス・メモリ（ＲＡＭ）、および装置のバスを介して接続されている入出力（Ｉ／Ｏ）インターフェースを含む。操作デバイス、データベース、及びコンピュータ読取可能命令は装置の記録媒体に記録されており、データベースは画像情報、移動軌跡、書き込み軌跡等のデータを記録する。装置のプロセッサは、装置全体の操作を支持する計算及び制御機能を備えている。端末のＲＡＭは、記録媒体内のコンピュータ読取可能命令の操作環境を提供する。装置の入出力インターフェースによって、他の装置と接続する。

図２は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力装置のブロック図である。

装置の内部構造は図１に示す構造に対応しており、下記の各モジュールの全部または一部はソフトウェア、ハードウェア、又はその組み合わせにより実施できる。図２に示すように、実施形態では、ハンドジェスチャー認識に基づくテキスト入力装置は、画像収集モジュール１１０、対象取得モジュール１２０、軌跡抽出モジュール１３０、文字認識モジュール１４０、表示モジュール１５０を含む。画像収集モジュール１１０は、対象物を含む画像情報を収集する。対象取得モジュール１２０は、画像情報に従って対象物を決定して、書き込み面および対象物の移動軌跡を取得する。軌跡抽出モジュール１３０は、書き込み軌跡として書き込み面の対象物の移動軌跡を抽出して、書き込み軌跡を出力する。文字認識モジュール１４０は、書き込み軌跡に従って文字認識を行い、文字認識結果を出力する。

画像収集モジュール１１０は、対象物を含む画像情報を収集するカメラである。実施形態では、対象物はユーザの指、またはユーザが持っている鉛筆などの棒状の物体である。

例えば、ユーザが鉛筆を対象物として用いて空中に書く必要がある場合には、鉛筆を持ち、鉛筆をカメラで見える領域に置くだけで、画像収集モジュール１１０は鉛筆を含む画像情報を収集する。

実施形態では、ハンドジェスチャー認識に基づくテキスト入力装置は、ハンドジェスチャー認識モジュール及び／又は音声認識モジュールも含む。ハンドジェスチャー認識モジュールは、ユーザのハンドジェスチャーを認識してハンドジェスチャー認識の結果を出力して、ハンドジェスチャーの結果により書き込み状態を開始又は終了する。

具体的には、ユーザが書き込み状態を開始したい場合には、画像収集モジュール１１０で見える領域内で対応するハンドジェスチャーを行う。ユーザの手が画像収集モジュール１１０で見える領域に現れると、ハンドジェスチャー認識モジュールは画像収集モジュール１１０で見える領域を自動的にハンドジェスチャー画像（ユーザの手に焦点をあてて、レンズをズームさせる等）の収集にあてて、ハンドジェスチャー認識の結果がハンドジェスチャー認識モジュールにより出力される、つまり書き込み状態が開始する。ユーザは音声により直接書き込み状態を開始することもでき、音声をひろうマイクに向かって「書き込み開始」と言うと、音声認識モジュールは音声認識結果を出力し、つまり書き込み状態を開始する。

同様に、ユーザが書き込み状態を終了したい場合には、画像収集モジュール１１０で見える領域内で同様のハンドジェスチャーを行い、ハンドジェスチャー認識モジュールはハンドジェスチャー認識の結果を出力し、つまり書き込み状態を終了する。ユーザは音声により直接書き込み状態を終了することもでき、音声をひろうマイクに向かって「書き込み終了」と言い、音声認識モジュールは音声認識結果を出力し、つまり書き込み状態を終了する。

対象取得モジュール１２０は画像情報に基づき対象物を決定し、対象物の書き込み面及び移動軌跡を取得する。

図３に示すように、実施形態では対象取得モジュール１２０は、画像処理部１２２、時間計算部１２４、及び書き込み面決定部１２６を含む。

具体的には、画像処理部１２２は、対象物を決定するために、画像情報から画像特徴抽出を行う。ここにおける画像特徴とは、エッジ抽出によりデジタル画像の画像輪郭を取得することを主に言う。一般的には、グレースケール値が大きく変化するところがエッジと定義される。対象物が指、鉛筆、又は他の棒状の物体の場合、画像のエッジはとても重要な特徴である。画像特徴を抽出することにより、対象物を速やかに決定できる。

時間計算部１２４は、ある位置での対象物の一時停止の時間を数える。特に、対象物が決定されると、対象物のトラッキングが達成される。対象物が静止している場合には、時間計算部１２４は時間測定を始めて、対象物が再度動き始めたときに測定を止めて、その間経過した時間がある位置での対象物の一時停止の時間である。

書き込み面決定部１２６は、書き込み状態の開始後に対象物の一時停止の時間が初めて事前設定された時間に達する第一位置を取得し、対象物の一時停止の時間が二回目に事前設定された時間に達する第二位置を取得し、第一位置から第二位置への対象物の移動軌跡を第一ストロークと規定し、第一ストロークが位置する面を基準書き込み面と規定し、基準書き込み面から事前設定されている距離範囲内で離れる面を書き込み面と規定する。

例えば、書き込み状態が開始した場合、対象物の一時停止の時間が初めて事前設定の時間に達する第一位置をＡと規定して、対象物の一時停止の時間が２回目に事前設定の時間に達する第二位置をＢと規定すると、ＡとＢとを接続する線は基準書き込み面となる。対象物ＡからＢへの移動軌跡はユーザが入力した文字の一番初めのストロークである。基準書き込み面の決定は、第一ストロークが位置する空間的位置と、人間の腕の書き込み範囲と組み合わせて行われる。

更に、別の実施形態では、書き込み面決定部１２６は他の方法により基準書き込み面を規定することができ、特定のハンドジェスチャー等により書き込み状態を開始して、対象物の書き込みの一端が位置する面を基準書き込み面とする。別の例では、書き込み状態は音声で開始され、対象物が書き込みを行う位置である一定の時間とどまり、対象物がとどまった面は基準書き込み面として規定される。第３の例では、音声、ジェスチャー、リモコン、又は他の手段により書き込み状態が開始され、対象物は直線的に前方又は下方にある一定の速度である位置へ移動してそこに少しの間とどまり、その位置の面を基準書き込み面と規定する。第４の例では、空中の対象物の軌跡が回転してある位置にとどまり「Ｌ」字型の軌跡が書かれると、その位置が書かれた面が基準書き込み面として規定される。「Ｌ」字型の軌跡が対象物により書かれたかの決定により対象物を主に追跡して、対象物の移動軌跡を取得して、移動軌跡が「Ｌ」字型であるかを決定する。基準書き込み面は、上記の組み合わせにより規定できる。

基準書き込み面が決定された後、書き込み面に対して交角が事前設定された角度範囲内（例えば、３０度以内）の面が書き込み面として規定され、これは空中に書き込みをする際に全てのストロークが同じ面にあることは不可能であるということを考慮しており、すなわち対象物の各移動軌跡は基準書き込み面に対してそれぞれ交角を有する。書き込み面はいくつかの面のセットであることと等しく、セットの全ての面の移動軌跡は抽出され、文字認識の精度の向上を促進する。

実施形態では、事前設定された時間は２秒間であり、すなわち、ユーザは対象物を制御してストロークの開始及び終了の際に２秒以上一時停止させる。事前設定の時間は、１秒間、２秒間、又は３秒間等として設定でき、これは特に限定されていない。

軌跡抽出モジュール１３０は、書き込み面における対象物の移動軌跡を書き込み軌跡として抽出して、書き込み軌跡を出力する。

図４を参照すると、実施形態では、軌跡抽出モジュール１３０は、軌跡抽出部１３２及び文字出力部１３４を含む。

軌跡抽出部１３２は、書き込み面における対象物の移動軌跡を書き込み軌跡として抽出する。

文字出力部１３４は、文字をユニットとして、書き込み軌跡を出力する。特に、ユーザが書き込むプロセスの間、文字入力を完了すると対象物はある一定の時間一時停止する。実施形態では、間隔の閾値が４秒であると仮定すると、対象物の一時停止の時間が４秒を超えると、ユーザが文字入力を完了したと考えられる。文字は、漢字、英字、数字、記号、又はユーザが入力した他の独特な文字である。

文字認識モジュール１４０は書き込み軌跡に従って文字認識を実施して、文字認識の結果を出力する。特に、文字認識モジュール１４０は軌跡抽出モジュール１３０が出力した書き込み軌跡（即ち、出力された文字）を事前設定された文字ベースにある文字と比較して、文字ベースから文字認識結果の書き込み軌跡に最も似ている文字を探して出力する。

表示モジュール１５０は、文字認識結果及び／又は書き込み軌跡を表示する。詳しくは図５を参照すると、表示モジュール１５０は、書き込み表示ゾーン１５２及び認識ゾーン１５４を備える。書き込み表示ゾーン１５２は軌跡抽出モジュール１３０が出力した書き込み軌跡を表示して、認識表示ゾーン１５４は文字認識モジュール１４０が出力した文字認識結果を表示する。

実施形態では、表示モジュール１５０は書き込み軌跡をリアルタイムで表示して、書き込み軌跡が文字を単位として文字認識モジュール１４０に出力されると、表示モジュール１５０は文字認識モジュール１４０に出力された文字認識結果を表示する。

特に、表示モジュール１５０は、対象物検出装置及び表示装置を備えている。対象物検出装置は、対象物が書き込み面から基準書き込み面に対して４５度から９０度の間の角度で離れているかを検出するか、又は対象物が書き込み面から事前設定された速度で離れているかを検出して、「はい」の場合には表示装置は書き込み軌跡の表示を停止する。対象物検出装置は、更に、対象物が書き込み面に基準書き込み面に対して４５度から９０度の間の角度で達しているかを検出するか、又は対象物が書き込み面に事前設定された速度で達しているかを検出するか、又は対象物が書き込み面に「Ｌ」字型の移動軌跡で達しているかを検出して、「はい」の場合には対象物検出装置は書き込み軌跡を表示し始める。「Ｌ」字型軌跡が対象物により書かれているかを決定するため、主に対象物の移動軌跡を取得して対象物を追跡して、そして移動軌跡が「Ｌ」字型であるかを決定する。

更に、サイズ調整モジュールが備えられており、それは基準書き込み面に近い対象物の一端と基準書き込み面との間の距離により文字のサイズを調整する。

特に、基準書き込み面に近い対象物の一端とはペンの先端であり、基準書き込み面からペンの先端が遠いほど、文字のストロークが細くなる。反対に、基準書き込み面にペンの先端が近いほど、文字のストロークが太くなる。

更に、対象物が基準書き込み面に９０度に近い角度及び速度の閾値に近い速度で達しある一定の期間とどまるストロークが「下方ストローク」と規定され、基準書き込み面から９０度に近い角度及び速度の閾値に近い速度で離れるストロークが「上方ストローク」と規定されると、サイズ調整モジュールは表示された文字を最初の下方ストロークの一時停止の延長に従って細くから太くなるように調整もできる。また、対象物が基準書き込み面から遠いほど、上方ストロークのストロークは細くなる。対象物が基準書き込み面から離れている距離がある一定の値になると、「上方ストローク」は終了したと考えられて、ストロークを識別するプロセスが実施される。

また、実施形態では、対象物が書き込み面に「Ｌ」字型の移動軌跡で達すると「下方ストローク」と規定でき、対象物が書き込み面から「Ｌ」字型の移動軌跡で離れると「上方ストローク」と規定できる。特に、対象物が書き込み面に近づいた後、約９０度で急に曲がり、書き込み面で移動し始めると、書き込み面に達した「Ｌ」字型の移動軌跡であると決定される。逆に、対象物が書き込み面で動いている間突然約９０度で急に曲がり書き込み面から離れると、書き込み面から離れた「Ｌ」字型の移動軌跡であると決定される。

図６は、実施形態におけるハンドジェスチャー認識に基づくテキスト入力方法のフローチャートである。

ハンドジェスチャー認識に基づくテキスト入力方法は下記を含む。

ステップＳ１１０にて、対象物を含む画像情報を収集する。

実施形態では、対象物はユーザの指、又は鉛筆などユーザが持つ棒状の物体である。

ステップＳ１２０では、対象物は画像情報に従って決定され、対象物の書き込み面及び移動軌跡が取得される。

実施形態では、ステップＳ１２０では、基準書き込み面に近い対象物の一端と基準書き込み面との間の距離に従って文字のサイズが調整される。

ステップＳ１３０では、書き込み面における対象物の移動軌跡は書き込み軌跡として抽出され、書き込み軌跡が出力される。

実施形態では、文字を単位としてステップＳ１３０で出力される。

ステップＳ１４０では、文字認識は書き込み軌跡に従って行われ、文字認識結果が出力される。

図７は、別の実施形態に従うハンドジェスチャー認識に基づくテキスト入力方法のフローチャートである。

ハンドジェスチャー認識に基づくテキスト入力方法であって、方法は下記を含む。

ステップＳ２１０では、ユーザのハンドジェスチャーが認識され、ハンドジェスチャー認識の結果に従って書き込み状態が開始される。

実施形態では、ステップＳ２１０ではユーザの音声が認識されて、音声認識の結果に従って書き込み状態が開始される。

ステップＳ２２０では、対象物を含む画像情報が収集される。

ステップＳ２３０では、画像情報に従って対象物が決定され、対象物の書き込み面及び移動軌跡が取得される。

ステップＳ２４０では、書き込み面における対象物の移動軌跡が書き込み軌跡として抽出され、書き込み軌跡が出力される。

ステップＳ２５０では、書き込み軌跡に従って文字認識が行われ、文字認識結果が出力される。

ステップＳ２６０では、文字認識結果及び書き込み軌跡が表示される。

特に、書き込み軌跡が最初に表示されて、その後文字認識結果が表示される。なぜならば書き込み軌跡はリアルタイムで表示されているからである。実施形態では、文字認識結果又は書き込み軌跡しか表示できない。

実施形態では、ステップＳ２６０で書き込み軌跡を表示するステップは下記を含む。

対象物が基準書き込み面に対して４５度から９０度の間の角度で書き込み面から離れているか、又は対象物が書き込み面から事前設定された速度で離れているかが検出されて、「はい」の場合には書き込み軌跡の表示を停止する。

対象物が基準書き込み面に対して４５度から９０度の間の角度で書き込み面に達しているかを検出して、又は対象物が書き込み面に事前設定された速度で達しているかを検出して、又は対象物が書き込み面に「Ｌ」字型の移動軌跡で達しているかを検出する。対象物が基準書き込み面に対して４５度から９０度の角度で書き込み面に達している場合、又は対象物が事前設定された速度で書き込み面から離れている場合、又は対象物が「Ｌ」字型の移動軌跡で書き込み面に達している場合、書き込み軌跡を表示し始める。

ステップＳ２７０では、ユーザのハンドジェスチャーが認識されて、ハンドジェスチャー認識の結果に従って書き込み状態が終了する。

実施形態では、ステップＳ２７０は、ユーザの音声が認識され、音声認識結果に従って書き込み状態が終了する。

ユーザは、カメラの見える範囲に指を見せて、音声で書き込み状態を開始する。図８に示すように、ユーザの指が位置「０」から第１ストローク開始位置「１」へ移動するのが下方ストロークであり、位置「１」から位置「２」へ移動するのが第１ストロークであり、第１ストロークが位置する面が書き込み面と規定される。位置「２」から位置「３」へは上方へのストロークであり、位置「３」から位置「４」への移動は書き込み面外での動きである。位置「４」から位置「５」へは第２の下方へのストロークであり、位置「５」から位置「６」までが第２ストロークである。位置「６」から位置「７」までは上方へのストロークであり、位置「７」から位置「８」への移動は書き込み面外の動きである。位置「８」から位置「９」までは第３ストロークであり、位置「９」から位置「１０」までは第３ストロークであり、位置「１０」から位置「１１」へは上方へのストロークであり、文字の入力が完成する。ユーザの指は、位置「１」、「２」、「５」、「６」、「９」、「１０」で一時停止する。ユーザの指の移動軌跡は位置「０」から位置「１１」まで連続しているが、書き込み面での移動軌跡のみが書き込み軌跡として抽出されるため、これはストローク識別処理になり、入力文字の認識精度を向上でき、ユーザのテキスト入力を容易にし、良い書き方を子供に教えることができる。

上記のハンドジェスチャーに基づくテキスト入力方法によると、対象物は画像情報により決定され、対象物の書き込み面及び移動軌跡が取得され、書き込み面における対象物の移動軌跡が出力される書き込み軌跡として抽出され、書き込み軌跡に従って文字認識がされ、文字認識結果が出力され、空中の対象物の移動軌跡が連続していても、軌跡抽出モジュールは書き込み面における書き込み軌跡のみを抽出して、これはストローク識別処理と同等であり、文字認識モジュールの認識を容易にして、認識の精度を向上する。

実施形態には、少なくとも一つの非一過性の記録媒体も設けられており、非一過性の記録媒体はコンピュータ読み取り可能命令を記録し、少なくとも一つのプロセッサがコンピュータ読み取り可能命令を実行すると、少なくとも一つのプロセッサは下記のステップを実施する。

対象物を含む画像情報が収集される。

画像情報に従って対象物が決定され、対象物の書き込み面及び移動軌跡が取得される。

書き込み面における対象物の移動軌跡が書き込み軌跡として抽出され、書き込み軌跡が出力される。

書き込み軌跡に従って文字認識が実施され、文字認識結果が出力される。

上記の実施形態の方法のプロセスは、基盤となるハードウェアを命令するコンピュータプログラムに、一部又は全部、実施されることができ、プログラムはコンピュータ読取り可能記録媒体に記録することができ、プログラムは実施されるときに様々な方法の実施形態のプロセスを含むこともできる。記録媒体は、ディスク、ＣＤ、読み取り専用メモリ（ＲＯＭ）、及び他の非一過性記録媒体又はランダムアクセスメモリ（ＲＡＭ）等である。

上記の実施形態における異なる技術特徴は様々な組み合わせが可能であり、それらはここでは省略する。しかしながら、異なる技術特徴の組み合わせが互いにコンフリクトしない程度に、全てのその様な組み合わせは本開示の範囲内であるとみなすべきである。

上記の実施形態は単に本開示の特定の実施形態にすぎず、本開示の保護範囲を限定するものではない。当業者により容易に考えられる本開示に記載される技術範囲内にあるあらゆる変形又は代替は、全て本開示の保護範囲内にある。従って、本開示の保護範囲はクレームの保護範囲内であるとされる。

Claims

ハンドジェスチャー認識に基づくテキスト入力方法であって、
対象物を含む画像情報を収集し、
前記画像情報に従って前記対象物を決定し、前記対象物の書き込み面及び移動軌跡を取得し、
前記書き込み面における前記対象物の前記移動軌跡を書き込み軌跡として抽出し、前記書き込み軌跡を出力し、
前記書き込み軌跡に従って文字認識を実施し、文字認識結果を出力することを備えることを特徴とするハンドジェスチャー認識に基づくテキスト入力方法。
請求項１に記載の方法であって、
ユーザのハンドジェスチャー又は音声を認識し、ハンドジェスチャー認識の結果又は音声認識の結果に従って書き込み状態を開始し、
前記ユーザのハンドジェスチャー又は音声を認識し、ハンドジェスチャー認識の結果又は音声認識の結果に従って前記書き込み状態を終了することを更に備えることを特徴とする方法。
請求項２に記載の方法であって、
前記画像情報に従って前記対象物を決定して、前記対象物の前記書き込み面及び前記移動軌跡を取得するステップは、
前記対象物を決定するため前記画像情報から画像特徴抽出を実施し、
ある位置での前記対象物の一時停止時間を数え、
前記書き込み状態開始後初めて事前設定された時間に前記対象物の前記一時停止時間が達する第一位置を取得し、二回目に前記事前設定された時間に前記対象物の前記一時停止時間が達する第二位置を取得し、前記対象物の前記第一位置から前記第二位置までの前記移動軌跡を第一ストロークと規定し、前記第一ストロークが位置する面を基準書き込み面として規定し、前記基準書き込み面から事前設定された距離範囲内離れている面を書き込み面として規定することを備え、
前記書き込み面における前記対象物の前記移動軌跡を前記書き込み軌跡として抽出し、前記書き込み軌跡を出力する前記ステップは、
前記書き込み面における前記対象物の前記移動軌跡を前記書き込み軌跡として抽出して、
文字を単位として前記書き込み軌跡を出力することを備えることを特徴とする方法。
請求項３に記載の方法であって、
前記基準書き込み面に近い前記対象物の一端及び前記基準書き込み面の間の距離に従って前記文字のサイズを調整することを更に備えることを特徴とする方法。
請求項１に記載の方法であって、
前記書き込み軌跡に従って前記文字を認識し、文字認識結果を出力するステップの後、前記方法は、
前記文字認識結果及び／又は前記書き込み軌跡を表示することを更に備えることを特徴とする方法。
請求項５に記載の方法であって、
前記書き込み軌跡を表示する前記ステップは、
前記対象物が前記書き込み面から前記基準書き込み面に対して４５度から９０度の角度で離れているかを検出するか、又は前記対象物が事前設定された速度で前記書き込み面から離れているかを検出して、前記対象物が前記書き込み面から前記基準書き込み面に対して４５度から９０度の角度で離れている場合又は前記対象物が前記事前設定された速度で前記書き込み面から離れている場合、前記書き込み軌跡の表示を停止して、
前記対象物が前記書き込み面に前記基準書き込み面に対して４５度から９０度の角度で達しているかを検出するか、又は前記対象物が前記事前設定された速度で前記書き込み面に達しているかを検出するか、又は前記対象物が前記書き込み面に「Ｌ」字型の移動軌跡で達しているかを検出して、前記対象物が前記書き込み面に前記基準書き込み面に対して４５度から９０度の角度で達している場合、又は前記対象物が前記事前設定された速度で前記書き込み面から離れている場合、又は前記対象物が前記書き込み面に「Ｌ」字型の移動軌跡で達している場合、前記書き込み軌跡の表示を開始することを備えることを特徴とする方法。
ハンドジェスチャー認識に基づくテキスト入力装置であって、前記装置はプロセッサと命令を記録したメモリとを備え、前記命令は前記プロセッサにより実行されると前記プロセッサに、
対象物を含む画像情報を収集させ、
前記画像情報に基づき前記対象物を決定させ、前記対象物の書き込み面及び移動軌跡を取得させ、
前記書き込み面における前記対象物の前記移動軌跡を書き込み軌跡として抽出させ、前記書き込み軌跡を出力させ、
前記書き込み軌跡に基づいて文字認識を実施させ、文字認識結果を出力させることを備えるステップを実施させることを特徴とする装置。
請求項７に記載の装置であって、前記プロセッサは前記命令を更に実行して、
ユーザのハンドジェスチャー又は音声を認識し、ハンドジェスチャー認識の結果又は音声認識の結果を出力し、書き込み状態を開始し、
前記ユーザのハンドジェスチャー又は音声を認識し、ハンドジェスチャー認識の結果又は音声認識の結果を出力し、書き込み状態を終了する
ステップを実施させることを特徴とする装置。
請求項８に記載の装置であって、
前記命令が前記プロセッサにより実行されると、前記画像情報に従って前記対象物を決定して、前記対象物の前記書き込み面及び前記移動軌跡を取得することは、
前記対象物を決定するため前記画像情報から画像特徴抽出を実施し、
ある位置での前記対象物の一時停止時間を数え、
前記書き込み状態開始後初めて事前設定された時間に前記対象物の前記一時停止時間が達する第一位置を取得し、二回目に前記事前設定された時間に前記対象物の前記一時停止時間が達する第二位置を取得し、前記対象物の前記第一位置から前記第二位置までの前記移動軌跡を第一ストロークと規定し、前記第一ストロークが位置する面を基準書き込み面として規定し、前記基準書き込み面から事前設定された距離範囲内離れている面を書き込み面として規定することを備え、
前記書き込み面における前記対象物の前記移動軌跡を前記書き込み軌跡として抽出し、前記書き込み軌跡を出力する前記ステップは、
前記書き込み面における前記対象物の前記移動軌跡を前記書き込み軌跡として抽出し、
文字を単位として前記書き込み軌跡を出力することを備えることを特徴とする装置。
請求項９に記載の装置であって、
前記プロセッサは更に前記命令を実行して、
前記基準書き込み面に近い前記対象物の一端及び前記基準書き込み面の間の距離に従って前記文字のサイズを調整することを更に備えることを特徴とする装置。
請求項７に記載の装置であって、
前記書き込み軌跡に従って前記文字を認識し、前記文字認識結果を出力するステップの後、前記プロセッサは更に前記命令を実行して、
前記文字認識結果及び／又は前記書き込み軌跡を表示するステップを実施することを特徴とする装置。
請求項１１に記載の装置であって、
前記命令が実行されると、前記文字認識結果及び／又は前記書き込み軌跡を表示する前記ステップは、
前記対象物が前記書き込み面から前記基準書き込み面に対して４５度から９０度の角度で離れているかを検出するか、又は前記対象物が事前設定された速度で前記書き込み面から離れているかを検出して、前記対象物が前記書き込み面から前記基準書き込み面に対して４５度から９０度の角度で離れている場合又は前記対象物が前記事前設定された速度で前記書き込み面から離れている場合、前記書き込み軌跡の表示を停止して、
前記対象物が前記書き込み面に前記基準書き込み面に対して４５度から９０度の角度で達しているかを検出するか、又は前記対象物が前記事前設定された速度で前記書き込み面に達しているかを検出するか、又は前記対象物が前記書き込み面に「Ｌ」字型の移動軌跡で達しているかを検出して、前記対象物が前記書き込み面に前記基準書き込み面に対して４５度から９０度の角度で達している場合、又は前記対象物が前記事前設定された速度で前記書き込み面から離れている場合、又は前記対象物が前記書き込み面に前記「Ｌ」字型の移動軌跡で達している場合、前記書き込み軌跡の表示を開始することを備えることを特徴とする装置。
コンピュータ読取可能命令を記録する少なくとも一つの非一過性のコンピュータ読取可能記録媒体であって、少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサに、
対象物を含む画像情報を収集し、
前記画像情報に従って前記対象物を決定し、前記対象物の書き込み面及び移動軌跡を取得し、
書き込み軌跡として前記書き込み面における前記対象物の前記移動軌跡を抽出し、前記書き込み軌跡を出力し、
前記書き込み軌跡に従って文字認識を実施し、文字認識結果を出力することを備えるステップを実施させることを特徴とする少なくとも一つの非一過性のコンピュータ読取可能記録媒体。