JP2014164755A

JP2014164755A - センサを用いる近接動作認識装置及びその装置を用いた方法

Info

Publication number: JP2014164755A
Application number: JP2014021352A
Authority: JP
Inventors: Seung Ju Han; 承周韓; Joon-Ah Park; 浚我朴; Hyun-Surk Ryu; 賢錫柳; Du-Sik Park; 斗植朴; Ki Myung Lee; 起明李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-02-22
Filing date: 2014-02-06
Publication date: 2014-09-08
Anticipated expiration: 2034-02-06
Also published as: CN104007814A; US20140240248A1; EP2770408A2; CN104007814B; JP6333568B2; US10261612B2; EP2770408A3; EP2770408B1

Abstract

【課題】センサを用いる近接動作認識装置を提供する。
【解決手段】一実施形態に係るセンサを用いる近接動作認識装置において、近接動作を認識するための基準面から予め決定した距離よりも近い第１入力空間をセンシングするための第１センサと、前記基準面から前記予め決定した距離よりも遠い第２入力空間をセンシングするための第２センサと、入力オブジェクトが前記第１入力空間と前記第２入力空間との間をトランジションする場合、前記第１センサと前記第２センサとの間で前記トランジションと関連する情報を伝達する情報伝達制御部とを備える。
【選択図】図１

Description

本発明は、センサを用いる近接動作認識装置及びその装置を用いた方法に関する。

スマートフォン、タブレットコンピュータ及びノート型パソコンなどの様々な携帯用機器で２次元の平面上で行われるタッチ入力方式が多く利用されている。特に、タッチ入力方式は、単一のタッチ入力を受けるシングルポイント認識方式から複数のタッチ入力を同時に受け入れるマルチポイント認識方式に発展してきた。

本発明の目的は、互いに異なるセンサが長所を組み合わせる技術を提供することである。

また、本発明の目的は、互いに異なるセンサ間のスイッチングが均一に（ｓｅａｍｌｅｓｓ）接続されるようにする技術を提供する。

また、本発明の目的は、現在の利用されないセンサを非活性化させることによって電力消耗を節減する技術を提供する。

また、本発明の目的は、電力消耗を節減すると同時に反応速度を向上させる技術を提供する。

また、本発明の目的は、より細かいポインティング動作が入力され得る技術を提供する。

一側面に係るセンサを用いる近接動作認識装置は、近接動作を認識するための基準面から予め決定した距離よりも近い第１入力空間をセンシングするための第１センサと、前記基準面から前記予め決定した距離よりも遠い第２入力空間をセンシングするための第２センサと、入力オブジェクトが前記第１入力空間と前記第２入力空間との間をトランジションする場合、前記第１センサと前記第２センサとの間で前記トランジションと関連する情報を伝達する情報伝達制御部とを備える。

ここで、入力オブジェクトと前記基準面との間の近接程度を測定する近接程度測定部と、前記近接程度により前記第１センサ及び前記第２センサを択一的に活性化させるセンサ制御部とをさらに備えてもよい。

さらに、前記近接動作認識装置は、近接動作インタフェースを表示するディスプレイと、前記第１入力空間で第１入力オブジェクトが入力される場合、前記第１入力オブジェクトと前記基準面との間の近接程度により前記第１入力オブジェクトによってポインティングされる領域の大きさが変更されるように前記近接動作インタフェースを制御するインタフェース制御部とをさらに備えてもよい。

さらに、前記近接動作認識装置は、前記第２入力空間で第２入力オブジェクトが入力される場合、前記第２入力オブジェクトによってポインティングされる点の周辺に予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御するインタフェース制御部と、前記第１入力空間で第１入力オブジェクトが入力される場合、前記第１センサの出力信号に基づいて前記第１入力オブジェクトの終点及び軸を抽出する信号処理部をさらに含んでもよい。ここで、前記インタフェース制御部は、前記第１入力空間で前記第１入力オブジェクトが入力される場合、前記第１入力オブジェクトの終点及び軸を用いて前記第１入力オブジェクトによって前記ディスプレイが遮られる領域周辺に前記予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御してもよい。

また、前記近接動作認識装置は、前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて複数の入力オブジェクトが検出されるか否かを判断する複数入力検出部と、前記複数入力検出部によって複数の入力オブジェクトが検出されると判断される場合、予め決定したモードに応じて前記複数の入力オブジェクトのうち少なくとも１つの入力オブジェクトを選択する入力選択部とをさらに備えてもよい。

また、前記近接動作認識装置は、前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力パターンを認識する入力パターン認識部と、前記入力パターンに対応する機能を実行する機能実行部とをさらに備えてもよい。

また、前記近接動作認識装置は、２次元インタフェース及び３次元インタフェースを提供するディスプレイと、前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの位置、速度、または角速度のうち少なくとも１つを算出する算出部と、前記算出結果に基づいて前記ディスプレイの動作モードを制御するディスプレイ制御部とをさらに備えてもよい。

他の一実施形態に係る近接動作認識方法は、第１センサを用いて近接動作を認識するための基準面から予め決定した距離よりも近い第１入力空間に入力オブジェクトが存在する場合、前記第１入力空間をセンシングするステップと、第２センサを用いて前記基準面から前記予め決定した距離よりも遠い第２入力空間に入力オブジェクトが存在する場合、前記第２入力空間をセンシングするステップと、入力オブジェクトが前記第１入力空間と前記第２入力空間との間をトランジションする場合、前記第１センサと前記第２センサとの間で前記トランジションと関連する情報を伝達するステップとを含む。

更なる位置実施形態に係るユーザインタフェースを制御する制御方法は、ユーザインタフェースと近い第１領域で入力をセンシングするステップと、前記第１領域の外の第２領域で入力をセンシングするステップと、前記第１領域と前記第２領域で検出された入力の位置及び動きのうち少なくとも１つに基づいて前記ユーザインタフェースを第１方式と第２方式に選択的に制御するステップとを含む。

本発明によると、実施形態は互いに異なるセンサが長所を組み合わせる技術を提供することができる。

また、本発明によると、互いに異なるセンサの間スイッチングが均一に接続されるようにする技術を提供することができる。

また、本発明によると、現在の利用されないセンサを非活性化させることによって電力消耗を節減する技術を提供することができる。

また、本発明によると、電力消耗を節減すると同時に反応速度を向上させる技術を提供することができる。

また、本発明によると、より細かいポインティング動作が入力され得る技術を提供することができる。

一実施形態に係るセンサを用いる近接動作認識装置を説明するための図である。一実施形態に係る第１センサ及び第２センサの出力信号を説明するための図である。一実施形態に係る近接動作認識装置のパワーセービングモードを説明するための図である。一実施形態に係る近接動作認識装置が提供する近接動作インタフェースを説明するための図である。一実施形態に係る近接動作認識装置の動作を説明するための動作フローチャートである。一実施形態に係る近接動作認識装置のアイコン自動配置動作を説明するための図である。一実施形態に係る近接動作認識装置のアイコン自動配置動作を説明するための図である。一実施形態に係る近接動作認識装置のアイコン自動配置動作のための信号処理方法を説明するための図である。一実施形態に係る近接動作認識装置のアイコン自動配置動作のための信号処理方法を説明するための図である。一実施形態に係る近接動作認識装置のアイコン自動配置動作のための信号処理方法を説明するための図である。一実施形態に係る複数の入力オブジェクトが検出される場合、近接動作認識装置の動作を説明するための図である。一実施形態に係る複数の入力オブジェクトが検出される場合、近接動作認識装置の動作を説明するための図である。一実施形態に係る複数の入力オブジェクトが検出される場合、近接動作認識装置の動作を説明するための図である。一実施形態に係る複数の入力オブジェクトが検出される場合、近接動作認識装置の動作を説明するための図である。一実施形態に係る入力パターンを認識する近接動作認識装置を示すブロック図である。一実施形態に係る近接動作認識装置の２次元インタフェース及び３次元インタフェース変換動作を説明するための図である。一実施形態に係る近接動作認識装置の２次元インタフェース及び３次元インタフェース変換動作を説明するための図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。

図１は、一実施形態に係るセンサを用いる近接動作認識装置を説明するための図である。図１を参照すると、一実施形態に係る近接動作認識装置１００は、第１センサ１１０、第２センサ１２０、及び情報伝達制御部１３０を備える。ここで、近接動作認識技術は２次元のタッチ入力方式を３次元に発展させ得る技術であり、近接動作認識装置１００は、利用者から近接動作の入力を受けて入力された近接動作を認識する装置として、固定型デバイスまたは携帯型デバイスなどの様々な形態で実現される。以下、第１センサ１１０は第１類型センサであり、第２センサ１２０は第１類型センサとは異なる類型の第２類型センサであってもよい。しかし、実施形態は、第１センサ１１０及び第２センサ１２０が異種センサと限定されることはない。例えば、実施形態は、第１センサ１１０と第２センサ１２０が同一の類型であるものの、互いに異なる領域の入力を検出する場合にも適用されてもよい。

第１センサ１１０は、近接動作を認識するための基準面１４０から予め決定した第１距離１４１よりも近い第１入力空間をセンシングしてもよい。図面に図示されていないが、一実施形態に係る近接動作認識装置１００はディスプレイをさらに含んでもよく、この場合に基準面１４０はディスプレイ上に位置してもよい。ここで、第１センサ１１０は様々な方式で実現されてもよい。例えば、第１センサ１１０は、ディスプレイの隅部に設けられる超音波センサまたは赤外線センサを用いて実現されてもよい。または、第１センサ１１０は、タッチセンサパネル、深度センサまたはイメージセンサを用いて実現されてもよい。

また、第２センサ１２０は、基準面１４０から第１距離１４１よりも遠くて予め決定した第２距離１４２よりも近い第２入力空間をセンシングしてもよい。ここで、第２距離１４２の値は、第１距離１４１の値よりも大きくてもよい。ここで、入力オブジェクト１５０が第１距離１４１だけ離れた位置で入力される場合、近接動作認識装置１００は予め決定された設定により第１センサ１１０または第２センサ１２０を用いて当該入力オブジェクトをセンシングする。ここで、第２センサ１２０は様々な方式で実現されてもよい。例えば、第２センサ１２０は、ディスプレイの隅部に設けられる超音波センサまたは赤外線センサを用いて実現されたり、タッチセンサパネル、深度センサ、またはイメージセンサを用いて実現されてもよい。ここで、第１距離１４１と第２距離１４２は、それぞれ第１センサ１１０の特性と第２センサ１２０の特性に応じて予め決定されてもよい。

一実施形態に係る近接動作認識装置１００は、少なくとも２つの互いに異なるセンサを用いることによって、基準面１４０に最も近接する空間でセンシングされる入力と基準面１４０から相対的に遠い空間でセンシングされる入力を相異に処理してもよい。これによって、一実施形態に係る近接動作認識装置１００は、互いに異なるセンサが有する長所（例えば、イメージセンサは広い入力空間をセンシングでき、タッチセンサパネルは迅速かつ正確に入力オブジェクトをセンシングできる）を組み合わせる技術を提供する。さらに、一実施形態に係る近接動作認識装置１００は、タッチスクリーン入力方式に比べて入力による指の跡を残さない技術を提供する。また、近接動作認識装置１００は、入力が直接画面に接する入力ロードを減らす技術を提供し、３次元空間を活用した様々な入力（例えば、ページをめくる動作、物をつかむ動作など、直観的で自然なジェスチャー入力など）を受け入れる技術を提供する。

以下、説明の便宜のために、第１センサ１１０は基準面１４０から５ｃｍ以内の空間をセンシングする静電式タッチセンサであり、第２センサ１２０は基準面１４０から５ｃｍ以上離れた空間をセンシングする視覚センサである場合を仮定する。ただし、本願の権利範囲はこれに限定されることはない。ここで、視覚センサは、対象体に対する光が時間により変化する程度（例えば、光の時間微分値）を検出することによって対象体の空間情報を認識することができる。そして、視覚センサは対象体に動きがある場合、背景と分離して動きのみを選択的に検出する。例えば、視覚センサは各ピクセルで光量の変化のみを検出する動的ビジョンセンサ（ＤｙｎａｍｉｃＶｉｓｉｏｎＳｅｎｓｏｒ:ＤＶＳ）から構成されてもよい。

また、情報伝達制御部１３０は、入力オブジェクト１５０が第１入力空間と第２入力空間との間をトランジション（移行）する場合、第１センサと第２センサとの間にトランジションと関連する情報を伝達する。例えば、入力オブジェクト１５０が基準面１４０から遠い位置で徐々に近接する場合を仮定する。この場合、入力オブジェクト１５０は、第２入力空間から第１入力空間にトランジションする。ここで、近接動作認識装置１００は、入力オブジェクト１５０が第２入力空間で入力されると、第２センサ１２０を用いて入力オブジェクト１５０をセンシングする。一方、近接動作認識装置１００は、入力オブジェクト１５０が第１入力空間で入力されると、第１センサ１１０を用いて入力オブジェクト１５０をセンシングする。したがって、入力オブジェクト１５０が第２入力空間から第１入力空間にトランジションする場合、近接動作認識装置１００によって用いられるセンサが第２センサ１２０から第１センサ１１０にスイッチングされる。

ここで、情報伝達制御部１３０は、第２センサ１２０の出力信号に基づいて生成されたトランジションと関連する情報を第１センサ１１０またはセンサを制御する制御部に伝達してもよい。第１センサ１１０は、受信されたトランジションと関連する情報に基づいて第１入力空間から入力される入力オブジェクトをセンシングしてもよい。これによって、近接動作認識装置１００は、互いに異なるセンサ間にスイッチングが均一に（ｓｅａｍｌｅｓｓ）接続されるようにする技術を提供する。例えば、トランジションと関連する情報は、第２センサ１２０によって検知された入力オブジェクトの位置と関連する情報を含んでもよい。第１センサ１１０は、トランジションと関連する情報に含まれた入力オブジェクトの位置を初期入力位置として利用してもよい。このような方式によって、近接動作認識装置１００は、入力オブジェクトのセンシングに用いられるセンサが変更されても入力オブジェクトを連続的かつ均一にセンシングできる。前述した実施形態は、入力オブジェクト１５０が第１入力空間から第２入力空間にトランジションする場合にも適用される。

図２は、一実施形態に係る第１センサ及び第２センサの出力信号を説明するための図である。図２を参照すると、一実施形態に係る第１センサは、第１入力空間２３０でセンシングされる入力オブジェクトのｘ座標、ｙ座標、及びｚ座標を出力してもよい。また、一実施形態に係る第２センサは、第２入力空間２４０でセンシングされるｘ座標及びｙ座標を出力してもよい。ここで、ｘ座標、ｙ座標、及びｚ座標は基準面２２０に存在する原点（例えば、基準面の左上段の隅部地点）を基準としてｘ軸方向２１１、ｙ軸方向２１２、及びｚ軸方向２１３に入力オブジェクト２５０がセンシングされる位置を示す。

一実施形態に係る近接動作認識装置は、基準面２２０に最も近接する空間である第１入力空間２３０でセンシングされる入力は３次元座標として処理し、基準面２２０から相対的に遠い空間である第２入力空間２４０でセンシングされる入力は２次元座標として処理してもよい。この場合、入力オブジェクト２５０が第１入力空間２３０と第２入力空間２４０との間をトランジションするとき、情報伝達制御部によって伝えられるトランジションと関連する情報は、当該の入力空間でセンシングされる入力オブジェクトのｘ座標及びｙ座標を含んでもよい。第１センサまたは第２センサは、伝達されたｘ座標及びｙ座標を入力オブジェクトの初期位置に受け入れることによって、互いに異なるセンサ間のスイッチングを均一につなぐことが可能である。

図３は、一実施形態に係る近接動作認識装置のパワーセービングモードを説明するための図である。図３を参照すると、一実施形態に係る近接動作認識装置は、入力オブジェクト３１０と基準面３２０との間の近接程度に応じて、第１センサ及び第２センサを択一的に活性化させる。図面に示していないが、近接動作認識装置は、近接程度測定部及びセンサ制御部をさらに含んでもよい。

近接程度測定部は、入力オブジェクト３１０と基準面３２０との間の近接程度を測定する。ここで、近接程度は、入力オブジェクト３１０と基準面３２０が互いに近接する程度を示す尺度として、例えば、入力オブジェクト３１０と基準面３２０との間の最短距離などを含んでもよい。ここで、近接程度測定部は、第１センサ及び第２センサと区別される第３センサを用いて実現されてもよい。例えば、近接程度測定部は、赤外線センサ（ＩＲｓｅｎｓｏｒ）を用いて実現されてもよい。または、他の実施形態に係る近接程度測定部は、第１センサの出力信号と第２センサの出力信号を用いて実現されてもよい。

センサ制御部は、近接程度測定部によって測定された近接程度により第１センサ及び第２センサを択一的に活性化させる。例えば、センサ制御部は、入力オブジェクト３１０が第１入力空間３３０で検出される場合、第１センサを活性化させて第２センサを非活性化させてもよい。また、センサ制御部は、入力オブジェクト３１０が第２入力空間３５０で検出される場合、第２センサを活性化させて第１センサを非活性化させてもよい。これによって、一実施形態に係る近接動作認識装置は、センサのうち現在の利用されていないセンサを非活性化することで電力消耗を節減する技術を提供できる。

それだけではなく、センサ制御部は、入力オブジェクト３１０が第１入力空間３３０と第２入力空間３５０との間のトランジション空間３４０で検出される場合、第１センサを活性化させた状態で第２センサを待機（ｓｔａｎｄ−ｂｙ）モードに動作させてもよい。他の実施形態に係るセンサ制御部は、入力オブジェクト３１０がトランジション空間３４０で検出される場合、第２センサを活性化させた状態で第１センサを待機モードに動作させてもよい。ここで、センサの待機モードは非活性化モードと区別される動作モードであり、例えば、当該センサが活性化するために要求される時間がさらに短い低電力動作モードなどを含んでもよい。これによって、一実施形態に係る近接動作認識装置は、電力消耗を節減する技術を提供すると同時にセンシングの反応速度を向上させる技術を提供できる。

図４は、一実施形態に係る近接動作認識装置が提供する近接動作インタフェースを説明するための図である。図４を参照すると、一実施形態に係る近接動作認識装置は、近接動作インタフェースを提供するディスプレイをさらに含む。ここで、基準面４４０はディスプレイ上に位置してもよい。より具体的に、近接動作認識装置は、入力される入力オブジェクトが基準面４４０と近接する程度により当該の入力オブジェクトによってポインティングされる領域の大きさが変更されるよう近接動作インタフェースを制御してもよい。例えば、近接動作認識装置は、第２入力空間４６０で入力オブジェクト４１０が入力する場合、第２センサを用いて入力オブジェクト４１０のｘ座標及びｙ座標を取得してもよい。近接動作認識装置は、取得されたｘ座標及びｙ座標を用いて入力オブジェクト４１０によってポインティングされる領域４１５を予め決定した大きさに表示してもよい。

さらに、近接動作認識装置は、第１入力空間４５０で入力オブジェクト４２０が入力する場合、第１センサを用いて入力オブジェクト４２０のｘ座標、ｙ座標、及びｚ座標を取得してもよい。この場合、近接動作認識装置は、取得されたｘ座標及びｙ座標を用いて入力オブジェクト４２０によってポインティングされる領域４２５の大きさを変更してもよい。ここで、近接動作認識装置は、当該領域４２５の大きさを取得されたｚ座標により変更されるよう制御してもよい。例えば、近接動作認識装置は、取得されたｚ座標に基づいて入力オブジェクト４２０と基準面４４０との間の近接程度を抽出し、入力オブジェクト４２０が基準面４４０に近接するほど当該領域４２５の大きさが拡大するよう、近接動作インタフェースを制御する。したがって、一実施形態に係る近接動作認識装置は、入力オブジェクトと基準面との間の距離が近くなるにつれ当該入力オブジェクトによってポインティングされる領域が拡大されことで、より細かいポインティング動作が入力され得る技術を提供できる。

それだけではなく、近接動作認識装置は、入力オブジェクト４３０と基準面４４０が互いに接触したか否かを判断する。この場合、入力オブジェクト４３０は第１入力空間４５０で入力され、近接動作認識装置は第１センサを用いて入力オブジェクト４３０のｘ座標、ｙ座標、及びｚ座標を取得する。近接動作認識装置は、入力オブジェクト４３０のｚ座標に基づいて入力オブジェクト４３０と基準面４４０が互いに接触したか否かを判断する。近接動作認識装置は、入力オブジェクト４３０と基準面４４０が互いに接触したとの判断に応じて、入力オブジェクト４３０によってポインティングされる領域４３５が選択されるよう近接動作インタフェースを制御する。

ここで、近接動作インタフェースは、少なくとも１つのアイコンを含んでもよい。この場合、近接動作認識装置は、入力オブジェクトと基準面が近接されるほど入力オブジェクトによってポインティングされるアイコンが拡大するよう近接動作インタフェースを制御してもよい。さらに、近接動作認識装置は、入力オブジェクトが基準面が接触する場合、当該入力オブジェクトによってポインティングされるアイコンが選択されるように近接動作インタフェースを制御してもよい。さらに、近接動作認識装置は、選択されたアイコンに対応する機能を行ってもよい。例えば、近接動作認識装置は、入力オブジェクトが基準面に接触するとき当該入力オブジェクトによってポインティングされるアイコンが通話アイコンである場合、通話機能を実行してもよい。これによって、一実施形態に係る近接動作認識装置は、基準面から近接する空間で入力動作を容易にユーザインタフェース技術を提供することができる。

他の実施形態に係る近接動作認識装置は、第１入力空間をセンシングする第１センサ及び第２入力空間をセンシングする第２センサだけではなく、基準面４４０上に入力されるタッチ入力をセンシングする一般的なタッチセンサをさらに含んでもよい。この場合、近接動作認識装置は、入力オブジェクト４３０と基準面４４０が互いに接触したとの判断に応じて、当該タッチセンサを活性化させる。

図５は、一実施形態に係る近接動作認識装置の動作を説明するための動作フローチャートである。図５を参照すると、一実施形態に係る近接動作認識装置は、ステップＳ５１０において、第１センサと第２センサを初期化する。ここで、近接動作認識装置は、予め決定した初期化設定により第１センサと第２センサを活性化モード（ａｃｔｉｖｅｍｏｄｅ）に初期化してもよい。

近接動作認識装置は、ステップＳ５２０において、入力オブジェクトが近接距離にあるか否かを判断する。例えば、近接動作認識装置は、第２センサによってセンシングされる第２距離内に入力オブジェクトが検出されるか否かを判断する。近接動作認識装置は、ステップＳ５２０で入力オブジェクトが近接距離にあると判断する場合、ステップＳ５３０において、入力オブジェクトが一定の近接距離内にあるか否かを判断する。例えば、近接動作認識装置は、第２距離内に入力オブジェクトが検出される場合、第１センサによってセンシングされる第１距離内に入力オブジェクトが検出されるか否かを判断する。

ここで、近接動作認識装置は、第２距離内で入力オブジェクトが検出されて第１距離内でも入力オブジェクトが検出される場合、ステップＳ５４０において、第１センサの動作モードを活性化モードに保持して第２センサの動作モードを待機モードに切り替える。この場合、入力オブジェクトが第１入力空間でセンシングされる場合であり、近接動作認識装置はステップＳ５５０において、検知された入力オブジェクトのｘ座標及びｙ座標を用いたポインティング動作及び検知された入力オブジェクトのｚ座標を用いた拡大動作が行われるようインタフェースを制御する。

一方、近接動作認識装置は、第２距離内で入力オブジェクトが検出されるものの第１距離内では入力オブジェクトが検出されない場合、ステップＳ５６０において、第２センサの動作モードを活性化モードに保持して第１センサの動作モードを待機モードに切り替える。この場合、入力オブジェクトが第２入力空間でセンシングされる場合であり、近接動作認識装置はステップＳ５７０において、検知された入力オブジェクトのｘ座標及びｙ座標を用いたポインティング動作が行われるようにインタフェースを制御する。ステップＳ５５０及びステップＳ５７０には、図４を参照して説明した事項がそのまま適用されるため、より詳細な説明は省略する。

また、近接動作認識装置は、ステップＳ５８０において、受信された入力に対応するアプリケーションユーザインタフェースを実行する。例えば、近接動作認識装置は選択されたアイコンを活性化したり、２次元インタフェースと３次元インタフェースとの間を切り替える動作を行ってもよい。

図６Ａ及び図６Ｂは、一実施形態に係る近接動作認識装置のアイコン自動配置動作を説明するための図である。図６Ａを参照すると、一実施形態に係る近接動作認識装置は、入力オブジェクトによってポインティングされる地点の周辺に予め決定した少なくとも１つのアイコンが配置されるように近接動作インタフェースを制御する。より具体的に、近接動作認識装置は、基準面６１０から一定距離６２２以上離れた第２入力空間で入力オブジェクト６２０が入力される場合、第２センサの出力信号に基づいて入力オブジェクト６２０によってポインティングされる地点６２１を取得する。この場合、近接動作認識装置は、入力オブジェクト６２０によってポインティングされる地点６２１の周辺で複数のアイコン６２３が配置されるインタフェースを提供してもよい。

さらに、近接動作認識装置は、第１入力空間で入力オブジェクト６３０が入力される場合、第１センサの出力信号に基づいて入力オブジェクト６３０の終点及び軸を抽出してもよい。例えば、図７を参照すると、近接動作認識装置は、入力オブジェクト７２０をセンシングしたイメージ７３０から終点７４０と軸７５０を抽出してもよい。ここで、終点７４０と軸７５０は全て基準面７１０上に位置してもよい。この場合、近接動作認識装置は、入力オブジェクト６３０によってディスプレイが遮られる領域周辺に複数のアイコン６３３が配置されるインタフェースを提供してもよい。例えば、図７を参照すると、近接動作認識装置は、終点７４０から軸７５０と反対方向の扇形状７６０に複数のアイコンが配置されるよう近接動作インタフェースを制御してもよい。

それだけではなく、近接動作認識装置は、第１入力空間で入力オブジェクト６３０が入力される場合、入力オブジェクト６３０と基準面６１０との間の近接程度６３２により予め決定した少なくとも１つのアイコンの大きさが変更されるように近接動作インタフェースを制御してもよい。このような動作には、図４を参照して説明した事項がそのまま適用されるため、より詳細な説明は省略する。

図６Ｂを参照すると、一実施形態に係る近接動作認識装置は、図６Ａにおける入力オブジェクトと鏡上の対称である入力オブジェクトが入力する場合にも同一に動作する。より具体的に、近接動作認識装置は、第２入力空間で入力オブジェクト６４０が入力される場合、第２センサの出力信号に基づいて入力オブジェクト６４０によってポインティングされる地点６４１を取得してもよい。この場合、近接動作認識装置は、入力オブジェクト６４０によってポインティングされる地点６４１の周辺に複数のアイコン６４２が配置されるインタフェースを提供してもよい。

さらに、近接動作認識装置は、第１入力空間で入力オブジェクト６５０が入力される場合、第１センサの出力信号に基づいて入力オブジェクト６５０の終点及び軸を抽出する。この場合、近接動作認識装置は、入力オブジェクト６５０によってディスプレイが遮られる領域周辺に複数のアイコン６５１が配置されるインタフェースを提供する。したがって、一実施形態に係る近接動作認識装置は、入力オブジェクトが基準面から一定距離以上離れている場合、当該入力オブジェクトによってディスプレイが遮られる心配がないため、当該入力オブジェクトの軸方向と関係がなく当該入力オブジェクトによってポインティングされる地点の周辺に複数のアイコンを配置してもよい。一方、近接動作認識装置は入力オブジェクトが基準面から近接している場合、当該入力オブジェクトによってディスプレイが遮られる可能性が大きいため、当該入力オブジェクトの軸方向を考慮してディスプレイが遮られる領域周辺に複数のアイコンを配置してもよい。

図８Ａ及び図８Ｂは、一実施形態に係る近接動作認識装置のアイコン自動配置動作のための信号処理方法を説明するための図である。図８Ａを参照すると、一実施形態に係る近接動作認識装置はステップＳ８１１において、入力オブジェクトを検出する。近接動作認識装置はステップＳ８１２において、検出された入力オブジェクトの終点及び軸を抽出するための信号処理を行う。近接動作認識装置はステップＳ８１３において、信号処理結果に基づいて入力オブジェクトの終点及び軸を抽出する。ステップＳ８１１〜ステップＳ８１３と関連する詳細な説明は図８Ｂを参照して後述する。近接動作認識装置はステップＳ８１４において、抽出された終点、軸及び入力オブジェクトと基準面との間の近接距離に基づいて予め決定した少なくとも１つのアイコンを配置する。

図８Ｂを参照すると、一実施形態に係る近接動作認識装置は、入力オブジェクトのイメージセンシング８２０、オブジェクトを除いた背景画面を除去するためのサブトラクション８３０、オブジェクト外側の線を示すための高周波通過フィルタリング８４０、外側の線を鮮明にするための増幅８５０、オブジェクト以外の異常値（ｏｕｔｌｉｅｒ）を除去する閾値化８６０、指先地点を探すための最高点探索８７０、及び結果出力８８０を行うことによって、入力オブジェクトの終点及び軸を抽出する。

より具体的には、近接動作認識装置は、イメージセンシング８２０によって入力映像を取得してもよい。例えば、近接動作認識装置は、入力映像で入力オブジェクトを撮影した深度映像を取得してもよい。近接認識動作装置は、サブトラクション８３０によって入力映像でオブジェクト８３１を抽出してもよい。例えば、近接動作認識装置は、深度映像でオブジェクトと背景とを区分することで、深度映像からオブジェクトに該当する部分を抽出してもよい。深度映像でオブジェクトと背景とを区分する方法は様々な方法で実現されてもよい。一例として、近接動作認識装置は、オブジェクトと背景とを区分する閾値深度を用いて、閾値深度の以下の深度ピクセルはオブジェクトに分類し、閾値深度よりも大きい深度ピクセルは背景に分類してもよい。

近接動作認識装置は、高周波通過フィルタリング８４０によってオブジェクト外側の線８４１を取得してもよい。例えば、近接動作認識装置は、周辺ピクセルに比べて深度変化が急激なピクセルを抽出してもよい。オブジェクトと背景との間の境界で深度変化が急激であるため、高周波通過フィルタリング８４０によってオブジェクト外側の線が導き出される。高周波通過フィルタリング８４０によって導き出されたオブジェクト外側の線は、五指の外側の線を含んでもよい。近接動作認識装置は、増幅８５０によってオブジェクト外側の線を鮮明にすることができる。例えば、近接動作認識装置は、オブジェクト外側の線の内側に含まれるピクセル値を増幅してもよい。入力映像が深度映像である場合、深度映像ピクセル深度が増幅されてもよい。以下、図８Ｂにおいて明るい色に表現されるピクセル深度は暗い色に表現されるピクセル深度よりも小さい。一例として、明るい色に表現される領域８５１に含まれたピクセル深度は暗い色に表現される領域８５２に含まれたピクセル深度よりも小さい。

近接動作認識装置は、閾値化８６０を用いてオブジェクト以外の異常値を除去する。例えば、近接動作認識装置は、与えられた深度映像ピクセルのうち深さが閾値深度よりも大きいピクセルを除去する。近接動作認識装置は、最高点探索８７０を用いて指先地点を探す。近接動作認識装置は、五指それぞれに対して指を囲む長方形モデル８７１を生成してもよい。ここで、長方形モデル８７１は高さｈ、幅ｗを有する。近接動作認識装置は、長方形モデル８７１の一側の先領域で最高点、すなわち、深さが最も小さいピクセルを探索する。近接動作認識装置は、長方形モデルの一側の先に位置して四辺の長さがｈの正方形領域８７２内で最も小さい深度ピクセル８７３を探索してもよい。探索されたピクセル８７３は入力オブジェクトの終点となる。また、終点を基準として長方形モデルの幅方向につながる線分が入力オブジェクトの軸となる。近接動作認識装置は、結果出力８８０を介して少なくとも１つの（入力オブジェクトの終点、入力オブジェクトの軸）ペアを出力してもよい。例えば、近接動作認識装置は、五指それぞれに対する（終点、軸）ペアを出力してもよい。

図９Ａ〜図１０は、一実施形態に係る複数の入力オブジェクトが検出される場合、近接動作認識装置の動作を説明するための図である。図面に表示していないが、一実施形態に係る近接動作認識装置は、複数入力検出部及び入力選択部をさらに備えてもよい。複数の入力検出部は、第１センサの出力信号または第２センサの出力信号のうち少なくとも１つに基づいて複数の入力オブジェクトが検出されるか否かを判断する。また、入力選択部は、複数入力検出部によって複数の入力オブジェクトが検出されると判断される場合、予め決定したモードに応じて複数の入力オブジェクトのうち少なくとも１つの入力オブジェクトを選択してもよい。

例えば、図９Ａを参照すると、近接動作認識装置は、複数の入力を受け入れるモードとして動作してもよい。この場合、近接動作認識装置は、第１入力オブジェクト９２０と第２入力オブジェクト９３０によって入力される複数の入力を全て処理する。より具体的に、近接動作認識装置は、基準面９１０から一定距離以上離れた第１入力オブジェクト９２０がポインティングする地点９２１の周辺に第１アイコン９２２を配置してもよい。これと同時に、近接動作認識装置は、基準面９１０と近接する第２入力オブジェクト９３０がポインティングする地点９３１の周辺ではない第２入力オブジェクト９３０によって遮られる領域周辺に第２アイコン９３２を配置してもよい。

また、図９Ｂを参照すると、他の実施形態に係る近接動作認識装置は、基準面と最も近接する入力オブジェクトを選択するモードとして動作する。この場合、近接動作認識装置は、基準面９１０から相対的に遠く離れた第１入力オブジェクト９４０がポインティングする地点９４１の周辺ではアイコンを配置できない場合がある。近接動作認識装置は、基準面９１０から最も近い第２入力オブジェクト９５０を選択し、第２入力オブジェクト９５０によって遮られる領域周辺に予め決定したアイコン９５２を配置する。場合に応じて、基準面９１０から最も近い入力オブジェクト９５０が基準面９１０から一定の距離以上離れた状況が発生することがある。この場合、近接動作認識装置は、入力オブジェクト９５０によってポインティングされる地点９５１の周辺に予め決定したアイコンを配置してもよい。

また、図９Ｃを参照すると、更なる実施形態に係る近接動作認識装置は、入力オブジェクトによってポインティングされる位置が基準面上の予め指定された位置から最も近接する入力オブジェクトを選択するモードとして動作する。例えば、近接動作認識装置は、基準面９１０の中央９８０から最も近接する位置をポインティングする入力オブジェクトを選択してもよい。第１入力オブジェクト９６０は、基準面の中央９８０から距離９６２だけ離れた位置９６１をポインティングし、第２入力オブジェクト９７０は基準面の中央９８０から距離９７２だけ離れた位置９７１をポインティングする場合を仮定する。この場合、近接動作認識装置は、基準面の中央９８０からさらに近い位置９７１をポインティングする第２入力オブジェクト９７０を選択してもよい。さらに、近接動作認識装置は、選択された第２入力オブジェクト９７０と基準面９１０との間の近接程度により予め決定した少なくとも１つのアイコン９７３を配置してもよい。

図１０を参照すると、一実施形態に係る近接動作認識装置はステップＳ１０１０において、複数の入力オブジェクトを検出する。近接動作認識装置はステップＳ１０２０において、予め決定したモードに応じて少なくとも１つの入力オブジェクトを選択する。近接動作認識装置はステップＳ１０３０において、選択された入力オブジェクトの終点及び軸を抽出するために信号処理を行う。近接動作認識装置はステップＳ１０４０において、信号処理結果に基づいて選択された入力オブジェクトの終点及び軸を抽出する。近接動作認識装置はステップＳ１０５０において、抽出された終点、軸、選択された入力オブジェクトと基準面との間の距離及び基準面上特定位置との距離などに基づいて予め決定した少なくとも１つのアイコンを配置する。図１０に示す各モジュールには、図１〜図９を参照して記述された事項がそのまま適用されるため、より詳細な説明は省略する。

図１１は、一実施形態に係る入力パターンを認識する近接動作認識装置を示すブロック図である。図１１を参照すると、一実施形態に係る近接動作認識装置１１００は、センサ１１１０、入力パターン認識部１１２０、機能実行部１１３０、及びディスプレイ１１４０を備える。ここで、センサ１１１０は第１センサと第２センサを含んでもよく、入力パターン認識部１１２０は第１センサの出力信号または第２センサの出力信号のうち少なくとも１つに基づいて入力パターンを認識する。ここで、入力パターン認識部１１２０は、入力オブジェクトの動きを追跡することによって、近接動作ポイント数の変化、近接動きの方向、及び近接座標変化などを検出する。機能実行部１１３０は、入力パターン認識部１１２０によって認識された入力パターンに対応する機能を実行する。ここで、機能実行部１１３０は、現在の動作中であるアプリケーションの種類により入力パターンに対応する機能を相異に決定してもよい。例えば、近接動作認識装置は、同一の入力パターンが入力されても現在の動作中であるアプリケーションの種類によって互いに異なる機能を実行してもよい。

さらに、入力パターン認識部１１２０は、第１センサの出力信号または第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの速度または角速度のうち少なくとも１つを算出する。例えば、入力パターン認識部１１２０は、第１センサの出力信号または第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの位置変化を追跡してもよい。この場合、入力パターン認識部１１２０は、入力オブジェクトの位置変化値を用いて入力オブジェクトの速度または角速度を算出する。この場合、機能実行部１１３０は、入力パターン認識部１１２０によって算出された入力オブジェクトの速度または角速度に基づいて入力パターンに対応する機能を検出する。例えば、機能実行部１１３０は、入力パターン認識部１１２０によって算出された入力オブジェクトの速度または角速度をトランプをシャッフルする速度、ルーレット盤の回転速度など、様々なユーザインタフェースに必要な情報として活用してもよい。また、近接動作認識装置１１００は、機能実行部１１３０の実行結果をディスプレイ１１４０を用いて出力してもよい。

図１２Ａ及び図１２Ｂは、一実施形態に係る近接動作認識装置の２次元インタフェース及び３次元インタフェース変換動作を説明するための図である。図面に表示していないが、一実施形態に係る近接動作認識装置は、ディスプレイ、算出部、及び制御部をさらに備えてもよい。

ここで、ディスプレイは、２次元インタフェース及び３次元インタフェースを提供してもよく、算出部は、第１センサの出力信号または第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの位置、速度、または角速度のうち少なくとも１つを算出する。制御部は、算出部による算出結果に基づいてディスプレイの動作モードを制御する。例えば、図１２Ａを参照すると、近接動作認識装置は、基準面１２１０から予め決定した距離だけ離れた空間に入力される入力オブジェクトを検出する。近接動作認識装置は、当該空間で検出される入力オブジェクトがない場合、２次元インタフェースを用いて複数のアイコン１２２０を表示してもよい。近接動作認識装置は、当該空間に入力オブジェクト１２４０が検出される場合、２次元インタフェースを３次元インタフェースに切り替える。この場合、近接動作認識装置は、３次元インタフェースを用いて複数のアイコン１２３０を表示してもよい。

図１２Ｂを参照すると、他の実施形態に係る近接動作認識装置は、基準面１２５０から予め決定した距離だけ離れた空間で検出される入力オブジェクトがない場合、３次元インタフェースを用いて複数のアイコン１２６０を表示してもよい。近接動作認識装置は、当該空間に入力オブジェクト１２８０が検出される場合、３次元インタフェースを２次元インタフェースに切り替える。この場合、近接動作認識装置は、２次元インタフェースを用いて複数のアイコン１２７０を表示してもよい。

実施形態に係る方法は、様々なコンピュータ手段によって実行されることができるプログラム命令形態で実現され、コンピュータで読み取り可能な媒体に記録されることができる。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公示されて使用可能なものであってもよい。

上述したように、本発明は限定された実施形態と図面によって説明されたが、本発明が上述した実施形態に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の範囲は上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけではなく、この特許請求の範囲と均等なものによって定められなければならない。

１１０第１センサ
１２０第２センサ
２２０基準面
２３０第１入力空間
２４０第２入力空間
３４０トランジション空間
６２１ポインティングされる地点
６２３アイコン
７３０センシングしたイメージ
７４０終点
７５０軸
９８０中央

Claims

センサを用いる近接動作認識装置において、
近接動作を認識するための基準面から予め決定した距離よりも近い第１入力空間をセンシングするための第１センサと、
前記基準面から前記予め決定した距離よりも遠い第２入力空間をセンシングするための第２センサと、
入力オブジェクトが前記第１入力空間と前記第２入力空間との間をトランジションする場合、前記第１センサと前記第２センサとの間で前記トランジションと関連する情報を伝達する情報伝達制御部と、
を備えることを特徴とする近接動作認識装置。
入力オブジェクトと前記基準面との間の近接程度を測定する近接程度測定部と、
前記近接程度により前記第１センサ及び前記第２センサを択一的に活性化させるセンサ制御部と、
をさらに備えることを特徴とする請求項１に記載の近接動作認識装置。
前記センサ制御部は、
前記近接程度と前記予め決定した距離を比較する近接程度比較部と、
前記比較結果に応じて、前記第１センサの動作モード及び前記第２センサの動作モードを制御する動作モード制御部と、
を備え、
前記動作モードは、活性化モード、非活性化モード、または待機モードのうち少なくとも１つを含むことを特徴とする請求項２に記載の近接動作認識装置。
前記トランジションと関連する情報は、少なくとも前記第１入力空間または前記第２入力空間でセンシングされる入力オブジェクトのｘ座標及びｙ座標を含むことを特徴とする請求項１乃至３のいずれか一項に記載の近接動作認識装置。
前記第１センサは前記第１入力空間でセンシングされる入力オブジェクトのｘ座標、ｙ座標及びｚ座標を出力し、前記第２センサは前記第２入力空間でセンシングされる入力オブジェクトのｘ座標及びｙ座標を出力することを特徴とする請求項１乃至４のいずれか一項に記載の近接動作認識装置。
前記第１センサはタッチセンサを含み、前記第２センサはビジョンセンサを含むことを特徴とする請求項１乃至５のいずれか一項に記載の近接動作認識装置。
近接動作インタフェースを表示するディスプレイと、
前記第１入力空間で第１入力オブジェクトが入力される場合、前記第１入力オブジェクトと前記基準面との間の近接程度により前記第１入力オブジェクトによってポインティングされる領域の大きさが変更されるように前記近接動作インタフェースを制御するインタフェース制御部と、
をさらに備えることを特徴とする請求項１乃至６のいずれか一項に記載の近接動作認識装置。
前記近接動作インタフェースは少なくとも１つのアイコンを含み、
前記インタフェース制御部は、前記第１入力オブジェクトと前記基準面が近接されるほど前記第１入力オブジェクトによってポインティングされるアイコンの大きさが大きくなるように前記近接動作インタフェースを制御し、前記第１入力オブジェクトが前記基準面に接触する場合、前記第１入力オブジェクトによってポインティングされるアイコンが選択されるように前記近接動作インタフェースを制御することを特徴とする請求項７に記載の近接動作認識装置。
近接動作インタフェースを表示するディスプレイと、
前記第２入力空間で第２入力オブジェクトが入力される場合、前記第２入力オブジェクトによってポインティングされる点の周辺に予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御するインタフェース制御部と、
をさらに備えることを特徴とする請求項１乃至８のいずれか一項に記載の近接動作認識装置。
前記第１入力空間で第１入力オブジェクトが入力される場合、前記第１センサの出力信号に基づいて前記第１入力オブジェクトの終点及び軸を抽出する信号処理部をさらに含み、
前記インタフェース制御部は、前記第１入力空間で前記第１入力オブジェクトが入力される場合、前記第１入力オブジェクトの終点及び軸を用いて前記第１入力オブジェクトによって前記ディスプレイが遮られる領域周辺に前記予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御することを特徴とする請求項９に記載の近接動作認識装置。
前記インタフェース制御部は、前記第１入力オブジェクトと前記基準面との間の近接程度により前記予め決定した少なくとも１つのアイコンの大きさが変更されるように前記近接動作インタフェースを制御することを特徴とする請求項１０に記載の近接動作認識装置。
前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて複数の入力オブジェクトが検出されるか否かを判断する複数入力検出部と、
前記複数入力検出部によって複数の入力オブジェクトが検出されると判断される場合、予め決定したモードに応じて前記複数の入力オブジェクトのうち少なくとも１つの入力オブジェクトを選択する入力選択部と、
をさらに備えることを特徴とする請求項１乃至１１のいずれか一項に記載の近接動作認識装置。
前記予め決定したモードは、複数の入力を受け入れるモード、前記基準面と最も近接する入力オブジェクトを選択するモード、及び入力オブジェクトによってポインティングされる位置が前記基準面上の予め指定された位置から最も近接する入力オブジェクトを選択するモードを含むことを特徴とする請求項１２に記載の近接動作認識装置。
近接動作インタフェースを表示するディスプレイと、
前記第１入力空間で前記少なくとも１つの入力オブジェクトが検出される場合、前記第１センサの出力信号に基づいて前記少なくとも１つの入力オブジェクトの終点及び軸を抽出する信号処理部と、
前記第２入力空間で少なくとも１つの入力オブジェクトが検出される場合、前記少なくとも１つの入力オブジェクトによってポインティングされる点の周辺に予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御し、前記第１入力空間で前記少なくとも１つの入力オブジェクトが検出される場合、前記少なくとも１つの入力オブジェクトの終点及び軸を用いて前記少なくとも１つの入力オブジェクトによって前記ディスプレイが遮られる領域周辺に前記予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御するインタフェース制御部と、
をさらに備えることを特徴とする請求項１２に記載の近接動作認識装置。
前記インタフェース制御部は、前記少なくとも１つの入力オブジェクトと前記基準面との間の近接程度により前記予め決定した少なくとも１つのアイコンの大きさが変更されるように前記近接動作インタフェースを制御することを特徴とする請求項１４に記載の近接動作認識装置。
前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力パターンを認識する入力パターン認識部と、
前記入力パターンに対応する機能を実行する機能実行部と、
をさらに備えることを特徴とする請求項１乃至１５のいずれか一項に記載の近接動作認識装置。
前記入力パターン認識部は、前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの速度または角速度のうち少なくとも１つを算出する算出部を備え、
前記機能実行部は、前記算出結果に基づいて前記入力パターンに対応する機能を検出する検出部を備えることを特徴とする請求項１６に記載の近接動作認識装置。
２次元インタフェース及び３次元インタフェースを提供するディスプレイと、
前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの位置、速度、または角速度のうち少なくとも１つを算出する算出部と、
前記算出結果に基づいて前記ディスプレイの動作モードを制御するディスプレイ制御部と、
をさらに備えることを特徴とする請求項１乃至１７のいずれか一項に記載の近接動作認識装置。
センサを用いる近接動作認識方法において、
第１センサを用いて近接動作を認識するための基準面から予め決定した距離よりも近い第１入力空間に入力オブジェクトが存在する場合、前記第１入力空間をセンシングするステップと、
第２センサを用いて前記基準面から前記予め決定した距離よりも遠い第２入力空間に入力オブジェクトが存在する場合、前記第２入力空間をセンシングするステップと、
入力オブジェクトが前記第１入力空間と前記第２入力空間との間をトランジションする場合、前記第１センサと前記第２センサとの間で前記トランジションと関連する情報を伝達するステップと、
を含むことを特徴とする近接動作認識方法。
入力オブジェクトと前記基準面との間の近接程度を測定するステップと、
前記近接程度により前記第１センサ及び前記第２センサを択一的に活性化させるステップと、
をさらに含むことを特徴とする請求項１９に記載の近接動作認識方法。
前記トランジションと関連する情報は、少なくとも前記第１入力空間または前記第２入力空間でセンシングされる入力オブジェクトのｘ座標及びｙ座標を含むことを特徴とする請求項１９または２０に記載の近接動作認識方法。
前記第１センサは前記第１入力空間でセンシングされる入力オブジェクトのｘ座標、ｙ座標及びｚ座標を出力し、前記第２センサは前記第２入力空間でセンシングされる入力オブジェクトのｘ座標及びｙ座標を出力することを特徴とする請求項１９乃至２１のいずれか一項に記載の近接動作認識方法。
前記第１センサはタッチセンサを含み、前記第２センサはビジョンセンサを含むことを特徴とする請求項１９乃至２２のいずれか一項に記載の近接動作認識方法。
前記第１入力空間で第１入力オブジェクトが入力される場合、前記第１入力オブジェクトと前記基準面との間の近接程度により前記第１入力オブジェクトによってポインティングされる領域の大きさが変更されるように近接動作インタフェースを制御するステップと、
前記近接動作インタフェースを表示するステップと、
をさらに含むことを特徴とする請求項１９乃至２３のいずれか一項に記載の近接動作認識方法。
前記近接動作インタフェースは少なくとも１つのアイコンを含み、
前記制御するステップは、
前記第１入力オブジェクトと前記基準面が近接されるほど前記第１入力オブジェクトによってポインティングされるアイコンの大きさが大きくなるように前記近接動作インタフェースを制御するステップと、
前記第１入力オブジェクトが前記基準面に接触する場合、前記第１入力オブジェクトによってポインティングされるアイコンが選択されるように前記近接動作インタフェースを制御するステップと、
を含むことを特徴とする請求項２４に記載の近接動作認識方法。
前記第２入力空間で第２入力オブジェクトが入力される場合、前記第２入力オブジェクトによってポインティングされる点の周辺に予め決定した少なくとも１つのアイコンが配置されるように近接動作インタフェースを制御するステップと、
前記近接動作インタフェースを表示するステップと、
をさらに含むことを特徴とする請求項１９乃至２５のいずれか一項に記載の近接動作認識方法。
前記第１入力空間で第１入力オブジェクトが入力される場合、前記第１センサの出力信号に基づいて前記第１入力オブジェクトの終点及び軸を抽出するステップをさらに含み、
前記制御するステップは、前記第１入力空間で前記第１入力オブジェクトが入力される場合、前記第１入力オブジェクトの終点及び軸を用いて前記第１入力オブジェクトによってディスプレイが遮られる領域周辺に前記予め決定した少なくとも１つのアイコンが配置されるように前記近接動作インタフェースを制御するステップを含むことを特徴とする請求項２６に記載の近接動作認識方法。
前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて複数の入力オブジェクトが検出されるか否かを判断するステップと、
複数の入力オブジェクトが検出されると判断される場合、予め決定したモードに応じて前記複数の入力オブジェクトのうち少なくとも１つの入力オブジェクトを選択するステップと、
をさらに含むことを特徴とする請求項１９乃至２７のいずれか一項に記載の近接動作認識方法。
前記予め決定したモードは、複数の入力を受け入れるモード、前記基準面と最も近接する入力オブジェクトを選択するモード、及び入力オブジェクトによってポインティングされる位置が前記基準面上の予め指定された位置から最も近接する入力オブジェクトを選択するモードを含むことを特徴とする請求項２８に記載の近接動作認識方法。
前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの速度または角速度のうち少なくとも１つを算出するステップと、
前記算出結果に基づいて入力パターンに対応する機能を実行するステップと、
をさらに含むことを特徴とする請求項１９乃至２９のいずれか一項に記載の近接動作認識方法。
前記第１センサの出力信号または前記第２センサの出力信号のうち少なくとも１つに基づいて入力オブジェクトの位置、速度、または、角速度のうち少なくとも１つを算出するステップと、
前記算出結果に基づいてディスプレイの動作モードを２次元インタフェース及び３次元インタフェースの間に切り替えるステップと、
をさらに含むことを特徴とする請求項１９乃至３０のいずれか一項に記載の近接動作認識方法。
ユーザインタフェースを制御する制御方法において、
ユーザインタフェースと近い第１領域で入力をセンシングするステップと、
前記第１領域の外の第２領域で入力をセンシングするステップと、
前記第１領域と前記第２領域で検出された入力の位置及び動きのうち少なくとも１つに基づいて前記ユーザインタフェースを第１方式と第２方式に選択的に制御するステップと、
を含むことを特徴とする制御方法。
請求項１９乃至３２のいずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。