JP2009517728A - 画像の非接触操作方法 - Google Patents

Abstract

本発明は非接触入力装置（２１０）を通して画像の非接触操作を与えるための方法に関し、この方法は、非接触入力装置の検知領域（２０６，２０８）の面に関する第１の軸に沿うユーザーの非接触相互作用に応答して画像の操作モード特性を選択することと、前記選択された操作モード特性に従い前記第１の軸に実質的に直交する第２の軸に沿うユーザーの非接触相互作用に応答して画像を操作することを有する。本発明は、更に、コンピュータプログラム、コンピュータ記録媒体、表示装置及び医療ワークステーションに関する。

Description

本発明は、コンピュータプログラム本発明は非接触入力装置により画像を非接触で操作する方法に関する。

本発明は、更に、コンピュータ装置によってロードされる非接触入力装置により画像の非接触入力を与えるための指令を有するコンピュータプログラムに関し、コンピュータは処理ユニットとメモリを備え、コンピュータプログラムはロードされた後、前記処理ユニットに画像の非接触操作を与えるタスクを実行する能力を与える。
本発明は、更に、画像の非接触操作を実行するデータを有するコンピュータにより読み取り可能な記録媒体に関する。

本発明は、更に、画像を表示するディスプレイと画像の非接触操作を与えるための非接触入力装置とを有する表示装置に関し、非接触入力装置は画像の非接触操作を実行するように設計されたプロセッサを有している。

本発明は、更に、画像を表示する表示装置と画像の非接触操作を与えるための非接触入力装置を備える医療ワークステーションに関し、非接触入力装置は画像の非接触操作を実行するように設計されたプロセッサを有している。

非接触入力装置は良く知られている。例えば、米国特許出願2002/0000977 A1は、スクリーン面上の透明なシールド層上に形成された透明キャパシフレクタカメラ（capaciflector camera）を備える3次元対話型表示システムを開示しており、そのシステムはスクリーン面の近傍に入り込むプローブ又は指のような対象物を検知することができる。

米国特許第6,025,726号（特許文献１）は、非接触検知領域を与えるために電界検知が使用される容量型検知の代替技術を開示している。

米国特許第6,130,663号（特許文献２）には他の代替技術が開示され、ここでは、要素から空間的に離れた所定のフィールド内で指のような制御対象の存在に応答するコンピュータディスプレイのグラフィック要素のような制御される要素の光学的非接触駆動を与えるために電気−光学スキャナが使用される。

更に、非接触入力装置はユーザーのより進んだ応答を可能とする。例えば、米国特許出願2005/0088409（特許文献３）は、非接触入力装置の検知領域の面内におけるユーザーの手の位置に対応する位置にディスプレイ上にポインタを表示するステップを含むグラフィカル ユーザー インターフェース（GUI）のためのディスプレイを提供する、方法、コンピュータプログラム、コンピュータにより読み取り可能な記録媒体及び入力装置を開示している。特に、この方法は、更に、ユーザーの手と検知領域内又はこれに隣接して位置する基準点との間、或いは検知領域を通して又はこれに隣接して位置する第１の面に平行な基準面との間の距離をディスプレイ上で表示するステップを有している。指示を表示することにより、ユーザーはいかなる与えられた手の位置に対しても感度の表示が与えられ、表示されたポインタを操作することができる。この感度は、非接触入力装置がユーザーの手の位置を測ることができる精度によって決定される。この精度は手がディスプレイに近づく程増加し、手がディスプレイから遠くに動くと減少する。しかしながら、このことはユーザーの装置との相互作用の予測可能性を制限することとなる。
米国特許第6,025,726号 米国特許第6,130,663号 米国特許出願2005/0088409

本発明の目的は、ユーザーが非接触入力装置との相互作用の予測可能性を支配することを可能とする方法を提供することである。

この目的を達成するため、本発明は導入項による方法を提供するものであり、この方法は、非接触入力装置の検知領域面に対して第１の軸に沿うユーザーの非接触の相互作用に応答して画像による操作特性を選択することと、操作モードの選択された特性に従って前記第１の軸に実質的に直交する第２の軸に沿うユーザーの非接触相互作用に応答して画像を操作することを含む。操作モードの特性を非接触装置の検査領域の面に対する第１の軸に関連付けることにより、ユーザーは対象物、例えば手をその軸に沿って動かすことによりその特定の特性を変えることができる。したがって、対象物を画像の予測される操作を与える第２の軸に沿って動かすことによって、得られる操作モードを画像に適用することができる。

本発明による方法の更なる例においては、第２の軸は前記平面に対して実質的に平行である。ユーザーが相互作用モードを操作することを可能とする軸として前記平面に対して実質的に平行軸を使用することにより、どの動きが所望の画像の操作であるかユーザーにとって明らかとなる。

本発明による方法の更なる例においては、その方法は、操作モードの特性を表示することを含む。操作モードの特性を表示することにより、ユーザーは選択された特性に関する付加的なフィードバックと操作モードについてその結果を得ることができる。

本発明による方法の更なる例においては、操作モードの表示された特性はその特性の値に比例する。表示された特性をその値に比例させることにより、ユーザーは選択された特性に関して更なるフィードバックを得る。例えば、その特性が高い値を持つときは、表示される特性は大きなサイズを持ち、特性が低い値を持つときは、表示される特性は小さい値を持つ。

本発明による方法の更なる例においては、操作モードは、明るさ、コントラスト、ズーム又は回転の一つであり、特性はそれに対応するステップのサイズとなる。一つの軸に沿ってステップのサイズを設定し、操作モードに対して直交する軸を使用することにより、ユーザーは、対象物、例えば、指を対応する軸に沿って動かすことによる操作の実行と設定したステップのサイズとの関係を容易に識別することができる。

本発明の更なる目的は、ユーザーが、非接触入力装置との相互作用の予測可能性を支配することを可能とするコンピュータプログラムを提供することにある。この目的を達成するため、コンピュータ装置によってロードされるコンピュータプログラムを提供することにあり、このコンピュータプログラムは、非接触入力装置を通じて画像の非接触操作を与えるための指令を含み、コンピュータ装置は、プロセスユニット、メモリ、ロードされたコンピュータプログラムを有し、前記プロセスユニットには以下のタスクを実行する能力を有する：
非接触入力装置の面の検知領域に関して第１の軸に沿うユーザーの非接触相互作用に応答して画像の操作の特性を選択すること、及び、操作モードの選択された特性に従って前記第１の軸に直交する第２の軸に沿うユーザーの非接触の相互作用に応答して画像を操作すること。

本発明の更なる目的は、ユーザーが非接触入力装置との相互作用の予測可能性を支配することを可能とするコンピュータにより読み取り可能な記録媒体を提供することにあり、このコンピュータにより読み取り可能な記録媒体は本発明の方法又は本発明による実施例の方法を実行する指令を表す記録されたデータを有する。

本発明の更なる目的は、ユーザーが、非接触入力装置との相互作用の予測性に影響を与えることを可能とする表示装置を提供することであり、この表示装置は、ディスプレイと、非接触入力装置と本発明による方法又は本発明の実施例による方法を実行するように設計されたプロセッサを有する。

本発明の更なる目的は、ユーザーが、非接触入力装置との相互作用の予測性に影響を与えることを可能とする医療ワークステーションを提供することであり、この医療ワークステーションは、ディスプレイと、非接触入力装置を備え、この非接触入力装置は本発明の方法又は本発明の実施例の方法を実行するように設計されたプロセッサを有している。

上記目的とその効果は、上記方法を参照して述べたコンピュータプログラムと、コンピュータにより読み取り可能な記録媒体と、表示装置と医療ワークステーションによって達成される。

これらの、或いは本発明の他の態様は以下の図面を参照して説明される実施例により明らかにされるであろう。

図1は、本発明の方法を図式的に示す図であり；
図２は、非接触入力装置をユーザーの手による非接触操作と共に示す図であり；
図３は、操作モードの特性の視覚的フィードバックを示す図であり、
図４aは、ステップのサイズと軸に沿うユーザーの手の非接触操作関係を、軸がZのときの場合について示す図であり；
図４bは、ステップのサイズと軸に沿うユーザーの手の非接触操作関係を、軸がｙのときの場合について示す図であり；
図５は、本発明による非接触入力装置を有する表示装置を示す図である。

図１は本発明による方法を図式的に示す図である。本方法を説明するために図２を参照する。図２非接触入力装置２１０をユーザーの手２０８と共に示す図である。検知領域においてユーザーの手が検知される空間が２０６と２０８により示されている。この空間は二つの”箱”で示されているが、これは、空間全体が使用できるため、単に説明のためだけである。非接触入力装置２１０は面２０２と接続されている。代表的な応用例では、この面２０２はディスプレイにより形成され、検知領域は非接触入力装置２１０によりディスプレイの前面に形成されている。本方法は初期化ステップS１０２により開始される。直交座標システムが検知領域の空間に割り当てられる。このシステムの２つの次元が検知領域の空間に割り当てられている。一つが操作モードの特性を選択するためのものであり、他方がユーザーの非接触相互作用に応答する画像データを操作のためのものである。例えば、図２においては、カルテシアン座標システムが用いられる。カルテシアン座標システム２１２は非接触入力装置の検知領域の空間に割り当てられ、x軸は、図２に示されるように、非接触入力装置２１０の検知領域の面２１０に実質的に平行である。Y軸は面２０２に実質的に平行でx軸に直交しており、z軸は面２０に実質的に垂直で、x軸に直交している。更に、x軸は二つの領域に分けられている。増加領域と減少領域である。ユーザーが対象物、例えば、ユーザーの手２０８を増加領域内でx軸に沿って保持したとき、ズームのような操作モードの値は増加する。ユーザーが対象物、例えば、ユーザーの手２０８を減少領域内でx軸に沿って保持したとき、その操作モードの値は減少する。

更に、残りの一つの軸は操作モードの値の特性を変えるために使用される。例えば、z軸にステップのサイズを割り当てることができが、y軸も同様に使用することができる。ユーザーがユーザーの手２０８のような対象物をz軸の一つの方向に動かすと特性値は増加する。ユーザーがユーザーの手２０８のような対象物をz軸の他の方向に動かすと特性値は減少する。

本方法の残りのステップは、上述したような非接触入力装置に接続されているディスプレイにより表示される画像を操作することを望むような一つの応用例で説明される。この目的のために、ユーザーはそれにより画像を操作することを望む操作モードを選択する。これらに限定されない操作モードの例としては：ズーム、回転、ウインドウ幅、ウインドウレベル、コントラスト、明るさがある。ユーザーが画像をズームすることにより画像を操作することを選択する場合を考えてみよう。

次のステップS１０４において、彼の手をz軸の沿って動かしてこのズームファクターのステップサイズを選択する。即ち、彼が小さいステップサイズで画像をズームすることを望むときは、彼は手を減少する方向、例えばディスプレイの方向に動かす。しかしながら、彼が大きいステップサイズで画像をズームすることを望むときは、彼は手を増加方向、例えば、ディスプレイから離れる方向に動かす。これは、例えば２０のステップサイズのようなズームファクターの特定のステップサイズをもたらす。

ステップS１０６において、ユーザーは画像を操作する、即ち、操作モードの値の操作を可能とするように割り当てられたx軸に沿って画像をズームする。したがって、ここでは２０のステップサイズによりズームファクターが増加又は減少する。この増加又は減少は手がx軸に沿って置かれる位置に従って増加又は減少する。

ステップファクターを変更、即ち、増加又は減少は、手をz軸に沿って動かすことにより達成され、その後は、ユーザーは新しくセットされたステップサイズで画像をズームすることができる。ステップサイズの調整とその操作モードへの適用は何回も行うことができる。

本方法はステップ１０８で終了し、その後は操作モードと特性はカルテシアン座標システムの異なる軸が割り当てられる。

図３は操作モードの特性の視覚的フィードバックを示す。特性値についてユーザーにフィードバックを与えるために、ディスプレイ３０２の所定の位置が視認できる指標を表示するために使用される。その所定の位置については、できるだけ表示される情報のじゃまとならないように、図３に示すようにディスプレイのコーナーの部分が選択される。視認できる指標については、“＋”の符号がズームファクターの増加を示す場合に示され、“−”の符号がズームファクターが減少する場合に示される。上向き矢印や下向き矢印のような他の指標も示すことができる。符号のサイズを特性値に比例させることが有利であり、ステップサイズが高いときはより大きくし、ステップサイズが低いときはより小さくする。これは３０４と３０６により図式的に示されている。

図４aはステップサイズとユーザーの手によるZ軸方向への非接触操作との関係を示す。図示されたグラフの軸は上述の検知領域の面に関する軸と関連している。軸４０２は非接触入力装置のz軸に沿う検知領域との対象物の距離を示し、軸４０４は特性値のステップサイズを示す。このグラフでは、検知領域における距離が増加するときステップサイズが増加することを示している。

図４bはユーザーの手のy軸方向の非接触操作とステップサイズとの関係を示している。示されたグラフの軸は上述したような検知領域の面に関する軸と関連している。軸４０６は非接触入力装置の検知領域の面に実質的に平行なy軸に沿う対象物の垂直方向の動きを示す。軸４０８は特性値のステップサイズを示す。このグラフでは、検知領域における距離が増加するとき、ステップサイズがリニアに増加することを示している。

図４aと図bの両方において、グラフの形態は例示のものであり、他の形態、即ち、対象物の位置と特性値との関係も、また、本発明のコンセプトから離れない範囲において可能となる。

図５は本発明による非接触入力装置を備える表示装置を示す。表示装置５１６は、本発明に従って通常の平坦なパネルディスプレイ５０４にスクリーンディスプレイを形成するように設計され、図示されない非接触入力装置と共にその非接触入力装置に接続されるコンピュータ５０２を備えている。本発明は、非接触入力装置の検知領域において位置する又は動く対象物の３次元座標を与える入力装置に適用することができる。このような入力装置の例は既に述べられている。

このコンピュータは、他にプロセッサ５０６とランダムアクセスメモリ５１０のような一般的目的のメモリを備えている。このプロセッサとメモリはソフトウエアバス５０８を介して通信可能に接続されている。メモリ５１０は、プロセッサ５０６に、それに接続されている非接触入力装置と共に既に記載されたような本発明による方法を実行させることができるように設計された命令を含むコンピュータ読み取り可能なコードを有している。

コンピュータにより読み取り可能なコード５１４はコンパクトディスク（CD）又はデジタル多目的/ビデオディスク（DVD）又は他の記憶媒体のようなコンピュータにより読み取り可能な記録媒体を介してダウンロードすることができる。コンピュータにより読み取り可能なコード５１４は、また、インターネットとこれらをダウンロードすることのできる好適な媒体を備えるコンピュータを介してダウンロードすることができる。

本発明は医療環境において有利に適用することができる。例えば、患者に手術が行われる手術シアターの例について考えよう。患者の医療画像を示す手術シアターには医療ワークステーションが設けられている。この医療ワークステーションは、本発明に従って既に述べたユーザーの相互作用を可能とするスクリーンディスプレイを生成するように設計された非接触入力装置とコンピュータを備えている。手術の前に画像を得ることができるが、手術中においても画像を得ることができる。外科医は無菌環境において手術を行い、また、この環境を守るためにワークステーションに直接接触することを避けなければならない。ここで、本発明は画像を直接接触することなく操作することを可能とする。

本発明の方法の実施例に記載された順序は必須のものではなく、当業者であれば、本発明により意図されたコンセプトから離れない範囲においてステップの順序を変更し、または、変更モデル、マルチプロセッサシステム、或いは多重プロセスを同時に使用してステップを実行してもよい。

上述の実施例は本発明を限定的に説明するものであり、当業者は添附のクレームの範囲から離れない範囲で代替的な実施例を設計することができるであろうことは留意すべきである。クレームにおいては、いかなる括弧内の参照符号もクレームを限定するものとして解釈されるべきでない。“有する”の用語はクレームに挙げられたステップ以外のステップの存在を排除するものではない。要素の前の“一つの”はそのような要素を複数持つことを排除するものではない。本発明は複数の明確な要素を備えるハードウエアと、適切なコンピュータプログラムによって実行される。ある手段が互いに異なる従属クレームにおいて記載されているという事実のみでこれらの手段の組み合わせが有利に使用することができないということを示すということにはならない。

本発明の方法を図式的に示す図である。 非接触入力装置をユーザーの手による非接触操作と共に示す図である。 操作モードの特性の視覚的フィードバックを示す図である。 ステップのサイズと軸に沿うユーザーの手の非接触操作関係を、軸がZのときの場合について示す図である。 ステップのサイズと軸に沿うユーザーの手の非接触操作関係を、軸がｙのときの場合について示す図である。 本発明による非接触入力装置を有する表示装置を示すである。

Claims (9)

1. 非接触入力装置を介して画像の非接触操作を与える方法であって、
   非接触入力装置の検知領域の面に関する第１の軸に沿うユーザーの非接触相互作用に応答して画像の操作モード特性を選択することと、
   前記選択された操作モード特性に従い前記第１の軸に実質的に直交する第２の軸に沿うユーザーの非接触相互作用に応答して画像を操作すること、
   を有する方法。
2. 前記第２の軸は前記面に実質的に平行である請求項１に記載の方法。
3. 操作モードの特性を表示することを更に有する請求項１に記載の方法。
4. 前記表示される操作モード特性は特性の値に比例する請求項３に記載の方法。
5. 前記操作モードは、明るさ、コントラスト、ズーム又は回転のうちの一つであり、前記特性は対応する操作モードのステップの大きさである請求項１に記載の方法。
6. コンピュータ装置によりロードされるコンピュータプログラムであって、
   非接触入力装置によって画像の非接触操作を与える命令を含み、前記コンピュータ装置はプロセスユニットとメモリを有し、前記コンピュータプログラムは、ロードされた後は、前記プロセスユニットに以下のタスクを実行する能力を与えるコンピュータプログラム：
   -前記非接触入力装置の検知領域の面に関する第１の軸に沿うユーザーの非接触相互作用に応答して画像の操作モード特性を選択すること、及び
   -前記選択された操作モード特性に従い前記第１の軸に対して直交する第２の軸に沿うユーザーの非接触相互作用に応答して前記画像を操作すること。
7. 請求項１から５のいずれかの方法を実行する命令を表す記録されたデータをその上に有するコンピュータにより読み取り可能な記録媒体。
8. ディスプレイと、非接触入力装置と、請求項１から５のいずれかの方法を実行するように設計されたプロセッサを有し、画像の非接触操作を与えるための表示装置。
9. ディスプレイと画像の非接触操作を与える非接触入力装置を有する医療ワークステーションであって、前記非接触入力装置は、請求項１から５のいずれかの方法を実行するように設計されたプロセッサを有する医療ワークステーション。

Images