JP2020527801A - 指の分離および再現を向上させるための装置および方法 - Google Patents
指の分離および再現を向上させるための装置および方法 Download PDFInfo
- Publication number
- JP2020527801A JP2020527801A JP2020501823A JP2020501823A JP2020527801A JP 2020527801 A JP2020527801 A JP 2020527801A JP 2020501823 A JP2020501823 A JP 2020501823A JP 2020501823 A JP2020501823 A JP 2020501823A JP 2020527801 A JP2020527801 A JP 2020527801A
- Authority
- JP
- Japan
- Prior art keywords
- injection
- signal
- finger
- controller
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
- G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Position Input By Displaying (AREA)
Abstract
ハンドヘルドコントローラおよびハンドヘルドコントローラの周りの指の動きをモデリングするシステムが開示されている。一実施形態において、ハンドヘルドコントローラは、タッチおよび注入データのための信号を生成し、それを取得する。一実施形態において、プロセッサはヒートマップと注入マップを作成し、マップ内の情報を組み合わせて指の位置間の境界を決定する。一実施形態において、ハンドヘルドコントローラ上の特定の指の動きは、そのような境界制約を通じて識別される。一実施形態において、ハンドヘルドコントローラの周りの指の動きは、境界制約に基づいて効率的にモデル化される。【選択図】図29
Description
本出願は、2017年7月17日に出願された「Apparatus and Methods for Enhancing Digit Separation and Reproduction」と題された米国仮特許出願第62/533,405号の優先権を主張し、その全体が本明細書に組み込まれる。
開示されたシステムおよび方法は、一般に、接触および非接触センシングの分野に関し、特に、接触および非接触イベントのセンシングおよび解釈に関する。
本出願は、「Low−Latency Touch Sensitive Device」と題された米国特許第9,019,224号;「Fast Multi−Touch Stylus And Sensor」と題された米国特許第9,235,307号;「Fast Multi−Touch Sensor With User−Identification Techniques」と題された米国特許第9,710,113号;「Fast Multi−Touch Noise Reduction」と題された米国特許第9,811,214号;「Fast Multi−Touch Post Processing」と題された米国特許第9,158,411号;「Dynamic Assignment of Possible Channels in a Touch Sensor」と題された米国特許出願第14/603,104号;「Frequency Conversion in a Touch Sensor」と題された米国特許第9,710,116号;「Orthogonal Signaling Touch User, Hand and Object Discrimination Systems and Methods」と題された米国特許第9,933,880号;「Differential Transmission for Reduction of Cross−Talk in Projective Capacitive Touch Sensors」と題された米国特許出願第14/812,529号;「Transmitting and Receiving System and Method for Bidirectional Orthogonal Signaling Sensors」と題された米国特許出願第15/162,240号;2017年3月20日に出願された「Hand Sensing Controller」と題された米国仮特許出願第62/473,908号;および2017年4月22日に出願された「Heterogenous Sensing Apparatus and Methods」と題された米国仮特許出願第62/488,753号に開示される高速マルチタッチセンサならびに他の方法および技術などのユーザインターフェースに関する。前述の特許および特許出願の全開示は、参照により本明細書に組み込まれる。
近年、マルチタッチ技術の開発に加えて、タッチスクリーン用の静電容量式タッチセンサが人気を集めている。静電容量式タッチセンサは、(共通基板の表裏上にある場合がある)空間的に分離された層の導電材料の行および列を含む。センサを操作するために、行は、励起信号を用いて刺激される。各行と列との間の結合の量は、行と列との間のジャンクションに近接するオブジェクト(すなわち、タキセル)の影響を受け得る。言い換えれば、行と列との間の静電容量における変化は、指などのオブジェクトが、行および列の交差の領域付近のセンサ(例えば、画面)に触れていることを示し得る。行を連続的に励起し、列での励起信号の結合を測定することにより、静電容量の変化、およびしたがって近接度を反映するヒートマップが作成され得る。
一般的に、タキセルデータはヒートマップ中に集約される。その後、これらのヒートマップは、タッチイベントを識別するために後処理され、タッチイベントは、ジェスチャ、およびそれらのジェスチャが実行されるオブジェクトを含むが、これらに限定されない、タッチ操作を理解しようとする下流プロセスにストリーミングされる。
2013年に、米国特許第9,019,224号につながる出願が提出された(以下、「’224特許」)。’224特許は、高速マルチタッチセンサおよび方法を記載している。とりわけ、’224特許は、各行で固有の周波数直交信号を使用する行の同時励起を記載している。’224特許によれば、信号間の周波数間隔(Δf)は、少なくとも測定期間(τ)の逆数である。したがって、’224特許に示されるように、1KHz間隔の周波数(すなわち、1秒あたり1,000サイクルのΔfを有する周波数)は、1ミリ秒の測定期間に少なくとも1回(すなわち、1秒の1/1,000のτ)を有する必要があった。「Low−Latency Touch Sensitive Device」と題された、2013年3月15日に出願された出願人の従前の米国特許出願第13/841,436号および「Fast Multi−Touch Post Processing」と題された、2013年11月1日に出願された米国特許出願第14/069,609号を含むが、これらに限定されない、同時直交信号方式によって駆動されるセンサを使用する相互作用センシングに関する、多数の特許出願が提出された。
これらのシステムおよび方法は、一般に、平面センサ上のマルチタッチセンシングを対象とする。ユーザのタッチ、ジェスチャおよびオブジェクトとの相互作用を理解するための情報の取得は、無数の可能性をもたらすが、例えば、ハンドヘルドオブジェクトは多数の形状を有するため、コントローラ、ボール、スタイラス、ウェアラブルデバイスなどのオブジェクトに、静電容量式タッチセンサを組み込むことは困難であり得 、その結果、センサは、それによって、ユーザのジェスチャおよびその他のハンドヘルドオブジェクトとの相互作用に関する情報を提供できる。
高速のマルチタッチセンサは、平面および非平面の表面上での高速センシングを可能にするが、センサ表面から数ミリメートル以上で発生する非接触タッチイベントの詳細な検出を提供するための能力を欠如している。ユーザがジェスチャまたは他の相互作用を実行している間、高速マルチタッチセンサは、また、識別、および/または身体部分(例えば、指、手、腕、肩、脚など)の位置および向きに関するより詳細な情報を提供するための能力を欠如している。
本開示の上記および他の目的、特徴、および利点は、添付図面に示されるような実施形態の以下のより詳細な説明から明らかになるであろう。図面において、参照文字は様々な図を通して同じ部分を指す。図面は必ずしも縮尺通りではなく、代わりに開示された実施形態の原理を示すことに重点が置かれている。
本開示を通して、用語「タッチ(touch)」、「タッチ(touches)」、「タッチイベント」、「コンタクト(contact)」、「コンタクト(contacts)」、「ホバー(hover)」、または「ホバー(hovers)」またはその他の記載は、ユーザの指、スタイラス、オブジェクト、または身体部分がセンサによって検出されるイベントまたは期間を説明するために使用され得る。いくつかのセンサにおいて、検出は、ユーザが、センサ、またはセンサが実施されるデバイスと物理的に接触している場合にのみ生じる。いくつかの実施形態において、および「接触」という単語によって一般的に示されるように、これらの検出は、センサ、またはそれが具現化されるデバイスとの物理的接触の結果として生じる。他の実施形態において、および「ホバー」という用語によって一般的に呼ばれることもあるように、センサは、タッチ面の上にある距離でホバーしている、またはセンサデバイスから離れている「タッチ」の検出を可能にし、導電性または容量性のオブジェクト、例えば、指が実際に表面と物理的に接触していないという事実にもかかわらず、認識可能な変化を引き起こす。したがって、感知された物理的接触への依存を意味するこの記載内の言葉の使用は、記載された技術がそれらの実施形態にのみ適用されることを意味すると解釈されるべきではない。実際、本明細書に記載される内容の全てではないにしても、ほとんどすべてが、それぞれが「タッチ」である「接触」および「ホバー」に等しく適用されるだろう。一般的に、本明細書で使用されるように、言葉「ホバー」は、非接触タッチイベントまたはタッチを指し、本明細書で使用されるように、用語「ホバー」は、「タッチ」が本明細書で意図されるという意味で「タッチ」の一角タイプである。したがって、本明細書で使用されるように、名詞として使用される場合のフレーズ「タッチイベント」および単語「タッチ」は、近接タッチおよび近接タッチイベント、またはセンサを使用して識別され得る任意の他のジェスチャを含む。「圧力」とは、オブジェクトの表面に対するユーザの接触(例えば、指や手を押すこと)によって加えられる単位面積あたりの力を指す。「圧力」の量は、同様に、「接触」、すなわち、「タッチ」の尺度である。「タッチ」とは「ホバー」、「接触」、「圧力」、または「グリップ」の状態を指し、「タッチ」とは「ホバー」、「接触」、「圧力」、または「グリップ」の状態を指し、「タッチ」の欠如は一般に、センサによる正確な測定のための閾値を下回る信号によって識別される。一実施形態によれば、タッチイベントは、極めて低い待ち時間、例えば10ミリ秒以下のオーダーで、または1ミリ秒未満のオーダーで、検出され、処理され、下流の計算プロセスに供給され得る。
本明細書中および特に特許請求の範囲内で使用されるように、第1および第2などの順序用語は、それ自体で、順序、時間または一意性を意味することを意図しておらず、むしろ、クレームされた構成物を別の構成物と区別するために使用される。文脈が指示するいくつかの用途において、これらの用語は、第1および第2が固有であることを意味し得る。例えば、イベントが1回目に生じ、別のイベントが2回目に生じる場合、1回目が2回目の前に生じることを意味することを意図されない。しかしながら、2回目が1回目の後であるというさらなる制限がクレーム中に提示されている場合、文脈は、1回目および2回目を固有の時間として読み取る必要があるだろう。同様に、文脈がそのように指示するまたは許容する場合、順序用語は、2つの識別されたクレーム構成が、同じ特徴または異なる特徴を有し得るように、広く解釈されることを意図される。したがって、例えば、第1および第2の周波数は、さらなる限定がない場合、同じ周波数である、例えば、第1の周波数が10Mhzであり、第2の周波数が10Mhzであり得るか、または、異なる周波数である、例えば、第1の周波数が10Mhzであり、第2の周波数が11Mhzであり得る。文脈は、それ以外の場合、例えば、第1および第2の周波数が、周波数において互いに直交するようにさらに制限されている場合、その場合、それらは、同じ周波数ではあり得ない。
現在開示される異種センサおよび方法は、タッチおよび非接触タッチイベントの検出を提供し、センサ表面上で生じるタッチイベントおよびセンサ表面から離れて生じる(近距離および遠距離の非接触タッチイベントを含む)タッチイベントに起因するより多くのデータを検出し、より正確なデータを解決する。
高速マルチタッチセンシング(FMT)
図1は、一実施形態に従う高速マルチタッチセンサ100の特定の原理を示す。送信機200は、表面の行のそれぞれに異なる信号を送信する。一般的に、信号は、「直交」であり、すなわち、互いから分離可能であり、区別可能である。受信機300は、各列に取り付けられている。受信機300は、送信信号のいずれか、またはそれらの任意の組み合わせを受信し、その列上に存在する直交送信信号のそれぞれの量を個別に測定するように設計されている。センサ100のタッチ面400は、一連の行および列(すべてを示さず)を含み、それに沿って直交信号が伝播することができる。
図1は、一実施形態に従う高速マルチタッチセンサ100の特定の原理を示す。送信機200は、表面の行のそれぞれに異なる信号を送信する。一般的に、信号は、「直交」であり、すなわち、互いから分離可能であり、区別可能である。受信機300は、各列に取り付けられている。受信機300は、送信信号のいずれか、またはそれらの任意の組み合わせを受信し、その列上に存在する直交送信信号のそれぞれの量を個別に測定するように設計されている。センサ100のタッチ面400は、一連の行および列(すべてを示さず)を含み、それに沿って直交信号が伝播することができる。
一実施形態において、行−列の接合部に近接する、またはその近くのタッチイベントは、行と列との間の結合における変化を引き起こす。一実施形態において、行および列がタッチイベントの影響を受けない場合、より少ないまたは無視できる量の信号が、それらの間で結合され得る一方で、行および列がタッチイベントの影響を受ける場合、より高いまたは無視できない量の信号が、それらの間で結合される。一実施形態において、行および列がタッチイベントの影響を受けない場合、より多くの信号が、それらの間で結合される一方で、行および列がタッチイベントの影響を受ける場合、より少ない量の信号が、それらの間で結合される。上述のように、タッチまたはタッチイベントは、物理的なタッチではなく、むしろ、結合された信号のレベルに影響を与えるイベントを必要とする。
行上の信号は直交しているため、複数の行信号は列に結合され、受信機によって区別され得る。同様に、各行上の信号は、複数の列に結合され得る。所定の行に結合される各列に対して、列上に見られる信号は、行がその列と同時にタッチされていることを示す情報を含む。受信された各信号の信号強度または信号量は、一般に、対応する信号を伝送する列と行との間の結合量に関連されているため、表面までのタッチオブジェクトの距離、タッチ、および/またはタッチの圧力によってカバーされる表面の面積を示し得る。
一実施形態において、行に送信される直交信号は、それぞれ異なる周波数を有する非変調正弦波であり得、周波数は、受信機において互いから容易に区別され得るように選択される。一実施形態において、周波数は、それらが受信機において互いから容易に区別され得るように、それらの間に十分な間隔を提供するように選択される。一実施形態において、単純な調和関係は、選択された周波数間に存在しない。単純な調和関係の欠如は、ある信号が別の信号を模倣する原因となり得る非線形アーチファクトを軽減し得る。
一実施形態において、周波数の「コーム」が使用され得る。一実施形態において、隣接する周波数間の間隔は一定である。一実施形態において、最も高い周波数は、最も低い周波数の2倍未満である。一実施形態において、周波数間の間隔Δfは、測定周期τの少なくとも逆数である。一実施形態において、列上に存在する行信号の強度を決定するために、列上の信号が、測定期間τにわたって受信される。一実施形態において、列は、1キロヘルツの周波数間隔(Δf)(すなわち、Δf=1/τ)を使用して、1ミリ秒(τ)にわたって測定され得る。一実施形態において、列は、1キロヘルツ以上の周波数間隔(Δf)(すなわち、Δf>1/τ)を使用して1ミリ秒(τ)にわたって測定される。一実施形態において、列は、1キロヘルツ以上の周波数間隔(Δf)(すなわち、Δf≧1/τ)を使用して1ミリ秒(τ)にわたって測定され得る。本開示を考慮すれば、1ミリ秒の測定期間(τ)は単に例示であり、他の測定期間が使用され得ることが、当業者に明らかであろう。本開示を考慮すれば、周波数間隔は、強固な設計を可能にするためにΔf=1/τの最小値よりも大幅に大きくなり得ることは、当業者に明らかであろう。
一実施形態において、固有の直交正弦波は、駆動回路または信号発生器によって生成され得る。一実施形態において、固有の直交正弦波は、送信機によって別個の行で送信され得る。タッチイベントを識別するために、受信機は列上に存在する信号を受信し、信号プロセッサは、固有の直交正弦波のそれぞれの強度を決定するために、信号を分析する。一実施形態において、識別は、周波数分析技術を用いて、またはフィルタバンクを使用することにより、サポートされ得る。一実施形態において、識別は、フーリエ変換を用いてサポートされ得る。一実施形態において、識別は、高速フーリエ変換(FFT)を用いてサポートされ得る。一実施形態において、識別は、離散フーリエ変換(DFT)を用いてサポートされ得る。一実施形態において、DFTは、等間隔のバンドパスフィルタを備えたフィルタバンクとして使用される。一実施形態において、分析の前に、受信された信号は、より低いまたはより高い中心周波数にシフト(例えば、ヘテロダイン)され得る。一実施形態において、信号をシフトする場合、固有の直交信号の周波数間隔が維持される。
信号の強度が計算されると(例えば、(行に対応する)少なくとも2つの周波数に対してまたは少なくとも2つの列に対して)、2次元ヒートマップは、信号強度がその行/列の交点でのマップの値である状態で、作成され得る。一実施形態において、信号の強度は、各列の各周波数について計算される。一実施形態において、信号強度は、その行/列の交点でのヒートマップの値である。一実施形態において、後処理は、ヒートマップが描写するイベントをより正確に反映できるように、実行され得る。一実施形態において、ヒートマップは、各行−列接合部を表す1つの値を有することができる。一実施形態において、ヒートマップは、各行/列接合部を表す2つ以上の値(例えば、直交値)を有することができる。一実施形態において、ヒートマップは、より強固なまたは付加的なデータを提供するために、補間され得る。一実施形態において、ヒートマップは、相互作用するオブジェクトのサイズ、形状、および/または向きに関する情報を推測するために使用され得る。
一実施形態において、変調されたまたは攪拌された正弦波は、正弦波の実施形態の代わりに、組み合わせて、および/または増強として使用され得る。一実施形態において、正弦波のセット全体の周波数変調は、それらを「塗りつぶす」ことにより、それらが同じ周波数で表示されないようにするために使用され得る。一実施形態において、正弦波のセットは、それ自体が変調される単一の基準周波数からそれらをすべて生成することによって周波数変調され得る。一実施形態において、正弦波は、送信機と受信機の両方に知られてる擬似ランダム(または真にランダムな)スケジュールで、それらを周期的に反転することにより変調され得る。多くの変調技術は互いに独立しているため、一実施形態では、複数の変調技術、例えば、正弦波セットの周波数変調および直接シーケンススペクトラム拡散変調が、同時に使用され得る。実装がより複雑になる可能性があるが、そのような複数の変調実装は、より良好な耐干渉性を達成し得る。
上記の議論は大きさに焦点を合わせたが、信号の位相シフトも有用な情報を提供し得る。所定のビンの信号強度(たとえば(I2+Q2)または(I2+Q2)1/2)に対応する測定値は、チクセルに近いタッチイベントの結果として変化することが理解されてきた。平方根関数は計算コストが高いため、前者(I2+Q2)がしばしば好ましい測定である。非相関システムにおいて、受信された信号の位相がフレームごとにランダムになる傾向があるため、タッチまたは他のセンサの相互作用の結果として生じる位相シフトには、注意が向けられなかった。フレーム位相同期の最近の開発は、ノイズまたは他のアーティファクトが、FMTセンサとの干渉、FMTセンサにおけるジッター、またはFMTセンサ上でのファントムタッチを生じる特定の条件を克服した。それにもかかわらず、フレーム位相同期は、信号強度をより良く測定する労力において、使用された。
しかしながら、フレームからフレームへの位相の同期は、タッチイベントが、信号の位相に影響を及ぼし、したがって、タッチイベントが受信周波数(例えば、ビン)に対応する位相における変化を調べることにより検出すされ得るという発見につながった。したがって、受信信号強度に加えて、受信信号の位相はまた、検出を通知する。一実施形態において、位相変化は、イベントを検出するために使用される。一実施形態において、信号強度における変化と位相における変化との組み合わせは、タッチイベントを検出するために使用される。一実施形態において、イベント・デルタ(位相の変化および受信信号の信号強度における変化を表すベクトル)が算出される。一実施形態において、イベントは、経時的なデルタにおける変化を調べることによって検出される。
フレーム位相同期の実装は、イベントを検出、同定および/または測定するために使用され得るデータの別の潜在的な供給源を得るための機会を提供する。信号強度の測定に影響を与えるノイズの少なくとも一部は、位相の測定に影響を与える場合がある。したがって、この位相測定は、タッチイベントを検出、同定、および/または測定するために、信号強度測定の代わりに、または信号強度測定と組み合わせて使用され得る。受信された信号の測定は、位相の測定、信号強度の決定および/または両方を指すことができる。誤解を避けるために、ホバー(非接触)、接触および/または圧力を検出、同定、および/または測定することは、イベントを検出、同定、および/または測定するための範囲内である。
他の刺激(タッチなど)がない場合でも、フレーム位相同期がないと、位相は、1つのフレームから別のフレームまで安定を維持しない。一実施形態において、位相が(例えば、同期の欠如に起因して)1つのフレームから別のフレームに変化した場合、位相における変化から抽出され得る情報は、イベントに関する意味のある情報を明らかにしない。一実施形態において、他の刺激がない場合の各フレームに対する位相の同期(例えば、議論した方法による)において、位相は、フレーム間で安定したままであり、意味が位相におけるフレーム間変化から抽出され得る。
静電容量センシングの多くのアプリケーションには、タッチスクリーンが関係している。したがって、タッチセンサの視覚的な透明性のレベルは、当業者に重要であった。しかしながら、いくつかの実施形態における現在開示された技術および革新の特性により、視覚的な透明性が主要な考慮事項ではないことが、この開示を考慮して当業者には明らかであろう。いくつかの実施形態において、視覚的な透明度は二次的な考慮事項であり得る。いくつかの実施形態において、視覚的な透明性が全く考慮されていない。
周波数注入(infusion)(注入(injection))
一般に、用語が本明細書で使用される場合、周波数注入(注入とも呼ばれる)は、特定の周波数(または特定の複数の周波数)の信号をユーザの身体に送信し、身体(または身体の一部)が効果的にアクティブな送信元になることを可能にするプロセスを指す。一実施形態では、電気信号は手(または身体の他の部分)に注入され、この信号は、手(または指または身体の他の部分)がタッチ面に直接接触しない場合でも、静電容量式タッチセンサにより検出され得る。これにより、表面に対する手(または指または他の身体部分)の近接および方向を決定できる。一実施形態において、信号は身体によって運ばれ(例えば、伝導され)、含まれる周波数に応じて、表面近くまたは表面の下にも運ばれ得る。一実施形態において、少なくともKHz範囲の周波数が、周波数注入において使用され得る。一実施形態において、MHzにおける周波数は、周波数注入において使用され得る。
一般に、用語が本明細書で使用される場合、周波数注入(注入とも呼ばれる)は、特定の周波数(または特定の複数の周波数)の信号をユーザの身体に送信し、身体(または身体の一部)が効果的にアクティブな送信元になることを可能にするプロセスを指す。一実施形態では、電気信号は手(または身体の他の部分)に注入され、この信号は、手(または指または身体の他の部分)がタッチ面に直接接触しない場合でも、静電容量式タッチセンサにより検出され得る。これにより、表面に対する手(または指または他の身体部分)の近接および方向を決定できる。一実施形態において、信号は身体によって運ばれ(例えば、伝導され)、含まれる周波数に応じて、表面近くまたは表面の下にも運ばれ得る。一実施形態において、少なくともKHz範囲の周波数が、周波数注入において使用され得る。一実施形態において、MHzにおける周波数は、周波数注入において使用され得る。
一実施形態において、周波数注入の相互作用は、最大10cm離れたホバー情報を提供できる。一実施形態において、周波数注入の相互作用は、10cmより大きい距離でホバー情報を提供できる。一実施形態において、周波数注入の相互作用は、距離に対してほぼ線形の信号レベル(dB)を提供する。一実施形態において、受信された信号レベルは、低い振幅電圧、例えば、1ボルトのピーク・ツー・ピーク(Vpp)を注入することによって達成され得る。単一または複数の周波数は、各信号注入導体によって注入され得る。本明細書で使用する場合、用語「信号注入導体」は電極を指し、用語「電極」、「電極ドット」、「ドット電極」および「ドット」も、本文脈内で「信号注入導体(signal infusion conductor)」または「信号注入導体(signal injection conductor)」と互換的に使用され得る。一実施形態において、皮膚接触の場合、ドット電極は、イオン信号と電気信号の間の変換に有効な接触物質を使用し得る。一実施形態において、ドット電極は、銀または塩化銀のセンシング素子を使用できる。一実施形態において、3Mから入手可能なフォームテープおよびスティッキーゲルを備えたRed Dot(商標)モニタリング電極は、信号注入導体として使用され得る。
一実施形態において、単一のドット電極は、1つ以上の周波数を注入するために使用され得る。一実施形態において、互いに離間された複数のドット電極の各々は、単一または複数の周波数を注入するために使用され得る。一実施形態において、ドット電極は、手の上で複数の指に信号を注入するために使用され得る。一実施形態において、ドット電極は、1つ、または複数の他の身体部分で、ユーザ内にまたはユーザ上に、1つ以上の周波数を注入するために使用され得る。これらは、耳、鼻、口および顎、足および足の指、肘および膝、胸部、性器、臀部等を含み得る。一実施形態において、ドット電極は、座席、レスト、または拘束装置の1つ、または複数の場所で、ユーザに信号を注入するために使用され得る。
一実施形態において、ユーザとドット電極との間の接触の程度は、使用される振幅電圧を決定し得る。一実施形態において、高い導電性接続がユーザとドット電極との間に形成されている場合、より低い振幅電圧が使用され得るのに対し、より低い導電性接続がユーザとドット電極との間に形成されている場合、より高い振幅電圧が使用され得る。一実施形態において、実際の接触はドット電極とユーザの皮膚との間に必要ではない。一実施形態において、衣類および/または他の層は、ドット電極とユーザとの間に存在し得る。
一実施形態において、注入領域または点が、ユーザ相互作用点にほぼ近接している場合、より低い振幅電圧が使用され得る。ただし、ユーザの体が信号を伝導できるようにし、注入点をユーザの相互作用点に近づけて、ドット電極自体が相互作用を測定するさまざまな受信機と有意なレベルで相互作用しないように、注意する必要がある。本明細書で注入点または相互作用点を指す場合、これは実際の点ではなく、それぞれ、信号が注入される領域または相互作用が起こる領域を指すことが理解されるべきである。一実施形態において、注入領域または点は比較的小さい領域である。一実施形態において、注入領域は、指パッドである。一実施形態において、注入領域は大きい領域である。一実施形態において、注入領域は手全体である。一実施形態において、注入領域は人全体である。
一実施形態において、ドット電極が中間指に配置され、指先が、相互作用領域の本体側として使用され得る。複数の注入領域または点が身体上で使用されている実施形態において、身体の他の位置は、信号をより良好に分離するために接地され得る。一実施形態において、接地コンタクトは、1つ以上の近位ナックルの近くに配置されている間、周波数は、複数の数字に中間指で注入される。接地コンタクトは、電極ドットと形状および特性において同様(または同一)であり得る。一実施形態において、皮膚への直接適用のために、銀または塩化銀センシング素子を用いた同様のドット電極が使用され得る。一実施形態において、特定のセンサの近くの指の識別は、各指に異なる周波数を注入し、それらの周囲および/またはそれらの間で接地することにより強化される。一例として、インジェクタパッドは、指が手に繋がる5つのナックルの近くに配置でき、10個の固有の周波数直交信号(他の注入信号およびタッチ検出器で使用される信号と直交する周波数)が、5つのインジェクタパッドのそれぞれを介して手に注入される。この例では、5つのインジェクタパッドのそれぞれが2つの別々の信号を注入し、一実施形態では、より高い周波数とより低い周波数が異なる検出特性を有しているため、信号の各ペアは互いに比較的離れた周波数にある。
一実施形態において、ドット電極は、信号の注入(送信など)と受信の両方に使用され得る。一実施形態において、注入された信号または複数の信号は、周期的であり得る。一実施形態において、注入された信号または複数の信号は、正弦波であり得る。一実施形態において、注入された信号は、固有の直交信号のセットの1つ以上を含み得る。一実施形態において、注入された信号は、固有の直交信号のセットの1つ以上を含み得、そのセットからの他の信号は、他のドット電極上に送信される。一実施形態において、注入された信号は、固有の直交信号のセットの1つ以上を含み得、そのセットからの他の信号は、異種センサの行で送信される。一実施形態において、注入された信号は、固有の直交信号のセットの1つ以上を含み得、そのセットからの他の信号は、他のドット電極と異種センサの列の両方に送信される。一実施形態において、正弦波信号は1Vppを有する。一実施形態において、正弦波信号は駆動回路によって生成される。一実施形態において、正弦波信号は、波形発生器を含む駆動回路によって生成される。一実施形態において、波形発生器の出力は、信号を注入するために使用される各ドット電極に供給される。一実施形態において、波形発生器の複数の出力が、信号を注入するために使用される各ドット電極に供給される。
一実施形態において、送信された正弦波が非常に高品質である必要はないが、むしろ、開示されたシステムおよび方法は、通常、無線回線で許容されるか、望ましいものより多くの位相ノイズ、周波数変動(時間、温度など)、高調波歪み、およびその他の不完全性を有する送信された正弦波に対応できる。一実施形態において、多くの周波数がデジタル手段によって生成され、比較的粗いアナログからデジタルへの変換プロセスを採用する場合がある。一実施形態において、生成された直交周波数は、互いに単純な高調波関係を持たない必要があり、記述された生成プロセスの非直線性によって、セット内の1つの信号が「エイリアス」になったり、他の信号を模倣したりすることはない。
例示的な実施形態において、単一の周波数は、手の上の多数の異なる位置の一つに配置されたドット電極を介して手に注入される。実験的測定は、1Vppを使用すると、少なくともいくつかの周波数で、手が良好な導体であり、注入された信号は、手のすべての位置からほとんど損失なく測定することができることを示した。一実施形態において、信号を注入された手は、ホバーを含むタッチの付加的なデータを提供できる。
このように、一実施形態において、信号を注入された手は、受信アンテナまたは行の信号源とみなされ得る。本明細書で使用されるように、アンテナまたは受信アンテナという用語は、アンテナに入射する信号を検出できる受信機に適切に接続された導電性材料を指す。。「ドットセンサ」、「ドット」、「点」、「スポット」、または「局在スポット」は、この文脈における用語アンテナと互換的に使用されてもよい。
一実施形態において、手の異なる位置は異なる直交周波数を注入される。信号注入導体の空間的に離れた位置にもかかわらず、特定の周波数とVppの範囲内で、注入されたすべての周波数は手全体で均一な振幅を有する。一実施形態では、接地領域は、手の異なる部分の異なる周波数を分離するために使用され得る。
1つの周波数が人差し指に配置された電極を介して注入され、直交周波数が薬指に配置された別の電極を介して注入される例を検討する。一実施形態において、両方の注入された周波数は、手全体にわたって比較的均一な振幅を有する。一実施形態において、例えば、銅テープであるがこれに限定されない導電材料は、指に注入される周波数の実質的な分離を達成するために、近位ナックルの周りに配置され、接地に接続され得る。一実施形態において、接地は4本の指すべての周りおよびそれらの間に走り、これらの指のそれぞれの分離を提供する。一実施形態において、接地シンクは、ドット電極を接地に接続し、2つの注入導体の間の位置で皮膚と接触するようにドット電極を配置することにより、展開され得る。一実施形態において、特に、より遠いインジェクタから測定点までの経路が接地された導体を横切る場合、接地された導体は、あるインジェクタに近い振幅を別のより遠いインジェクタの振幅よりもかなり大きくする場合がある。一実施形態において、ナックルの周りの接地された導体により、人差し指の周波数の振幅が薬指の周波数の振幅よりもかなり高くなる可能性がある。
一実施形態において、指を分離することにより、センサデータから、それらが、例えば、行上、アンテナ上、またはドットセンサ上で受信される最高振幅信号を有する周波数または複数の周波数から、異なる指の識別が可能になる。
図2Aおよび図2Bは、例示的な測定セットアップを示す。一実施形態において、注入信号導体が人差し指の裏側に配置され、測定は、人差し指、中指、薬指の掌側、および掌側に配置されたドット電極で行われる。一実施形態において、接地は、手の裏側および表側のすべてのナックルを覆う銅テープを使用して確立される。接地は、ナックルの周りに編組銅を使用して確立され得る。
図3は、ドット電極の位置、すなわち人差し指、中指、薬指、および掌の変動に対する1Vppの正弦波信号の周波数を増加させる周波数注入人差し指からの例示的な振幅測定値を示す。
図3はまた、一実施形態において、注入指、すなわち人差し指で測定された振幅が、あらゆる周波数で他の位置よりも大きいことを示している。一実施形態において、分離された指と他の領域との間の振幅の差は、周波数の増加とともに増加する。一実施形態において、ある範囲内で、より高い周波数は、より低い周波数よりも良好に分離され得る。例示的な実施形態では、掌の測定値は薬指の測定値よりも高い。掌電極は注入電極に近いため、掌の測定値は薬指の測定値よりも高くなり得る。掌の測定値は、薬指と人差し指の間により多くの接地カバーがあるため、薬指の測定値よりも高くなり得る。例示的な実施形態では、中指の測定値は薬指および掌の測定値よりも高い。人差し指と中指が互いに近接しており、それらの間で電流漏れがあるため、中指の測定値は、薬指と掌の測定値よりも高くなり得る。それにもかかわらず、一実施形態では、接地および信号注入器を使用して、人差し指以外の位置は、特により高い周波数について、人差し指(すなわち、関心のある周波数のソース)よりもかなり低いという点で、同様の電圧を示す。一実施形態において、各指における周波数は、受信センサがその周波数によってそれと相互作用する指を識別できるように分離され得る。
図4を参照すると、局所化ドットセンサのための配線および遮蔽スキームが示されている。一実施形態において、ドットセンサおよびアダプタボード(FFCボードとラベル付けされている)の2つの主要なコンポーネントがある。一実施形態において、ドットセンサは、数平方センチメートルと平方センチメートルの端数との間の表面積を有し得る。一実施形態において、ドットセンサは、約1cm2の表面積を有し得る。一実施形態において、ドットセンサの表面は概して平坦である。一実施形態において、ドットセンサの表面はドーム形である。一実施形態において、ドットセンサの表面は、意図された感度の方向に対して垂直に向けられている。ドットセンサは、任意の形状であり得る。一実施形態において、ドットセンサは正方形である。一実施形態において、ドットセンサは10mm×10mmである。一実施形態において、ドットセンサの内部は、銅編組で作成され、ドットセンサの外部は、銅テープで作成されている。
一実施形態において、ドットセンサは、アダプタボード上の受信機チャネルに電気的に接続されている。一実施形態において、ドットセンサは、シールド付き同軸ケーブルを介してアダプタボード上の受信機チャネルに電気的に接続されている。一実施形態において、シールド付き同軸ケーブルからの内部導体ケーブルの一端は、ドットセンサに半田付けされている。一実施形態において、同軸ケーブルからの内部導体ケーブルの一端は、ドットセンサの銅編組内部に半田付けされ、内部導体の他端は、アダプタボード上の受信機チャネルに接続されている。一実施形態において、同軸編組シールド(すなわち、外部導体)は接地されている。一実施形態において、同軸編組シールドは、アダプタボード上の接地点に接地される。一実施形態において、同軸シールドを接地すると、受信機のチャネルとドットセンサとの間の干渉(EMI/RFI)が減少され得る。一実施形態において、同軸シールドを接地すると、受信信号と他のケーブルまたは電子デバイスとの間の干渉またはクロストークが減少され得る。一実施形態において、同軸シールドを接地すると、同軸ケーブル自体からの静電容量効果が減少され得る。
アダプタボードは、ドットセンサと、ドットセンサで受信された直交信号の強度を測定できる回路(図4でFFCボードとラベル付けされた)との間のインターフェイスである。アダプタボードは、信号を生成できる回路と注入電極との間のインターフェイスとしても使用され得る。アダプタボードは、必要な数のドットセンサに対する十分な受信機チャネルを有するように選択されるべきである。一実施形態において、アダプタボードは、必要な数の注入信号導体に対する十分な信号生成チャネルを有するように選択されるべきである。一実施形態において、フレックスコネクタは、アダプタボードを、直交信号を生成できるか、受信された直交信号の強度を測定できる回路に接続するために使用され得る。一実施形態において、周波数注入により、ホバー、すなわち、非接触タッチのより正確な測定が可能になる。一実施形態において、FMT静電容量センシングは、周波数注入によってサポートされる場合に改善され得る。FMT静電容量センサの説明については、一般に、2013年3月15日に出願された「Low−Latency Touch Sensitive Device」と題された出願人の以前の米国特許出願第13/841,436号および2013年11月1日に出願された「Fast Multi−Touch Post Processing」と題された米国特許出願第14/069,609号を参照されたい。周波数注入は、ユーザの身体に1つの周波数または複数の周波数を適用するため、ユーザの身体は、FMT静電容量センサへのその周波数の導体として機能できる。一実施形態において、注入された周波数は、FMT静電容量センサ送信機で送信される周波数に直交する周波数である。一実施形態において、複数の注入された周波数は、両方とも互いに対して直交する周波数であり、FMT静電容量センサ送信機で送信される周波数と直交する周波数である。一実施形態において、周波数注入をFMTと組み合わせる場合、列は、注入された1つの周波数または複数の周波数をリッスンする受信機として、付加的に使用される。一実施形態において、周波数注入とFMTを組み合わせる場合、行と列の両方が、注入された1つの周波数または複数の周波数をリッスンする受信機として付加的に使用される。一実施形態において、周波数注入された身体と高速マルチタッチセンサとの相互作用は、周波数注入を使用しない同様の相互作用よりもさらに遠くのホバー情報を提供する。
実証的な周波数注入の実施形態
一実施形態において、第1の周波数は、2つの指電極の1つに適用され、第2の電極は、接地に接続されている。一実施形態において、第1の周波数は、2つの指電極の一方に適用され、第2の周波数は、2つの指電極の他方に適用され、第3の電極は、接地に接続されている。一実施形態において、第1の周波数は、3つの指電極の1つに適用され、第2の周波数は、他の2つの電極の1つに適用され、第3の周波数は、他の指電極に適用され、第4の電極は、接地に接続されている。一実施形態において、第1の周波数は、4つの指電極の1つに適用され、第2の周波数は、他の3つの指電極の1つに適用され、第3の周波数は、他の2つの指電極の1つに適用され、第4の周波数は、他の指電極に適用され、第5の電極は、接地に接続されている。一実施形態において、第1の周波数は、5つの指電極の1つに適用され、第2の周波数は、他の4つの指電極の1つに適用され、第3の周波数は、他の3つの指電極の1つに適用され、第4の周波数は、他の2つの指電極の1つに適用され、第5の周波数は、他の指電極の1つに適用され、第6の電極は、接地に接続されている。一実施形態において、そのような手袋を着用する手の指が上の空間を移動し、図5に示すような異なるドットセンサと接触すると、受信チャネルからの信号強度値を有するヒートマップが生成される。
一実施形態において、第1の周波数は、2つの指電極の1つに適用され、第2の電極は、接地に接続されている。一実施形態において、第1の周波数は、2つの指電極の一方に適用され、第2の周波数は、2つの指電極の他方に適用され、第3の電極は、接地に接続されている。一実施形態において、第1の周波数は、3つの指電極の1つに適用され、第2の周波数は、他の2つの電極の1つに適用され、第3の周波数は、他の指電極に適用され、第4の電極は、接地に接続されている。一実施形態において、第1の周波数は、4つの指電極の1つに適用され、第2の周波数は、他の3つの指電極の1つに適用され、第3の周波数は、他の2つの指電極の1つに適用され、第4の周波数は、他の指電極に適用され、第5の電極は、接地に接続されている。一実施形態において、第1の周波数は、5つの指電極の1つに適用され、第2の周波数は、他の4つの指電極の1つに適用され、第3の周波数は、他の3つの指電極の1つに適用され、第4の周波数は、他の2つの指電極の1つに適用され、第5の周波数は、他の指電極の1つに適用され、第6の電極は、接地に接続されている。一実施形態において、そのような手袋を着用する手の指が上の空間を移動し、図5に示すような異なるドットセンサと接触すると、受信チャネルからの信号強度値を有するヒートマップが生成される。
図5は、平面上に等距離で正方形および円形に配置されたドットセンサの2×2グリッドからなる例示的な実施形態を示す。本明細書で使用される場合、例示的な実施形態という用語は、実施形態が、実証的な実施形態または例示的な実施形態であることを反映している。例示という用語は、この実施形態が、別の実施形態よりも好ましいまたはより望ましいことを推論することも、最善の実施形態を表すことも意図されていない。一実施形態において、各ドットセンサは、互いから10〜15mm離れて配置される。ドットセンサのそれぞれは、シールド付き同軸ケーブルを介してアダプターボード(FFCボードとラベルされる)の受信チャンネルに接続されている。一実施形態において、同軸シールドは接地されている。一実施形態において、オペアンプを備えた電圧バッファも参照される。一実施形態において、同軸の外部シールドを接地する代わりに、電圧バッファの出力に接続されるが、バッファの入力は、アダプタボードの受信チャネルに接続される。
図6は、手および指上の様々な位置にドット電極を配置する例示的な実施形態を示す。一実施形態において、2つのドット電極は、それぞれ、人差し指および薬指の背面に配置され、第3のドット電極は、手の背面に配置される。指上に配置された2つのドット電極は、注入信号導体として使用され、第3のドット電極は、指上の電極に送信される個別の直交周波数の分離をサポートするために、接地に接続される。一実施形態において、指なし手袋は、電極をその内側に取り付けて使用され得る。一実施形態において、電極を展開する他の手段が使用され得る(例えば、指の付いた手袋、異なる材料およびサイズの手袋、ストラップ、ハーネス、セルフスティック電極など)。
図7A〜7Dは、手が、図5に示される2×2ドットセンサグリッドの近くで、バリングし、接触する場合、ユーザの手の甲に置かれた信号注入電極を介した単一周波数の注入から生じる2×2ヒートマップを示す。本実施形態において、人体(すなわち、手)は、受信ドットセンサへのアクティブな信号源として機能する。例示的な実施形態において、117,187.5の1 Vppの正弦波が、手の甲上に配置された電極を通して注入される。各ドットセンサの受信された信号レベルは、dB単位の信号のFFT値(注入された周波数に対する受信された信号のFFTの20×log10)によって測定される。一実施形態において、受信された信号が強いほど、FFT値は高くなる。結果に示されるdB値は、周波数を注入された手がドットセンサグリッドから10cm上に持ち上げられた場合にキャプチャされた各センサに対する基準値からの正差である。2行2列のヒートマップ(本明細書中でFFTグリッドとも呼ばれる)は、4つのドットセンサのそれぞれに対して1つの値を反映する。一実施形態において、複数の(例えば、直交)値は、ドットセンサのそれぞれに対して提供され得る。相互作用する手は、この例示的な実施形態における唯一の送信ソースであり、したがって、FFTグリッド上の値は、手が、ドットセンサと接触するために、離れたホバーから移動するにつれて増加する。図7A〜7Dにおいて、FFTグリッドは、指が接触するドットセンサの最大振幅を示し、その接触は、10cm基準較正から20dBを超える値を生成する。
同様に、図8A〜8Cは、同じ手が2つのドットセンサと接触している結果を反映するFFTグリッドを示している。図7と同様に、FFTグリッドは、指が接触するドットセンサに対するより大きな振幅を示す。試験の実施形態において、接触のないセンサは、しばしば15dBを超える値を示すことに注意されたい。これらの高い信号値は、現在のボード上の受信チャンネル間の望ましくないクロストークによるものと考えられており、チャンネルをより効果的に分離することによって防ぐことができる。
図9A〜9Dは、手がドットセンサグリッドに向かって移動した場合の結果を反映するFFTグリッドを示す。図9A〜9Dは、周波数が注入された手が約10cm離れてドットセンサグリッドに向かって移動される場合の信号値における11dBを超える差を示す。一実施形態において、dB値は、グリッド内のすべてのドットセンサに対して実質的に線形に変化する。
一実施形態において、複数の周波数を使用すると、相互作用する指を同時に識別できるという利点がある。一実施形態において、各周波数のFFTグリッドにより、振幅に基づいたセンサとの接触の検出が可能となる。一実施形態において、また、各グリッドの振幅は、複数の注入された指が同時に異なるセンサに触れる場所の識別を可能にする。一実施形態において、複数の電極を使用した複数周波数の注入は、各周波数でタッチ信号強度(すなわち、ホバー及び接触信号強度)を使用して、センサグリッドに連続的にマッピングするために、手の異なる部分を特徴付ける効果的な方法である。
図10A〜10Dは、2つの直交周波数が注入される様々な手の動きから生じる2×2のヒートマップを示す。例示的な実施形態において、2つの直交周波数が2つの別個の注入電極−人差し指に1つ、薬指に1つ−から注入され、接地電極が手の甲に配置され、図5に示す2行2列のドットセンサグリッドの範囲内で移動(ホバリングおよび接触)する。この例示的な実施形態において、手は、説明された例示的な構成により、2つの直交周波数のアクティブな信号源として機能するが、2つの直交周波数の振幅は、手の部分に亘って変化する。例示的な実施形態において、117,187.5Hzおよび121,093.75Hzの2つの1 Vpp正弦波が、それぞれ、人差し指電極および指電極に送信される。各ドットセンサの受信信号レベルは、dB単位の信号のFFT値(注入された周波数に対する受信信号のFFTの20×log10)によって測定される。一実施形態において、より強い受信信号は、より高いFFT値として反映される。上記のように、結果に示されるdB値は、周波数を注入される指がドットセンサグリッドから10cm上に持ち上げられた場合にキャプチャされた各センサに対する基準値からの正差である。2行2列のヒートマップ(本明細書中ではFFTグリッドとも呼ばれる)は、上部の4つのドットセンサのそれぞれに対して1つの値を、下の4つのドットセンサのそれぞれに対して1つの値−2つの直交信号の強度に対応する2組の値−を反映する。一実施形態において、複数の(例えば、直交)値は、ドットセンサのそれぞれに対して、周波数のそれぞれのために提供され得る。相互作用する指は、この例示的な実施形態における唯一の送信ソースであり、したがって、FFTグリッド上の値は、手が、接触するために離れたホバーからタッチを移動するにつれて増加する。注入された人差し指の位置と各周波数に対する各センサの値は、図10A〜10Dに見られる。FFTグリッドは、注入された人差し指が接触するドットセンサの最大振幅を示し、その接触は、10cm基準較正から20dBを超える値を生成する。
注入された人差し指の位置および各周波数に対する各センサの値は、図11A〜11Dに見られる。FFTグリッドは、注入された薬指が接触するドットセンサの最大振幅を示し、接触は10cmの基準較正から少なくとも22dB、およびしばしば30dBを超える値を生成する。上述のように、実証的な実施形態において、非接触センサの高信号レベル値は、試験環境ボード上の受信チャネル間の望ましくないクロストークによるものと考えられている。望ましくないクロストークは、チャネルをより効果的に分離することで軽減され得る。
図12A〜12Dは、2つの直交周波数が指に注入され、注入された両方の指が動き回り、ドットセンサと接触する様々な手の動きから生じる2×2のヒートマップを示す。測定は、図10A〜10Dおよび11A〜11Dに関連して説明されたのと同じ例示的なセットアップを使用して行われる。注入された人差し指と注入された薬指の位置、および各周波数に対する各センサの値は、図12A〜12Dにおいて見られる。上述のように、FFTグリッドは、注入された指が接触するドットセンサの最大振幅を示し、その接触は、10cmの基準校正から20dBより大きい値を生成する。上記のように、実証的なセットアップにおいて、非接触センサの値は、試験環境ボード上の受信チャンネル間の望ましくないクロストークに起因すると考えられる高い信号レベルをしばしば示す。望ましくないクロストークは、チャネルをより効果的に分離することで軽減され得る。
図13A〜13Dは、2つの直交周波数が指に注入され、手がドットセンサグリッドの上を動き、および接触する様々な手の動きから生じる2×2のヒートマップを示す。測定は、図10A〜10Dおよび11A〜11Dに関連して説明されたのと同じ例示的なセットアップを使用して行われる。注入された人差し指と注入された薬指を有する手の位置、および各周波数に対する各センサの値は、図12A〜12Dにおいて見られる。図12A〜12Dとは異なり、指が互いに接触しているため、接地電極の絶縁効果が緩和されることに留意されたい。FFTグリッドは、振幅において実質的に線形の変化を示し、この変化は、二重周波数を注入された手が、ドットセンサに近づくにつれて増加する。接触は、すべてのドットセンサにおいて10dB近くの値を生成する。
これらの例証的かつ例示的な実施形態は、図1に示されるように、従来の静電容量感知システムまたは高速マルチタッチシステムから利用可能なものよりもはるかに高い、信頼できる非接触タッチ(すなわち、ホバー)情報を提供する、ドットセンサが受信する周波数を示す。しかしながら、ドットセンサのサイズおよび間隔に少なくとも部分的に起因して、近接接触での解像度と接触に対する感度は、従来の静電容量式センシングまたは高速マルチタッチシステムによって生成される感度よりも低い場合がある。
一実施形態において、身体を通る導電性の効率は、注入された信号の周波数によって影響を受け得る。一実施形態において、接地された電極またはストリップは、注入された信号の周波数が身体を通る伝導率に影響するように配置され得る。一実施形態において、複数の直交周波数は、単一の電極から注入される。さまざまな意味のある情報は、同じ電極によって注入された直交信号の異なる振幅から決定され得る。一例として、低周波数と高周波数の信号が、両方とも単一の電極を通して注入されることを考慮されたい。一実施形態において、より低い周波数信号(例えば、10KHz信号)は、より高い周波数信号(例えば、1MHz信号)よりも遅い速度で距離とともに振幅を失うことが知られている。2つの周波数が検出される実施形態(例えば、行センサまたはドットセンサ)では、振幅における差(例えば、Vpp)は、信号によって横断される距離に関する情報を決定するために使用され得る。一実施形態において、手の片側で行われる多周波注入は、各指の先端で区別され得る。一実施形態において、身体のさまざまな場所で受信された信号は、それらの信号を提供する電極の場所に関する情報を提供するために使用され得る。一実施形態において、同じ注入電極によって注入され、身体上の別の場所で検出される2つの信号における振幅間のデルタは、電極から検出点までの経路および/または検出点に対する電極の相対位置に関する情報を提供できる。本開示を考慮すれば、一実施形態では、注入構成は、それぞれが複数の周波数を使用する複数の電極を含み得ることは、当業者に明らかであろう。
異種センサマニホールド
一実施形態において、異種または非異種のセンサのパターンは、物体の上に、物体とともに、物体の中に置かれ得るか、または物体の周りに巻き付けられ得るマニホールドに形成され得る。一実施形態において、センサのパターンは、物体または他のマニホールドの上に、それとともに、その中に置かれ得るか、またはその周りに巻き付けられ得る複数のマニホールドによって形成され得る。2つの先行文において使用される用語「パターン」は、一般に、送信導体および受信導体を形成する導電材料を指し、いくつかの実施形態では、グリッドまたはメッシュであり、動きまたはセンサによって感知される他のものによって影響を受ける。一実施形態において、パターンは基板上に配置される。一実施形態において、パターンは層で生成される。一実施形態において、行および列は、同じ基板の反対側に形成され得る(例えば、フィルム、プラスチック、または他の材料は、それらの間の必要な物理的距離および絶縁を提供する)。一実施形態において、行および列は、異なる空間位置において、同じ基板の同じ側に形成され得る(例えば、フィルム、プラスチック、または他の材料は、それらの間の必要な物理的距離および絶縁を提供する)。一実施形態において、行および列は、フレキシブル基板の同じ側に形成され得る。一実施形態において、行および列は、フレキシブル基板の反対側に形成され得る。一実施形態において、行および列は、別個の基板上に形成され得、それらの基板は、マニホールドとして、またはマニホールドの一部としてまとめられた。
一実施形態において、異種または非異種のセンサのパターンは、物体の上に、物体とともに、物体の中に置かれ得るか、または物体の周りに巻き付けられ得るマニホールドに形成され得る。一実施形態において、センサのパターンは、物体または他のマニホールドの上に、それとともに、その中に置かれ得るか、またはその周りに巻き付けられ得る複数のマニホールドによって形成され得る。2つの先行文において使用される用語「パターン」は、一般に、送信導体および受信導体を形成する導電材料を指し、いくつかの実施形態では、グリッドまたはメッシュであり、動きまたはセンサによって感知される他のものによって影響を受ける。一実施形態において、パターンは基板上に配置される。一実施形態において、パターンは層で生成される。一実施形態において、行および列は、同じ基板の反対側に形成され得る(例えば、フィルム、プラスチック、または他の材料は、それらの間の必要な物理的距離および絶縁を提供する)。一実施形態において、行および列は、異なる空間位置において、同じ基板の同じ側に形成され得る(例えば、フィルム、プラスチック、または他の材料は、それらの間の必要な物理的距離および絶縁を提供する)。一実施形態において、行および列は、フレキシブル基板の同じ側に形成され得る。一実施形態において、行および列は、フレキシブル基板の反対側に形成され得る。一実施形態において、行および列は、別個の基板上に形成され得、それらの基板は、マニホールドとして、またはマニホールドの一部としてまとめられた。
一実施形態において、センサマニホールドは、表面上、または表面付近、あるいは表面から少し離れた距離での接触および非接触イベントの検知を可能にするために、表面上に配置され得る。一実施形態において、センサマニホールドは、少なくとも1つの半径の周りで湾曲するのに十分な柔軟性がある。一実施形態において、センサマニホールドは、通常の球体や細長い球体、またはトロイドの形状など、複合湾曲に耐えるのに十分な柔軟性がある。一実施形態において、センサマニホールドは、ゲームコントローラの少なくとも一部の周りで湾曲するのに十分な柔軟性がある。一実施形態において、センサマニホールドは、ステアリングホイールの少なくとも一部の周りで湾曲するのに十分な柔軟性がある。一実施形態において、センサマニホールドは、任意の形状の物体、例えば、限定ではなく、コンピュータマウスの少なくとも一部の周りで湾曲するのに十分な柔軟性がある。
図14は、異種センサにおいて使用されるための導体層の実施形態を示す。一実施形態において、図14に示されるように、付加的な行導体10が、センサマニホールドと接合される層上に提供される。一実施形態において、行および列は、それらの層間に物理的なギャップを提供するプラスチック基板の各側に配置され、付加的な行導体10は、別個のプラスチック片に配置され、2つのプラスチックシートは、センサマニホールドの一部として近接した。
図15は、行導体12および列導体14を有する例示的な異種センサ20(a)の概略レイアウトを示す。一実施形態において、(別の層内の)付加的な行導体10は、他の行導体12と実質的に平行に向けられている。一実施形態において、行導体12および付加的な行導体10は、共通基板(見やすくするために図15には図示せず)の反対側にあり得る。一実施形態において、行導体12および付加的な行導体10は、異なる基板上にあってもよい。一実施形態において、付加的な行導体10はそれぞれ、付加的な行導体10上に存在する信号を受信し、少なくとも1つの固有信号に対する強度を決定するように適合される行受信回路に関連付けられる。一実施形態において、行受信回路は、付加的な行導体10上に存在する信号を受信し、複数の直交信号の強度を決定するように適合されている。一実施形態において、行受信回路は、付加的な行導体10上に存在する信号を受信し、列上の信号の受信に関連する回路と同じ複数の信号に対する信号強度を決定するように適合されている。したがって、一実施形態において、行受信機は、送信信号のいずれか、またはそれらの任意の組み合わせを受信し、その付加的な行導体10上に存在する直交送信信号のそれぞれの量を個別に測定するように設計されている。
一実施形態において、行信号は、ユーザの異種センサ20(a)との相互作用によって、行導体12の1つから付加的な行導体10に伝達され得る。一実施形態において、行受信回路は、付加的な行導体10上に存在する信号を受信し、直交送信信号のそれぞれに対する信号強度を決定するように適合されている。一実施形態において、行受信回路は、付加的な行導体10上に存在する信号を受信し、1つ以上の直交送信信号に対する信号強度を決定するように適合されている。一実施形態において、直交送信信号のそれぞれについて決定された信号強度は、ユーザの異種センサ20(a)との相互作用に関する追加情報を提供する。一実施形態において、信号注入導体(図15には図示せず)は、ユーザの身体内に固有の直交信号を伝え得る。一実施形態において、行受信回路は、付加的な行導体10上に存在する信号を受信し、1つ以上の注入信号に対する信号強度を決定するように適合されている。一実施形態において、信号強度は、各行に対する信号のそれぞれに対して決定される。一実施形態において、信号強度はヒートマップにおいて表される。
図16は、交互配置されたアンテナ11を有する異種センサ20(b)の実施形態の図を示す。図17は、交互配置されたアンテナ11とその関連する受信機回路との間の接続の図を示す。図18は、交互配置されたアンテナ11とその関連する回路との間の接続を有する、図16に示されるような交互配置されたアンテナ11を有する異種センサ20(b)の実施形態の図を示す。本明細書で使用するように、用語「アンテナ」または用語「受信アンテナ」は、アンテナ上に入射される信号を検出できる受信機に適切に接続された導電性材料、ドットセンサまたはドット、あるいは局所スポット、もしくは用語「アンテナ」と交換可能に使用され得る電極を指す。
本明細書で使用するように、用語「交互配置(interleave)は、アンテナが、行または列と低い結合を有する(例えば、実質的な電気的接触をしない)方向を説明するために使用される。この定義に従って交互配置されているにもかかわらず、それにもかかわらず、行導体12または列導体14とアンテナ11との間にいくらかの容量性相互作用が存在し得ることは、当業者に明らかであろう。一実施形態において、アンテナ11は、行導体12および/または列導体14と同じ基板に配置または固定され得る。一実施形態において、アンテナ11は、行導体12および列導体14とは別の基板に配置または固定され得る。
一実施形態において、アンテナ11は、ホバーの方向にほぼ垂直に向けられている。一実施形態において、アンテナ11は、ほぼ平坦かつ導電性である。一実施形態において、アンテナ11は、ドーム型で導電性および/または尖った導電性であり得る。一実施形態において、アンテナ11は、例えば、限定ではなく、銅編組および銅テープ、導電性金属、銅、またはこれらすべての材料の組み合わせで作成されている。一実施形態において、アンテナ11は、行導体12および列導体14と交互配置されるのに十分に小さい。一実施形態において、アンテナ11は、約1cm四方以下である。一実施形態において、アンテナ11は、0.5cm四方未満である。一実施形態において、アンテナ11は、ほぼ正方形である。一実施形態において、アンテナ11は、長方形、円形でもあり得、および/または線、ポリライン、または曲線の形状も有し得る。一実施形態において、アンテナ11は、そのような形状の組み合わせから構成され得る。
一実施形態において、アンテナ11は、信号が表面の行のそれぞれに送信されるように方向付けられ、それにより線、ポリライン、および/または曲線を形成する。一実施形態において、アンテナは、信号が表面の列のそれぞれに送信されるように方向付けられ、それにより線、ポリライン、および/または曲線を形成する。一実施形態において、アンテナ11の行または列は、グリッドレイアウトにおいて編成されている。一実施形態において、アンテナ11の行または列は、表面またはデバイスのマニホールドの形状に同様の態様で空間レイアウトにおいて編成されている。
一実施形態において、アンテナ受信回路は、アンテナ11上に存在する信号を受信し、直交送信信号のそれぞれに対する信号強度を決定するように適合されている。一実施形態において、アンテナ受信回路は、アンテナ11上に存在する信号を受信し、1つ以上の直交送信信号に対する信号強度を決定するように適合されている。一実施形態において、アンテナ受信回路は、アンテナ11上に存在する信号を受信し、1つ以上の注入信号に対する信号強度を決定するように適合されている。一実施形態において、強度が、各アンテナ11の信号のそれぞれについて決定される。一実施形態において、信号強度はヒートマップで表される。
図19は、交互配置されたアンテナ11および信号注入導体13を有する異種センサ20(c)の別の実施形態の図を示す。一実施形態において、信号注入導体13およびアンテナ11は、実質的に同一である。一実施形態において、信号注入導体13およびアンテナ11は、交換可能であり得る。一実施形態において、信号注入導体13は、マニホールドの表面と同一平面上にあるか、または平行である。一実施形態において、信号注入導体13は、マニホールドの表面の下に配置または包埋されている。一実施形態において、信号注入導体13は、注入の対象との接触をより確実にするために、マニホールドから突出している。一実施形態において、信号注入導体13は、ドーム状にマニホールドから突出している。一実施形態において、信号注入導体13は、そうでなければ物体の組み立てまたは分解に関連するネジまたはリベットから形成される。
図20は、交互配置されたアンテナ11とそれらに関連する受信機回路と、信号注入導体13とそれらに関連する信号駆動回路との間の接続の実施形態の図を示す。図21は、図19に示される交互配置されたアンテナ11および信号注入導体13を有する異種センサ20(c)の実施形態の図を示す。アンテナ11および信号注入導体13の構成および向きは、単に例示的なものである。本開示を考慮すれば、信号注入導体13は、第1に、信号の注入を確実にするように、第2に、適切な信号が所望の信号位置に到達するように、配置されることが、当業者に明らかであろう。本開示を考慮すれば、また、アンテナ11が、適切な信号受信および解像度を確実にするように配置されることは、当業者に明らかであろう。一実施形態において、動きはオブジェクト(例えば、ゲームコントローラ)によって制約され、信号注入導体13およびアンテナ11の配置は、制約を考慮され得る。
一実施形態において、本明細書に示す、異種センサ、20(a)、20(b)および20(c)(例えば、図16、19および21を参照されたい)は、2つの検知モダリティ、高速マルチタッチおよび周波数注入を相乗的に組み合わせ、同じ直交信号セット、および2つのモダリティの異なる特性および要件を利用する。一実施形態において、注入された信号は、例えば、列受信機、行受信機および/またはドットセンサ受信機上で増加された信号として受信されるが、行信号は、列受信機および行受信機上の信号における減少として、しばしば受信される。したがって、一実施形態において、注入された信号および行信号は、受信機上の異なる範囲に現れ、一方は正であり、他方は負である。一実施形態において、注入された信号および行信号は、どの周波数が注入され、どの信号が行で送信されるかの先験的な知識を有することなく、受信された信号を処理することによって区別され得る。一実施形態において、注入信号は、行で送信される周波数直交信号の180度の位相オフセットで生成され得る。一実施形態において、注入された信号の位相をシフトすると、タッチデルタが拡大する。
実証的なハンドヘルドコントローラ
本明細書で使用される用語「コントローラ」は、ヒューマン−マシンインターフェースの機能を提供する物理的なオブジェクトを指すことを意図されている。一実施形態において、コントローラはハンドヘルドである。一実施形態において、ハンドヘルドコントローラは、本明細書で説明する検知されたタッチ入力およびホバー入力とは別にカウントされるように、6自由度(例えば、上/下、左/右、前/後、ピッチ、ヨー、およびロール)を提供する。一実施形態において、コントローラは、6未満の自由度を提供し得る。一実施形態において、コントローラは、一般に27の自由度を有すると考えられている人間の手の動きのレプリカにおけるように、より多くの自由度を提供し得る。一実施形態において、コントローラは、一般にユーザの掌に収まるように設計されている。一実施形態において、コントローラは、左手または右手のいずれにおいても使用できるように設計されている。一実施形態において、特殊なコントローラは、左手および右手のそれぞれに対して使用される。
本明細書で使用される用語「コントローラ」は、ヒューマン−マシンインターフェースの機能を提供する物理的なオブジェクトを指すことを意図されている。一実施形態において、コントローラはハンドヘルドである。一実施形態において、ハンドヘルドコントローラは、本明細書で説明する検知されたタッチ入力およびホバー入力とは別にカウントされるように、6自由度(例えば、上/下、左/右、前/後、ピッチ、ヨー、およびロール)を提供する。一実施形態において、コントローラは、6未満の自由度を提供し得る。一実施形態において、コントローラは、一般に27の自由度を有すると考えられている人間の手の動きのレプリカにおけるように、より多くの自由度を提供し得る。一実施形態において、コントローラは、一般にユーザの掌に収まるように設計されている。一実施形態において、コントローラは、左手または右手のいずれにおいても使用できるように設計されている。一実施形態において、特殊なコントローラは、左手および右手のそれぞれに対して使用される。
容量性センサパターンは、一般的に行と列を有すると考えられている。これまでに多数の静電容量センサパターンが提案されてきた。例えば、その出願の全開示、および参照により本明細書に組み込まれる出願は、参照により本明細書に組み込まれる、2016年4月14日に出願された「Capacitive Sensor Patterns」と題された、出願人の以前の米国特許出願第15/099,179号を参照されたい。、しかしながら、本明細書で使用されるように、行および列という用語は、正方形のグリッドを指すことを意図されず、信号が送信される導体のセット(行)および信号が結合され得る導体のセット(列)を指すことを意図される。信号は、任意の列に指定された導体で容易に送信され、任意の行に名前が付けられた導体で受信されるか、両方とも任意に別の名前を付けられ得るため、信号が行で送信され、列で受信されるという概念は、それ自体任意である。さらに、同じ導体が送信機と受信機の両方として機能し得る。以下でより詳細に説明するように、行および列が、グリッドを形成する必要はない。行と列の交点の近くでのタッチが、行と列との間の結合を増加または減少させる限り、多くの形状が可能である。一実施形態において、2つ以上のセンサパターンは、単一のコントローラにおいて使用され得る。一実施形態において、3つのセンサパターンが、単一のハンドヘルドコントローラにおいて使用され得る。一実施形態において、あるセンサパターンは、親指中心の検出に使用され、別のセンサパターンは、トリガー中心の検出に使用され、さらに別のセンサパターンは、コントローラの本体の周りの他の位置での検出に使用される。
センサパターンのすべてまたは任意の組み合わせの送信機および受信機は、必要な信号を送信および受信可能な単一の集積回路に動作可能に接続され得る。一実施形態において、集積回路の容量(すなわち、送信および受信チャネルの数)およびセンサパターンの要件(すなわち、送信および受信チャネルの数)が許容する実施形態において、コントローラ上のすべての複数のセンサパターンのためのすべての送信機および受信機が、共通の集積回路によって動作される。一実施形態において、共通の集積回路を有するコントローラ上のすべての複数のセンサパターンに対してすべての送信機および受信機を動作させることは、複数の集積回路を使用するよりも効率的であり得る。
図22は、1つ以上の容量性、注入(infusion)、注入(注入(injection))、および/または異種の検知要素とともに使用され得るハンドヘルドコントローラ25の実施形態の図である。ハンドヘルドコントローラ25は、湾曲部21を有する本体23で形成されている。一実施形態において、ハンドヘルドコントローラ25は、どちらの手においても使用され得るように、対称である。湾曲部分21(1つの半径のみで湾曲)が提供され、その周りに容量性、注入(infusion)、注入(注入(injection))または異種センサが巻き付けられる。この意味で、注入センサは、注入領域を形成している。。一実施形態において、湾曲部分は複合曲率(すなわち、複数の曲率半径)を有してもよい。例えば、一実施形態において、(垂直軸を有する)ハンドヘルドコントローラ25の湾曲部分21は、指が既知の位置に置かれ得る(水平軸を有する)指のくぼみを有し得る。
図22はまた、容量性、注入(infusion)、注入(注入(injection))または異種の検知要素を含み得るハンドヘルドコントローラ25の上側に見える細長い親指部分26を示す。注入検知要素は、注入領域を形成してもよい。一実施形態において、親指中心センサは、コントローラが保持されるときに親指に最も近い比較的平坦な表面である、細長い親指部分26上に展開される。タキセル密度は、センサパターンからセンサパターンへ変化し得る。一実施形態において、センサパターンは、3.5mmと7mmとの間などの比較的高いタキセル密度を有する親指中心領域に対して選択される。一実施形態において、親指中心領域には、親指を正確にモデリングするために使用される感知されたデータを許容するように、忠実度を十分に向上させるために5mmのタキセル密度が提供される。一実施形態において、親指中心領域には、忠実度をより良好に向上させるために3.5mmのタキセル密度が提供される。
タキセル密度の選択に加えて、センサパターンは、接触とは対照的に、遠い、近いまたは中間のホバーを検出するためのその能力に基づいて選択され得る。一実施形態において、親指中心センサのためのセンサパターンは、3mmと10mmとの間までのホバーを検出するように選択される。一実施形態において、親指中心センサのためのセンサパターンは、少なくとも3mmまでのホバーを検出するように選択される。一実施形態において、親指中心センサのためのセンサパターンは、少なくとも4mmまでのホバーを検出するように選択される。一実施形態において、親指中心センサのためのセンサパターンは、少なくとも5mmまでのホバーを検出するように選択される。一実施形態において、親指中心センサのためのセンサパターンは、対象ユーザの母集団の親指を正確にモデリングするために使用される感知されるデータを、十分に許容する距離まで、ホバーを検出するように選択される。
図23A〜23Bは、ハンドヘルドコントローラ25のストラップ構成の図である。一実施形態において、単一のストラップ27は、その上面および底面の下であるが、その左面および右面の外側で、ハンドヘルドコントローラ25の周りに巻き付けられている。一実施形態において、ストラップ27は、上部または下部のいずれかにスライド可能な接続を有することにより、どちらの手でも使用され得る。一実施形態において、ストラップ27は、両側に伸縮性があることにより、どちらの手でも使用され得る。一実施形態において、1つ以上の電極が、周波数注入のためにストラップ27に配置されている。一実施形態において、1つ以上の電極が、手がストラップ27とハンドヘルドコントローラ25との間にあるときに、手と電極との間に実質的な接触を引き起こす位置で、ハンドヘルドコントローラ25の表面上に配置される。一実施形態において、ストラップ27またはランヤード(またはウェアラブルまたは環境ソース)から注入された信号は、ストラップ27またはランヤード(またはウェアラブルまたは環境ソース)が実際にユーザによって着用されているか(または適切に近接しているか)、あるいは、ハンドヘルドコントローラ25が、ストラップ27またはランヤード(またはウェアラブルまたは環境ソース)を使用することなく、保持されているか、を決定するために使用される。
図24は、ハンドヘルドコントローラ25などの曲面上で使用され得る多層センサマニホールド30(a)の実施形態の図である。一実施形態において、多層センサマニホールド30(a)は、わずかな物理的距離だけ離れた行導体32(a)の層および列導体34(a)の層を有する。一実施形態において、導線は、行導体32(a)および列導体34(a)への接続のために使用される。一実施形態において、行導体32(a)の導電性リードの少なくとも一部は、行導体32(a)と同じ層上にある。一実施形態において、列導体34(a)の導電性リードの少なくとも一部は、列導体34(a)と同じ層上にある。一実施形態において、可撓性基板は、行導体32(a)および列導体34(a)の層を分離するために使用される。一実施形態において、行導体32(a)および列導体34(a)は、それらを分離するために使用される可撓性基板の反対側に、エッチング、印刷、または他の方法で固定される。一実施形態において、行導体32(a)および列導体34(b)は、マニホールド30(a)内で互いに近接している別個の基板上に固定されている。
一実施形態において、多層マニホールド30(a)は、付加的な行の層(図示せず)をさらに含む。一実施形態において、導電性リードは、付加的な行への接続のために使用される。一実施形態において、付加的な行に対する導電性リードの少なくとも一部は、付加的な行と同じ層上にある。一実施形態において、可撓性基板は、行および/または列から付加的な行の層を分離するために使用される。一実施形態において、付加的な行と、行および列の1つは、それらを分離するために使用される可撓性基板の反対側に、エッチング、印刷、またはその他の方法で固定される。一実施形態において、付加的な行は、マニホールド30(a)内の行導体32(a)および列導体34(a)を備える基板または複数の基板に近接する別個の基板上に固定される。
一実施形態において、マニホールド30(a)は、ハンドヘルドコントローラ25の湾曲部分の周りに巻き付けられ得る。一実施形態において、マニホールド30(a)は、図22に示されるハンドヘルドコントローラ25の湾曲部分の単純な湾曲の周りに巻き付けられ得る。一実施形態において、マニホールド30(a)は、ハンドヘルドコントローラ25または複合曲率を有する他の形状の周りに巻き付けられ得る。
図25は、アンテナ31をさらに有するマニホールド30(c)の図である。一実施形態において、マニホールド30(c)は、ハンドヘルドコントローラ25などの曲面上で使用され得る。一実施形態において、アンテナ31は、行層または列層の一方の行32(a)および列34(a)と交互配置される。一実施形態において、アンテナ31は、行32(a)および列34(a)と交互配置されるが、別個の層上にある。一実施形態において、アンテナ31の少なくとも1つは、それらが存在する層の表面と同一平面にある。一実施形態において、アンテナ31の少なくとも1つは、それらが存在する層から突出する。一実施形態において、アンテナ31の少なくとも1つは、駆動回路に電気的に接続されている。一実施形態において、アンテナ31の少なくとも1つは、受信機回路に電気的に接続されている。一実施形態において、アンテナ31の少なくとも1つは、シールド同軸ケーブルを介して、回路に電気的に接続されている。一実施形態において、アンテナ31は、シールドされた同軸ケーブルを介して、回路に電気的に接続されている。一実施形態において、アンテナ31は、シールドが接地されているシールド同軸ケーブルを介して、回路に電気的に接続されている。一実施形態において、アンテナ31は、ドットセンサとして使用され得る受信アンテナである。一実施形態において、アンテナ31は、周波数注入(infusion)(注入(injection))のためにに使用され得る信号注入電極である。
図26は、アンテナ31および付加的な信号注入導体33を有する図25に一般的に示される多層センサマニホールド30(d)の別の実施形態の図である。一実施形態において、マニホールド30(d)は、図22に示されるようなハンドヘルドコントローラ25の周りで湾曲している。一実施形態において、信号注入導体33が設けられている。一実施形態において、信号注入導体33は、周波数インジェクタおよびドットセンサの組み合わせとして使用される。本開示を考慮して、付加的な信号注入導体33の数、方向および利用は、サマニホールド30(d)が使用される用途に応じて変わることは、当業者に明らかであろう。
一実施形態において、信号注入導体33は、左側および右側で最も外側の電極である。一実施形態において、信号注入導体33は、複数の固有の直交信号を提供する駆動回路(図示せず)に電気的に接続されている。一実施形態において、駆動回路は、複数の固有の周波数直交信号の少なくとも1つを、信号注入導体33のそれぞれに同時に提供する。一実施形態において、駆動回路は、信号注入導体33のそれぞれに、複数の固有の周波数直交信号を同時に提供する。一実施形態において、駆動回路は、複数の固有の周波数直交信号の少なくとも1つを、信号注入導体33のそれぞれおよび行導体32(a)のそれぞれに同時に提供する。一実施形態において、駆動回路は、複数の固有の周波数直交信号の複数のものを信号注入導体33のそれぞれに、複数の固有の周波数直交信号の少なくとも1つを行導体32(a)のそれぞれに同時に提供する。
一実施形態において、左側の5つの最も内側のアンテナ31および右側の5つの最も内側のアンテナ31は、ドットセンサである。一実施形態において、ドットセンサは、少なくとも信号注入導体33によって放出される直交信号を含む、複数の直交信号に対する信号強度を決定できる受信回路(図示せず)に電気的に接続されている。一実施形態において、ドットセンサは、少なくとも信号注入導体33によって放射される直交信号および行導体32(a)で送信される直交信号を含む、複数の直交信号に対する信号強度を決定できる受信回路(図示せず)に電気的に接続されている。
一実施形態において、異種マニホールドセンサ30(d)は、図22のハンドヘルドコントローラ25の表面に巻き付けられ、行導体32(a)および信号注入導体33はそれぞれ、駆動回路によって提供される異なる1つ以上の複数の直交信号を有し、ドットセンサアンテナ31および列導体34(a)はそれぞれ、各センサアンテナ31または列導体34(a)に対して、複数の直交信号のそれぞれに関連する信号強度を決定できる受信回路に電気的に接続されている。さらなる実施形態において、信号強度は、センサに対する手の位置および方向を決定するために使用される。また、さらなる実施形態において、ストラップ27は、手に部分的に制約された動きの自由を提供するように、手の上でハンドヘルドコントローラ25を支持するために使用される。
図27は、多層センサマニホールド30(e)の別の実施形態の図である。多層センサマニホールド30(e)は、パターン内に形成される行導体32(b)および列導体34(b)を有する。
図28は、アンテナ31および信号注入導体33を有する多層センサマニホールド30(f)のさらに別の実施形態の図である。加えて、多層センサマニホールド30(f)は、図28に示されるパターンと同じパターンを有する行導体32(b)および列導体34(b)を有する。
行および列の向きは異なるが、図27および28に適用可能な上記の説明は、図24、25および26にも同様に適用可能である。
一実施形態において、多指屈曲は、高速マルチタッチ(FMT)センシングを介した近接ホバーおよび接触データを使用して、検知される。一実施形態において、トリガー中心のセンサパターンからの近接ホバーと接触データは、人差し指、中指、薬指、および小指の屈曲を検知するために使用される。一実施形態において、多指屈曲は、本明細書で説明される信号注入およびドットセンサを使用して検出される。一実施形態において、多指屈曲は、本明細書で説明される異種センサおよびインジェクタを使用して検知される。
一実施形態において、参照フレームが保存される。一実施形態において、参照フレームは、コントローラが静止している場合、例えば、検出可能な信号が、タッチの結果として受信されない場合の指の屈曲を検出するセンサの状態を反映する。一実施形態において、生信号データの単一のN×Mフレームが、ベースラインとして保存される。一実施形態において、生信号データのN×Mフレームおよびドットセンサの状態が、ベースラインとして保存される。
一実施形態において、ベースラインを使用して、着信フレームはデシベルに変換される(すなわち、−20.0f*log10(着信/ベースライン)。変換された着信フレームは、ヒートマップと呼ばれ得る。一実施形態において、着信フレームは、ドットセンサからのデータを含む。
一実施形態において、平均信号値は、行の周波数について計算される。平均信号値は、多指波形と呼ばれる。一実施形態において、ヒートマップ中の各列Mに対して、列の平均信号値が、多指波形として計算される。一実施形態において、多指波形は、各行Nに対して計算される。一実施形態において、多指波形は、行および列の信号値の組み合わせから計算される。一実施形態において、多指波形の計算のための情報の選択は、センサパターンに依存する。
一実施形態において、各指に対する平均信号値が計算され得る。平均信号値は、指の波形と呼ばれる。一実施形態において、ヒートマップ中の各列Mに対して、列の平均信号値が、指の波形として計算される。一実施形態において、指の波形は、各行Nに対して計算される。一実施形態において、指の波形は、行および列の信号値の組み合わせから計算される。一実施形態において、指の波形の計算のための情報の選択は、センサパターンに依存する。一実施形態において、多指波形に対する値が計算され得る。
一実施形態において、ほぼ垂直な指(上から見たとき、つまりコントローラから離れたとき)を表す多指波形は、テンプレートとして保存され得る。一実施形態において、テンプレートは、ほぼ垂直な人差し指、中指、薬指、および小指で握られたコントローラから作成され得る。一実施形態において、テンプレートは、テンプレートが取得される手またはユーザに関連付けられる。一実施形態において、複数のテンプレート(例えば、複数の手および/またはユーザ用、および/または同じ手用)も、将来の使用のために保存される。一実施形態において、複数のテンプレートは組み合わせ得る。テンプレートは、情報を正規化するために、または、手および指に関する統計データを取得するために、組み合わせ得られ得る。
一実施形態において、通常の移動中に、着信多指波形は、テンプレートに対して比較
され得る。一実施形態において、正規化された二乗平均平方根偏差(NRMSD)は、着信波形およびテンプレートの類似性尺度を提供するために計算される。
され得る。一実施形態において、正規化された二乗平均平方根偏差(NRMSD)は、着信波形およびテンプレートの類似性尺度を提供するために計算される。
一実施形態において、1つ以上のドットセンサで検出された注入された周波数は、指の位置および方向の決定をサポートし得る。
類似性尺度の精度を改善するために、一実施形態では、入力波形およびテンプレートは、指の個々の骨(近位、中部、遠位)およびセンサに沿ったそれらの位置に対応する3つの領域に分割される。一実施形態において、3つのNRMSD値(NRMSDproximal、NRMSDmiddle、NRMSDdistal)が、指の各セクションに対して1つ計算される。入力する指の波形の各部分は、テンプレートに対して比較され得る。
一実施形態において、NRMSD値は、各ジョイントで回転を計算するための重みとして使用される。例えば:
Rproximal=NRMSDproximal *Angle_Maximumproximal.
Rmiddle=NRMSDmiddle *Angle_Maximummiddle.
Rdistal=NRMSDdistal *Angle_Maximumdistal.
Rproximal=NRMSDproximal *Angle_Maximumproximal.
Rmiddle=NRMSDmiddle *Angle_Maximummiddle.
Rdistal=NRMSDdistal *Angle_Maximumdistal.
一実施形態において、NRMSDは常に正であるため、テンプレートおよび入力する指の波形の積分は、人差し指が伸ばされたときを決定するために計算され得る。入力波形およびテンプレートの積分は、ゼロ未満であろう。一実施形態において:
Rproximal=NRMSDproximal *Angle_Extensionproximal.
Rmiddle=NRMSDmiddle *Angle_Extensionmiddle.
Rdistal=NRMSDdistal *Angle_Extensiondistal.
Rproximal=NRMSDproximal *Angle_Extensionproximal.
Rmiddle=NRMSDmiddle *Angle_Extensionmiddle.
Rdistal=NRMSDdistal *Angle_Extensiondistal.
図29は、センサに対する骨格位置を推測するためにセンサデータを使用する方法の一実施形態を示す高レベルのフロー図である。工程102において、プロセスが開始される。工程104において、参照フレームが保存される。工程106において、ヒートマップが計算される。工程108において、モデルが保存されたかどうか判定される。工程110において、モデル初めて、それが以前に保存されなかった場合保存される。工程112において、モデルが保存されていた場合、多指波形が計算される。工程114において、別個の指が計算される。工程116において、指の波形が計算される。工程118において、波形およびモデルの積分が計算される。工程120において、それがゼロより大きいかどうか決定される。波形およびモデルの積分がゼロより大きくない場合、工程122において、指が伸ばされる。工程124において、拡張角度が決定される。工程126において、波形の積分がゼロより大きい場合、指が曲げられる。工程128において、屈曲角が決定される。工程130において、指の波形がモデルと比較される。工程132において、比較測定値が、結合回転を計算するための重みとして使用される。工程134において、工程132からの計算が停止される。
図30は、骨格再構成モデル作成ワークフローの一実施形態を示すブロック図である。ステップ202では、高速マルチタッチセンシングが発生する。工程204において、ヒートマップが作成される。工程206において、指マッピングが行われる。工程208において、形状情報が指マッピング内で使用され得る。工程210において、3Dスケルトンが作成される。工程212において、グラウンドトゥルースデータが、3D骨格を作成する際に使用される。工程214において、モデルが作成される。工程216において、特徴が使用される。工程218において、サブモデルが作成される。工程222において、モデルが作成される。
図31は、リアルタイムの骨格手再構築ワークフローの一実施形態を示すブロック図である。302において、高速マルチタッチセンシングが発生する。工程304において、ヒートマップが作成される。工程306において、指マッピングが行われる。工程308において、形状情報が指マッピングにおいて使用され得る。工程310において、モデルが適用される。工程314において、工程310のモデルが提供される。工程312において、3D骨格が形成される。工程316において、特徴が使用される。工程318において、サブモデルが作成される。工程322において、サブモデルが作成される。
指と指の特性を特定するためのヒートマップの処理
一実施形態において、手の骨格と動きを再構築するための第一歩は、指の分離である。したがって、指の動きの再構築に関連して(例えば、ハンドヘルドコントローラ25を把持しながら)、指の波形が計算される前に、別々の指の位置(すなわち、領域)は、ヒートマップ上で判定され得る。
一実施形態において、手の骨格と動きを再構築するための第一歩は、指の分離である。したがって、指の動きの再構築に関連して(例えば、ハンドヘルドコントローラ25を把持しながら)、指の波形が計算される前に、別々の指の位置(すなわち、領域)は、ヒートマップ上で判定され得る。
図32は、本発明の一実施形態の実施を示すフローチャートを含む。工程402でヒートマップを取得する工程、工程404でヒートマップをセグメント化する工程、工程406で局所的最大値を特定する工程、工程408で関連セグメントを決定する工程、工程410で余剰を排除する工程、工程412でヒートマップ分離を厚くし、結合し、作成する工程は、上述のように境界を決定するためにタッチデータを使用する一実施形態を反映する。工程414において、ヒートマップが作成される。
工程416で注入マップを取得する工程、工程418で局所的最小値を特定する工程、および工程420で注入マップ分離を作成する工程は、以下に説明するように境界を決定するために注入データを使用する一実施形態を反映する。言い換えれば、取得されるヒートマップは、注入とFMTセンシングの使用の両方の組み合わせであり得る。
個別の指を表す複数の領域へのヒートマップの分離は、指、身体部分、または指の分離と呼ばれる。以下で説明するように、工程422における結合分離は、タッチデータプロセスおよび注入データプロセスの結果に基づいて境界を識別する。工程424における出力結合分離は、例えば、図50A〜50Lに示されるように、結合境界を反映する。明細書の他の場所で説明されるように、いったん分離が決定され、したがって各指の動きが別々に理解され得ると、工程426における指の波形の計算、工程428における波形の積分の計算、および工程430における動きの処理の工程も実行され得る。例えば、図38の説明を参照されたい。
指の開始位置と終了位置を特定する一般化された方法は、手のサイズおよび形状のばらつき、ならびに指の束に起因する重要な課題を提示し、ヒートマップ内で指の境界が一緒に混ざり合う可能性がある。3つの分離アプローチについて以下に説明する。第1のアプローチは、タッチデータにおける推定ポイントの空間分布を分析し、第2のアプローチは、内挿された注入信号の局所的最小値を特定し、第3のアプローチは、第1および第2のアプローチを組み合わせる。最初の2つのアプローチは直交しており、個別にまたは組み合わせて適用され得ることに留意されたい。
例示目的のために、本明細書に開示される一般的な方法は、図22に示されるようなハンドヘルドコントローラ25に関して説明される。本開示を考慮して、これらの方法は、より一般的に適用可能であり、したがって、例えば、多数の手測定アプリケーションのいずれかを含む、任意の骨格または位置的再構成の関心領域(例えば、別個のヒートマップ領域)を見つけるために使用され得ることを、当業者によってされる理解されるべきである。したがって、例えば、本明細書に開示される分離手順は、多種多様なハンドヘルドゲームコントローラーへの適用に加えて、テニスラケット、ゴルフクラブ、ピンポンパドル、さまざまなボール、ステアリングホイール、ジョイスティック、フライトスティック、マウスコントロール、オートバイと自転車のハンドグリップ、および他の多くのものに見られるものなど、他のタイプのハンドグリップまたは握られたオブジェクトの指を分離するのに有用であり得る。さらに、手順および装置は、手のみに向けられていない他の姿勢および骨格用途に適用され得る。例えば、本明細書に開示される方法および装置は、ベッドまたは座席の用途で身体の他の部分から腕または脚を分離するために使用され得る。別の例として、本明細書に開示される方法および装置は、足指を分離するするために使用され得る。また、例えば、本明細書で開示される方法および装置は、タッチ感知キーボード上の指を分離するために使用され得る。
図34を参照すると、例示的なヒートマップが示されており、ヒートマップは、手が、図22に示されているようなハンドヘルドコントローラ25上に位置決めされる場合に取得されたデータを反映する。ヒートマップデータに基づいて指の間隔を決定する次の新しい手法の使用は、一般的に指が存在する状態に限定される。そのような存在は、基節骨が接触しているおよび/またはコントローラ25によって検出されている状態を指す。中手骨のみが存在する場合、すなわち、指が図22に示されるコントローラ上ですべて真っ直ぐになっている場合に発生し得る、近位指骨がコントローラ25に接触していない場合、分離アルゴリズムは適用されるべきではない。基節骨の存在は、骨格点の数、注入された信号の強度、または他の特徴によって検出されることができ、それらのすべては、本開示を考慮して、当業者に明らかであろう。
一実施形態において、ヒートマップデータは、コントローラの表面からの手の距離を表す。一実施形態において、ヒートマップデータは、コントローラの表面上の手の圧力を表す。一実施形態において、ヒートマップデータは、手とコントローラの表面との間の接触を表す。一実施形態において、ヒートマップは、センサに対する身体(例えば、体全体/手/指/足/つま先)の位置の1つ以上の側面(例えば、距離/接触/圧力)を表すデータを反映する。ヒートマップは任意のソースから得られ、ハンドヘルドコントローラである必要はない。例えば、ヒートマップは、平面からまたは任意の3次元形状から提供され得る。本明細書の参照の便宜上、ヒートマップ内の指(または関心のある他の部分)の一般的な方向は、本明細書では垂直と呼ばれる。垂直方向は、ヒートマップが、図面中で一般的に向けられる方向に対応する。
第1の工程では、推定された骨格点が一次微分解析により抽出される。この工程では、ヒートマップの断面が列ごとに平均化される。閾値を超える列平均は、特徴点として識別される。これらの特徴点内の極大は、指の骨および中手骨と相関している。一実施形態において、ヒートマップは、水平ストリップに分割され、各ストリップは、局所的最大値を見つけるために処理される。各ストリップの大きさは、センサの解像度および検出されるオブジェクトの大きさに依存する。一実施形態において、10ピクセル以下の有効ストリップ高さが、指の分離のために使用され得る。一実施形態において、5ピクセルの有効ストリップ高さが、指の分離のために使用され得る。一実施形態において、ヒートマップはアップサンプリングされ、5ミリメートル離れた実際のセンサラインを有する。一実施形態において、10ピクセルは約3mmに相当し、5ピクセルは約1.5mmに相当する。一実施形態において、3ピクセルの有効ストリップ高さが、指の分離のために使用される。一実施形態において、ストリップは、重複データなしで処理される。一実施形態において、データはストリップ内で重複される。したがって、例えば、10ピクセルの有効ストリップ高さが使用され得るが、ストリップは、各方向において5ピクセルずつ重複し得るため、すべての測定は、2回の測定において考慮される。一実施形態において、ストリップは、異なる大きさであり得る。一実施形態において、ストリップは、より高い解像度が望ましい場合、より小さい大きさが使用される、異なる大きさであり得る。図35は、上述のように局所的最大値を特定した結果を示す。ドットは、図35におけるヒートマップ上に視覚的に重ねられており、小さな十字ドットは上向きの変化を反映し、黒い十字は下向きの変化を反映し、大きな塗りつぶされたドットは、局所的最大値を表す。
図36は同じ情報を反映しており、白い十字および黒い十字が削除され、大きな塗りつぶされたドットが、サイズ変更されている。本開示を考慮すれば、当業者には、指データは、図34、35、および36から明らかであろう。また、いくらかの掌データが、指データに加えて存在することも、当業者には明らかであろう。有用な指の分離のために、掌データは、削除されなければならない。
図37Aおよび37Bを参照すると、一実施形態では、掌データは、円近似を使用して削除される。円近似は、すべての局所的最大値を最もよく表す円を定義する。別の言い方をすると、円近似は、半径方向の偏差の二乗の合計を最小化する。一実施形態において、測定された(x,y)ペアのセットが円上に存在するが、ノイズが追加されていると推定した場合、円は、これらのポイントに対して計算される、すなわち、xc、yc、Rを見つけて、(x−xc)”2+(y−yc)”2=R”2となる。一実施形態において、タウビン法(Taubin method)の円近似が使用され得る。円近似が決定されると、円近似は、例えば、掌の情報など、ヒートマップ内の情報を拒否または無視するために使用され得る。一実施形態において、極大点は、円近似によって決定されるように、極大点が、円の中心の下の半径の半分の水平線の下に落ちた場合、拒否される(図37A〜37Bを参照されたい)。局所的最大値を表すために円近似を使用する必要はないが、円近似は、図22のコントローラ25およびそこから取得されたデータに関連して、掌などのヒートマップの部分を拒否するために、局所最大データの適切な反映を提供する。同様に、図示されたコントローラ25は、円の中心から半径の半分より下の情報を無視または拒否するのに十分な情報を提供するが、これは、より一般的に解決される問題の幾何学にも関連する。例えば、腕が車の座席またはベッド上で身体から離れている場合、楕円近似関数がより適切であり得る。同様に、ハンドヘルドコントローラが、機械的手段を使用して掌を配置する場合、ヒートマップの部分を拒否または無視することは、掌の既知の位置を、受信されたセンサデータと相関させることにより、達成され得る。
円近似は、掌の幅または広さ(breadth)を測定するためにも使用され得る。ヒートマップ上の円中心の下の半径の半分である水平線が、掌と指との境界を決定する場合、掌の幅または広さ(breadth)は、ヒートマップにおける左端および右端の輪郭を見つけること、(それぞれ)輪郭における左端と右端の位置を見つけること、および2つの位置の間の差を減算することによって測定され得る。手が大きすぎて左側の輪郭を作成できない場合、掌の広さ(breadth)の近似値は、右の輪郭における右端の位置からヒートマップの最大幅を減算することによって測定され得る。手が大きすぎて右側の輪郭を作成できない場合、掌の広さ(breadth)の近似値は、ヒートマップの最小幅から左側の輪郭における左端の位置を減算することによって測定され得る。さまざまな方法が、掌の輪郭を見つけるために使用され得ることが、当業者に明らかであろう。
一実施形態において、図22に示されるハンドコントローラ25を使用して、異なるサイズおよび形状の手を持つ人々は、コントローラ上で、彼らの手を自然に異なるように配置することが発見された。したがって、例えば、より小さい手の掌は、コントローラ上でさらに「前方」に、したがって、示される方向においてヒートマップ上でさらに上になる傾向がある。このタイプの用途では、円近似の組み合わせ、および円中心から半径の半分より下のヒートマップ上の局所最大値を拒否または無視することが、掌データを拒否または無視するために適切であることが、一般的に示されてきた。本開示を考慮すれば、他の文脈において望ましくない最大値を拒否するために異なる関数および定数をどのように適用するかは、当業者に明らかであろう。
余分なデータ(例えば、掌データ)が削除されると、境界の初期決定(すなわち、指の分離)が行われ得る。一実施形態において、すべての最大点のセットが、平均化されて重心が生成され、重心は、中指と薬指との間の境界を画定するために使用される。一実施形態において、重心の左または右の点は、それらのそれぞれの領域内でソートされ、平均化される(図38)。この左/右半分の平均化は、人差し指―中指の境界および薬指―小指の境界を生成する。したがって、一実施形態において、すべての拒否されない最大値のX位置の平均は、中心線を決定するために使用され、したがって、人差し指および中指を、薬指および小指から分離する。各半分における拒否されていないすべての最大値の平均X位置は、人差し指を中指から、薬指を小指から分離するために使用され得る。図38は、そのように説明した指の分離を示している。一実施形態において、すべての指よりも少ない指が存在する場合を含めて、セグメンテーションの他の方法が使用され得る。例えば、3本の指が表されている場合、3分割が可能である。2本の指が表されている場合、最初の3分割のみが必要である。1桁しか存在しない場合は、指の分離は必要ではない。
これらの境界は十分な分離を示し得るが、手の大きさおよび形状のバリエーションにより、特に例示のコントローラおよびより小さい手の大きさでは、さらなる処理がより良い分離を提供し得ることが示されている。より小さい手のサイズにおいて、いくつかの指は、ヒートマップ上で真っ直ぐに見えない(すなわち、よりカールされる)。一実施形態において、局所的最大値は、識別された境界が調整を必要とするかどうかを判定するために、処理される。一実施形態において、最大値は膨張されて境界ボックスによって囲まれ、境界ボックスは、他の境界ボックスおよび最初に識別された境界と比較される。図39を参照すると、タッチに関連する最大値は、例示のために水平方向に膨張されている。膨張された最大値は、推定された指の輪郭を作成する。図39は、推定された指の輪郭のそれぞれの周りの境界ボックスも示している。図39に示される境界ボックスの間に、重複はない。さらに、図39に示される境界は、図39に示される境界ボックスと交差しないため、境界の調整は必要とされない。
図40を参照すると、推測される指の輪郭および最初に決定された境界が、異なる手について示されている。図40のデータは、2つの問題をもたらす。1つ目は、境界ボックスが重なること、2つ目は、境界線が境界ボックスと交差することである。一実施形態において、それぞれの境界ボックスの右側は、図39に示すように境界として使用される。2つの境界ボックスがオーバーラップする実施形態において、重み付き計算が、境界ボックスのオーバーラップ領域に関して行われ得、境界は、各ボックス内の位置にシフトされるが、オーバーラップに対する各指の輪郭の寄与によって決定される位置にある。一実施形態において、境界線が境界ボックス内にあるが、境界ボックスがその隣接ボックスと重なっていない場合、ラインは(ボックスの右端に移動される代わりに)、2つの重なり合わない境界ボックスの間のポイントに調整される。一実施形態において、境界線が境界ボックス内にあるが、境界ボックスがその隣接ボックスと重なっていない場合、境界線は、2つの重なり合わない境界ボックスの間のポイントに調整されるが、より大きな境界ボックスに近づくように重み付けされる。
境界ボックスと決定された境界とのオーバーラップは、取得されたデータから(したがって、表面上の実際の手の位置とコントローラジオメトリから)生じるため、境界は、すべての指の位置全体を明確に決定しない。図41を簡単に見ると、図40に関連して説明したように、境界が、境界ボックスの右側にシフトされている図が示されている。線が、境界線によって定義されているように、関連する(すなわち、拒否されないまたは無視されない最大値)を接続するために使用される。小さなエラー成分は、掌のかなり近くで発生することが見られ得る。特に、掌に近接するエラー位置は、指の最初の動きの可能性が低い位置である。小さな誤差にもかかわらず、この手法は、境界を評価するための実質的かつ迅速な手段であることが分かっている。一実施形態において、付加的な境界処理は、そのようなエラーを解決するために使用され得るが、得られるの境界は、図42におけるように、直線にならない場合がある。
各指の幅と長さは、各指の境界ボックスを使用しても測定され得る。各指の幅または太さを決定するために、指の境界ボックスの右端のX座標境界が、指の境界ボックスの左端のX座標境界から差し引かれる。各指の長さを決定するために、指の境界ボックスの一番下のY座標境界が、指の境界ボックスの一番上のY座標境界から差し引かれる。
各指の関節の位置および各指の関節の厚さは、各指の境界ボックスおよび各指の局所的最大値を使用しても測定され得る。(上記で詳細に計算されているように)指の長さを3で割ると、各関節位置のY位置の近似値が得られる。Y座標を使用して、当業者は、各関節の最も近いX座標位置を見つけるために、補間手法を使用することができる。これらの位置が知られると、各関節の太さは、そのY座標での指の境界ボックスの左端のX座標境界から、そのY座標での指の境界ボックスの右端のX座標境界を引くことにより、決定され得る。
指の外転は、また、2本の指の境界ボックスを使用して決定され得る。右手がコントローラを握っている場合、人差し指と中指との間の距離を決定するために、中指の境界ボックスの左端のX座標が、人差し指の境界ボックスの右端のX座標から差し引かれる。右手がコントローラを握っている場合、中指と薬指との間の距離を決定するために、薬指の境界ボックスの左端のX座標が、中指の境界ボックスの右端のX座標から差し引かれる。右手がコントローラを握っている場合、薬指と小指との間の距離を決定するために、小指の境界ボックスの左端のX座標が、薬指の境界ボックスの右端のX座標から差し引かれる。左手がコントローラを握っている場合、人差し指と中指との間の距離を決定するために、人差し指の境界ボックスの左端のX座標が、中指の境界ボックスの右端のX座標から差し引かれる。右手がコントローラを握っている場合、中指と薬指との間の距離を決定するために、中指の境界ボックスの左端のX座標が、薬指の境界ボックスの右端のX座標から差し引かれる。右手がコントローラを握っている場合、薬指と小指との指の間の距離を決定するために、薬指の境界ボックスの左端のX座標が、小指の境界ボックスの右端のX座標から差し引かれる。
コントローラを保持している間に2本の指が交差している場合、これらの指の姿勢は、また、境界ボックスおよび局所的最大値を使用して測定され得る。3つの境界ボックスのみが、前述の方法を使用して計算される場合、各境界ボックスの幅は、計算され得る。最大幅を有する境界ボックスは、2つの交差する指を有するだろう。
図43は、ストラップを有するハンドヘルドコントローラ25の実施形態を示し、ストラップおよび他の隠蔽材料は、信号注入領域24を示すために削除されている。一実施形態において、注入領域24は、手と注入器領域24との間の接触を助けるために、コントローラストラップの下に配置されている。一実施形態において、注入領域24に送信された注入信号は、コントローラ25を保持する手によって伝導され、コントローラ25内の受信機によって受信される。一実施形態において、コントローラ25内の受信機は、指の方向とほぼ平行になるように向けられている(例えば、図26および図28に示される水平導体を参照されたい)。
一実施形態において、各受信ラインは、その上に存在する注入信号の大きさを決定するために検査される。一実施形態において、1つの大きさが、各受信機に対して決定される。一実施形態において、付加的な値は、補間によって決定される。一実施形態において、付加的な値は、エルミート補間によって補間される。
一次微分解析は、値のセット(すなわち、大きさ、追加の補間値の有無)に対して実行される。一次微分解析を通して、局所最小値は、注入データから決定される指の境界として識別される。図44は、注入データにより決定されるような指の境界を反映している。
上述のように、一実施形態において、注入データおよびタッチデータ境界は、組み合わせられ得る。一実施形態において、注入データおよびタッチデータは、一緒に平均化される。一実施形態において、注入データおよびタッチデータは、加重平均を通じて組み合わせられる。一実施形態において、タッチデータは、存在する最大値の総数に基づいて重み付けされる。
一実施形態において、指の境界は、較正段階において1回計算される。一実施形態において、指の境界は、定期的にまたはイベントの発生時に再計算される。一実施形態において、指の境界は、閾値の入力が到達される場合、再計算され、例えば、タッチデータの閾値の局所最大値を下回ってから、閾値の極大値を超えた値に変化する。一実施形態において、閾値は20である。一実施形態において、閾値は20と30との間である。一実施形態において、閾値は30以上である。
図45A〜45Lは、ハンドヘルドコントローラから順番に取得されたデータ(白いゴースト)、本発明の実施形態に係る計算された局所最大値(中空ダイヤモンド)、本発明の実施形態による補間注入データ(固体ダイヤモンド)、および取得されたデータに基づいて決定された境界を示す。図45A〜45Lを検討すると、境界が、本明細書に開示される本発明の様々な実施形態に従って行われた決定に基づいて、それぞれの間で異なることに留意することが重要である。図45Aでは、4本の指すべてがコントローラと良好に接触しているように見え、最大線間の境界は完全かつ正確に見える。図45Bでは、人差し指による接触が実質的に少ないように見える。図45Cでは、中指が真っ直ぐになり、人差し指がコントローラと再び接触しているように見える。図45Dは、4本の指すべての実質的または完全な真っ直ぐになっている状態を反映する場合があり、一実施形態では、タッチデータの信頼性が疑わしいものになる。図45Eは、4本の指すべてがタッチコントローラと接触状態に戻ったことを反映し得る。図45Fは、同様に、4本の指すべてからの実質的な接触を反映しているように見える。図45Gでは、少なくとも小指と薬指の大部分は、コントローラと接触していないことが推測できる。図45Hは、再び、4本の指すべてがタッチコントローラと接触状態に戻ったことを反映し得る。同様に、図45Iは、再び、4本の指すべての実質的または完全な真っ直ぐになっている状態を反映し得る。図45Jは、人差し指による実質的な接触の欠如を再び示している。図45Kは、4本の指すべての実質的または完全な真っ直ぐな状態をさらに反映し得る。図45Lは、再び、4本の指すべてによる良好な接触を反映し得る。
身体骨格モデリング
一実施形態において、表面マニホールド(例えば、容量性センサまたは異種センサを有するマニホールド)および制限された自由度を有する制約モデルからのデータは、骨格の位置を推測するために使用され得る。一実施形態において、周波数注入記述子を使用して、骨格の個別の位置のセット(例えば、手または脊椎)に対応する信号強度の定義済みプロファイルが、作成または記録され得る。一実施形態において、記述子は、骨格運動と相関し得るこれらの記述子から意味のある情報を抽出するために、ベースラインおよびノイズ低減技術または他の多次元分析技術と組み合わせられる。
一実施形態において、表面マニホールド(例えば、容量性センサまたは異種センサを有するマニホールド)および制限された自由度を有する制約モデルからのデータは、骨格の位置を推測するために使用され得る。一実施形態において、周波数注入記述子を使用して、骨格の個別の位置のセット(例えば、手または脊椎)に対応する信号強度の定義済みプロファイルが、作成または記録され得る。一実施形態において、記述子は、骨格運動と相関し得るこれらの記述子から意味のある情報を抽出するために、ベースラインおよびノイズ低減技術または他の多次元分析技術と組み合わせられる。
一実施形態において、高速マルチタッチヒートマップ処理技術は、周波数強度信号に加えて使用され得る。一実施形態において、ハンドトラッキングは、実際の手を記述するために、仮想の手の階層スケルトンベースの記述を使用して計算され得る。一実施形態において、実際の手の動きを模倣するその骨格の連続的なリアルタイムアニメーションに、周波数注入記述子をマッピングするための技術が、適用され得る。一実施形態において、マッピング方法は、信号フィードを指角度のフィードにリアルタイムで変換する際に使用される線形または非線形関数に依存し得る。一実施形態において、マッピング方法は、信号強度サンプルと、モーションキャプチャ、他の視覚ベースの処理技術、または事前定義済みのキャプチャポーズなどの他の技術を使用してキャプチャされたグラウンドトゥルースリファレンスとの間に存在する相関プロパティを使用し得る。一実施形態において、手動または自動、教師付きまたは教師なしトレーニング、データマイニング、分類、MIMOのような手法(主成分分析など)または回帰手法は、ハンドトラッキング用の信号注入手法の固有の特性を事前に調査するこれらのマッピング関数の適切な定義を特定するために使用され得る。一実施形態において、ソフトウェアおよびハードウェアソリューションは、同じ高速マルチタッチセンサを探索したり、または高速マルチタッチセンサを付加的な受信機で補完したりして、従来の高速マルチタッチ機能と組み合わせられ得る。一実施形態において、ソフトウェアおよびハードウェアソリューションは、同じ高速マルチタッチセンサを探索したり、または高速マルチタッチセンサを付加的な受信機および信号インジェクタで補完したりして、従来の高速マルチタッチ機能と組み合わせられ得る。
本開示を考慮すれば、上述のように手に適用されかつ手から測定される信号注入の固有の特性は、モデルマッピングを定義するための基礎として使用され得ることが、当業者に明らかであろう。一実施形態において、データ技術は、ハンドモデリング、つまりハンドトラッキングの目的に使用され得るマッピング関数の適切な定義を特定するために使用される。一実施形態において、上述の信号注入ハードウェアおよびソフトウェアは、高速マルチタッチ機能と組み合わせることにより、追加の注入周波数を認識する能力を備えた高速マルチタッチセンサシステムを補完できる。
本開示を考慮すれば、静電容量センシングが、タッチ対非タッチ、またはハードタッチ対ソフトタッチを検出する、二次元位置決めのために歴史的に使用されてきたことが、当業者に明らかであろう。静電容量センシングは、ホバーを検出する機能を有するが、静電容量センシングは、これまで骨格位置を推測するために使用されることは、知られていなかった。一実施形態では、表面マニホールドは、センサ間の既知の数学的関係を提供できる、多種多様な形状に適合され得る。したがって、一実施形態では、対象物に適合する表面マニホールドは、骨格位置を推測するために、制約されたモデルと混合され得る。
表面マニホールドがそれ自体の既知の制約のセット内で、それ自体が変更可能または変形可能な形状に適合している場合、表面マニホールドは、そのような変更または変形を追跡するために使用され得る。例えば、折り畳みオブジェクト(例えば、折り畳みスマートフォン)に適合するマニホールドは、電話の位置を解釈または推測するために、それ自身の容量性相互作用と注入信号を使用できる。別の例において、使用時に既知の変形特性を有するゲームボール(例えば、フットボールやバスケットボール)は、それ自身の変形を解釈または推測するために、その表面内または表面なしで適合されたマニホールドを使用できる。したがって、一実施形態では、物体に適合された表面マニホールドは、物体に関する情報を推測するために、制約されたモデルと混合され得る。
上述の開示に関して、本開示の実施形態は、静電容量センサデータにおいて表される個別ユニット間の分離を決定するために使用される方法に関する。本開示の実施形態はまた、ハンドヘルドコントローラ上の静電容量センサデータにおいて表される指の間の分離を決定するために使用される方法に関する。本開示の実施形態はさらに、共通のセンサで取得された容量データおよび注入データで表される離散ユニット間の境界を決定するために使用される方法に関する。本開示の実施形態はまた、共通のセンサで並行して取得された容量データと注入データを組み合わせることにより、個別ユニット間の境界を決定するために使用される方法に関する。
さらに、本開示の実施形態は、複数の受信機ラインおよび複数の送信機ライン、ならびに注入領域を有するハンドヘルドコントローラの周りの指の動きをモデリングするためのシステムに関し、タッチ信号送信機は、複数の送信機ラインに関連付けられ、複数の送信機ラインのそれぞれで固有信号を同時に送信するように構成され、注入信号送信機は、注入領域に関連付けられ、注入信号を注入領域に送信するように構成され、受信機は、複数の送信機ラインのそれぞれに関連付けられ、プロセッサは、受信機ラインでのタッチ信号の相互作用を反映するヒートマップを生成し、受信機ラインでの注入信号の相互作用を反映する注入マップを生成し、ヒートマップと注入マップに少なくとも部分的に基づいてハンドヘルドコントローラ上で指の間の境界を決定し、ハンドヘルドコントローラの周りの指の動きを反映するモデルを出力するように構成される。
また、本開示の実施形態は、複数の受信機ラインおよび複数の送信機ライン、ならびに注入領域を有するセンサの周りの別々に識別可能な(互いに既知の関係を有する)身体部分の動きをモデリングするためのシステムに関し、タッチ信号送信機は、複数の送信機ラインに関連付けられ、複数の送信機ラインのそれぞれで固有信号を同時に送信するように構成され、注入信号送信機は、注入領域に関連付けられ、注入信号を注入領域に送信するように構成され、受信機は、複数のラインのそれぞれに関連付けられ、プロセッサは、受信機ライン上のタッチ信号の相互作用を反映するヒートマップを生成し、受信機ライン上の注入信号の相互作用を反映する注入マップを生成し、ヒートマップと注入マップに少なくとも部分的に基づいてセンサ上の識別可能な身体部分間の境界を決定し、センサの周りの身体部分の動きを反映するモデルを出力するように構成される。
本明細書で開示されるように、本開示の実施形態は、表面マニホールド、個別の容量性センサ、および周波数注入送信機からの異種容量性データを使用すること、および骨格位置決めを推測するための制限された自由度を伴う制約付きモデルとともに、層を受信することに関する。
さらに、本明細書で開示されるように、実施形態は、センサ表面から数ミリメートルよりも多く発生するタッチおよび非接触タッチイベント(例えば、ホバーイベント)を検出するための異種センサに関する。いくつかの実施形態において、センサは、付加的なセンサ層を含む。いくつかの実施形態において、センサは1つ以上の受信アンテナを備え、受信アンテナは、行または列と共通の層に配置され得るが、行または列と共通の層に配置される必要はない。いくつかの実施形態において、センサは、1つ以上の注入信号導体を含み、注入信号導体は、行または列と共通の層に配置され得るが、行または列と共通の層に配置される必要はない。
さらに、本明細書で開示されるように、本開示の実施形態は、物体の表面上の異種センサマニホールドの向きに関する。いくつかの実施形態において、マニホールドは付加的なセンサ層を含み、送信のための付加的な直交信号を生成するために、駆動回路に関連付けられ得る。いくつかの実施形態において、センサは1つ以上の受信アンテナを備え、受信アンテナは、行または列と共通の層に配置され得るが、行または列と共通の層に配置される必要はない。いくつかの実施形態において、センサは、1つ以上の注入信号導体を含み、注入信号導体は、行または列と共通の層に配置され得るが、行または列と共通の層に配置される必要はなく、送信のための付加的な直交信号を生成するために、駆動回路に関連付けられ得る。
また、本開示の実施形態は、行のための駆動回路、および1つ以上の付加的なアンテナまたは行のための駆動回路を有する異種センサに関し、信号は、互いに直交している駆動回路によって同時に生成され、直交性は、周波数の直交性であり得るが、周波数の直交性に必ずしも限定されない。いくつかの実施形態において、受信機によって受信された信号は、直交信号のそれぞれに対する強度を決定するために処理され、この情報はタッチイベントを決定するために使用され得る。いくつかの実施形態において、タッチイベントは、個別のソースに関連付けられ、骨格モデルは、タッチイベントから推測され得る。
さらに、本明細書で開示されるように、実施形態は、第1の範囲の直交信号から第1のヒートマップを作成し、第2の範囲の直交信号から別個のヒートマップを作成する異種センサに関する。いくつかの実施形態において、第1のヒートマップは、1つ、または複数の骨格モデルを推測するための基礎として使用される。いくつかの実施形態において、第2のヒートマップは、1つ、または複数の骨格モデルを推測するための基礎として使用される。いくつかの実施形態において、2つのヒートマップは両方とも、1つ、または複数の骨格モデルを推測するための基礎として使用される。
また、本開示の実施形態は、指の三次元位置、向き、「カール」または屈曲、厚さ、長さ、および外転、指の関節の位置、向き、および長さ、掌の広さ(breadth)の測定、手(すなわち、右または左)の識別、および指の交差、異種センサに沿って手に注入された信号およびさまざまなポイントでのこれらの信号のそれぞれの寄与によって測定される異種センサを備えたデバイスを持っている手の識別に関する。
加えて、本開示の実施形態は、複数の受信機ラインおよび複数の送信機ラインを有するセンサ、および注入領域についての(互いに既知の関係を有する)別個の識別可能な身体部分の動きをモデリングするためのシステムに関し、タッチ信号送信機は、複数の送信機ラインに関連付けられ、複数の送信機ラインのそれぞれで固有信号を同時に送信するように構成され、注入信号送信機は、注入エリアに関連付けられ、注入信号を注入エリアに送信するように構成され、受信機は、複数の受信機ラインのそれぞれに関連付けられ、プロセッサは、受信機ラインでのタッチ信号の相互作用を反映するヒートマップを生成し、受信機ラインでの注入信号の相互作用を反映する注入マップを生成し、ヒートマップと注入マップに少なくとも部分的に基づいて、センサ上の識別可能な身体部分間の境界を決定し、センサ周辺の身体部分の動きを反映するモデルを出力するように構成される。
さらに、本開示の実施形態は、コントローラ本体の少なくとも一部を取り囲む少なくとも1つの異種センサマニホールドを有する手動コントローラに関する。いくつかの実施形態において、異種センサマニホールドは、行の第3層を含む。いくつかの実施形態において、異種センサマニホールドは、列の第3層を含む。いくつかの実施形態において、異種センサマニホールドは、複数のアンテナを含む。いくつかの実施形態において、注入信号導体が注入信号を供給する場合、注入信号は、マニホールド上またはマニホールド内にあってもよいが、マニホールド上またはマニホールド内にある必要はない。いくつかの実施形態において、注入信号導体は、ハンドヘルド、ハンドウェア、フィンガーホールド、および/またはフィンガーウェアのデバイスの内部にあり、デバイスから物理的に分離され得るが、必ずしもデバイスから物理的に分離される必要はない。いくつかの実施形態において、注入信号導体は、ハンドヘルド、ハンドウェア、フィンガーホールド、および/またはフィンガーウェアのデバイスの外部にあり、デバイスから物理的に分離され得るが、必ずしもデバイスから物理的に分離される必要はない。
さらに、本開示の実施形態は、タッチイベントが、制約された骨格モデルを推測するために使用され得るように展開されたセンサに関する。いくつかの実施形態において、センサは、手動コントローラ上に配置される。いくつかの実施形態において、センサは、スタイラスまたはマウスなどの手持ち型または着用型の入力周辺機器上に配置される。いくつかの実施形態において、センサは、ブレスレット、時計、指輪、ボール、スマートフォン、靴、または有形物などの手持ち型または着用型のアーティファクトの一部として展開される。いくつかの実施形態において、センサは、ステアリングホイール、キーボード、タッチスクリーン、またはフライトコントロールなどの表面に近接して配置され、その制御のオペレータの手の届く範囲内の他の領域の表面に近接して(例えば、ダッシュボードの表面、ダッシュボード上のコントロールの表面、または他のコントロールの表面に近接して)配置され得るが、その制御のオペレータの手の届く範囲内の他の領域の表面に近接して配置される必要はない。いくつかの実施形態において、センサ、または付加的なセンサは、運転席、肘掛け、ヘッドレスト、シートベルト、または拘束装置の表面に近接して配置される。いくつかの実施形態において、1つ以上の注入信号導体は、注入された信号を供給する。いくつかの実施形態において、1つ以上の注入信号導体は、センサマニホールド内またはセンサマニホールドに近接して配置される。いくつかの実施形態において、1つ以上の注入信号導体は、運転席、肘掛け、ヘッドレスト、シートベルト、または拘束装置に配置される。
本明細書で開示されるように、センサの実施形態は、可撓性スクリーンまたはボールなどの変形の既知の制約を有する物体の表面に近接して展開され、センサは変形を検出する自己検知機構として使用される。いくつかの実施形態において、1つ以上の注入信号導体は、変形可能な物体の表面上のセンサマニホールド内に、またはその近くに配置される。
本明細書で開示されるように、異種センシングは、相互静電容量および周波数注入を反映するデータの組み合わせを使用して達成され得る。いくつかの実施形態において、異種センシングは、相互静電容量、周波数注入、およびクロストークを反映するデータの組み合わせを使用して達成され得る。いくつかの実施形態において、異種センシングは、相互静電容量と周波数注入を反映するデータと、既知の制約モデルまたは複数の既知の制約モデルの組み合わせを使用して達成され、既知の制約モデルは、例えば、オブジェクトのポーズや自由度のモデルなどの、オブジェクトの変形のモデルまたは骨格の制約のモデルであり得る。いくつかの実施形態において、オブジェクトのポーズや自由度のモデルは、オブジェクトのポーズを制限するハンドコントローラシェイプなどの形状によってさらに制約され得る。
本開示の他の実施形態は、より良い検出を可能にするために2つの別個のタイプの検知の結果を組み合わせるセンサに関連し、説明する。本開示は、2つの別個のタイプのセンサデータを受信および解釈することができるセンサ受信システムについて説明する。本開示は、より良い検出を可能にするために同じ受信機を使用する2つの別個のタイプの検知の結果を組み合わせるセンサを説明する。本開示は、エラーを低減し、精度を改善し、および/または全体的な検知を改善するために、別個の検知データの結果を組み合わせる方法を説明する。本開示は、信号注入を使用して付属器検出を強化する方法および装置を説明する。本開示は、タッチとセンサとの相互作用を反映するフーリエ変換の結果を使用して、タッチデータから指の分離を決定する方法を説明する。本開示は、タッチデータからの指の分離を決定し、タッチデータを使用して解決され得ない様々な手の姿勢の課題を克服するために、注入情報を使用する方法も説明する。本開示は、タッチおよび注入データを感知するための強固な異種設計を提供するセグメント化された空間方向を用いた、コントローラ上のセンサレイアウトを説明する。
また、本開示の実施形態は、ユーザの指が包み込むことができる湾曲した指領域であって、垂直軸を有する指領域を備えた本体部分;第1層の複数の行導体、第2層の複数の列、第1層の各行導体の経路が第2層の各列の経路と交差し、複数のアンテナを含むマニホールドであって、本体部分の少なくとも一部の表面上に配置されるマニホールド;複数のアンテナのそれぞれに関連付けられたアンテナ受信機であって、少なくとも1つの注入信号導体で、その関連付けられたアンテナ上に存在する信号を受信するように適合されるアンテナ受信機;を備え、第1層の複数の行導体のそれぞれおよび少なくとも1つの注入導体のそれぞれは、駆動信号回路に関連付けられ、第1層の複数の行導体のそれぞれおよび少なくとも1つの注入導体のそれぞれは、駆動信号回路に関連付けられ、駆動信号回路は、それぞれに固有の直交信号を送信するように適合され、各固有の直交信号は、他の固有の直交信号と直交し、複数の列のそれぞれは、その関連列に存在する信号を受信するように適合された列受信機に関連付けられ、注入信号導体は、その上に存在する信号を受信するように適合された行受信機に関連付けられる、手動コントローラに関する。
添付図面を参照して例が十分に説明されたが、様々な変更および修正が当業者に明らかになることに留意されたい。 そのような変更および修正は、添付の特許請求の範囲によって定義される様々な例の範囲内に含まれるものとして理解されるべきである。
Claims (20)
- ハンドヘルドコントローラの周りの指の動きをモデリングするためのシステムであって、
ハンドヘルドコントローラ本体であって、
前記ハンドヘルドコントローラ本体上でほぼ平行に向けられた複数の受信機導体と、
前記複数の受信機導体の前記向きに対してほぼ垂直に向けられた複数の送信機導体と、
前記コントローラ本体の表面に近接して配置された注入領域と、
前記複数の送信機導体に関連付けられるタッチ信号送信機であって、前記複数の送信機導体のそれぞれに固有信号を同時に送信するように構成されるタッチ信号送信機と、前記固有信号のそれぞれは他の固有信号のそれぞれとは異なり、
前記注入領域に関連付けられる注入信号送信機であって、前記タッチ信号送信機によって前記固有信号の前記送信と同時に注入信号を前記注入領域に送信するように構成される注入信号送信機と、
前記複数の受信機導体に関連付けられる受信機であって、その上に存在する信号を受信するように適合される受信機と、を備えるハンドヘルドコントローラ本体と、
前記受信機導体上のタッチ信号の相互作用に関連するヒートマップを生成し、
前記受信機導体上の注入信号の相互作用に関連する注入マップを生成し、
前記ヒートマップおよび前記注入マップに少なくとも部分的に基づいて、前記ハンドヘルドコントローラの指の間の境界を決定し、および
前記コントローラ本体の周りの少なくとも1つの指の動きに関連するモデルを出力するように構成されたプロセッサと、を備える、システム。 - 前記注入領域は、ユーザの掌に接触するように適合される、請求項1に記載のシステム。
- 前記受信機導体は、ユーザの指にほぼ平行になるように適合される、請求項1に記載のシステム。
- 前記タッチ信号送信機および前記注入送信機は、同じ送信機である、請求項1に記載のシステム。
- 前記ハンドヘルドコントローラ上の指の間の前記境界は、前記ヒートマップおよび前記注入マップに基づいている、請求項1に記載のシステム。
- 前記ハンドヘルドコントローラ上の指の間の前記境界は、前記ヒートマップにおける局所的最大値に基づいている、請求項5に記載のシステム。
- 前記ハンドヘルドコントローラ上の指の間の前記境界は、前記注入マップにおける局所的最小値に基づいている、請求項6に記載のシステム。
- 前記固有信号のそれぞれは、互いに直交する周波数である、請求項1に記載のシステム。
- 身体部分の動きをモデリングするためのコントローラであって、
コントローラ本体であって、
ハンドヘルドコントローラ本体上にほぼ平行に向けられた複数の受信機導体と、
前記複数の受信機導体の前記向きに対してほぼ垂直に向けられた複数の送信機導体と、
前記コントローラ本体の表面に近接して配置された注入領域と、
前記複数の送信機導体に関連付けられるタッチ信号送信機であって、前記複数の送信機導体のそれぞれに固有信号を同時に送信するように構成されたタッチ信号送信機と、前記固有信号のそれぞれは他の固有の信号のそれぞれとは異なり、
前記注入領域に関連付けられる注入信号送信機であって、前記タッチ信号送信機によって前記固有信号の前記送信と同時に注入信号を前記注入領域に送信するように構成される注入信号送信機と、
前記複数の受信機導体に関連付けられる受信機であって、その上に存在する信号を受信するように適合される受信機と、を備える、コントローラ本体を備え、
前記受信された信号は、前記受信機導体上のタッチ信号の相互作用に関連するヒートマップを生成し、前記受信機導体上の注入信号の相互作用に関連する注入マップを生成し、前記ヒートマップおよび前記注入マップに少なくとも部分的に基づいて、前記コントローラ本体上の身体部分間の境界を決定し、および前記コントローラの周りの少なくとも1つの身体部分の動きに関連するモデルを出力する、コントローラ。 - 前記注入領域は、ユーザの掌に接触するように適合されている、請求項9に記載のコントローラ。
- 前記受信機導体は、ユーザの指にほぼ平行になるように適合されている、請求項9に記載のコントローラ。
- 前記タッチ信号送信機および前記注入送信機は、同じ送信機である、請求項9に記載のコントローラ。
- 前記身体部分間の前記境界は、前記ヒートマップおよび前記注入マップに基づいている、請求項9に記載のコントローラ。
- 前記ハンドヘルドコントローラ上の指の間の前記境界は、前記ヒートマップにおける局所的最大値に基づいている、請求項13に記載のコントローラ。
- 前記指の間の前記境界は、前記注入マップにおける局所的最小値に基づいている、請求項14に記載のコントローラ。
- 前記固有信号のそれぞれは、互いに直交する周波数である、請求項9に記載のコントローラ。
- 身体部分の動きをモデリングするための方法であって、
複数の送信機導体のそれぞれに、固有信号であって、前記固有信号のそれぞれが他の固有信号のそれぞれとは異なる固有信号を同時に送信する工程と、
前記固有信号の前記送信と同時に注入領域に注入信号を送信する工程と、
受信機導体上で信号を受信する工程と、
前記受信機導体上のタッチ信号の相互作用に関連するヒートマップを生成する工程と、
前記受信機導体上の注入信号の相互作用に関連する注入マップを生成する工程と、
前記ヒートマップおよび前記注入マップに少なくとも部分的に基づいて身体部分間の境界を決定し、少なくとも1つの身体部分の動きに関連するモデルを出力する工程と、
を含む、方法。 - 前記ハンドヘルドコントローラ上の身体部分間の前記境界は、前記ヒートマップおよび前記注入マップに基づいている、請求項17に記載の方法。
- 前記身体部分間の前記境界は、前記ヒートマップにおける局所的最大値に基づいている、請求項17に記載の方法。
- 前記指の間の前記境界は、前記注入マップにおける局所的最小値に基づいている、請求項17に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762533405P | 2017-07-17 | 2017-07-17 | |
US62/533,405 | 2017-07-17 | ||
PCT/US2018/042260 WO2019018273A1 (en) | 2017-07-17 | 2018-07-16 | APPARATUS AND METHODS FOR ENHANCING THE SEPARATION AND REPRODUCTION OF FIGURES |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020527801A true JP2020527801A (ja) | 2020-09-10 |
Family
ID=64999520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020501823A Pending JP2020527801A (ja) | 2017-07-17 | 2018-07-16 | 指の分離および再現を向上させるための装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10452192B2 (ja) |
JP (1) | JP2020527801A (ja) |
CN (1) | CN111095169A (ja) |
DE (1) | DE112018003647T5 (ja) |
WO (1) | WO2019018273A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10712880B2 (en) * | 2016-08-30 | 2020-07-14 | Tactual Labs Co. | Signal infusion to enhance appendage detection and characterization |
US11003226B1 (en) * | 2018-08-09 | 2021-05-11 | Rockwell Collins, Inc. | Touchscreen sensor electromagnetic interference protection apparatus |
FR3108998B1 (fr) * | 2020-04-02 | 2022-02-25 | Thales Sa | Procede et dispositif pour gerer des appuis « multitouch » sur une surface tactile |
CN112156449A (zh) * | 2020-09-17 | 2021-01-01 | 福建工程学院 | 一种识别手印手势的智能车把手 |
US11461992B2 (en) * | 2020-11-12 | 2022-10-04 | Samsung Electronics Co., Ltd. | Region of interest selection for object detection |
EP4206872A1 (en) * | 2021-12-29 | 2023-07-05 | EM Microelectronic-Marin SA | Displacement detection circuit and method thereof |
JP2023151408A (ja) * | 2022-03-31 | 2023-10-16 | シャープディスプレイテクノロジー株式会社 | タッチパネルシステム、表示装置およびタッチパネルの制御方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100595926B1 (ko) * | 1998-01-26 | 2006-07-05 | 웨인 웨스터만 | 수동 입력 통합 방법 및 장치 |
WO2010024028A1 (ja) * | 2008-08-29 | 2010-03-04 | 日本電気株式会社 | 位置情報入力装置および位置情報入力方法 |
FR2952730B1 (fr) * | 2009-11-17 | 2021-09-24 | Thales Sa | Dispositif a ecran tactile multimode |
FR2965944B1 (fr) * | 2010-10-06 | 2013-02-15 | Thales Sa | Procede de mesure d'effort pour un dispositif a ecran tactile multimode |
US10082950B2 (en) * | 2011-11-09 | 2018-09-25 | Joseph T. LAPP | Finger-mapped character entry systems |
ITTO20120842A1 (it) * | 2012-09-27 | 2014-03-28 | St Microelectronics Srl | Procedimento e sistema per rilevazione di dito, relativa apparecchiatura a schermo e prodotto informatico |
WO2014145872A1 (en) | 2013-03-15 | 2014-09-18 | Tactual Labs Co. | Fast multi-touch stylus and sensor |
BR112015022961A2 (pt) | 2013-03-15 | 2017-07-18 | Tactual Labs Co | redução de ruído de múltiplos toques rápidos |
SG11201506841WA (en) * | 2013-03-15 | 2015-09-29 | Tactual Labs Co | Active optical stylus and sensor |
AU2014232336A1 (en) | 2013-03-15 | 2015-09-24 | Tactual Labs Co. | Fast multi-touch sensor with user identification techniques |
US9158411B2 (en) | 2013-07-12 | 2015-10-13 | Tactual Labs Co. | Fast multi-touch post processing |
US9019224B2 (en) | 2013-03-15 | 2015-04-28 | Tactual Labs Co. | Low-latency touch sensitive device |
US9830015B2 (en) * | 2013-03-15 | 2017-11-28 | Tactual Labs Co. | Orthogonal frequency scan scheme in touch system |
US20150205400A1 (en) * | 2014-01-21 | 2015-07-23 | Microsoft Corporation | Grip Detection |
CA2937700A1 (en) * | 2014-01-22 | 2015-07-30 | Tactual Labs Co. | Dynamic assignment of possible channels in a touch sensor |
WO2015120081A1 (en) | 2014-02-04 | 2015-08-13 | Tactual Labs Co. | Frequency conversion in a touch sensor |
US9933880B2 (en) * | 2014-03-17 | 2018-04-03 | Tactual Labs Co. | Orthogonal signaling touch user, hand and object discrimination systems and methods |
US9710060B2 (en) * | 2014-06-09 | 2017-07-18 | BeBop Senors, Inc. | Sensor system integrated with a glove |
US10620737B2 (en) * | 2014-12-08 | 2020-04-14 | Tactual Labs Co. | Differential transmission for reduction of cross-talk in projective capacitive touch sensors |
US20160246396A1 (en) * | 2015-02-20 | 2016-08-25 | Qualcomm Incorporated | Interactive touchscreen and sensor array |
WO2016168481A1 (en) * | 2015-04-14 | 2016-10-20 | Tactual Labs Co. | Capacitive sensor patterns |
CN107850964B (zh) * | 2015-05-22 | 2021-04-02 | 触觉实验室股份有限公司 | 用于双向正交信令传感器的发送与接收***和方法 |
-
2018
- 2018-07-16 CN CN201880060051.XA patent/CN111095169A/zh active Pending
- 2018-07-16 US US16/036,218 patent/US10452192B2/en active Active
- 2018-07-16 JP JP2020501823A patent/JP2020527801A/ja active Pending
- 2018-07-16 DE DE112018003647.2T patent/DE112018003647T5/de not_active Withdrawn
- 2018-07-16 WO PCT/US2018/042260 patent/WO2019018273A1/en active Application Filing
-
2019
- 2019-10-21 US US16/658,358 patent/US11042218B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200050317A1 (en) | 2020-02-13 |
US10452192B2 (en) | 2019-10-22 |
US11042218B2 (en) | 2021-06-22 |
CN111095169A (zh) | 2020-05-01 |
WO2019018273A1 (en) | 2019-01-24 |
DE112018003647T5 (de) | 2020-04-23 |
US20190018534A1 (en) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11042218B2 (en) | Apparatus and methods for enhancing digit separation and reproduction | |
US20180267653A1 (en) | Sensing controller | |
JP6253043B1 (ja) | 高速マルチタッチ後処理 | |
JP2019527400A (ja) | タッチセンシティブキーボード | |
JP6802793B2 (ja) | 投影型容量式タッチセンサにおけるクロストークの低減のための差動伝送 | |
Kim et al. | Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor | |
CN104969156B (zh) | 交互感测设备和交互感测方法 | |
US9389713B2 (en) | Piecewise-linear and piecewise-affine subspace transformations for high dimensional touchpad (HDTP) output decoupling and corrections | |
US11112905B2 (en) | Vehicular components comprising sensors | |
JP2017510010A (ja) | 入力事象処理のためのデシメーション戦略 | |
JP2017509955A (ja) | タッチセンサにおける可能なチャネルの動的割当 | |
US10175772B2 (en) | Touch sensitive keyboard | |
CN110703930A (zh) | 正交信令触摸用户、手和物体辨别***和方法 | |
JP2017507406A (ja) | タッチセンス装置において軽減された感度で作動するための装置及び方法 | |
US11481077B2 (en) | Touch-sensing system including a touch-sensitive paper | |
JP6660066B2 (ja) | 周波数分割変調タッチシステムにおける信号検知 | |
Leigh et al. | High rate, low-latency multi-touch sensing with simultaneous orthogonal multiplexing | |
US20130265258A1 (en) | Method for identifying touch on a touch screen | |
JP2019528530A (ja) | タッチセンス物体 | |
Rudolph et al. | Sensing hand interactions with everyday objects by profiling wrist topography | |
US10817106B2 (en) | Matrix sensor with receive isolation | |
Zühlke et al. | Touch Sensing on Semi-Elastic Textiles with Border-Based Sensors | |
Valkov et al. | Touch Recognition on Complex 3D Printed Surfaces using Filter Response Analysis | |
Kyu et al. | EITPose: Wearable and Practical Electrical Impedance Tomography for Continuous Hand Pose Estimation |